近日，上海交通大學(xué)電子信息與電氣工程學(xué)院電子工程系鄒衛(wèi)文教授團隊提出了光子學(xué)與計算科學(xué)交叉的創(chuàng)新思路，研制了實現(xiàn)高速張量卷積運算的新型光子張量處理芯片，相關(guān)成果以“High-order tensor flow processing using integrated photonic circuits”（基于集成光子芯片的高階張量流式處理）為題發(fā)表在《自然·通訊》（Nature Communications）期刊上。

研究背景

多維數(shù)據(jù)堆疊構(gòu)成的張量形式是數(shù)據(jù)處理的高效形式，有利于發(fā)掘數(shù)據(jù)中的內(nèi)在結(jié)構(gòu)特征，在雷達、通信、人工智能、生命科學(xué)等領(lǐng)域得到廣泛應(yīng)用。隨著未來信息技術(shù)的發(fā)展，數(shù)據(jù)生成速度呈現(xiàn)爆炸式增長，海量數(shù)據(jù)的多維堆疊及其高效快速處理成為當(dāng)前面臨的重要科學(xué)挑戰(zhàn)。為應(yīng)對這一挑戰(zhàn)，傳統(tǒng)電學(xué)處理器通常采用通用化矩陣乘法(Generalized Matrix Multiplication, GeMM)策略將高階張量運算轉(zhuǎn)化成為矩陣乘法運算，將多級嵌套的循環(huán)運算轉(zhuǎn)化為并行運算，通過提升計算核心數(shù)量來增大張量處理的整體速度。然而，GeMM策略依賴于數(shù)據(jù)的大量復(fù)制，需要額外內(nèi)存占用以及內(nèi)存與處理器間的反復(fù)通信開銷，是提升多維數(shù)據(jù)張量運算速度的核心瓶頸之一。

創(chuàng)新成果

該研究創(chuàng)新提出了基于光子集成手段構(gòu)建張量運算過程的學(xué)科交叉研究思路，既可發(fā)揮出光學(xué)的寬帶高速特性將運算時鐘頻率提升至數(shù)十GHz，又可利用光學(xué)的多自由度直接表征張量數(shù)據(jù)的不同維度。該思路無需進行張量到矩陣的轉(zhuǎn)換，可實現(xiàn)輸入張量到輸出張量的流式計算。

光子張量處理芯片的原理架構(gòu)

基于這一創(chuàng)新思路，該團隊設(shè)計并研制了一款光子張量處理芯片，綜合利用了光學(xué)的波長、空間與時延三個自由度，在多通道圖像上成功驗證了時鐘頻率為20 GHz的高速張量卷積運算，芯片算力密度為588 GOPS/mm2，后續(xù)通過提升光子器件集成規(guī)模有望達到1 TOPS/mm2以上。研究團隊利用該芯片構(gòu)建了用于視頻動作識別的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的卷積層在光子張量處理芯片上完成，最終在KTH視頻數(shù)據(jù)集上實現(xiàn)了97.9%的識別準確率，接近理想識別準確率98.9%。本研究成果表明光子集成芯片可以在超高時鐘頻率下實現(xiàn)張量流式處理，解決額外內(nèi)存占用與訪存問題，為構(gòu)建高性能計算、寬帶信號處理等先進信息系統(tǒng)提供了新技術(shù)途徑。

光子張量處理芯片

多通道圖像卷積計算結(jié)果

相關(guān)成果

鄒衛(wèi)文教授團隊前期在光子學(xué)與計算科學(xué)方向上開展深入研究，已形成的光電融合處理原理與光電混合集成方法為光子張量處理芯片的成功研制提供了重要基礎(chǔ)。近期在光子計算核心原理、創(chuàng)新架構(gòu)和先進應(yīng)用驗證等方面開展了系列研究，發(fā)表Opt. Express 2022, 30(23): 42057、Opt. Lett. 2022, 47(24): 6409等成果。相關(guān)研究還推動了光微梳集成處理單元（Microcomb-based integrated photonic processing unit）工作順利開展（該工作由北京大學(xué)王興軍教授團隊牽頭，鄒衛(wèi)文教授團隊參與），相關(guān)研究成果也被《自然·通訊》期刊接收發(fā)表，Nature Communications volume 14, Article number: 66 (2023)。

上海交通大學(xué)為該項研究的獨立完成單位，電子工程系智能微波光波融合創(chuàng)新中心助理教授徐紹夫、博士研究生王靜為共同第一作者，鄒衛(wèi)文教授為唯一通訊作者。

該研究工作獲得國家自然科學(xué)基金交叉學(xué)部杰青項目（T2225023）、青年基金項目（62205203）和國家重點研發(fā)計劃項目（2019YFB2203700）支持。

論文鏈接：https://www.nature.com/articles/s41467-022-35723-2