帖子
勛章
關注
任務
清華大學在大規(guī)模光電智能計算方面取得進展 近日，清華大學電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計算的“光學-人工雙神經(jīng)元學習架構（DuAl-Neuron opTical-artificial lEarning,DANTE）”。其中光學神經(jīng)元精準建模光場計算過程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播，全局人工神經(jīng)元與局部光學神經(jīng)元以交替學習的機制進行迭代優(yōu)化，在確保學習有效性的同時，大大降低了訓練的時空復雜度，使得訓練更大更深的光電神經(jīng)網(wǎng)絡成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡物理建模復雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡規(guī)模提升一至兩個數(shù)量級，訓練學習速度提升兩個數(shù)量級。  圖1.光學-人工雙神經(jīng)元學習架構（DANTE） 受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學習方法僅能實現(xiàn)百萬量級神經(jīng)元的光電神經(jīng)網(wǎng)絡訓練，難以滿足ImageNet等復雜大規(guī)模數(shù)據(jù)集的訓練需求。課題組在空間光智能計算平臺上開展了大量仿真與物理實驗驗證，將現(xiàn)有百萬量級光電神經(jīng)元網(wǎng)絡的訓練時間從數(shù)十小時級縮短到了分鐘級。課題組進一步基于DANTE，首次實現(xiàn)了億級神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡訓練與推理，在CIFAR-10、ImageNet等多個數(shù)據(jù)集上實現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡VGG-11和VGG-16相當?shù)臏蚀_率。值得強調的是，在ImageNet基準上成功訓練光電神經(jīng)網(wǎng)絡具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡訓練學習上的巨大潛力，有望推動光電智能計算從基于MNIST基準的原型驗證階段邁入到使用現(xiàn)代ImageNet基準來解決大規(guī)�，F(xiàn)實問題的全新時代。  圖2.DANTE在CIFAR-10和ImageNet數(shù)據(jù)集上的訓練與推理性能評測 研究成果以“光學-人工雙神經(jīng)元架構訓練大規(guī)模光電神經(jīng)網(wǎng)絡”（Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning）為題，于11月4日發(fā)表于《自然·通訊》（Nature Communications）期刊上。  圖3.物理 ONN 系統(tǒng)上的 DANTE 清華大學電子工程系為論文的第一單位，方璐副教授為論文通訊作者，電子系博士后袁肖赟（清華大學水木學者、已出站）為論文第一作者，參加研究的作者還包括課題組博士生王勇（已畢業(yè)）、徐智昊，博士后周天貺。 該研究課題得到科技部科技創(chuàng)新2030—“新一代人工智能”重大項目，基礎科學中心項目、面上項目，清華大學水木學者計劃等的支持。 論文鏈接：https://doi.org/10.1038/s41467-023-42984-y |
最新評論
-
wangjin001x 2023-11-10 23:26清華大學在大規(guī)模光電智能計算方面取得進展
-
jeremiahchou 2023-11-11 06:56受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學習方法僅能實現(xiàn)百萬量級神經(jīng)元的光電神經(jīng)網(wǎng)絡訓練，難以滿足ImageNet等復雜大規(guī)模數(shù)據(jù)集的訓練需求。課題組在空間光智能計算平臺上開展了大量仿真與物理實驗驗證，將現(xiàn)有百萬量級光電神經(jīng)元網(wǎng)絡的訓練時間從數(shù)十小時級縮短到了分鐘級。課題組進一步基于DANTE，首次實現(xiàn)了億級神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡訓練與推理，在CIFAR-10、ImageNet等多個數(shù)據(jù)集上實現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡VGG-11和VGG-16相當?shù)臏蚀_率。值得強調的是，在ImageNet基準上成功訓練光電神經(jīng)網(wǎng)絡具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡訓練學習上的巨大潛力，有望推動光電智能計算從基于MNIST基準的原型驗證階段邁入到使用現(xiàn)代ImageNet基準來解決大規(guī)�，F(xiàn)實問題的全新時代。
-
phisfor 2023-11-11 07:02清華大學在大規(guī)模光電智能計算方面取得進展
-
3330634618 2023-11-11 07:58近日，清華大學電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計算的“光學-人工雙神經(jīng)元學習架構（DuAl-Neuron opTical-artificial lEarning,DANTE）”。其中光學神經(jīng)元精準建模光場計算過程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播，全局人工神經(jīng)元與局部光學神經(jīng)元以交替學習的機制進行迭代優(yōu)化，在確保學習有效性的同時，大大降低了訓練的時空復雜度，使得訓練更大更深的光電神經(jīng)網(wǎng)絡成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡物理建模復雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡規(guī)模提升一至兩個數(shù)量級，訓練學習速度提升兩個數(shù)量級。
-
redplum 2023-11-11 09:16很好的技術
-
likaihit 2023-11-11 09:17太厲害了
-
sac 2023-11-11 09:18光電智能計算
-
qyzyq37jason618 2023-11-11 09:25受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學習方法僅能實現(xiàn)百萬量級神經(jīng)元的光電神經(jīng)網(wǎng)絡訓練，難以滿足ImageNet等復雜大規(guī)模數(shù)據(jù)集的訓練需求。課題組在空間光智能計算平臺上開展了大量仿真與物理實驗驗證，將現(xiàn)有百萬量級光電神經(jīng)元網(wǎng)絡的訓練時間從數(shù)十小時級縮短到了分鐘級。課題組進一步基于DANTE，首次實現(xiàn)了億級神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡訓練與推理，在CIFAR-10、ImageNet等多個數(shù)據(jù)集上實現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡VGG-11和VGG-16相當?shù)臏蚀_率。值得強調的是，在ImageNet基準上成功訓練光電神經(jīng)網(wǎng)絡具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡訓練學習上的巨大潛力，有望推動光電智能計算從基于MNIST基準的原型驗證階段邁入到使用現(xiàn)代ImageNet基準來解決大規(guī)�，F(xiàn)實問題的全新時代。
-
churuiwei 2023-11-11 09:40隨著大模型等人工智能技術的突破與發(fā)展，算法復雜度劇增，對傳統(tǒng)計算芯片帶來了算力和功耗的雙重挑戰(zhàn)。
-
cufgr 2023-11-11 10:56課題組進一步基于DANTE，首次實現(xiàn)了億級神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡訓練與推理，在CIFAR-10、ImageNet等多個數(shù)據(jù)集上實現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡VGG-11和VGG-16相當?shù)臏蚀_率。
12