人工智能任務(wù)日益復(fù)雜、多樣且動(dòng)態(tài)變化，傳統(tǒng)機(jī)器學(xué)習(xí)方法往往基于固定數(shù)據(jù)集訓(xùn)練任務(wù)，無法適應(yīng)環(huán)境變化，如何使AI系統(tǒng)具備多任務(wù)持續(xù)學(xué)習(xí)的能力成為亟需解決的問題。近年來，隨著摩爾定律的停滯，以衍射神經(jīng)網(wǎng)絡(luò)為代表的光學(xué)架構(gòu)作為新的計(jì)算模態(tài)，在功能和效率方面展現(xiàn)出巨大潛力。然而，當(dāng)前光網(wǎng)絡(luò)仍普遍存在“災(zāi)難性遺忘”（catastrophic forgetting）的問題，學(xué)習(xí)新任務(wù)會(huì)失去先前任務(wù)的記憶。受人腦實(shí)現(xiàn)可持續(xù)學(xué)習(xí)的神經(jīng)突觸機(jī)制啟發(fā)，基于光天然物理上的稀疏性和并行性，清華大學(xué)電子工程系方璐副教授團(tuán)隊(duì)首創(chuàng)了智能光計(jì)算終身學(xué)習(xí)架構(gòu)，突破光網(wǎng)絡(luò)單一功能限制，支撐類腦并行多任務(wù)學(xué)習(xí)。通過稀疏光連接及多光譜并行計(jì)算等關(guān)鍵模塊，賦予光計(jì)算系統(tǒng)超越現(xiàn)有技術(shù)的功能、通量與能效，為智能系統(tǒng)在邊緣硬件的多任務(wù)部署提供了光速解決方案。

目前的人工智能模型大多只能處理給定的任務(wù)，當(dāng)環(huán)境發(fā)生變化便無能為力，距離人們需要的通用智能相差甚遠(yuǎn)。智能系統(tǒng)的可持續(xù)學(xué)習(xí)能力是AI領(lǐng)域發(fā)展的重要瓶頸，正受到廣泛關(guān)注。反觀人類本身，在不斷成長的過程中，人腦可以終身學(xué)習(xí)并掌握各種技能。如何借鑒人腦的終身學(xué)習(xí)機(jī)制，挖掘大規(guī)�？沙掷m(xù)進(jìn)化的計(jì)算范式成為了極具挑戰(zhàn)性的研究方向。然而，傳統(tǒng)硅基電子計(jì)算芯片的算力和功耗嚴(yán)重受限，難以滿足現(xiàn)實(shí)迫切所需的大規(guī)模高通量數(shù)據(jù)處理需求，因此探索新的計(jì)算技術(shù)和模態(tài)是未來智能系統(tǒng)發(fā)展的必然趨勢。

近年來，以光計(jì)算為基礎(chǔ)、通過光電融合的方式構(gòu)建光電神經(jīng)網(wǎng)絡(luò)已成為國際前沿的熱點(diǎn)研究。然而，雖然以衍射神經(jīng)網(wǎng)絡(luò)為代表的各式光網(wǎng)絡(luò)不斷涌現(xiàn)，但是現(xiàn)有的光電系統(tǒng)中的基本光學(xué)計(jì)算單元普遍受限于固化的結(jié)構(gòu)與較低的擴(kuò)展性，極大地限制了光本身的物理潛能和計(jì)算能力，導(dǎo)致當(dāng)前光網(wǎng)絡(luò)只能實(shí)現(xiàn)簡單的單一任務(wù)，學(xué)習(xí)新任務(wù)時(shí)無法克服災(zāi)難性遺忘的問題。

針對上述問題，方璐團(tuán)隊(duì)提出了終身學(xué)習(xí)光計(jì)算架構(gòu)L²ONN（Lifelong Learning Optical Neural Network）（圖1），創(chuàng)新性實(shí)現(xiàn)了可持續(xù)學(xué)習(xí)的多任務(wù)智能系統(tǒng)。受益于大規(guī)模光連接中固有的稀疏性和并行性，光計(jì)算天然地模仿了人腦中神經(jīng)元和突觸的終身學(xué)習(xí)機(jī)制。通過自適應(yīng)地激活相干光場中的稀疏光連接來學(xué)習(xí)每個(gè)任務(wù)，同時(shí)逐漸激活光計(jì)算來持續(xù)獲得對各種任務(wù)的經(jīng)驗(yàn)信息，多任務(wù)光學(xué)特征由分配有不同波長的多光譜表征并行處理。所提出光終身學(xué)習(xí)架構(gòu)從理論上確保了光本身物理特性帶來的可擴(kuò)展性和通用性，構(gòu)建了新型神經(jīng)形態(tài)計(jì)算體系，賦予智能系統(tǒng)以光速計(jì)算的能力。

圖片:46C085268D59002B5A0B92B66DE_24EAAB99_5B36F.png

圖1.光終身學(xué)習(xí)框架示意圖

為評估L2ONN的可持續(xù)學(xué)習(xí)能力，項(xiàng)目組在多個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上進(jìn)行了仿真驗(yàn)證（圖2）。大量實(shí)驗(yàn)證實(shí)，L2ONN避免了普通光神經(jīng)網(wǎng)絡(luò)的災(zāi)難性遺忘問題，在多種數(shù)據(jù)（視覺分類、語音識(shí)別、醫(yī)學(xué)診斷等）上完成多任務(wù)終身學(xué)習(xí)，其學(xué)習(xí)能力比普通光神經(jīng)網(wǎng)絡(luò)高出14倍以上。

圖片:8432D1784E385F0A1EBE4AAB1BD_9B61AAD3_3E48C.png

圖2.光終身學(xué)習(xí)架構(gòu)在多項(xiàng)數(shù)據(jù)集下的增量學(xué)習(xí)結(jié)果

進(jìn)一步，團(tuán)隊(duì)基于衍射計(jì)算模型實(shí)際制造了光終身學(xué)習(xí)芯片（圖3），并利用其實(shí)現(xiàn)了持續(xù)學(xué)習(xí)和并行處理，完成了光學(xué)智能系統(tǒng)在邊緣硬件的實(shí)際部署。最終結(jié)果表明，該芯片使用有限的計(jì)算資源，計(jì)算能效比典型的電神經(jīng)網(wǎng)絡(luò)高出一個(gè)數(shù)量級以上。

圖片:E4FA5FB406D3AAB4468B60E11B5_A893D8BF_C6251.png

圖3.光終身學(xué)習(xí)芯片原型系統(tǒng)、增量學(xué)習(xí)過程以及設(shè)計(jì)原理

研究提出的光計(jì)算終身學(xué)習(xí)架構(gòu)展現(xiàn)了光計(jì)算非凡的學(xué)習(xí)能力。隨著硅光芯片集成技術(shù)的發(fā)展，基于智能光計(jì)算終身學(xué)習(xí)架構(gòu)的光芯片有效支撐多任務(wù)并行處理，為智能系統(tǒng)在邊緣硬件的實(shí)際部署提供可持續(xù)學(xué)習(xí)的光速解決方案。該光計(jì)算架構(gòu)以其在功能、通量、能效上的優(yōu)勢，有望顯著提升人工智能系統(tǒng)的可擴(kuò)展性和通用性，使機(jī)器智能擁有像人類一樣對現(xiàn)實(shí)世界復(fù)雜任務(wù)的適應(yīng)能力。

近日，該研究成果以“數(shù)十項(xiàng)任務(wù)終身學(xué)習(xí)的光子神經(jīng)形態(tài)結(jié)構(gòu)”（Photonic neuromorphic architecture for tens-of-task lifelong learning）為題，在線發(fā)表于《自然》（Nature）子刊《光：科學(xué)與應(yīng)用》（Light：Science&Applications）。

清華大學(xué)電子工程系程遠(yuǎn)博士后為論文第一作者，方璐為論文通訊作者。研究得到國家自然科學(xué)基金委基礎(chǔ)科學(xué)中心項(xiàng)目，科技部2030“新一代人工智能”重大項(xiàng)目，清華大學(xué)-之江實(shí)驗(yàn)室聯(lián)合研究中心等的支持。

論文鏈接：https://doi.org/10.1038/s41377-024-01395-4