斯坦福大學(xué)首次實現(xiàn)光學(xué)反向傳播里程碑
使用光而不是電的處理器有望成為實現(xiàn)人工智能的一種更快、更節(jié)能的方式。到目前為止,它們只被用于運行已經(jīng)訓(xùn)練過的模型,但新的研究首次證明了在光學(xué)芯片上訓(xùn)練人工智能的能力。 隨著AI模型變得越來越大,人們越來越擔(dān)心它們消耗的能量,這既是由于不斷膨脹的成本,也是由于對環(huán)境的潛在影響。這激發(fā)了人們對可以減少AI能源費用的新方法的興趣,其中光子處理器成為主要候選者。 這些芯片用光子代替?zhèn)鹘y(tǒng)處理器中的電子,并使用波導(dǎo)、濾波器和光探測器等光學(xué)元件來創(chuàng)建可以執(zhí)行計算任務(wù)的電路。它們在運行AI方面特別有前途,因為它們在執(zhí)行矩陣乘法方面非常高效,這是所有深度學(xué)習(xí)模型核心的關(guān)鍵計算。總部位于波士頓的Lightmatter和位于馬薩諸塞州劍橋的Lightelligence等公司已經(jīng)在努力將光子AI芯片商業(yè)化。 不過,到目前為止,這些設(shè)備僅用于推理,即已經(jīng)訓(xùn)練過的AI模型對新數(shù)據(jù)做出預(yù)測。這是因為這些芯片一直在努力實現(xiàn)用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的關(guān)鍵算法——反向傳播。但在《科學(xué)》雜志的一篇新論文中,斯坦福大學(xué)的一個團隊描述了首次在光子芯片上實施訓(xùn)練方法。 |