日前，北京理工大學(xué)光電學(xué)院王涌天教授、劉越教授團(tuán)隊(duì)成員徐怡博教授與來自谷歌公司和美國萊斯大學(xué)研究人員合作，開發(fā)了一種具有優(yōu)異壓縮比和吞吐量的基于單像素光電探測器的高光譜視頻成像系統(tǒng)，成果發(fā)表于Nature Communications 15, 1456 (2024)。徐怡博教授為論文第一作者兼通訊作者，谷歌公司陸李陽博士、萊斯大學(xué)Saragadam 博士和Kevin Kelly博士也對此工作做出了貢獻(xiàn)。

高光譜視頻成像捕獲場景的精細(xì)空間、光譜和時(shí)間信息，在生物熒光成像、遙感、監(jiān)控、自動駕駛等領(lǐng)域中具有廣泛應(yīng)用。高光譜視頻數(shù)據(jù)量極大，現(xiàn)有方法記錄高維數(shù)據(jù)時(shí)占用大量傳輸帶寬和存儲空間，給無人機(jī)、手機(jī)、行星探測器和衛(wèi)星等資源受限系統(tǒng)帶來巨大壓力。如何在保留信息的前提下最大限度減少采樣數(shù)據(jù)量、大幅提升采樣壓縮比是高光譜視頻成像中的關(guān)鍵問題。該研究利用四維高光譜視頻的高度可壓縮性，設(shè)計(jì)一種空間-光譜聯(lián)合編碼方案，提出基于四維空間信號稀疏度模型的優(yōu)化重建和深度學(xué)習(xí)重建方法，實(shí)現(xiàn)了基于單像素探測器、可在低帶寬下實(shí)現(xiàn)高通量的高光譜視頻成像系統(tǒng)。如圖1，優(yōu)化重建方法先從包含互補(bǔ)圖案的原始測量中重建灰度視頻并提取光流，然后通過光流輔助四維全變分正則化優(yōu)化方法實(shí)現(xiàn)高光譜視頻重建。

圖片:e38800da4215460a93d0a6e5ec4355a3.png

圖1.光流輔助四維全變分正則化高光譜視頻重建過程示意圖與流程圖

實(shí)驗(yàn)中重建視頻空間大小為128 × 128，具有64個光譜頻道，幀率約4幀/秒，壓縮比約為900:1。圖2展示從重建的高光譜頻幀中均勻選取16幀并轉(zhuǎn)換為人工RGB圖像，與彩色相機(jī)記錄的畫面對比，可見實(shí)現(xiàn)了高精度的重建。

圖片:7e77e3066d1545d681331cce4d4b3485.png

圖2.單像素成像實(shí)驗(yàn)優(yōu)化算法重建結(jié)果

如圖3，深度學(xué)習(xí)重建方法由兩個階段組成。先基于長短期記憶(LSTM)網(wǎng)絡(luò)的模型利用5個相鄰幀之間的時(shí)間相關(guān)性，從“結(jié)構(gòu)化隨機(jī)”編碼測量中重建灰度視頻。再基于殘差連接的卷積神經(jīng)網(wǎng)絡(luò)(CNN)的高光譜重建網(wǎng)絡(luò)，從深度空間-光譜聯(lián)合壓縮測量值及第一階段的灰度視頻中恢復(fù)高光譜幀。

圖片:7b3ca5d206564401a85befff80e39d72.png

圖3.高光譜視頻重建的深度學(xué)習(xí)方法示意圖

如表1所示，對比基于兩種方法重建高光譜幀的時(shí)間，可見深度學(xué)習(xí)方法在重建速度上有顯著的提升。

圖片:eff5a5597ee24474bcee66aaa638156f.png

表1.基于四維全變分的優(yōu)化方法和深度學(xué)習(xí)方法的重構(gòu)時(shí)間

論文鏈接：https://www.nature.com/articles/s41467-024-45856-1