近日，清華大學(xué)自動化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組提出一套實時熒光成像去噪架構(gòu)（DeepCAD-RT），將此前開發(fā)的基于自監(jiān)督學(xué)習(xí)的智能圖像去噪方法進行了深度的整合和優(yōu)化，通過將模型預(yù)測過程融合到成像流程中，在雙光子熒光顯微鏡上實現(xiàn)了實時的（30Hz）熒光成像去噪。借助此方法，在使用顯微系統(tǒng)對生物樣本進行熒光成像時，研究人員就能夠?qū)崟r地得到增強之后的圖像，將成像所需的熒光光子的數(shù)目縮減10倍以上，實現(xiàn)了超越光子噪聲極限的實時超靈敏熒光成像。該方法被應(yīng)用于小鼠、斑馬魚、果蠅等多種模式動物的神經(jīng)鈣成像實驗，觀測范圍涵蓋細胞體、神經(jīng)纖維、樹突棘等多個尺度。此方法還被應(yīng)用于觀測免疫細胞在急性腦損傷之后的三維遷移過程，以及大腦皮層中胞外信使ATP（腺嘌呤核苷三磷酸）在損傷點位周圍的發(fā)放過程，在國際上首次做到對ATP發(fā)放過程的長時程（1小時）三維（350×350×60 μm3）觀測，并給出了關(guān)于發(fā)放位置、時間、發(fā)放點位的三維形狀等量化特征的完整統(tǒng)計結(jié)論。

圖1. DeepCAD-RT實時超靈敏熒光成像框架

熒光顯微鏡是生命科學(xué)不可或缺的研究工具。熒光成像的一個基本挑戰(zhàn)是光子探測不可避免的隨機性導(dǎo)致的光子散粒噪聲，這是由光的量子本質(zhì)決定的。從根本上說，所有測量過程都服從量子力學(xué)定律，最直接的表現(xiàn)就是任何測量過程都存在精度的上限，光學(xué)成像領(lǐng)域的這個極限被稱為光子噪聲極限，光子噪聲是前沿科學(xué)觀測中繞不開的障礙。在理論上，光子噪聲極限規(guī)定了成像信噪比的上界；在實踐上，固有的光子噪聲會增加測量的不確定性，降低圖像質(zhì)量，并限制成像的分辨率、速度和靈敏度等各個方面。

為了解決固有的光子噪聲給成像帶來的一系列難題，戴瓊海院士團隊繼2021年在《自然·方法》（Nature Methods）期刊上發(fā)文首次提出針對神經(jīng)鈣成像的自監(jiān)督去噪基礎(chǔ)架構(gòu)后，進一步從網(wǎng)絡(luò)結(jié)構(gòu)和硬件部署兩個方面對該方法進行了全面的整合優(yōu)化，在有效提升去噪性能和可靠性的同時，將模型體量壓縮16倍，內(nèi)存消耗降低27倍，處理時間縮減20倍，并設(shè)計多線程最優(yōu)調(diào)度方法實現(xiàn)和顯微鏡硬件系統(tǒng)的融合，最終在雙光子顯微鏡上實現(xiàn)了實時去噪。除了在模型預(yù)測階段的提升之外，該工作在訓(xùn)練階段也進行了多方面的提升：通過設(shè)計12倍數(shù)據(jù)增廣來有效降低訓(xùn)練過程的數(shù)據(jù)依賴性，僅需1000幀時序圖像就能訓(xùn)練出性能優(yōu)越的模型；模型縮減和數(shù)據(jù)增廣共同作用消除了過擬合，有效提升了方法的準(zhǔn)確性和可靠性。同時，其自監(jiān)督的內(nèi)核賦予該方法從原始數(shù)據(jù)中學(xué)習(xí)清晰圖像的能力，即使網(wǎng)絡(luò)沒見過任何高信噪比或者清晰的圖像，僅從原始的低信噪比圖像中就能學(xué)出真實的信號，解決了活體成像中由于樣本得到高速動態(tài)特性導(dǎo)致的真值缺失問題。該工作通過豐富的生命科學(xué)實驗，論證了其超越光子噪聲極限的超靈敏成像能力。

圖2. 實時超靈敏熒光成像方法在多種模式動物、多種生命現(xiàn)象上的應(yīng)用