近日，清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組提出一套實(shí)時(shí)熒光成像去噪架構(gòu)（DeepCAD-RT），將此前開發(fā)的基于自監(jiān)督學(xué)習(xí)的智能圖像去噪方法進(jìn)行了深度的整合和優(yōu)化，通過將模型預(yù)測(cè)過程融合到成像流程中，在雙光子熒光顯微鏡上實(shí)現(xiàn)了實(shí)時(shí)的（30Hz）熒光成像去噪。借助此方法，在使用顯微系統(tǒng)對(duì)生物樣本進(jìn)行熒光成像時(shí)，研究人員就能夠?qū)崟r(shí)地得到增強(qiáng)之后的圖像，將成像所需的熒光光子的數(shù)目縮減10倍以上，實(shí)現(xiàn)了超越光子噪聲極限的實(shí)時(shí)超靈敏熒光成像。該方法被應(yīng)用于小鼠、斑馬魚、果蠅等多種模式動(dòng)物的神經(jīng)鈣成像實(shí)驗(yàn)，觀測(cè)范圍涵蓋細(xì)胞體、神經(jīng)纖維、樹突棘等多個(gè)尺度。此方法還被應(yīng)用于觀測(cè)免疫細(xì)胞在急性腦損傷之后的三維遷移過程，以及大腦皮層中胞外信使ATP（腺嘌呤核苷三磷酸）在損傷點(diǎn)位周圍的發(fā)放過程，在國際上首次做到對(duì)ATP發(fā)放過程的長時(shí)程（1小時(shí)）三維（350×350×60 μm3）觀測(cè)，并給出了關(guān)于發(fā)放位置、時(shí)間、發(fā)放點(diǎn)位的三維形狀等量化特征的完整統(tǒng)計(jì)結(jié)論。

圖1. DeepCAD-RT實(shí)時(shí)超靈敏熒光成像框架

熒光顯微鏡是生命科學(xué)不可或缺的研究工具。熒光成像的一個(gè)基本挑戰(zhàn)是光子探測(cè)不可避免的隨機(jī)性導(dǎo)致的光子散粒噪聲，這是由光的量子本質(zhì)決定的。從根本上說，所有測(cè)量過程都服從量子力學(xué)定律，最直接的表現(xiàn)就是任何測(cè)量過程都存在精度的上限，光學(xué)成像領(lǐng)域的這個(gè)極限被稱為光子噪聲極限，光子噪聲是前沿科學(xué)觀測(cè)中繞不開的障礙。在理論上，光子噪聲極限規(guī)定了成像信噪比的上界；在實(shí)踐上，固有的光子噪聲會(huì)增加測(cè)量的不確定性，降低圖像質(zhì)量，并限制成像的分辨率、速度和靈敏度等各個(gè)方面。

為了解決固有的光子噪聲給成像帶來的一系列難題，戴瓊海院士團(tuán)隊(duì)繼2021年在《自然·方法》（Nature Methods）期刊上發(fā)文首次提出針對(duì)神經(jīng)鈣成像的自監(jiān)督去噪基礎(chǔ)架構(gòu)后，進(jìn)一步從網(wǎng)絡(luò)結(jié)構(gòu)和硬件部署兩個(gè)方面對(duì)該方法進(jìn)行了全面的整合優(yōu)化，在有效提升去噪性能和可靠性的同時(shí)，將模型體量壓縮16倍，內(nèi)存消耗降低27倍，處理時(shí)間縮減20倍，并設(shè)計(jì)多線程最優(yōu)調(diào)度方法實(shí)現(xiàn)和顯微鏡硬件系統(tǒng)的融合，最終在雙光子顯微鏡上實(shí)現(xiàn)了實(shí)時(shí)去噪。除了在模型預(yù)測(cè)階段的提升之外，該工作在訓(xùn)練階段也進(jìn)行了多方面的提升：通過設(shè)計(jì)12倍數(shù)據(jù)增廣來有效降低訓(xùn)練過程的數(shù)據(jù)依賴性，僅需1000幀時(shí)序圖像就能訓(xùn)練出性能優(yōu)越的模型；模型縮減和數(shù)據(jù)增廣共同作用消除了過擬合，有效提升了方法的準(zhǔn)確性和可靠性。同時(shí)，其自監(jiān)督的內(nèi)核賦予該方法從原始數(shù)據(jù)中學(xué)習(xí)清晰圖像的能力，即使網(wǎng)絡(luò)沒見過任何高信噪比或者清晰的圖像，僅從原始的低信噪比圖像中就能學(xué)出真實(shí)的信號(hào)，解決了活體成像中由于樣本得到高速動(dòng)態(tài)特性導(dǎo)致的真值缺失問題。該工作通過豐富的生命科學(xué)實(shí)驗(yàn)，論證了其超越光子噪聲極限的超靈敏成像能力。

圖2. 實(shí)時(shí)超靈敏熒光成像方法在多種模式動(dòng)物、多種生命現(xiàn)象上的應(yīng)用