近日，清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組，聯(lián)合中國科學(xué)院生物物理研究所李棟課題組、美國霍華德休斯醫(yī)學(xué)研究所（HHMI）詹妮弗·利平科特-施瓦茨（Jennifer Lippincott-Schwartz）博士提出了一套合理化深度學(xué)習(xí)（rationalized deep learning，rDL）顯微成像技術(shù)框架，將光學(xué)成像模型及物理先驗(yàn)與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)相融合，合理化網(wǎng)絡(luò)訓(xùn)練、預(yù)測(cè)過程，從而實(shí)現(xiàn)了高性能、高保真的顯微圖像去噪與超分辨重建，并結(jié)合實(shí)驗(yàn)室自主研發(fā)、搭建的多模態(tài)結(jié)構(gòu)光照明顯微鏡（Multi-SIM）與高速晶格光片顯微鏡（LLSM），將傳統(tǒng)超分辨活體成像速度與時(shí)程提升30倍以上，實(shí)現(xiàn)了當(dāng)前國際最快（684Hz）、成像時(shí)程最長(zhǎng)（最長(zhǎng)可達(dá)3小時(shí)、60,000時(shí)間點(diǎn)以上）的活體細(xì)胞成像性能，首次對(duì)高速擺動(dòng)纖毛（>30Hz）中轉(zhuǎn)運(yùn)蛋白（IFT）的多種運(yùn)輸行為以及完整細(xì)胞分裂過程中核仁液液相分離（liquid-liquid phase separation）過程進(jìn)行快速、多色、長(zhǎng)時(shí)程、超分辨觀測(cè)。

圖1.合理化深度學(xué)習(xí)超分辨顯微成像技術(shù)文章封面與神經(jīng)網(wǎng)絡(luò)架構(gòu)

具體而言，研究團(tuán)隊(duì)提出的合理化深度學(xué)習(xí)結(jié)構(gòu)光超分辨重建架構(gòu)（rDL SIM）不同于現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的端到端（end-to-end）訓(xùn)練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結(jié)構(gòu)光照明先驗(yàn)的神經(jīng)網(wǎng)絡(luò)對(duì)原始SIM圖像進(jìn)行去噪和高頻信息增強(qiáng)，然后再通過經(jīng)典解析算法進(jìn)行SIM重建以獲得最終的超分辨圖像。相比于該團(tuán)隊(duì)去年在《自然·方法》（Nature Methods）期刊上提出的傅立葉注意力超分辨重建神經(jīng)網(wǎng)絡(luò)模型（DFCAN/DFGAN），合理化深度學(xué)習(xí)超分辨成像技術(shù)可將超分辨重建結(jié)果的不確定性降低3~5倍，并實(shí)現(xiàn)更高的保真度和重建質(zhì)量；相比于其他去噪算法，該方法可完美恢復(fù)出調(diào)制在原始圖像中的莫爾條紋，并將高頻信息增強(qiáng)10倍以上。

此外，針對(duì)晶格光片顯微鏡、共聚焦顯微鏡等寬場(chǎng)照明或點(diǎn)掃描成像模態(tài)，研究團(tuán)隊(duì)提出了一種可學(xué)習(xí)的傅立葉域噪聲抑制模塊（FNSM），該模塊可以利用光學(xué)傳遞函數(shù)信息對(duì)顯微圖像中的噪聲進(jìn)行自適應(yīng)濾除。然后，他們以此構(gòu)建了嵌入傅立葉域噪聲抑制模塊的通道注意力去噪神經(jīng)網(wǎng)絡(luò)架構(gòu)，并基于顯微成像數(shù)據(jù)本身的時(shí)空連續(xù)性，提出了時(shí)空交織采樣自監(jiān)督訓(xùn)練策略（TiS/SiS-rDL），無需額外采集訓(xùn)練數(shù)據(jù)、亦無需保證時(shí)序數(shù)據(jù)具有時(shí)間連續(xù)性，即可實(shí)現(xiàn)媲美監(jiān)督學(xué)習(xí)效果的去噪神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，解決了實(shí)際生物成像實(shí)驗(yàn)中高質(zhì)量訓(xùn)練數(shù)據(jù)難以獲取的難題。

圖2.合理化深度學(xué)習(xí)超分辨顯微成像方法應(yīng)用概覽