近日，清華大學自動化系、清華大學腦與認知科學研究院、清華-IDG/麥戈文腦科學研究院戴瓊海課題組，聯(lián)合中國科學院生物物理研究所李棟課題組、美國霍華德休斯醫(yī)學研究所（HHMI）詹妮弗·利平科特-施瓦茨（Jennifer Lippincott-Schwartz）博士提出了一套合理化深度學習（rationalized deep learning，rDL）顯微成像技術框架，將光學成像模型及物理先驗與神經網絡結構設計相融合，合理化網絡訓練、預測過程，從而實現(xiàn)了高性能、高保真的顯微圖像去噪與超分辨重建，并結合實驗室自主研發(fā)、搭建的多模態(tài)結構光照明顯微鏡（Multi-SIM）與高速晶格光片顯微鏡（LLSM），將傳統(tǒng)超分辨活體成像速度與時程提升30倍以上，實現(xiàn)了當前國際最快（684Hz）、成像時程最長（最長可達3小時、60,000時間點以上）的活體細胞成像性能，首次對高速擺動纖毛（>30Hz）中轉運蛋白（IFT）的多種運輸行為以及完整細胞分裂過程中核仁液液相分離（liquid-liquid phase separation）過程進行快速、多色、長時程、超分辨觀測。

圖1.合理化深度學習超分辨顯微成像技術文章封面與神經網絡架構

具體而言，研究團隊提出的合理化深度學習結構光超分辨重建架構（rDL SIM）不同于現(xiàn)有超分辨神經網絡模型的端到端（end-to-end）訓練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結構光照明先驗的神經網絡對原始SIM圖像進行去噪和高頻信息增強，然后再通過經典解析算法進行SIM重建以獲得最終的超分辨圖像。相比于該團隊去年在《自然·方法》（Nature Methods）期刊上提出的傅立葉注意力超分辨重建神經網絡模型（DFCAN/DFGAN），合理化深度學習超分辨成像技術可將超分辨重建結果的不確定性降低3~5倍，并實現(xiàn)更高的保真度和重建質量；相比于其他去噪算法，該方法可完美恢復出調制在原始圖像中的莫爾條紋，并將高頻信息增強10倍以上。

此外，針對晶格光片顯微鏡、共聚焦顯微鏡等寬場照明或點掃描成像模態(tài)，研究團隊提出了一種可學習的傅立葉域噪聲抑制模塊（FNSM），該模塊可以利用光學傳遞函數(shù)信息對顯微圖像中的噪聲進行自適應濾除。然后，他們以此構建了嵌入傅立葉域噪聲抑制模塊的通道注意力去噪神經網絡架構，并基于顯微成像數(shù)據(jù)本身的時空連續(xù)性，提出了時空交織采樣自監(jiān)督訓練策略（TiS/SiS-rDL），無需額外采集訓練數(shù)據(jù)、亦無需保證時序數(shù)據(jù)具有時間連續(xù)性，即可實現(xiàn)媲美監(jiān)督學習效果的去噪神經網絡的訓練，解決了實際生物成像實驗中高質量訓練數(shù)據(jù)難以獲取的難題。

圖2.合理化深度學習超分辨顯微成像方法應用概覽