中國科學(xué)院計算機網(wǎng)絡(luò)信息中心人工智能部研究員楊小渝的博士生鄭巳明于近期取得多項學(xué)術(shù)成果，相關(guān)研究成果發(fā)表在Patterns和Photonics Research上。

原位電子顯微技術(shù)（EM）與超快探測器的發(fā)展為探索材料的動力學(xué)打開了一扇新的大門，然而，這也對透射電鏡大數(shù)據(jù)壓縮和存儲提出了挑戰(zhàn)。開發(fā)出一種高效、高保真的大數(shù)據(jù)壓縮策略對推動透射電子技術(shù)的廣泛應(yīng)用具有重要意義。該研究成果以Super-compression of large electron microscopy time series by deep compressive sensing learning為題，發(fā)表在Patterns上。該研究中，研究人員結(jié)合深度學(xué)習(xí)（deep learning）和時間壓縮感知（temporal compressive sensing）提出一種新穎的EM大數(shù)據(jù)壓縮策略。具體而言，時間壓縮感知（TCS）首先用作編碼器，將多個幀壓縮為單幀測量，顯著降低了帶寬和數(shù)據(jù)傳輸、存儲的內(nèi)存要求。然后，構(gòu)建了端到端的深度學(xué)習(xí)網(wǎng)絡(luò)，以極高的速度從單幀測量中重建原始圖像系列。由于深度學(xué)習(xí)框架的壓縮效率和內(nèi)置去噪能力比傳統(tǒng)的JPEG壓縮顯著提高，因此，能夠高保真地重建壓縮比高達30的原位系列圖像或視頻。使用這一策略可以節(jié)省大量的編碼能力、內(nèi)存和傳輸帶寬。這一技術(shù)將有望在電鏡和其他成像技術(shù)的大數(shù)據(jù)存儲中獲得廣泛應(yīng)用。

真實場景光譜豐富。自攝影誕生以來，捕捉顏色和光譜信息一直是核心問題。研究人員提出了一種即插即用（PnP）方法，該方法使用基于深度學(xué)習(xí)的降噪器作為光譜快照壓縮成像（SCI）的正則化先驗。 該方法有效權(quán)衡了壓縮圖像重建的質(zhì)量和速度，并且可以靈活地用于不同的壓縮編碼機制。這為在一個快照中捕獲和恢復(fù)多光譜或高光譜信息鋪平了道路，可能會激發(fā)遙感、生物醫(yī)學(xué)科學(xué)和材料科學(xué)中的應(yīng)用。相關(guān)文章發(fā)表于Photonics Research。

圖1.用于大數(shù)據(jù)電子顯微鏡（EM）的時間壓感知-深度學(xué)習(xí)（TCS-DL）框架結(jié)構(gòu)

圖2.典型光譜SCI系統(tǒng)的圖像形成過程，即SD-CASSI和使用所提出的深度即插即用（PnP）先驗算法的重建過程