研究背景

三維顯示相較于二維顯示可以提供更加豐富的信息，對真實(shí)世界場景進(jìn)行實(shí)時(shí)三維重建作為元宇宙和物聯(lián)網(wǎng)領(lǐng)域的關(guān)鍵技術(shù)有著廣闊的應(yīng)用前景。全息三維顯示被認(rèn)為是一種理想的三維顯示方案，提升三維全息圖的計(jì)算速度和重建質(zhì)量可以為實(shí)時(shí)三維重建提供堅(jiān)實(shí)的支持。目前用于實(shí)現(xiàn)真實(shí)場景的全息三維重建的方法面臨成像質(zhì)量低、速度慢。因此，如何連續(xù)獲取真實(shí)世界場景的三維信息并進(jìn)行快速且高質(zhì)量的全息三維重建是值得研究的問題。

導(dǎo)讀

南昌大學(xué)成像與視覺表示實(shí)驗(yàn)室研究團(tuán)隊(duì)提出了一種由物理模型和人工智能驅(qū)動(dòng)的真實(shí)世界場景的實(shí)時(shí)智能三維全息攝影系統(tǒng)，實(shí)現(xiàn)真實(shí)世界場景的高質(zhì)量全息三維重建。該成果以“Real-time intelligent 3D holographic photography for real-world scenarios”為題發(fā)表于光學(xué)領(lǐng)域頂級(jí)國際期刊Optics Express。

主要研究內(nèi)容

研究團(tuán)隊(duì)利用深度相機(jī)獲取真實(shí)場景的三維信息，采用層析法將其劃分為30層。利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建強(qiáng)度圖和深度圖到計(jì)算全息圖（CGH）的映射。利用角譜算法的可微性實(shí)現(xiàn)CNN的自監(jiān)督訓(xùn)練，使用復(fù)合損失函數(shù)計(jì)算重建圖像與目標(biāo)圖像的損失以優(yōu)化網(wǎng)絡(luò)參數(shù)。訓(xùn)練好的CNN可以在14.5 ms內(nèi)根據(jù)輸入的強(qiáng)度圖和深度圖生成1024 1024的三維全息圖。CGH被加載到空間光調(diào)制器上進(jìn)行顯示，可以用肉眼觀察到具有明顯深度變化的三維重建結(jié)果，所提系統(tǒng)的原理圖和實(shí)物圖如圖1所示。

 

圖1. 所提系統(tǒng)的原理圖和實(shí)物圖。

所提卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程圖如圖2所示。訓(xùn)練過程中，網(wǎng)絡(luò)輸入包含三維場景信息的強(qiáng)度圖和深度圖到Net1進(jìn)行編碼，Net1由Unet架構(gòu)實(shí)現(xiàn)并輸出目標(biāo)振幅和相位場。使用角譜算法將目標(biāo)振幅和相位場向前傳播z0，得到全息平面的振幅和相位場。之后，將全息平面的振幅和相位場輸入Net2并生成全息圖，Net2由一個(gè)全卷積殘差網(wǎng)絡(luò)實(shí)現(xiàn)。使用角譜算法將全息圖隨機(jī)重建到三維物體的一層，計(jì)算并最小化重建圖像與目標(biāo)圖像的損失。通過反向傳播更新Net1和Net2的參數(shù)。訓(xùn)練中使用了由均方誤差損失和感知損失組成的復(fù)合損失函數(shù)。

 

圖2. 所提卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程圖。