研究人員利用噴墨打印技術(shù)制造出了一種緊湊型多光譜光場(chǎng)相機(jī)。這種相機(jī)可以放在手掌中，可用于自動(dòng)駕駛、回收材料分類(lèi)和遙感等多種應(yīng)用。

三維光譜信息對(duì)于物體和材料的分類(lèi)非常有用；然而，從場(chǎng)景中捕捉三維空間和光譜信息通常需要多個(gè)設(shè)備或耗時(shí)的掃描過(guò)程。新型光場(chǎng)相機(jī)通過(guò)在一張快照中同時(shí)獲取三維信息和光譜數(shù)據(jù)，解決了這一難題。

圖片:researchers-leverage-i.jpg

來(lái)自德國(guó)卡爾斯魯厄理工學(xué)院的研究團(tuán)隊(duì)負(fù)責(zé)人Uli Lemmer說(shuō)：“據(jù)我們所知，這是最先進(jìn)的集成版多光譜光場(chǎng)相機(jī)。我們將它與用于重建場(chǎng)景深度和光譜特性的新人工智能方法相結(jié)合，創(chuàng)建了一個(gè)用于獲取三維信息的先進(jìn)傳感器系統(tǒng)�！�

研究人員在《光學(xué)快報(bào)》（Optics Express）雜志上報(bào)告說(shuō)，新相機(jī)和圖像重建方法可用于根據(jù)光譜特性區(qū)分場(chǎng)景中的物體。利用噴墨打印技術(shù)制造相機(jī)的關(guān)鍵光學(xué)元件，可以方便地進(jìn)行定制或大批量制造。

研究團(tuán)隊(duì)成員Michael Heizmann說(shuō)：“從相機(jī)圖像中重建的三維數(shù)據(jù)正在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、自動(dòng)駕駛汽車(chē)、機(jī)器人、智能家居設(shè)備、遙感和其他應(yīng)用中得到廣泛應(yīng)用。例如，這項(xiàng)新技術(shù)可以讓機(jī)器人更好地與人類(lèi)互動(dòng)，或提高回收材料分類(lèi)和分離的準(zhǔn)確性。它還有可能用于對(duì)健康和患病組織進(jìn)行分類(lèi)�！�

圖片:researchers-leverage-i-1.jpg

噴墨打印用于在超薄顯微鏡載玻片的一側(cè)沉積單個(gè)材料液滴，形成單個(gè)透鏡（i）。固化（ii）后，在顯微鏡載玻片的另一面（iii）上打印出完全對(duì)齊的彩色濾光片陣列。由此產(chǎn)生的光學(xué)元件被直接集成到 CMOS 相機(jī)芯片上，并放置在相機(jī)外殼中 (iv)。

使用噴墨打印添加顏色

光場(chǎng)照相機(jī)又稱(chēng)全光學(xué)照相機(jī)，是一種專(zhuān)門(mén)的成像設(shè)備，可以捕捉光線(xiàn)的方向和強(qiáng)度。采集圖像后，通過(guò)計(jì)算處理從采集的數(shù)據(jù)中重建三維圖像信息。這些相機(jī)通常使用與高分辨率相機(jī)芯片像素對(duì)齊的微透鏡陣列。

為了制造多光譜光場(chǎng)相機(jī)，研究人員使用噴墨打印技術(shù)在超薄顯微鏡載玻片的一側(cè)沉積形成每個(gè)獨(dú)立透鏡的單滴材料，然后在顯微鏡載玻片的另一側(cè)打印完全對(duì)齊的彩色濾光片陣列。由此產(chǎn)生的光學(xué)元件被直接集成到 CMOS 相機(jī)芯片上。噴墨打印方法允許光學(xué)元件之間精確對(duì)齊，大大降低了制造復(fù)雜性，提高了效率。

由于這種設(shè)置產(chǎn)生的光譜和深度信息在相機(jī)圖像中交織在一起，研究人員開(kāi)發(fā)出了分離每個(gè)組件的方法。他們發(fā)現(xiàn)，基于深度學(xué)習(xí)的方法最適合直接從獲取的測(cè)量結(jié)果中提取所需的信息。

圖片:researchers-leverage-i-2.jpg

研究人員使用新型相機(jī)和深度學(xué)習(xí)方法，以不同顏色通道（偽色表示）生成了這些重建視圖。

基于光譜的物體檢測(cè)

論文第一作者Qiaoshuang Zhang說(shuō)：“只有將制造、系統(tǒng)設(shè)計(jì)和基于人工智能的圖像重建等方面的最新進(jìn)展結(jié)合起來(lái)，才有可能應(yīng)對(duì)創(chuàng)建多光譜光場(chǎng)相機(jī)的挑戰(zhàn)。這項(xiàng)工作推動(dòng)了噴墨打印——一種具有高精度和工業(yè)可擴(kuò)展性的多功能方法，在制造光子元件方面的應(yīng)用。”

研究人員通過(guò)記錄一個(gè)測(cè)試場(chǎng)景對(duì)相機(jī)進(jìn)行了測(cè)試，該場(chǎng)景包含不同距離的多色三維物體。圖像重建算法在許多合成和真實(shí)的多光譜圖像上進(jìn)行了訓(xùn)練和測(cè)試。結(jié)果表明，原型相機(jī)可以同時(shí)獲取三維空間和光譜信息，并且可以在一張快照中通過(guò)不同的光譜組成和深度信息對(duì)不同的物體進(jìn)行成像和區(qū)分。

現(xiàn)在，他們已經(jīng)完成了第一個(gè)概念驗(yàn)證，研究人員正在探索具有獲取多光譜信息能力的光場(chǎng)照相機(jī)可能有用的各種應(yīng)用。

相關(guān)鏈接：https://phys.org/news/2024-06-leverage-inkjet-portable-multispectral-3d.html

論文鏈接：https://dx.doi.org/10.1364/OE.521646