協(xié)作可以是一件美妙的事情，尤其是當人們共同努力創(chuàng)造出新事物時。以華盛頓大學（UW）電氣與計算機工程及物理學教授阿爾卡·馬宗達爾（Arka Majumdar）與普林斯頓大學計算機科學助理教授費利克斯·海德（Felix Heide）之間的長期合作為例。

他們與學生們共同完成了一些令人矚目的研究，包括將相機縮小至鹽粒大小，同時仍能捕捉清晰、銳利的圖像。

如今，這對搭檔正在此基礎上繼續(xù)推進，他們在《科學進展》（Science Advances）期刊上發(fā)表了一篇論文，描述了一種為計算機視覺設計的新型緊湊型相機。計算機視覺是一種人工智能技術(shù)，使計算機能夠識別圖像和視頻中的物體。

圖片:搜狗截圖20250206104041.png

華盛頓大學教授 Arka Majumdar 和他的學生與普林斯頓大學合作，構(gòu)建了一種專為計算機視覺設計的新型緊湊型相機。他們的原型（如上圖所示）使用光學器件進行計算，顯著降低了功耗，并使相機能夠以光速識別物體。

Majumdar 和 Hide 的研究原型利用光學進行計算，顯著降低了功耗，并使相機能夠以光速識別物體。他們的設備還代表了計算機視覺領(lǐng)域的一種新方法。

Majumdar說：“這是一種全新的光學思維方式，與傳統(tǒng)光學截然不同。這是一種端到端的設計，光學與計算模塊協(xié)同設計。在這里，我們用工程光學取代了相機鏡頭，這使得我們可以將大量計算任務轉(zhuǎn)移到光學中�！�

該論文的主要研究者和資深作者Hide補充道：“這項研究有非常廣泛的應用，從自動駕駛汽車、自動駕駛卡車和其他機器人到醫(yī)療設備和智能手機。如今，每一部iPhone都內(nèi)置了人工智能或視覺技術(shù)。這項工作仍處于非常早期的階段，但所有這些應用未來都可能從我們的研究中受益�！�

Hide和他在普林斯頓的學生們設計了相機原型，這是一種緊湊的光學計算芯片。Majumdar貢獻了他在光學領(lǐng)域的專業(yè)知識，幫助設計相機，他和他的學生在華盛頓納米加工實驗室制造了芯片。

這項多機構(gòu)研究團隊的華盛頓大學成員包括華盛頓大學電氣與計算機工程系（UW ECE）的博士后學者Johannes Froech和James Whitehead博士，他在研究期間是Majumdar實驗室的博士生。

用工程光學元件取代相機鏡頭

與使用由玻璃或塑料制成的傳統(tǒng)相機鏡頭不同，這種相機的光學系統(tǒng)依賴于50層超透鏡（meta-lenses）——一種利用微觀納米結(jié)構(gòu)操控光線的扁平、輕質(zhì)光學元件。這些超透鏡還充當光學神經(jīng)網(wǎng)絡，這是一種基于人腦建模的人工智能計算機系統(tǒng)。

這種獨特的方法有幾個關(guān)鍵優(yōu)勢。首先，它速度快。由于大部分計算以光速進行，該系統(tǒng)識別和分類圖像的速度比使用傳統(tǒng)計算機硬件的神經(jīng)網(wǎng)絡快200倍以上，且精度相當。其次，由于相機的光學系統(tǒng)依賴入射光而非電力運行，功耗大大降低。

圖片:搜狗截圖20250206104050.png

這款相機中的光學元件不是使用由玻璃或塑料制成的傳統(tǒng)相機鏡頭，而是依賴于 50 個超透鏡層——扁平、輕便的光學元件，使用微觀納米結(jié)構(gòu)來縱光線。這些超透鏡安裝在一個緊湊的光學計算芯片（如上圖所示）中，該芯片由 Majumdar 和他的學生在華盛頓納米制造實驗室制造。

Heide說：“我們的想法是利用阿爾卡在超表面（metasurfaces）方面的開創(chuàng)性工作，將傳統(tǒng)上由電子完成的部分計算轉(zhuǎn)移到光學中以光速進行。通過這種方式，我們開發(fā)了一種新的計算機視覺系統(tǒng)，能夠以光學方式完成大量計算�！�

Majumdar和Heide表示，他們打算繼續(xù)合作。這項研究的下一步包括進一步迭代，改進原型，使其更適用于自動駕駛車輛的自主導航。

這是他們共同認為有前景的應用領(lǐng)域。他們還計劃處理更復雜的數(shù)據(jù)集和需要更大計算能力解決的問題，例如目標檢測（在圖像中定位特定物體），這是計算機視覺的重要功能。

Majumdar說：“目前，這種光學計算系統(tǒng)是一個研究原型，適用于特定應用。然而，我們預計它最終將廣泛應用于許多技術(shù)領(lǐng)域。當然，這還有待觀察，但在這里，我們展示了第一步。與所有其他現(xiàn)有的神經(jīng)網(wǎng)絡光學實現(xiàn)相比，這是一個巨大的進步�！�

相關(guān)鏈接：https://dx.doi.org/10.1126/sciadv.adp0391