馬里蘭大學(xué)計(jì)算機(jī)科學(xué)家領(lǐng)導(dǎo)的一個(gè)研究小組發(fā)明了一種照相機(jī)裝置，可以改善機(jī)器人觀察周圍世界并做出反應(yīng)的方式。受人眼工作原理的啟發(fā)，他們的創(chuàng)新型照相機(jī)系統(tǒng)模仿了人眼為長期保持清晰穩(wěn)定的視覺而進(jìn)行的微小不自主運(yùn)動(dòng)。

該團(tuán)隊(duì)在《科學(xué)機(jī)器人》（Science Robotics）雜志上發(fā)表的一篇論文詳細(xì)介紹了這種名為 "人工微停滯增強(qiáng)事件相機(jī)"（AMI-EV）的相機(jī)的原型設(shè)計(jì)和測試過程。

論文的第一作者、UMD 計(jì)算機(jī)科學(xué)博士生Botao He說："事件相機(jī)是一種相對(duì)較新的技術(shù)，與傳統(tǒng)相機(jī)相比，它能更好地跟蹤移動(dòng)物體，但如今的事件相機(jī)很難在有大量運(yùn)動(dòng)時(shí)捕捉到清晰、無模糊的圖像。"

"這是一個(gè)大問題，因?yàn)闄C(jī)器人和許多其他技術(shù)，例如自動(dòng)駕駛汽車，都需要準(zhǔn)確及時(shí)的圖像才能對(duì)不斷變化的環(huán)境做出正確反應(yīng)。因此，我們捫心自問： 人類和動(dòng)物如何確保自己的視覺始終聚焦在移動(dòng)的物體上？

對(duì)于賀的團(tuán)隊(duì)來說，答案就是微注視，即人在試圖集中視線時(shí)不由自主地發(fā)生的細(xì)微而快速的眼球運(yùn)動(dòng)。通過這些微小而持續(xù)的運(yùn)動(dòng)，人眼可以長時(shí)間準(zhǔn)確地保持對(duì)物體及其視覺紋理（如顏色、深度和陰影）的關(guān)注。

他說：“我們認(rèn)為，就像我們的眼睛需要這些微小的運(yùn)動(dòng)來保持聚焦一樣，相機(jī)也可以利用類似的原理來捕捉清晰準(zhǔn)確的圖像，而不會(huì)因?yàn)檫\(yùn)動(dòng)而導(dǎo)致模糊。”

研究小組在 AMI-EV 內(nèi)部插入了一個(gè)旋轉(zhuǎn)棱鏡，以重新定向鏡頭捕捉到的光束，從而成功復(fù)制了微小運(yùn)動(dòng)。棱鏡的連續(xù)旋轉(zhuǎn)運(yùn)動(dòng)模擬了人眼自然發(fā)生的運(yùn)動(dòng)，使相機(jī)能夠像人一樣穩(wěn)定所記錄物體的紋理。研究小組隨后開發(fā)了一款軟件，用于補(bǔ)償 AMI-EV 中棱鏡的移動(dòng)，從而從移動(dòng)的燈光中整合出穩(wěn)定的圖像。

圖片:搜狗截圖20240704101026.png

新型事件相機(jī)系統(tǒng)與標(biāo)準(zhǔn)事件相機(jī)系統(tǒng)對(duì)比圖。

研究報(bào)告的共同作者、UMD 計(jì)算機(jī)科學(xué)教授 Yiannis Aloimonos 認(rèn)為，該團(tuán)隊(duì)的發(fā)明是在機(jī)器人視覺領(lǐng)域邁出的一大步。

我們的眼睛會(huì)對(duì)周圍的世界進(jìn)行拍照，然后將照片發(fā)送到大腦，在大腦中對(duì)圖像進(jìn)行分析。感知就是通過這個(gè)過程發(fā)生的，這就是我們理解世界的方式，馬里蘭大學(xué)高級(jí)計(jì)算機(jī)研究所（UMIACS）計(jì)算機(jī)視覺實(shí)驗(yàn)室主任Aloimonos解釋說。他還兼任馬里蘭大學(xué)高級(jí)計(jì)算機(jī)研究所計(jì)算機(jī)視覺實(shí)驗(yàn)室主任，他解釋說：“在使用機(jī)器人時(shí)，可以用攝像頭代替眼睛，用計(jì)算機(jī)代替大腦。更好的攝像頭意味著機(jī)器人有更好的感知和反應(yīng)能力”。

研究人員還認(rèn)為，他們的創(chuàng)新可能會(huì)在機(jī)器人和國防之外產(chǎn)生重大影響。在依賴精確圖像捕捉和形狀檢測的行業(yè)工作的科學(xué)家們一直在尋找改進(jìn)相機(jī)的方法，而 AMI-EV 可能是解決他們所面臨的許多問題的關(guān)鍵方案。

該論文的資深作者、研究科學(xué)家Cornelia Fermüller說：“憑借其獨(dú)特的功能，事件傳感器和 AMI-EV 將在智能可穿戴設(shè)備領(lǐng)域占據(jù)中心位置。與傳統(tǒng)相機(jī)相比，它們具有明顯的優(yōu)勢，如在極端照明條件下的卓越性能、低延遲和低功耗。這些特性非常適合虛擬現(xiàn)實(shí)應(yīng)用，例如，需要無縫體驗(yàn)以及快速計(jì)算頭部和身體動(dòng)作的應(yīng)用�！�

在早期測試中，AMI-EV 能夠在各種情況下準(zhǔn)確捕捉和顯示運(yùn)動(dòng)，包括人體脈搏檢測和快速移動(dòng)的形狀識(shí)別。研究人員還發(fā)現(xiàn)，AMI-EV 能夠以每秒數(shù)萬幀的速度捕捉運(yùn)動(dòng)，優(yōu)于大多數(shù)常見的商用相機(jī)，后者的平均捕捉速度為每秒 30 到 1000 幀。

這種更平滑、更逼真的運(yùn)動(dòng)描繪可能被證明在創(chuàng)造更身臨其境的增強(qiáng)現(xiàn)實(shí)體驗(yàn)和更好的安全監(jiān)控，以及改善天文學(xué)家捕捉太空?qǐng)D像的方式等任何方面都具有關(guān)鍵作用。

Aloimonos說：“我們新穎的攝像系統(tǒng)可以解決許多具體問題，比如幫助自動(dòng)駕駛汽車識(shí)別道路上哪些是人，哪些不是。因此，它有許多大眾已經(jīng)在使用的應(yīng)用，比如自動(dòng)駕駛系統(tǒng)，甚至智能手機(jī)攝像頭。我們相信，我們新穎的攝像系統(tǒng)正在為未來更先進(jìn)、功能更強(qiáng)大的系統(tǒng)鋪平道路�！�

相關(guān)鏈接：https://techxplore.com/news/2024-07-scientists-camera-human-eye.html

論文鏈接：https://dx.doi.org/10.1126/scirobotics.adj8124