馬里蘭大學計算機科學家領導的一個研究小組發(fā)明了一種照相機裝置，可以改善機器人觀察周圍世界并做出反應的方式。受人眼工作原理的啟發(fā)，他們的創(chuàng)新型照相機系統(tǒng)模仿了人眼為長期保持清晰穩(wěn)定的視覺而進行的微小不自主運動。

該團隊在《科學機器人》（Science Robotics）雜志上發(fā)表的一篇論文詳細介紹了這種名為 "人工微停滯增強事件相機"（AMI-EV）的相機的原型設計和測試過程。

論文的第一作者、UMD 計算機科學博士生Botao He說："事件相機是一種相對較新的技術，與傳統(tǒng)相機相比，它能更好地跟蹤移動物體，但如今的事件相機很難在有大量運動時捕捉到清晰、無模糊的圖像。"

"這是一個大問題，因為機器人和許多其他技術，例如自動駕駛汽車，都需要準確及時的圖像才能對不斷變化的環(huán)境做出正確反應。因此，我們捫心自問： 人類和動物如何確保自己的視覺始終聚焦在移動的物體上？

對于賀的團隊來說，答案就是微注視，即人在試圖集中視線時不由自主地發(fā)生的細微而快速的眼球運動。通過這些微小而持續(xù)的運動，人眼可以長時間準確地保持對物體及其視覺紋理（如顏色、深度和陰影）的關注。

他說：“我們認為，就像我們的眼睛需要這些微小的運動來保持聚焦一樣，相機也可以利用類似的原理來捕捉清晰準確的圖像，而不會因為運動而導致模糊。”

研究小組在 AMI-EV 內部插入了一個旋轉棱鏡，以重新定向鏡頭捕捉到的光束，從而成功復制了微小運動。棱鏡的連續(xù)旋轉運動模擬了人眼自然發(fā)生的運動，使相機能夠像人一樣穩(wěn)定所記錄物體的紋理。研究小組隨后開發(fā)了一款軟件，用于補償 AMI-EV 中棱鏡的移動，從而從移動的燈光中整合出穩(wěn)定的圖像。

圖片:搜狗截圖20240704101026.png

新型事件相機系統(tǒng)與標準事件相機系統(tǒng)對比圖。

研究報告的共同作者、UMD 計算機科學教授 Yiannis Aloimonos 認為，該團隊的發(fā)明是在機器人視覺領域邁出的一大步。

我們的眼睛會對周圍的世界進行拍照，然后將照片發(fā)送到大腦，在大腦中對圖像進行分析。感知就是通過這個過程發(fā)生的，這就是我們理解世界的方式，馬里蘭大學高級計算機研究所（UMIACS）計算機視覺實驗室主任Aloimonos解釋說。他還兼任馬里蘭大學高級計算機研究所計算機視覺實驗室主任，他解釋說：“在使用機器人時，可以用攝像頭代替眼睛，用計算機代替大腦。更好的攝像頭意味著機器人有更好的感知和反應能力”。

研究人員還認為，他們的創(chuàng)新可能會在機器人和國防之外產生重大影響。在依賴精確圖像捕捉和形狀檢測的行業(yè)工作的科學家們一直在尋找改進相機的方法，而 AMI-EV 可能是解決他們所面臨的許多問題的關鍵方案。

該論文的資深作者、研究科學家Cornelia Fermüller說：“憑借其獨特的功能，事件傳感器和 AMI-EV 將在智能可穿戴設備領域占據中心位置。與傳統(tǒng)相機相比，它們具有明顯的優(yōu)勢，如在極端照明條件下的卓越性能、低延遲和低功耗。這些特性非常適合虛擬現實應用，例如，需要無縫體驗以及快速計算頭部和身體動作的應用�！�

在早期測試中，AMI-EV 能夠在各種情況下準確捕捉和顯示運動，包括人體脈搏檢測和快速移動的形狀識別。研究人員還發(fā)現，AMI-EV 能夠以每秒數萬幀的速度捕捉運動，優(yōu)于大多數常見的商用相機，后者的平均捕捉速度為每秒 30 到 1000 幀。

這種更平滑、更逼真的運動描繪可能被證明在創(chuàng)造更身臨其境的增強現實體驗和更好的安全監(jiān)控，以及改善天文學家捕捉太空圖像的方式等任何方面都具有關鍵作用。

Aloimonos說：“我們新穎的攝像系統(tǒng)可以解決許多具體問題，比如幫助自動駕駛汽車識別道路上哪些是人，哪些不是。因此，它有許多大眾已經在使用的應用，比如自動駕駛系統(tǒng)，甚至智能手機攝像頭。我們相信，我們新穎的攝像系統(tǒng)正在為未來更先進、功能更強大的系統(tǒng)鋪平道路。”

相關鏈接：https://techxplore.com/news/2024-07-scientists-camera-human-eye.html

論文鏈接：https://dx.doi.org/10.1126/scirobotics.adj8124