清華團隊在感算一體全光機器視覺研究領域取得新進展
http://www.debgrams.com 2024-06-19 10:55 來源：清華大學
隨著傳感和計算模塊在邊緣基礎設施的廣泛部署，自然場景的高速感知、計算和重建至關重要。現有端側視覺智能大多為感算分離范式，即通過傳感器感知和采集光信號，轉換為電信號后進行智能任務的計算。光和電之間的頻繁轉換，以及后摩爾時代電子計算性能發展趨勢的減緩，制約了端側智能處理的速度和帶寬。
針對邊緣系統面臨的感算瓶頸，清華大學電子工程系方璐課題組提出了面向自然場景的感算一體全光智能計算架構，研制了并行化全光感算陣列芯片（optical parallel computational arraychip,OPCAchip），突破了非相干光場矩陣計算的難題，摒棄了“光感知-電計算”的感算分離范式，以“光入-光出”端到端的計算實現全光機器視覺，將非相干光場智能處理的速度提升至納秒量級，支持每秒千億像素規模的自然光場處理。
課題組刻畫了自然場景光信號與片上光場的調制關系，提出了非相干-相干全光乘加算子，建立了空譜域多維全光神經網絡，突破了非相干光場智能感算難題，提出了全光片上諧振神經元模型，研制了全光感算一體陣列芯片OPCA，支撐自然場景光場信號的并行感知與高速計算。在此基礎上，課題組構建了多波長全光神經網絡，將感知、計算和重建融為一體，實現了端到端的全光編解碼和光場重建任務，在納秒時間尺度上可完成對自然場景的端到端重建。在視覺智能分類任務上，OPCA芯片實測響應時間為6.0納秒、視覺處理帶寬達THz即每秒可處理千億像素規模，相比傳統相機采集、存儲、智能處理這一感算分離系統（響應時間大多為毫秒量級、每秒處理億像素），速度提升6個數量級，帶寬提升2～3個數量級。
期刊主頁推薦截圖
以OPCA芯片為代表的感算一體全光機器視覺，標志著智能光計算技術向端側應用領域的發展邁出了重要的一步。該芯片未來將與大規模智能光計算芯片集成，突破光電/電光轉換帶來的速度和功耗桎梏，實現從光感知到光處理的端到端全光智能感算。憑借其高速度、高帶寬的感算特性，有望為自動駕駛、工業檢測、智能機器人、VR/AR等領域帶來性能的顛覆性突破，應用前景廣闊。
近日，相關研究成果以“并行光子芯片實現納秒級端到端圖像處理、傳輸和重建”（Parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction）為題，發表在《光學》（Optica）雜志上。
清華大學電子工程系為論文第一單位，電子工程系副教授方璐為論文通訊作者，電子工程系2020級博士生吳蔚、博士后周天貺（水木學者）為論文第一作者。研究得到科技部2030重大項目、國家自然科學基金委、中國科協、中國博士后基金、清華大學-之江實驗室聯合研究中心等的支持。
論文鏈接：
https://doi.org/10.1364/OPTICA.516241
相關新聞
編輯精選
