不止于看見，NVIDIA Isaac Perceptor 助力打造高效移動機器人感知
http://www.debgrams.com 2024-09-12 13:43 來源：中國機器人網
移動機器人，如何靠AI起飛？
《“十四五”機器人產業發展規劃》中提出，2025 年，我國將成為全球機器人技術創新策源地、高端制造集聚地和集成應用新高地。
隨著規劃戰略的穩步推進，在機器人技術日新月異的今天，國產機器人成果豐碩，移動機器人（AMR /AGV）作為制造業轉型升級中的重要角色之一，隨著倉儲物流行業的不斷發展和機器人技術的逐步成熟，正逐漸成為物料搬運場景應用中的主力軍。
無論是傳統的 AGV，還是新興的 AMR，盡管目前國內外許多產品已能夠完成物料運輸的工作，但面對日益復雜的非結構化應用場景（如工業制造、倉庫、物流、戶外環境），企業對移動機器人的智能化水平提出了更高的要求。復雜多變的現實環境，要求機器人不僅能感知宏觀的運動與變化，更需具備靈活的避障以及導航能力，以應對沖撞、實時定位等各種挑戰。
圖片來源：NVIDIA
為了推動移動機器人向更全面智能化邁進，AI 領域的領導者——NVIDIA 也帶來了突破性的技術進展。在今年 3 月份的 GTC 2024 上，NVIDIA 發布了為 AMR/AGV 開發的參考工作流——Isaac Perceptor，可為機器人提供先進的視覺 AI 技術，助力企業快速構建可在非結構化環境中進行感知、定位和操作的穩健 AMR。這不僅向行業展示了 NVIDIA 在移動機器人領域所帶來的創新成果，更預示著 NVIDIA 正引領著整個移動機器人行業，邁向技術革新與感知能力飛躍的新紀元。
專為移動機器人量身定制，可實現 360° 視覺感知
高效感知是移動機器人的核心競爭力。移動機器人在各行各業中的發展過程，本質上是一個以智能化移動機器人取代固定、機械生產方式的過程。因此，要想突破應用的邊界，還需要進一步強化“機器人”屬性，不斷提高其智能化水平。具體到實際應用，移動機器人除了要能夠自主行駛，還應具備環境理解、適應動態環境和準確識別障礙物等高效感知的能力，為此，視覺技術在移動機器人領域的深入應用至關重要。
NVIDIA 的 Isaac Perceptor 便是一套專為移動機器人設計的硬件加速軟件包，它基于 NVIDIA Isaac 機器人操作系統（ROS）構建，憑借高精度多攝像頭感知、高效的AI加速、強大的VSLAM能力、實時的3D場景重建，以及高效的時間同步與仿真開發等特點，在移動機器人技術領域展現出了顯著的優勢。
仔細來看，Isaac Perceptor 最關鍵的功能便是多攝像頭和3D環繞視覺，它能夠以每秒 30Hz 的頻率處理每臺攝像頭高達 16.5M 個深度點。這種高密度的數據處理能力確保了機器人在復雜環境中能夠捕捉到更多細節，從而實現更精準的環境感知。通過來自立體攝像頭的時間同步圖像對，Isaac Perceptor 還能夠計算出立體視差，進而生成深度圖像或點云。這一過程為機器人提供了豐富的三維空間信息，有助于其更好地理解和適應環境。
其次，在 AI 加速方面，Isaac Perceptor集成了高效的半監督深度神經網絡（ESS DNN），為基于深度神經網絡的立體視差計算提供了GPU加速支持。這種加速能力使得機器人在處理大規模數據時能夠保持高效率，從而更快地做出決策和響應。對于需要高精度路徑規劃的任務，開發者可以通過 GPU 加速的運動規劃器（如 cuMotion），顯著縮短周期時間，這種加速能力也使得機器人在執行復雜任務時能夠更加迅速。
ESS DNN 檢測 5 米處的障礙物（圖片來源：NVIDIA）
通過系統級的環境分析，快速在機器人系統中建立實時環境模型，也可助力機器人在充分理解環境的前提下自主規劃。Isaac Perceptor 具備強大的視覺同步定位和地圖繪制能力，基于NVIDIA CUDA Visual SLAM庫，Isaac Perceptor 可使機器人在無特征環境中也能夠實現精準導航，翻譯誤差小于 1%。
在最新的更新中，cuVSLAM 結合了來自多個立體攝像頭的并發視覺里程估計，顯著提高了導航的準確性和穩定性。實驗表明，使用多個攝像頭的機器人能夠持續實現其導航目標，而使用單個攝像頭時實現目標的幾率不到 25%。
Isaac ROS Visual SLAM 使用一個攝像頭與使用兩個攝像頭和四個攝像頭的比較
（圖片來源：NVIDIA）
Isaac Perceptor 的核心是 nvblox 庫，這是一個使用 CUDA 加速的 3D 場景重建庫。它能夠識別最遠五米外的障礙物，以提供 2D 成本圖，并在 300 毫秒內進行更新。這種實時的3D場景重建能力為機器人提供了精確的環境模型，有助于其更好地進行路徑規劃和避障。
使用 Isaac ROS nvblox 進行體素 3D 重建，包括懸置障礙物重建
（圖片來源：NVIDIA）
此外，Isaac Perceptor 能夠在傳感器數據采集時間不超過 100 毫秒的情況下實現精確的多傳感器時間同步，確保了機器人能夠同時獲取到多個傳感器的數據，并進行準確的融合處理。Isaac Perceptor 還提供了用于仿真開發的傳感器參考模型（在 NVIDIA Isaac Sim 中），這使得開發者能夠在虛擬環境中對機器人進行測試和驗證，從而加快開發進度并降低開發成本。
總之，Isaac Perceptor 基于 AI 的強大功能使得移動機器人的視覺更敏銳、判斷更準確、理解更深入，解決原來只有基于人類認知才能解決的問題，使機器人可以快速切入各個場景大顯身手，安全隱患無處遁形。
科技實力盡顯，落地應用大有可為
具體到應用，NVIDIA Isaac Perceptor 適用于各種需要自主導航和感知能力的場景，包括但不限于倉儲物流、工業車間與醫院等。
現階段，移動機器人市場仍屬于競爭型市場，行業集中度正逐年提升，越來越多的倉儲設備/集成商也開始加大在移動機器人產品、技術等領域的布局。那么，在能聽到市場“炮火聲”的地方，企業更需進行深度技術合作及開拓新應用，不斷提升企業核心競爭力，這樣才能在市場中立于不敗之地。
NVIDIA Isaac Perceptor 的早期合作伙伴中既有倉儲/內部物流行業的領先企業，也有汽車/工業機器人制造商和集成商，包括 ArcBest、比亞迪電子、Gideon、凱傲、Kudan、idealworks、RGo 和泰瑞達機器人。
今年6月份，RGo Robotics 就曾宣布將把 NVIDIA 的 Isaac 技術集成到其感知平臺中，為 AMR 提供更先進的視覺功能。
RGo 表示，其感知引擎是一種用于定位、障礙物檢測和場景理解的人工智能和視覺系統，通過將其與 NVIDIA Isaac Perceptor 加速庫相結合，移動機器人可以在新設施中快速設置，客戶由此可以在幾個月內快速部署移動機器人，并且在任何環境中穩定運行它們。
圖片來源：RGo Robotics
汽車巨頭子公司比亞迪電子也表示正在利用NVIDIA Isaac Perceptor進行全系列 AMR 的開發，并進一步提出一套完整的工廠物流解決方案。
據了解，Isaac Perceptor 的多攝像頭 3D 環視功能為比亞迪電子 AMR 提供了強大的視覺感知能力，使其能夠更準確地識別周圍環境，實現自主避障和導航。通過采用 NVIDIA Jetson Orin 高性能人工智能系統級模塊，尤其是激光雷達和視覺感知模塊，從而將激光雷達、IMU、輪速計等多傳感器融合技術結合，AMR 可達到在室內大面積且復雜動態環境中進行實時高精度建圖和定位的強大能力，以此實現高效、精準的物流作業。
通過應用 NVIDIA Isaac Perceptor 技術開發的 AMR，比亞迪電子成功優化了生產流程中的物流環節，AMR 的自主導航和精準作業能力顯著提高了生產效率與安全性，也為企業大幅降低了生產成本。
此外，ArcBest 的 Vaux Smart Autonomy AMR 叉車和前移式卡車也使用了 Isaac Perceptor。集成相關技術后，機器人獲得了更好的感知、語義感知導航和 3D 映射，在倉庫、配送中心和制造設施的物料搬運過程中，能夠順利進行障礙物檢測。
圖片來源：ArcBest
客戶的體驗和滿意度是企業的終極目標，這些合作伙伴的成功案例進一步證明了 Isaac Perceptor 在移動機器人感知領域的卓越性能和廣闊應用前景。值得注意的是，目前一些傳統移動機器人主要使用 2D 激光雷達或 3D 激光雷達進行檢測，前者功能有限，無法看到的低洼危險或懸掛物等障礙物，后者成本高昂，不利于企業進行成本控制，而 Isaac Perceptor 通過提供基于多個攝像頭且不影響功能的解決方案，在大幅提高移動機器人避障水平的同時，助力企業完美實現降本增效，這正是移動機器人企業提升核心競爭力的關鍵所在。
如今移動機器人主要應用于倉儲、產線中，但在智能制造時代，行業仍具有很大的想象空間，而 AI 技術將為移動機器人行業注入源源不斷的發展動力。
從技術革新到行業應用，再到生態系統建設和用戶體驗的改善，NVIDIA Isaac Perceptor 利用最先進的生成式 AI 和仿真技術，正在為移動機器人行業帶來前所未有的技術革新，也預示著未來更多領域的自動化和智能化可能性。未來，隨著 AI 技術的不斷進步和行業的深入合作，NVIDIA 將持續在 AI 乃至機器人行業中扮演重要角色，對于 NVIDIA 而言，其對機器人市場的探索才剛剛開始。
編輯精選
