???????? 意法半導體傳感器、微控制器和電機控制解決方案與英偉達機器人生態(tài)系統(tǒng)深度融合，助力開發(fā)者設計、訓練和部署更高效率、更高可靠性和可擴展性的人形機器人和其他物理AI系統(tǒng)

首先是Leopard Imaging公司采用意法半導體傳感器設計的立體深度相機與英偉達Holoscan Sensor Bridge技術的全面融合；意法半導體IMU傳感器的高保真仿真到真機模型加入英偉達Isaac Sim生態(tài)系統(tǒng)

意法半導體（ST）近日宣布，將其完善的先進機器人產品組合加入兼容英偉達Holoscan Sensor Bridge (HSB)接口的參考組件清單，以加快物理人工智能系統(tǒng)的普及應用，包括人形機器人、工業(yè)機器人、服務機器人、醫(yī)療機器人等。同時，意法半導體還將其產品的高保真NVIDIA Isaac Sim模型納入兩家公司的機器人生態(tài)系統(tǒng)，以提高從仿真到真機的研發(fā)速度和準確度。意法半導體為開發(fā)者帶來首批合作成果：與NVIDIA HSB技術深度融合的Leopard公司采用意法半導體技術設計的深度相機；意法半導體IMU傳感器的高保真模型加入NVIDIA Isaac Sim生態(tài)系統(tǒng)。

意法半導體負責美洲區(qū)及全球大客戶銷售與市場部的執(zhí)行副總裁Rino Peruzzi表示：“ST積極參與機器人行業(yè)的生態(tài)合作，為市場提供強有力的支持和完善的生態(tài)系統(tǒng)。我們與英偉達的合作目標是在尖端機器人領域掀起新一波創(chuàng)新浪潮，從人工智能算法的創(chuàng)建開發(fā)，到傳感器和執(zhí)行器的無縫集成，精簡優(yōu)化機器人研發(fā)流程的每一環(huán)節(jié)，加快復雜的物理AI平臺的升級迭代?！?/p>

英偉達機器人與邊緣人工智能部副總裁Deepu Talla表示：“加快開發(fā)下一代自主系統(tǒng)需要高保真仿真和硬件無縫集成，彌合虛擬訓練和真機部署之間的差異。ST傳感器和執(zhí)行器技術與NVIDIA Isaac Sim、Holoscan Sensor Bridge和Jetson平臺的深度集成，為開發(fā)者構建、仿真和大規(guī)模部署物理AI提供了一個統(tǒng)一的底層平臺?！?/p>

通過Holoscan Sensor Bridge簡化傳感器和執(zhí)行器與機器人平臺的無縫集成

通過NVIDIA HSB技術，開發(fā)者可以統(tǒng)一、標準化、同步和精簡從多個意法半導體傳感器和執(zhí)行器采集記錄數據的過程，為構建高保真NVIDIA Isaac模型、加快學習和最大限度縮小仿真與真機之間的差異奠定了基礎。

雙方合作目標是通過人形機器人預集成解決方案，整合STM32 MCU、高級傳感器（包括IMU慣性測量單元、成像傳感器和ToF測距芯片）和電機控制解決方案，簡化意法半導體傳感器和執(zhí)行器與NVIDIA Jetson平臺的集成過程。Leopard Imaging的機器人立體深度相機就是一個完美例子。該相機采用意法半導體的成像傳感器、深度測距和運動感測技術，有望助力支持物理人工智能OEM廠商、學術研究機構、工業(yè)機器人等各種機器人設計。

通過構建基于Omniverse Isaac的高保真模型，攻克產品成本和設計復雜性挑戰(zhàn)

除了建模挑戰(zhàn)外，高級機器人開發(fā)者還面臨著高昂的開發(fā)成本。高保真仿真及廣泛隨機化需占用大量的GPU和CPU資源以及龐大的數據集。選擇隨機化哪些參數以及隨機化范圍需要深厚的域專業(yè)知識，而選擇不當會導致場景不真實或訓練效率低。最后，參數過度變化會導致模型混亂，減緩收斂速度，當隨機化不再反映真實條件時，可能會降低真機性能。

意法半導體和英偉達的目標是讓意法半導體豐富的產品組合具有準確的硬件校準模型，滿足高級機器人技術的需求。在首個IMU模型發(fā)布后，意法半導體還為開發(fā)者提供ToF傳感器、執(zhí)行器和其他芯片的基于實體硬件基準測試數據建立的模型。該解決方案使用意法半導體的工具捕捉準確參數和真實的硬件行為特性，然后針對英偉達的Isaac Sim生態(tài)系統(tǒng)對模型進行優(yōu)化。NVIDIA HSB正在通過合作方式融入意法半導體工具鏈。

因此，意法半導和英偉達設想，更準確的模型將顯著提升機器人的學習能力。通過使用能夠更準確復制真機行為的模型，機器人可以在更能反映實際情況的仿真環(huán)境中學習技能，縮短訓練周期，降低人形機器人相關應用的開發(fā)改進成本。