蜜臀不卡AV在线,熟妇色在线

歡迎閱讀首期“NVIDIA 機器人研究與開發(fā)摘要（R2D2）”。此技術博客系列將讓開發(fā)者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。

開發(fā)強大的機器人面臨著諸多重大挑戰(zhàn)，例如：

數(shù)據(jù)稀缺：為 AI 模型生成多樣的真實世界訓練數(shù)據(jù)。

適應性：確保解決方案能夠在各種不同類型的機器人和環(huán)境中通用，并適應動態(tài)、不可預測的場景。

集成性：有效地將移動能力、操作能力、控制能力和推理能力結合起來。

我們通過在自身平臺上經(jīng)過驗證的先進研究來應對這些挑戰(zhàn)。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括NVIDIA Omniverse、Cosmos、Isaac Sim和Isaac Lab）上進行測試。最終生成的模型、策略和數(shù)據(jù)集可作為研究人員和開發(fā)者社區(qū)的可定制參考，以適應特定的機器人開發(fā)需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。

在本期 R2D2 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰(zhàn)：

MobilityGen：基于仿真的工作流，利用 Isaac Sim 快速生成大型合成運動數(shù)據(jù)集，用于為不同形態(tài)和環(huán)境下的機器人構建模型，以及測試機器人在新環(huán)境中的導航能力。與真實世界的數(shù)據(jù)采集相比，該工作流可降低成本并節(jié)省時間。

COMPASS（Cross-embOdiment Mobility Policy via ResiduAl RL and Skill Synthesis）：一種用于開發(fā)跨形態(tài)移動策略的工作流，可借助 Isaac Lab 實現(xiàn)微調，并支持零樣本從仿真到現(xiàn)實的部署。

HOVER（Humanoid Versatile Controller）：Isaac Lab 中用于人形機器人多種控制模式的工作流和統(tǒng)一全身控制通用策略。

ReMEmbR（適用于具身機器人的檢索增強內存）：一種支持機器人使用 LLMs、VLMs 和 RAG（檢索增強生成）進行推理并采取移動行動的工作流。

NVIDIA 機器人移動工作流和 AI 模型

包括人形機器人、四足機器人和自主移動機器人（AMR）等在內的移動機器人，越來越多地應用于各種不同的環(huán)境中，這對強大的導航系統(tǒng)提出了更高的要求，需要能夠支持在已繪制地圖和未知的環(huán)境中安全運行，同時避開障礙物并減少停機時間。目前的導航軟件在適應性方面存在困難，因為不同類型的機器人（例如，自主移動機器人與人形機器人）的算法差異很大，并且需要針對環(huán)境變化進行大量的微調，這增加了工程復雜性并限制了可擴展性。

NVIDIA 研究中心通過開發(fā)由 AI 驅動的端到端基礎模型、高效的數(shù)據(jù)生成流程以及支持零樣本部署的訓練工作流來應對這些挑戰(zhàn)，使機器人無需依賴昂貴的傳感器即可在雜亂的空間中導航。

圖 1. 移動工作流包括三個主要步驟，即數(shù)據(jù)生成、在生成的數(shù)據(jù)上訓練和微調模型，以及在對真實機器人進行零樣本部署之前對模型進行測試

用于數(shù)據(jù)生成的 MobilityGen

MobilityGen 工作流借助 NVIDIA Isaac Sim，為包括人形機器人、四足機器人和輪式機器人在內的移動機器人生成合成運動數(shù)據(jù)。您可以使用這些數(shù)據(jù)來訓練和測試機器人的移動模型以及感知算法，從而解決訓練機器人時的數(shù)據(jù)稀缺問題。

MobilityGen 通過以下方式幫助增加數(shù)據(jù)集的多樣性：

添加動態(tài)對象

添加機器人動作數(shù)據(jù)

結合人類演示數(shù)據(jù)

增強數(shù)據(jù)（例如光照條件）

MobilityGen 提供真實數(shù)據(jù)的形式包括占用地圖、位姿信息、速度信息、RGB 圖像、深度圖像和分割圖像，以及可定制的動作和渲染數(shù)據(jù)。它支持的數(shù)據(jù)采集方法包括鍵盤或游戲手柄遠程操作，以及自動隨機動作或可定制的路徑規(guī)劃。

通過解決數(shù)據(jù)稀缺問題，MobilityGen 增強了集成機器人堆棧的感知能力和移動基礎。通過 NVIDIA 深度學習培訓中心（DLI）的免費自學課程，了解更多關于 MobilityGen 的信息，以及如何使用遠程操作為人形機器人 Unitree H1 生成運動和導航數(shù)據(jù)集。

圖 2. 機器人移動合成數(shù)據(jù)生成包括四個主要步驟：在仿真中構建或導入環(huán)境、導入機器人模型、在仿真環(huán)境中移動機器人并記錄軌跡，最后渲染數(shù)據(jù)以用于訓練和測試

視頻 2. MobilityGen 用戶使用 Isaac Sim 進行合成數(shù)據(jù)生成

用于跨形態(tài)移動策略的 COMPASS

COMPASS 是一個用于開發(fā)跨形態(tài)移動策略的工作流。它提供了一種可通用的端到端移動工作流和模型，能夠在多種機器人形態(tài)下實現(xiàn)零樣本從仿真到現(xiàn)實的部署。其目標是解決由于機器人專家開發(fā)和測試周期緩慢而導致的可擴展性問題。

COMPASS 將基于視覺的端到端模仿學習（IL）與 Isaac Lab 中的 X-Mobility 的殘差強化學習（RL）以及策略蒸餾方法相結合，以擴展到不同的機器人平臺。雖然基于模仿學習的 X-Mobility 策略是在使用 MobilityGen 生成的特定形態(tài)數(shù)據(jù)上進行預訓練的，但 COMPASS 的通用策略對于不同形態(tài)的機器人可實現(xiàn)高出 5 倍的成功率。這使得不同的機器人能夠使用統(tǒng)一的策略在復雜環(huán)境中高效導航。它還為用戶提供了針對特定形態(tài)和環(huán)境微調策略的靈活性和便利性。

圖 3. COMPASS 工作流

該工作流的第一階段使用基于模仿學習的方法進行世界建模，以訓練針對環(huán)境狀態(tài)與行動的移動性“常識”表征。這類“常識”的具體體現(xiàn)包括對世界動態(tài)變化的理解、障礙物探測與規(guī)避、路徑規(guī)劃，以及環(huán)境感知能力等。

第二階段使用殘差強化學習，將第一階段中基于模仿學習的策略逐步具體化為特定的專家策略。第三階段使用每個專家策略的數(shù)據(jù)，并通過策略蒸餾將它們合并為一個跨形態(tài)模型。通過這種方式，每個專家的專業(yè)知識被融入到最終的蒸餾策略中，從而提高不同平臺的適應性。

COMPASS 實現(xiàn)了零樣本多機器人交互，展示了機器人在不同環(huán)境中的功能。它還可用于連接 loco-manipulation 控制器，以執(zhí)行 loco-manipulation 相關的任務。

視頻 3. 使用 COMPASS 策略的人形機器人

COMPASS 通過解決跨形態(tài)的通用性問題，增強了集成式機器人堆棧的移動性基礎。

用于人形機器人全身控制的 HOVER

到目前為止，我們已經(jīng)了解了使機器人能夠從一個點移動到目標位置的移動策略。但對于穩(wěn)健的運動來說，這還不夠，我們還需要實現(xiàn)平衡和全身控制，以確保安全、平穩(wěn)的移動。HOVER 的目標就是為此提供一個參考工作流。

傳統(tǒng)上，人形機器人需要不同的控制模式來執(zhí)行各種任務，例如用于導航的速度追蹤和用于桌面操作的上半身關節(jié)追蹤。HOVER 是一個在 Isaac Lab 中訓練的工作流，它將這些控制模式整合為人形機器人的統(tǒng)一策略。對于使用本文中所提到的其他工作流的機器人，也可以使用其他控制器來替代 HOVER。

通過將復雜的人形機器人的多個運動部件集成到一個統(tǒng)一的神經(jīng)全身控制器中，HOVER 增強了集成機器人堆棧的基控制礎。HOVER（Humanoid Versatile Controller）是一種多模式策略蒸餾框架，可以將多種控制模式統(tǒng)一到單個策略中，實現(xiàn)了它們之間的無縫過渡。通過強化學習對 oracle 策略進行訓練，并模仿人類運動數(shù)據(jù)，然后使用策略蒸餾流程將技能從 oracle 策略轉移到通用策略。

HOVER 代碼還包括一個在 Unitree H1 機器人上使用的部署代碼示例，使用戶能夠使用機器人來復制下圖中展示的運動和穩(wěn)定性。

圖 4. HOVER 策略在 Isaac Lab 中進行訓練、在 MuJoCo 中測試并部署到真實的機器人上；（左）使用 MuJoCo 在仿真中進行測試，（右）部署到真實機器人

圖 5. HOVER 策略在執(zhí)行手臂動作的同時保持平衡

用于機器人推理的 ReMEmbR

到目前為止，我們探討的工作流解決了數(shù)據(jù)集創(chuàng)建、移動策略以及人形機器人的全身控制問題。為了通過對話式智能實現(xiàn)完全的自主移動，我們還需要集成機器人的推理和認知能力。機器人如何記住在環(huán)境中看到的內容，并根據(jù)用戶輸入采取相應的行動呢？

ReMEmbR 是一種將大語言模型、視覺語言模型和檢索增強生成技術相結合的工作流，使機器人能夠使用長時間記憶動作，進行推理、回答問題并在大范圍內執(zhí)行導航操作。它可以充當具身機器人的“記憶”，有助于基于感知的問答和語義動作執(zhí)行。

圖 6. ReMEmbR 工作流

ReMEmbR 可用于為本文中介紹的其他工作流提供輸入，將它們整合在一起，以幫助解決機器人移動性的復雜問題。我們還發(fā)布了用于評估的 NaVQA 數(shù)據(jù)集（Navigation Visual Question Answering），其中包含具有各種輸出類型的空間、時間和描述性問題的示例。