NVIDIA 加速人形機器人發(fā)展

　　丹佛—SIGGRAPH—當地時(shí)間 2024 年 7 月 29 日—為加速全球人形機器人的發(fā)展，NVIDIA 于今日宣布，為全球領(lǐng)先的機器人制造商、AI 模型開(kāi)發(fā)者和軟件制造商提供一套服務(wù)、模型以及計算平臺，以開(kāi)發(fā)、訓練和構建下一代人形機器人。

　　整套產(chǎn)品包括用于機器人仿真和學(xué)習的全新 NVIDIA NIM™ 微服務(wù)和框架、用于運行多階段機器人工作負載的 NVIDIA OSMO 編排服務(wù)，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開(kāi)發(fā)者使用少量人類(lèi)演示數據來(lái)訓練機器人。

　　廣告

　　NVIDIA 創(chuàng )始人兼首席執行官黃仁勛表示：“AI 的下一波浪潮是機器人，其中最令人興奮的發(fā)展之一是人形機器人。我們正在推進(jìn)整個(gè) NVIDIA 機器人堆棧的發(fā)展，面向全球人形機器人開(kāi)發(fā)者和公司開(kāi)放訪(fǎng)問(wèn)，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。”

　　借助 NVIDIA NIM 和 OSMO 加速開(kāi)發(fā)

　　NIM 微服務(wù)提供了由 NVIDIA 推理軟件提供支持的預構建容器，使開(kāi)發(fā)者能夠將部署時(shí)間從數周縮短到幾分鐘。機器人專(zhuān)家將能夠通過(guò)兩項新的 AI 微服務(wù)，在 NVIDIA Isaac Sim™(基于 NVIDIA Omniverse™ 平臺構建的機器人仿真參考應用)中增強生成式物理 AI 仿真工作流。

　　MimicGen NIM 微服務(wù)可根據 Apple Vision Pro 等空間計算設備記錄的遠程操作數據，生成合成運動(dòng)數據。Robocasa NIM 微服務(wù)可在 OpenUSD(一個(gè)用于在 3D 世界中進(jìn)行開(kāi)發(fā)和協(xié)作的通用框架)中生成機器人任務(wù)和仿真就緒環(huán)境。

　　現已推出的 NVIDIA OSMO 是一項云原生托管服務(wù)，允許用戶(hù)跨分布式計算資源來(lái)協(xié)調和擴展復雜的機器人開(kāi)發(fā)工作流，無(wú)論是在本地還是在云端。

　　OSMO 大大簡(jiǎn)化了機器人訓練和仿真工作流，將部署和開(kāi)發(fā)周期從數月縮短到一周內。用戶(hù)可以對各種任務(wù)進(jìn)行可視化管理，包括合成數據生成、模型訓練、強化學(xué)習以及大規模的人形機器人、自主移動(dòng)機器人和工業(yè)機械臂軟件在環(huán)測試。

　　為人形機器人開(kāi)發(fā)者提供先進(jìn)的數據捕獲工作流

　　訓練人形機器人的基礎模型需要大量的數據。遠程操作是獲取人類(lèi)演示數據的方法之一，但這個(gè)過(guò)程正變得越來(lái)越昂貴和漫長(cháng)。

　　通過(guò)在 SIGGRAPH 計算機圖形大會(huì )上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開(kāi)發(fā)者能夠從極少量遠程捕捉的人類(lèi)演示中生成大量合成運動(dòng)和感知數據。

　　首先，開(kāi)發(fā)者使用 Apple Vision Pro 捕獲少量遠程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務(wù)基于錄像生成合成數據集。

　　開(kāi)發(fā)者可以使用真實(shí)數據和合成數據對 Project GR00T 人形機器人基礎模型進(jìn)行訓練，以節省時(shí)間和降低成本。然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務(wù)(一個(gè)機器人學(xué)習框架)來(lái)生成經(jīng)驗并重新訓練機器人模型。在整個(gè)工作流中，NVIDIA OSMO 將計算任務(wù)無(wú)縫地分配給不同的資源，為開(kāi)發(fā)者減少了數周的管理工作量。

　　通用機器人平臺公司傅利葉看到了使用仿真技術(shù)綜合生成訓練數據的優(yōu)勢。

　　傅利葉首席執行官 Alex Gu 表示：“人形機器人的開(kāi)發(fā)極其復雜，這項工作需要從現實(shí)世界中繁瑣地獲取大量真實(shí)數據。NVIDIA 的全新仿真和生成式 AI 開(kāi)發(fā)者工具將有助于引導和加速我們的模型開(kāi)發(fā)工作流。”

　　擴大 NVIDIA 人形機器人開(kāi)發(fā)者技術(shù)的訪(fǎng)問(wèn)渠道

　　NVIDIA 提供了三個(gè)計算平臺來(lái)簡(jiǎn)化人形機器人的開(kāi)發(fā)，分別是：用于訓練模型的 NVIDIA AI 超級計算機;基于 Omniverse 構建的 NVIDIA Isaac Sim，使機器人可以在仿真世界中學(xué)習和完善技能;以及用于運行模型的 NVIDIA Jetson™ Thor 人形機器人計算機。開(kāi)發(fā)者可以根據具體需求來(lái)訪(fǎng)問(wèn)和使用全部平臺或其中的任何部分。

　　通過(guò)新的 NVIDIA 人形機器人開(kāi)發(fā)者計劃，開(kāi)發(fā)者可以提前獲取這些新產(chǎn)品以及最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型。

　　首批加入早期訪(fǎng)問(wèn)計劃的企業(yè)有 1x、波士頓動(dòng)力公司、字節跳動(dòng) ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動(dòng)力、Mentee、Neura Robotics、星動(dòng)紀元和 Skild AI。

　　波士頓動(dòng)力公司首席技術(shù)官 Aaron Saunders 表示：“波士頓動(dòng)力公司與 NVIDIA 在推動(dòng)機器人技術(shù)發(fā)展方面有著(zhù)悠久的密切合作歷史。我們非常高興看到這項工作的成果正在加速整個(gè)行業(yè)的發(fā)展。而要想獲得最先進(jìn)的技術(shù)，早期訪(fǎng)問(wèn)計劃無(wú)疑是最佳的途徑。”

　　可用性

　　開(kāi)發(fā)者現在可以加入 NVIDIA 人形機器人開(kāi)發(fā)者計劃，以訪(fǎng)問(wèn) NVIDIA OSMO 和 Isaac Lab，并將很快能夠訪(fǎng)問(wèn) NVIDIA NIM 微服務(wù)。

　　觀(guān)看 NVIDIA 創(chuàng )始人兼首席執行官黃仁勛在 8 月 1 日于丹佛舉行的 SIGGRAPH 計算機圖形大會(huì )上的爐邊談話(huà)，進(jìn)一步了解生成式 AI 和加速計算的最新進(jìn)展。