NVIDIA發(fā)布適用于OpenUSD語(yǔ)言、幾何體、物理學(xué)和材質(zhì)的生成式AI模型與NIM微服務(wù)

　　丹佛 —SIGGRAPH—當地時(shí)間2024年7月29日——NVIDIA于今日發(fā)布通用場(chǎng)景描述(OpenUSD)的重大成果。這將擴大這一通用3D數據交換框架在機器人、工業(yè)設計和工程領(lǐng)域的應用，提高開(kāi)發(fā)者為AI新一輪發(fā)展構建高精度虛擬世界的能力。

　　通過(guò)基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平臺構建的 NVIDIA 加速的開(kāi)發(fā)框架，越來(lái)越多的行業(yè)現在能夠開(kāi)發(fā)出用于可視化工業(yè)設計和工程項目的應用，以及用于構建新一代物理AI和機器人的環(huán)境仿真的應用。

　　廣告

　　新推出的內容包括適用于A(yíng)I模型的NVIDIA NIM™微服務(wù)，這些微服務(wù)可生成回答用戶(hù)查詢(xún)的OpenUSD語(yǔ)言、生成OpenUSD Python代碼、將材質(zhì)應用于3D物體、理解3D空間和物理學(xué)以幫助加快數字孿生的開(kāi)發(fā)等。其他還包括可用于機器人和工業(yè)仿真數據格式的全新USD連接器，以及各種開(kāi)發(fā)者工具，用戶(hù)可通過(guò)它們將海量NVIDIA RTX™全光線(xiàn)追蹤數據集傳輸到Apple Vision Pro。

　　NVIDIA Omniverse與仿真技術(shù)副總裁Rev Lebaredian表示：“重工業(yè)的生成式AI潮已經(jīng)到來(lái)。直到最近，數字世界的主要用戶(hù)還是創(chuàng )意行業(yè);而現在，借助NVIDIA NIM微服務(wù)為OpenUSD帶來(lái)的增強功能和可訪(fǎng)問(wèn)性，各個(gè)行業(yè)都可以創(chuàng )建基于物理學(xué)的虛擬世界和數字孿生，在加快創(chuàng )新的同時(shí)，為機器人這次新一輪AI技術(shù)熱潮做好準備。”

　　通過(guò)NVIDIA NIM將生成式AI應用于USD

　　NVIDIA開(kāi)發(fā)的全球首個(gè)用于OpenUSD開(kāi)發(fā)的生成式AI模型將以NVIDIA NIM微服務(wù)的形式 提供。借助這些模型，開(kāi)發(fā)者能夠將生成式AI copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業(yè)、汽車(chē)行業(yè)和機器人等新工業(yè)領(lǐng)域的應用。

　　預覽版中的微服務(wù)包括：

　　USD CodeNIM微服務(wù)：回答常識性OpenUSD問(wèn)題，并基于文本提示自動(dòng)生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應用程序(例如皮克斯的USDView)或基于NVIDIA Omniverse Kit的應用，以實(shí)現相應3D數據的可視化。

　　USD Search NIM微服務(wù)：使開(kāi)發(fā)者能夠使用自然語(yǔ)言或圖像輸入，在海量OpenUSD、3D和圖像數據庫中進(jìn)行搜索。

　　USD Validate NIM微服務(wù)：檢查上傳文件與OpenUSD發(fā)布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API(應用編程接口)驅動(dòng)的RTX渲染路徑追蹤圖像。

　　即將提供的新微服務(wù)包括：

　　USD Layout NIM微服務(wù)：使用戶(hù)能夠基于空間智能，根據一系列文本提示組裝出基于 OpenUSD的場(chǎng)景。

　　USD SmartMaterial NIM微服務(wù)：預測并將逼真的材料應用于計算機輔助設計對象。

　　fVDB Mesh Generation NIM微服務(wù)：根據點(diǎn)云數據生成基于OpenUSD的網(wǎng)絡(luò )，并通過(guò) Omniverse Cloud API進(jìn)行渲染。

　　fVDB Physics Super-Res NIM微服務(wù)：對幀或幀序列執行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。

　　fVDB NeRF-XL NIM微服務(wù)：使用 Omniverse Cloud API 在 OpenUSD中生成大規模神經(jīng)輻射場(chǎng)。

　　Foxconn是全球制造業(yè)的領(lǐng)導者，在全球擁有 170 多家工廠(chǎng)，受益于NVIDIA的計算平臺，利用 NIM 微服務(wù)和 Omniverse 為一家正在開(kāi)發(fā)中的工廠(chǎng)創(chuàng )建了數字孿生。

　　Foxconn首席數字官兼智能制造平臺負責人史喆表示：“數字孿生將幫助我們加速新一波工業(yè)制造和自主機器的發(fā)展。NVIDIA Omniverse 和全新的 NIM 微服務(wù)將使數字孿生的開(kāi)發(fā)變得更加普及，并幫助我們的團隊以前所未有的速度構建基于物理的虛擬工廠(chǎng)。”

　　全球領(lǐng)先的營(yíng)銷(xiāo)與傳播服務(wù)公司W(wǎng)PP是USD Search和USD Code NIM微服務(wù)的早期用戶(hù)之一。該公司將這些微服務(wù)用于其基于NVIDIA Omniverse構建的生成式AI內容創(chuàng )建管線(xiàn)中，為可口可樂(lè )公司等客戶(hù)提供服務(wù)。

　　WPP首席技術(shù)官Stephan Pretorius表示：“這些創(chuàng )新的美妙之處在于它與我們的工作方式高度兼容，并充分利用了開(kāi)放標準。這不僅加速了未來(lái)的工作，而且使我們能夠繼續鞏固和擴展我們之前在OpenUSD等標準上的所有投資。通過(guò)使用NVIDIA NIM微服務(wù)與NVIDIA Omniverse，我們能夠以前所未有的速度與可口可樂(lè )公司等企業(yè)聯(lián)合推出創(chuàng )新的新生產(chǎn)工具。”

　　USD連接器為更多行業(yè)帶來(lái)生成式AI

　　多款適用于機器人數據格式和Apple Vision Pro流式傳輸的全新USD連接器將為更多行業(yè)帶來(lái) OpenUSD互操作性與高級創(chuàng )作能力。

　　為幫助更多使用 OpenUSD的工業(yè)工作負載，NVIDIA與全球工業(yè)自動(dòng)化和軟件領(lǐng)先者西門(mén)子正在擴大合作。西門(mén)子將把OpenUSD 流水線(xiàn)與其Simcenter仿真技術(shù)組合集成，以支持基于證據的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作。

　　該集成可實(shí)現復雜仿真數據的高保真、實(shí)時(shí)、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。西門(mén)子將把Omniverse納入到其Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項工作打好基礎。

　　NVIDIA還發(fā)布了一個(gè)從統一機器人描述格式(Unified Robotics Description Format)到OpenUSD的連接器，讓機器人專(zhuān)家能夠將他們的機器人數據無(wú)縫導入到用于設計、仿真和強化學(xué)習等用途的各種應用中。

　　為了進(jìn)一步推動(dòng)OpenUSD生態(tài)系統的擴張，NVIDIA發(fā)布了OpenUSD Exchange軟件開(kāi)發(fā)套件，幫助開(kāi)發(fā)者創(chuàng )建出自己的強大OpenUSD數據連接器。

　　新的開(kāi)發(fā)者工具和API可通過(guò)NVIDIA Graphics Delivery Network(GDN)，將大規模OpenUSD場(chǎng)景從基于Omniverse平臺構建的應用流式傳輸到。目前，這些新工具和API提供搶先體驗版本。

　　皮克斯首席技術(shù)官兼 OpenUSD 聯(lián)盟(AOUSD)主席 Steve May 表示：“OpenUSD 正在徹底改變我們創(chuàng )建3D內容并與之互動(dòng)的方式?，F在，借助NVIDIA為OpenUSD打造的這些新服務(wù)和API，我們有望看到USD以更快的速度增長(cháng)和普及，這將為新用戶(hù)和行業(yè)更輕松地參與我們的生態(tài)系統鋪平道路。”

　　OpenUSD生態(tài)系統的發(fā)展勢頭

　　去年，NVIDIA與皮克斯、Adobe、蘋(píng)果和Autodesk 共同創(chuàng )立了OpenUSD聯(lián)盟，并通過(guò)OpenUSD聯(lián)盟與其他伙伴一起發(fā)布了 OpenUSD 的新版本、OpenUSD 核心規范的進(jìn)展以及新成員的加入情況。

　　供貨情況

　　NVIDIA API目錄現在提供USD Search、USD Code 和 USD Validate NIM微服務(wù)的預覽版。OpenUSD - URDF連接器現已與 NVIDIA Isaac Sim™一起提供。

　　開(kāi)發(fā)者可以使用全新Omniverse開(kāi)發(fā)者工具和參考工作流，將生成式AI集成到OpenUSD工作流中，使用OpenUSD構建生成式AI賦能的合成數據管線(xiàn)。

　　觀(guān)看NVIDIA創(chuàng )始人兼首席執行官黃仁勛于計算機圖形會(huì )議SIGGRAPH上進(jìn)行的爐邊談話(huà)，進(jìn)一步了解生成式AI和加速計算領(lǐng)域的最新進(jìn)展。