機(jī)械設(shè)備行業(yè)英偉達(dá)GTC2024發(fā)布多款A(yù)I軟硬件具身智能產(chǎn)業(yè)進(jìn)程提速

正文目錄NVIDIA發(fā)布Blackwell架構(gòu)軟生，臺(tái)發(fā)展 4BlackwellGPU/計(jì)平臺(tái)磅出提強(qiáng)算力持 4件態(tài)續(xù)建助力NVIDIA臺(tái)發(fā)展 5Omniverse是字生平，力戶省本與間在際廠泛應(yīng)用 8推機(jī)人硬底基礎(chǔ)施驅(qū)人機(jī)人產(chǎn)進(jìn)提速 9ProjectGR00T推，推機(jī)人術(shù)破 11Isaac機(jī)人臺(tái)續(xù)迭優(yōu)化 11JetsonThor機(jī)人提硬支撐 13投建： 14風(fēng)提： 14圖表目錄圖表1:BLACKWELLGPU........................................................................4圖表2:BLACKWELL計(jì)算平臺(tái)...................................................................5圖表3:BlackwellHopper5圖表4:Blackwell5圖表5:NIM6圖表6:NVIDIAInferenceMicroservice.........................................................6圖表7:NeMoMicrosrevices...................................................................7圖表8:NeMo7圖表9:NemoRetrieverPDF7NVIDIAAI8OmniverseTeamCenterX8Omniverse8Omniverse9Omniverse9NVIDIAOmniverseAppleVisionPro..............................................9AI理解物理世界所需的三臺(tái)電腦.......................................................10ProjectGR00T......................................................................11ProjectGR00T觀察行為模擬動(dòng)作......................................................11將GR00T模型連接到大語(yǔ)言模型........................................................11IsaacLab..........................................................................12OSMO...............................................................................12IsaacPerceptor....................................................................13IsaacManipulator原理..............................................................13IsaacManipulator..................................................................13JetsonThor........................................................................14NVIDIABlackwellNVIDIAGTC2024大會(huì)于美國(guó)時(shí)間3月18日-3月21日舉行。NVIDIA創(chuàng)始人黃仁勛發(fā)表《見(jiàn)證AI的變革時(shí)刻》主題演講，發(fā)布Blackwell、NIM微服務(wù)、ProjectGR00T等軟硬件產(chǎn)品。BlackwellGPU/NVIDIABlackwellGPUBlackwell計(jì)算平臺(tái)，滿足多模態(tài)數(shù)據(jù)處理對(duì)強(qiáng)大算力的需求。類似于人類的學(xué)習(xí)方式，AI在經(jīng)過(guò)大量訓(xùn)練后，能在現(xiàn)有知識(shí)和條件的基礎(chǔ)上通過(guò)想象力模擬結(jié)果。訓(xùn)練數(shù)據(jù)的類型逐漸多樣化，包括視頻、圖像、圖表等，對(duì)多模態(tài)數(shù)據(jù)的處理需要強(qiáng)大算力的支撐。NVIDIABlackwellGPUBlackwell計(jì)算平臺(tái)，為AI訓(xùn)練和推理工作提供算力支持，實(shí)現(xiàn)了實(shí)時(shí)生成萬(wàn)億參數(shù)大語(yǔ)言模型的能力：1）BlackwellGPU：芯片有2080億個(gè)晶體管，是首次將2die封裝在一起組成一個(gè)芯片，2die互連的傳輸速度為10TB/S。圖表1:BLACKWELLGPU資料來(lái)源：NVIDIAGTC，2）Blackwell計(jì)算平臺(tái)：平臺(tái)搭載了BlackwellGPU、第二代Transformer引擎、第五代NVlink、RAS引擎、SecureAI和解壓縮引擎。其在單芯片訓(xùn)練方面的FP8性能與推理方面的FP4性能分別是上一代架構(gòu)的2.5倍、5倍。可以與許多GPU相互通信，共享計(jì)算過(guò)程中的結(jié)果，可擴(kuò)展至576GPU。全球領(lǐng)先的云服務(wù)提供商、AI巨頭、電信公司都將采用Blackwell計(jì)算平臺(tái)，以實(shí)現(xiàn)各領(lǐng)域的AI創(chuàng)新。圖表2:BLACKWELL計(jì)平臺(tái) 圖表3:Blackwell與Hopper能對(duì)比資料來(lái)源：NVIDIAGTC， 資料來(lái)源：NVIDIAGTC，圖表4:Blackwell合作伙伴 合作進(jìn)展全新NVIDIABlackwellGPU平臺(tái)即將登陸AWS；AWSNVIDIACUDASagemakerAIBedrock亞馬遜云科技（AWS）GoogleCloudOracleMicrosoft

合作范圍，AWSNVIDIAGB200GraceBlackwellB100TensorCoreGPU；AWSNVIDIANVIDIAAmazonElasticComputeCloud（AmazonEC2）UltraCluster等基礎(chǔ)設(shè)施和工具；AmazonRoboticsNVIDIAOmniverseIsaacSIM；AWSHealthNVIDIAHealth。NVIDIAGraceBlackwellAIDGXCloudNVIDIAH100DGXCloudNVIDIACUDAGPUGemmaGoogleNVIDIANIMMuJoCo。Oracle是DGXCloud的重要合作伙伴，正通力合作Oracle數(shù)據(jù)庫(kù)。Oracle計(jì)劃在OCISuperclusterOCIComputeNVIDIAGraceBlackwellNVIDIAGraceBlackwellOCIDGXCloudOracleAIAINVIDIAAIAIMicrosoft將成為首批將NVIDIAGraceBlackwellGB200和NVIDIAQuantum-X800InfiniBand網(wǎng)絡(luò)引入Azure的組織之一；MicrosoftAzureAzureAIMicrosoftFabricMicrosoft365NVIDIAAIOmniverse資料來(lái)源：NVIDIAGTC，NVIDIA英偉達(dá)官方公眾號(hào),NVIDIANVIDIA在軟件端推出NIM、NeMo、DGXCloud等服務(wù)，幫助用戶以更省時(shí)省力的方式部署定制化AI并處理、搜尋海量數(shù)據(jù)，挖掘數(shù)據(jù)價(jià)值：1）NIM是預(yù)訓(xùn)練模型，可幫助用戶簡(jiǎn)化AI模型應(yīng)用流程，縮短軟件編寫(xiě)時(shí)間，已應(yīng)用于電信、半導(dǎo)體、天氣預(yù)報(bào)等領(lǐng)域。推理是對(duì)模型進(jìn)行優(yōu)化，并將運(yùn)行所需的計(jì)算堆棧進(jìn)行整合的過(guò)程，能使企業(yè)將各大模型融入到工作流程中。為便于客戶在自有平臺(tái)上部署定制化AI，NIM（NVIDIAInferenceMicroserviceNVIDIA推理微服務(wù)）應(yīng)運(yùn)而生。NIM是一個(gè)預(yù)訓(xùn)練模型，內(nèi)含許多預(yù)訓(xùn)練狀態(tài)的開(kāi)源模型，經(jīng)過(guò)打包和優(yōu)化，可在網(wǎng)站下載，或在NVIDIACUDA安裝基礎(chǔ)（云端、數(shù)據(jù)中心、工作站）上運(yùn)行。作為軟件打包和交付的方式，NIM可幫助開(kāi)發(fā)者簡(jiǎn)化AI模型應(yīng)用流程，縮短軟件編寫(xiě)時(shí)間。NIM可應(yīng)用于電信、半導(dǎo)體、天氣預(yù)報(bào)、醫(yī)療等領(lǐng)域。圖表5:NIM在細(xì)分領(lǐng)域的應(yīng)用應(yīng)用場(chǎng)景 研究進(jìn)展電信 已推出由AI和Omniverse支持的生成式平臺(tái)NVIDIA6G研究云，由Sionna神經(jīng)無(wú)線電框架、NVIDIAAerialCUDA加速無(wú)線接入網(wǎng)絡(luò)和適用于6G的NVIDIAAerialOmniverse數(shù)字孿生構(gòu)建。半導(dǎo)體制造 與TSMC和Synopsys合作，將計(jì)算光刻平臺(tái)cuLitho入生產(chǎn)，將曲線流程速度和傳統(tǒng)曼哈頓式流程速度分別提升了45倍和近60倍。天氣預(yù)報(bào) 推出了氣候數(shù)字孿生云平臺(tái)Earth-2，可通過(guò)交互式AI增強(qiáng)型高分辨率模擬加速氣候和天氣預(yù)測(cè)。醫(yī)療 已與領(lǐng)先的手術(shù)機(jī)器人公司達(dá)成合作，涉足成像系統(tǒng)、基因測(cè)序儀器等細(xì)分領(lǐng)域。資料來(lái)源：NVIDIA官網(wǎng)，NVIDIAGTC，圖表6:NVIDIAInferenceMicroservice資料來(lái)源：NVIDIAGTC，NeMo可幫助客戶處理各類數(shù)據(jù)，以便捷的方式迅速查找到所需要的信息。NeMo是一個(gè)端到端平臺(tái)，用于開(kāi)發(fā)自定義生成人工智能，可提供具有精確數(shù)據(jù)管理、尖端定制、檢索增強(qiáng)生成（RAG）和加速性能的企業(yè)級(jí)模型。NeMo通過(guò)處理結(jié)構(gòu)或非結(jié)構(gòu)化的數(shù)據(jù)，并對(duì)其編碼形成專有信息，構(gòu)建AI數(shù)據(jù)庫(kù)，而后用戶通過(guò)聊天對(duì)話便可檢索數(shù)據(jù)。NeMo可幫助客戶管理數(shù)據(jù)、理解專有信息，其最終任務(wù)是盡可能快地檢索信息。圖表7:NeMoMicrosrevices 圖表8:NeMo微務(wù)字人資料來(lái)源：NVIDIAGTC， 資料來(lái)源：NVIDIAGTC，圖表9:NemoRetriever可幫助用戶通過(guò)聊天對(duì)話的方式檢索PDF等形式的數(shù)據(jù)資料來(lái)源：NVIDIAGTC，DGXCloud集成了NVIDIABaseCommand，可實(shí)現(xiàn)精簡(jiǎn)的Al開(kāi)發(fā)，BaseCommand可有效地配置和管理Al工作負(fù)載，提供集成式數(shù)據(jù)集管理。DGXCloudNVIDIAAlEnterprise，可提供加速的數(shù)據(jù)科學(xué)庫(kù)、優(yōu)化的框架和預(yù)訓(xùn)練的模型，為開(kāi)發(fā)人員提供更快的生產(chǎn)模型途徑。當(dāng)用戶開(kāi)發(fā)了一種AI后，可通過(guò)DGXCloud將其部署在任何地方。圖表10:多個(gè)公司采用NVIDIAAI代工服務(wù)合作伙伴 合作進(jìn)展SAP NeMoDGXCloudSAPJouleCopilotServierNow ServierNow正在利用NVIDIAAI代工服務(wù)構(gòu)建“ServierNowNowAssist”虛擬助理Cohesity NVIDIAAI代工服務(wù)幫助他們構(gòu)建生成式AI智能體GaiaSnowflake SnowflakeNeMoNIMCopilotNetApp NeMo和NIM幫助NetApp于向量數(shù)據(jù)庫(kù)和檢索器構(gòu)建聊天機(jī)器人和CopilotDELL 雙方合作密切資料來(lái)源：NVIDIAGTC，OmniverseOmniverse是數(shù)字孿生平臺(tái)，可在虛擬空間中構(gòu)建與物理世界高度相似的數(shù)字孿生，可應(yīng)用于機(jī)器人、制造業(yè)等領(lǐng)域，降低試驗(yàn)成本并縮短時(shí)間。Omniverse是數(shù)字孿生平臺(tái)，將物理實(shí)體映射到虛擬空間中，即在虛擬空間中建立一個(gè)與物理實(shí)體高度相似的數(shù)字孿生，且數(shù)字孿生可通過(guò)實(shí)時(shí)感知，高度復(fù)刻物理實(shí)體的變化過(guò)程。用戶可使用Omniverse對(duì)開(kāi)發(fā)的核心技術(shù)進(jìn)行仿真，驗(yàn)證實(shí)際設(shè)施是否與數(shù)字計(jì)劃相符，降低試驗(yàn)成本并縮短工廠上線時(shí)間。西門(mén)子計(jì)劃將其產(chǎn)品組合Xcelerator連接到NVIDIAOmniverse。將NVIDIAAI和Omniverse技術(shù)集成到西門(mén)子TeamCenterX軟件，可拉近現(xiàn)實(shí)世界與數(shù)字世界的距離。OmniverseAPI可在工業(yè)規(guī)模的設(shè)計(jì)和制造項(xiàng)目中實(shí)現(xiàn)數(shù)據(jù)互操作性和基于物理效果的渲染。Hyundai制造的氨氫動(dòng)力船舶通常包含700萬(wàn)個(gè)離散部件，若借助OmniverseAPI、TeamCenterX可使公司統(tǒng)一這些龐大的工程數(shù)據(jù)集，并以交互的方式將其可視化，產(chǎn)生直觀精準(zhǔn)的數(shù)字孿生，從而消除錯(cuò)誤，節(jié)省成本和時(shí)間。此外，NVIDIA正在構(gòu)建平臺(tái)以便于跨工具和跨團(tuán)隊(duì)的協(xié)作。圖表11:Omniverse集到TeamCenterX的用理 圖表12:Omniverse協(xié)平臺(tái)資料來(lái)源：NVIDIAGTC， 資料來(lái)源：NVIDIAGTC，日產(chǎn)將Omniverse連接到客戶的工作流和生態(tài)系統(tǒng)中，可使每位員工（包括設(shè)計(jì)、架構(gòu)、工程、營(yíng)銷部門(mén)）都基于相同的真實(shí)數(shù)據(jù)進(jìn)行操作，不必轉(zhuǎn)換數(shù)據(jù)。日產(chǎn)將Omniverse集成到工作流中，可以模擬不同顏色、不同光影和不同背景下的汽車(chē)，數(shù)字人導(dǎo)購(gòu)也可針對(duì)客戶需求展示相應(yīng)的產(chǎn)品。圖表13:日將Omniverse成工作中 圖表14:Omniverse演示資料來(lái)源：NVIDIAGTC， 資料來(lái)源：NVIDIAGTC，NVIDIA將把Omniverse引入AppleVisionPro進(jìn)行應(yīng)用。由于所有工具都已集成并連接到Omniverse，因此通過(guò)OmniverseCloudAPI，開(kāi)發(fā)者可以將交互式工業(yè)數(shù)字孿生流式傳輸?shù)絍R頭顯中。圖表15:NVIDIA將Omniverse引入AppleVisionPro資料來(lái)源：NVIDIAGTC，推出機(jī)器人軟硬件底層基礎(chǔ)設(shè)施，驅(qū)動(dòng)人形機(jī)器人產(chǎn)業(yè)進(jìn)程提速在機(jī)器人領(lǐng)域，黃仁勛認(rèn)為現(xiàn)實(shí)生活中的諸多設(shè)定均以人類身體結(jié)構(gòu)而構(gòu)造，人形機(jī)器人與人體具備相仿的結(jié)構(gòu)，因此在前期訓(xùn)練乃至未來(lái)在現(xiàn)實(shí)生活中的運(yùn)行都更具優(yōu)勢(shì)，或?yàn)榫呱碇悄艿淖罴研螒B(tài)之一。在GTC2024大會(huì)上，NVIDIA就AI理解物理世界所需要的電腦架構(gòu)進(jìn)行界定，并推出ProjectGR00T和JetsonThor，更新Isaac機(jī)器人平臺(tái)，為機(jī)器人領(lǐng)域構(gòu)建了一個(gè)綜合性的軟硬件開(kāi)發(fā)平臺(tái)，合作廠商包括1XTechnologies、AgilityRobotics、Apptronik、波士頓動(dòng)力公司、FigureAI、傅利葉智能、SanctuaryAI、宇樹(shù)和小鵬等。NVIDIA認(rèn)為，讓AI理解物理世界的經(jīng)典架構(gòu)需要三臺(tái)電腦，即DGX、OVX與AGX：DGXAI云平臺(tái)，用于訓(xùn)練AI：DGX是一個(gè)人工智能開(kāi)發(fā)解決方案，公司獲取的所有數(shù)據(jù)可放入DGX系統(tǒng)，并被壓縮為大語(yǔ)言模型，數(shù)據(jù)機(jī)制經(jīng)壓縮后即形成AI。作為一個(gè)AI云平臺(tái)，它被用于訓(xùn)練AI，可AI學(xué)習(xí)語(yǔ)言、文字、視頻等內(nèi)容，并去嘗試?yán)斫?、適應(yīng)物理世界，它可以部署在云端、本地?cái)?shù)據(jù)中心等位置。中間層OVX通過(guò)運(yùn)行OmniverseAI構(gòu)建虛擬世界，幫助其加速學(xué)習(xí)并適應(yīng)真實(shí)世界的物理規(guī)則：OVX被托管在Azure云上，是用于高性能人工智能和圖形的可擴(kuò)展數(shù)據(jù)中心基礎(chǔ)設(shè)施。內(nèi)部運(yùn)行的Omniverse為機(jī)器人創(chuàng)造了一個(gè)虛擬世界，以使機(jī)器人適應(yīng)真實(shí)世界的物理規(guī)則，起到強(qiáng)化學(xué)習(xí)人類反饋的作用。AGX自主系統(tǒng)本質(zhì)是SoC芯片，裝載于機(jī)器人身上：可以提供更多人工智能推理流程，并且支持多個(gè)傳感器的高速接口，其本質(zhì)是SoC芯片，具有實(shí)現(xiàn)能耗小，效率高等特點(diǎn)，被設(shè)計(jì)用于高速傳感器和AI。圖表16:AI理解物理世界所需的三臺(tái)電腦資料來(lái)源：NVIDIAGTC，DGX幫助機(jī)器人訓(xùn)練、閱讀，OVX讓機(jī)器人在虛擬世界中加速仿真，二者間的工作流由計(jì)算編排服務(wù)OSMO協(xié)調(diào)。在機(jī)器人訓(xùn)練過(guò)程中，DGX主要使其閱讀學(xué)習(xí)，OVX主要讓機(jī)器人在IsaacLab提供的虛擬空間中學(xué)習(xí)，幫助其更好地理解真實(shí)物理世界，實(shí)現(xiàn)真實(shí)世界和虛擬世界的1:1映射。值得一提的是，IsaacLab的一大優(yōu)勢(shì)是將物理模擬加速到比實(shí)時(shí)快1000倍，從而減少訓(xùn)練時(shí)間。機(jī)器人經(jīng)過(guò)學(xué)習(xí)能實(shí)現(xiàn)轉(zhuǎn)筆、倒咖啡、打鼓、揮手等人類動(dòng)作，并與人類進(jìn)行語(yǔ)言和動(dòng)作上的交互。新推出的計(jì)算編排服務(wù)OSMO可協(xié)調(diào)用于訓(xùn)練的DGX與用于仿真的OVX間的工作流。ProjectGR00TGR00T模型（GeneralistRobot00Technology）是用于人形機(jī)器人學(xué)習(xí)的通用基礎(chǔ)模型，可接受語(yǔ)言、視頻等多模態(tài)指令，也可模仿人類動(dòng)作。它可將多模態(tài)指令和過(guò)去的交互作為輸入，并產(chǎn)生機(jī)器人要執(zhí)行的動(dòng)作。GR00T模型在OmniverseIsaacSIM上仿真，并在DGX上訓(xùn)練，過(guò)程中通過(guò)OSMO實(shí)現(xiàn)跨平臺(tái)拓展。由GR00T提供支持的機(jī)器人能通過(guò)觀察人類行為來(lái)理解自然語(yǔ)言并模擬動(dòng)作，具有快速學(xué)習(xí)協(xié)調(diào)、靈巧性等技能，從而實(shí)現(xiàn)導(dǎo)航，適應(yīng)并與現(xiàn)實(shí)世界互動(dòng)。若將GR00T模型連接到大語(yǔ)言模型，機(jī)器人可以根據(jù)自然語(yǔ)言指令生成動(dòng)作。圖表17:ProjectGR00T 圖表18:ProjectGR00T觀行模擬作資料來(lái)源：NVIDIAGTC， 資料來(lái)源：NVIDIAGTC，圖表19:將GR00T模型連接到大語(yǔ)言模型資料來(lái)源：NVIDIAGTC，IsaacIsaac機(jī)器人平臺(tái)包括一整套GPU加速的創(chuàng)新功能，覆蓋AI感知、操控、模擬和軟件方面。用戶可以通過(guò)針對(duì)AI的進(jìn)步（包括機(jī)器人學(xué)習(xí)、大語(yǔ)言模型、生成式AI和基礎(chǔ)模型）進(jìn)行優(yōu)化，將其機(jī)器人性能提升到新的水平。GR00T使用的Isaac工具能為所有機(jī)器人創(chuàng)建新的基礎(chǔ)模型，這些工具包括用于強(qiáng)化學(xué)習(xí)的IsaacLab和用于計(jì)算編排服務(wù)的OSMO：IsaacLab可運(yùn)行上千機(jī)器人學(xué)習(xí)的并行仿真并生成眾多虛擬世界，提供更豐富數(shù)據(jù)：訓(xùn)練具身智能模型需要海量的真實(shí)數(shù)據(jù)和合成數(shù)據(jù)，IsaacLab是一個(gè)基于IsaacSim（OVX層，由Omniverse提供動(dòng)力支持）構(gòu)建的GPU加速、性能優(yōu)化的輕量級(jí)應(yīng)用，專門(mén)用于運(yùn)行數(shù)千個(gè)用于機(jī)器人學(xué)習(xí)的并行仿真，可訓(xùn)練所有類型的機(jī)器人實(shí)施例（包括人形機(jī)器人ProjectGR00T基礎(chǔ)模型，且可生成眾多虛擬世界，為訓(xùn)練智能體提供更豐富的數(shù)據(jù)。OSMO可用于協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練和軟硬件在環(huán)工作流：為擴(kuò)展異構(gòu)計(jì)算的機(jī)器人開(kāi)發(fā)工作負(fù)載，OSMO在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練和軟硬件在環(huán)工作流。圖表20:IsaacLab 圖表21:OSMO資料來(lái)源：NVIDIAGTC， 資料來(lái)源：NVIDIAGTC，NVIDIA還發(fā)布了IsaacPerceptor和IsaacManipulator等機(jī)器人預(yù)訓(xùn)練模型、庫(kù)和參考硬件：IsaacPerceptor提升機(jī)器人的感知力：軟件開(kāi)發(fā)包提供了多攝像頭和3D環(huán)繞視覺(jué)功能，視覺(jué)里程計(jì)、3D重建、深度感知能力強(qiáng)，常被應(yīng)用于制造業(yè)和物流業(yè)中的自主移動(dòng)機(jī)器人，能夠使機(jī)器人具有感知能力，對(duì)路徑進(jìn)行自適應(yīng)調(diào)整，從而在提高效率和保護(hù)工人的同時(shí)降低錯(cuò)誤率和成本。圖表22:IsaacPerceptor資料來(lái)源：NVIDIAGTC，IsaacManipulator是一個(gè)先進(jìn)的機(jī)械臂感知、路徑規(guī)劃和運(yùn)動(dòng)學(xué)控制庫(kù)：對(duì)機(jī)器視覺(jué)、AI等算法進(jìn)行CUDA加速，為機(jī)械臂提供模塊化AI功能，提高其靈活性。它借助基礎(chǔ)模型和GPU加速庫(kù)，將路徑規(guī)劃速度提80倍，此外，零樣本感知提高了效率和吞吐量，使開(kāi)發(fā)者能夠?qū)崿F(xiàn)更多機(jī)器人任務(wù)的自動(dòng)化。合作廠商包括安川電機(jī)、Solomon、PickNikRobotics、READYRobotics、FrankaRobotics、泰瑞達(dá)旗下子公司優(yōu)傲等領(lǐng)先的機(jī)器人公司。圖表23:Is