機械設備行業(yè)英偉達GTC2024發(fā)布多款AI軟硬件具身智能產(chǎn)業(yè)進程提速

正文目錄NVIDIA發(fā)布Blackwell架構軟生，臺發(fā)展 4BlackwellGPU/計平臺磅出提強算力持 4件態(tài)續(xù)建助力NVIDIA臺發(fā)展 5Omniverse是字生平，力戶省本與間在際廠泛應用 8推機人硬底基礎施驅人機人產(chǎn)進提速 9ProjectGR00T推，推機人術破 11Isaac機人臺續(xù)迭優(yōu)化 11JetsonThor機人提硬支撐 13投建： 14風提： 14圖表目錄圖表1:BLACKWELLGPU........................................................................4圖表2:BLACKWELL計算平臺...................................................................5圖表3:BlackwellHopper5圖表4:Blackwell5圖表5:NIM6圖表6:NVIDIAInferenceMicroservice.........................................................6圖表7:NeMoMicrosrevices...................................................................7圖表8:NeMo7圖表9:NemoRetrieverPDF7NVIDIAAI8OmniverseTeamCenterX8Omniverse8Omniverse9Omniverse9NVIDIAOmniverseAppleVisionPro..............................................9AI理解物理世界所需的三臺電腦.......................................................10ProjectGR00T......................................................................11ProjectGR00T觀察行為模擬動作......................................................11將GR00T模型連接到大語言模型........................................................11IsaacLab..........................................................................12OSMO...............................................................................12IsaacPerceptor....................................................................13IsaacManipulator原理..............................................................13IsaacManipulator..................................................................13JetsonThor........................................................................14NVIDIABlackwellNVIDIAGTC2024大會于美國時間3月18日-3月21日舉行。NVIDIA創(chuàng)始人黃仁勛發(fā)表《見證AI的變革時刻》主題演講，發(fā)布Blackwell、NIM微服務、ProjectGR00T等軟硬件產(chǎn)品。BlackwellGPU/NVIDIABlackwellGPUBlackwell計算平臺，滿足多模態(tài)數(shù)據(jù)處理對強大算力的需求。類似于人類的學習方式，AI在經(jīng)過大量訓練后，能在現(xiàn)有知識和條件的基礎上通過想象力模擬結果。訓練數(shù)據(jù)的類型逐漸多樣化，包括視頻、圖像、圖表等，對多模態(tài)數(shù)據(jù)的處理需要強大算力的支撐。NVIDIABlackwellGPUBlackwell計算平臺，為AI訓練和推理工作提供算力支持，實現(xiàn)了實時生成萬億參數(shù)大語言模型的能力：1）BlackwellGPU：芯片有2080億個晶體管，是首次將2die封裝在一起組成一個芯片，2die互連的傳輸速度為10TB/S。圖表1:BLACKWELLGPU資料來源：NVIDIAGTC，2）Blackwell計算平臺：平臺搭載了BlackwellGPU、第二代Transformer引擎、第五代NVlink、RAS引擎、SecureAI和解壓縮引擎。其在單芯片訓練方面的FP8性能與推理方面的FP4性能分別是上一代架構的2.5倍、5倍?？梢耘c許多GPU相互通信，共享計算過程中的結果，可擴展至576GPU。全球領先的云服務提供商、AI巨頭、電信公司都將采用Blackwell計算平臺，以實現(xiàn)各領域的AI創(chuàng)新。圖表2:BLACKWELL計平臺 圖表3:Blackwell與Hopper能對比資料來源：NVIDIAGTC， 資料來源：NVIDIAGTC，圖表4:Blackwell合作伙伴 合作進展全新NVIDIABlackwellGPU平臺即將登陸AWS；AWSNVIDIACUDASagemakerAIBedrock亞馬遜云科技（AWS）GoogleCloudOracleMicrosoft

合作范圍，AWSNVIDIAGB200GraceBlackwellB100TensorCoreGPU；AWSNVIDIANVIDIAAmazonElasticComputeCloud（AmazonEC2）UltraCluster等基礎設施和工具；AmazonRoboticsNVIDIAOmniverseIsaacSIM；AWSHealthNVIDIAHealth。NVIDIAGraceBlackwellAIDGXCloudNVIDIAH100DGXCloudNVIDIACUDAGPUGemmaGoogleNVIDIANIMMuJoCo。Oracle是DGXCloud的重要合作伙伴，正通力合作Oracle數(shù)據(jù)庫。Oracle計劃在OCISuperclusterOCIComputeNVIDIAGraceBlackwellNVIDIAGraceBlackwellOCIDGXCloudOracleAIAINVIDIAAIAIMicrosoft將成為首批將NVIDIAGraceBlackwellGB200和NVIDIAQuantum-X800InfiniBand網(wǎng)絡引入Azure的組織之一；MicrosoftAzureAzureAIMicrosoftFabricMicrosoft365NVIDIAAIOmniverse資料來源：NVIDIAGTC，NVIDIA英偉達官方公眾號,NVIDIANVIDIA在軟件端推出NIM、NeMo、DGXCloud等服務，幫助用戶以更省時省力的方式部署定制化AI并處理、搜尋海量數(shù)據(jù)，挖掘數(shù)據(jù)價值：1）NIM是預訓練模型，可幫助用戶簡化AI模型應用流程，縮短軟件編寫時間，已應用于電信、半導體、天氣預報等領域。推理是對模型進行優(yōu)化，并將運行所需的計算堆棧進行整合的過程，能使企業(yè)將各大模型融入到工作流程中。為便于客戶在自有平臺上部署定制化AI，NIM（NVIDIAInferenceMicroserviceNVIDIA推理微服務）應運而生。NIM是一個預訓練模型，內含許多預訓練狀態(tài)的開源模型，經(jīng)過打包和優(yōu)化，可在網(wǎng)站下載，或在NVIDIACUDA安裝基礎（云端、數(shù)據(jù)中心、工作站）上運行。作為軟件打包和交付的方式，NIM可幫助開發(fā)者簡化AI模型應用流程，縮短軟件編寫時間。NIM可應用于電信、半導體、天氣預報、醫(yī)療等領域。圖表5:NIM在細分領域的應用應用場景 研究進展電信 已推出由AI和Omniverse支持的生成式平臺NVIDIA6G研究云，由Sionna神經(jīng)無線電框架、NVIDIAAerialCUDA加速無線接入網(wǎng)絡和適用于6G的NVIDIAAerialOmniverse數(shù)字孿生構建。半導體制造 與TSMC和Synopsys合作，將計算光刻平臺cuLitho入生產(chǎn)，將曲線流程速度和傳統(tǒng)曼哈頓式流程速度分別提升了45倍和近60倍。天氣預報 推出了氣候數(shù)字孿生云平臺Earth-2，可通過交互式AI增強型高分辨率模擬加速氣候和天氣預測。醫(yī)療 已與領先的手術機器人公司達成合作，涉足成像系統(tǒng)、基因測序儀器等細分領域。資料來源：NVIDIA官網(wǎng)，NVIDIAGTC，圖表6:NVIDIAInferenceMicroservice資料來源：NVIDIAGTC，NeMo可幫助客戶處理各類數(shù)據(jù)，以便捷的方式迅速查找到所需要的信息。NeMo是一個端到端平臺，用于開發(fā)自定義生成人工智能，可提供具有精確數(shù)據(jù)管理、尖端定制、檢索增強生成（RAG）和加速性能的企業(yè)級模型。NeMo通過處理結構或非結構化的數(shù)據(jù)，并對其編碼形成專有信息，構建AI數(shù)據(jù)庫，而后用戶通過聊天對話便可檢索數(shù)據(jù)。NeMo可幫助客戶管理數(shù)據(jù)、理解專有信息，其最終任務是盡可能快地檢索信息。圖表7:NeMoMicrosrevices 圖表8:NeMo微務字人資料來源：NVIDIAGTC， 資料來源：NVIDIAGTC，圖表9:NemoRetriever可幫助用戶通過聊天對話的方式檢索PDF等形式的數(shù)據(jù)資料來源：NVIDIAGTC，DGXCloud集成了NVIDIABaseCommand，可實現(xiàn)精簡的Al開發(fā)，BaseCommand可有效地配置和管理Al工作負載，提供集成式數(shù)據(jù)集管理。DGXCloudNVIDIAAlEnterprise，可提供加速的數(shù)據(jù)科學庫、優(yōu)化的框架和預訓練的模型，為開發(fā)人員提供更快的生產(chǎn)模型途徑。當用戶開發(fā)了一種AI后，可通過DGXCloud將其部署在任何地方。圖表10:多個公司采用NVIDIAAI代工服務合作伙伴 合作進展SAP NeMoDGXCloudSAPJouleCopilotServierNow ServierNow正在利用NVIDIAAI代工服務構建“ServierNowNowAssist”虛擬助理Cohesity NVIDIAAI代工服務幫助他們構建生成式AI智能體GaiaSnowflake SnowflakeNeMoNIMCopilotNetApp NeMo和NIM幫助NetApp于向量數(shù)據(jù)庫和檢索器構建聊天機器人和CopilotDELL 雙方合作密切資料來源：NVIDIAGTC，OmniverseOmniverse是數(shù)字孿生平臺，可在虛擬空間中構建與物理世界高度相似的數(shù)字孿生，可應用于機器人、制造業(yè)等領域，降低試驗成本并縮短時間。Omniverse是數(shù)字孿生平臺，將物理實體映射到虛擬空間中，即在虛擬空間中建立一個與物理實體高度相似的數(shù)字孿生，且數(shù)字孿生可通過實時感知，高度復刻物理實體的變化過程。用戶可使用Omniverse對開發(fā)的核心技術進行仿真，驗證實際設施是否與數(shù)字計劃相符，降低試驗成本并縮短工廠上線時間。西門子計劃將其產(chǎn)品組合Xcelerator連接到NVIDIAOmniverse。將NVIDIAAI和Omniverse技術集成到西門子TeamCenterX軟件，可拉近現(xiàn)實世界與數(shù)字世界的距離。OmniverseAPI可在工業(yè)規(guī)模的設計和制造項目中實現(xiàn)數(shù)據(jù)互操作性和基于物理效果的渲染。Hyundai制造的氨氫動力船舶通常包含700萬個離散部件，若借助OmniverseAPI、TeamCenterX可使公司統(tǒng)一這些龐大的工程數(shù)據(jù)集，并以交互的方式將其可視化，產(chǎn)生直觀精準的數(shù)字孿生，從而消除錯誤，節(jié)省成本和時間。此外，NVIDIA正在構建平臺以便于跨工具和跨團隊的協(xié)作。圖表11:Omniverse集到TeamCenterX的用理 圖表12:Omniverse協(xié)平臺資料來源：NVIDIAGTC， 資料來源：NVIDIAGTC，日產(chǎn)將Omniverse連接到客戶的工作流和生態(tài)系統(tǒng)中，可使每位員工（包括設計、架構、工程、營銷部門）都基于相同的真實數(shù)據(jù)進行操作，不必轉換數(shù)據(jù)。日產(chǎn)將Omniverse集成到工作流中，可以模擬不同顏色、不同光影和不同背景下的汽車，數(shù)字人導購也可針對客戶需求展示相應的產(chǎn)品。圖表13:日將Omniverse成工作中 圖表14:Omniverse演示資料來源：NVIDIAGTC， 資料來源：NVIDIAGTC，NVIDIA將把Omniverse引入AppleVisionPro進行應用。由于所有工具都已集成并連接到Omniverse，因此通過OmniverseCloudAPI，開發(fā)者可以將交互式工業(yè)數(shù)字孿生流式傳輸?shù)絍R頭顯中。圖表15:NVIDIA將Omniverse引入AppleVisionPro資料來源：NVIDIAGTC，推出機器人軟硬件底層基礎設施，驅動人形機器人產(chǎn)業(yè)進程提速在機器人領域，黃仁勛認為現(xiàn)實生活中的諸多設定均以人類身體結構而構造，人形機器人與人體具備相仿的結構，因此在前期訓練乃至未來在現(xiàn)實生活中的運行都更具優(yōu)勢，或為具身智能的最佳形態(tài)之一。在GTC2024大會上，NVIDIA就AI理解物理世界所需要的電腦架構進行界定，并推出ProjectGR00T和JetsonThor，更新Isaac機器人平臺，為機器人領域構建了一個綜合性的軟硬件開發(fā)平臺，合作廠商包括1XTechnologies、AgilityRobotics、Apptronik、波士頓動力公司、FigureAI、傅利葉智能、SanctuaryAI、宇樹和小鵬等。NVIDIA認為，讓AI理解物理世界的經(jīng)典架構需要三臺電腦，即DGX、OVX與AGX：DGXAI云平臺，用于訓練AI：DGX是一個人工智能開發(fā)解決方案，公司獲取的所有數(shù)據(jù)可放入DGX系統(tǒng)，并被壓縮為大語言模型，數(shù)據(jù)機制經(jīng)壓縮后即形成AI。作為一個AI云平臺，它被用于訓練AI，可AI學習語言、文字、視頻等內容，并去嘗試理解、適應物理世界，它可以部署在云端、本地數(shù)據(jù)中心等位置。中間層OVX通過運行OmniverseAI構建虛擬世界，幫助其加速學習并適應真實世界的物理規(guī)則：OVX被托管在Azure云上，是用于高性能人工智能和圖形的可擴展數(shù)據(jù)中心基礎設施。內部運行的Omniverse為機器人創(chuàng)造了一個虛擬世界，以使機器人適應真實世界的物理規(guī)則，起到強化學習人類反饋的作用。AGX自主系統(tǒng)本質是SoC芯片，裝載于機器人身上：可以提供更多人工智能推理流程，并且支持多個傳感器的高速接口，其本質是SoC芯片，具有實現(xiàn)能耗小，效率高等特點，被設計用于高速傳感器和AI。圖表16:AI理解物理世界所需的三臺電腦資料來源：NVIDIAGTC，DGX幫助機器人訓練、閱讀，OVX讓機器人在虛擬世界中加速仿真，二者間的工作流由計算編排服務OSMO協(xié)調。在機器人訓練過程中，DGX主要使其閱讀學習，OVX主要讓機器人在IsaacLab提供的虛擬空間中學習，幫助其更好地理解真實物理世界，實現(xiàn)真實世界和虛擬世界的1:1映射。值得一提的是，IsaacLab的一大優(yōu)勢是將物理模擬加速到比實時快1000倍，從而減少訓練時間。機器人經(jīng)過學習能實現(xiàn)轉筆、倒咖啡、打鼓、揮手等人類動作，并與人類進行語言和動作上的交互。新推出的計算編排服務OSMO可協(xié)調用于訓練的DGX與用于仿真的OVX間的工作流。ProjectGR00TGR00T模型（GeneralistRobot00Technology）是用于人形機器人學習的通用基礎模型，可接受語言、視頻等多模態(tài)指令，也可模仿人類動作。它可將多模態(tài)指令和過去的交互作為輸入，并產(chǎn)生機器人要執(zhí)行的動作。GR00T模型在OmniverseIsaacSIM上仿真，并在DGX上訓練，過程中通過OSMO實現(xiàn)跨平臺拓展。由GR00T提供支持的機器人能通過觀察人類行為來理解自然語言并模擬動作，具有快速學習協(xié)調、靈巧性等技能，從而實現(xiàn)導航，適應并與現(xiàn)實世界互動。若將GR00T模型連接到大語言模型，機器人可以根據(jù)自然語言指令生成動作。圖表17:ProjectGR00T 圖表18:ProjectGR00T觀行模擬作資料來源：NVIDIAGTC， 資料來源：NVIDIAGTC，圖表19:將GR00T模型連接到大語言模型資料來源：NVIDIAGTC，IsaacIsaac機器人平臺包括一整套GPU加速的創(chuàng)新功能，覆蓋AI感知、操控、模擬和軟件方面。用戶可以通過針對AI的進步（包括機器人學習、大語言模型、生成式AI和基礎模型）進行優(yōu)化，將其機器人性能提升到新的水平。GR00T使用的Isaac工具能為所有機器人創(chuàng)建新的基礎模型，這些工具包括用于強化學習的IsaacLab和用于計算編排服務的OSMO：IsaacLab可運行上千機器人學習的并行仿真并生成眾多虛擬世界，提供更豐富數(shù)據(jù)：訓練具身智能模型需要海量的真實數(shù)據(jù)和合成數(shù)據(jù)，IsaacLab是一個基于IsaacSim（OVX層，由Omniverse提供動力支持）構建的GPU加速、性能優(yōu)化的輕量級應用，專門用于運行數(shù)千個用于機器人學習的并行仿真，可訓練所有類型的機器人實施例（包括人形機器人ProjectGR00T基礎模型，且可生成眾多虛擬世界，為訓練智能體提供更豐富的數(shù)據(jù)。OSMO可用于協(xié)調數(shù)據(jù)生成、模型訓練和軟硬件在環(huán)工作流：為擴展異構計算的機器人開發(fā)工作負載，OSMO在分布式環(huán)境中協(xié)調數(shù)據(jù)生成、模型訓練和軟硬件在環(huán)工作流。圖表20:IsaacLab 圖表21:OSMO資料來源：NVIDIAGTC， 資料來源：NVIDIAGTC，NVIDIA還發(fā)布了IsaacPerceptor和IsaacManipulator等機器人預訓練模型、庫和參考硬件：IsaacPerceptor提升機器人的感知力：軟件開發(fā)包提供了多攝像頭和3D環(huán)繞視覺功能，視覺里程計、3D重建、深度感知能力強，常被應用于制造業(yè)和物流業(yè)中的自主移動機器人，能夠使機器人具有感知能力，對路徑進行自適應調整，從而在提高效率和保護工人的同時降低錯誤率和成本。圖表22:IsaacPerceptor資料來源：NVIDIAGTC，IsaacManipulator是一個先進的機械臂感知、路徑規(guī)劃和運動學控制庫：對機器視覺、AI等算法進行CUDA加速，為機械臂提供模塊化AI功能，提高其靈活性。它借助基礎模型和GPU加速庫，將路徑規(guī)劃速度提80倍，此外，零樣本感知提高了效率和吞吐量，使開發(fā)者能夠實現(xiàn)更多機器人任務的自動化。合作廠商包括安川電機、Solomon、PickNikRobotics、READYRobotics、FrankaRobotics、泰瑞達旗下子公司優(yōu)傲等領先的機器人公司。圖表23:Is