電子行業(yè)英偉達GTC2024跟蹤報告：見證AI的變革時刻關注新平臺的增量變化和前沿應用

附錄：英偉達GTC2024主題演講紀要 時間：2024年3月18日主講人：英偉達創(chuàng)始人黃仁勛背景介紹：1993年。2006年，CUDA被證明是一種革命性的計2012年，AlexNetAIKuda2016年首次接觸，產(chǎn)生DGX8GPU可實現(xiàn)170萬億次浮點運算。第一臺DGX1交付于位于舊金山的一家名為OpenAI的初創(chuàng)公司。DGX1是世界上第一臺人工智能超級計算機。2022TrasfomerCatGPT223AI中心所做的任何事情都不同。下面將討論下一步如何進行計算，由于新產(chǎn)業(yè)的出現(xiàn)又將構建什么樣的軟件？新軟件在新產(chǎn)業(yè)中又是如何應用的？以及我們應該做什么準備？圖1：英偉達發(fā)展史資料來源：英偉達，1、公司發(fā)展“新加速生態(tài)系統(tǒng)”合作伙伴，包括Ansys、Synopsys、Cadence等AI生態(tài)系統(tǒng)，能夠?qū)⑹澜鐜爰铀儆嬎?。合作伙伴：AnsysAnsysOmniverseDigitaltwinsGPUinstallbasis遍布世界installbasisCSPs也會有巨大的客戶需求。SynopsysSynopsys通過高級設計徹底Nvidia創(chuàng)Synopsys也將突性的英偉達計算光刻平臺投入生產(chǎn)。下一步是將生成式人工智能應用于未來的半導體制造，進一步推動幾何學的發(fā)展。Cadence構建了世界上重要的EDA和SDACadenceNvidiaGPU100萬2BlackwellGPU隨著Transformer模型的發(fā)明，算力需求激增CAEEDA和SDAOmniverseTransformerOpenAI1.8萬億參數(shù)。1.8token300400500萬億次浮點運算。SELENE與EOS：GPUtensorcoreslinkDGX1計算機。2021年，SELENE4500GPU2023年，公司建造了世界上最大的人工智能超級計算機之一EOSGPUGPUGPU成本。圖2：SELENE參數(shù) 圖3：EOS參數(shù)資料來源：英偉達， 資料來源：英偉達，ChatGPT大的GPU。BlackwellGPU。Blackwell2080億個晶體管，所有這些晶體管幾乎能夠同時訪問與芯片連接的內(nèi)存，由此構建的BlackwellBlackwellGPU4BlackwelldiesGraceCPU進行配對，NVlink位于頂部，PCIExpress位于底部。transformerengine。它能夠動態(tài)地、自動地重新縮放和重transformerengineNVlinkHopperGPU一起工作，彼此共享信息，互相同1.8TBHpper的很多倍。另外公司在超級計算機中安裝了Ras引擎，這是一種可靠性引擎，可以Blackwellgatebitofmemory以及與其連100%AI，能夠確保數(shù)據(jù)不會丟失且不被污染。圖4：從Blackwell到數(shù)據(jù)中心的發(fā)展資料來源：英偉達，資料來源：英偉達，圖6：從Blackwell到數(shù)據(jù)中心的發(fā)展資料來源：英偉達，圖7：從Blackwell到數(shù)據(jù)中心的發(fā)展資料來源：英偉達，圖8：從Blackwell到數(shù)據(jù)中心的發(fā)展 圖9：從Blackwell到數(shù)據(jù)中心的發(fā)展資料來源：英偉達， 資料來源：英偉達，highlinespeedcompressionengine20Hopper相比，F(xiàn)P8性能2.5FP6圖10：BlackwellGPU 圖11：Blackwell平臺資料來源：英偉達， 資料來源：英偉達，公司為生成式人工智能創(chuàng)建了一個處理器，其中最重要的部分之一是contenttokengenerationFP4251010100倍。而在過去的在八年時間中，我們將計算量增加了1000倍，推進計算的速度是瘋狂的。圖12：8年中算力發(fā)展資料來源：英偉達，NVLinkSwitchChip：該芯片有500HopperNVLinks，每秒1.8TB。GPUGPUGPUGPU。圖13：英偉達NVLinkSwitchChip資料來源：英偉達GTC，DGXOpenAIDGXDGX170萬億次浮點運算，即0.17PFLOPS。而現(xiàn)在其能達到720PFLOPS，接近11ExaflopsNVLinkSpine130TB5000NVLink圖14：英偉達DGXGPU資料來源：英偉達GTC，TransceiversReTimerNVLinkSpineNVLinkSwitch2012020千瓦產(chǎn)生了巨大2545HGXGPU7035000DGXGPU60萬個零件。DGX1.8GPT3525000如果用Hopper8000個GPU，消耗1590Blackwell2000個GPU，同樣需要90天。但是僅需消耗5兆瓦的電力。圖15：英偉達BlackwellGB200能耗降低資料來源：英偉達GTC，NVIDIAGPU有一半的時間在云上用于生tokenChatGPT以及其他不同模型在生成圖像、生成視頻、生成推理是極其困難的，因為這些大語言模型有幾個屬性。1）第一，其非常大，不適用于一個GPU。在過去的超大規(guī)模計算中，應用程序都交給一臺計算機，而現(xiàn)在Chatbot之類的推理程序需要一個超級計算機在后面運行，未來是由這些Chatbottokentokentokentoken需要很多GPU來實現(xiàn)。2）另一方面，吞吐率降低了成本，即生成每個tokenperuserGPU中并同時實現(xiàn)二者。GPU吞吐率與用戶Token交互：我們可以在圖中看到，YGPUtoken的吞吐率，X軸是每個用戶tokenGPUtoken的量很大，TensorParallelExpertParallelPipelineParallelDataGPUNVIDIAGPUCUDA這個TP2EP8以及DP42個TensorParallel8個ExpertParallel以及4個DataParallel。4TensorParallel16ExpertParallel。配置與軟件分布世界上的其余模型與電腦配置也許同樣可用。圖16：GPU吞吐率與用戶Token交互資料來源：英偉達GTC，Blackwell與Hopper的對比：BlackwellHopperAI的系統(tǒng)，Blackwell30HopperHopper2080FP4TensorCoreNVSwitchGPU能夠共享結(jié)果，相互通信。NVLinkSwitch10倍。BlackwellAIAI工廠。AIHopper客戶更多了。BlackwellAICSPOEM、ODM、區(qū)域云、SovereignAIBlackwell署了協(xié)議。Blackwell將是公司歷史上最成功的發(fā)布產(chǎn)品。圖17：Blackwell與Hopper對比資料來源：英偉達GTC，3、微軟、AWS、谷歌等一眾科技巨頭都是Blackwell的首批用戶AWS：AWSBlackwellAIGPU，建222ExaflopsAWSSageMakerAIBedrockAIAmazonRoboticsNVIDIAOmniverseIsaacSim與公司合作。AWS健NVIDIAAWS在加速計算方面取得了很多進展。谷歌：Blackwell做準備。GCPA100s、H100s、T4s、L4sCUDAGPUGemma運行。公司正在努力優(yōu)化與加速GCP的各個方面，如：數(shù)據(jù)處理引擎、JaxXLA、VertaxAI等。因此公司正在與谷歌開展一系列項目。Oracle：Oracle也在為Blackwell做準備。Oracle是公司在NVIDIADGXCloud上重要的合作伙伴。雙方在共同努力加速OracleDatabase。NVIDIAInfiniBandCloudOmniverseHealthcareAzureFabric深度集成與連接。4、AI將應用于各個行業(yè)，構建全新數(shù)字化時代BlackwellBlackwellWistronOmniverseSDK開發(fā)定制軟件來構建HGX與DGX數(shù)字孿生體。AI應用于工廠：CAD51%OmniverseOmniverseWistron40%AIOmniverse，英偉達的全球合作伙伴生態(tài)系統(tǒng)AI數(shù)字化的新時代。圖18：英偉達OmniverseCloud資料來源：英偉達GTC，數(shù)字化各種形式之間的相互轉(zhuǎn)化：2012AlexNet。把一只貓的圖片輸入電腦，會顯示“Cat100RGB2012最終或許可以生產(chǎn)它。生成式人工智能革命的意義就在此。圖19：數(shù)字化各種形式之間的相互轉(zhuǎn)化資料來源：英偉達GTC，AI驅(qū)動的天氣預報：1500億美元的損失，然而這Earth-2，地球的數(shù)CorrDiff。隨著地球AI預測模型可以準確25CorrDiff是一種革命性的生成式AIWRFERA5CorrDiff25公里的分辨率210003000倍。通過將具有準確度與速度的英偉達天氣預測模型、預測網(wǎng)CorrDiff此類生成式AICorrDiffEarth-2CoreDiff，從而幫助企業(yè)與國家進行區(qū)域高分辨率天氣預測。圖20：英偉達CoreDiff分辨率大幅提升資料來源：英偉達GTC，AI醫(yī)療服務：15年前就開始的視頻醫(yī)療領域令公司十分自豪。無論是醫(yī)學成像、光澤測序AI模型都用作AlphaFold看到了第X射線晶體20AlphaFold已經(jīng)重建了兩億公司要做的就是為世界各地的研究人員建立這些模型。這不是唯一的一個模型，公司還會創(chuàng)造更多模型。圖21：英偉達醫(yī)療服務資料來源：英偉達GTC，AI藥物篩選：要在數(shù)千個標準計算節(jié)點上花費數(shù)天時間才能識別出新的候選藥物。NVIDIABioNeMoNIMsNIMsMolMIMAlphaFoldDiffDockMolMIMBioNeMoMolMIM開發(fā)成功的概率也更高。BioNemo正在為藥物發(fā)明提供一個新的范例。圖22：英偉達BioNeMoNIM資料來源：英偉達GTC，NIM：NVIDIAMolMIMCorrDiffNVIDIAInferenceMicroserviceNIMNVIDIAARB開源模型，其中有些來自于英偉達，有些是合作伙伴創(chuàng)建的。CUDARTLMTensorInferenceServerGPU是APIAIAPI或者在云上、數(shù)據(jù)中心、工作站運行。想象一下，在未來，ChatbotsChatbots。圖23：NVIDIAInferenceMicroservice(NIM)資料來源：英偉達GTC，AI開發(fā)軟件：在未來如何開發(fā)軟件？你不太可能從頭開始或者寫Python代碼等，你很有可能會組建一支AI團隊，使用一個超級AI，它來執(zhí)行你給它的任務并將其分解為執(zhí)行計劃。執(zhí)行計劃的一部分可能會交給另一個NIM。那個NIM可能理解SAP，它會理解服務，從平臺上檢索信息，然后把結(jié)果交給另一個NIM，它來對結(jié)果進行計算，也許它只是一個優(yōu)化軟件或是一些基本的計算，它帶著它的答案回來并于所有的答案組合，最終的正確答案會呈現(xiàn)給使用者。所以只要云數(shù)據(jù)中心有視頻GPU，這些NIM就可以像團隊來一起工作。英偉達整個公司現(xiàn)在都安裝了NIM系統(tǒng)，到處創(chuàng)建Chatbots。其中最重要的自然是芯片設計師Chatbots.AICo-pilot就是該聊天機器人與工程師一起設計的。公司也創(chuàng)造了Llama2，這是70B，并且也用NIM包裝了。公司也會跟芯片設計Chatbot進行互動，向其提問、舉例子、展示英偉達相關產(chǎn)品等，與一位員工給另一位員工上崗形式類似。因此，芯片設計師Chatbot的生產(chǎn)力可以通過NIM進行定制的方式來提高。并且客戶可以在NeMoMicroservices進行數(shù)據(jù)與準備，從而對Chatbot進行微調(diào)與答案評估。在此，公司有三大支柱。1）AIAIDGXCloudTSMC實現(xiàn)并把它帶走。就是NIM、NeMoMicroservice與DGXCloud。圖24：英偉達NeMoMicroservices資料來源：英偉達GTC，AIFoundryNeMoDGX云，你可以教他們做的另一件事你就可以和它對話。圖25：與PDF聊天資料來源：英偉達GTC，PDFPDFPDFlemonretrieverNeMo所有這些東西，我們會有不同的名字，甚至有數(shù)字人類名字。‘圖26：英偉達DHT資料來源：英偉達GTC，CoplitNeMoFoundryGaragenerativesnowflake10000業(yè)客戶十億次查詢。NeMonymphsDellDell能工廠。圖27：Dell與英偉達AI工廠資料來源：英偉達GTC，dgx數(shù)成為你的人工智能。圖28：英偉達DGX，OVX，AGX資料來源：英偉達GTC，圖29：英偉達Omniver