計(jì)算機(jī)行業(yè)算力租賃市場(chǎng)分析

計(jì)算機(jī)行業(yè)算力租賃市場(chǎng)分析AI算力需求空間測(cè)算訓(xùn)練規(guī)模突破臨界值，大模型“智慧涌現(xiàn)”大模型訓(xùn)練規(guī)模與參數(shù)量、數(shù)據(jù)量及訓(xùn)練輪數(shù)等緊密相關(guān)。當(dāng)模型規(guī)模突破闕值，即出現(xiàn)“智慧涌現(xiàn)”。邁入AI智能時(shí)代，計(jì)算芯片依賴已從CPU轉(zhuǎn)向GPUAI時(shí)代離不開(kāi)機(jī)器學(xué)習(xí)，而神經(jīng)網(wǎng)絡(luò)訓(xùn)練及推理需要進(jìn)行大量的矩陣運(yùn)算和卷積運(yùn)算，具有強(qiáng)并行運(yùn)算與浮點(diǎn)計(jì)算能力的GPU逐漸成為計(jì)算主力軍。大模型訓(xùn)練側(cè)GPU需求測(cè)算2022年，英偉達(dá)、斯坦福聯(lián)合微軟研究院共同訓(xùn)練出了萬(wàn)億級(jí)參數(shù)的GPT，比1746億參數(shù)的GPT-3還高出了一個(gè)量級(jí)；論文中的測(cè)試基于DGXA100-80GB集群完成。對(duì)于最大的1T規(guī)模的模型，一共使用了384臺(tái)8卡DGX-A100服務(wù)器，服務(wù)器內(nèi)部各GPU間使用超高速NVLink和NVSwitch互聯(lián)，每臺(tái)機(jī)器裝有8個(gè)200Gbps的InfiniBand網(wǎng)卡；GPU利用率=單張GPU訓(xùn)練時(shí)吞吐量/單張GPU峰值吞吐量，論文使用了數(shù)據(jù)并行、流水線模型并行、張量模型并行、服務(wù)器通信優(yōu)化等加速技術(shù)提高GPU利用率。訓(xùn)練過(guò)程中，英偉達(dá)A100卡使用數(shù)量的變化范圍為[32,3072]，GPU利用率隨參數(shù)量增加而增長(zhǎng)，變化范圍為[44%,52%]。大模型推理側(cè)GPU需求測(cè)算——推理側(cè)具備更大的成長(zhǎng)空間根據(jù)Similarweb數(shù)據(jù)，2023年8月ChatGPT的月度訪問(wèn)量為14億（包括直接訪問(wèn)、外鏈等），平均訪問(wèn)時(shí)長(zhǎng)為7分鐘。假設(shè)1：ChatGPT訪客平均每次訪問(wèn)提問(wèn)數(shù)為10個(gè)，每個(gè)問(wèn)題加上其回答的Token數(shù)量平均為1000；假設(shè)2：ChatGPT訪客來(lái)自全球各地，假設(shè)在每日24小時(shí)內(nèi)平均分配訪問(wèn)量和計(jì)算量；假設(shè)3：在推理側(cè)，大模型運(yùn)算更為簡(jiǎn)單，我們?nèi)员Ｊ丶僭O(shè)GPU利用率為45%。推理過(guò)程中，每個(gè)參數(shù)只需執(zhí)行1次乘法運(yùn)算和1次加法運(yùn)算，以GPT-3的參數(shù)量1750億帶入以下測(cè)算。推理前一般采用量化等技術(shù)將模型優(yōu)化到Int8精度，在此精度下，每張A100的峰值吞吐量（非稀疏）為624TOPS。未來(lái)每家龍頭大模型廠商推理側(cè)A100需求有望達(dá)到十萬(wàn)張量級(jí)2023年9月25日，ChatGPT進(jìn)行重大更新——GPT-4和GPT-3.5都具有了基于圖像進(jìn)行分析和對(duì)話的能力。我們認(rèn)為，當(dāng)模型參數(shù)增長(zhǎng)至萬(wàn)億級(jí)且具有多模態(tài)能力，能承擔(dān)更多生成、分析等任務(wù)時(shí)，將吸引更多用戶，ChatGPT月度訪問(wèn)量將高增（2023年8月，谷歌月度訪問(wèn)量為860億，約為ChatGPT的70倍）。在以下三點(diǎn)假設(shè)下，長(zhǎng)期來(lái)看，我們推測(cè)未來(lái)ChatGPT推理側(cè)A100需求將超過(guò)70萬(wàn)張。假設(shè)1：我們采用外媒SemiAnalysis給出的數(shù)據(jù)，即使用GPT-4時(shí)每次推理只需使用2800億個(gè)參數(shù)；假設(shè)2：多模態(tài)能力與更強(qiáng)大的分析能力將使得用戶更加依賴大模型，推理側(cè)每日問(wèn)答的Token平均數(shù)量達(dá)到30000甚至更多；假設(shè)3：隨著大模型技術(shù)發(fā)展，假設(shè)未來(lái)ChatGPT的月度訪問(wèn)量翻20倍，達(dá)到300億。大模型推理側(cè)GPU需求測(cè)算——微軟Copilot2023年9月21日，微軟宣布基于GPT-4的Copilot將全面開(kāi)放：微軟全球版Copilot于2023年9月26日隨更新的Windows11以初期版本形式推出，融入到畫圖、照片、Clipchamp等應(yīng)用程序中；全球版Microsoft365Copilot將于2023年11月1日起面向企業(yè)用戶提供服務(wù)，融入Teams、Outlook、Word、Excel、Loop、OneNote和OneDrive等應(yīng)用程序中，同時(shí)微軟將推出AI助手Microsoft365Chat。大模型推理側(cè)GPU需求測(cè)算——Copilot+Microsoft365微軟曾在FY20Q1電話會(huì)議上披露，Office365（現(xiàn)已更名為Microsoft365）商業(yè)版的月度活躍用戶突破2億，而根據(jù)微軟的季報(bào)及年報(bào)數(shù)據(jù)，商業(yè)版用戶數(shù)量年增速保持在15%左右，我們推測(cè)Microsoft365企業(yè)用戶數(shù)目前已突破3億。假設(shè)Microsoft365中Copilot使用率為15%-80%，企業(yè)用戶使用Copilot時(shí)，輸入和輸出的平均Token數(shù)量為2000-30000。驅(qū)動(dòng)AI發(fā)展的關(guān)鍵引擎，英偉達(dá)A100&H100供不應(yīng)求自年初以來(lái)，英偉達(dá)A100一直處于供不應(yīng)求的狀態(tài)，而其他加速卡由于性能、生態(tài)等方面與英偉達(dá)存在較大差距，大部分場(chǎng)景無(wú)法實(shí)現(xiàn)替代，尤其在訓(xùn)練側(cè)，A100與H100具有極大的優(yōu)勢(shì)與較高的技術(shù)壁壘?，F(xiàn)階段，大模型技術(shù)突破遭遇瓶頸，算力資源短缺為重要原因之一。OpenAI表示GPU供應(yīng)不足阻礙了其研發(fā)計(jì)劃的推進(jìn)，例如模型微調(diào)和劃撥專用容量等受到影響。OpenAI聯(lián)合創(chuàng)始人AndrejKarpathy曾轉(zhuǎn)發(fā)了一篇博客文章。這篇文章認(rèn)為訓(xùn)練大語(yǔ)言模型的初創(chuàng)企業(yè)、云服務(wù)供應(yīng)商及其他大公司需要擁有超過(guò)1000張H100或A100。A100方面：GPT-4可能在10000-25000張A100上進(jìn)行了訓(xùn)練，Meta擁有約21000張A100，特斯拉擁有約7000張A100，StabilityAI擁有約5000張A100，F(xiàn)alcon-40B在384張A100上進(jìn)行了訓(xùn)練。H100方面：a)OpenAI可能需要50000張，Inflection可能需要22000張，Meta可能需要25000張。大型云廠商可能每家都需要30000張（Azure、谷歌、AWS、Oracle）。Lambda和CoreWeave以及其他私有云廠商可能總共需要10萬(wàn)張，CoreWeave預(yù)訂的H100數(shù)量約為35000-40000張，而Anthropic、Helsing、Mistral、Character等每家可能需要10000張。b)Inflection在其GPT-3.5等效模型中使用了3500張H100。GCP擁有大約25000張H100。微軟Azure和Oracle可能有10000-40000張H100。發(fā)展趨勢(shì)大模型訓(xùn)練中的故障與中斷問(wèn)題對(duì)GPU集群的質(zhì)與量提出了更高要求大模型架構(gòu)復(fù)雜，訓(xùn)練周期較長(zhǎng)。硬件、系統(tǒng)、軟件、驅(qū)動(dòng)等等需要穩(wěn)定運(yùn)轉(zhuǎn)才能最大化加速卡并行運(yùn)算的能力，保障模型訓(xùn)練的效率，縮短訓(xùn)練的時(shí)間和成本。雖然加速卡具有優(yōu)異的計(jì)算性能，但軟、硬件等故障時(shí)常發(fā)生，各類任務(wù)頻繁重啟，訓(xùn)練經(jīng)常中斷、持續(xù)時(shí)間較短。如果訓(xùn)練中斷后不能及時(shí)恢復(fù)，不僅會(huì)影響訓(xùn)練成功率，還會(huì)使得訓(xùn)練成本居高不下。案例：阿里云面向AI大模型的解決方案SCC高性能彈性計(jì)算集群：為提升并行運(yùn)算的效率，集群中GPU之間使用了最高效的NVSwitch互聯(lián)。節(jié)點(diǎn)之間使用了非阻塞式的RDMA網(wǎng)絡(luò)，同時(shí)節(jié)點(diǎn)間還有VPC網(wǎng)絡(luò)互聯(lián)。此外，集群還用了高性能的集群存儲(chǔ)CPFS和塊存儲(chǔ)。算力切割&調(diào)度：提供更小的GPU計(jì)算粒度，通過(guò)池化的方式提升資源使用效率。例如，通過(guò)cGPU技術(shù)實(shí)現(xiàn)GPU的資源切割和跨主機(jī)資源池，以解決GPU資源的使用不充分、或者更加夸張的計(jì)算資源配比需求等等，幫助用戶獲得更有效率和更有性價(jià)比的GPU計(jì)算資源。阿里云基于自身IaaS資源推出AI加速套件AIACC，用于優(yōu)化基于AI主流計(jì)算框架搭建的模型，顯著提升訓(xùn)練和推理性能。當(dāng)前AIACC推理引擎包含AIACC-Torch（Pytorch推理加速引擎）、AIACC-MLIR（MLIR推理加速引擎）、AIACC-HRT（AIACC算子深度加速引擎）幾個(gè)組件。AIACC-Torch（Pytorch推理加速引擎）主要用于業(yè)界主流的PyTorch模型的推理加速引擎；AIACC-MLIR（MLIR推理加速引擎）是基于MLIR用于優(yōu)化Tensorflow的加速引擎；AIACC-HRT（AIACC算子深度加速引擎）是阿里云底層高性能的限制加速庫(kù)。競(jìng)爭(zhēng)格局和要素云廠商的核心競(jìng)爭(zhēng)力體現(xiàn)在資金、軟硬件、下游客戶等多個(gè)層面算力需求貫穿大模型訓(xùn)練、微調(diào)、推理整個(gè)周期，無(wú)論是國(guó)內(nèi)還是國(guó)外，目前AI算力需求都具有較強(qiáng)的確定性，我們認(rèn)為AI算力需求未來(lái)還將維持高增。各個(gè)云廠商在硬件、軟件和商業(yè)化上的布局不同，所匹配到的客戶特征、用戶決策偏好以及在LLM發(fā)展的客戶需求等方面也存在差異。硬件：GPU、通信、裸機(jī)實(shí)例；從NVIDIA拿貨的實(shí)力尤為重要：提貨優(yōu)先級(jí)>目前所擁有的絕對(duì)數(shù)量。NVIDIA不僅會(huì)考慮云廠商服務(wù)的大模型客戶的實(shí)力，還會(huì)考慮LLM生態(tài)均衡性、自研芯片的競(jìng)爭(zhēng)態(tài)勢(shì)和客戶體量等因素；裸機(jī)實(shí)例在訓(xùn)練環(huán)節(jié)更占優(yōu)勢(shì)，因?yàn)榭蛻粜枰畲蠡盟懔Y源；而在微調(diào)與推理環(huán)節(jié)，由于業(yè)務(wù)復(fù)雜度、成本等考量，傳統(tǒng)進(jìn)行虛擬化后的云服務(wù)大概才能滿足各類客戶的多樣化需求。軟件：Kubernetes、ML/AIOps；商業(yè)化：硬件和運(yùn)維成本、定價(jià)策略、目標(biāo)客群、用戶體驗(yàn)等。AI算力租賃的收入和成本結(jié)構(gòu)采購(gòu)端，目前A800服務(wù)器整機(jī)含配套采購(gòu)價(jià)格約為120-150萬(wàn)元/臺(tái)，我們按照5-7年折舊；收入端，按照中貝通信與青海聯(lián)通簽訂的算力服務(wù)框架協(xié)議，租金按照含稅￥12萬(wàn)元/P/年計(jì)算，單臺(tái)8卡A800服務(wù)器租金約為60萬(wàn)元/年。采取FP16（稀疏）精度下的算力。單張A800卡算力為624TFLOPS，則一臺(tái)8卡A800服務(wù)器算力約為5P；單張H800卡算力為1979TFLOPS，則一臺(tái)8卡H800服務(wù)器算力約為16P。重點(diǎn)公司算力布局情況鴻博股份：深度綁定英偉達(dá)，AI算力穩(wěn)步落地鴻博股份2022年8月切入AI算力領(lǐng)域，與中關(guān)村中恒文化、英偉達(dá)、英博數(shù)科簽訂四方合作協(xié)議，合作成立北京AI創(chuàng)新賦能中心。主要業(yè)務(wù)為：算力出租、云資源采購(gòu)一站式服務(wù)、人工智能教育培訓(xùn)、產(chǎn)業(yè)實(shí)驗(yàn)室。2023年7月，完成共計(jì)1000P由英偉達(dá)A&H系列智算服務(wù)器組成的AI算力集群部署調(diào)優(yōu)并交付。9月，已向客戶交付1300P算力。計(jì)劃于2023年在京落成3000P以上智算中心。搏博云平臺(tái)：跨平臺(tái)GPU算力管理、統(tǒng)籌、調(diào)度及整合。截至2023年6月，已完成5120P訂單簽約。客戶：多模態(tài)大模型訓(xùn)練、云渲染、無(wú)人駕駛、量化交易模型訓(xùn)練等。青云科技：云服務(wù)技術(shù)背景+大集群運(yùn)維經(jīng)驗(yàn)，輕資產(chǎn)模式優(yōu)勢(shì)盡顯公司提供NVIDIAA800和H800云服務(wù)器的算力租賃業(yè)務(wù)，打造第二成長(zhǎng)曲線：2023H1，公司實(shí)現(xiàn)AI算力服務(wù)收入2651萬(wàn)元。公司超級(jí)智算平臺(tái)適用于生命科學(xué)、CAE仿真、海洋氣象、影視渲染、石油勘探、深度學(xué)習(xí)、測(cè)繪地理、模型訓(xùn)練、場(chǎng)景推理等計(jì)算場(chǎng)景?！按?輕資產(chǎn)”模式優(yōu)勢(shì)盡顯：在三大國(guó)家千億萬(wàn)次超算中心之一的國(guó)家超算濟(jì)南中心項(xiàng)目上，公司交付了一整套完整的多元算力服務(wù)管理平臺(tái)，包括了HPC算力、GPU算力、云計(jì)算算力、高性能存儲(chǔ)以及海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。AI算力調(diào)度平臺(tái)優(yōu)勢(shì)：提供多元算力統(tǒng)一調(diào)度、實(shí)現(xiàn)智能化算力調(diào)度與管理、芯片國(guó)產(chǎn)替代、智簡(jiǎn)運(yùn)營(yíng)運(yùn)維、建設(shè)智能生態(tài)打造豐富應(yīng)用。中貝通信：智算中心建設(shè)加速推進(jìn)，計(jì)劃年內(nèi)落地AI算力5000P中貝通信確定發(fā)展AI大模型業(yè)將智算算力服務(wù)作為新基建業(yè)務(wù)發(fā)展重點(diǎn)，目前已部署合肥與長(zhǎng)三角兩個(gè)算力中心，計(jì)劃2023年實(shí)現(xiàn)5000P算力服務(wù)能力，未來(lái)三年達(dá)成萬(wàn)P算力+萬(wàn)卡集群的“雙萬(wàn)”戰(zhàn)略目標(biāo)：收購(gòu)容博達(dá)云計(jì)算70%股權(quán)，合肥算力中心首期投資約10億元，已完成土建與園區(qū)配套，機(jī)房配套已啟動(dòng)，一期項(xiàng)目將實(shí)現(xiàn)算力3000P，計(jì)劃在2023Q4具備服務(wù)能力，總體建成后最大可提供算力10000P的能力；長(zhǎng)三角算力中心計(jì)劃投資2億元，提供800-1000P算力能力，機(jī)房選址已初步確定，正在與當(dāng)?shù)卣⒄勍顿Y協(xié)議；前期采購(gòu)的A800卡與服務(wù)器已陸續(xù)到位，H800服務(wù)器采購(gòu)訂單已經(jīng)陸續(xù)下達(dá)，在9-10月份陸續(xù)到貨，已提供樣機(jī)給部分客戶進(jìn)行測(cè)試。供應(yīng)端，與浪潮、新華三等簽訂戰(zhàn)略合作協(xié)議，在服務(wù)器采購(gòu)供應(yīng)、資源共享、用戶開(kāi)發(fā)與維護(hù)、商業(yè)推廣等領(lǐng)域開(kāi)展合作達(dá)成行動(dòng)方案。恒潤(rùn)股份：在手算力2500P，攜手運(yùn)營(yíng)商建設(shè)蕪湖智算中心2023年7月，恒潤(rùn)股份與上海六尺科技集團(tuán)有限公司共同出資設(shè)立上海潤(rùn)六尺科技有限公司，計(jì)劃于上海、福州經(jīng)開(kāi)區(qū)、安徽蕪湖、山東濟(jì)寧等地合作建立算力中心，并打造長(zhǎng)三角GPU算力中心集群。上海六尺核心團(tuán)隊(duì)深耕GPU算力多年，具有豐富的AI智算中心(GPU算力)建設(shè)、運(yùn)營(yíng)經(jīng)驗(yàn)和算力市場(chǎng)資源。與上游GPU供應(yīng)廠商英偉達(dá)、新華三等