AIGC算力全景與趨勢報告

AIGC算力全景與趨勢報

告序 言2023年無疑是AIGC元年，ChatGPT引發(fā)的各類大模型競賽中，行業(yè)內(nèi)繞不開的一個話題便是算力從何而來。算力目前已經(jīng)在AIGC產(chǎn)業(yè)內(nèi)形成新共識——算力成為AIGC發(fā)展的關鍵基石。隨著英偉達今年一系列不斷推陳出新的產(chǎn)品動作，可以看到國際上最先進的算力廠商如今已邁向由超級芯片組成的算力集群階段。此外，算力廠商也無疑成為AIGC產(chǎn)業(yè)下的率先受益方。然而，隨著大模型參數(shù)的不斷增長，OpenAI近期表明算力成為其發(fā)展的挑戰(zhàn)之一。在AIGC產(chǎn)業(yè)繁榮的當下，可以預見的是未來對算力的需求會越來越大。那么，在這場AIGC盛宴中，應該如何應對當下面臨的「算力危機」呢？在《AIGC算力全景與趨勢報告》中，量子位智庫將從我國算力產(chǎn)業(yè)現(xiàn)狀、算力產(chǎn)業(yè)變革、趨勢預判等角度出發(fā)，通過廣泛調(diào)研與深度分析，全面立體描繪我國當前AIGC算力產(chǎn)業(yè)全景與趨勢。我們期待，能夠與眾多投入、關注、期待中國AIGC算力產(chǎn)業(yè)的伙伴一起，共同見證并打造中國AIGC算力產(chǎn)業(yè)的蓬勃未來。020304目 錄01

AIGC驅動，算力產(chǎn)業(yè)機遇空前AIGC算力產(chǎn)業(yè)全景05AIGC算力產(chǎn)業(yè)「五新」趨勢AIGC算力產(chǎn)業(yè)周期預測AIGC算力產(chǎn)業(yè)代表案例AIGC驅動，算力產(chǎn)業(yè)機遇空前01AIGC潮起，算力產(chǎn)業(yè)挑戰(zhàn)巨大，機遇空前游戲規(guī)則被改寫，MaaS能力成為競爭的關鍵變量云計算廠商智算中心服務器廠商在算力需求暴漲、數(shù)據(jù)和模型資源稀缺、AI技術廣泛落地背景下，智算中心成為地區(qū)AI新基建大模型訓練驅動AI服務器需求暴漲，并且正在催生新物種：AI模型一體機GPU為核心的AI訓練芯片供不應求，是AIGC算力產(chǎn)業(yè)最大挑戰(zhàn)和最大機遇芯片OpenAI發(fā)布ChatGPT屬于GPT系列中的聊天機器人模型。GPT系列中，GPT3是由1750億參數(shù)組成的語言模型，而GPT4的參數(shù)更是達萬億級別。國內(nèi)目前公布的大模型參數(shù)規(guī)模也普遍在百億至千億級別。如此龐大的參數(shù)規(guī)模，對于芯片提供商、云服務廠商以及服務器廠商都產(chǎn)生了新需求。全球范圍內(nèi)，GPT具備從底層改變各行業(yè)規(guī)則的能力，作為AIGC產(chǎn)業(yè)的基建，算力產(chǎn)業(yè)在未來有望成為一項公共服務滲透入各行各業(yè)?；诖?，智算中心作為公共算力基礎設施，成為AIGC基建中的關鍵環(huán)節(jié)。大模型參數(shù)量變化來源：Information

is

Beautiful芯片：大模型訓練需求暴漲，GPU供不應求需求當前大模型參數(shù)量在百億至千億參數(shù)規(guī)模，在訓練階段，對芯片的需求從CPU+加速器轉變?yōu)橐訥PU主導的大規(guī)模并行計算。未來，當多數(shù)大模型參數(shù)規(guī)模到達萬億級別，將產(chǎn)生更大的算力需求。在單芯片性能之上，智算中心能夠通過算力的生產(chǎn)-調(diào)度-聚合-釋放，支持AI產(chǎn)業(yè)化發(fā)展。缺口目前市場對于英偉達芯片的需求遠大于供給。經(jīng)測算，一萬枚英偉達A100芯片是做好AI大模型的算力門檻。國內(nèi)具備此量級的公司最多只有1家，而GPU芯片持有量超過一萬枚的企業(yè)不超過5家。推理階段（日常運營）ChatGPT

2023年2月官網(wǎng)總訪問量

11億次；用戶每次與ChatGPT互動的云計算成本成為約0.01美元；訓練階段（單次成本）單次GPT-3

Small(1.25億）計算量

2.6PFlops/天單次

GPT-3XL

計算量為

27.5

PFlops/天單次GPT-3(175B)計算量

3640

PFLops/天GPT3(175B)

3640

PFLops：35000塊

A100/1微調(diào)階段算力需求芯片需求預13計50算.4力PFlops/天芯片需求天

或

1024塊

A100

跑

1個月成本單次訓練成本：>1200萬美元13000塊

A100/1天

或

433

塊

A100

跑

1個月成本成本：920萬/月保守預估，假設用戶每次訪問網(wǎng)站只進行一次互動芯片需求采用A100或V100設備成本運營的算力成本：~1100萬美元/月來源：阿里公開資料，量子位智庫整理服務器：業(yè)務增長顯著，高端芯片AI服務器火爆現(xiàn)狀AIGC產(chǎn)業(yè)的發(fā)展將加劇AI服務器行業(yè)的增長速度，國產(chǎn)服務器廠商普遍業(yè)務增量在30%以上；國內(nèi)市場中，服務器重新進入洗牌期。需求趨勢由于AIGC對于高性能計算的需求，云廠商在服務器的選擇上以AI服務器為主。據(jù)IDC數(shù)據(jù)，2025年全球AI服務器市場規(guī)模將達317.9億美元，年復合增長率為19%。英偉達GPU短期內(nèi)面臨產(chǎn)能不足問題，或將一定程度上限制AI服務器生產(chǎn)，從而影響出貨量。010020030040050060080070020212025E2021-2025中國AI服務器市場規(guī)模預測市場規(guī)模（億元）數(shù)據(jù)來源：IDC，量子位智庫整理28.10%17.20%6.10%4.90%5.10%5.30%6.20%17.00%2022年中國服務器市場份額占比10.10%浪潮信息 新華三 超聚變 寧暢 中興通訊 戴爾 聯(lián)想 ODM

Direct 其他50%云計算廠商：服務范式變革，MaaS帶來新商業(yè)路徑工具與平臺文心大模型EasyDL-大模型零門檻AI開發(fā)平臺BML-大模型全功能AI開發(fā)平臺大模型API大模型套件數(shù)據(jù)標注與處理大模型精調(diào)大模型輕量化大模型部署國網(wǎng)-百能度源?文心浦發(fā)-百度?文心金融行業(yè)大模型NLP大模型 CV大模型文檔圖像表征學習 商品圖文搜索表征學習VIMER-StrucTexT VIMER-UMS多任務視覺表征學習醫(yī)療

ERNIE-Health金融

ERNIE-Finance對話

PLATO搜索

ERNIE-Search信息抽取

ERNIE-IE圖網(wǎng)絡

ERNIE-Sage跨語言ERNIE-MERNIE

3.0 語言理解與生成 ERNIE3.0

Zeus鵬城-百度?文心(百億級) (千億級) (任務知識增強千億級)VIMER-UFO自監(jiān)督視覺表征學習VIMER-CAE圖文生成ERNIE-ViLG跨模態(tài)大模型文檔分析ERNIE-Layout視覺-語言ERNIE-ViL語言-語言ERNIE-SAT地理-語言ERNIE-GeoL化合物表征LIX-GEHE學習

M蛋白質結構分析HELIX-Fold旸谷大型創(chuàng)意生物計算大模型 與探索社區(qū)范式轉變MaaS成為云計算服務的新范式，云計算判別標準從算力能力轉向「云智一體」的AI產(chǎn)品能力。成本自研芯片：根據(jù)

IDC

2018年服務器成本結構數(shù)據(jù)顯示，高性能服務器中，芯片成本占比高達

50%～83%；全球頭部云廠商（谷歌、微軟、騰訊等）為擺脫過于依賴芯片廠商的局面，均加大芯片自研力度。MaaS

產(chǎn)業(yè)結構圖——以百度文心為例企業(yè)方公共基建《智能計算中心創(chuàng)新發(fā)展指南》指出，在智算中心實現(xiàn)80%應用水平的情況下，城市/地區(qū)對智算中心的投資可帶動人工智能核心產(chǎn)業(yè)增長約2.9-3.4倍，帶動相關產(chǎn)業(yè)增長約36-42倍；未來80%的場景都將基于人工智能，所占據(jù)的算力資源主要由智算中心提供，智算中心將成為經(jīng)濟增長的新動力引擎。智算中心：基建級AI算力供應，打造地區(qū)經(jīng)濟增長新引擎阿里云張北超級智算中心、烏蘭察布智算中心商湯科技人工智能計算中心百度智能云-昆侖芯（鹽城）智算中心百度智能云（濟南）智算中心騰訊長三角（上海）人工智能先進計算中心騰訊智慧產(chǎn)業(yè)長三角（合肥）智算中心曙光5A級智算中心克拉瑪依浪潮智算中心中國電信京津冀大數(shù)據(jù)智能算力中心中國聯(lián)通廣東

AI

智算中心……全國超30座城市落地智算中心：北京、天津、河北、南京、無錫、寧波、杭州、武漢、沈陽、成都、哈爾濱、許昌、廣州、宿州、烏鎮(zhèn)、昆山、甘肅、長沙……31.775 155.2268427640.7922.81271.4500010002019

2020

2021

2022

2023

2024

2025

2026來源：國家信息中心《智能計算中心創(chuàng)新發(fā)展指南》，IDC，量子位智庫整理中國智能算力發(fā)展情況及預測百億億次浮點運算/秒（EFLOPS）1500AIGC算力產(chǎn)業(yè)全景02AIGC算力現(xiàn)狀鏈路：芯片—服務器—云平臺—模型應用以微軟為例芯片資源外部：Azure云服務為ChatGPT構建了超過1萬枚英偉達A100

GPU芯片的AI計算集群內(nèi)部：微軟正在自研AI芯片——雅典娜（Athena），將由臺積電代工，采用5nm制程首個目標：為OpenAI提供算力引擎，以替代英偉達A100/H100云基礎設施平臺Azure微軟是OpenAI唯一云服務提供商，為GPT訓練提供計算資源、存儲資源、自動化部署和管理等支持模型即應用（MaaS）1）Azure

OpenAI

服務：企業(yè)級解決方案：借助

Azure

OpenAI，用戶可以匯總文本、獲取代碼建議、為網(wǎng)站生成圖像等2）Microsoft365Copilot：使用了GPT-4作為其核心的LLM，將用戶的自然語言輸入轉化為高效的生產(chǎn)力工具，集成在Word、Excel、PowerPoint、Outlook、Teams等多個應用中專用芯片路線

(Applicciarctuioitn)-specific

integrated通用芯片路線(Graphics

processing

unit

)AI芯片目前有兩大路線，一種是英偉達代表的GPU路線，更適合當前AIGC產(chǎn)業(yè)對大算力的需求，與AIGC大模型的訓練及推理適配度極高。另一種路線則是以國內(nèi)華為（主力產(chǎn)品）、寒武紀廠商為代表的專用AI芯片路線，此路線下的芯片更適用于垂類小模型，為其提供能效比更高的芯片。此外互聯(lián)網(wǎng)云廠商的自研芯片也是專用路線，芯片主要服務于自家產(chǎn)品，為自身產(chǎn)品打造性能更優(yōu)的算力底座。芯片層現(xiàn)狀：AIGC算力2大路線，GPU通用路線和AISC專用路線專用場景中能夠做到更優(yōu)的能效比跳出當前的已有生態(tài)，長期來看有可能實現(xiàn)真正超越優(yōu)勢用來執(zhí)行專門/定制化任務局限研發(fā)周期長、商業(yè)風險較大，產(chǎn)品易受市場變化影響不易擴展，難以滿足后續(xù)增加功能的需求能夠完成多樣化算力任務優(yōu)勢局限擅長大規(guī)模并行計算兼容英偉達生態(tài)，是最快也是最適用于當下的解決方案在廠商被迫「重復造輪子」的前提下，追趕上英偉達的難度極高芯片總體功耗高服務器作為算力的載體，是AIGC基礎設施的核心硬件。由于AIGC對于高性能計算的需求，云廠商在服務器的選擇上以AI服務器為主。據(jù)IDC數(shù)據(jù)，2025年全球AI服務器市場規(guī)模將達317.9億美元，年復合增長率為19%。AIGC產(chǎn)業(yè)的發(fā)展將加劇AI服務器行業(yè)的增長速度，國產(chǎn)服務器廠商普遍業(yè)務增量在30%以上；TrendForce日前發(fā)布預測，指出隨著AI服務器與AI芯片需求同步看漲，預計2023年AI服務器（包含搭載GPU、FPGA、ASIC等主芯片）出貨量將接近120萬臺，年增38.4%，并將2022-2026年AI服務器出貨量年復合增長率上調(diào)至22%。2022年，國內(nèi)互聯(lián)網(wǎng)大廠成為AI服務器的最大買家；2023年，隨著AIGC的爆發(fā)，根據(jù)業(yè)內(nèi)消息，互聯(lián)網(wǎng)廠商依舊是AI服務器的最大買方。服務器層現(xiàn)狀：AI服務器成主要增長點，采購占比互聯(lián)網(wǎng)客戶為主15.51514.51413.51312.512202220232023AI服務器出貨量預測13%19%17%16%14%6.00%1.50%1.50%2%22.70%2022年AI服務器采購量占比微軟 谷歌 Meta

AWS 字節(jié)跳動 騰訊 阿里巴巴 百度 其他數(shù)據(jù)來源：TrendForce，量子位智庫整理大模型成為MaaS的基座，MaaS所打造的商業(yè)模式也是大模型廠商的主要變現(xiàn)模式——基于大模型產(chǎn)生有實際應用價值的產(chǎn)品。MaaS模式最早由阿里提出，隨后互聯(lián)網(wǎng)大廠、人工智能企業(yè)（如商湯）均已引入MaaS模式。此外，互聯(lián)網(wǎng)大廠、華為等企業(yè)已經(jīng)將自研芯片用于MaaS底座構建中。云廠商是MaaS的提出者，也是主要參與方。MaaS模式基于大模型，能夠最大限度消除大型企業(yè)數(shù)字化過程中規(guī)?；?、標準化壁壘，降低企業(yè)部署難度；對于C端用戶來講，MaaS可在不同層級里產(chǎn)生價值，有望為云計算廠商帶來新增長曲線。云計算現(xiàn)狀：MaaS重塑服務模式，新老玩家重構競爭力基礎大模型行業(yè)模型垂直領域模型L0L1L2API或模型壓縮行業(yè)數(shù)據(jù)大模型訓練和

微調(diào)成本高，下游用戶開發(fā)難度高通過MaaS賦能AI滲透率較低的行業(yè)云計算廠商承擔訓練和微調(diào)成本，提供MaaS服務MaaS服務提供商分時分次計費，按照用戶的需求量核算投入產(chǎn)出從計算設備分布來看智算中心是對原有數(shù)據(jù)中心的升級，其提供的首要是AI算力。具體來講，智算中心提供包括算力、框架、模型，以及支持應用場景具體的基礎設施，將不同層級進行打包，通過本地化部署完成智算中心建設。相比于數(shù)據(jù)中心，智算中心更貼近應用和產(chǎn)業(yè)方。智算中心現(xiàn)狀：地域發(fā)展差異明顯，「東數(shù)西算」成算力調(diào)度關鍵北京、廣東、浙江、上海、江蘇在服務器和AI服務器市場中居前五，市場份額總計分別達到75%和90%（2021年數(shù)據(jù)）。從供給角度來看AIGC算力需求主要來源為京津冀地區(qū)、長三角及大灣區(qū)。目前智算中心多分布在東部和中部省份，而AIGC業(yè)務需要處理海量數(shù)據(jù)導致東部算力資源成本過高。將大模型訓練等對計算要求高的任務移至西部地區(qū)，形成“東數(shù)西訓”，能夠有效降低成本，實現(xiàn)算網(wǎng)資源具體來講，針對算力需求供需不平衡等問題，需要通過算力調(diào)度將東部的算力和數(shù)據(jù)處理需求轉移至成本較低的西部地區(qū)。其中，優(yōu)化東西部之間互聯(lián)網(wǎng)絡和樞紐節(jié)點間直連網(wǎng)絡是提升算力調(diào)度水平的關鍵。從需求角度看內(nèi)蒙古樞紐寧夏樞紐甘肅樞紐成渝樞紐貴州樞紐粵港澳樞紐慶陽集群天府集群重慶集群和林格爾集群蕪湖集群韶關集群貴安集群中衛(wèi)集群京津冀樞紐張家口集群長三角樞紐

長三角綠 綜合成本最優(yōu)。生態(tài)色一體化發(fā)展示范區(qū)集群東數(shù)西算整體規(guī)劃AIGC算力產(chǎn)業(yè)全景圖MaaS層云計算平臺服務器廠商計算類芯片通用芯片 專用芯片GPUCPUASICFPGA存儲類芯片DRAMNANDNor

FlashEEPROM3D

NAND通義千問文心盤古日日新從容火山方舟言犀混元DSAAIGC算力產(chǎn)業(yè)「五新」趨勢03機遇挑戰(zhàn)芯片在AIGC算力產(chǎn)業(yè)中是最底層也是最關鍵的硬件產(chǎn)品。AIGC爆發(fā)，既是芯片廠商的一個重要分水嶺，也將芯片廠商的目標重新聚焦于大算力方向。芯片作為算力直接來源，其發(fā)展邏輯是從應用端的需求出發(fā)，根據(jù)應用端所需要的算力特點提供相應的算力服務。在ChatGPT相關大模型爆發(fā)之前，國內(nèi)芯片廠商一方面在做GPU布局，另一方面更多在滿足垂直行業(yè)中的特定需求，且后者在國內(nèi)市場更常見。此外，國產(chǎn)GPU廠商的設計初衷也多是按照推理芯片設計。在AIGC爆發(fā)后，對芯片的需求集中在訓練側，并且對于訓練芯片的算力要求極高，目前只有英偉達能夠滿足。然而，OpenAI

表示目前英偉達的產(chǎn)能已無法滿足其更高的算力需求。未來，隨著大模型參數(shù)量不斷攀升，以及芯片制程走到盡頭等問題，對于算力的定義將從單芯片性能逐漸轉向超算/智算集群的計算能力。背景：算力供給趨于復雜，大規(guī)模運算需要系統(tǒng)級工程支撐國產(chǎn)處理器廠商的挑戰(zhàn)與機遇目前在高端AI芯片中，英偉達占據(jù)絕對優(yōu)勢，而英偉達的高端系列在中國只有存量沒有增量。在芯片代工層面，目前優(yōu)于7nm制程工藝沒有對應的國產(chǎn)代工廠可以承接。硬件軟件市場將給予國產(chǎn)GPU廠商更多機會。國產(chǎn)GPU廠商可選擇成熟制程+先進封裝的方案來達到與英偉達近似的性能指標。在服務器集群層面，通過高速互聯(lián)技術實現(xiàn)高性能計算。目前國產(chǎn)芯片廠商采用兩種路徑：1）兼容CUDA生態(tài)；2）構建自身生態(tài)業(yè)內(nèi)普遍認為國產(chǎn)芯片在10年內(nèi)很難突破英偉達的CUDA生態(tài)。

短期來看，兼容CUDA生態(tài)的廠商更適合為通用大模型提供算力。對于構建自身生態(tài)的廠商來說，其產(chǎn)品更適用于垂類小模型。趨勢01——新機遇：芯片競逐高性能大算力，引入新計算架構大模型不同階段對應不同的芯片需求需求方變化對回芯歸片到最原始的需求模型需要大算力支持突破芯片算力性能硬件層面

億鑄科技、后摩智能、知存科技等海光信息、燧原科技軟件/算法層面AI芯片廠商GPU廠商AI芯片廠商高性能網(wǎng)絡通過減少/消除數(shù)據(jù)搬運，降低功耗實現(xiàn)大規(guī)模并行計算通過減少計算量，降低成本高帶寬接入，提升通信性能，縮短訓練時長等墨芯人工智能騰訊云星脈網(wǎng)絡大模型訓練階段芯片類型：GPU為主芯片需求：執(zhí)行大量矩陣運算和計算密集任務GPU優(yōu)勢：高并發(fā)和浮點計算能力，可大幅提升訓練速度GPU劣勢：功耗高、成本高大模型推理階段芯片類型：ASIC/FPGA/NPU與GPU均可芯片需求：低延遲、低功耗（專用芯片更符合）專用芯片優(yōu)勢：更高的能源效率和計算密度專用芯片劣勢：缺乏通用性供給方變化技術趨勢存算一體架構GPU+片間互聯(lián)稀疏計算RDMA互聯(lián)AI大模型對算力需求呈指數(shù)級增長，使得具有更高配置的AI服務器成為AIGC算力的主要載體。相比于傳統(tǒng)服務器，AI服務器的計算、存儲以及網(wǎng)絡傳輸能力能達到更高的水平。例如，NVIDIA

DGX

A100服務器

8

個

GPU+2

個

CPU

的配置遠高于傳統(tǒng)服務器

1~2

個

CPU

的配置。智算中心作為提供算力資源的公共基礎設施平臺，其算力機組以AI訓練服務器和AI推理服務器為主。隨著大模型訓練階段完成，未來AI服務器的主要需求將向推理側轉移。根據(jù)IDC的預測，到2026年，AIGC的算力62.2%將作用于模型推理。趨勢02——新增長曲線：AI服務器異軍突起，紅利曲線先訓練后推理51.5%57.6%58.5%59.5%60.7%61.8%62.2%100%80%60%40%20%0%20202021202420252026中國AI服務器工作負載預測2022 2023訓練 推理數(shù)據(jù)來源：IDC，量子位智庫整理268427640.7922.81271.4140012001000800600400200031.72019752020155.2202120222023202420252026中國智能算力規(guī)模及預測單位：百億億次浮點運算/秒(EFLOPS)MaaS（模型即服務）：在算力、算法和應用層中嵌入大模型，以智能底座集成應用并統(tǒng)一對外輸出。MaaS的本質是將行業(yè)內(nèi)通用的基礎技術提煉整合成服務，滿足各類應用場景需求；云計算服務能力的判別式從算力水平轉向「云智一體」能力，在算力基礎設施之外，核心競爭力變?yōu)榘阉懔?、模型和場景應用打造成標準化產(chǎn)品的能力。趨勢03——新游戲規(guī)則：MaaS重塑云服務范式，AIGC商業(yè)模式閉環(huán)付費使用接口，直接調(diào)用基礎模型，基于不通過行業(yè)的數(shù)據(jù)進行fine-tune，形成垂直大模型，更多面向B端市場多樣化應用開發(fā)，更多面向C端市場C端市場商業(yè)模式：軟件訂閱B端市場盈利模式：按需計費，根據(jù)實際計算量收費商業(yè)化路徑

數(shù)據(jù)倉庫 模型倉庫 算力平臺

模型使用模型體驗模型定制云端模型部署

AI

開發(fā)者AI

研究者AI

使用者AI

愛好者

……

大模型基礎能力趨勢04——新物種：AI模型一體機呼之欲出，傳統(tǒng)產(chǎn)業(yè)「開箱即用」傳統(tǒng)行業(yè)構建AIGC產(chǎn)品的痛點數(shù)據(jù)模型算力內(nèi)外部數(shù)據(jù)流通中難以確權構建自身模型難度大算力資源緊缺

AI模型一體機云服務廠商在硬件和軟件層面完成系統(tǒng)級工程、調(diào)試測試環(huán)節(jié)，最后在用戶側可以直接使用的AI模型一體機。模型一體機，完成模型+服務器的一體確保算法模型部署到服務器上并能高效運行 對于數(shù)據(jù)安全性敏感的行業(yè)，通過AI

用戶開箱即用硬件類（服務器）云廠商互聯(lián)網(wǎng)云廠商主要參與方優(yōu)勢具備通用大模型能力劣勢硬件能力優(yōu)勢硬件部署能力，如何讓模型在服務器上運行效率達到最高劣勢軟件算法能力以及大模型研發(fā)能力框架與平臺基礎系統(tǒng)服務器算力支撐CentOs麒麟Loongnix中科方德統(tǒng)信 普華國內(nèi)外主流操作系統(tǒng)飛騰鯤鵬兆芯海光龍芯申威國內(nèi)外主流 英特爾CPU芯片英偉達昆侖寒武紀比特大陸昇騰國內(nèi)外主流AI加速芯片海光飛騰版通用版2U機型飛騰版通用版4U機型模型加密代碼加固可信授權主機防護安全能力化部署，能夠保證數(shù)據(jù)的安全。百度智能云

飛槳一體機-產(chǎn)品架構飛槳深度學習平臺生產(chǎn)算力聚合算力調(diào)度算力釋放算力趨勢05——新基建：智算中心護航AIGC運營，算力租賃模式成新解大模型訓練推理過程消耗大量算力資源，成本高昂中小企業(yè)有模型研發(fā)需求，但無法承擔高昂的算力成本算力平臺向B端用戶直接銷售算力國內(nèi)：在建及投入使用的智算中心云廠商單獨租賃算力租賃模式可以有效降低大模型研發(fā)門檻，對于研發(fā)垂類行業(yè)的小模型企業(yè)來說，沒有購買足夠AI服務器的實力，公共算力基礎平臺將幫助中小型企業(yè)搭建其自身所需模型。企業(yè)無需購買服務器，通過瀏覽器便可訪問算力中心，并使用算力服務。對于中小企業(yè)來講，無需依賴云廠商所構建的大模型底座進行二次開發(fā)，而是通過租用公有算力平臺的算力資源，研發(fā)垂類行業(yè)小模型。國外：以英偉達為代表的超級計算機，目前已建成5座AI工廠GraceCPUHopperGPUsuperchip國內(nèi)：智算中心完成系統(tǒng)級工程AI算力一體化交付流程算力供需失衡的前提下，算力租賃有望成為行業(yè)內(nèi)供給側的最優(yōu)解國外：英偉達DGX

Cloud模式NV9L0i0nGkB-C/s2CDGXCloud8個Ampere

A100或Hopper

H100旗艦

算力租賃平臺H點P共C加有速64器0G，B顯每存?zhèn)€節(jié)每月3.7萬美元AIGC算力產(chǎn)業(yè)周期預測04一個周期三個階段：基建期、開發(fā)期，商業(yè)期AIGC基建期0-2年AIGC開發(fā)期3-5年AIGC商業(yè)期5年以上自研芯片能力集成創(chuàng)新能力率先受益方：算力基礎服務提供方大模型持續(xù)迭代的能力算法、算力、數(shù)據(jù)、知識更具競爭力的企業(yè)具備兩項能力服務器廠商大模型廠商「制勝點」技術創(chuàng)新型公司迎來紅利存算一體光子芯片類腦芯片功耗計算效率優(yōu)勢成本國內(nèi)國外GPU廠商競爭素高性能芯片數(shù)量要 ?

計算集群建設能力算力大小帶寬大小AIGC基建期：2023年~2025年在初期階段，高性能GPU廠商將成為最大收益方；同時，AI服務器廠商是此階段的強勢供給方。目前，AI服務器領域已經(jīng)出現(xiàn)供不應求的局面全球范圍內(nèi)，OpenAI的GPT初步實現(xiàn)智能涌現(xiàn)，其背后的算力支撐是英偉達高性能GPU。在追趕GPT的過程中，需要大模型企業(yè)在短時間內(nèi)完成模型的訓練過程。因此，在AIGC初期階段，大模型研發(fā)企業(yè)不會考慮除英偉達之外的芯片作為訓練階段的芯片。核心點英偉達掌握行業(yè)絕對話語權英偉達拉動下游代工廠業(yè)務，二者成為AIGC基建期的關鍵奠基者AI服務器需求保持持續(xù)、穩(wěn)定增長，國內(nèi)服務器廠商率先受益算力網(wǎng)絡建設是智算中心運營的關鍵，算網(wǎng)運營商在算力網(wǎng)絡建設中為主導方需求端供給端訓練速度

為王智算中心

加快建設英偉達芯片高性能計算集群充足短缺算力網(wǎng)絡氣泡大小代表規(guī)模AIGC開發(fā)期：2026年~2028年在中期階段（5年內(nèi)），推理芯片將成為主要需求方。相比于GPU的高算力高功耗以及對應的算力浪費，推理芯片更注重芯片的算效比，對于功耗和成本有更優(yōu)的把控。此外，這個階段也會是創(chuàng)新型芯片的機會。分析師預計存算一體芯片、類腦芯片、硅光芯片將有更多市場機會。中期階段AIGC市場將呈現(xiàn)收斂趨勢，從百花齊放到逐步淘汰，此階段主要是模型層公司之間的淘汰戰(zhàn)。在此階段，AI服務器廠商的紅利期逐漸見頂，智算中心與超算中心走向融合；芯片也從GPU轉向NPU/ASIC/FPGA/CPU等多種形式并存。創(chuàng)新型芯片路線中，看好存算一體架構的發(fā)展。核心點推理類芯片占比上升，

芯片需求趨于多元化智算超算中心融合，

滿足多樣需求大模型由訓練階段過渡到推理階段，企業(yè)更加注重降低算力成本，對于功耗高的GPU集群，企業(yè)趨向尋求替代方案能效比更高的芯片將迎來機會點智算中心在滿足人工智能業(yè)務的基礎上，為了覆蓋更多業(yè)務需求，將逐步與超算中心走向融合需求成熟度技術成熟度存算一體芯片類腦芯片硅光芯片稀疏計算氣泡大小代表規(guī)模中期階段，具備底層創(chuàng)新能力的芯片廠商有望成為最大獲益方AIGC商業(yè)期：2028年后后期階段（10年內(nèi)）將在應用端呈現(xiàn)出百花齊放的趨勢；屆時，AIGC應用將呈現(xiàn)出類app模式，出現(xiàn)各類細分領域的應用程序，通過模型層提供的API接口來發(fā)展各自的應用程序。此階段，大眾層面幾乎不會感知到算力問題。核心點AIGC應用爆發(fā)，算力感知弱化，

AIGC算力成為公共資源需求成熟度商業(yè)模式成熟度算力租賃模型一體機MaaS氣泡大小代表規(guī)模AIGC算力層的新商業(yè)模式趨于成熟，業(yè)務量與下游應用需求成正比垂類模型使得算力租賃和MaaS具備更優(yōu)的商業(yè)前景后期階段，算力租賃有望成為算力平臺最具規(guī)模的盈利模式AIGC算力行業(yè)案例集05阿里巴巴模型社區(qū)模型開發(fā)平臺模型服務國內(nèi)最活躍的模型社區(qū)，提供豐富的預訓練SOTA模型、多元數(shù)據(jù)集和模型知識庫開源Python

package，統(tǒng)一模型接入接口交互式建模與可視化建模支持萬億參數(shù)級模型訓練單任務集群規(guī)模可達萬卡GPUPAI

機器學習平臺提供靈活、易用的模型API接口與SDK自適應推理優(yōu)化與高效微調(diào)訓練基于云底座的多區(qū)域彈性伸縮能力依托于云，提供高效可靠的服務提供模型不同階段需要的平臺服務阿里云底座以模型為中心，打造MaaS平臺服務2022年，阿里云在國內(nèi)首倡MaaS（Model

as

a

Service，模型即服務）理念，提出以AI模型為核心的開發(fā)范式，并搭建了一套以AI模型為核心的云計算技術和服務架構，積累了豐富的大模型研發(fā)經(jīng)驗、工具和平臺，這套能力將全部向大模型初創(chuàng)企業(yè)和開發(fā)者開放，提供包括模型訓練、推理、部署、精調(diào)、測評、產(chǎn)品化落地等的全方位服務。百度飛槳昆侖芯GPU虛擬化 AI作業(yè)調(diào)度 彈性訓練 加速套件 ……基礎云高速互聯(lián)

AI服務器……能源 金融文心大航模天

型媒體 ……數(shù)據(jù)標注 部署運行 模型開發(fā)

模型管理

知識生產(chǎn) 知識管理國內(nèi)首個全棧自研的AI基礎設施：百度智能云跨越芯片層、框架層、模型層、應用層四層，實現(xiàn)端到端的「云智一體」全棧AI設施，其中包含自研AI芯片昆侖，自研的深度學習框架和平臺，自研的AI大底座，自研的大模型和深入千行百業(yè)的垂直行業(yè)應用。端到端優(yōu)化帶來實際效果的顯著提升：「云智一體」四層結構互相反饋和相互適配，全棧且深度融合帶來的端到端優(yōu)化，在大模型的訓練和推理上均帶來了更多的效果提升，具有顯著優(yōu)勢。行業(yè)與應用AI大底座沉淀增強支撐提效90%+100%+70%+千卡加速比資源利用率開發(fā)效率提升智慧能源 智能制造

智慧金融 智慧城市 智慧交通AI數(shù)字人 AI質檢智能客服 網(wǎng)盤騰訊客戶專屬大模型行業(yè)大模型精調(diào)解決方案智能應用數(shù)智人細分領域模型訓練平臺TI-OCR訓練平臺TI-AOI訓練平臺應用平臺媒體AI中臺智能視頻分析平臺AI語音助手（車載/家居）TI平臺TI-DataTruth

數(shù)據(jù)標平臺平臺&工具TI-ONE

訓練平臺TI-Matrix

應用平臺太極Angel加速組件技術底座金融大模型政務大模型文旅大模型行業(yè)大模型傳媒大模型教育大模型基礎設施高性能計算集群HCC高性能網(wǎng)絡：自研星脈計算網(wǎng)絡架構……向量數(shù)據(jù)庫騰訊云MaaS全景圖高性能計算集群（Tencent

High-PerformanceComputing

Cluster，THCC）以高性能云服務器為節(jié)點，通過RDMA（RemoteDirectMemoryAccess）互聯(lián)，提供了高帶寬和極低延遲的網(wǎng)絡服務，大幅提升網(wǎng)絡性能，能滿足大規(guī)模高性能計算、人工智能、大數(shù)據(jù)推薦騰訊云新一代HCC（High-PerformanceComputingCluster）高性能計算集群，采用騰訊云星海自研服務器，搭載英偉達最新代次H800

GPU，服務器之間采用業(yè)界最高的3.2T超高互聯(lián)帶寬，為大模型訓練、自動駕駛、科學計算等提供高性能、高帶寬和低延遲的集群算力。騰訊高性能計算集群為MaaS提供充沛算力。高性能計算集群等應用的并行計算需求。應用場景大規(guī)模AI訓練工業(yè)仿真生命科學科研教育華為CANN異構計算架構Ascend

C

編程語言

|

1400+高性能算子

|

6大算子庫

|

基礎加速庫

|

…MindX

昇騰應用使能深度學習使能

|

智能邊緣使能

|

優(yōu)選模型庫

|

行業(yè)SDKAI框架深度學習平臺訊飛火石平臺招行AI平臺星河AI平臺 聯(lián)通AI平臺 ……昇騰訓練解決方案 昇騰推理解決方案框架適配能力支持PyTorch、TensorFlow、飛槳等業(yè)界框架插件化Adapter動態(tài)Shape能力消除算子編譯時間性能滿足場景需求二進制算子庫算子開發(fā)能力C/C++編程規(guī)范結構化核函數(shù)編程方式Ascend

C編程語言AI基礎硬件昇騰AI系列硬件演進版本快速適配3個月 1個月動態(tài)Shape算子滿足度70% 95%提升整網(wǎng)性能，并在CV、NLP等典型場景性能領先2人月算子開發(fā)周期2人周已支持運營商、互聯(lián)網(wǎng)等客戶多個自定義大Kernel開發(fā)昇騰聚焦AI基礎軟硬件，分層開放，促進行業(yè)智能升級算力是訓練大模型的基礎。華為在最底層構建了以鯤鵬和昇騰為基礎的AI算力云平臺，以及異構計算架構CANN、全場景AI框架昇思MindSpore，AI開發(fā)生產(chǎn)線ModelArts等，為大模型開發(fā)和運行提供分布式并行加速、算子和編譯優(yōu)化、集群級通信優(yōu)化等關鍵能力?；谌A為的AI根技術，大模型訓練效能可以調(diào)優(yōu)到業(yè)界主流GPU的1.1倍。昇騰AI云服務除了支持華為全場景AI框架昇思MindSpore外，還支持Pytorch、TensorFlow等主流AI框架。行業(yè)解決方案中科曙光……人工智能算力基礎設施互聯(lián)網(wǎng)交通媒體能源通信醫(yī)療行業(yè)大模型多模態(tài)大模型金融…計算機視覺圖文搜索多任務視覺表征學習自監(jiān)督視覺表征學習……AIfor

Science化合物表征學習

蛋白質結構分析……自然語言處理對話

搜索

信息抽取跨語言

圖網(wǎng)絡……跨模態(tài)圖文生成文檔分析……通用CPU + 通用GPU +AI算力集群算力服務平臺NPU5A級智算中心目前已完成 包含 GPT系列LLaMA系列GLM系列ERNIE系列……同等條件下大模型訓練效率及訓練穩(wěn)定性顯著提升國內(nèi)3外主0流+大模型適配及孵化深度優(yōu)化服務硬件級優(yōu)化運行級優(yōu)化編譯級優(yōu)化代碼級優(yōu)化算法級優(yōu)化全精度算力供給數(shù)值模擬AI訓練

AI推理生態(tài)開放包容兼容主流軟件生態(tài)兼容國內(nèi)外各類芯片全國算力服務跨區(qū)域調(diào)度多任務調(diào)度計算資源存儲資源網(wǎng)絡資源 軟件資源應用資源……

產(chǎn)業(yè)資源中科曙光基于在智能計算領域的深耕，構建了完備的異構智能算力技術體系，實現(xiàn)了包含核心部件、整機、計算系統(tǒng)在內(nèi)的諸多突破，打造了開放通用的算力底座。此外，還積極協(xié)同產(chǎn)學研用，孵化場景化解決方案，推動AI技術的實際應用和落地。Network

SparseSparse

OPTSOLA

RuntimeContakinterSparseRTVirTtuoaollibzaotxionCodecSOLATool

iSEAL(KMD&UMD）OptimizationSDKDriverAntoum?芯片AI計算卡系列S4S10S30主流框架操作系統(tǒng)服務器平臺……支持Ubuntu

CentOS等主流版本;歐拉、龍蜥、麒麟等國產(chǎn)操作系統(tǒng)適配浪湖、新華三等主流服務器廠商X86

服務器平臺，飛騰為代表的Arm服務器平臺支持模型200+ 視覺多模態(tài)ResNet-50,YOLOv3,

YOLOv5...FastS語pe音ech,

Conformer...

自然語言處理BLOOM,BERT,T5,

GPT....CLIP...支持算子100+

算子涵蓋大部分常見模型，并支持客戶定制算子互聯(lián)網(wǎng)運營商 生命科學 自動駕駛 金融制造物聯(lián)網(wǎng) 智慧城市文本生成音頻生成圖像生成視頻生成跨模態(tài)生成加速AIGC應用支撐大模型行業(yè)落地適用于各類型AI任務與模型全方位生態(tài)兼容軟硬協(xié)同AI計算平臺墨芯人工智能隨著AI大模型參數(shù)的日益攀升，稀疏計算已成為公認的AI發(fā)展必然趨勢，從根本上解決大模型發(fā)展與算力的矛盾。墨芯人工智能通過核心的稀疏計算技術建立起深厚優(yōu)勢，成為AIGC時代具有代表性的算力企業(yè)：率先基于原創(chuàng)的雙稀疏算法，推出新一代AI計算平臺，在算力、功耗、能效比等方面實現(xiàn)大幅優(yōu)化，緩解大模型的高算力需求、高功耗、高費用等痛點，帶來“多贏”的效果；并且在大模型算力的相關技術、產(chǎn)品、商業(yè)落地等方面，均已取得積極進展。技術：獨創(chuàng)雙稀疏算法，并率先將稀疏化算法與硬件結合落地推出全球首顆高倍率稀疏芯片Antoum?，支持高達32倍稀疏:將此前的業(yè)界紀錄提升16倍。產(chǎn)品：屢獲MLPerf冠軍，性能位居行業(yè)領先基于Antoum?芯片的墨芯AI計算卡產(chǎn)品，在國際權威基準測評MLPerf中連續(xù)兩屆獲得冠軍，并在MLPerf

3.0中獲得雙料冠軍。應用：支持千億參數(shù)大模型，實現(xiàn)高吞吐、低延時，表現(xiàn)優(yōu)異在1300億參數(shù)的GLM-130B大模型上，僅用8張墨芯S30計算卡，吞吐達432token/s，為AIGC大幅加速。應用范圍廣：支持

BLOOM、OPT、GPT-X、LLaMA、StableDiffusion等主流大模型。高算力，低功耗，助力降本增效：有效緩解AI企業(yè)的算力基礎設施與運營成本高昂等難題，為企業(yè)拓展AIGC應用和業(yè)務提供強大算力支持。商業(yè)落地：實現(xiàn)量產(chǎn)，多領域落地產(chǎn)品已在互聯(lián)網(wǎng)、交通、生命科學領域成單落地：同時適用于運營商、金融、制造、醫(yī)療、能源、自動駕駛等眾多行業(yè)與場景，獲得市場認可。全面賦能大模型行業(yè)落地與AIGC等應用……代碼生成……墨芯人工智能——稀疏計算引領者天數(shù)智芯AI|深度學習 FFT|高性能 數(shù)字孿生IGIE推理性能分析設備管理DNN

FFTK8S

OpenStackiXStream國產(chǎn)架構BLAS指令集優(yōu)化加速 支持多種開發(fā)語言UserMode

DriverX86KernelMode

DriverARM應用層池化層流融合框架層加速庫編譯器驅動層處理器生態(tài)兼容云平臺算法框架OS服務器CPU芯片靈雀云、DAOClooud、聯(lián)想云計算、iStation、天翼云、時速云、觀測云PyTorch、TensorFlow、飛槳、計圖、ONNXCentOS、ubuntu、銀河麒麟、統(tǒng)信、OpenEuler、OpenAnolis市場主流服務器市場主流CPU天數(shù)智芯是中國領先的通用GPU高端芯片及超級算力系統(tǒng)提供商。作為國內(nèi)擁有云邊協(xié)同、訓推組合的完整通用算力系統(tǒng)全方案提供商，其系統(tǒng)架構、指令集、核心算子、軟件棧均為自主研發(fā)，可獨立發(fā)展演進。天數(shù)智芯已與國內(nèi)重要行業(yè)合作伙伴攜手，從源頭對設計進行定義，率先實現(xiàn)大規(guī)模商業(yè)化量產(chǎn)，產(chǎn)品開發(fā)和商業(yè)應用進度領先國內(nèi)同行。天數(shù)智芯軟件棧通用GPU訓練產(chǎn)品——天垓泛性能可預期遷移通用GPU推理產(chǎn)品——智鎧計算性能高應用覆蓋廣使用成本低與市場主流產(chǎn)品相比，實現(xiàn)2-3倍實際使用性能提升支持200余種

應用廣人工智能模型基于通用

GPU架構開發(fā)易

適配主流CPU/服務器廠商全定棧制可

本地團隊根據(jù)客戶需求提供定制化服務摩爾線程摩爾線程是一家以全功能GPU芯片設計為主的國家高新技術企業(yè)，能夠為科技生態(tài)合作伙伴提供強大的計算加速能力，致力于打造為下一代互聯(lián)網(wǎng)提供多元算力的元計算平臺。摩爾線程基于圖形計算、人工智能計算，打造了第一款AIGC內(nèi)容生成平臺摩筆馬良——支持中英雙語，以及支持在簡筆畫、照片、真實畫作、AI畫作等多種模式輸入下的圖文生成、圖文編輯，為用戶提供零門檻的創(chuàng)作平臺，促進用戶自由創(chuàng)新表達。豐富功能基于AI+Graphics的智能內(nèi)容創(chuàng)作（AIGC）平臺簡單易用軟硬一體中英文圖文生成、圖文編輯、圖像超分、簡筆畫創(chuàng)作、視頻生成等零創(chuàng)作門檻和MUSA架構深度集成優(yōu)化畫作賞析視拓云視拓云團隊的前身是中科院計算所山世光老師創(chuàng)建的中科視拓

SeeTaaS

部門，從2017年開始專注

C

端云計算市場和算法社區(qū)的研發(fā)和運營，面向“大

AI

圈”內(nèi)的科研工作者和科技企業(yè)，運營

AI

算力服務平臺

AutoDL.com

和算法社區(qū)

CodeW