賽迪前瞻2025年第1期（總882期）：大模型時(shí)代主要國(guó)家破解算力困局的做法及建議-水印版

2024年9月，英特爾發(fā)布至強(qiáng)6性能核處理器，可為AI、數(shù)據(jù)分析、科學(xué)計(jì)算等計(jì)算密集型業(yè)務(wù)提供更卓越性能。此前，為應(yīng)對(duì)新一輪AI熱潮下智能算力需求暴增，美、德、日、韓等國(guó)在AI芯片研發(fā)、計(jì)算網(wǎng)絡(luò)建設(shè)、算力生態(tài)建設(shè)等方面進(jìn)行了片研發(fā)、全國(guó)一體化算力網(wǎng)絡(luò)建設(shè)、算力產(chǎn)業(yè)新生態(tài)構(gòu)建方面下功夫，提升我國(guó)智能算力供給水平，加快大模型產(chǎn)業(yè)發(fā)展。一、主要國(guó)家應(yīng)對(duì)大模型時(shí)代智能算力困局的主要做法隨著AI技術(shù)的不斷進(jìn)步和應(yīng)用的持續(xù)深化，全球算力需求呈現(xiàn)爆發(fā)式增長(zhǎng)。據(jù)測(cè)算，OpenAI的GPT-3模型參數(shù)達(dá)1746億個(gè)，一次訓(xùn)練所需算力約為3640PFlops1。IDC報(bào)告顯示，全球數(shù)據(jù)量年均增長(zhǎng)約60%，但算力年均增速僅為10%，算力供給與需求存在巨大差距2。為更好平衡算力需求與供給，各國(guó)紛紛出臺(tái)政策，支持算力產(chǎn)業(yè)發(fā)展。重視高性能芯片研發(fā)和生產(chǎn)，以更好地滿足大模型產(chǎn)業(yè)對(duì)高性能、高彈性、高穩(wěn)定性智能算力的需求。近年來(lái)，美、日、德、韓致力于加強(qiáng)芯片制造和研發(fā)能力，以保持大模型產(chǎn)業(yè)國(guó)際競(jìng)爭(zhēng)力。2023年，美國(guó)政府宣布向“國(guó)家先進(jìn)封裝制造計(jì)劃”（NAPMP）投入30億美元，圍繞封裝基板和材料、工藝裝備與方法、供電與熱管理、光子器件與連接器、小芯片生態(tài)系統(tǒng)，以及測(cè)試、修復(fù)、安全性、互操作性和可靠性的協(xié)同設(shè)計(jì)等6個(gè)領(lǐng)域提供項(xiàng)目資助3。日本經(jīng)濟(jì)產(chǎn)業(yè)省提出約230億美元基金2大模型需求涌現(xiàn)，算力如何跟上節(jié)奏？/s?i點(diǎn)./zkcg/ydkb/kjqykb/2024/kjqykb2401/2預(yù)算，支持半導(dǎo)體行業(yè)發(fā)展4。德國(guó)計(jì)劃撥款200億歐元，用于補(bǔ)貼半導(dǎo)體制造業(yè)，增強(qiáng)其在全球半導(dǎo)體產(chǎn)業(yè)中的話語(yǔ)權(quán)。2024年，韓國(guó)產(chǎn)業(yè)通商資源部計(jì)劃在2025年至2031年間投資2744億韓元，與包括三星電子、SK海力士、LG化學(xué)、韓亞微米、韓美半導(dǎo)體等10家半導(dǎo)體相關(guān)企業(yè)和機(jī)構(gòu)聯(lián)合，開(kāi)發(fā)半導(dǎo)體封裝先進(jìn)技術(shù)。支持高性能計(jì)算能力建設(shè)。大帶寬、高利用率且信息無(wú)損的高性能算力網(wǎng)絡(luò)是大模型時(shí)代提升算力的重要保障。美國(guó)先后制定《高性能計(jì)算和通信計(jì)劃》《網(wǎng)絡(luò)和信息技術(shù)研發(fā)計(jì)劃》《國(guó)家戰(zhàn)略計(jì)算計(jì)劃》等文件，不斷改進(jìn)、優(yōu)化高性能計(jì)算能力建設(shè)。2020年，德國(guó)更新《國(guó)家人工智能戰(zhàn)略》，提出追加20億歐元支持AI研究，推進(jìn)高性能計(jì)算中心網(wǎng)絡(luò)建設(shè)，對(duì)8個(gè)高校的計(jì)算中心進(jìn)行為期10年、每年6250萬(wàn)歐元的資助5。韓國(guó)計(jì)劃從2023起至2025年，每年投入20億韓元，支持高麗大學(xué)主導(dǎo)建立一個(gè)擁有35PetaFLOPS規(guī)模的AI創(chuàng)新數(shù)據(jù)中心，為HyperModal（開(kāi)發(fā)同時(shí)理解多種數(shù)據(jù)的超大深度學(xué)習(xí)5德國(guó)強(qiáng)化人工智能能力建設(shè)加大高性能計(jì)算網(wǎng)絡(luò)投資.中技術(shù)）等12項(xiàng)高風(fēng)險(xiǎn)、挑戰(zhàn)型AI研究提供支撐6。2023年，日本經(jīng)濟(jì)產(chǎn)業(yè)省提出，要承擔(dān)50%的費(fèi)用支援SakuraInternet公司配備超級(jí)計(jì)算機(jī)，幫助國(guó)內(nèi)初創(chuàng)企業(yè)開(kāi)發(fā)生成式AI7。重視算力產(chǎn)業(yè)生態(tài)建設(shè)。美國(guó)政府提出，要將政府、學(xué)術(shù)界、非營(yíng)利組織和行業(yè)部門等共同納入先進(jìn)計(jì)算生態(tài)系統(tǒng)計(jì)劃，通過(guò)匯聚各方面力量、建立協(xié)同增效機(jī)制、規(guī)范共享計(jì)算協(xié)議等措施，強(qiáng)化本國(guó)戰(zhàn)略計(jì)算能力8。2023年，韓國(guó)政府公布AI大模型競(jìng)爭(zhēng)力提升方案，計(jì)劃構(gòu)筑由民間企業(yè)主導(dǎo)、政府支援的超大型AI合作生態(tài)系統(tǒng)，推動(dòng)醫(yī)療、法律、咨詢等領(lǐng)域的AI應(yīng)用服務(wù)升級(jí)，截至2026年將培育10000家SaaS企業(yè)9。歐盟成立歐洲高性能計(jì)算聯(lián)合委員會(huì)，通過(guò)匯集歐盟、歐洲國(guó)家和私人合作伙伴資源，并加大算力基礎(chǔ)設(shè)施建設(shè)和配套關(guān)鍵技術(shù)研發(fā)投入，助力歐洲開(kāi)發(fā)世界一流的智能計(jì)算生態(tài)二、我國(guó)破解算力困局需在三方面下功夫6[韓國(guó)要聞]韓國(guó)依托高校設(shè)立“人工智能創(chuàng)新數(shù)據(jù)中心”促進(jìn)研究數(shù)據(jù)的便捷共享./s/TcKr7日本支援超級(jí)計(jì)算機(jī)建設(shè)為生成式AI開(kāi)發(fā)8美多舉提升戰(zhàn)略計(jì)算能力.光明網(wǎng).2當(dāng)前，我國(guó)大模型產(chǎn)業(yè)發(fā)展仍面臨高性能算力芯片供給不足、互聯(lián)帶寬和能源消耗約束大、算力調(diào)度體系不完善等挑戰(zhàn)，一定程度上阻礙了大模型產(chǎn)業(yè)發(fā)展壯大。高性能算力芯片供給端仍然短缺。大模型運(yùn)行過(guò)程中需要大量計(jì)算能力，對(duì)高性能算力芯片等硬件設(shè)備的性能要求高。據(jù)海關(guān)總署數(shù)據(jù)顯示，2024年1-9月，集成電路進(jìn)口數(shù)量高達(dá)4077億個(gè)，較去年同期增長(zhǎng)14.55%10。高性能算力芯片主要包括圖形處理器（GPU）、現(xiàn)場(chǎng)可編程門陣列（FPGA）、專用集成電路（ASIC）等。目前，我國(guó)高性能算力芯片對(duì)外依存度仍相對(duì)較高，短缺問(wèn)題短期內(nèi)難以解決。GPU芯片方面，GPU為通用型芯片，國(guó)產(chǎn)GPU芯片與國(guó)際巨頭相比，在大模型訓(xùn)練、軟件和生態(tài)建設(shè)等方面差距較大。FPGA芯片方面，F(xiàn)PGA為半定制芯片，90%以上的市場(chǎng)份額由美國(guó)的賽靈思和阿爾特拉兩家公司占據(jù)，其余大部分被美高森美、萊迪思、快輯半導(dǎo)體三家美國(guó)公司占據(jù)11，我國(guó)在FPGA領(lǐng)域尚處于起步階段，11華為也難國(guó)產(chǎn)化的FPGA芯片，我國(guó)處于什么階段？/s?id=1663474自給率較低12。ASIC芯片方面，為全定制型AI芯片，ASIC能根據(jù)產(chǎn)品特定需求進(jìn)行設(shè)定，但研發(fā)成本高、可復(fù)制性一般，我國(guó)ASIC技術(shù)與世界領(lǐng)先水平差距較小，但英偉達(dá)的CUDA平臺(tái)已建立強(qiáng)大的軟件生態(tài)系統(tǒng)，極大提升其芯片的通用性與易用性，是國(guó)產(chǎn)芯片廠商面臨的一大難題。算力需求引發(fā)對(duì)互聯(lián)帶寬、能源消耗的更高要求。一是算力互聯(lián)需要足夠的網(wǎng)絡(luò)帶寬。據(jù)悉，千億、萬(wàn)億參數(shù)規(guī)模的大模型，訓(xùn)練過(guò)程中通信需求占比最大可達(dá)50%，傳統(tǒng)使用的無(wú)鏈接網(wǎng)絡(luò)技術(shù)和向上收斂的網(wǎng)絡(luò)架構(gòu)，在通信連接、算力調(diào)度、穩(wěn)定性等方面仍有諸多問(wèn)題，丟包、重傳等問(wèn)題頻繁出現(xiàn)，對(duì)智算中心模型訓(xùn)練可能會(huì)帶來(lái)致命問(wèn)題。相關(guān)數(shù)據(jù)顯示，0.1%的網(wǎng)絡(luò)丟包可能導(dǎo)致50%的算力損失，極易造成算力資源浪費(fèi)13。二是算力對(duì)水電的消耗巨大。據(jù)中國(guó)算力平臺(tái)統(tǒng)計(jì)測(cè)算，2023年，中國(guó)數(shù)據(jù)中心用電量約1500億度，占全社會(huì)用電量的1.6%，數(shù)據(jù)中心用電年增速約15%，據(jù)預(yù)測(cè)，預(yù)計(jì)到2030年，全國(guó)算力13助攻AI大模型，騰訊云星脈高性能計(jì)算網(wǎng)絡(luò)首次完整披露./rain/a/20中心用電量將超過(guò)3000億千瓦時(shí)14。此外，高算力也會(huì)帶來(lái)水資源的大量消耗。研究指出，數(shù)據(jù)中心冷卻需耗費(fèi)401噸水，約合10萬(wàn)個(gè)家庭用水量。制造2克重的計(jì)算機(jī)芯片約需32公斤水，制造8寸晶圓每小時(shí)耗水約250噸，12寸晶圓算力調(diào)度體系難以滿足AI大模型訓(xùn)練需要。研究人員通常采用并行計(jì)算和分布式訓(xùn)練方法應(yīng)對(duì)AI大模型的計(jì)算挑戰(zhàn)，但因智能算力尚未實(shí)現(xiàn)精細(xì)化調(diào)度，導(dǎo)致該方法實(shí)際操作難度較大。從跨區(qū)域調(diào)度來(lái)看，東西部算力資源分配不均、供需不平。東部地區(qū)應(yīng)用需求大，但能耗指標(biāo)緊張、電成本高，大規(guī)模發(fā)展數(shù)據(jù)中心難度和局限性大；西部地區(qū)可再生能源豐富、氣候適宜，但網(wǎng)絡(luò)寬帶小、跨省數(shù)據(jù)傳輸費(fèi)用高，無(wú)法有效承接?xùn)|部需求，算力供需難以高效匹配。從跨設(shè)備調(diào)度來(lái)看，各算力中心相互獨(dú)立，缺少高效協(xié)同機(jī)制。大型算力數(shù)據(jù)傳輸依靠傳統(tǒng)方式，算力即時(shí)調(diào)度與應(yīng)用難度大。智能算力資源即時(shí)調(diào)度受數(shù)據(jù)時(shí)延不敏感、單通道傳輸帶寬有限、通道寬帶數(shù)量14兩個(gè)體系，雙向奔赴：算電協(xié)同還有三大挑戰(zhàn)待破.https://mp.weixin15耗電又耗水，誰(shuí)能拯救AI能耗之傷？有限等因素制約，導(dǎo)致算力傳輸延遲，傳輸費(fèi)用高昂等問(wèn)題16。從跨種類調(diào)度來(lái)看，因缺乏統(tǒng)一跨網(wǎng)技術(shù)和服務(wù)標(biāo)準(zhǔn)，制約智能算力供給側(cè)精準(zhǔn)衡量和需求判斷。GPU、FPGA、ASIC等各類智能算力芯片產(chǎn)生的算力，在精度、形態(tài)等方面有諸多差異，導(dǎo)致智能算力統(tǒng)一調(diào)度和按需分配難度較大17。三、幾點(diǎn)思考以智能算力需求為導(dǎo)向，強(qiáng)化高性能算力芯片供給。一是強(qiáng)化高性能芯片技術(shù)攻關(guān)。鼓勵(lì)芯片產(chǎn)業(yè)鏈上龍頭企業(yè)聯(lián)合鏈上創(chuàng)新主體，聚焦GPU、FPGA、ASIC等高性能芯片設(shè)計(jì)、生產(chǎn)和封裝測(cè)試等環(huán)節(jié)，從核心原材料、生產(chǎn)設(shè)備、制造工藝等各方面，開(kāi)展關(guān)鍵核心技術(shù)協(xié)同攻關(guān)。二是加快高性能芯片生產(chǎn)和推廣應(yīng)用。鼓勵(lì)芯片廠商加大對(duì)工作負(fù)荷、芯片性能、成本、兼容性等高性能芯片需求關(guān)鍵指標(biāo)的調(diào)查摸底，有針對(duì)性地研發(fā)生產(chǎn)能夠滿足分布式大模型訓(xùn)練、多模態(tài)處理等應(yīng)用性能需求的芯片，加速高性能芯片產(chǎn)業(yè)化應(yīng)用。16《2022中國(guó)算力服務(wù)市場(chǎng)發(fā)展研究報(bào)告》./articles/vi以支撐算力應(yīng)用為核心，加快推進(jìn)全國(guó)一體化算力網(wǎng)絡(luò)建設(shè)。以《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》《深入實(shí)施“東數(shù)西算”工程加快構(gòu)建全國(guó)一體化算力網(wǎng)的實(shí)施意見(jiàn)》等為路線圖，加快構(gòu)建全國(guó)一體化算力網(wǎng)絡(luò)，支撐大模型產(chǎn)業(yè)發(fā)展。一是建立直連超寬帶光網(wǎng)絡(luò)，為算力應(yīng)用提供高效的網(wǎng)絡(luò)通信連接。建立直連超寬帶光網(wǎng)絡(luò)，將算力節(jié)點(diǎn)和樞紐用光網(wǎng)絡(luò)連接，提供滿足需求的傳輸帶寬，為算力傳輸提供有力支撐。二是完善算力聯(lián)網(wǎng)統(tǒng)一調(diào)度體系，破解異構(gòu)算力調(diào)度問(wèn)題。鼓勵(lì)各方建立多層次算力調(diào)度體系，探索建立云原生網(wǎng)絡(luò)等多種方式，推動(dòng)云算力、智能算力、超算算力、混合算力等一體化調(diào)度應(yīng)用，實(shí)現(xiàn)算力生產(chǎn)、運(yùn)營(yíng)、管理等與行業(yè)應(yīng)用有效適配。以綠色化發(fā)展為方向，推進(jìn)算力中心低碳化建設(shè)與改造。一是嚴(yán)格新上算力中心項(xiàng)目能效水效要求。鼓勵(lì)各地區(qū)結(jié)合實(shí)際對(duì)新上算力中心項(xiàng)目能效提出更高要求，穩(wěn)步提升新建算力中心單位算力能效水平。鼓勵(lì)地方通過(guò)“上大壓小”“遷舊建新”等方式，加強(qiáng)優(yōu)質(zhì)算力中心項(xiàng)目用能用水保障。二是推進(jìn)存量算力中心項(xiàng)目節(jié)能降碳改造。加快推進(jìn)低效算力中心節(jié)能降碳改造和“老舊小散”算力中心整合改造。推進(jìn)設(shè)備布局、制冷架構(gòu)、氣流組織、外圍護(hù)結(jié)構(gòu)、供配電方式、單機(jī)柜功率密度及系統(tǒng)智能運(yùn)行策略等方面的技術(shù)改造和優(yōu)化升級(jí)。三是提升可再生能源在算力中心項(xiàng)目建設(shè)中的應(yīng)用。引導(dǎo)新建數(shù)據(jù)中心與可再生能源發(fā)電協(xié)同布局，鼓勵(lì)存量數(shù)據(jù)中心通過(guò)參與綠電綠證交易等提高可再生能源利用率。四是推廣應(yīng)用節(jié)能技術(shù)裝備。鼓勵(lì)推廣高效制冷散熱、AI節(jié)能等技術(shù)應(yīng)用，提高自然冷源利用率的同時(shí)，促進(jìn)算力中心算存運(yùn)的高效協(xié)同聯(lián)動(dòng)。推廣高效節(jié)能的算力中心建設(shè)相關(guān)產(chǎn)品設(shè)備。以培育鏈主企業(yè)為抓手，打造算力產(chǎn)業(yè)新生態(tài)。一是梯次培育一批優(yōu)質(zhì)算力產(chǎn)業(yè)鏈主企業(yè)。培育一批計(jì)算生態(tài)主導(dǎo)型企業(yè)，鼓勵(lì)其開(kāi)放技術(shù)能力、供應(yīng)鏈資源，支持創(chuàng)新型先進(jìn)計(jì)算中小企業(yè)圍繞細(xì)分領(lǐng)域向價(jià)值鏈