擁抱AI算力時(shí)代的星辰大海2024

E-mail：lixingjie@yongxiE-mail：xiamingda@yong20% 8% -4%-16%-28%-40%計(jì)算機(jī)滬深30011/2301/2403/2406/2408/2410/24資料來(lái)源：Wind，甬興證券研究所球范圍內(nèi)掀起了有史以來(lái)規(guī)模最大人工智能浪潮，2023年以來(lái)海外平，其中Hunyuan-Turbo-Preview、AndesGPT-2.0、S表現(xiàn)領(lǐng)先。由于大模型性能表現(xiàn)顯著優(yōu)于小模型，同時(shí)模型參數(shù)量提升為重要技術(shù)路線之一，我們認(rèn)為“大”算力剛需屬性凸顯。短期看，訓(xùn)/推兩端算力需求或隨模型參數(shù)量、要求訓(xùn)練效率、用戶(hù)使用頻率等關(guān)鍵指標(biāo)同步提升，假設(shè)模型平均參數(shù)量保持1000億個(gè)不再增長(zhǎng)，當(dāng)大模型數(shù)量達(dá)到10個(gè)，平均訓(xùn)練token時(shí)，訓(xùn)練端峰值算力需求或?qū)⑦_(dá)3472Pflops-day，推理端最大并發(fā)峰持續(xù)增長(zhǎng)，AI需求保持強(qiáng)勁。24Q2北美四大CPS資本開(kāi)支總計(jì)解決通用大模型的垂直化適配問(wèn)題，GCI解決方法源，計(jì)算規(guī)?；?qū)⑻嵘?，帶?dòng)算力需求同步提升。GPU因并行計(jì)算架構(gòu)帶來(lái)強(qiáng)大計(jì)算效率，適配大模型計(jì)算需求。據(jù)內(nèi)高端AI芯片領(lǐng)域的前沿力量。據(jù)華東師范大學(xué)，F(xiàn)P16精度下，我們認(rèn)為，受益于大模型的蓬勃發(fā)展，算力需求正處于高增階段。AI芯片作為重要算力底座，在自主可控的背景下景氣度有望提升，重點(diǎn)關(guān)注華為昇騰鏈相關(guān)環(huán)節(jié)投資機(jī)會(huì)，以及海光信息、寒武紀(jì)等算力鏈投資機(jī)會(huì)行業(yè)競(jìng)爭(zhēng)加劇風(fēng)險(xiǎn)、商業(yè)化進(jìn)度不及預(yù)期風(fēng)險(xiǎn)、技術(shù)路線調(diào)整風(fēng)險(xiǎn) 3 3 5 7 11 17 17 3 4 5 5 5 5 6 6 7 7 8 8 9 10 12 13 13 13 14 15 15 15 16 7 8 9 17大模型，通向人工智能的基座模型。據(jù)《中國(guó)人工智能系列白皮書(shū)》（中國(guó)人工智能學(xué)會(huì)，2023.9本次大模型熱潮主要由語(yǔ)言大模型（亦稱(chēng)為大語(yǔ)言模型）引領(lǐng)，大模型通過(guò)在海量無(wú)標(biāo)注數(shù)據(jù)上進(jìn)行大規(guī)模預(yù)訓(xùn)練，能夠?qū)W習(xí)到大量的語(yǔ)言知識(shí)與世界知識(shí)，并且通過(guò)指令微調(diào)、人類(lèi)對(duì)齊等關(guān)鍵技術(shù)，擁有面向多任務(wù)的通用求解能力。據(jù)《大模型關(guān)鍵技術(shù)與未來(lái)絡(luò)結(jié)構(gòu)，能學(xué)習(xí)并理解更多的特征和模式，從而在處理復(fù)雜任務(wù)時(shí)展現(xiàn)出較強(qiáng)的自然語(yǔ)言理解、意圖識(shí)別、推理、上下文建模、語(yǔ)言生成以及通用問(wèn)題求解能力，已成為AI領(lǐng)域的重要基礎(chǔ)設(shè)施。球范圍內(nèi)掀起了有史以來(lái)規(guī)模最大人工智能浪潮，國(guó)內(nèi)外大模型更新迭代層出不窮，我們梳理在此過(guò)程中大模型發(fā)展經(jīng)歷三個(gè)階段：1：起步期（2022年底~ChatGPT發(fā)布后國(guó)Meta開(kāi)源Llama2等；國(guó)內(nèi)大模文心一言1.0、阿里云發(fā)布通義千問(wèn)、清華開(kāi)源ChatGLM、百川智能開(kāi)源3：爆發(fā)期（2024年~至今各類(lèi)大模型加速問(wèn)世，開(kāi)源模型崛起豐在部分通用能力上與國(guó)際領(lǐng)跑者差距已縮小至2%以?xún)?nèi)。從國(guó)內(nèi)格局看，對(duì)比國(guó)內(nèi)外頭部模型長(zhǎng)文本能力，我們認(rèn)為國(guó)內(nèi)大模型具備競(jìng)爭(zhēng)優(yōu)勢(shì)，據(jù)Superclue數(shù)據(jù)，在32K，64K，128K文本能力測(cè)試中，國(guó)內(nèi)大模型XVERSE-13B-LONGCONTEXT（元象科技對(duì)GPT4-Turbo-0125（OpenAI）領(lǐng)先。我們認(rèn)為，長(zhǎng)文本能力是具有產(chǎn)業(yè)落地意義的核心能力，有助于國(guó)內(nèi)大模型的場(chǎng)景應(yīng)用開(kāi)拓。w64K文本得分 w64K文本得分 123456789Anthropic資料來(lái)源：SuperClue，甬興證券研究所資料來(lái)源：SuperClue，甬興證券研究所大模型性能顯著優(yōu)于小模型，指引發(fā)展方向。據(jù)《ScalingLawsfor率（sampleefficiency）更高，若要求達(dá)到相同效果，則大模型僅需更少的數(shù)據(jù)量（tokensprocessed）以及訓(xùn)練步驟（estimatedsmin有助于降低整體模型復(fù)雜度，提高運(yùn)行速度。另外一方面，相同條件下大模型輸出效果同數(shù)量的tokens并給予同等訓(xùn)練步驟，則大模型訓(xùn)練訓(xùn)資料來(lái)源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所資料來(lái)源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所研究所大模型參數(shù)量提升為重要技術(shù)路線之一，計(jì)算資源剛需《中國(guó)人工智能系列白皮書(shū)》，預(yù)訓(xùn)練語(yǔ)言模型的研發(fā)過(guò)程中遵循經(jīng)驗(yàn)法則——擴(kuò)展定律（ScalingLaw即模型能力與任務(wù)效果將會(huì)隨模型參數(shù)規(guī)模和預(yù)訓(xùn)練數(shù)據(jù)規(guī)模的增加，而不斷改善；OpenAI亦證明了模型參數(shù)億參數(shù)）三個(gè)不同參數(shù)規(guī)模的模型，GPT-3在沒(méi)有微調(diào)的情況下，可以?xún)H通過(guò)In-contextlearning（上下文學(xué)習(xí)）完成多種任務(wù)，甚至在某些任務(wù)上超過(guò)當(dāng)時(shí)最好的專(zhuān)用模型。大算力滿足人工智能高并發(fā)、高彈性、高精度的計(jì)算需求，在訓(xùn)練和推理過(guò)程中，能夠提升效率和準(zhǔn)確度；高性能的計(jì)算能力為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語(yǔ)言處理等人工智能技術(shù)的發(fā)展提供了有力的支持，通過(guò)實(shí)現(xiàn)復(fù)究所1.3.模型擴(kuò)容+下游CapEx增長(zhǎng)+垂類(lèi)模型落地，推動(dòng)算力需短期看，AI大模型在訓(xùn)練/推理端均產(chǎn)生海量算力需求，且需求量將大模型所需的算力分為訓(xùn)練端+推理端。據(jù)澎湃新聞，訓(xùn)練是一個(gè)計(jì)算密集型的學(xué)習(xí)過(guò)程，通過(guò)訓(xùn)練可提升模型的精準(zhǔn)度，如果計(jì)算結(jié)果沒(méi)有達(dá)到預(yù)期，就需要調(diào)整參數(shù)重新訓(xùn)練，直到達(dá)到預(yù)期。一旦模型精準(zhǔn)度達(dá)到一定水準(zhǔn)后，則進(jìn)入推理階段。推理是一個(gè)判斷過(guò)程，基于訓(xùn)練好的模平均訓(xùn)練tokens數(shù)達(dá)到7000個(gè)時(shí)，訓(xùn)練端峰值算力需求或?qū)⑦_(dá)資料來(lái)源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所資料來(lái)源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所模型參數(shù)模型平均參數(shù)量（億個(gè)，N）單模型單Token所需訓(xùn)練成本：6N52222所測(cè)算JohnsHopkinsUniversity,OpenAI，2020大模型前向推理公式為Cforward=2N+2nlayernctxdattn，其中N為模型參數(shù)量，nlayer為模型層數(shù)，nctx為上下文長(zhǎng)度（ScalingLaws默認(rèn)上下文長(zhǎng)度1024dattn為注意力輸出維度量級(jí)相比兩倍模型參數(shù)2N仍較小，因此推理算力可近似為C=2NBS。如能力要求及時(shí)響應(yīng)，因此推理算力一般以秒為單位來(lái)衡量（Pflops-s最后通過(guò)調(diào)節(jié)最大并發(fā)峰值算力乘數(shù)，給與一定程度冗余保障峰值流量（參時(shí)，最大并發(fā)峰值算力需求將達(dá)到23148/115741/46資料來(lái)源：《ScalingLawsforNeuralLanguageModels》=推理端每秒峰值算力需求*最大并發(fā)峰值算力乘數(shù)資料來(lái)源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所模型參數(shù)模型平均參數(shù)量（億個(gè)，N）單模型單Token所需推理成本：2N服務(wù)次數(shù)555555554444所以微軟為例，其數(shù)據(jù)中心方面投資大部分投向AI基礎(chǔ)設(shè)施建設(shè)以滿足云需求。我們認(rèn)為，云計(jì)算是大模型最重要的基礎(chǔ)設(shè)施和平臺(tái)之一，頭部CSP大廠資本開(kāi)支對(duì)于AI算力行業(yè)景氣度前瞻意義明顯：北美四大云計(jì)大CPS資本開(kāi)支總計(jì)516.3億美元，同比+59.0%，其中，微軟/谷歌/Amazon/Meta資本開(kāi)支分別達(dá)138.7/131.9/163.9/81.7億美元，分別同比+55.1%/91.4%/57.4%/31.5%。谷歌Amazon資料來(lái)源：Wind，甬興證券研究所長(zhǎng)期看，行業(yè)/垂類(lèi)模型發(fā)展將帶動(dòng)算力需求再上臺(tái)階。行業(yè)模型/垂類(lèi)模型是AI+落地最后一公里，據(jù)騰訊研究院，通用大模型具備豐富的知識(shí)和強(qiáng)大的泛化能力可賦能垂直行業(yè)應(yīng)用，當(dāng)前部分行業(yè)大模型，大多已應(yīng)用在金融、法律、教育、傳媒、文旅等領(lǐng)域。資料來(lái)源：騰訊研究院，甬興證券研究所為解決通用大模型的垂直化適配問(wèn)題，計(jì)算規(guī)?；?qū)⑻嵘?，需求同步提升。?jù)《MoreThanCatastrophicForgett大模型在針對(duì)特定領(lǐng)域認(rèn)為進(jìn)行微調(diào)后，由于模型最近的學(xué)習(xí)掩蓋并削弱了其先前的獲得的知識(shí)，可能導(dǎo)致一般任務(wù)性能有所下降，即“災(zāi)難性遺），步長(zhǎng)內(nèi)整合領(lǐng)域知識(shí)，來(lái)為用戶(hù)詢(xún)問(wèn)提供答復(fù)，有效協(xié)調(diào)通用模型和領(lǐng)域模型的知識(shí)，在這一過(guò)程中，調(diào)用知識(shí)資源或?qū)⒑挠酶嘤?jì)算能力，帶動(dòng)圖14:領(lǐng)域數(shù)據(jù)注入通用大模型后可能引起“災(zāi)難性遺忘”速器/計(jì)算卡，是專(zhuān)門(mén)用于處理人工智能應(yīng)用中的相關(guān)計(jì)GPU算力強(qiáng)大的原因源于其并行計(jì)算能力（parallelcomputingGPU基于將復(fù)雜問(wèn)題拆解成為數(shù)千個(gè)乃至數(shù)百萬(wàn)個(gè)單獨(dú)任務(wù)的設(shè)計(jì)思路，通過(guò)資料來(lái)源：NVIDIA官網(wǎng)，甬興證券研究所其通用性計(jì)算能力強(qiáng)的特征，滿足大型AI運(yùn)營(yíng)商的訓(xùn)/推、運(yùn)營(yíng)與調(diào)度需ASIC,1.0%FPGA,0.4%NPU,NPU,9.6%GPU,89.0%資料來(lái)源：IDC，中商產(chǎn)業(yè)研究院，甬興證券研究所現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(FPGA)是一種帶有可編程硬件架構(gòu)的集成電路。FPGA內(nèi)部電路旨在實(shí)現(xiàn)多種功能，可根據(jù)需要重新編程以執(zhí)行這些功能。因此，就靈活性和快速面市而言，F(xiàn)PGA通常是較好選擇，因?yàn)殡S著新功能的成熟，固化集成電路設(shè)計(jì)會(huì)更加經(jīng)濟(jì)和節(jié)能。專(zhuān)用集成電路(ASIC)專(zhuān)門(mén)針對(duì)特定功能而打造和批量生產(chǎn)。我們認(rèn)為，ASIC相對(duì)高性能低消耗、可以基于多個(gè)人工智算法進(jìn)行定制的特點(diǎn)，有望在AI成熟度提升后全球GPU市場(chǎng)規(guī)模（十億美元）30025020050020242029E資料來(lái)源：Statista，甬興證券研究所NvidiaAMD其他90807060504030201023Q123Q223Q323Q424Q1資料來(lái)源：JPR，甬興證券研究所我們認(rèn)為，優(yōu)秀的架構(gòu)設(shè)計(jì)是英偉達(dá)GPU芯片性能不斷提升的底層包括一個(gè)新的TransformerEngine，可以在不損失準(zhǔn)確性的前提下將這些網(wǎng)絡(luò)的速度提高6倍，Transformer模型訓(xùn)練時(shí)間從數(shù)周縮短至數(shù)天；H100的大規(guī)模訓(xùn)練性能是A100的9倍，大型語(yǔ)言模型推理吞吐量是資料來(lái)源：Nvidia官網(wǎng)，甬興證券研究所能。據(jù)百度開(kāi)發(fā)者中心，CUDA（ComputeUnifiedDeviceArchitect英偉達(dá)公司開(kāi)發(fā)的一種并行計(jì)算平臺(tái)和編程模型，它允許開(kāi)發(fā)者使用階段，CUDA同樣發(fā)揮著關(guān)鍵作用，通過(guò)利用GPU的并行計(jì)算能力，CUDA可以加速模型的推理速度，提高實(shí)時(shí)性能。在處理海量數(shù)據(jù)時(shí)，資料來(lái)源：英偉達(dá)官網(wǎng)，甬興證券研究所性技術(shù)，可支持多達(dá)10萬(wàn)億參數(shù)的模型進(jìn)行AI訓(xùn)練和實(shí)時(shí)大語(yǔ)言模型2：第二代Transformer引擎：結(jié)合BlackwellTensorCore技術(shù)和Blackwell將通過(guò)新的4位浮點(diǎn)AI支持雙倍的計(jì)算和模型大小推理能力；3：第五代NVLink：為提高數(shù)萬(wàn)億參數(shù)和混合專(zhuān)家AI模型的性能，于AI的預(yù)防性維護(hù)進(jìn)行診斷和預(yù)測(cè)可靠性問(wèn)題。這可以最大限度地延長(zhǎng)5：安全人工智能：先進(jìn)的機(jī)密計(jì)算功能可在不影響性能的情況下保護(hù)AI模型和客戶(hù)數(shù)據(jù)，并支持新的本機(jī)接口加密協(xié)議，進(jìn)一步增強(qiáng)了芯6：解壓縮引擎：專(zhuān)用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫(kù)查詢(xún)，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。資料來(lái)源：toms’Hardware，Nvidia，甬興證券研究所資料來(lái)源：toms’Hardware，Nvidia，甬興證券研究所資料來(lái)源：toms’Hardware，Nvidia，甬興證券研究所部工業(yè)和安全局（BIS）發(fā)布了一系列出口管制規(guī)則，更新了對(duì)先進(jìn)計(jì)算集成電路、半導(dǎo)體制造設(shè)備以及支持超級(jí)計(jì)算應(yīng)用和最終用途的物項(xiàng)向包括中國(guó)在內(nèi)的武器禁運(yùn)國(guó)家的出口管制措施，并將中國(guó)的部分實(shí)體列入了資料來(lái)源：BIS，甬興證券研究所據(jù)IT之家，徐直軍介紹稱(chēng)，華為昇騰910采用自研達(dá)芬源計(jì)算框架MindSpore配合，可創(chuàng)新編程范式，AI科學(xué)用，便于開(kāi)放式創(chuàng)新，最大化利用芯片算力。據(jù)華東師范大學(xué)研究NVIDIAA10019.5TFLOPS156TFLOPS(TC)312TFLOPS624TFLOPS(稀疏)512TFLOPS80GB4.0TB/s沐曦MXC50030/36TFLOPS240/280TFLOPS480/560TFLOPS64GB1.87TB/s華為910B81TFLOPS313TFLOPS512TFLOPS64GB1.6TB/s海光Z100L10.1TFLOPS20.2TFLOPS40.5TFLOPS32GB1TB/s寒武紀(jì)MLU370-X824TFLOPS96TFLOPS256TFLOPS48GB0.6TB/s資料來(lái)源：華東師范大學(xué)，寒武紀(jì)官網(wǎng)，甬興證券研究所我們認(rèn)為，受益于大模型的蓬勃發(fā)展，算力需求正處于高增階段。AI芯片作為重要算力底座，在自主可控的背景下景氣度有望提升，重點(diǎn)關(guān)注1、行業(yè)競(jìng)爭(zhēng)加劇風(fēng)險(xiǎn)：行業(yè)景氣度高，可能吸引較多新進(jìn)入者，產(chǎn)2、商業(yè)化進(jìn)度不及預(yù)期風(fēng)險(xiǎn)：若算力行業(yè)應(yīng)用端落地進(jìn)度不及預(yù)期，3、技術(shù)路線調(diào)整風(fēng)險(xiǎn)：若前沿技術(shù)快速迭代，可能造成技術(shù)路線的請(qǐng)務(wù)必閱讀報(bào)告正文后各項(xiàng)聲明本報(bào)告署名分析師具有中國(guó)證券業(yè)協(xié)會(huì)授予的證券投資咨詢(xún)執(zhí)業(yè)資格并注冊(cè)為證券分析師，以勤勉盡責(zé)的職業(yè)態(tài)度，專(zhuān)業(yè)審慎的研究方法，獨(dú)立、客觀地出具本報(bào)告，保證報(bào)告采用的信息均來(lái)自合規(guī)渠道，并對(duì)本報(bào)告的內(nèi)容和觀點(diǎn)負(fù)責(zé)。負(fù)責(zé)準(zhǔn)備以及撰寫(xiě)本報(bào)告的所有研究人員在此保證，本報(bào)告所發(fā)表的任何觀點(diǎn)均清晰、準(zhǔn)確、如實(shí)地反映了研究人員的觀點(diǎn)和結(jié)論，并不受任何第三方的授意或影響。此外，所有研究人員薪酬的任何部分不曾、不與、也將不會(huì)與本報(bào)告中的具體推薦意見(jiàn)或觀點(diǎn)直接或間接相關(guān)。甬興證券有限公司經(jīng)中國(guó)證券監(jiān)督管理委員會(huì)核準(zhǔn)，取得證券投資咨詢(xún)業(yè)務(wù)許可，具備證券投資咨詢(xún)業(yè)務(wù)資格。股票投資評(píng)級(jí)：分析師給出下列評(píng)級(jí)中的其中一項(xiàng)代表其根據(jù)公司基本面及（或）估值預(yù)期以報(bào)告日起6個(gè)月內(nèi)公司股價(jià)相對(duì)于同期市場(chǎng)基準(zhǔn)指數(shù)表現(xiàn)的看法。買(mǎi)入股價(jià)表現(xiàn)將強(qiáng)于基準(zhǔn)指數(shù)20%以上增持股價(jià)表現(xiàn)將強(qiáng)于基準(zhǔn)指數(shù)5-20%中性股價(jià)表現(xiàn)將介于基準(zhǔn)指數(shù)±5%之間減持股價(jià)表現(xiàn)將弱于基準(zhǔn)指數(shù)5%以上行業(yè)投資評(píng)級(jí)：分析師給出下列評(píng)級(jí)中的其中一項(xiàng)代表其根據(jù)行業(yè)歷史基本面及（或）估值對(duì)所研究行業(yè)以報(bào)告日起12個(gè)月內(nèi)的基本面和行業(yè)指數(shù)相對(duì)于同期市場(chǎng)基準(zhǔn)指數(shù)表現(xiàn)的看法。增持行業(yè)基本面看好，相對(duì)表現(xiàn)優(yōu)于同期基準(zhǔn)指數(shù)行業(yè)基本面穩(wěn)定，相對(duì)表現(xiàn)與同期基準(zhǔn)指數(shù)持平減持行業(yè)基本面看淡，相對(duì)表現(xiàn)弱于同期基準(zhǔn)指數(shù)相關(guān)證券市場(chǎng)基準(zhǔn)指數(shù)說(shuō)明：A股市場(chǎng)以滬深300指數(shù)為基準(zhǔn)；港股市場(chǎng)以恒生指數(shù)為基準(zhǔn)；新三板市場(chǎng)以三板成指（針對(duì)協(xié)議轉(zhuǎn)讓標(biāo)的）或三板做市指數(shù)（針對(duì)做市轉(zhuǎn)讓標(biāo)的）為基準(zhǔn)指數(shù)。投資評(píng)級(jí)說(shuō)明：不同證券研究機(jī)構(gòu)采用不同的評(píng)級(jí)術(shù)語(yǔ)及評(píng)級(jí)標(biāo)準(zhǔn)，投資者應(yīng)區(qū)分不同機(jī)構(gòu)在相同評(píng)級(jí)名稱(chēng)下的定義差異。本評(píng)級(jí)體系采用的是相對(duì)評(píng)級(jí)體系。投資者買(mǎi)賣(mài)證券的決定取決于個(gè)人的實(shí)際情況。投資者應(yīng)閱讀整篇報(bào)告，以獲取比較完整的觀點(diǎn)與信息，投資者不應(yīng)以分析師的投資評(píng)級(jí)取代個(gè)人的分析與判斷。在法律許可的情況下，甬興證券有限公司(以下簡(jiǎn)稱(chēng)“本公司”）或其關(guān)聯(lián)機(jī)構(gòu)可能會(huì)持有報(bào)告中涉及的公司所發(fā)行的證券或期權(quán)并進(jìn)行交易，也可能為這些公司提供或爭(zhēng)取提供投資銀行、財(cái)務(wù)顧問(wèn)以及金融產(chǎn)品等各種服務(wù)。因此，投資者應(yīng)當(dāng)考慮到本公司或其相關(guān)人員可能存在影響本報(bào)告觀點(diǎn)客觀性的潛在利益沖突，投資者請(qǐng)勿將本報(bào)告視為投資或其他決定的唯一參考依據(jù)。也不應(yīng)當(dāng)認(rèn)為本報(bào)告可以取代自己的判斷。本報(bào)告版權(quán)歸屬于本公司所有，屬于非公開(kāi)資料。本公司對(duì)本報(bào)告保留一切權(quán)利。未經(jīng)本公司事先書(shū)面許可，任何機(jī)構(gòu)或個(gè)人不得以任何形式翻版、復(fù)制、轉(zhuǎn)載、刊登和引用本報(bào)告中的任何內(nèi)容。否則由此造成的一切不良后果及法律責(zé)任由