擁抱AI算力時代的星辰大海2024

E-mail：lixingjie@yongxiE-mail：xiamingda@yong20% 8% -4%-16%-28%-40%計算機滬深30011/2301/2403/2406/2408/2410/24資料來源：Wind，甬興證券研究所球范圍內(nèi)掀起了有史以來規(guī)模最大人工智能浪潮，2023年以來海外平，其中Hunyuan-Turbo-Preview、AndesGPT-2.0、S表現(xiàn)領(lǐng)先。由于大模型性能表現(xiàn)顯著優(yōu)于小模型，同時模型參數(shù)量提升為重要技術(shù)路線之一，我們認為“大”算力剛需屬性凸顯。短期看，訓(xùn)/推兩端算力需求或隨模型參數(shù)量、要求訓(xùn)練效率、用戶使用頻率等關(guān)鍵指標同步提升，假設(shè)模型平均參數(shù)量保持1000億個不再增長，當大模型數(shù)量達到10個，平均訓(xùn)練token時，訓(xùn)練端峰值算力需求或?qū)⑦_3472Pflops-day，推理端最大并發(fā)峰持續(xù)增長，AI需求保持強勁。24Q2北美四大CPS資本開支總計解決通用大模型的垂直化適配問題，GCI解決方法源，計算規(guī)?；?qū)⑻嵘?，帶動算力需求同步提升。GPU因并行計算架構(gòu)帶來強大計算效率，適配大模型計算需求。據(jù)內(nèi)高端AI芯片領(lǐng)域的前沿力量。據(jù)華東師范大學(xué)，F(xiàn)P16精度下，我們認為，受益于大模型的蓬勃發(fā)展，算力需求正處于高增階段。AI芯片作為重要算力底座，在自主可控的背景下景氣度有望提升，重點關(guān)注華為昇騰鏈相關(guān)環(huán)節(jié)投資機會，以及海光信息、寒武紀等算力鏈投資機會行業(yè)競爭加劇風(fēng)險、商業(yè)化進度不及預(yù)期風(fēng)險、技術(shù)路線調(diào)整風(fēng)險 3 3 5 7 11 17 17 3 4 5 5 5 5 6 6 7 7 8 8 9 10 12 13 13 13 14 15 15 15 16 7 8 9 17大模型，通向人工智能的基座模型。據(jù)《中國人工智能系列白皮書》（中國人工智能學(xué)會，2023.9本次大模型熱潮主要由語言大模型（亦稱為大語言模型）引領(lǐng)，大模型通過在海量無標注數(shù)據(jù)上進行大規(guī)模預(yù)訓(xùn)練，能夠?qū)W習(xí)到大量的語言知識與世界知識，并且通過指令微調(diào)、人類對齊等關(guān)鍵技術(shù)，擁有面向多任務(wù)的通用求解能力。據(jù)《大模型關(guān)鍵技術(shù)與未來絡(luò)結(jié)構(gòu)，能學(xué)習(xí)并理解更多的特征和模式，從而在處理復(fù)雜任務(wù)時展現(xiàn)出較強的自然語言理解、意圖識別、推理、上下文建模、語言生成以及通用問題求解能力，已成為AI領(lǐng)域的重要基礎(chǔ)設(shè)施。球范圍內(nèi)掀起了有史以來規(guī)模最大人工智能浪潮，國內(nèi)外大模型更新迭代層出不窮，我們梳理在此過程中大模型發(fā)展經(jīng)歷三個階段：1：起步期（2022年底~ChatGPT發(fā)布后國Meta開源Llama2等；國內(nèi)大模文心一言1.0、阿里云發(fā)布通義千問、清華開源ChatGLM、百川智能開源3：爆發(fā)期（2024年~至今各類大模型加速問世，開源模型崛起豐在部分通用能力上與國際領(lǐng)跑者差距已縮小至2%以內(nèi)。從國內(nèi)格局看，對比國內(nèi)外頭部模型長文本能力，我們認為國內(nèi)大模型具備競爭優(yōu)勢，據(jù)Superclue數(shù)據(jù)，在32K，64K，128K文本能力測試中，國內(nèi)大模型XVERSE-13B-LONGCONTEXT（元象科技對GPT4-Turbo-0125（OpenAI）領(lǐng)先。我們認為，長文本能力是具有產(chǎn)業(yè)落地意義的核心能力，有助于國內(nèi)大模型的場景應(yīng)用開拓。w64K文本得分 w64K文本得分 123456789Anthropic資料來源：SuperClue，甬興證券研究所資料來源：SuperClue，甬興證券研究所大模型性能顯著優(yōu)于小模型，指引發(fā)展方向。據(jù)《ScalingLawsfor率（sampleefficiency）更高，若要求達到相同效果，則大模型僅需更少的數(shù)據(jù)量（tokensprocessed）以及訓(xùn)練步驟（estimatedsmin有助于降低整體模型復(fù)雜度，提高運行速度。另外一方面，相同條件下大模型輸出效果同數(shù)量的tokens并給予同等訓(xùn)練步驟，則大模型訓(xùn)練訓(xùn)資料來源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所資料來源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所研究所大模型參數(shù)量提升為重要技術(shù)路線之一，計算資源剛需《中國人工智能系列白皮書》，預(yù)訓(xùn)練語言模型的研發(fā)過程中遵循經(jīng)驗法則——擴展定律（ScalingLaw即模型能力與任務(wù)效果將會隨模型參數(shù)規(guī)模和預(yù)訓(xùn)練數(shù)據(jù)規(guī)模的增加，而不斷改善；OpenAI亦證明了模型參數(shù)億參數(shù)）三個不同參數(shù)規(guī)模的模型，GPT-3在沒有微調(diào)的情況下，可以僅通過In-contextlearning（上下文學(xué)習(xí)）完成多種任務(wù)，甚至在某些任務(wù)上超過當時最好的專用模型。大算力滿足人工智能高并發(fā)、高彈性、高精度的計算需求，在訓(xùn)練和推理過程中，能夠提升效率和準確度；高性能的計算能力為機器學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理等人工智能技術(shù)的發(fā)展提供了有力的支持，通過實現(xiàn)復(fù)究所1.3.模型擴容+下游CapEx增長+垂類模型落地，推動算力需短期看，AI大模型在訓(xùn)練/推理端均產(chǎn)生海量算力需求，且需求量將大模型所需的算力分為訓(xùn)練端+推理端。據(jù)澎湃新聞，訓(xùn)練是一個計算密集型的學(xué)習(xí)過程，通過訓(xùn)練可提升模型的精準度，如果計算結(jié)果沒有達到預(yù)期，就需要調(diào)整參數(shù)重新訓(xùn)練，直到達到預(yù)期。一旦模型精準度達到一定水準后，則進入推理階段。推理是一個判斷過程，基于訓(xùn)練好的模平均訓(xùn)練tokens數(shù)達到7000個時，訓(xùn)練端峰值算力需求或?qū)⑦_資料來源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所資料來源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所模型參數(shù)模型平均參數(shù)量（億個，N）單模型單Token所需訓(xùn)練成本：6N52222所測算JohnsHopkinsUniversity,OpenAI，2020大模型前向推理公式為Cforward=2N+2nlayernctxdattn，其中N為模型參數(shù)量，nlayer為模型層數(shù)，nctx為上下文長度（ScalingLaws默認上下文長度1024dattn為注意力輸出維度量級相比兩倍模型參數(shù)2N仍較小，因此推理算力可近似為C=2NBS。如能力要求及時響應(yīng)，因此推理算力一般以秒為單位來衡量（Pflops-s最后通過調(diào)節(jié)最大并發(fā)峰值算力乘數(shù)，給與一定程度冗余保障峰值流量（參時，最大并發(fā)峰值算力需求將達到23148/115741/46資料來源：《ScalingLawsforNeuralLanguageModels》=推理端每秒峰值算力需求*最大并發(fā)峰值算力乘數(shù)資料來源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬興證券研究所模型參數(shù)模型平均參數(shù)量（億個，N）單模型單Token所需推理成本：2N服務(wù)次數(shù)555555554444所以微軟為例，其數(shù)據(jù)中心方面投資大部分投向AI基礎(chǔ)設(shè)施建設(shè)以滿足云需求。我們認為，云計算是大模型最重要的基礎(chǔ)設(shè)施和平臺之一，頭部CSP大廠資本開支對于AI算力行業(yè)景氣度前瞻意義明顯：北美四大云計大CPS資本開支總計516.3億美元，同比+59.0%，其中，微軟/谷歌/Amazon/Meta資本開支分別達138.7/131.9/163.9/81.7億美元，分別同比+55.1%/91.4%/57.4%/31.5%。谷歌Amazon資料來源：Wind，甬興證券研究所長期看，行業(yè)/垂類模型發(fā)展將帶動算力需求再上臺階。行業(yè)模型/垂類模型是AI+落地最后一公里，據(jù)騰訊研究院，通用大模型具備豐富的知識和強大的泛化能力可賦能垂直行業(yè)應(yīng)用，當前部分行業(yè)大模型，大多已應(yīng)用在金融、法律、教育、傳媒、文旅等領(lǐng)域。資料來源：騰訊研究院，甬興證券研究所為解決通用大模型的垂直化適配問題，計算規(guī)?；?qū)⑻嵘枨笸教嵘?。?jù)《MoreThanCatastrophicForgett大模型在針對特定領(lǐng)域認為進行微調(diào)后，由于模型最近的學(xué)習(xí)掩蓋并削弱了其先前的獲得的知識，可能導(dǎo)致一般任務(wù)性能有所下降，即“災(zāi)難性遺），步長內(nèi)整合領(lǐng)域知識，來為用戶詢問提供答復(fù)，有效協(xié)調(diào)通用模型和領(lǐng)域模型的知識，在這一過程中，調(diào)用知識資源或?qū)⒑挠酶嘤嬎隳芰?，帶動圖14:領(lǐng)域數(shù)據(jù)注入通用大模型后可能引起“災(zāi)難性遺忘”速器/計算卡，是專門用于處理人工智能應(yīng)用中的相關(guān)計GPU算力強大的原因源于其并行計算能力（parallelcomputingGPU基于將復(fù)雜問題拆解成為數(shù)千個乃至數(shù)百萬個單獨任務(wù)的設(shè)計思路，通過資料來源：NVIDIA官網(wǎng)，甬興證券研究所其通用性計算能力強的特征，滿足大型AI運營商的訓(xùn)/推、運營與調(diào)度需ASIC,1.0%FPGA,0.4%NPU,NPU,9.6%GPU,89.0%資料來源：IDC，中商產(chǎn)業(yè)研究院，甬興證券研究所現(xiàn)場可編程邏輯門陣列(FPGA)是一種帶有可編程硬件架構(gòu)的集成電路。FPGA內(nèi)部電路旨在實現(xiàn)多種功能，可根據(jù)需要重新編程以執(zhí)行這些功能。因此，就靈活性和快速面市而言，F(xiàn)PGA通常是較好選擇，因為隨著新功能的成熟，固化集成電路設(shè)計會更加經(jīng)濟和節(jié)能。專用集成電路(ASIC)專門針對特定功能而打造和批量生產(chǎn)。我們認為，ASIC相對高性能低消耗、可以基于多個人工智算法進行定制的特點，有望在AI成熟度提升后全球GPU市場規(guī)模（十億美元）30025020050020242029E資料來源：Statista，甬興證券研究所NvidiaAMD其他90807060504030201023Q123Q223Q323Q424Q1資料來源：JPR，甬興證券研究所我們認為，優(yōu)秀的架構(gòu)設(shè)計是英偉達GPU芯片性能不斷提升的底層包括一個新的TransformerEngine，可以在不損失準確性的前提下將這些網(wǎng)絡(luò)的速度提高6倍，Transformer模型訓(xùn)練時間從數(shù)周縮短至數(shù)天；H100的大規(guī)模訓(xùn)練性能是A100的9倍，大型語言模型推理吞吐量是資料來源：Nvidia官網(wǎng)，甬興證券研究所能。據(jù)百度開發(fā)者中心，CUDA（ComputeUnifiedDeviceArchitect英偉達公司開發(fā)的一種并行計算平臺和編程模型，它允許開發(fā)者使用階段，CUDA同樣發(fā)揮著關(guān)鍵作用，通過利用GPU的并行計算能力，CUDA可以加速模型的推理速度，提高實時性能。在處理海量數(shù)據(jù)時，資料來源：英偉達官網(wǎng)，甬興證券研究所性技術(shù)，可支持多達10萬億參數(shù)的模型進行AI訓(xùn)練和實時大語言模型2：第二代Transformer引擎：結(jié)合BlackwellTensorCore技術(shù)和Blackwell將通過新的4位浮點AI支持雙倍的計算和模型大小推理能力；3：第五代NVLink：為提高數(shù)萬億參數(shù)和混合專家AI模型的性能，于AI的預(yù)防性維護進行診斷和預(yù)測可靠性問題。這可以最大限度地延長5：安全人工智能：先進的機密計算功能可在不影響性能的情況下保護AI模型和客戶數(shù)據(jù)，并支持新的本機接口加密協(xié)議，進一步增強了芯6：解壓縮引擎：專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。資料來源：toms’Hardware，Nvidia，甬興證券研究所資料來源：toms’Hardware，Nvidia，甬興證券研究所資料來源：toms’Hardware，Nvidia，甬興證券研究所部工業(yè)和安全局（BIS）發(fā)布了一系列出口管制規(guī)則，更新了對先進計算集成電路、半導(dǎo)體制造設(shè)備以及支持超級計算應(yīng)用和最終用途的物項向包括中國在內(nèi)的武器禁運國家的出口管制措施，并將中國的部分實體列入了資料來源：BIS，甬興證券研究所據(jù)IT之家，徐直軍介紹稱，華為昇騰910采用自研達芬源計算框架MindSpore配合，可創(chuàng)新編程范式，AI科學(xué)用，便于開放式創(chuàng)新，最大化利用芯片算力。據(jù)華東師范大學(xué)研究NVIDIAA10019.5TFLOPS156TFLOPS(TC)312TFLOPS624TFLOPS(稀疏)512TFLOPS80GB4.0TB/s沐曦MXC50030/36TFLOPS240/280TFLOPS480/560TFLOPS64GB1.87TB/s華為910B81TFLOPS313TFLOPS512TFLOPS64GB1.6TB/s海光Z100L10.1TFLOPS20.2TFLOPS40.5TFLOPS32GB1TB/s寒武紀MLU370-X824TFLOPS96TFLOPS256TFLOPS48GB0.6TB/s資料來源：華東師范大學(xué)，寒武紀官網(wǎng)，甬興證券研究所我們認為，受益于大模型的蓬勃發(fā)展，算力需求正處于高增階段。AI芯片作為重要算力底座，在自主可控的背景下景氣度有望提升，重點關(guān)注1、行業(yè)競爭加劇風(fēng)險：行業(yè)景氣度高，可能吸引較多新進入者，產(chǎn)2、商業(yè)化進度不及預(yù)期風(fēng)險：若算力行業(yè)應(yīng)用端落地進度不及預(yù)期，3、技術(shù)路線調(diào)整風(fēng)險：若前沿技術(shù)快速迭代，可能造成技術(shù)路線的請務(wù)必閱讀報告正文后各項聲明本報告署名分析師具有中國證券業(yè)協(xié)會授予的證券投資咨詢執(zhí)業(yè)資格并注冊為證券分析師，以勤勉盡責(zé)的職業(yè)態(tài)度，專業(yè)審慎的研究方法，獨立、客觀地出具本報告，保證報告采用的信息均來自合規(guī)渠道，并對本報告的內(nèi)容和觀點負責(zé)。負責(zé)準備以及撰寫本報告的所有研究人員在此保證，本報告所發(fā)表的任何觀點均清晰、準確、如實地反映了研究人員的觀點和結(jié)論，并不受任何第三方的授意或影響。此外，所有研究人員薪酬的任何部分不曾、不與、也將不會與本報告中的具體推薦意見或觀點直接或間接相關(guān)。甬興證券有限公司經(jīng)中國證券監(jiān)督管理委員會核準，取得證券投資咨詢業(yè)務(wù)許可，具備證券投資咨詢業(yè)務(wù)資格。股票投資評級：分析師給出下列評級中的其中一項代表其根據(jù)公司基本面及（或）估值預(yù)期以報告日起6個月內(nèi)公司股價相對于同期市場基準指數(shù)表現(xiàn)的看法。買入股價表現(xiàn)將強于基準指數(shù)20%以上增持股價表現(xiàn)將強于基準指數(shù)5-20%中性股價表現(xiàn)將介于基準指數(shù)±5%之間減持股價表現(xiàn)將弱于基準指數(shù)5%以上行業(yè)投資評級：分析師給出下列評級中的其中一項代表其根據(jù)行業(yè)歷史基本面及（或）估值對所研究行業(yè)以報告日起12個月內(nèi)的基本面和行業(yè)指數(shù)相對于同期市場基準指數(shù)表現(xiàn)的看法。增持行業(yè)基本面看好，相對表現(xiàn)優(yōu)于同期基準指數(shù)行業(yè)基本面穩(wěn)定，相對表現(xiàn)與同期基準指數(shù)持平減持行業(yè)基本面看淡，相對表現(xiàn)弱于同期基準指數(shù)相關(guān)證券市場基準指數(shù)說明：A股市場以滬深300指數(shù)為基準；港股市場以恒生指數(shù)為基準；新三板市場以三板成指（針對協(xié)議轉(zhuǎn)讓標的）或三板做市指數(shù)（針對做市轉(zhuǎn)讓標的）為基準指數(shù)。投資評級說明：不同證券研究機構(gòu)采用不同的評級術(shù)語及評級標準，投資者應(yīng)區(qū)分不同機構(gòu)在相同評級名稱下的定義差異。本評級體系采用的是相對評級體系。投資者買賣證券的決定取決于個人的實際情況。投資者應(yīng)閱讀整篇報告，以獲取比較完整的觀點與信息，投資者不應(yīng)以分析師的投資評級取代個人的分析與判斷。在法律許可的情況下，甬興證券有限公司(以下簡稱“本公司”）或其關(guān)聯(lián)機構(gòu)可能會持有報告中涉及的公司所發(fā)行的證券或期權(quán)并進行交易，也可能為這些公司提供或爭取提供投資銀行、財務(wù)顧問以及金融產(chǎn)品等各種服務(wù)。因此，投資者應(yīng)當考慮到本公司或其相關(guān)人員可能存在影響本報告觀點客觀性的潛在利益沖突，投資者請勿將本報告視為投資或其他決定的唯一參考依據(jù)。也不應(yīng)當認為本報告可以取代自己的判斷。本報告版權(quán)歸屬于本公司所有，屬于非公開資料。本公司對本報告保留一切權(quán)利。未經(jīng)本公司事先書面許可，任何機構(gòu)或個人不得以任何形式翻版、復(fù)制、轉(zhuǎn)載、刊登和引用本報告中的任何內(nèi)容。否則由此造成的一切不良后果及法律責(zé)任由