通信行業(yè)專題報告

通信行業(yè)專題報告：GPT~4引發(fā)新一輪AI算力需求爆發(fā)一、OpenAI正式發(fā)布多模態(tài)大模型GPT-4，實現(xiàn)多重能力躍升（一）多模態(tài)大模型GPT-4是OpenAI公司GPT系列最新一代模型美國OpenAI公司成立于2015年12月，是全球頂級的人工智能研究機構(gòu)之一，創(chuàng)始人包括ElonMusk、著名投資者SamAltman、支付服務PayPal創(chuàng)始人PeterThiel等人。OpenAI作為人工智能領域的革命者，成立至今開發(fā)出多款人工智能產(chǎn)品。2016年，OpenAI推出了用于強化學習研究的工具集OpenAIGym；同時推出開源平臺OpenAIUniverse，用于測試和評估智能代理機器人在各類環(huán)境中的表現(xiàn)。2019年，OpenAI發(fā)布了GPT-2模型，可根據(jù)輸入文本自動生成語言，展現(xiàn)出人工智能創(chuàng)造性思維的能力；2020年更新了GPT-3語言模型，并在其基礎上發(fā)布了OpenAICodex模型，該模型可以自動生成完整有效的程序代碼。2021年1月，OpenAI發(fā)布了OpenAICLIP，用于進行圖像和文本的識別分類；同時推出全新產(chǎn)品DALL-E，該模型可以根據(jù)文字描述自動生成對應的圖片，2022年更新的DALL-E2更是全方位改進了生成圖片的質(zhì)量，獲得了廣泛好評。2022年12月，OpenAI推出基于GPT-3.5的新型AI聊天機器人ChatGPT，在發(fā)布進兩個月后擁有1億用戶，成為史上用戶增長最快的應用；美東時間2023年3月14日，ChatGPT的開發(fā)機構(gòu)OpenAI正式推出多模態(tài)大模型GPT-4。GPT（GeneralPre-Training）系列模型即通用預訓練語言模型，是一種利用Transformer作為特征抽取器，基于深度學習技術的自然語言處理模型。GPT系列模型由OpenAI公司開發(fā)，經(jīng)歷了長達五年時間的發(fā)展：（1）其最早的產(chǎn)品GPT模型于2018年6月發(fā)布，該模型可以根據(jù)給定的文本序列進行預測下一個單詞或句子，充分證明通過對語言模型進行生成性預訓練可以有效減輕NLP任務中對于監(jiān)督學習的依賴；（2）2019年2月GPT-2模型發(fā)布，該模型取消了原GPT模型中的微調(diào)階段，變?yōu)闊o監(jiān)督模型，同時，GPT-2采用更大的訓練集嘗試zero-shot學習，通過采用多任務模型的方式使其在面對不同任務時都能擁有更強的理解能力和較高的適配性；（3）GPT-3模型于2020年6月被發(fā)布，它在多項自然語言處理任務上取得了驚人的表現(xiàn)，并被認為是迄今為止最先進的自然語言處理模型之一。GPT-3訓練使用的數(shù)據(jù)集為多種高質(zhì)量數(shù)據(jù)集的混合，一次保證了訓練質(zhì)量；同時，該模型在下游訓練時用Few-shot取代了GPT-2模型使用的zero-shot，即在執(zhí)行任務時給予少量樣例，以此提高準確度；除此之外，它在前兩個模型的基礎上引入了新的技術——“零樣本學習”，即GPT-3即便沒有對特定的任務進行訓練也可以完成相應的任務，這使得GPT-3面對陌生語境時具有更好的靈活性和適應性。（4）2022年11月，OpenAI發(fā)布GPT-3.5模型，是由GPT-3微調(diào)出來的版本，采用不同的訓練方式，其功能更加強大。基于GPT-3.5模型，并加上人類反饋強化學習（RLHF）發(fā)布ChatGPT應用，ChatGPT的全稱為ChatGenerativePre-trainedTransformer，是建立在大型語言模型基礎上的對話式自然語言處理工具，表現(xiàn)形式是一種聊天機器人程序，能夠?qū)W習及理解人類的語言，根據(jù)聊天的上下文進行互動，甚至能夠完成翻譯、編程、撰寫論文、編輯郵件等功能。（5）2023年3月，OpenAI正式發(fā)布大型多模態(tài)模型GPT-4（輸入圖像和文本，輸出文本輸出），此前主要支持文本，現(xiàn)模型能支持識別和理解圖像。（二）GPT大模型通過底層技術的疊加，實現(xiàn)組合式的創(chuàng)新由于OpenAI并沒有提供關于GPT-4用于訓練的數(shù)據(jù)、算力成本、訓練方法、架構(gòu)等細節(jié)，故我們本章主要討論ChatGPT模型的技術路徑。ChatGPT模型從算法分來上來講屬于生成式大規(guī)模語言模型，底層技術包括Transformer架構(gòu)、有監(jiān)督微調(diào)訓練、RLHF強化學習等，ChatGPT通過底層技術的疊加，實現(xiàn)了組合式的創(chuàng)新。GPT模型采用了由Google提出的Transformer架構(gòu)。Transformer架構(gòu)采用自注意力機制的序列到序列模型，是目前在自然語言處理任務中最常用的神經(jīng)網(wǎng)絡架構(gòu)之一。相比于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡（RNN）或卷積神經(jīng)網(wǎng)絡（CNN），Transformer沒有顯式的時間或空間結(jié)構(gòu)，因此可以高效地進行并行計算，并且Transformer具有更好的并行化能力和更強的長序列數(shù)據(jù)處理能力。ChatGPT模型采用了“預訓練+微調(diào)”的半監(jiān)督學習的方式進行訓練。第一階段是Pre-Training階段，通過預訓練的語言模型（PretrainedLanguageModel），從大規(guī)模的文本中提取訓練數(shù)據(jù)，并通過深度神經(jīng)網(wǎng)絡進行處理和學習，進而根據(jù)上下文預測生成下一個單詞或者短語，從而生成流暢的語言文本；第二階段是Fine-tuning階段，將已經(jīng)完成預訓練的GPT模型應用到特定任務上，并通過少量的有標注的數(shù)據(jù)來調(diào)整模型的參數(shù)，以提高模型在該任務上的表現(xiàn)。ChatGPT在訓練中使用了RLHF人類反饋強化學習模型，是GPT-3模型經(jīng)過升級并增加對話功能后的最新版本。2022年3月，OpenAI發(fā)布InstructGPT，這一版本是GPT-3模型的升級版本。相較于之前版本的GPT模型，InstructGPT引入了基于人類反饋的強化學習技術（ReinforcementLearningwithHumanFeedback，RLHF），對模型進行微調(diào)，通過獎勵機制進一步訓練模型，以適應不同的任務場景和語言風格，給出更符合人類思維的輸出結(jié)果。RLHF的訓練包括訓練大語言模型、訓練獎勵模型及RLHF微調(diào)三個步驟。首先，需要使用預訓練目標訓練一個語言模型，同時也可以使用額外文本進行微調(diào)。其次，基于語言模型訓練出獎勵模型，對模型生成的文本進行質(zhì)量標注，由人工標注者按偏好將文本從最佳到最差進行排名，借此使得獎勵模型習得人類對于模型生成文本序列的偏好。最后利用獎勵模型輸出的結(jié)果，通過強化學習模型微調(diào)優(yōu)化，最終得到一個更符合人類偏好語言模型。（三）GPT-4相較于ChatGPT實現(xiàn)多重能力躍遷ChatGPT于2022年11月推出之后，僅用兩個月時間月活躍用戶數(shù)便超過1億，在短時間內(nèi)積累了龐大的用戶基數(shù)，也是歷史上增長最快的消費應用。多模態(tài)大模型GPT-4是OpenAI的里程碑之作，是目前最強的文本生成模型。ChatGPT推出后的三個多月時間里OpenAI就正式推出GPT-4，再次拓寬了大模型的能力邊界。GPT-4是一個多模態(tài)大模型（接受圖像和文本輸入，生成文本），相比上一代，GPT-4可以更準確地解決難題，具有更廣泛的常識和解決問題的能力：更具創(chuàng)造性和協(xié)作性；能夠處理超過25000個單詞的文本，允許長文內(nèi)容創(chuàng)建、擴展對話以及文檔搜索和分析等用例。（1）GPT-4具備更高的準確性及更強的專業(yè)性。GPT-4在更復雜、細微的任務處理上回答更可靠、更有創(chuàng)意，在多類考試測驗中以及與其他LLM的benchmark比較中GPT-4明顯表現(xiàn)優(yōu)異。GPT-4在模擬律師考試GPT-4取得了前10%的好成績，相比之下GPT-3.5是后10%；生物學奧賽前1%；美國高考SAT中GPT-4在閱讀寫作中拿下710分高分、數(shù)學700分（滿分800）。（2）GPT能夠處理圖像內(nèi)容，能夠識別較為復雜的圖片信息并進行解讀。GPT-4突破了純文字的模態(tài)，增加了圖像模態(tài)的輸入，支持用戶上傳圖像，并且具備強大的圖像能力—能夠描述內(nèi)容、解釋分析圖表、指出圖片中的不合理指出或解釋梗圖。在OpenAI發(fā)布的產(chǎn)品視頻中，開發(fā)者給GPT-4輸入了一張“用VGA電腦接口給iPhone充電”的圖片，GPT-4不僅可以可描述圖片，還指出了圖片的荒謬之處。（3）GPT-4可以處理超過25000字的文本。在文本處理上，GPT-4支持輸入的文字上限提升至25000字，允許長文內(nèi)容創(chuàng)建、擴展對話以及文檔搜索和分析等用例。且GPT-4的多語言處理能力更優(yōu)，在GPT-4的測評展示中，GPT-4可以解決法語的物理問題，且在測試的英語、拉脫維亞語、威爾士語和斯瓦希里語等26種語言中，有24種語言下，GPT-4優(yōu)于GPT-3.5和其他大語言模型（Chinchilla、PaLM）的英語語言性能。（4）具備自我訓練與預測能力，同時改善幻覺、安全等局限性。GPT-4的一大更新重點是建立了一個可預測拓展的深度學習棧，使其具備了自我訓練及預測能力。同時，GPT-4在相對于以前的模型已經(jīng)顯著減輕了幻覺問題。在OpenAI的內(nèi)部對抗性真實性評估中，GPT-4的得分比最新的GPT-3.5模型高40%；在安全能力的升級上，GPT-4明顯超出ChatGPT和GPT3.5。（四）商業(yè)模式愈發(fā)清晰，微軟Copilot引發(fā)跨時代的生產(chǎn)力變革OpenAI已正式宣布為第三方開開發(fā)者開放ChatGPTAPI，價格降低加速場景應用爆發(fā)。起初ChatGPT免費向用戶開放，以獲得用戶反饋；今年2月1日，OpenAI推出新的ChatGPTPlus訂閱服務，收費方式為每月20美元，訂閱者能夠因此而獲得更快、更穩(wěn)定的響應并優(yōu)先體驗新功能。3月2日，OpenAI官方宣布正式開放ChatGPTAPI（應用程序接口），允許第三方開發(fā)者通過API將ChatGPT集成至他們的應用程序和服務中，價格為1ktokens/$0.002，即每輸出100萬個單詞需要2.7美元，比已有的GPT-3.5模型價格降低90%。模型價格的降低將推動ChatGPT被集成到更多場景或應用中，豐富ChatGPT的應用生態(tài)，加速多場景應用的爆發(fā)。GPT-4發(fā)布后OpenAI把ChatGPT直接升級為GPT-4最新版本，同時開放了GPT-4的API。ChatGPTPlus付費訂閱用戶可以獲得具有使用上限的GPT-4訪問權限（每4小時100條消息），可以向GPT-4模型發(fā)出純文本請求。用戶可以申請使用GPT-4的API，OpenAI會邀請部分開發(fā)者體驗，并逐漸擴大邀請范圍。該API的定價為每輸入1000個字符(約合750個單詞)，價格為0.03美元；GPT-4每生成1000個字符價格為0.06美元。Office引入GPT-4帶來的結(jié)果是生產(chǎn)力、創(chuàng)造力的全面躍升。微軟今天宣布，其與OpenAI共同開發(fā)的聊天機器人技術BingChat正在GPT-4上運行。CopilotOpenAI發(fā)布升級后的GPT-4后，微軟重磅發(fā)布了GPT-4平臺支持的新AI功能，Microsoft365Copilot，并將其嵌入Word、PowerPoint、Excel、Teams等Office辦公軟件中。Copilot可以在一篇速記的基礎上快速生成新聞草稿、并完成草稿潤色；在Excel中完成各種求和、求平均數(shù)，做表格、歸納數(shù)據(jù)、甚至是完成總結(jié)提取；在PPT上可以直接將文稿內(nèi)容一鍵生成；在Outlook郵件中自動生成內(nèi)容、并自由調(diào)整寫作風格、插入圖表；在Teams中總結(jié)視頻會議的要點/每個發(fā)言人誰說了核心內(nèi)容，跟進會議流程和內(nèi)容，自動生成會議紀要、要點和任務模板。基于GPT-4的Copilot可以看作是一個辦公AI助理，充分發(fā)揮出了AI對于辦公場景的賦能作用，有望從根本上改變工作模式并開啟新一輪生產(chǎn)力增長浪潮。二、GPT-4帶動多模態(tài)x多場景落地，AIGC藍海市場打開（一）歷經(jīng)三階段發(fā)展，AIGC技術升級步入深化階段AIGC全程為AI-GeneratedContent，人工智能生成內(nèi)容，是繼專業(yè)生成內(nèi)容（PGC，ProfessionalGenerateContent）和用戶生成內(nèi)容（UGC，UserGenerateContent）之后，利用AI自動生成內(nèi)容的新型生產(chǎn)方式。傳統(tǒng)AI大多屬于分析式AI，對已有數(shù)據(jù)進行分析并應用于相應領域。以AIGC為典型的生成式AI不在局限于分析固有數(shù)據(jù)，而是基于訓練數(shù)據(jù)和算法模型自主生成創(chuàng)造新的文本、3D、視頻等各種形式的內(nèi)容。歷經(jīng)三階段迭代，AIGC現(xiàn)已進入快速發(fā)展階段：（1）早期萌芽階段（1950s-1990s），受限于科技水平及高昂的系統(tǒng)成本，AIGC僅限于小范圍實驗。（2）沉淀積累階段（1990s-2010s），AIGC開始從實驗性向?qū)嵱眯灾饾u轉(zhuǎn)變。但由于其受限于算法瓶頸，完成創(chuàng)作能力有限，應用領域仍具有局限性；（3）快速發(fā)展階段（2010s-至今），GAN（GenerativeAdversarialNetwork,生成式對抗網(wǎng)絡）等深度學習算法的提出和不斷迭代推動了AIGC技術的快速發(fā)展，生成內(nèi)容更加多元化。AIGC可分為智能數(shù)字內(nèi)容孿生、智能數(shù)字內(nèi)容編輯及智能數(shù)字內(nèi)容創(chuàng)作三大層次。生成式AI是指利用現(xiàn)有文本、音頻文件或圖像創(chuàng)建新內(nèi)容的人工智能技術，其起源于分析式AI，在分析式AI總結(jié)歸納數(shù)據(jù)知識的基礎上學習數(shù)據(jù)產(chǎn)生模式，創(chuàng)造出新的樣本內(nèi)容。在分析式AI的技術基礎上，GAN、Transformer網(wǎng)絡等多款生成式AI技術催生出許多AIGC產(chǎn)品，如DALL-E、OpenAI系列等，它們在音頻、文本、視覺上有眾多技術應用，并在創(chuàng)作內(nèi)容的方式上變革演化出三大前沿能力。AIGC根據(jù)面向?qū)ο?、實現(xiàn)功能的不同可以分為智能數(shù)字內(nèi)容孿生、智能數(shù)字內(nèi)容編輯及智能數(shù)字內(nèi)容創(chuàng)作三大層次。（二）生成算法+預訓練模型+多模態(tài)推動AIGC的爆發(fā)AIGC的爆發(fā)離不開其背后的深度學習模型的技術加持，生成算法、預訓練和多模態(tài)技術的不斷發(fā)展幫助了AIGC模型具備通用性強、參數(shù)海量、多模態(tài)和生成內(nèi)容高質(zhì)量的特質(zhì)，讓AIGC實現(xiàn)從技術提升到技術突破的轉(zhuǎn)變。（1）生成算法模型不斷迭代創(chuàng)新，為AIGC的發(fā)展奠定基礎。早期人工智能算法學習能力不強，AIGC技術主要依賴于事先指定的統(tǒng)計模型或任務來完成簡單的內(nèi)容生成和輸出，對客觀世界和人類語言文字的感知能力較弱，生成內(nèi)容刻板且具有局限性。GAN（GenerativeAdversarialNetwork,生成式對抗網(wǎng)絡）的提出讓AIGC發(fā)展進入新階段，GAN是早期的生成模型，利用博弈框架產(chǎn)生輸出，被廣泛應用于生成圖像、視頻語音等領域。隨后Transformer、擴散模型、深度學習算法模型相繼涌現(xiàn)。Transformer被廣泛應用于NLP、CV等領域，GPT-3、LaMDA等預訓練模型大多是基于transformer架構(gòu)構(gòu)建的。ChatGPT是基于Transformer架構(gòu)上的語言模型，Transformer負責調(diào)度架構(gòu)和運算邏輯，進而實現(xiàn)最終計算。Tansformer是谷歌于2017年《AttentionisAllYouNeed》提出的一種深度學習模型架構(gòu)，其完全基于注意力機制，可以按照輸入數(shù)據(jù)各部分重要性來分配不同的權重，無需重復和卷積。相較于循環(huán)神經(jīng)網(wǎng)絡（RNN）流水線式的序列計算，Transformer可以一次處理所有的輸入，擺脫了人工標注數(shù)據(jù)集的缺陷，實現(xiàn)了大規(guī)模的并行計算，模型所需的訓練時間明顯減少，大規(guī)模的AI模型質(zhì)量更優(yōu)。Transformer的核心構(gòu)成是編碼模塊和解碼模塊。GPT使用的是解碼模塊，通過模塊間彼此大量堆疊的方式形成了GPT模型的底層架構(gòu)，模塊分為前饋神經(jīng)網(wǎng)絡層、編解碼自注意力機制層（Self-Attention）、自注意力機制掩碼層。自注意力機制層負責計算數(shù)據(jù)在全部內(nèi)容的權重（即Attention），掩碼層幫助模型屏蔽計算位置右側(cè)未出現(xiàn)的數(shù)據(jù)，最后把輸出的向量結(jié)果輸入前饋神經(jīng)網(wǎng)絡，完成模型參數(shù)計算。（2）預訓練模型引發(fā)AIGC技術能力的質(zhì)變。AI預訓練模型是基于大規(guī)模寬泛的數(shù)據(jù)進行訓練后擁有適應廣泛下游任務能力的模型，預訓練屬于遷移學習的領域，其主旨是使用標注數(shù)據(jù)前，充分利用大量無標注數(shù)據(jù)進行訓練，模型從中全面學習到與標注無關的潛在知識，進而使模型靈活變通的完成下游任務。視覺大模型提升AIGC感知能力，語言大模型增強AIGC認知能力。NLP模型是一種使用自然語言處理（NaturalLanguageProcessing，NLP）技術來解決自然語言相關問題的機器學習模型。在NLP領域，AI大模型可適用于人機語言交互，并進行自然語言處理從實現(xiàn)相應的文本分類、文本生成、語音識別、序列標注、機器翻譯等功能。NLP的研究經(jīng)過了以規(guī)則為基礎的研究方法和以統(tǒng)計為基礎的研究方法的發(fā)展，目前以基于Transformer的預訓練模型已成為當前NLP領域的研究熱點，BERT、GPT等模型均采用這一方法。CV模型指計算機視覺模型，是一種基于圖像或視頻數(shù)據(jù)的人工智能模型。常見的CV模型有采用深度學習的卷積神經(jīng)網(wǎng)絡（CNN）和生成對抗網(wǎng)絡（GAN）。近年來以視覺Transformer（ViT）為典型的新型神經(jīng)網(wǎng)絡，通過人類先驗知識引入網(wǎng)絡設計，使得模型的收斂速度、泛化能力、擴展性及并行性得到飛速提升，通過無監(jiān)督預訓練和微調(diào)學習，在多個計算機視覺任務，如圖像分類、目標檢測、物體識別、圖像生成等取得顯著的進步。（3）多模態(tài)技術拓寬了AIGC技術的應用廣度。多模態(tài)技術將不同模態(tài)（圖像、聲音、語言等）融合在預訓練模型中，使得預訓練模型從單一的NLP、CV發(fā)展成音視頻、語言文字、文本圖像等多模態(tài)、跨模態(tài)模型。多模態(tài)大模型通過尋找模態(tài)數(shù)據(jù)之間的關聯(lián)點，將不同模態(tài)的原始數(shù)據(jù)投射在相似的空間中，讓模態(tài)之間的信號相互理解，進而實現(xiàn)模態(tài)數(shù)據(jù)之間的轉(zhuǎn)化和生成。這一技術對AIGC的原創(chuàng)生成能力的發(fā)展起到了重要的支持作用，2021年OpenAI推出AI繪畫產(chǎn)品DALL.E可通過輸入文字理解生成符合語義且獨一無二的繪畫作品，其背后離不開多模態(tài)技術的支持。（三）多模態(tài)x多場景落地，AIGC爆發(fā)商業(yè)潛力ChatGPT的廣泛應用意味著AIGC規(guī)?；?、商業(yè)化的開始。ChatGPT是文字語言模態(tài)AIGC的具體應用，在技術、應用領域和商業(yè)化方面和傳統(tǒng)AI產(chǎn)品均有所不同。ChatGPT已經(jīng)具備了一定的對現(xiàn)實世界內(nèi)容進行語義理解和屬性操控的能力，并可以對其回以相應的反饋。ChatGPT是AIGC重要的產(chǎn)品化應用，意味著AIGC規(guī)模化、商業(yè)化的開始。創(chuàng)新工場董事長兼CEO李開復博士在3月14日表示，ChatGPT快速普及將進一步引爆AI2.0商業(yè)化。AI2.0是絕對不能錯過的一次革命。多家公司正加緊研發(fā)ChatGPT類似產(chǎn)品，引爆新一輪科技企業(yè)AI軍備競賽。在GPT4推出之后，Google開放自家的大語言模型API「PaLMAPI」，此外還發(fā)布了一款幫助開發(fā)者快速構(gòu)建AI程序的工具MakerSuite。2月底，Meta公布一款全新的AI大型語言模型LLaMA，宣稱可幫助研究人員降低生成式AI工具可能帶來的“偏見、有毒評論、產(chǎn)生錯誤信息的可能性”等問題。AIGC的應用領域分為視頻、音頻、文本、圖像、跨模態(tài)生成五個部分。AIGC以其真實性、多樣性、可控性、組合性的特質(zhì)，為各行業(yè)、各領域提供了更加豐富多元、動態(tài)且可交互的內(nèi)容。根據(jù)AIGC生成內(nèi)容的模態(tài)不同，可將AIGC的應用領域分為視頻、音頻、文本、圖像、跨模態(tài)生成五個部分。其中，在圖像、文本、音頻等領域，AIGC已經(jīng)得到了較大優(yōu)化，生成內(nèi)容質(zhì)量得到明顯提升；而在視頻與跨模態(tài)內(nèi)容生成方面，AIGC擁有巨大發(fā)展?jié)摿ΑＨ?、高算力需求帶動基礎設施迭代加速（一）AI大模型驅(qū)動高算力需求數(shù)據(jù)、算力及模型是人工智能發(fā)展的三要素。以GPT系列為例：（1）數(shù)據(jù)端：自OpenAI于2018年發(fā)布GPT-1，到2020年的GPT-3，GPT模型參數(shù)數(shù)量和訓練數(shù)據(jù)量實現(xiàn)指數(shù)型增長。參數(shù)數(shù)量從GPT-1的1.17億增長到GPT-3的1750億，訓練數(shù)據(jù)量從5GB增長到的45TB；（2）模型端：ChatGPT在以往模型的基礎上，在語料庫、計算能力、預訓練、自我學習能力等方面有了明顯提升，同時Transformer架構(gòu)突破了人工標注數(shù)據(jù)集的不足，實現(xiàn)與人類更順暢的交流；（3）算力端：根據(jù)OpenAl發(fā)布的《LanguageModelsareFew-ShotLearners》，訓練13億參數(shù)的GPT-3XL模型訓練一次消耗的算力約為27.5PFlop/s-dav，訓練1750億參數(shù)的完整GPT-3模型則會消耗算力3640PFlop/s-dav（以一萬億次每秒速度計算，需要3640天完成）。在人工智能發(fā)展的三要素中，數(shù)據(jù)與算法都離不開算力的支撐。隨著AI算法突飛猛進的發(fā)展，越來越多的模型訓練需要巨量算力支撐才能快速有效實施，同時數(shù)據(jù)量的不斷增加也要求算力配套進化。如此看來，算力成為AI突破的關鍵因素。AI大模型的算力需求主要來自于預訓練、日常運營和模型微調(diào)。（1）預訓練：在完成完整訓練之前，搭建一個網(wǎng)絡模型完成特定任務，在訓練網(wǎng)絡過程中不斷調(diào)整參數(shù)，直至網(wǎng)絡損失和運行性能達到預期目標，此時可以將訓練模型的參數(shù)保存，用于之后執(zhí)行類似任務。根據(jù)中國信通院數(shù)據(jù)，ChatGPT基于GPT3.5系列模型，模型參數(shù)規(guī)模據(jù)推測達十億級別，參照參數(shù)規(guī)模相近的GPT-3XL模型，則ChatGPT完整一次預訓練消耗算力約為27.5PFlop/s-dav。（2）日常運營：滿足用戶日常使用數(shù)據(jù)處理需求。根據(jù)Similarweb的數(shù)據(jù)，23年1月份ChatGPT月活約6.16億，跳出率13.28%每次訪問頁數(shù)5.85頁，假設每頁平均200token。同時假設：模型的FLlops利用率為21.3%與訓練期間的GPT-3保持一致；完整參數(shù)模型較GPT-3上升至2500億；以FLOPs為指標，SOTA大型語言在在推理過程中每個token的計算成本約為2N。根據(jù)以上數(shù)據(jù)及假設，每月日常運營消耗算力約為6.16億*2*（1-13.28%）*5.85*200*2500億/21.3%=14672PFlop/s-day。（3）模型微調(diào)：執(zhí)行類似任務時，使用先前保存的模型參數(shù)作為初始化參數(shù)，在訓練過程中依據(jù)結(jié)果不斷進行微調(diào)，使之適應新的任務。ChatGPT引發(fā)新一輪AI算力需求爆發(fā)。根據(jù)OpenAI發(fā)布的《AIandCompute》分析報告中指出，自2012年以來，AI訓練應用的算力需求每3.4個月就回會翻倍，從2012年至今，AI算力增長超過了30萬倍。據(jù)OpenAI報告，ChatGPT的總算力消耗約為3640PF-days（即假如每秒計算一千萬億次，需要計算3640天），需要7-8個算力500P的數(shù)據(jù)中心才能支撐運行。上海新興信息通信技術應用研究院首席專家賀仁龍表示，“自2016年阿爾法狗問世，智能算力需求開啟爆發(fā)態(tài)勢。如今ChatGPT則代表新一輪AI算力需求的爆發(fā)”。全球算力規(guī)模將呈現(xiàn)高速增長態(tài)勢。根據(jù)國家數(shù)據(jù)資源調(diào)查報告數(shù)據(jù)，2021年全球數(shù)據(jù)總產(chǎn)量67ZB，近三年平均增速超過26%，經(jīng)中國信息通信研究院測算，2021年全球計算設備算力總規(guī)模達到615EFlops，增速達44%。根據(jù)中國信通院援引的IDC數(shù)據(jù)，2025年全球算力整體規(guī)模將達3300EFlops，2020-2025年的年均復合增長率達到50.4%。結(jié)合華為GIV預測，2030年人類將迎來YB數(shù)據(jù)時代，全球算力規(guī)模達到56ZFlops，2025-2030年復合增速達到76.2%。（二）云商/運營商推進AI領域算力基礎設施投入北美云廠商資本支出向技術基礎設施和新數(shù)據(jù)中心架構(gòu)傾斜。22Q4亞馬遜資本支出主要用于技術基礎設施的投資，其中大部分用于支持AWS業(yè)務增長與支持履行網(wǎng)絡的額外能力。預計未來相關投資將延續(xù)，并增加在技術基礎設施方面的支出。谷歌指引2023年資本開支與2022年基本持平，其中技術基礎設施有所增加，而辦公基礎設施將減少。Meta2022年資本開支為314.3億美元，同比增長69.3%，但同時Meta略微調(diào)低其2023年資本開支預期至300-330億美元（此前預期為340-370億美元），主要原因系減少數(shù)據(jù)中心建設的相關支出，轉(zhuǎn)向新的更具成本效益的、同時支持AI和非AI工作量的數(shù)據(jù)中心新架構(gòu)。國內(nèi)三大運營商積極布局算力網(wǎng)絡，資本支出向新興業(yè)務傾斜。電信運營商作為數(shù)字基座打造者，運營商數(shù)字業(yè)務板塊成為收入增長的主要引擎，近幾年資本支出由主干網(wǎng)絡向新興業(yè)務傾斜。中國移動計劃2022年全年算力網(wǎng)絡投資480億元，占其總資本開支的39.0%。2022Q3，中國移動算力規(guī)模達到7.3EFLOPS，并計劃在2025年底達到20EFLOPS以上。中國電信產(chǎn)業(yè)數(shù)字化資本開支占比同比上升9.3pc，算力總規(guī)模計劃由2022年中的3.1EFLOPS提升至2025年底的16.3EFLOPS。中國聯(lián)通2022年預計算力網(wǎng)絡資本開支達到145億，同比提升43%，云投資預計提升88%。作為算力基礎設施建設的主力軍，三大運營商目前已經(jīng)進行前瞻性的基礎設施布局。通信運營商自身擁有優(yōu)質(zhì)網(wǎng)絡、算力、云服務能力的通信運營商，同時具備天然的產(chǎn)業(yè)鏈優(yōu)勢，依靠5G+AI技術優(yōu)勢，為下游客戶提供AI服務能力，是新型信息服務體系中重要的一環(huán)，助力千行百業(yè)數(shù)字化轉(zhuǎn)型。在移動網(wǎng)絡方面，中國運營商已建設覆蓋全國的高性能高可靠4/5G網(wǎng)絡；在固定寬帶方面，光纖接入（FTTH/O）端口達到10.25億個，占比提升至95.7%；在算力網(wǎng)絡方面，運營商在資本開支結(jié)構(gòu)上向算力網(wǎng)絡傾斜，提升服務全國算力網(wǎng)絡能力。在AI服務能力方面，加快AI領域商業(yè)化應用推出，發(fā)揮自身產(chǎn)業(yè)鏈優(yōu)勢，助力千行百業(yè)數(shù)字化轉(zhuǎn)型。（三）算力需求帶動數(shù)據(jù)中心架構(gòu)及技術加速升級1、數(shù)據(jù)中心呈現(xiàn)超大規(guī)模發(fā)展趨勢。超大規(guī)模數(shù)據(jù)中心，即HyperscaleDataCenter，與傳統(tǒng)數(shù)據(jù)中心的核心區(qū)別在于超大規(guī)模數(shù)據(jù)中心具備更強大的可擴展性及計算能力。1）規(guī)模上，超級數(shù)據(jù)中心可容納的規(guī)模要比傳統(tǒng)數(shù)據(jù)中心大得多，可以容納數(shù)百萬臺服務器和更多的虛擬機；2）性能上，超級數(shù)據(jù)中心具有更高的可擴展性和計算能力，能夠滿足數(shù)據(jù)處理數(shù)量和速率大幅提升的需求。具體來講，相較于傳統(tǒng)數(shù)據(jù)中心，超大規(guī)模數(shù)據(jù)中心的優(yōu)勢在于：（1）可擴展性：超大規(guī)模數(shù)據(jù)中心的網(wǎng)絡基礎架構(gòu)響應更迅速、擴展更高效且更具成本效益，并且提供快速擴展存儲和計算資源以滿足需求的能力，超大規(guī)模數(shù)據(jù)中心通過在負載均衡器后水平擴展，快速旋轉(zhuǎn)或重新分配額外資源并將其添加到現(xiàn)有集群，可以實現(xiàn)快速向集群添加額外資源，從而在不中斷操作的情況下進行擴展；（2）定制化：超大規(guī)模數(shù)據(jù)中心采用更新的服務器設計，具有更寬的機架，可以容納更多組件并且允許定制化設計服務器，使得服務器能夠同時接入多個電源和硬盤驅(qū)動器；（3）自動化服務：超大規(guī)模數(shù)據(jù)中心提供自動化服務，幫助客戶管理高流量網(wǎng)站和需要專門處理的高級工作負載，例如密碼學、基因處理和三維渲染；（4）冷卻效率更高：超大規(guī)模數(shù)據(jù)中心對其電源架構(gòu)進行了優(yōu)化，并將冷卻能力集中在托管高強度工作負載的服務器，大大降低了成本和對環(huán)境的影響，電源使用效率和冷卻效率遠高于傳統(tǒng)數(shù)據(jù)中心；（5）工作負載更平衡：超大規(guī)模數(shù)據(jù)中心有效地將工作負載分布在多臺服務器上，從而避免單臺服務器過熱。避免了過熱的服務器損壞附近的服務器，從而產(chǎn)生不必要的連鎖反應。Statista數(shù)據(jù)顯示，全球超大規(guī)模數(shù)據(jù)中心的數(shù)量從2015年的259個，提升到2021年的700個。根據(jù)PrecedenceResearch的報告顯示，全球超大規(guī)模數(shù)據(jù)中心市場規(guī)模在2021年為620億美元，到2030年將達到5930億美元，預計在2022-2030年間以28.52%的復合增長率（CAGR）增長。海內(nèi)外云商均具備自己的超大規(guī)模數(shù)據(jù)中心。StructureResearch在其報告中估計，到2022年全球超大規(guī)模自建數(shù)據(jù)中心總?cè)萘繉⑦_到13177兆瓦（MW）。全球四大超大規(guī)模數(shù)據(jù)中心平臺——AWS、谷歌云、Meta和微軟Azure——約占該容量的78%。全球占主導地位的超大規(guī)模數(shù)據(jù)中心企業(yè)仍然是亞馬遜、谷歌、Meta和微軟，在中國，本土企業(yè)阿里巴巴、華為、百度、騰訊和金山云都是領先的超大規(guī)模數(shù)據(jù)中心企業(yè)。2、IB網(wǎng)絡技術將更廣泛應用于AI訓練超算領域。超級數(shù)據(jù)中心是具有更大規(guī)模和更高計算能力的數(shù)據(jù)中心。隨著對數(shù)據(jù)處理數(shù)量和速率需求的提升，數(shù)據(jù)中心的可擴展性需求也在迅速提升。超級數(shù)據(jù)中心在規(guī)模和性能上較傳統(tǒng)數(shù)據(jù)中心都有了大幅升級，能夠滿足超高速度擴展以滿足超級需求的能力。泛AI應用是超算中心的重要下游。自20世紀80年代以來，超級計算主要服務于科研領域。傳統(tǒng)超算基本上都是以國家科研機構(gòu)為主體的超算中心，如氣象預測、地震預測、航空航天、石油勘探等。截止2022年底，國內(nèi)已建成10家國家超級計算中心，不少省份都建立起省級超算中心，服務于當?shù)氐闹锌圃?、氣象局以及地震爆炸模型。一方面，行業(yè)頭部企業(yè)將超算應用于芯片設計、生物醫(yī)療、材料測試等工業(yè)應用場景；另一方面，自動駕駛訓練、大語言模型訓練、類ChatGPT等AI訓練的需求，也推動超算應用場景延伸至圖像識別、視頻識別定位、智能駕駛場景模擬以及對話和客服系統(tǒng)等，成為超算中心的重要下游。超級數(shù)據(jù)中心成為算力儲備的重要方向，中美加速算力基建布局。憑借其在算力能力及能耗效率的巨大提升，超級數(shù)據(jù)中心在算力儲備中的地位日漸凸顯。根據(jù)SynergyResearchGroup數(shù)據(jù)，全球超級數(shù)據(jù)中心數(shù)量從2017年的390個增長至2021年二季度的659個，增長近一倍，預計2024年總數(shù)將超1000個。份額方面，中美持續(xù)加強超級數(shù)據(jù)中心的布局，占全球市場份額持續(xù)提升。InfiniBand網(wǎng)絡滿足大帶寬和低時延的需求，成為超算中心的主流。InfiniBand（簡稱IB）是一個用于高性能計算的計算機網(wǎng)絡通信標準，主要應用于大型或超大型數(shù)據(jù)中心。IB網(wǎng)絡的主要目標是實現(xiàn)高的可靠性、可用性、可擴展性及高性能，且能在單個或多個互聯(lián)網(wǎng)絡中支持冗余的I/O通道，因此能夠保持數(shù)據(jù)中心在局部故障時仍能運轉(zhuǎn)。相比傳統(tǒng)的以太網(wǎng)絡，帶寬及時延都有非常明顯的優(yōu)勢。（一般InfiniBand的網(wǎng)卡收發(fā)時延在600ns，而以太網(wǎng)上的收發(fā)時延在10us左右，英偉達推出的MetroX-3提升長距離InfiniBand系統(tǒng)帶寬至400G）。作為未來算力的基本單元，高性能的數(shù)據(jù)中心越來越多的采用InfiniBand網(wǎng)絡方案，尤其在超算中心應用最為廣泛，成為AI訓練網(wǎng)絡的主流。（四）細分受益環(huán)節(jié)GPT-4多模態(tài)大模型將引領新一輪AI算力需求的爆發(fā)，超大規(guī)模數(shù)據(jù)中心及超算數(shù)據(jù)中心作為泛AI領域的重要基礎設施支持，其數(shù)量、規(guī)模都將相應增長，帶動整個算力基礎設施產(chǎn)業(yè)鏈（如高端服務器/交換機、CPO技術、硅光、液冷技術）的滲透加速。同時在應用側(cè)，Copilot的推出加速AI在辦公領域的賦能，看好辦公場景硬件配套廠商機會。1、服務器/交換機：AIGC帶動算力爆發(fā)式增長，全球進入以數(shù)據(jù)為關鍵生產(chǎn)要素的數(shù)字經(jīng)濟時代。從國內(nèi)三大運營商資本支出結(jié)構(gòu)上看，加碼算力基礎設施投資成重要趨勢。重點推薦：中興通訊。公司作為運營商板塊算力投資的核心受益標的，持續(xù)在服務器及存儲、交換機/路由器、數(shù)據(jù)中心等算力基礎設施領域加強布局，將作為數(shù)字經(jīng)濟筑路者充分受益我國數(shù)字經(jīng)濟建設。算力需求帶動上游硬件設備市場規(guī)模持續(xù)增長，高規(guī)格產(chǎn)品占比提升。伴隨著數(shù)據(jù)流量持續(xù)提升，交換機作為數(shù)據(jù)中心必要設備，預計全球數(shù)據(jù)中心交換機保持穩(wěn)定增長。2021年全球數(shù)據(jù)中心交換機市場規(guī)模為138億美元，預計到2031年將達246億美元，2022年至2031年復合年增長率為5.9%。多元開放的AI服務器架構(gòu)為可以人工智能發(fā)展提供更高的性能和可擴展性的AI算力支撐，隨著AI應用的發(fā)展，高性能服務器數(shù)量有望隨之增長，帶動出貨量及服務器單價相應提升。根據(jù)IDC報告，2022Q3，200/400GbE交換機市場收入環(huán)比增長25.2%，100GbE交換機收入同比增長19.8%，高速部分呈現(xiàn)快速增長。2、光模塊/光芯片：算力需求提升推動算力基礎設施升級迭代，傳統(tǒng)可插拔光模塊技術弊端和瓶頸開始顯現(xiàn)。（1）功耗過高，AI技術的加速落地，使得數(shù)據(jù)中心面臨更大的算力和網(wǎng)絡流量壓力，交換機、光模塊等網(wǎng)絡設備升級的同時，功耗增長過快。以博通交換機芯片為例，2010年到2022年交換機芯片速率從640G提升到51.2T，光模塊速率從10G迭代到800G。速率提升的同時，交換機芯片功耗提升了約8倍，光模塊功耗提升了26倍，SerDes功耗提升了25倍。（2）交換機端口密度難以繼續(xù)提升，光模塊速率提升的同時，自身體積也在增大，而交換機光模塊端口數(shù)量有限。（3）PCB材料遭遇瓶頸，PCB用于傳輸高速電信號，傳