AI算力研究框架

AI算力研究框架——AI系列專題研究報告請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明2核心提要G

P

T

4

：

AI

技術(shù)和工程的偉大創(chuàng)新，開啟科技“

十年新周期”

GPT-4

是世界首個最接近AGI的先進(jìn)AI系統(tǒng)，展現(xiàn)出強(qiáng)大的“涌現(xiàn)能力”。GPT的成功，得益于其參數(shù)規(guī)模擴(kuò)大，

RLHF、Transformer、Prompt、插件、系統(tǒng)工程等方面的偉大創(chuàng)新。我們預(yù)計，

ChatGPT將對科技產(chǎn)業(yè)產(chǎn)生深遠(yuǎn)的影響，類似于操作系統(tǒng)，ChatGPT將接入現(xiàn)有的全部軟硬件系統(tǒng)。GPT-4的誕生將加速AGI時代的到來，開啟科技“十年新周期”。AI算力：科技企業(yè)大模型競賽的核心“裝備”，AIGC應(yīng)用的關(guān)鍵基建Transfomer架構(gòu)大模型訓(xùn)練對算力的消耗呈指數(shù)級增長。

2023年1月，ChatGPT計劃再向微軟融資100億美金，該融資將是新一代大模型算力基建的主要資金來源。ChatGPT激發(fā)“鯰魚效應(yīng)”，全球科技巨頭將AI戰(zhàn)略提升到空前高度，算力作為新一輪科技競賽的核心“裝備”，迎來需求的脈沖式增長。未來，ChatGPT應(yīng)用的全面落地還將釋放更為廣闊的算力需求。計算是AI算力的核心引擎，存儲、網(wǎng)絡(luò)、軟件是AI算力的主要發(fā)展方向計算：GPU是ChatGPT訓(xùn)練和推理的核心支柱，其更新速度遠(yuǎn)超過“摩爾定律”

，受益于AI和高性能市場需求增長，GPU行業(yè)景氣度顯著提升。AI服務(wù)器作為GPU的重要載體，預(yù)計其市場規(guī)模、滲透率將隨著GPU放量迎來同步高增。網(wǎng)絡(luò)：已成為限制AI算力提升的主要瓶頸，英偉達(dá)推出InfiniBand架構(gòu)下的NVLink、NVSwtich等方案，將GPU之間的通信能力上升到新高度。而800G、1.6T高端光模塊作為AI訓(xùn)練的上游核心器件，將受益于大模型訓(xùn)練需求的增長。存儲：“內(nèi)存墻”是制約算力提升的重要因素。NAND、DRAM等核心存儲器在制程方面臨近極限，不斷探索“3D”等多維解決方案。HBM基于其高寬帶特性，成為了高性能GPU的核心組件，市場前景廣闊。請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明3投資建議

ChatGPT對算力的影響遠(yuǎn)不止當(dāng)前可見的基建投入，未來Transformer大模型的迭代推動模型訓(xùn)練相關(guān)需求的算力增長，以及AIGC大模型應(yīng)用的算力需求，將是算力市場不斷超預(yù)期的源泉。相關(guān)公司：1、計算服務(wù)器：浪潮信息、中科曙光、紫光股份、工業(yè)富聯(lián)、緯創(chuàng)、廣達(dá)、英業(yè)達(dá)、戴爾、聯(lián)想集團(tuán)、超威電腦、中國長城、神州數(shù)碼、拓維信息、四川長虹；GPU：英偉達(dá)、AMD、Intel、海光信息、寒武紀(jì)、龍芯中科、景嘉微；2、網(wǎng)絡(luò)網(wǎng)絡(luò)設(shè)備：紫光股份、中興通訊、星網(wǎng)銳捷、深信服、迪普科技、普天科技、映翰通；光模塊：中際旭創(chuàng)、新易盛、光迅科技、華工科技、聯(lián)特科技、劍橋科技、天孚通信；3、存儲1）存儲器：紫光國微、江波龍、北京君正、兆易創(chuàng)新、瀾起科技、東芯股份、聚辰股份、普冉股份、朗科科技。風(fēng)險提示：宏觀經(jīng)濟(jì)影響下游需求，大模型迭代不及預(yù)期，大模型應(yīng)用不及預(yù)期，市場競爭加劇，

中美博弈加劇，

相關(guān)公司業(yè)績不及預(yù)期等。核心提要請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明4目錄1. G

PT

4

：

AI

技術(shù)和工程的偉大創(chuàng)新，

邁向AG

I

時代AI

算力：

G

PT

基座，率先受益于AI

“十年新周期”

算力—

計算：

G

PU

為算力核心，服務(wù)器為重要載體算力—

網(wǎng)絡(luò)：數(shù)據(jù)中心算力瓶頸，光模塊需求放量算力—

存儲：

AI

訓(xùn)練“內(nèi)存墻”，

3D工藝持續(xù)突破投資建議和風(fēng)險提示請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明51

. GPT

4

：

AI技術(shù)和工程的偉大創(chuàng)新，

邁向AGI時代請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明61

.

1 G

PT

4

：全球領(lǐng)先的“智能涌現(xiàn)”

AI

大模型GPT-4

是世界第一個最接近AGI的先進(jìn)AI系統(tǒng)。Generative

Pre-trained

Transformer

4

(

GPT-4

)

是OpenAI創(chuàng)建的多模態(tài)大型語言模型，于

2023

年

3

月

14

日發(fā)布，并已通過ChatGPT

Plus和商業(yè)API形式對外提供服務(wù)。ChatGPT是OpenAI在2022年11月推出的基于

GPT-3.5的新型

AI聊天機(jī)器人，只需向ChatGPT提出需求，即可實現(xiàn)文章創(chuàng)作、代碼創(chuàng)作、回答問題等功能。ChatGPT從推出到月用戶過億僅用了2個月時間，是世界上增速最快消費級應(yīng)用。GPT4：全球最為領(lǐng)先的AI應(yīng)用之一資料來源：OpenAI官網(wǎng)，businessday，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明72018年以來，GPT系列模型的參數(shù)規(guī)模、訓(xùn)練數(shù)量規(guī)模曾指數(shù)級增長，算法和框架持續(xù)升級。預(yù)計GPT4的參數(shù)規(guī)模接近1萬億，數(shù)據(jù)量20萬億

Tokens。1

.

1 G

PT

4

：全球領(lǐng)先的“智能涌現(xiàn)”

AI

大模型GPT-1BERT(開源)GPT-2

(開源)GPT-3ChatGPT/GPT-3.5GPT4

(多模態(tài))發(fā)布時間20182018201920202022年11月30日2023年3月14日模型技術(shù)結(jié)構(gòu)特點與安全性措施基于Transformer架構(gòu)-

12層，768維詞嵌入向量無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)基于Transformer架構(gòu)，12層雙向編碼器(全文本)詞嵌入向量維度為768或1024使用掩碼語言模型(MLM)進(jìn)行預(yù)訓(xùn)練下游任務(wù)微調(diào)從GPT-1基礎(chǔ)上增加到48層，使用1600維向量進(jìn)行詞嵌入修改初始化的殘差層權(quán)重，縮放為原來的1/N

(N為殘差層的數(shù)量交替密度和局部帶狀稀疏注意模式96層，參數(shù)數(shù)量增加到約1750億

(175B)上下文窗口寬度增加到2048個tokens訓(xùn)練數(shù)據(jù)更大采用交替密度和局部帶狀稀疏注意模式基于GPT-3的架構(gòu)，進(jìn)行了針對性的優(yōu)化和調(diào)整參數(shù)數(shù)量、層數(shù)和詞表與GPT-3相近，但具體參數(shù)可能有所不同RLHF訓(xùn)練預(yù)期參數(shù)數(shù)量遠(yuǎn)大于1750億視覺語言模型組件(VLM)對抗性測試和紅隊測試RLHF訓(xùn)練基于規(guī)則的獎勵模型(RBRM)模型參數(shù)117M340M1.5B1758B大概175B-6B-1.3B未知上下文窗口512

token512

token1024

token2048

token4096

token32,000

token訓(xùn)練方法無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)掩碼語言模型預(yù)訓(xùn)練無監(jiān)督預(yù)訓(xùn)練無監(jiān)督預(yù)訓(xùn)練有監(jiān)督微調(diào)RLHIF訓(xùn)練獎勵模型PPO強(qiáng)化學(xué)習(xí)有監(jiān)督微調(diào)RLHF訓(xùn)練獎勵模型構(gòu)造基于規(guī)則的獎勵模型(RBRM)PPO強(qiáng)化學(xué)習(xí)數(shù)據(jù)集BooksCorpusBooksCorpus與English

WikipediaWebTextCommonCrawl,WebText2,Books1,Books2和Wikipedia類似GPT-3,但可能有更新更大規(guī)模和多樣化數(shù)據(jù)量規(guī)模5G40GB45TB45T+X20萬億Tokens資料來源：OpenAI官網(wǎng)，《GPT-4核心技術(shù)分析報告》陳巍，人工智能大模型技術(shù)高峰論壇，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明8GPT4的顯著特征“涌現(xiàn)能力”，

LLM的涌現(xiàn)能力被正式定義為“在小型模型中不存在，但在大型模型中出現(xiàn)的能力”。涌現(xiàn)能力出現(xiàn)時的一個顯著特點：當(dāng)模型規(guī)模達(dá)到一定程度時，性能顯著提升。這種涌現(xiàn)模式與物理學(xué)中的相變現(xiàn)象有著密切的聯(lián)系。原則上，涌現(xiàn)能力也可以根據(jù)一些復(fù)雜任務(wù)來定義。涌現(xiàn)是非線性深度網(wǎng)絡(luò)的基本特征，也是群體智能行為與復(fù)雜思維，感知與認(rèn)知的基本特質(zhì)。涌現(xiàn)特征特征

描述In-context

learning（情景學(xué)習(xí)）上下文學(xué)習(xí)能力由GPT-3正式引入：假設(shè)語言模型已經(jīng)提供了一個自然語言指令和/或幾個任務(wù)演示，它可以通過完成輸入文本的單詞序列為測試實例生成預(yù)期的輸出，而不需要額外的訓(xùn)練或梯度更新Instruction

following（指令跟隨）通過對經(jīng)自然語言描述(即指令)格式化的多任務(wù)數(shù)據(jù)集的混合進(jìn)行微調(diào)，LLM在同樣以指令形式描述的未見任務(wù)上表現(xiàn)良好。有了這種能力，指令調(diào)優(yōu)使LLM能夠通過理解任務(wù)指令來執(zhí)行新任務(wù)，而無需使用明確示例，這可以在很大程度上提高泛化能力Step-by-stepreasoning（邏輯推理）對于小型語言模型，通常很難解決涉及多個推理步驟的復(fù)雜任務(wù)，例如數(shù)學(xué)應(yīng)用題。而在思維鏈推理策略下，LLMs可以利用包含中間推理步驟以獲得最終答案的提示機(jī)制來解決此類任務(wù)。據(jù)推測，這種能力可能是通過對代碼的訓(xùn)練獲得。1

.

1 G

PT

4

：全球領(lǐng)先的“智能涌現(xiàn)”

AI

大模型資料來源：《

A

Survey

of

LargeLanguage

Models

》Wayne

Xin

Zhao等，國海證券研究所GPT4：“智能涌現(xiàn)”特征描述請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明9GPT-4

在以下六個方面實現(xiàn)飛躍式提升。創(chuàng)造能力更強(qiáng)：GPT-4

比以往任何時候都更具創(chuàng)造性和協(xié)作性。它可以生成、編輯并與用戶一起迭代創(chuàng)意和技術(shù)寫作任務(wù)，例如創(chuàng)作歌曲、編寫劇本或?qū)W習(xí)用戶的寫作風(fēng)格。推理能力更強(qiáng)：GPT-4在高級推理能力方面超過ChatGPT。更長的上下文：GPT-4能夠處理超過25,000個單詞的文本，允許使用諸如長表單內(nèi)容創(chuàng)建、擴(kuò)展對話、文檔搜索和分析等用例。圖片識別能力：GPT-4可以接受圖像作為輸入，并生成標(biāo)題、分類和分析。專業(yè)知識更強(qiáng)：大多數(shù)專業(yè)和學(xué)術(shù)考試中，GPT-4表現(xiàn)出了人類水平的表現(xiàn)。更安全、更一致：與GPT-3.5相比，GPT-4對禁用內(nèi)容的請求做出響應(yīng)的可能性要低82%，產(chǎn)生事實性響應(yīng)的可能性要高40%。1

.

1 G

PT

4

：全球領(lǐng)先的“智能涌現(xiàn)”

AI

大模型GPT4：專業(yè)考試、邏輯推理、多模態(tài)能力突出資料來源：OpenAI官網(wǎng)，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明101.2 O

pe

n

AI

：

AG

I

的重要推手OpenAI，在美國成立的人工智能研究公司，核心宗旨在于“實現(xiàn)安全的通用人工智能(AGI)”，使其有益于人類。OpenAI2015年12月11日OpenAI成立2016年4月27日發(fā)布OpenAI

GymBeta2016年12月5日發(fā)布Universe2017年7月20日發(fā)布Proximal

PolicyOptimization算法2018年4月9日發(fā)布OpenAI憲章2019年2月14日提升語言模型GPT-2模型2019年4月25日發(fā)布深度神經(jīng)網(wǎng)絡(luò)MuseNet2019年7月22日微軟投資OpenAI并與其合作2019年11月5日發(fā)布GPT-2：1.5B

版本2020年4月30日發(fā)布神經(jīng)網(wǎng)絡(luò)Jukebox2020年6月11日開放人工智能應(yīng)用程序接口2021年1月5日研究連接文本和圖像神經(jīng)網(wǎng)絡(luò)CLIP2021年1月5日研究從文本創(chuàng)建圖像神經(jīng)網(wǎng)絡(luò)DALL·E2021年3月4日研究人工神經(jīng)網(wǎng)絡(luò)中的多模式神經(jīng)元2022年4月6日發(fā)布新的人工智能系統(tǒng)DALL·E

22022年11月30日研究ChatGPT并發(fā)布：優(yōu)化對話的語言模型2019年3月創(chuàng)建OpenAI

LP公司2020年9月授權(quán)微軟使用GPT-3模型2023年3月發(fā)布GPT--42023年3月多名專家及高管簽署公開信，呼吁類似GPT-4的超強(qiáng)人工智能訓(xùn)練計劃暫停6個月資料來源：維基百科，百度百科，國海證券研究所O

p

e

n

A

I

歷史沿革

請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明111.2 O

pe

n

AI

： AG

I

的重要推手openAI創(chuàng)始人埃隆·馬斯克Elon

Musk現(xiàn)任Y

Combinator

總裁、人工智能實驗室OpenAI首席執(zhí)行官，Loopt的聯(lián)合創(chuàng)始人，被媒體稱為“ChatGPT之父”LinkedIn聯(lián)合創(chuàng)始人，曾經(jīng)擔(dān)任PayPal高級副總裁。是硅谷最有名的天使投資者之一，曾經(jīng)投資過60多家創(chuàng)業(yè)公司，包括Facebook和Digg。1998年創(chuàng)辦PayPal并擔(dān)任CEO，2004年成為Facebook的首個外部投資者，同年成立軟件公司Palantir。OpenAI的聯(lián)合創(chuàng)始人兼董事長兼總裁，曾擔(dān)任OpenAI以及支付巨頭Stripe的CTO（Stripe4號員工）。OpenAI

聯(lián)合創(chuàng)始人，人工智能研究員，現(xiàn)任OpenAI研究員。，OpenAI

聯(lián)合創(chuàng)始人，人工智能研究員曾擔(dān)任OpenAI首席科學(xué)家。山姆·阿爾特曼Sam

Altman彼得·蒂爾Peter

Thiel約翰·舒爾曼John

Schulman沃赫切赫·扎雷姆巴Wojciech

Zaremba里德·霍夫曼Reid

Hoffman格雷格·布羅克曼Greg

Brockman1995年創(chuàng)辦Zip2公1999年創(chuàng)辦X.com2002年成立太空探2004年向特斯拉投2008年創(chuàng)立了2016年創(chuàng)立2016年成立

The司，1999年被康柏公司，2001年更名索技術(shù)公司Space資630萬美元，任公SolarCity，公司致Neuralink公司，目BoringCompany，公司收購，獲利為PayPal，2002年X，出任首席執(zhí)行官司董事長、擁有所力于太陽能的技術(shù)標(biāo)是將人腦與電腦用于解決地面擁堵2200萬美元被eBay收購兼首席技術(shù)官有事務(wù)最終決定權(quán)革新連接起來問題的軌道交通資料來源：搜狐網(wǎng)，新智元，創(chuàng)業(yè)邦傳媒，第一財經(jīng)，百度百科，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明12右起三個人分別是：首席科學(xué)家伊爾亞·蘇茨克維(Ilya

Sutskever)總裁兼董事長格雷格·布羅克曼(GregBrockman)3）CEO薩姆·奧特曼(SamAltman)三人皆是2015年OpenAI成立時的創(chuàng)始元老。?

GPT-4

幕后的研發(fā)團(tuán)隊大致可分為七個部分：預(yù)訓(xùn)練（Pretraining）、長上下文（Long

context）、視覺（Vision）、強(qiáng)化學(xué)習(xí)

&

對齊（RL

&

alignment）、評估

&

分析（Evaluation

&

analysis）、部署（Deployment），以及其他。1.2 O

pe

n

AI

： AG

I

的重要推手主要團(tuán)隊主要團(tuán)隊任務(wù)預(yù)訓(xùn)練計算機(jī)集群擴(kuò)展硬件正確性數(shù)據(jù)優(yōu)化

&

架構(gòu)分布式訓(xùn)練基礎(chǔ)設(shè)施Trainingrun

babysitting長上下文長上下文研究長上下文內(nèi)核視覺架構(gòu)研究 ●計算機(jī)集群擴(kuò)展 ●分布式訓(xùn)練基礎(chǔ)設(shè)施硬件正確性 ●數(shù)據(jù) ●對齊數(shù)據(jù)Training

runbabysitting

●部署

&

后訓(xùn)練強(qiáng)化學(xué)習(xí)

&

對齊數(shù)據(jù)集貢獻(xiàn)模型安全Flagshiptraining

runs數(shù)據(jù)基礎(chǔ)設(shè)施Refusals代碼功能ChatML

格式基礎(chǔ)

RLHF

和

InstructGPT

工作評估

&

分析OpenAIEvals

庫ChatGPT評估真實世界用例評估新功能評估加速預(yù)測能力評估污染調(diào)查模型等級評估基礎(chǔ)設(shè)施編碼評估指令遵循和

API

評估部署核心貢獻(xiàn)者GPT4網(wǎng)絡(luò)體驗信托與安全工程推理研究推理基礎(chǔ)設(shè)施產(chǎn)品管理GPT-4

API和ChatML部署可靠性工程O

p

e

n

A

I

團(tuán)隊主要分工

資料來源：

GPT-4

Technical

Report

，多搜百科，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明131

.

3 G

PT-

4

六大顛覆式技術(shù)創(chuàng)新1、大參數(shù)+大數(shù)據(jù)+算法創(chuàng)新2、Transformer：自注意力機(jī)制3、對齊調(diào)優(yōu)：RLHF4、Prompt：情境學(xué)習(xí)、思維鏈5、工具引入：卡片、互聯(lián)網(wǎng)6、工程創(chuàng)新資料來源：國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明141

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

1

）：大參數(shù)+

大數(shù)據(jù)+

算法創(chuàng)新參數(shù)擴(kuò)大是提高LLM模型能力的關(guān)鍵因素。GPT-3首先將模型大小增加到175B參數(shù)的極大規(guī)模。語言模型前期的性能和模型規(guī)模大致呈線性關(guān)系，當(dāng)模型規(guī)模大到一定程度時，任務(wù)性能有了明顯的突變。大規(guī)模語言模型基座的可擴(kuò)展性很強(qiáng)，實現(xiàn)反復(fù)自我迭代。因此，LLM也被看作是實現(xiàn)通用人工智能AGI的希望。參數(shù)對大模型性能起到明顯作用

參數(shù)對大模型性能起到明顯作用

資料來源：

《

A

Survey

of

Large

LanguageModels

》Wayne

Xin

Zhao等，SpeechHome，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明151

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

1

） ：大參數(shù)+

大數(shù)據(jù)+

算法創(chuàng)新模型能力不僅與模型大小有關(guān)，還與數(shù)據(jù)大小和總計算量有關(guān)。同時，預(yù)訓(xùn)練數(shù)據(jù)的質(zhì)量對取得良好的性能起著關(guān)鍵作用，因此在擴(kuò)展預(yù)訓(xùn)練語料庫時，數(shù)據(jù)收集和清洗策略是非常重要的考慮。預(yù)訓(xùn)練語料庫的來源大致可以分為兩類:通用數(shù)據(jù)：如網(wǎng)頁、書籍和對話文本，由于其龐大、多樣化和可訪問性，被大多數(shù)LLM使用，可以增強(qiáng)LLM的語言建模和泛化能力。專業(yè)數(shù)據(jù)：如多語言數(shù)據(jù)、科學(xué)數(shù)據(jù)和代碼，使LLM具有特定的任務(wù)解決能力。大模型主要利用各種公共文本數(shù)據(jù)集做預(yù)訓(xùn)練預(yù)訓(xùn)練大語言模型典型的數(shù)據(jù)處理過程

資料來源：

《

A

Survey

ofLarge

Language

Models

》Wayne

Xin

Zhao等，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明161

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

1

） ：大參數(shù)+

大數(shù)據(jù)+

算法創(chuàng)新名稱具體介紹Transformers開源的Python庫，用于使用Transformer架構(gòu)構(gòu)建模型，由Hugging

Face開發(fā)和維護(hù)。

它具有簡單和友好的API，使其易于使用和定制各種預(yù)訓(xùn)練模型，以及用于數(shù)據(jù)集處理和評估的工具。

它是一個強(qiáng)大的庫，擁有一個龐大而活躍的用戶和開發(fā)人員社區(qū)，他們定期更新和改進(jìn)模型和算法。DeepSpeed由微軟開發(fā)的基于PyTorch的深度學(xué)習(xí)優(yōu)化庫，已用于訓(xùn)練許多LLM，如GPT-Neo和BLOOM。

它為分布式訓(xùn)練提供了各種優(yōu)化技術(shù)，如內(nèi)存優(yōu)化(零技術(shù))、梯度檢查點和流水線并行。

此外，它還提供了微調(diào)和評估這些模型的API。Megatron-LM基于PyTorch的深度學(xué)習(xí)庫，由NVIDIA開發(fā)，用于訓(xùn)練大規(guī)模語言模型。它還為分布式訓(xùn)練提供了豐富的優(yōu)化技術(shù)，包括模型和數(shù)據(jù)并行、混合精度訓(xùn)練、閃光注意力和梯度檢查點。這些優(yōu)化技術(shù)可以顯著提高訓(xùn)練效率和速度，實現(xiàn)跨gpu和機(jī)器的高效分布式訓(xùn)練。JAX谷歌Brain開發(fā)的用于高性能機(jī)器學(xué)習(xí)的Python庫，允許用戶在支持硬件加速(GPU或TPU)的數(shù)組上輕松執(zhí)行計算。它支持各種設(shè)備上的計算，并提供了一些方便的功能，如即時編譯加速和自動批處理。Colossal-AI由EleutherAI開發(fā)的深度學(xué)習(xí)庫，用于訓(xùn)練大規(guī)模語言模型。它建立在JAX之上，并支持訓(xùn)練的優(yōu)化策略，如混合精度訓(xùn)練和并行。最近，一個名為ColossalChat的類似聊天gpt的模型已經(jīng)公開發(fā)布了兩個版本(7B和13B)，它們是使用基于LLaMA的colossalai開發(fā)的。BMTrainOpenBMB開發(fā)的一個高效的分布式訓(xùn)練大規(guī)模參數(shù)模型的庫，它強(qiáng)調(diào)代碼簡單、低資源和高可用性。BMTrain已經(jīng)將幾個常見的LLM(例如Flan-T5和GLM)合并到其ModelCenter中，開發(fā)人員可以直接使用這些模型。FastMoE專門用于MoE(即，專家混合)模型的訓(xùn)練庫。它是在PyTorch之上開發(fā)的，在設(shè)計中優(yōu)先考慮效率和用戶友好性。FastMoE簡化了將Transformer模型轉(zhuǎn)換為MoE模型的過程，并在訓(xùn)練期間同時支持?jǐn)?shù)據(jù)并行和模型并行。并行訓(xùn)練。由于模型規(guī)模巨大，成功訓(xùn)練一個強(qiáng)大的LLM是非常具有挑戰(zhàn)性的。

LLM的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)通常需要聯(lián)合使用多種并行策略，

一些優(yōu)化框架已經(jīng)發(fā)布，以促進(jìn)并行算法的實現(xiàn)和部署，如Transformer、DeepSpeed和Megatron-LM。此外，優(yōu)化技巧對訓(xùn)練穩(wěn)定性和模型性能也很重要。

最近，GPT-4提出開發(fā)特殊的基礎(chǔ)設(shè)施和優(yōu)化方法，用小得多的模型的達(dá)到大型模型的性能。目前，常用的訓(xùn)練LLM的庫包括Transformers，DeepSpeed、Megatron-LM、JAX、Colossal-AI、BMTrain、FastMoe等。此外，現(xiàn)有的深度學(xué)習(xí)框架(如PyTorch、TensorFlow、MXNet、PaddlePaddle、MindSpore和OneFlow)也提供了對并行算法的支持。目前開發(fā)大模型主要使用的算法庫資料來源：

《

A

Survey

ofLarge

Language

Models

》Wayne

Xin

Zhao等，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明171

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

2

）：

Tr

ans

f

or

m

e

rTransformer由Google

在2017年的論文Attention

is

All

you

need

中提出，GPT與BERT均采用了Transformer模型。Transformer基于顯著性的注意力機(jī)制為輸入序列中的任何位置提供上下文信息，使得Transformer具有全局表征能力強(qiáng)，高度并行性，位置關(guān)聯(lián)操作不受限，通用性強(qiáng)，可擴(kuò)展性強(qiáng)等優(yōu)勢，從而使得GPT模型具有優(yōu)異的表現(xiàn)。資料來源：中國人工智能學(xué)會，國海證券研究所Ngram統(tǒng)計語言模型容易訓(xùn)練可解釋強(qiáng)缺乏長期依賴，泛化差，稀疏Word2vec神經(jīng)語言模型RNNLM神經(jīng)語言模型Transformer注意力語言模型上下文語義部分長期依賴更長依賴難以

建模單向依賴并行化捕捉長距離全局， 信息多項多維相關(guān)模型復(fù)雜，成本高更好長依賴稠密詞表示更好泛化性可解釋性差,

無法解決長距離依賴GPT-1GPT-2GPT-3ChatGPTBertRoBERTa XLMALBERTGPT系列（預(yù)測未來）

自回歸預(yù)訓(xùn)練語言模型自然語言生成任務(wù)：應(yīng)用Zero

/

FewShotPrompt/lnstrustBERT系列（完形填空）雙向預(yù)訓(xùn)練語言模型N-1token1

token2 token3

token4C(wi

n

1,...,wi

1)P(wi

/

wi

n

1,...,wi

1)

C(wi

n

1,...,wi)Feature-based:作為特征提取器，單獨訓(xùn)練下游任務(wù)201920182020202220202019201820221980201720122003自然語言理解:應(yīng)用Fine-tuning請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明181

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

2

）：

Tr

ans

f

or

m

e

rSelf-Attention自注意力機(jī)制：當(dāng)模型處理每個詞（輸入序列中的每個位置）時，Self-Attention

機(jī)制使得模型不僅能夠關(guān)注當(dāng)前位置的詞，而且能夠關(guān)注句子中其他位置的詞，從而可以更好地編碼這個詞。即單詞自己記住我和哪些單詞在同一句話里面。Transformer基于自注意力機(jī)制，學(xué)會單詞和單詞之間共同出現(xiàn)的概率，在語料輸入后，可以輸出單詞和單詞共同出現(xiàn)的概率，同時，Transformer能夠挖掘長距離上下文的詞之間的雙向關(guān)系。資料來源：

papers

with

code

，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明191

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

3

） ：

RLH

F?

RLHF是ChatGPT所采用的關(guān)鍵技術(shù)之一。Reinforcement

Learning

with

Human

Feedback（RLHF）是強(qiáng)化學(xué)習(xí)（RL）的一個擴(kuò)展分支，RLHF

將人類的反饋信息納入到訓(xùn)練過程，通過使用這些反饋信息構(gòu)建一個獎勵模型神經(jīng)網(wǎng)絡(luò)，以此提供獎勵信號來幫助

RL智能體學(xué)習(xí)，從而更加自然地將人類的需求，偏好，觀念等信息以一種交互式的學(xué)習(xí)方式傳達(dá)給智能體，對齊（align）人類和人工智能之間的優(yōu)化目標(biāo)，產(chǎn)生行為方式和人類價值觀一致的系統(tǒng)。Step1.

預(yù)訓(xùn)練語言模型（LM） Step2.訓(xùn)練獎勵模型（RM） Step

3.

用強(qiáng)化學(xué)習(xí)（RL）微調(diào)R

L

H

F

訓(xùn)練步驟

資料來源：Hugging

Face，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明201

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

4

）：

Prom

pt“提示”

是一種提供給預(yù)訓(xùn)練語言模型的線索，讓預(yù)訓(xùn)練語言模型能更好的理解人類的問題。通過在輸入中增加額外的文本（clue/prompt），以更好地利用預(yù)訓(xùn)練模型中的知識。提示學(xué)習(xí)的基本流程主要包括以下四個步驟：

提示構(gòu)造（

Prompt Construction

）

，

答案構(gòu)造（

AnswerConstruction），答案預(yù)測（Answer

Prediction），以及答案-標(biāo)簽映射（Answer-Label

Mapping）。提示學(xué)習(xí)的優(yōu)勢：1）對預(yù)訓(xùn)練模LM的利用率高；2）小樣本場景訓(xùn)練效果提升；3）fine-tune成本大幅度下降等。P

r

o

m

p

t

的案例演示

P

r

o

m

t

p

t

u

n

i

n

g

與p

r

e

-

t

r

a

i

n

a

n

d

f

i

n

e

-

t

u

n

e

對比

根據(jù)提示，BERT

能回答/補(bǔ)全出

“JDK是由Oracle

研發(fā)的”，BART

能對長文本進(jìn)行總結(jié)，ERNIE

能說出鳥類的能力。資料來源：網(wǎng)易新聞，百度智能云，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明21?

語境學(xué)習(xí)(in-context

learning,

ICL)作為一種特殊的提示形式與GPT-3一起被首次提出，并已成為一種典型的利用LL的方法。首先，從任務(wù)描述開始，從任務(wù)數(shù)據(jù)集中選擇一些示例作為演示。然后，將它們按照特定的順序組合起來，形成具有特殊設(shè)計模板的自然語言提示。最后，測試實例被附加到演示中，作為LLM生成輸出的輸入?；谌蝿?wù)演示，LLM可以在不顯式梯度更新的情況下識別并執(zhí)行新任務(wù)。1

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

4

）：

Prom

pt情境學(xué)習(xí)(

I

C

L

)

與思維鏈(

C

o

T

)

提示的比較研究注釋：ICL用自然語言描述、幾個演示和一個測試查詢提示LLM，而CoT提示則涉及提示中的一系列中間推理步驟。資料來源：

《

A

Survey

ofLarge

Language

Models

》Wayne

Xin

Zhao等，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明22?

由于LLM是在大量純文本語料庫上訓(xùn)練成文本生成器的，因此在非文本生成方面(例如，數(shù)值計算)表現(xiàn)不佳。此外，LLM的能力局限于預(yù)訓(xùn)練數(shù)據(jù)，例如無法捕捉最新信息。?

為解決這些問題，ChatGPT啟用了外部插件的機(jī)制，幫助ChatGPT訪問最新信息，運行計算或使用第三方服務(wù)，類似于LLM的“眼睛和耳朵”，可以廣泛擴(kuò)展LLM的能力范圍。?

2023年5月，ChatGPT更新了包括網(wǎng)絡(luò)瀏覽功能和70

個測試版插件。此更新有望徹底改變ChatGPT

的使用方式，從娛樂和購物到求職和天氣預(yù)報。?

ChatGPT建立一個社區(qū)，插件開發(fā)者來構(gòu)建ChatGPT插件，

然后在語言模型顯示的提示符中列出啟用的插件，以及指導(dǎo)模型如何使用每個插件的文檔。1

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

5

）：插件C

h

a

t

G

P

T

可以啟用網(wǎng)絡(luò)瀏覽和插件功能C

h

a

t

G

P

T

插件部分展示資料來源：Open

AI官網(wǎng)，knowtechie，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明231

.

3 G

PT

4

六大顛覆式技術(shù)創(chuàng)新（

6

）：系統(tǒng)工程集群建設(shè)難數(shù)據(jù)準(zhǔn)備難應(yīng)用落地難推理壓縮難模型訓(xùn)練難如何實現(xiàn)參數(shù)面無損網(wǎng)絡(luò)如何超大集群穩(wěn)定性設(shè)計？...如何構(gòu)建高質(zhì)量的大規(guī)模數(shù)據(jù)集？如何進(jìn)行數(shù)據(jù)集質(zhì)量評測？如何選擇模型稠密稀疏結(jié)構(gòu)?...如何選擇最高效的并行策略組合？如何實現(xiàn)多任務(wù)可視化調(diào)試調(diào)優(yōu)？如何實現(xiàn)斷點續(xù)訓(xùn)?...如何進(jìn)行大模型的分布式推理？如何逬行大模型的推理加速？如何進(jìn)行大模型的無損量化...如何搭建大規(guī)模推理集群調(diào)度系統(tǒng)？如何進(jìn)行防攻擊設(shè)計？如何有效的進(jìn)行故障恢復(fù)和隔離......開源數(shù)據(jù)平臺調(diào)度系統(tǒng)設(shè)計與優(yōu)化能耗系統(tǒng)設(shè)計及優(yōu)化計算系統(tǒng)設(shè)計與優(yōu)化網(wǎng)絡(luò)設(shè)計與優(yōu)化存儲設(shè)計與優(yōu)化私有數(shù)據(jù)模型結(jié)構(gòu)設(shè)計代碼調(diào)試模型訓(xùn)練代碼調(diào)試模型微調(diào)訓(xùn)練轉(zhuǎn)換量化蒸餾剪枝在線推 離線推理 理API開發(fā)集群建設(shè)和上線前期準(zhǔn)備模型預(yù)訓(xùn)練下游任務(wù)微調(diào)模型轉(zhuǎn)換/優(yōu)化模型部署能力開放OpenAI

聯(lián)合創(chuàng)始人&

CEO

Sam

Altman表示：GPT-4是人類迄今為止最復(fù)雜的軟件系統(tǒng)。LLM的發(fā)展使得研發(fā)和工程的界限不再清晰。LLM的訓(xùn)練需要在大規(guī)模數(shù)據(jù)處理和分布式并行訓(xùn)練方面的廣泛實踐經(jīng)驗。開發(fā)LLM，研究人員必須解決復(fù)雜的工程問題，與工程師一起工作或成為工程師。平臺系統(tǒng)工程師 大模型專業(yè)開發(fā)者 應(yīng)用開發(fā)者資料來源：人工智能大模型技術(shù)高峰論壇，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明242

. AI算力：

GPT的基座，

顯著受益于新一輪科技革命請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明252

.

1 G

PT

開啟AI

新紀(jì)元：對標(biāo)Wi

ndo

ws

的生態(tài)價值ChatGPT的發(fā)布類似于Windows的誕生。ChatGTP作為大語言模型，將會起到信息系統(tǒng)入口的作用，同時，ChatGPT或?qū)⒅厮苣壳暗能浖鷳B(tài)。2022年，Windows在全球PC操作系統(tǒng)市占率約75%，應(yīng)用數(shù)量3000萬以上，是世界上生態(tài)規(guī)模最龐大的商業(yè)操作系統(tǒng)。圍繞Windows所創(chuàng)造的桌面軟件生態(tài)，誕生了現(xiàn)有的全球互聯(lián)網(wǎng)巨頭，亞馬遜、谷歌、META、阿里巴巴、騰訊、百度等。資料來源：人工智能大模型技術(shù)高峰論壇，國海證券研究所C

h

a

t

G

P

T

成為人工智能時代新的信息系統(tǒng)入口桌面和移動應(yīng)用 服務(wù)應(yīng)用ChatQA....辦公瀏覽器圖片編輯播放器科學(xué)計算各種服務(wù)器文件系統(tǒng)內(nèi)存管理進(jìn)程管理 人機(jī)交互 網(wǎng)絡(luò) 安全管控意圖識別情感分析AI應(yīng)用翻譯 作曲 畫圖 寫代碼問答 文字生成 圖片形成 聲音生成 圖生成文本表示圖像表示圖表示操作系統(tǒng)大語言模型請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明262

.

1 G

PT

開啟AI

新紀(jì)元：對標(biāo)I

pho

ne

的“十年周期”

英偉達(dá)CEO黃仁勛：ChatGPT是AI的“Iphone時刻”iPhone是蘋果公司（Apple

Inc.

）于2007年1月9日開始發(fā)售的搭載iOS操作系統(tǒng)的系列手機(jī)產(chǎn)品。同時，圍繞蘋果創(chuàng)造的智能手機(jī)生態(tài)，誕生了抖音、微信等應(yīng)用公司，以及蘋果供應(yīng)鏈環(huán)節(jié)的廣闊市場機(jī)遇。蘋果的生態(tài)2007

-

2

0

2

1

年蘋果i

P

h

o

n

e

出貨量（

百萬臺）2007

-

2

0

2

1

年蘋果i

P

h

o

n

e

市占率資料來源：counter

point

research，the

product

head，國海證券研究所3.713.124.9153.4135.893.047.5192.6231.5215.2215.8

206.3195.6

201.1050100150200250 237.92007

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

20213%9%14%15%18%

18%15%

15%16%14%14%

14%13%15%17%20%18%16%14%12%10%8%6%4%2%0%2007

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

2021請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明272

.

1 G

PT

開啟AI

新紀(jì)元：科技產(chǎn)業(yè)的“十年新周期”

時間1970s1980s1990s2000s2010s2020s類型大型機(jī)小型機(jī)個人電腦桌面互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)AI代表公司IBMControl

DataSperryBurroughsDECHPPrimeData

GeneralMicrosoftCiscoIntelDellGoogleEbaySina百度阿里巴巴騰訊AppleMetaQualcomm騰訊字節(jié)跳動NvidiaTeslaMicrosoftOpenAI...圖示全球科技產(chǎn)業(yè)“十年一周期”，新的科技革命誕生新的巨頭！資料來源：清華博學(xué)堂，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明282.2 算力是大模型的根基，

G

PT

的率先受益賽道算力算法數(shù)據(jù)對齊預(yù)訓(xùn)練上下文視覺部署評估上游 大模型 下游辦公視頻創(chuàng)作搜索教育醫(yī)療金融模型插件應(yīng)用網(wǎng)絡(luò)文娛…通用模型計算存儲網(wǎng)絡(luò)軟件模型框架數(shù)據(jù)數(shù)據(jù)加工行業(yè)模型2C2B大語言模型（

LLM

）產(chǎn)業(yè)鏈

資料來源：國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明29算力是對信息數(shù)據(jù)進(jìn)行處理輸出目標(biāo)結(jié)果的計算能力。隨著社會數(shù)字化轉(zhuǎn)型的持續(xù)深入，算力已成為支撐和推動數(shù)字經(jīng)濟(jì)發(fā)展的核心力量，并對推動科技進(jìn)步、社會治理等發(fā)揮著重要的作用。根據(jù)中國算力發(fā)展指數(shù)白皮書測算，算力沒投入1元，將帶動3-4元的經(jīng)濟(jì)產(chǎn)出。2021年全球計算設(shè)備算力總規(guī)模達(dá)到615EFlops，同比增長44%，其中智能算力規(guī)模為232EFlops，超級算力規(guī)模為14EFlops。智算中心、邊緣數(shù)據(jù)中心將保持高速增長。先進(jìn)計算技術(shù)產(chǎn)業(yè)體系框架計算力指數(shù)與GDP走勢顯著正相關(guān)2016-2021年全球算力規(guī)模及增速資料來源：中國信通院，IDC，國海證券研究所2.2 算力是大模型的根基，

G

PT

的率先受益賽道70050%45%60040%50035%40030%25%30020%20015%10%1005%00%201620172018201920202021全球算力規(guī)模（Eflops）同比增速（%）超算 通用、智算 邊緣算力科學(xué)實驗氣象研究航空航天石油勘探互聯(lián)網(wǎng)通信金融政府智能汽車視頻監(jiān)控移動設(shè)備傳感設(shè)備算力需求場景請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明30微軟投資10億美金打造OpenAI超算平臺。2020年5月，微軟投資10億美金與OpenAI獨家合作打造了Azure

AI超算平臺亮相，性能位居全球前五，擁有超過28.5萬個CPU核心、1萬個GPU、每GPU擁有400Gbps網(wǎng)絡(luò)帶寬的超級計算機(jī)，主要用于大規(guī)模分布式AI模型訓(xùn)練。據(jù)OpenAI報告，訓(xùn)練一次1746億參數(shù)的

GPT-3模型需要的算力約為3640

PFlop/s-day。即假如每秒計算一千萬億次，也需要計算3640天。ChatGPT訓(xùn)練需要消耗巨大算力OpenAI融資歷程融資時間融資輪次融資金額投資方2023/1B輪100億美元微軟2022/1A輪2.5億美元微軟、Google

Ventures等2021/1Pre-A輪未披露SequoiaCapitalAndreessenHorowitzTigerGlobal

ManagernerntBedrock

Capital2021--未披露微軟2019/7天使+輪10億美元微軟2019/4天使輪1000萬美元Matthew

Brown2019/3種子輪未披露KhoslaVenturesReidHoffman

Foundation2016/8Pre-種子輪12萬美元Y

Combinator2.2 算力是大模型的根基，

G

PT

的率先受益賽道資料來源：清華博學(xué)堂，人工智能大模型技術(shù)高峰論壇，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明31Transformer相關(guān)模型對算力的需求提升數(shù)倍，遠(yuǎn)超過算力產(chǎn)業(yè)的摩爾定律增速?；赥ransformer體系結(jié)構(gòu)的大型語言模型(Large

Language

Models)

涉及高達(dá)數(shù)萬億從文本中學(xué)習(xí)的參數(shù)。開發(fā)它們是一個昂貴、耗時的過程，需要深入研究技術(shù)專長、分布式數(shù)據(jù)中心規(guī)模的基礎(chǔ)設(shè)施和完整的堆棧加速計算方法?！按竽Ｐ?大數(shù)據(jù)”成為預(yù)訓(xùn)練模型的“新范式”。近年新推出的大語言模型所使用的數(shù)據(jù)量和參數(shù)規(guī)模呈現(xiàn)“指數(shù)級”增長，參數(shù)和數(shù)據(jù)規(guī)模的增長帶來的是算力消耗增加。我們預(yù)計未來的大模型所消耗的算力將遠(yuǎn)超過目前已有的大模型?！按竽Ｐ?大數(shù)據(jù)”成為AI預(yù)訓(xùn)練模型的“新范式” Transformer模型消耗的算力遠(yuǎn)超過摩爾定律2.2 算力是大模型的根基，

G

PT

的率先受益賽道資料來源：

A

Survey

of

Large

Language

Models

，新智元，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明322.2 算力是大模型的根基，

G

PT

的率先受益賽道GPT-4的API價格ModelPromptCompletion8K

context$0.03/1K

tokens$0.06/1K

tokens32K

context$0.06/1K

tokens$0.12/1K

tokensChatGPT產(chǎn)品運營需要更大的算力：據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。據(jù)Fortune雜志，每次用戶與ChatGPT互動，產(chǎn)生的算力云服務(wù)成本約0.01美元。根據(jù)科技云報道如果使用總投資30.2億元、算力500P的數(shù)據(jù)中心來支撐ChatGPT的運行，至少需要7-8個這樣的數(shù)據(jù)中心，基礎(chǔ)設(shè)施的投入都是以百億計的。GPT的應(yīng)用場景資料來源：從大模型到人工智能—機(jī)遇與挑戰(zhàn)專題論壇，PingCode，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明332.3 2023

年，全球算力上市公司市值漲幅可觀2022年10月-至今

全球算力相關(guān)公司市值漲幅行業(yè)證券代碼證券簡稱漲幅排名光模塊603083.SH劍橋科技681.24%光模塊301205.SZ聯(lián)特科技496.05%服務(wù)器SMCI.O超微電腦375.14%光模塊300308.SZ中際旭創(chuàng)366.71%光模塊300502.SZ新易盛303.38%存儲300042.SZ朗科科技270.54%GPU688256.SH寒武紀(jì)251.32%光模塊300394.SZ天孚通信226.95%GPUNVDA.O英偉達(dá)219.55%服務(wù)器3231.TW緯創(chuàng)166.29%服務(wù)器601138.SH工業(yè)富聯(lián)150.59%服務(wù)器000977.SZ浪潮信息129.01%服務(wù)器603019.SH中科曙光116.81%服務(wù)器000938.SZ紫光股份106.24%GPU688047.SH龍芯中科97.65%GPUAMD.OAMD97.16%光模塊000988.SZ華工科技95.48%GPU300474.SZ景嘉微93.95%光模塊002281.SZ光迅科技89.64%服務(wù)器2382.TW廣達(dá)67.53%服務(wù)器000066.SZ中國長城63.11%服務(wù)器2356.TW英業(yè)達(dá)61.35%服務(wù)器DELL.N戴爾43.05%服務(wù)器0992.HK聯(lián)想集團(tuán)42.22%存儲000660.KS海力士38.15%存儲005930.KS三星33.71%GPU688041.SH海光信息33.27%存儲MU.O美光科技31.44%GPUINTC.OINTEL25.27%存儲300223.SZ北京君正19.43%存儲688008.SH瀾起科技11.22%存儲603986.SH兆易創(chuàng)新9.76%2022年10月-至今

英偉達(dá)和全球部分證券市場走勢圖資料來源：Wind，國海證券研究所，注釋：股價截至日期2023年6月12日010,00020,00030,00040,00050,00060,00070,000-11%39%89%139%189%2022-10-032023-06-072022-11-18 2023-01-10成交金額(百萬元)(右)2023-03-01英偉達(dá)(NVIDIA)2023-04-19納斯達(dá)克指數(shù)ChatGPT突破1億月活，頻繁發(fā)生宕機(jī)比爾蓋茨、黃仁勛等大咖為ChatGPT“站臺”。云計算公司搶購A100/H100，產(chǎn)品漲價，供貨周期拉長英偉達(dá)發(fā)布2024年第一季度財報，Q1業(yè)績和Q2指引均超預(yù)期342022.10-至今

GPU公司股價走勢2022.10-至今

服務(wù)器公司股價走勢2022.10-至今

存儲公司股價走勢2022.10-2023.6光模塊公司股價走勢2.3 2023

年，全球算力上市公司市值漲幅可觀資料來源：Wind，國海證券研究所，注釋：股價截至日期2023年6月12日30%80%130%180%230%280%330%2023-01-102023-03-012023-04-192023-06-07-20%2022-10-03 2022-11-18英偉達(dá)(NVIDIA)海光信息 超威半導(dǎo)體(AMD) 英特爾(INTEL) 寒武紀(jì)-U343%293%243%193%143%93%43%-7%2022-10-10 2022-11-242023-01-112023-06-12浪潮信息 中科曙光2023-03-06工業(yè)富聯(lián)2023-04-21緯創(chuàng)超微電腦63%53%43%33%23%13%3%-7%-17%2022-10-10 2022-11-24 2023-01-112023-03-062023-04-212023-06-12SK

HYNIX兆易創(chuàng)新SAMSUNG

ELEC

美光科技(MICRON

TECHNOLOGY)東芯股份-5%95%195%295%395%495%595%2022-10-102022-11-242023-01-112023-03-062023-04-212023-06-12中際旭創(chuàng) 劍橋科技 聯(lián)特科技 新易盛 天孚通信請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明英偉達(dá)是核心錨請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明353

. 計算：

GPU為算力核心，

服務(wù)器為重要載體請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明363.1 服務(wù)器：

AI

算力的重要載體服務(wù)器通常是指那些具有較高計算能力，能夠提供給多個用戶使用的計算機(jī)。服務(wù)器與PC機(jī)的不同點很多，例如PC機(jī)在一個時刻通常只為一個用戶服務(wù)。服務(wù)器與主機(jī)不同，主機(jī)是通過終端給用戶使用的，服務(wù)器是通過網(wǎng)絡(luò)給客戶端用戶使用的，所以除了要擁有終端設(shè)備，還要利用網(wǎng)絡(luò)才能使用服務(wù)器電腦，但用戶連上線后就能使用服務(wù)器上的特定服務(wù)了。AI服務(wù)器是一種能夠提供人工智能（AI）計算的服務(wù)器。它既可以用來支持本地應(yīng)用程序和網(wǎng)頁，也可以為云和本地服務(wù)器提供復(fù)雜的AI模型和服務(wù)。AI服務(wù)器有助于為各種實時AI應(yīng)用提供實時計算服務(wù)。AI服務(wù)器按應(yīng)用場景可分為訓(xùn)練和推理兩種，其中訓(xùn)練對芯片算力要求更高，推理對算力的要求偏低。服務(wù)器的主要分類 NVIDIA

A100服務(wù)器資料來源：智研咨詢，

servethehome，國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明371）全球服務(wù)器市場：根據(jù)Counterpoint報告，2022年，全球服務(wù)器市場的收入將同比增長17%，達(dá)到1117億美元。主要企業(yè)：戴爾、惠普、聯(lián)想、浪潮和超微等服務(wù)器公司，以及富士康、廣達(dá)、緯創(chuàng)、英業(yè)達(dá)等ODM廠商。ODM

Direct的增長速度比整體市場高3個百分點，ODM

Direct將成為大規(guī)模數(shù)據(jù)中心部署的硬件選擇。2）全球AI服務(wù)器市場：根據(jù)IDC數(shù)據(jù)，預(yù)計2022年市場規(guī)模約為183億美元，2023年市場規(guī)模211億美元。市場份額：浪潮信息市場占有率達(dá)20.2%。其次，戴爾、HPE、聯(lián)想、華為占比分別為13.8%、9.8%、6.1%、4.8%。2021全球AI服務(wù)器市場份額2022年全球AI服務(wù)器主要客戶2021年全球各服務(wù)器公司收入（單位：百萬美元）3.1 服務(wù)器：

AI

算力的重要載體資料來源：Counterpoint，IDC，中商情報網(wǎng)，國海證券研究所微軟,19.00%谷歌,17.00%Meta,AWS,14.00%

16.00%字節(jié)跳動,6.00%百度,

1.50%阿里巴巴,1.50%騰訊,

2.30%其他,22.70%請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明381

）

中國服務(wù)器市場：?

2022年，

中國服務(wù)器市場規(guī)模為273.

4億美元。?

2022年，

浪潮以28.

1%

的市場份額位列第一，收入達(dá)530.

63億。2

）

中國加速服務(wù)器市場：?

根據(jù)IDC數(shù)據(jù)，

2022年，

中國加速服務(wù)器市場規(guī)模達(dá)到67億美元，

同比增長24%。?

2022年，

浪潮、新華三、寧暢位居前三，

占據(jù)了60%以上的市場份額?

互聯(lián)網(wǎng)依然是最大的采購行業(yè)，

占整體加速服務(wù)器市場接近一半的份額。3.1 服務(wù)器：

AI

算力的重要載體2023-2027E中國加速服務(wù)器市場規(guī)模2022年中國AI服務(wù)器市場份額2019-2023年中國服務(wù)器市場規(guī)模2021-2022年中國服務(wù)器市場份額182216.49250.9273.430818.95%15.89%8.97%12.66%20%18%16%14%12%10%8%6%4%2%0%0501001502002503003502019 2020 2021市場規(guī)模（億美元）2022 2023E同比增長（%）資料來源：中商產(chǎn)業(yè)研究院，IDC,華經(jīng)產(chǎn)業(yè)研究院,國海證券研究所浪潮,

47%新華三,11%寧暢,

9%安擎,

7%坤前,

6%思騰合力,

2%

其他,

7%寶德,5%華為,6%請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明39?

AI芯片是算力的核心。AI芯片也被稱為AI加速器或計算卡，

即專門用于處理人工智能應(yīng)用中的大量計算任務(wù)的模塊（

其他非計算任務(wù)仍由CPU負(fù)責(zé)）。伴隨數(shù)據(jù)海量增長，

算法模型趨向復(fù)雜，

處理對象異構(gòu)，

計算性能要求高，AI

芯片在人工智能的算法和應(yīng)用上做針對性設(shè)計，

可高效處理人工智能應(yīng)用中日漸多樣繁雜的計算任務(wù)。?

GPU是目前最廣泛應(yīng)用的AI芯片。AI芯片主要包括圖形處理器（

GPU）、現(xiàn)場可編程門陣列（

FPGA）、專用集成電路（ASIC）、神經(jīng)擬態(tài)芯片（

NPU）等。GPU屬于通用型芯片，

ASIC屬于專用型芯片，

而FPGA則是介于兩者之間的半定制化芯片。2022年，我國GPU服務(wù)器占AI服務(wù)器的89%。AI芯片的分類不同AI芯片之間對比GPUFPGAASIC特點通用型半定制化專用型芯片架構(gòu)疊加大量計算單元和高速內(nèi)存，邏輯控制單元簡單具備可重構(gòu)數(shù)字門電路和存儲器,根據(jù)應(yīng)用定制電路結(jié)構(gòu)可根據(jù)特定領(lǐng)域應(yīng)用和特定算法定制擅長領(lǐng)域3D圖像處理，密集型并行運算算法更新頻繁或者市場規(guī)模較小的專用領(lǐng)域市場需求量大的專用領(lǐng)域優(yōu)點計算能力強(qiáng)，通用性強(qiáng)，開發(fā)周期短，難度小，風(fēng)險低功能可修改，高性能、功耗遠(yuǎn)低于GPU，一次性成本低專業(yè)性強(qiáng)、性能高于FPGA、功耗低、量產(chǎn)成本低缺點價格貴、功耗高編程門檻高、量產(chǎn)成本高開發(fā)周期長、難度太、風(fēng)險高、一次性成本高3

.

2 G

PU

：

AI

算力的核心資料來源：前瞻產(chǎn)業(yè)研究院,華經(jīng)情報網(wǎng),國海證券研究所請務(wù)必閱讀報告附注中的風(fēng)險提示和免責(zé)聲明40年份主要進(jìn)展代表產(chǎn)品晶體管數(shù)量總線API渲染模型1980-1990圖形工作站系統(tǒng)SGIIris

Geometryengine<1MIris

GL1995-1998GPU,硬件光柵化3dfx

VoodooNVIDIA

TNT2ATI

Rage10MPCI,AGP

2XOpenGL

1.12,DirectX61999-2000硬件幾何處理NVIDAGeforce2ATIRadeon

7000S3Savage

3D25MAGP4XOpenGL

1.12,DirectX72001可編程頂點程序Geforce

?Radeon800060MOpenGL

1.13,DirectX81.02003可編程程序像素GeforceFXRadeon9000100MAGP8XOpenGL

1.13,DirectX92.02004-200564位顏色，視頻出來，增強(qiáng)可編程性Geforce

6/7Radeon

X200MPCI-EOpenGL2.10,DirectX

9.10c3.02006-至今可編程同意渲染器GPGPUGeforce8/9Radeon2