AI行業(yè)專題研究報(bào)告AI算力研究框架

AI行業(yè)專題研究報(bào)告AI算力研究框架（報(bào)告出品方/作者：國(guó)海證券，劉熹）1.GPT4：AI技術(shù)和工程的有意思技術(shù)創(chuàng)新，跨入AGI時(shí)代GPT4：全球領(lǐng)先的“智能涌現(xiàn)”AI大模型GPT-4是世界第一個(gè)最接近AGI的先進(jìn)AI系統(tǒng)。GenerativePre-trainedTransformer4(GPT-4)是OpenAI創(chuàng)建的多模態(tài)大型語(yǔ)言模型，于2023年3月14日發(fā)布，并已通過(guò)ChatGPTPlus和商業(yè)API形式對(duì)外提供服務(wù)。ChatGPT是OpenAI在2022年11月推出的基于GPT-3.5的新型AI聊天機(jī)器人，只需向ChatGPT提出需求，即可實(shí)現(xiàn)文章創(chuàng)作、代碼創(chuàng)作、回答問(wèn)題等功能。ChatGPT從推出到月用戶過(guò)億僅用了2個(gè)月時(shí)間，是世界上增速最快消費(fèi)級(jí)應(yīng)用。GPT4的顯著特征“涌現(xiàn)能力”，LLM的涌現(xiàn)能力被正式宣布正式宣布定義為“在小型模型中不存，但在大型模型中出現(xiàn)的能力”。涌現(xiàn)能力出現(xiàn)時(shí)的一個(gè)顯著特點(diǎn)：當(dāng)模型規(guī)模達(dá)致一定程度時(shí)，性能明顯提高。這種涌現(xiàn)模式與物理學(xué)中的化學(xué)反應(yīng)現(xiàn)象存著密切的聯(lián)系。原則上，涌現(xiàn)能力也可以根據(jù)一些繁瑣任務(wù)回去定義。涌現(xiàn)就是非線性深度網(wǎng)絡(luò)的基本特征，也就是群體智能犯罪行為與繁瑣思維，心智與心智的基本特質(zhì)。OpenAI：AGI的關(guān)鍵誘因GPT-4幕后的研發(fā)團(tuán)隊(duì)大致可以分為七個(gè)部分：進(jìn)度表訓(xùn)練（Pretraining）、長(zhǎng)上下文（Longcontext）、視覺(jué)（Vision）、強(qiáng)化自學(xué)&對(duì)齊（RL&alignment）、評(píng)估&分析（Evaluation&analysis）、部署（Deployment），以及其他。GPT4六大擯棄式技術(shù)創(chuàng)新：大參數(shù)+大數(shù)據(jù)+算法技術(shù)創(chuàng)新參數(shù)不斷擴(kuò)大就是提高LLM模型能力的關(guān)鍵因素。GPT-3首先將模型大小增加至175B參數(shù)的極大規(guī)模。語(yǔ)言模型前期的性能和模型規(guī)模大致呈圓形線性關(guān)系，當(dāng)模型規(guī)模大至一的定程度時(shí)，任務(wù)性能存了明顯的變異。大規(guī)模語(yǔ)言模型基座的可擴(kuò)展性很強(qiáng)，同時(shí)同時(shí)實(shí)現(xiàn)反反復(fù)復(fù)自我運(yùn)算。因此，LLM也被看作就是同時(shí)同時(shí)實(shí)現(xiàn)通用型人工智能AGI的希望。模型能力不僅與模型大小有關(guān)，還與數(shù)據(jù)大小和總排序量有關(guān)。同時(shí)，進(jìn)度表訓(xùn)練數(shù)據(jù)的質(zhì)量對(duì)贏得較好的性能至著關(guān)鍵作用，因此在開(kāi)拓進(jìn)度表訓(xùn)練語(yǔ)料庫(kù)時(shí)，數(shù)據(jù)收集和沖洗策略就是非常關(guān)鍵的考量。進(jìn)度表訓(xùn)練語(yǔ)料庫(kù)的來(lái)源大致可以分為兩類:通用數(shù)據(jù)：比如網(wǎng)頁(yè)、書(shū)籍和對(duì)話文本，由于其非常大、多樣化和可以訪華性，被大多數(shù)LLM使用，可以進(jìn)一步進(jìn)一步增強(qiáng)LLM的語(yǔ)言建模和形式化能力。專業(yè)數(shù)據(jù)：比如多語(yǔ)言數(shù)據(jù)、科學(xué)數(shù)據(jù)和代碼，并使LLM具有特定的任務(wù)解決能力。GPT4六大擯棄式技術(shù)創(chuàng)新：TransformerSelf-Attention自注意力機(jī)制：當(dāng)模型處理每個(gè)詞（輸入序列中的每個(gè)邊線）時(shí)，Self-Attention機(jī)制并使模型不僅能夠高度高度關(guān)注當(dāng)前邊線的詞，而且能夠高度高度關(guān)注句子中其他邊線的詞，從而可以更好地編碼這個(gè)詞。即為為單詞自己忘掉我和哪些單詞在同一句話里面。Transformer基于自注意力機(jī)制，學(xué)會(huì)單詞和單詞之間共同出現(xiàn)的概率，在語(yǔ)料輸入后，可以輸出單詞和單詞共同出現(xiàn)的概率，同時(shí)，Transformer能夠挖掘長(zhǎng)距離上下文的詞之間的雙向關(guān)系。GPT4六大擯棄式技術(shù)創(chuàng)新：Prompt語(yǔ)境自學(xué)(in-contextlearning,ICL)作為一種特定的提示信息形式與GPT-3一起被首次明確提出，并已變成一種典型的利用LL的方法。首先，從任務(wù)描述已經(jīng)已經(jīng)開(kāi)始，從任務(wù)數(shù)據(jù)集中挑選出一些示例作為演示。然后，將它們按照特定的順序女團(tuán)出，形成具備存特定設(shè)計(jì)模板的自然語(yǔ)言提示信息。最后，測(cè)試實(shí)例被額外至演示中，作為L(zhǎng)LM分解成輸出的輸入?；谌蝿?wù)演示，LLM可以在不隱式梯度更新的情況下識(shí)別并繼續(xù)執(zhí)行新任務(wù)。2.AI算力：GPT的基座，顯著受益于新一輪科技革命GPT關(guān)上AI新紀(jì)元：對(duì)標(biāo)Windows的生態(tài)價(jià)值ChatGPT的發(fā)布相似Windows的問(wèn)世。ChatGTP作為大語(yǔ)言模型，將可以功不可沒(méi)信息系統(tǒng)入口的促進(jìn)作用，同時(shí)，ChatGPT或?qū)⒅厮苣壳暗能浖鷳B(tài)。2022年，Windows在全球PC操作系統(tǒng)市占率約75%，應(yīng)用領(lǐng)域數(shù)量3000萬(wàn)以上，就是世界上生態(tài)規(guī)模最非常大的商業(yè)操作系統(tǒng)。緊緊圍繞Windows所創(chuàng)造的桌面軟件生態(tài)，問(wèn)世了現(xiàn)有的全球互聯(lián)網(wǎng)巨頭，亞馬遜、谷歌、META、阿里巴巴、騰訊、百度等。算力就是大模型的根基，GPT的率先受益賽道算力就是對(duì)信息數(shù)據(jù)進(jìn)行處理輸出目標(biāo)結(jié)果的計(jì)算能力。隨著社會(huì)數(shù)字化轉(zhuǎn)型的持續(xù)深入細(xì)致，算力已變成提振和推動(dòng)數(shù)字經(jīng)濟(jì)的核心力量，并對(duì)推動(dòng)科技進(jìn)步、社會(huì)環(huán)境治理等充分發(fā)揮著關(guān)鍵的促進(jìn)作用。根據(jù)中國(guó)算力發(fā)展指數(shù)白皮書(shū)測(cè)算，算力沒(méi)資金投入1元，將助推3-4元的經(jīng)濟(jì)生產(chǎn)量。2021年全球排序設(shè)備算力總規(guī)模達(dá)致615EFlops，同比快速增長(zhǎng)44%，其中智能算力規(guī)模為232EFlops，超級(jí)算力規(guī)模為14EFlops。智算中心、邊緣數(shù)據(jù)中心將保持高速快速增長(zhǎng)。谷歌投資10億美金打造出OpenAI超級(jí)計(jì)算機(jī)平臺(tái)。2020年5月，谷歌投資10億美金與OpenAI獨(dú)家合作打造出了AzureAI超級(jí)計(jì)算機(jī)平臺(tái)亮相，性能名列全球前五，具備多于28.5萬(wàn)個(gè)CPU核心、1萬(wàn)個(gè)GPU、每GPU具備400Gbps網(wǎng)絡(luò)帶寬的超級(jí)計(jì)算機(jī)，主要用做大規(guī)模分布式AI模型訓(xùn)練。據(jù)OpenAI報(bào)告，訓(xùn)練一次1746億參數(shù)的GPT-3模型仍須的算力約為3640PFlop/s-day。即為為假如每秒排序一千萬(wàn)億次，也仍須排序3640天。3.排序：GPU為算力核心，服務(wù)器為關(guān)鍵載體服務(wù)器：AI算力的關(guān)鍵載體服務(wù)器通常就是指那些具有較低計(jì)算能力，能夠提供更多更多給多個(gè)用戶使用的計(jì)算機(jī)。服務(wù)器與PC機(jī)的不同點(diǎn)很多，比如說(shuō)PC機(jī)在一個(gè)時(shí)刻通常只為一個(gè)用戶服務(wù)。服務(wù)器與主機(jī)相同，主機(jī)就是通過(guò)終端給用戶使用的，服務(wù)器就是通過(guò)網(wǎng)絡(luò)給客戶端用戶并使用的，所以除了必須具備終端設(shè)備，還要利用網(wǎng)絡(luò)就可以使用服務(wù)器電腦，但用戶連上線后就能使用服務(wù)器上的特定服務(wù)了。AI服務(wù)器就是一種能夠提供更多更多人工智能（AI）排序的服務(wù)器。它既可以用來(lái)大力支持本地應(yīng)用程序和網(wǎng)頁(yè)，也可以為云和本地服務(wù)器提供更多更多繁瑣的AI模型和服務(wù)。AI服務(wù)器有助于為各種實(shí)時(shí)AI應(yīng)用領(lǐng)域提供更多更多實(shí)時(shí)排序服務(wù)。AI服務(wù)器按應(yīng)用領(lǐng)域場(chǎng)景可以分為訓(xùn)練和發(fā)推理兩種，其中訓(xùn)練對(duì)芯片算力建議更高，推理小說(shuō)對(duì)算力的建議相對(duì)較低。GPU：AI算力的核心AI芯片就是算力的核心。AI芯片也被稱作AI加速器或排序卡，即為為專門(mén)用做處理人工智能應(yīng)用領(lǐng)域中的大量排序任務(wù)的模塊（其他非排序任務(wù)仍由CPU負(fù)責(zé)管理）。彌漫數(shù)據(jù)海量快速增長(zhǎng)，算法模型趨向繁瑣，處理對(duì)象異構(gòu)，排序性能建議高，AI芯片在人工智能的算法和應(yīng)用領(lǐng)域上搞出針對(duì)性設(shè)計(jì)，可以高效率處理人工智能應(yīng)用領(lǐng)域中日漸多樣繁雜的排序任務(wù)。GPU就是目前最廣泛應(yīng)用的AI芯片。AI芯片主要涵蓋圖形處理器（GPU）、現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）、專用集成電路（ASIC）、神經(jīng)擬態(tài)芯片（NPU）等。GPU屬于通用型芯片，ASIC屬于專用型芯片，而FPGA則就是介于兩者之間的半訂做化芯片。2022年，我國(guó)GPU服務(wù)器占AI服務(wù)器的89%。CUDA就是英偉達(dá)2007年面世的一種并行計(jì)算平臺(tái)和應(yīng)用程序編程USB(API)，允許軟件使用某些類型的GPU進(jìn)行通用型計(jì)算機(jī)處理。CUDA與NVIDIAGPU無(wú)縫協(xié)作，快速橫貫多個(gè)領(lǐng)域的應(yīng)用領(lǐng)域程序開(kāi)發(fā)和部署。目前，多于一百萬(wàn)的開(kāi)發(fā)人員正在使用CUDA-X，它提供更多更多了提高生產(chǎn)力的能力，同時(shí)受益于持續(xù)的應(yīng)用程序性能。4.網(wǎng)絡(luò)：數(shù)據(jù)中心算力瓶頸，光模塊市場(chǎng)需求回調(diào)網(wǎng)絡(luò)：算力的瓶頸之一，英偉達(dá)布局InfiniBand數(shù)據(jù)通信設(shè)備（網(wǎng)絡(luò)設(shè)備、ICT設(shè)備）泛指同時(shí)同時(shí)實(shí)現(xiàn)IP網(wǎng)絡(luò)互連終端、局域網(wǎng)、廣域網(wǎng)間連接、數(shù)據(jù)交換及有關(guān)安全防塵等功能的通信設(shè)備，主要小類涵蓋交換機(jī)、路由器、WLAN。其中主要的就是交換機(jī)和路由器。網(wǎng)絡(luò)設(shè)備就是互聯(lián)網(wǎng)基本的物理設(shè)施層，屬于信息化建設(shè)所需的基礎(chǔ)架構(gòu)產(chǎn)品。網(wǎng)絡(luò)設(shè)備生產(chǎn)服務(wù)行業(yè)，上游主要為芯片、PCB、電源、各類電子元器件等生產(chǎn)商，輕而易舉下游為各網(wǎng)絡(luò)設(shè)備品牌商，終下游涵蓋運(yùn)營(yíng)商、政府、金融、教育、能源、電力、交通、中小企業(yè)、醫(yī)院等各個(gè)行業(yè)。網(wǎng)絡(luò)設(shè)備根據(jù)應(yīng)用領(lǐng)域分為電信級(jí)、企業(yè)級(jí)和消費(fèi)級(jí)。電信級(jí)網(wǎng)絡(luò)設(shè)備主要應(yīng)用于電信運(yùn)營(yíng)商市場(chǎng)，用做構(gòu)筑核心骨干互聯(lián)網(wǎng)；企業(yè)級(jí)網(wǎng)絡(luò)設(shè)備主要應(yīng)用于非運(yùn)營(yíng)商的各種企業(yè)級(jí)應(yīng)用領(lǐng)域市場(chǎng)，涵蓋政府、金融、電力、醫(yī)療、教育、制造業(yè)、中小企業(yè)等市場(chǎng)；消費(fèi)級(jí)網(wǎng)絡(luò)設(shè)備主要針對(duì)家庭及個(gè)人消費(fèi)市場(chǎng)。英偉達(dá)NVSwitch。第三代NVSwitch技術(shù)紙盒內(nèi)加座落在節(jié)點(diǎn)內(nèi)部和外部的交換機(jī)，用做相連接衣務(wù)器、集群和數(shù)據(jù)中心環(huán)境中的多個(gè)GPU。節(jié)點(diǎn)內(nèi)的每個(gè)NVSwitch具有64個(gè)第四代NVLink鏈路端口，可以快速多GPU相連接。繳納換機(jī)總量從上一代的7.2Tb/s提升至13.6Tb/s。代萊第三代NVSwitch技術(shù)還通過(guò)多播和NVIDIASHARP在網(wǎng)排序，為子集運(yùn)稱得上提供更多更多硬件加速。英偉達(dá)融合全新NVLINK和NVSwitch技術(shù)，構(gòu)筑大型NVLinkSwitch系統(tǒng)網(wǎng)絡(luò)，同時(shí)同時(shí)實(shí)現(xiàn)前所未的通信頻寬水平。NVLinkSwitch系統(tǒng)最多可以大力支持256個(gè)GPU。互連節(jié)點(diǎn)能夠提供更多更多57.6TB的多對(duì)多頻寬，可以提供更多更多高少于1exaFLOP級(jí)別的FP8稀疏排序算力。光模塊：網(wǎng)絡(luò)核心器件，AI訓(xùn)練提振800G市場(chǎng)需求光模塊行業(yè)的上游主要涵蓋光芯片、電芯片、光組件企業(yè)。光組件行業(yè)的供應(yīng)商較多，但高端光芯片和電芯片技術(shù)壁壘高，研發(fā)成本高昂，主要由境外企業(yè)寡頭寡頭壟斷。光模塊行業(yè)座落在產(chǎn)業(yè)鏈的中游，屬于PCB環(huán)節(jié)。光模塊行業(yè)下游涵蓋互聯(lián)網(wǎng)及云計(jì)算企業(yè)、電信運(yùn)營(yíng)商、數(shù)據(jù)通信和光通信設(shè)備商等。作為信息化和互連通信系統(tǒng)中所須要的核心器件，光通信模塊的發(fā)展對(duì)5G通信、電子、大數(shù)據(jù)、互聯(lián)網(wǎng)行業(yè)的影響訥伊縣輕必須。全球數(shù)據(jù)流量的快速增長(zhǎng)，光通信模塊速率的提升，光通信技術(shù)的技術(shù)創(chuàng)新等推動(dòng)光模塊產(chǎn)業(yè)規(guī)模持續(xù)增長(zhǎng)。全球光模塊市場(chǎng)Lightcounting預(yù)測(cè)，全球光模塊的市場(chǎng)規(guī)模在未來(lái)5年將以CAGR11%保持快速增長(zhǎng)，2027年將突破200億美元。另外，高算力、低功耗就是未來(lái)市場(chǎng)的關(guān)鍵發(fā)展方向，CPO、硅光技術(shù)或?qū)⒆兂筛咚懔?chǎng)景下“降本增效”的解決方案。光模塊應(yīng)用領(lǐng)域場(chǎng)景主要可以分為數(shù)據(jù)通信和網(wǎng)絡(luò)通信兩大領(lǐng)域。數(shù)據(jù)通信領(lǐng)域主要就是指互聯(lián)網(wǎng)數(shù)據(jù)中心以及企業(yè)數(shù)據(jù)中心。網(wǎng)hinet通信主要涵蓋光纖接入網(wǎng)、城域網(wǎng)/骨干網(wǎng)以及5G互連、橫跨網(wǎng)為代表的移動(dòng)網(wǎng)絡(luò)應(yīng)用。5.存儲(chǔ)：人工智能“內(nèi)存墻”，3D工藝持續(xù)突破存儲(chǔ)：半導(dǎo)體產(chǎn)業(yè)核心支柱，AI算力的“內(nèi)存墻”計(jì)算機(jī)存儲(chǔ)器就是一種利用半導(dǎo)體、磁性介質(zhì)等技術(shù)制成的存儲(chǔ)資料的電子設(shè)備。其電子電路中的資料以二進(jìn)制方式存儲(chǔ)，相同存儲(chǔ)器產(chǎn)品中基本單元的名稱也不一樣。存儲(chǔ)芯片可以分為高速緩存極容易不和高速緩存非易丟掉兩種，其中極容易丟掉存儲(chǔ)芯片主要囊括靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM）和動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器（DRAM）；非易失性存儲(chǔ)器主要涵蓋可編程只讀存儲(chǔ)器（PROM），硬盤(pán)存儲(chǔ)器（Flash）和可以加載可編程Q1566A寄存器（EPROM/EEPROM）等。NANDFlash和DRAM存儲(chǔ)器領(lǐng)域合計(jì)占到至半導(dǎo)體存儲(chǔ)器市場(chǎng)比例達(dá)致95%以上。NVIDIADGXGH200就是第一臺(tái)通過(guò)GPU的NVLink連結(jié)同時(shí)同時(shí)實(shí)現(xiàn)144TB內(nèi)存的超級(jí)計(jì)算機(jī)。NVIDIADGXGH200通過(guò)NVLink為GPU共享內(nèi)存編程模型提供更多更多將近500倍的內(nèi)存，形成了一個(gè)非常小的數(shù)據(jù)中心大小的GPU。NVIDIADGXGH200就是第一臺(tái)通過(guò)在256個(gè)NVIDIAGraceHopper超級(jí)芯片上提供更多更多144TB海量共享內(nèi)存空間的AI超級(jí)計(jì)算機(jī)。NVIDIADGXGH200中的每個(gè)NVIDIAGraceHopper超級(jí)芯片具有480GBLPDDR5CPU內(nèi)存，每GB的功率就是DDR5和96GBfastHBM3的八分之一。NVIDIAGraceCPU和HopperGPU通過(guò)NVLink互連，每個(gè)GPU都可以以900GBps的速度訪華其他GPU的內(nèi)存和NVIDIAGraceCPU的開(kāi)拓GPU內(nèi)存。NAND：大容量存儲(chǔ)的最佳方案，3DNAND技術(shù)持續(xù)突破NANDFlash就是大容量存儲(chǔ)器當(dāng)前應(yīng)用領(lǐng)域最廣為和最有效率的解決方案。據(jù)Gartner統(tǒng)計(jì)數(shù)據(jù),NANDFlash2020年市場(chǎng)規(guī)模為534.1億美元。隨著人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)、5G等新興應(yīng)用領(lǐng)域場(chǎng)景不斷落地，電子設(shè)備仍須存儲(chǔ)的數(shù)據(jù)也越來(lái)越非常大，