計算機-ChatGPT技術演進及研究框架

證券研究報告行業(yè)動態(tài)報告ChatGPTChatGPT技術演進及研究框架yanguicheng@yufangbo@發(fā)布日期：2023年3月3日本報告由中信建投證券股份有限公司在中華人民共和國(僅為本報告目的，不包括香港、澳門、臺灣)提供。在遵守適用的法律法規(guī)情況下，本報告亦可能由中信建投(國際)證券有限公司在香港提供。同時請參閱最后一頁的重要聲明。觀點觀點：Transformer模型融合了詞向量、注意力機制和預訓練模式的諸多優(yōu)勢，其出現(xiàn)標志著深度學習進入大模型時代。OpenAI推出基Transformer反饋強化學習的ChatGPT以其強大的語義理解和生成能力引爆了市場。技術側重點理解大模型訓練中的核心四要素：模型進入巨量化參數(shù)時代，模型算力需求邁上新臺階。相關投資機遇中，AI應用落地情況。une。練算估算單次訓練租用云服務器的成本是328萬美金。大模型在商業(yè)化落地之后，大量的客戶訪問還會帶來不菲的運行成本，近期ChatGPT官網(wǎng)每日訪客數(shù)量接近5000萬，估算云上月租金576萬美元/每月，頭部企業(yè)開發(fā)大模型競爭力更強。AInAI二、訓練好大模型的要素三、算力需求的展望四、投資邏輯梳理1.1早期自然語言處理(NLP)：基于規(guī)則方法/統(tǒng)計方法?第一階段(1950s-1980s)基于規(guī)則的方法：基于語言學家制定的規(guī)則完成相關任務。在對于訓練數(shù)據(jù)的依賴?第二階段(1980s-2000s)基于統(tǒng)計的方法：將語言問題轉化為概率問題進行模型構建。優(yōu)點：數(shù)據(jù)驅動；相較于規(guī)則模型泛化能力強語言規(guī)則(例)：“from”總是指某些東西最初來自哪里，所以我ORIGIN“to”總是指某些東西的去向是哪里，所以用NATION1.2四大核心進展推動神經(jīng)網(wǎng)絡方法在NLP領域發(fā)展?第三階段(2000s至今)：基于神經(jīng)網(wǎng)絡的方法逐步發(fā)展并得到大幅提升泛化能力更強，逐步挖掘語言知識缺點：數(shù)據(jù)需求大(質(zhì)量/數(shù)量)，訓練成本高；可解釋性有限?核心進展：1)詞向量的應用明確了訓練目標，構建起語義信息和數(shù)據(jù)之間的橋梁2)LSTM/注意力機制增強上下文理解能力，提高語義信息學習能力3)Transformer推動串行走向并行優(yōu)化計算結構，大幅提升算法和語言模型的訓練速度4)預訓練明確了訓練思路，解決了數(shù)據(jù)量不足的問題，降低了模型應用的門檻?我們認為以上核心進展，推動了自然語言理解走向大模型，推動了語義理解和生成的大幅提高，并在更多場景落地應用。圖表：基于神經(jīng)網(wǎng)絡的自然語言處理重要算法時間軸語言模型語言模型rmerERTTword2vecword2vecword2vec模型示意圖LSTM模型示意圖Transformer模型示意圖GPT模型示意圖語義關系的詞組具有相似的向量關系例：國家和首都的關系(紅框)形容詞比較級之間的關系(藍框)?詞向量(wordembedding)在早期的神經(jīng)網(wǎng)絡語言模型中便已經(jīng)出現(xiàn)，但一直沒有受到重視和關注，語義關系的詞組具有相似的向量關系例：國家和首都的關系(紅框)形容詞比較級之間的關系(藍框)?詞向量的重要意義：1)通過數(shù)學方法表征了語義信息(例如：通過余弦相似度計算單詞相關性)2)相較于過去的方法(獨熱編碼)其表征詞匯的矩陣大小被有效控制。?Word2Vec中詞向量的缺陷：缺少對于上下文文本的分析，一詞多義問題成為當時限制模型語言分析能力的一大障礙。?我們認為，詞向量的應用，讓NLP領域的神經(jīng)網(wǎng)絡訓練的訓練目標變得明確，為后續(xù)模型的發(fā)展奠定了基礎。圖表：利用Word2Vec產(chǎn)生單詞對應的詞向量圖表：Word2Vec產(chǎn)生的詞向量能夠反映單詞之間的語義關系(二維)1.4RNN/LSTM/ELMO：逐步強化模型分析上下文能力右向的紅色箭頭表示當前時刻的輸出參與下一時刻的計算遺忘門：決定向下傳遞中需要保留的內(nèi)容Xt為當前時刻的輸入ht為當前時刻的輸出?RNN(循環(huán)神經(jīng)網(wǎng)絡)解決了短程時序依賴問題右向的紅色箭頭表示當前時刻的輸出參與下一時刻的計算遺忘門：決定向下傳遞中需要保留的內(nèi)容Xt為當前時刻的輸入ht為當前時刻的輸出?LSTM(長短期記憶)部分解決了長程時序依賴問題：LSTM引入了“遺忘”的結構，在信息傳遞過程中改善了“信息過長，信息丟失”的問題，進而使得模型可以學到相對遠距離的信息。但其效果依然有限，串行計算也顯著影響了訓練效率。?ELMO完善了上下文時序依賴問題：采用雙向LSTM結構，同時學習上下文信息。?我們認為，LSTM/ELMO強化了模型分析上下文的能力，進而增強了模型的語義理解能力，較好解決了一詞多義問題。個過程便是短程依賴；文本內(nèi)容的學習便是長程依賴。綠綠色部分相當于RNN結構的ALanguageUnderstanding1.5注意力機制增強語義關聯(lián)，賦予模型并行運算能力?核心思路：從文本中有選擇地篩選出少量重要信息并聚焦到這些重要信息上，忽略不重要的信息。?實現(xiàn)方法：單獨計算目標單詞和全文所有單詞的“重要性”，進而理解單詞和句子在語境中的含義。?重要意義：1)解決了“信息過長，信息丟失”問題：任意位置詞向量可關聯(lián)計算，一次性獲得局部和全局信息的關聯(lián)。2)擁有并行能力：每個單詞詞向量的計算不依賴于前個單詞詞向量，可實現(xiàn)并行計算。3)賦予了詞向量新的內(nèi)涵：提供了一些可解釋性(句法層面的特征)，如句子結構中主語和謂語之間的關系?缺陷：對序列中的位置信息缺少考慮(后續(xù)通過在詞向量中加入位置信息解決)?變種：Self-Attention、MaskedSelf-Attention、Multi-HeadSelf-Attention等圖表：注意力機制獲得的單詞間重要性關系(SelfMaskedAttention)ention詞語而言重要的信息ntion個單詞而言重要的信息tention信息的重要性，不考adAttention含義重要的信息，再“組合”起來示重要性越強；例如對于第四句The詞用的是SelfMaskedtion門檻?預訓練模型原理：對于語言/圖像處理而言，其淺層特征是通用的：底層網(wǎng)絡參數(shù)在面對不同任務時均可以復用。但隨著網(wǎng)絡層數(shù)增加，越深層的特征與具體任務的相關性便越強。例如人、車、大象圖像的淺層特征都是線條和輪廓。因此在模型淺層部分通過海量數(shù)據(jù)的預訓練(Pre-training)，再根據(jù)具體下游場景訓練深層特征做微調(diào)(Fine-tuning)。?我們認為，預訓練的應用是具有跨時代意義的。一方面其解決了因神經(jīng)網(wǎng)絡日益復雜而帶來的數(shù)據(jù)需求日益增加的問題。另一方面，基于海量數(shù)據(jù)預訓練后的模型，下游具體任務的訓練速度被大大加快，準確度也進一步提高。圖圖表：預訓練模型：基礎知識學習+具體任務學習游任務的訓練速度法律文書知識英文小說創(chuàng)作小說知識PreTraining?Transformer模型的核心結構是：編碼器(encoder)-解碼器(decoder)?工作原理：對于Transformer最初應用的翻譯任務而言，其過程為輸入文本通過encoder編碼，經(jīng)過多層注意力增強機制提取特征后，學習并理解語句含義轉為詞向量，再由decoder解碼，基于前文詞向量生成文本，完成翻譯任務。?共同點：encoder和decoder都采取了多層多頭注意力進行特征提取和學習，能夠深入挖掘文本的語義關聯(lián)信息?差異點：encoder：同時對上下文進行理解，有更強的語言理解能力。decoder：使用多頭掩碼注意力機制，將輸入文本當前詞以后的單詞掩蓋(masked)進行訓練，這與語言生成過程邏輯一致(由前往后逐詞生成，下一個單詞只與前文信息相關)，因此decoder擁有更強的文本生成能力。圖表：Transformer模型結構資料來源：Attentionisallyouneed，中信建投1.8基于Transformer，BERT&GPT分別采取了不同的策略?GPT：建立在TransformerDecoder的基礎上、具有良好的自然語言生成能力，然而當前詞的語義只能由其前序詞決定，因此在語義理解上不足。一定程度上犧牲語義理解能力，換取更強的生成能力。BERTTransformerEncoder雖然使用雙向編碼讓BERT文本生成能力被削弱，?二者均采用預訓練方法：第一階段使用大規(guī)模無標簽語料訓練基礎語言模型。第二階段根據(jù)指定任務的少量帶標簽數(shù)據(jù)進行微調(diào)訓練。?我們認為：1.Transformer創(chuàng)新性架構設計為后續(xù)的語言模型奠定基礎，開啟了預訓練大語言模型的時代。?2.谷歌和OpenAI引領大模型發(fā)展：谷歌和OpenAI先后于2018年提出基于Encoder的BERT和基于Decoder的GPT。谷歌在3年后加入OpenAIDecoderOpenAI極強的ChatGPT，引領全行業(yè)。BERTGPT圖表：Google和OpenAI在語言模型中的發(fā)展時間線資料來源：BERT：Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding，公司官網(wǎng)，中信建投1.9GPT1-3:不斷發(fā)掘模型容量和數(shù)據(jù)量增加帶來的性能提升?GPT-1使用了BooksCorpus數(shù)據(jù)集，這個數(shù)據(jù)集包含7,000本沒有發(fā)布的書籍。1.數(shù)據(jù)集擁有更長的上下文依賴關系，使得模型能學得更長期的依賴關系；2.這些書籍因為沒有發(fā)布，所以很難在下游數(shù)據(jù)集上見到，更能驗證模型的泛化能力。?GPT-2的文章取自于Reddit上高贊的文章，命名為WebText。數(shù)據(jù)集共有約800萬篇文章，累計體積約40G。為了避免和測試集的沖48/1600，滑動窗口大小為1024(一次性對于上下文的1024個單詞進行關聯(lián)語義挖掘)。?GPT-3共訓練了5個不同的語料，分別是低質(zhì)量的CommonCrawl，高質(zhì)量的WebText2，Books1，Books2和Wikipedia。GPT-3采用r?我們認為，在Transformer模型的廣泛應用中，參數(shù)量和預訓練數(shù)據(jù)量的提升，快速提升了模型的表現(xiàn)能力。千億級參數(shù)量的模圖表：GPT系列模型的參數(shù)量與數(shù)據(jù)量不斷提升模型發(fā)布時間參數(shù)量預訓練數(shù)據(jù)量0GBGPT-35TB1.10GPT1-3:針對下游任務輸入的不斷革新?GPT1-3的下游任務訓練方法：GPT-1：針對不同下游任務，通過特殊格式的少量標注數(shù)據(jù)集進行訓練(提供特殊格式的例子)。GPT-2：zero-shot，完全不提供例子，直接使用自然語言描述問題(taskdescription)，但實際效果有限。GPTzeroshotoneshotfewshot型完成相應的下游任務。圖表：GPT-1對于不同下游任務的訓練數(shù)據(jù)格式圖表：GPT3采用的zero-shot/one-shot/few-shot方法(左)與對應性能(右)的強化學習?基于人類反饋的強化學習(RLHF)的強化學習1.使用人工標注形成標準答案：在ChatGPT的兄弟版本InstructGPT中，40位人工標注員針對一個詳細說明了下游任務的數(shù)據(jù)集，完成了13000個問答，基于這些這些問答組成的訓練數(shù)據(jù)來調(diào)整模型。2.訓練一個獎勵模型：針對模型給出的相同問題的多個回答，然后人工給這些問答對按一些標準(可讀性、無害、正確性等)進行排序，訓練一個獎勵模型/偏好模型來打分(rewardmodel)。3.持續(xù)更新網(wǎng)絡參數(shù)，在獎勵模型的激勵下使模型生成的答案不斷趨近于定義的標準答案。圖表：InstructGPT引入人類反饋的強化學習示意圖圖表：ChatGPT能力的來源 存儲知識的能力大語言模型中的海量參數(shù) 遵循不同指令的能力廣泛的指令學習資料來源：Traininglanguagemodelstofollowinstructionswithhumanfeedback，"HowdoesGPTObtainitsAbility?TracingEmergentAbilitiesofLanguageModelstotheirSources"，中信建投1.12ChatGPT與Bard對比GPTGPT包含1750億個參數(shù)量，預訓練數(shù)據(jù)量為45TB。?在訓練方式上，ChatGPT在GPT-3基礎上加入了人類反饋強化學習(RLHF)，采用人工標注的方式將自然語言和強化學習結合起來，升了模型的效率和學習能力。?在數(shù)據(jù)集上，雖然原始LaMDA預訓練數(shù)據(jù)量不如GPT-3，但Bard數(shù)據(jù)更新且與谷歌搜索引擎集成后能訪問大量數(shù)據(jù)，在獲取信息的 atGPT21年及以前的數(shù)據(jù)庫服務有免費的也有付費計劃選項更改谷歌設置即可獲得BardAI搜索，有比ChatGPT更新的數(shù)據(jù)服務是免費的階段資料來源：谷歌，微軟，中信建投?微軟發(fā)布多模態(tài)大型語言模型(MLLM)KOSMOS-1。其基于Transformer模型，不但可以完成文本學習、指令遵循、上下文學習、文本生成等任務，還能夠將文本以外的模態(tài)(如視覺圖像、語音)嵌入到模型中，進而完成多模態(tài)的下游任務。研究證明，在多個下游任務中，該模型具有非常優(yōu)異的性能。?其訓練數(shù)據(jù)集包括文本語料庫、圖像-字幕對、圖像和文本交叉數(shù)據(jù)集；模型的參數(shù)總量為16億。?重要意義：多模態(tài)感知是實現(xiàn)通用人工智能的重要條件，多模態(tài)技術的發(fā)展將進一步增強人工智能的知識獲取能力和高價值場景應?我們認為，多模態(tài)大語言模型蘊含著更廣泛的應用場景和更高的商業(yè)價值，將成為未來人工智能行業(yè)發(fā)展重要的競爭賽道，多模態(tài)技術的成熟也將進一步加速人工智能技術在不同場景的落地應用。圖表：KOSMOS-1在視覺問答方面的測試樣例圖表：KOSMOS-1在圖像對話/邏輯問答方面的測試樣例1.14預訓練自然語言大模型學術研究情況?預訓練自然語言的大模型相關研究得到爆發(fā)式發(fā)展。2017年Transformer模型誕生之后，隨即被應用到自然語言、視覺識別等諸多領域，2018年自然語言預訓練大模型的概念逐漸興起，通過在webofscience上檢索pre-trainedlanguagemodel(PLM)，我們發(fā)現(xiàn)自2018年之后，預訓練大模型得到了學術圈的廣泛研究，相關學術論文數(shù)量也呈現(xiàn)爆發(fā)式增長。?2022年大部分企業(yè)都加大了自然語言大模型的研發(fā)力度。通過對相關企業(yè)的文獻數(shù)量研究，我們能夠窺測到：微軟、谷歌在自然語言大模型領域進入較早且持續(xù)投入較大。整體來看，大部分企業(yè)在2022年都加快了自然語言模型的研發(fā)進程，在ChatGPT爆圖：大模型的相關學術研究論文數(shù)量圖：不同企業(yè)的大模型學術論文的發(fā)表頻次0015712018201920202021202220238642020182019202020212022微軟華為阿里巴巴谷歌百度臉書IBM二、訓練好大模型的要素三、算力需求的展望四、投資邏輯梳理型的參數(shù)增加到一定程度，模型性能會有一些突破性，參數(shù)量保持相同型的參數(shù)增加到一定程度，模型性能會有一些突破性，參數(shù)量保持相同的數(shù)據(jù)集會對模型預訓練產(chǎn)生較好的性能提升。batchsize難度可以提升模型性能。PromptFinetune表現(xiàn)參數(shù)型訓練與模型稀疏性是提升訓練效率的三種方式 與模型稀疏性是提升訓練效率的三種方式2.1大模型與小模型界定?大模型，又稱為基礎模型或者大規(guī)模預訓練模型，是“大算力+強算法”結合的產(chǎn)物，大模型是人工智能發(fā)展的趨勢和未來。?大模型的一般訓練過程：數(shù)據(jù)獲取-數(shù)據(jù)清洗-大模型訓練-下游適配-終端應用?大模型與小模型沒有非常清晰的界定，站在當前時點來看，大模型一般具備如下特征：參數(shù)量(十億量級)和訓練數(shù)據(jù)量(GB以上)巨大，一般采用transformer架構；采用預訓練模式，在通用數(shù)據(jù)集上進行預訓練，而不是直接在特定數(shù)據(jù)集進行特定任務的訓練；具備遷移學習能力，遷移學習的思想是將從一項任務(例如，圖像中的對象識別)中學到的“知識”應用到另一項任務(例如，視頻中的行為識別)中，在Zero/One-shot中具有較好的表現(xiàn)，即訓練樣本很少或者沒有的情況下，仍有較好性能。模型的訓練過程依賴云端設備，無法在離線個人終端上實現(xiàn)；數(shù)據(jù)獲取數(shù)據(jù)清洗大模型訓練下游適配終端應用資料來源：OntheOpportunitiesandRisksofFoundationModels，中信建投2.2大模型與小模型建模過程的差異性?在訓練步驟方面。大模型的訓練過程主要包含如下步驟：數(shù)據(jù)獲取→數(shù)據(jù)清洗→大模型訓練→下游適配→終端應用，小模型的訓練過程主要包含如下幾個步驟：任務制定→數(shù)據(jù)獲取→數(shù)據(jù)清洗→模型訓練→模型調(diào)試→終端應用。訓練過程的差異性主要存在于以下兩個步驟中：?在數(shù)據(jù)獲取環(huán)節(jié)方面，大模型的訓練文本一般是通用數(shù)據(jù)集，其訓練文本并未針對特定領域進行篩選。小模型的訓練過程中首先制定任務目標，針對特定目標搜選訓練數(shù)據(jù)集，適用于監(jiān)督學習的數(shù)據(jù)集同時需要標注員進行人工標注。?在訓練模式方面，大模型一般采用預訓練模式，訓練過程中并未針對下游特定任務，訓練之后需要fine-tune(微調(diào))去在下游應用領域適用。小模型在訓練時包含特定任務，訓練結束后經(jīng)過一定的參數(shù)微調(diào)，便可應用到下游領域。圖表：BERT模型的預訓練過程和下游任務微調(diào)?模型參數(shù)量對大模型的性能有重要影響，大模型的性能往往隨著模型參數(shù)量的增加而上升，多數(shù)是可以預見的，模型性能通常是依靠知識和簡單的文本操作來提高。大模型還存在一種不可預見現(xiàn)象，被稱為大模型的突現(xiàn)能力(emergentabilitiesorbreakthroughness)，指在特定任務中，伴隨著模型參數(shù)量的增加，會發(fā)生一些不存在于小模型的現(xiàn)象，這種現(xiàn)象不能簡單通過推斷小模型的性能改進進行預測，約有5%的大模型任務會出現(xiàn)大模型的突現(xiàn)能力。的層數(shù)增加到48層，GPT-3則為96層。此外，增加模型中詞向量長度，放大每層網(wǎng)絡中的構件大小等均能提升模型效果。圖表：隨著參數(shù)量上升大模型性能具有突破性資料來源：EmergentAbilitiesofLargeLanguageModels，Quantifyingandextrapolatingthecapabilitiesoflanguagemodels，中信建投2.4語言模型對訓練數(shù)據(jù)量提出更高需求?在大模型中，模型參數(shù)量大小和訓練數(shù)據(jù)量應該以大致相同的速度增長。的問題：DeepMind的最新論文中審視了當前的模型發(fā)展，發(fā)現(xiàn)普遍存模型的大小與訓練數(shù)據(jù)量不匹配。因為在過去，業(yè)界普遍認為大模型表現(xiàn)和參數(shù)量高度相關。但在實際訓練中，算力是對模型最大的制約因素，模型參數(shù)不可能無限增長。?參數(shù)量與數(shù)據(jù)量應匹配：在算力資源有限情況下，如何匹配模型參數(shù)量和數(shù)據(jù)量使得模型表現(xiàn)達到最優(yōu)，是非常重要的問題。?DeepMind最新的研究成果表明：對于固定的算力資源，模型參數(shù)大小和訓練數(shù)據(jù)的大小是對應的。1)OpenAI過去的工作發(fā)現(xiàn)，模型的尺寸應該會比訓練數(shù)據(jù)大小的增加更快。DeepMind現(xiàn)，模型的尺寸和訓練數(shù)據(jù)的數(shù)量應該以大致相同的速度增長。在最優(yōu)性能曲線(右下圖三條直線)中：DeepMind的Chinchilla(700億)模型，利用原先4倍的訓練數(shù)據(jù)量，獲得了參數(shù)量和性能的最優(yōu)匹配。可以看到Gopher(2800億)、GPT-3(1750億)、MT-NLG(5300億)等模型的訓練量明顯不足，造成了對算力的浪費。圖表：DeepMind訓練大模型的參數(shù)圖表：DeepMind發(fā)現(xiàn)很多大模型參數(shù)量應該有所降低ModelSize(#Parameters)LaMDA300BillionJurassic300BillionGopher280Billion300BillionTNLGB530Billion270BillionChinchilla70Billion資料來源：TrainingCompute-OptimalLargeLanguageModel，StateofAI2022，中信建投setCNNDMsetCNNDMSQnADEnDeEnF19.2480.8826.9839.82ered19.1478.7826.5539.341wslike19.2380.3926.7539.9019.3181.4226.8039.7419.3181.2926.9439.69TBC19.2882.0826.7739.63?對于大型語言模型而言，數(shù)據(jù)質(zhì)量可能更為重要。數(shù)據(jù)質(zhì)量包括數(shù)據(jù)準確度、信息含量以及數(shù)據(jù)類型的多樣性等。?多年前谷歌提出的T5預訓練模型，使用其專門構造的C4數(shù)據(jù)集(ColossalCleanCrawledCorpus)，該數(shù)據(jù)集是從CommonCrawl網(wǎng)站上抓取數(shù)百個千兆字節(jié)干凈的英文文本，從而使得模型訓練后，性能有較好的表現(xiàn)。據(jù)集包括CommonCrawl在內(nèi)的五類數(shù)據(jù)，但該模型并非根據(jù)數(shù)據(jù)量大小賦予同比例權重，而是將質(zhì)量較高的維基百科數(shù)據(jù)在訓練數(shù)據(jù)量占比。?阿伯丁大學等相關學者(資料來源2)對訓練數(shù)據(jù)集進行了估算，結論到2026年左右，高質(zhì)量的NLP數(shù)據(jù)將會用光，低質(zhì)量NLP數(shù)據(jù)會在2030到2050年用光，而低質(zhì)量圖像數(shù)據(jù)會在2030到2060年用光。 圖表：T5模型C4數(shù)據(jù)集表現(xiàn)(前四類數(shù)據(jù)集是C4或者基于C4的變體)圖表：GPT-3數(shù)據(jù)集etngmixselapsedwhenainingforBtokensnCrawlfilteredbillion資料來源：1.ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，2.Willwerunoutofdata?AnanalysisofthelimitsofscalingdatasetsinMachineLearning，3.LanguageModelsareFew-ShotLearners，中信建投2.6大模型需要更充分的預訓練?大模型預訓練階段主要通過在一定程度上增大batchSize(每一組數(shù)據(jù)的大小)和步長(在數(shù)據(jù)上移動的長度)實現(xiàn)。?典型的增大batchsize與步長的模型是BERT的改進版本RoBERTa。RoBERTa是穩(wěn)健優(yōu)化的BERT方法，使用動態(tài)掩碼、更大的batchsize以及字節(jié)對編碼等進行優(yōu)化。?RoBERTa在BERT的基礎上，通過增大batchsize(8K)和步長(100K->300K->500K)，使得BERT得到充分訓練，極大提升了原圖表：RoBERTa模型使用大的batchSize和增加訓練步數(shù)不同數(shù)據(jù)集的準確率不同數(shù)據(jù)集的準確率mooKsWIKI93.6/87.3additionaldata(§3.2)4.0/87.7pretrainlonger4.4/88.7pretrainevenlonger.4ooKsWIKIrge90.9/81.8ooKsWIKI94.0/87.8additionaldata94.5/88.8資料來源：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach，中信建投2.7增加預訓練任務的難度?大模型在進行預測之前需要進行預訓練，如果預訓練任務越有難度，則預訓練模型則越能高效率學習知識，則最終模型能有更好的性能表現(xiàn)。以BERT為例，BERT有兩個預訓練任務，分別是單詞級的MASK語言模型和句子級的下一句預測NSP模型。?MASK模型隨機選取一部分單詞進行屏蔽，要求模型對屏蔽詞作出預測。MASK任務中，相較于簡單屏蔽一個獨立的單詞，通過屏蔽連續(xù)的單詞片段，對模型要求更高，訓練效果也最好。?NSP的主要目的是判斷兩個句子之間的連貫性，正例由兩個連續(xù)句子構成，負例的兩個句子順序則是隨機的，不具備上下文關系，NSP將連貫性預測和主題預測進行了合并，只需要模型預測句子是否主題相似即可，任務比較簡單。在BERT模型的改進版ALBERT中，用SOP代替了NSP，將兩個連續(xù)出現(xiàn)的句子構造成正例，負例則將連續(xù)的句子調(diào)換語序，需要模型預測兩個句子出現(xiàn)順序是否正確，模型復雜度增加，但同時模型學到了更多知識，取得了比較好的訓練效果。 utsPrefixlanguagemodelingankyouforinvitingmetoyourpartylastweek.Thankyou<M><M>metoyourpartyappleweek.fllingpartymeforyourto.lastfunyouinvitingweekThanktyleThankyou<M><M>metoyourparty<M>week.lid.noisE,replacespansThankyou<X>metoyourparty<Y>week.Xforinviting<Y>last<Z>lidnoisedroptokensThankyoumetoyourpartyweek.nvitinglastandomspansThankyou<X>to<Y>week.Xforinvitingme<Y>yourpartylast<Z>資料來源：ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，中信建投2.8Fine-tune、Prompt提高模型下游任務表現(xiàn)Finetune用效果。但存大量的主干參數(shù)的數(shù)據(jù)且需要大量訓練數(shù)據(jù)，成本較高；另一方面，在上下游任務目標差異大時，微調(diào)難以解決問題；同時，不改變大部分參數(shù)，只針對輸出部分進行調(diào)整，會導致過擬合問題。?Prompt方法主要通過改造下游任務的模板來縮小預訓練和微調(diào)時的差異，降低微調(diào)成本，提高模型在下游的應用效果。最大的優(yōu)點是零/小樣本，解決了Fine-tune最大的痛點。Prompt的設計分為模板設計、答案搜索和答案映射三步。?Prompt模板的設計方法主要分為人工構建模板、離散模板和連續(xù)模板三種。其中，人工構建的模板具有直觀、高效的特點，但是對專業(yè)知識的要求較低，但是在部分任務上性能不佳；連續(xù)模板在部分場景下性能超過Fine-tune，但是訓練時間長、收斂速度慢，與預訓練數(shù)據(jù)可能出現(xiàn)過耦合。 圖表：連續(xù)Propmt和Fine-tune調(diào)優(yōu)效果對比圖表：離散Propmt和Fine-tune調(diào)優(yōu)效果對比資料來源：Prefix-Tuning:OptimizingContinuousPromptsforGeneration，Autoprompt:Elicitingknowledgefromlanguagemodelswithautomaticallygeneratedprompts，中信建投2.9并行計算、顯存優(yōu)化與模型稀疏性提升訓練效率?并行計算、顯存優(yōu)化與模型稀疏性設計是提升大模型訓練效率的三種技術。?并行計算通過使用多張顯卡訓練模型，將任務進行拆解，分配給不同的處理器進行處理，可以提高模型的訓練效率。根據(jù)不同的維度，分為數(shù)據(jù)并行、流水線并行、張量并行三種。數(shù)據(jù)并行是將相同模型權重復制到多個設備，并將一部分數(shù)據(jù)分配給每個設備同時處理；流水線并行是一種通過將模型并行與數(shù)據(jù)流水線相結合來加速神經(jīng)網(wǎng)絡訓練的方法，核心思想在于模型按層分割成若干塊，每塊都交給一個設備；張量并行是將一個張量沿特定維度分成若干部分在不同的設備上分別計算。?顯存優(yōu)化技術能夠降低顯存占用，提高GPU利用率，與并行計算相結合，節(jié)約模型訓練的成本，實現(xiàn)在單GPU上訓練大模型，包括激活檢查點(ActivationCheckpointing)、混合精度訓練(MixPrecisionTraining)以及零冗余優(yōu)化器(ZeroRedundancyOptimizer)?模型稀疏性指的是模型具有非常大的容量，但只有模型的用于給定的任務、樣本或標記的某些部分被激活。模型稀疏設計的優(yōu)點在激活整個模型，通過子模型處理不同類的任務，同時共享一部分模型。子模型擴大了模型的容量，但是實際計算成本不圖表：并行策略圖表：零冗余優(yōu)化器優(yōu)化過程圖表：專家混合模型(MoE)是典型的模型稀疏性方法二、訓練好大模型的要素三、算力需求的展望四、投資邏輯梳理3.1人工智能模型不同時段的算力需求人工智能模型的算力需求大致可以分為三個階段：2010-2015年，深度學習模型在傳統(tǒng)的自然語言、計算機視覺等領域開始戰(zhàn)勝支持向量機等算法，深度學習模型開始成為主流算法，隨著神經(jīng)網(wǎng)絡的層數(shù)和參數(shù)量的提升，算力需求的增長速度也顯著加快，大致每6個月翻一倍。2016年之后，人工智能模型開始進入巨量參數(shù)時代，算力需求顯著提升。根據(jù)英偉達的算力統(tǒng)計顯示，自2017年之后，以Transformer模型為基礎架構的大模型算力需求提升大致是每2年提升275倍。圖表：AI模型的算力需求逐步提升圖表：Transformer模型的算力需求顯著高于其他模型3.2預訓練自然語言模型對算力提出更高需求?隨著大規(guī)模預訓練自然語言模型的提出，模型的訓練過程中提出了更高的算力要求。預訓練模型通過無需人工標注的大規(guī)模文本庫進行高算力的預先訓練，得到通用的語言模型和表現(xiàn)形式，再經(jīng)過特定應用環(huán)境對預訓練模型進行微調(diào)，從而在各種下游應用領域得到目標任務的快速收斂和準確率提升。預訓練模型在訓練過程中不針對下游任務進行訓練，模型的泛化學習能力使其具備廣泛的下游適應能力，泛化學習能力與模型的參數(shù)量密切相關，因而參數(shù)巨量化成為預訓練模型的典型特征。同時隨著訓練數(shù)據(jù)量的顯著提升，預訓練模型的訓練過程中對算力提出了更高的要求。 圖表：大規(guī)模自然語言模型的參數(shù)量和算力需求圖表：訓練大規(guī)模自然語言模型的算力需求型算力需求(PF-s力需求(flops)參數(shù)量(百萬)訓練數(shù)據(jù)量(百萬tokens)算力需求(每參數(shù)·每文本)T5-SmallE03E00E03E1E13T5-3BE+213E02E2236E0E2066.93E+01.26E+216mallE0E06umE00E06ge6E1E16GPTBE01.77E+216GPTB6BE2E26TBE03E236資料來源：LanguageModelsareFew-ShotLearners，中信建投GLMGLM(130B)3.3超大規(guī)模自然語言模型的算力需求邁上新臺階?預訓練自然語言模型進入千億參數(shù)時代，模型訓練算力邁上新臺階。自GPT-3模型之后，大規(guī)模的自然語言模型進入了千億參數(shù)時代，2021年之后涌現(xiàn)出諸多千億規(guī)模的自然語言模型，模型的訓練算力顯著增加。GPT-3模型參數(shù)量為1750億，訓練算力需求為3.14E+23flops，當前各種預訓練語言模型還在快速的更新迭代，不斷刷新自然語言處理任務的表現(xiàn)記錄，單一模型的訓練算力需求也不斷突破新高。 GPT-NeoX(20B)GPT-35B)GPT-j(6B)MegatronTuring-NLG(137B)Pan-Gu(200B)Pan-Gu(200B)FLAN(137B)OPT(175B)BLOOMB)Aug2022chatGPTJune2020ofAIReport，中信建投May2021Aug2021Sep2021HyperCLOVA(204B)Yuan1.0(246B)LaMDA(280B)May2022PaLM(540B)Nov20223.4大模型的算力需求主要來自三個環(huán)節(jié)?大模型的算力需求主要來自于三個環(huán)節(jié)：預訓練得到大模型的訓練環(huán)節(jié)。該環(huán)節(jié)中，算力呈現(xiàn)海量需求且集中訓練的特點，大模型通常在數(shù)天到數(shù)周內(nèi)在云端完成訓練。適應下游領域時進一步fine-tune環(huán)節(jié)。算力需求取決于模型的泛化能力以及下游任務的難度情況。大模型日常運行時的推理環(huán)節(jié)。該環(huán)節(jié)中，算力取決于模型的參數(shù)量和用戶調(diào)用量，需求在模型商業(yè)化后持續(xù)存在且波動較大。 數(shù)據(jù)獲取數(shù)據(jù)清洗GPT模型訓練商業(yè)應用Finetune資料來源：中信建投3.5英偉達顯卡是AI模型算力的主流選擇?英偉達顯卡是AI模型中最常用的算力芯片。英偉達顯卡憑借較高的靈活性和成熟的軟件生態(tài)，成為當前AI模型的主流選擇，根據(jù)學術論文的統(tǒng)計結果，英偉達顯卡使用的頻次是?英偉達顯卡實現(xiàn)人工智能算力的顯著提升。從V100-A100-H100的發(fā)展路徑來看，英偉達顯卡實現(xiàn)了FP64、FP32算力能力的持續(xù)提升，AI模型的訓練速度穩(wěn)步加快，通過引入FP16、INT8Tensorcore，實現(xiàn)推理能力的顯著提升，單位能耗下的訓練和推理能力也實現(xiàn)穩(wěn)步提升。 圖表：不同AI芯片在人工智能論文中的出現(xiàn)頻次圖表：英偉達不同GPGPU的性能參數(shù)比對A00A00V0FP64(TFlops)349.79.77.8FP32(TFlops)FP16Tensorcore(TFlops)INT8Tensorcore(TFlops)GPU顯存(GB)GPU帶寬(GB/s)互連(GB/s)功耗(W)發(fā)發(fā)布時間3.6AI服務器專注實現(xiàn)人工智能加速?隨著AI算力的需求提升，衍生出專注人工智能加速的AI服務器。在小模型時代，AI模型的訓練和推理算力需求相對較小，依賴個人終端就可以實現(xiàn)。隨著模型參數(shù)的逐漸提升，AI模型開始依賴云端算力，云服務器承載了主要的算力需求。當前，AI算力在數(shù)據(jù)中心的占比進一步提升，衍生出了更加專業(yè)化的AI服務器。?以GPU為主的AI服務器實現(xiàn)人工智能的算力加速。AI服務器多采用異構架構，其中以2CPU+8GPU最為常見，AI服務器具有性能優(yōu)越、擅長并行計算、高帶寬、散熱能力強等優(yōu)點。圖表：傳統(tǒng)云服務器與AI服務器圖表：云服務器與AI服務器的差異傳統(tǒng)云服務器2CPU資料來源：浪潮信息，英偉達，中信建投AI服務器AICPUGPU側重串行計算側重并行計算、通信3.7ChatGPT類大模型的訓練成本估算AI模型的訓練算力與模型參數(shù)量、訓練數(shù)據(jù)量有關：?ChatGPT模型訓練的算力需求為3.14e+23FLOPs。?模型的有效算力利用率為21.3%(GPT-3訓練效率)。?英偉達DGXA100服務器單精度2496TFLOP/s=2.50e+15FLOPs，訓練時需要在DGXA100服務器上總訓練時長164060小時(單個A100訓練150年)。按照云服務器平均運行成本估算，DGXA100服務器的小時租金是20美元，估算單次訓練租用云服務器的成本是328萬美金。?其中只考慮了單模型的單次訓練服務器租金，大模型訓練次數(shù)可能不止一次且存在其他研發(fā)費用沒有計入其中。 A金比對服務器164060ops3.8ChatGPT類大模型的運行成本估算模型的運行成本與模型參數(shù)量、用戶調(diào)用次數(shù)有關:?750字(1ktoken=750字)文字生成的算力需求(以FLOPs為指標)約為N其中N為模型參數(shù)數(shù)量，生成750字消耗算力350TFLOPs。?根據(jù)Similarweb數(shù)據(jù)，近期chatGPT官網(wǎng)吸引的每日訪客數(shù)量接近5000萬。每小時平均訪問人數(shù)約210萬人，假定高峰時期同時在線人數(shù)450萬人，一小時內(nèi)每人問6個問題，每個問題回答60字。?用戶高峰時期的每小時算力需求:4500000*350*6*60/750=7.56E+8TFlops，考慮模型的有效算力利用率為21.3%，需要400臺A100服務器(3200塊英偉達A100芯片)支撐，400臺服務器在云上月租金576萬美元/每月。 圖表：ChatGPT官網(wǎng)的日均訪問量(百萬人次)006萬美元/月務器算力：2496TFlops二、訓練好大模型的要素三、算力需求的展望四、投資邏輯梳理現(xiàn)狀市場特點發(fā)展趨勢1)預訓練模型迭代對于算力提出更高要求，只有少數(shù)頭能夠負擔起高昂的訓練成本2)高質(zhì)量的海量數(shù)據(jù)成為大語言模型充分訓練的重要數(shù)據(jù)和數(shù)據(jù)處理相關公司將在產(chǎn)業(yè)中變得更加現(xiàn)狀市場特點發(fā)展趨勢1)預訓練模型迭代對于算力提出更高要求，只有少數(shù)頭能夠負擔起高昂的訓練成本2)高質(zhì)量的海量數(shù)據(jù)成為大語言模型充分訓練的重要數(shù)據(jù)和數(shù)據(jù)處理相關公司將在產(chǎn)業(yè)中變得更加3)大模型訓練的訓練對企業(yè)協(xié)作提出更高要求，人工技術提供商和算力提供商協(xié)同合作，來完成大規(guī)