計算機(jī)行業(yè)研究：如何實(shí)現(xiàn)AGI：大模型現(xiàn)狀及發(fā)展路徑展望

11分析師：孟燦(執(zhí)業(yè)S1130522050001)mengcan@聯(lián)系人：趙彤如何實(shí)現(xiàn)AGI：大模型現(xiàn)狀及發(fā)展路徑展望投資邏輯：個等級，現(xiàn)階段大模型在處理任務(wù)的廣泛性上還有很大提升空間，即使是國際頂尖的大模型也仍處于Level-1EmergingAGI階段。不同類型大模型成熟度差異較大，目前大語言模型能力相對完善，落地應(yīng)用場景豐富，底層技.模型骨干網(wǎng)絡(luò)架構(gòu)尚未演變至終局，微調(diào)及稀疏結(jié)構(gòu)成為提升模型性能的重要方法。目前主流大模型均采用代表的稀疏結(jié)構(gòu)通過分割輸入任務(wù)并匹配專開源模型性能優(yōu)化速度快于閉源模型。我們認(rèn)為，目前第一梯隊AI大模型紛紛進(jìn)軍萬億參數(shù)，且不將逐步逼近十萬億參數(shù)收斂值，對于本輪AI浪潮而言，找場景或優(yōu)于做模型。在場景選擇方面，對“幻覺”容忍度高且能夠替代人工的場景可實(shí)現(xiàn)應(yīng)用率先落地，如聊天機(jī)器人、文本/圖像/視頻創(chuàng)作等領(lǐng)域；而對“幻覺”容忍度較龍頭科大訊飛等，建議關(guān)注數(shù)據(jù)工程供應(yīng)商以及算力產(chǎn)業(yè)鏈相關(guān)公司。對于行業(yè)類公司而言，尋找通過AI賦能帶來風(fēng)險提示底層大模型迭代發(fā)展不及預(yù)期；國際關(guān)系風(fēng)險；應(yīng)用落地不及預(yù)期；行業(yè)競爭加劇風(fēng)險。22 4 7 92.2算法改進(jìn)：骨干網(wǎng)絡(luò)架構(gòu)仍有創(chuàng)新空間，微調(diào)及稀疏結(jié)構(gòu)能夠提升性價比 10 17 17 183.3如何處理“幻覺”？——Scalin 19 20 23 4 4 5 5 6 6 7 8 8 9 9 10 10 11 12 12 13 13 1433 14 14 15 15 16 16 17 18 19 20 20 21 22 2244夠?qū)崿F(xiàn)AGI（Artificialgene本文主要盤點(diǎn)目前各類主流大模型性能情況，試圖討論大模型性能提升并最終實(shí)現(xiàn)AGI等級主要特征Level-1初現(xiàn)（EmergingAGI）超越人類（SuperhumanAGI）模型分類主要內(nèi)容代表模型LlamaClaude3的3.2倍，模型能夠理解自然語言及圖像，還可以處理復(fù)雜的機(jī)器人指令；谷歌于55云開發(fā)者社區(qū)，京東技術(shù)公眾號，中國科學(xué)基金公眾號，數(shù)金證券研究所66模型名稱發(fā)布時間發(fā)布機(jī)構(gòu)功能類別主要內(nèi)容CLIP2021OpenAI202220222023.3終的參數(shù)量高達(dá)5620億，其訓(xùn)練數(shù)據(jù)為包含視覺、連2023.72023.102024.377但距復(fù)雜、專業(yè)水平仍有差距；Transformer，但細(xì)節(jié)優(yōu)化空間較大，高質(zhì)模型分類主要內(nèi)容語言大模型多模態(tài)大模型具身智能類大模型88圖表8：以O(shè)penAI布局為例，看AGI發(fā)展路徑選擇、模型預(yù)訓(xùn)練、微調(diào)等。模型的預(yù)訓(xùn)練、微99OpenAI通過研究證明，隨著模型大小、數(shù)據(jù)集大小和訓(xùn)練所用計算量的增加，語言模型的性能也會穩(wěn)步提高。為了獲得最佳性能，這三個因素必須同時放大：1）當(dāng)不被其他兩2.2.1基于Transformer，在架構(gòu)選擇、多模態(tài)融合、自注意力機(jī)制方面進(jìn)行創(chuàng)新）；和NextSentencePredic骨干架構(gòu)主要特點(diǎn)碼結(jié)果傳遞給后續(xù)處理模塊話生成等任務(wù)的準(zhǔn)確性；缺點(diǎn)是模型復(fù)雜度高、訓(xùn)練時間務(wù)融合領(lǐng)域?qū)崿F(xiàn)反超。清華大學(xué)和智譜AI公司共同研發(fā)的GLM系列模型采用個人對某個事物的關(guān)注程度，然后將這個關(guān)注程和重要性，而各種模態(tài)的信息均可以通過一定方式轉(zhuǎn)化為一維長序列，因而Transformer具備處理多模態(tài)問題的圖表18：Meta-Transformer模型能夠處理12種非成對的模態(tài)數(shù)據(jù)圖表19：擴(kuò)散模型示意圖Transformer在處理序列數(shù)據(jù)時的圖表20：DiffusionTransformer模型結(jié)構(gòu)索持續(xù)推進(jìn)，有望推動骨干網(wǎng)絡(luò)升級。架構(gòu)盤古-π,通過增強(qiáng)非線性，在傳統(tǒng)Transformer架構(gòu)上做出改進(jìn)，由此可以顯圖表21：針對Transformer的創(chuàng)新研究持續(xù)推進(jìn)改進(jìn)維度相關(guān)論文改進(jìn)方法RethinkingAttention:ExploringShallowFeed-ForwardNeuralLayersinTransformersFLattenTransformer:VisionTransformerusingFocusedLinear架構(gòu)SimplifyingTransformerBlocks層，以簡化結(jié)構(gòu)。在自回歸解碼器和BERT編碼器模型實(shí)驗(yàn)中，簡化版15%EffcientLong-RangeTransformers:NecessarilyatEveryLayer壓器相當(dāng)?shù)男阅埽嬎愠杀撅@著降低（高達(dá)75%）精度與效率平衡TransformerwithCascadedGroup.提出了一種稱為EfficientViT的高速視覺Transformer，為了提高現(xiàn)有2.2.2微調(diào)方法的改進(jìn)促進(jìn)模型性能和落地效率提升“基礎(chǔ)模型+微調(diào)”已成為大模型開發(fā)范式，通過微調(diào)讓基礎(chǔ)模型針對特定任務(wù)類型、應(yīng)圖表22：InstructGPT中的RLHF技術(shù)來源：《Traininglanguagemodelstofo圖表23：Llama-2對RHLF的獎勵模型進(jìn)行改進(jìn)圖表24：針對Transformer架構(gòu)大模型的PEFT微調(diào)方法AI大模型的計算架構(gòu)決定了模型中人工神經(jīng)網(wǎng)絡(luò)的各神經(jīng)元之間相互作用的方式。計算但仍有繼續(xù)改進(jìn)的空間:本輪AI底層模型創(chuàng)業(yè)需求依賴資本密集的人才與算力持續(xù)投入。據(jù)BofAGLOBAL比提升65.8%。我們認(rèn)為，融資筆數(shù)同比增速大幅低于融資額度說明2023年AI創(chuàng)業(yè)公司平均融資額度較大，可能與AI大模型創(chuàng)450400350300250200042625425725421829432920192020202120222023生成式AI融資額度（億美元）生成式AI融資筆數(shù)（筆）生成式AI融資額度YoY（右軸，%）生成式AI融資筆數(shù)YoY（右軸，%）600%500%400%300%200%0%-100%觀上、依托投資人的持續(xù)投入，以支撐模型訓(xùn)練對于會有MaaS（ModelasaService已經(jīng)落地的場景往往對“幻覺”具備一定的容忍度。只有第二類和第五類場景是目前AI能夠應(yīng)用落地且可以產(chǎn)生商業(yè)化收入的。第二類場景例如生成某種風(fēng)格類型的小說/插畫/音樂以及基于Sora等多模態(tài)模型得到的短片。第五類場景例如ChatGPT或者），3.3如何處理“幻覺”？——ScalingLaw信仰派vs引入知識圖譜改良派連接主義（Connectionism又稱為神經(jīng)網(wǎng)絡(luò)或并行分布處理，是一種模仿人腦神了信息的權(quán)重，而智能則體現(xiàn)在這些單元如何通過學(xué)習(xí)和調(diào)數(shù)學(xué)公式。我們通過文字和公式來表達(dá)思想和解決問題，而符號主義A圖表29：連接主義VS符號主義化和非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的各種信息來源，生成樣的概率引擎，其基于一個準(zhǔn)確的知識中心進(jìn)行新至V4.0版本，其中日日新商量大語言模型支持128K語境窗口長度，綜合整體評圖表32：算力產(chǎn)業(yè)圖譜說明：途中藍(lán)色虛線方框內(nèi)為境外公司，紅色虛線方框內(nèi)對于AI下游應(yīng)用廠商而言，選擇基于開源模型開發(fā)，或者與海內(nèi)外圖表33：建議關(guān)注AI賦能細(xì)分場景的龍頭企業(yè)賦能行業(yè)受益公司基本情況AI+教育中英作文類人批改、數(shù)學(xué)類人互動輔學(xué)、英語類人口語對話等功能。訊飛AI硬件在2023“雙11”數(shù)字老師等新型教育教學(xué)模式，助力教育教學(xué)全流程AI+企業(yè)服務(wù)寸智能發(fā)布國內(nèi)首個公文領(lǐng)域大模型。同時，致遠(yuǎn)互聯(lián)結(jié)合大模型+知識圖譜能力推出一系金蝶國際AI+辦公金山辦公AI+金融文章生成、智能金融問答、智能語音、智能客服機(jī)器人、智能質(zhì)檢機(jī)器人、會議轉(zhuǎn)寫系統(tǒng)、智慧政務(wù)Light技術(shù)平臺為底座，進(jìn)一步發(fā)展分布式低延時平臺、敏捷業(yè)務(wù)交付平臺、高性能數(shù)據(jù)編提供客戶資料收集、圖文識別、財報數(shù)據(jù)抽析的初稿生成，有望進(jìn)一步帶動國內(nèi)業(yè)務(wù)加速AI+工業(yè)軟件硬件端包括新型行星減速器、輕量化仿人機(jī)械臂和多自由度靈巧手，其中多自由度靈人本體的完整研發(fā)過程，還能提供專門為機(jī)器人設(shè)計的仿真解AI+安防力，可賦能城市高效治理、運(yùn)行自治、安全體系升級、生態(tài)協(xié)AI+網(wǎng)絡(luò)安全三款產(chǎn)品，為政企用戶提供更智能、更高效、更便捷的網(wǎng)絡(luò)安AI+醫(yī)療若底層大模型迭代發(fā)展不及預(yù)期，可能會影響AI應(yīng)用落地的深度，使其難以在金融、教行業(yè)投資評級的說明：特別聲明：形式的復(fù)制、轉(zhuǎn)發(fā)、轉(zhuǎn)載、引用、修改、仿制、刊發(fā)，或以任何侵犯本公司版權(quán)的其他方式使用。經(jīng)過書面授權(quán)的引用、刊發(fā)，需注明出處為“本報告的產(chǎn)生基于國金證券及其研究人員認(rèn)為可信的公開資料或?qū)嵉卣{(diào)研資料，但國金證券及其研究人員對這些信息的準(zhǔn)確性和反映撰寫研究人員的不同設(shè)想、見解及分析方法，故本報告所載觀點(diǎn)可能與其他類似研究報告的觀點(diǎn)及市場實(shí)際情況不一致，國金證券不對使用本報告所包含的材料產(chǎn)生的任何直接或間接損失或與此有關(guān)的其他任何損失承擔(dān)任何責(zé)任。且本報告中的資料、意見、預(yù)測均反映報告初次公開發(fā)布時的判斷，在不作事先通知況下，可能會隨時調(diào)整，亦可因使用不同假設(shè)和標(biāo)準(zhǔn)、采用不同觀點(diǎn)和分析方法而與國金證券其它業(yè)務(wù)部門、單位或附屬機(jī)構(gòu)在制作類似的其他材料時所給出本報告僅為參考之用，在任何地區(qū)均不應(yīng)被視為買賣任何證券、金融工具的要約或要約邀請。本報告提及的任何證券或金融工具均可能含有重大的風(fēng)險，不易變賣以及不適合所有投資者。本報告所提及的證券或金融工具的價格、價值及收益客戶應(yīng)當(dāng)考慮到國金證券存在可能影響本報告客觀性的利益沖突，而不應(yīng)視