2023年中國(guó)大模型評(píng)測(cè)（一）：行研創(chuàng)作新范式 -頭豹

2023年中國(guó)大模型評(píng)測(cè)（一）行研創(chuàng)作新范式報(bào)告提供的任何內(nèi)容（包括但不限于數(shù)據(jù)、文字、圖表、圖像等）均系頭豹研究院獨(dú)有的高度機(jī)密性文件（在報(bào)編、匯編本報(bào)告內(nèi)容，若有違反上述約定的行為發(fā)生，頭豹研究院保留采取法律措施、追究相關(guān)人員責(zé)任的權(quán)利。頭豹研究院開(kāi)展的所有商業(yè)活動(dòng)均使用“頭豹研究院”或“頭豹”的商號(hào)、商標(biāo)，頭豹研究院無(wú)任何前述名稱之頭豹是國(guó)內(nèi)領(lǐng)先的行企研究原創(chuàng)內(nèi)容平臺(tái)和創(chuàng)新的數(shù)字化研究服務(wù)提供商。頭豹在中國(guó)已布局3大研究院，擁有近百名資深分析師，頭豹科創(chuàng)網(wǎng)(www.leadleoliver.yuan@Leadleo.ccharles.chang@Leadleo頭豹研究院結(jié)合大模型基礎(chǔ)核心能力，歸總出對(duì)于行業(yè)結(jié)合大模型基礎(chǔ)核心能力，歸總出對(duì)于行業(yè)報(bào)告撰寫能力是沙利文及頭豹行企研究的全面系統(tǒng)的研究方法論，專用于行業(yè)的深入分析。結(jié)合詳實(shí)的數(shù)據(jù)和精準(zhǔn)的分析，顯著提訊飛星火以及文心一言3.5占據(jù)前三甲。其余模型表現(xiàn)各有千秋，例如紫東在行業(yè)特征的和產(chǎn)業(yè)鏈分析細(xì)分維度表現(xiàn)優(yōu)秀。領(lǐng)先幅度較大。排名靠后的模型雖綜合評(píng)分低，但細(xì)分模塊表現(xiàn)優(yōu)異，例如智譜清言和其中商量整體表現(xiàn)穩(wěn)定且領(lǐng)先，而GPT3.5和百川因信息更新和答案完整性問(wèn)題而在某些關(guān)鍵模塊中失分較多在報(bào)告撰寫能力評(píng)測(cè)中，商量整體表現(xiàn)穩(wěn)訊飛在分類任務(wù)中表現(xiàn)佳，天工在多個(gè)領(lǐng)域表現(xiàn)優(yōu)秀但產(chǎn)業(yè)鏈不足。GPT3.5因信息庫(kù)舊而在競(jìng)爭(zhēng)和市場(chǎng)方面失分。智譜清言和通義千問(wèn)整體穩(wěn)定，各有突出領(lǐng)域。百川在政策方面波動(dòng)大，紫東太初和雅意表現(xiàn)相似但在特定模塊有所不足。Minimax在多數(shù)模塊略高于均分，但在某些重要領(lǐng)域GPT3.5、以及文心一言3.5表現(xiàn)穩(wěn)定性GPT3.5和文心一言3.5表現(xiàn)穩(wěn)定，各自在不同方面領(lǐng)先。GPT3.5在邏輯推理上領(lǐng)先，商湯商量擅長(zhǎng)文字生成和語(yǔ)境轉(zhuǎn)換，文心一言3.5優(yōu)于意圖理解。天工、智譜清言和百川波動(dòng)性大，表現(xiàn)不均。訊飛星火、騰訊混元和Minimax表現(xiàn)平穩(wěn)但有波動(dòng)，特別是Minimax在文字生成上表現(xiàn)較弱。通義千問(wèn)、紫東太初和雅意整體較弱，特別是在邏輯推理和意圖理解上，顯示出與領(lǐng)先模型在參數(shù)量和微調(diào)方面的差距。34頁(yè)頁(yè)1122了解中國(guó)語(yǔ)言大模型的發(fā)展演變以及競(jìng)爭(zhēng)態(tài)勢(shì)，通過(guò)對(duì)大模型進(jìn)行深度評(píng)測(cè)來(lái)梳理?報(bào)告撰寫能力：中國(guó)語(yǔ)言大模型在行企研究報(bào)告的撰寫能力幾何？在競(jìng)爭(zhēng)格局、市場(chǎng)規(guī)模、產(chǎn)業(yè)鏈分析等高難度模塊的競(jìng)爭(zhēng)表現(xiàn)如何？?模型基礎(chǔ)能力：中國(guó)語(yǔ)言大模型的邏輯推導(dǎo)能力、類比遷移能力等基礎(chǔ)能力表頭豹LeadLeo55Chapter1大模型報(bào)告撰寫能力評(píng)測(cè)結(jié)果在報(bào)告撰寫能力板塊的表現(xiàn)中，商湯商量、訊飛星火以及文心一言3.5占據(jù)前三甲。其余模型表現(xiàn)各有千秋，例如紫東在行業(yè)特征的歸納總結(jié)能力較強(qiáng)，Minimax則在發(fā)展歷程和產(chǎn)業(yè)鏈分析細(xì)分維度表現(xiàn)優(yōu)秀在報(bào)告撰寫評(píng)測(cè)中，不同平臺(tái)表現(xiàn)存在顯著差異。例如，商量憑借其穩(wěn)定性和在關(guān)鍵模塊的領(lǐng)先優(yōu)勢(shì)顯著。而GPT3.5和百川因信息庫(kù)更新不足及答案完整性與準(zhǔn)確性問(wèn)題，在高權(quán)重模塊中失分較多行業(yè)定義、行業(yè)分類、發(fā)展歷程以及政策分析在行研撰寫中難度較低，重點(diǎn)聚集在信息搜集的準(zhǔn)確度。在低難度撰寫模塊中，12大模型沒(méi)有顯著的差距，但部分模型由于在特定模塊中無(wú)法回答，因此失分嚴(yán)重商湯商量、訊飛星火以及文心一言3.5是模型報(bào)告撰寫能力排名前三甲。在報(bào)告撰寫的細(xì)分模塊中，行業(yè)定義和分類的平均得分較高，撰寫難度相對(duì)較低。產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局和市場(chǎng)規(guī)模得分較低，撰寫難度大6排名模型名稱總得分發(fā)展歷程產(chǎn)業(yè)鏈?zhǔn)袌?chǎng)規(guī)模發(fā)展歷程產(chǎn)業(yè)鏈?zhǔn)袌?chǎng)規(guī)模政策分析行業(yè)特征競(jìng)爭(zhēng)格局1商湯商量8.272訊飛星火8.103文心一言3.58.084天工7.585GPT3.57.586騰訊混元7.587智譜清言7.448百川7.389通義千問(wèn)7.34紫東太初7.33Minimax7.26雅意7.23得分高得分低報(bào)告撰寫能力由模型在定義、分類、行業(yè)特征、發(fā)展歷程、產(chǎn)業(yè)鏈、市場(chǎng)規(guī)模、政策分析以及競(jìng)爭(zhēng)格局8D模塊的表現(xiàn)綜合評(píng)定而成.模型在報(bào)告撰寫評(píng)測(cè)的表現(xiàn)中，商量、訊飛星火、以及文心一言3.5是表現(xiàn)TOP3的模型，其中商湯商量在8D模塊均表現(xiàn)強(qiáng)勁，訊飛星火在高難度撰寫板塊展現(xiàn)一定實(shí)力根據(jù)大模型報(bào)告撰寫能力綜合熱力矩陣圖可以看出商湯商量是綜合能力最強(qiáng)的模型，且在各個(gè)板塊的表現(xiàn)穩(wěn)定處在前列位置。訊飛星火雖在發(fā)展歷程失分較為嚴(yán)重，但在市場(chǎng)規(guī)模、政策分析以及競(jìng)爭(zhēng)格局的高難度撰寫板塊中表現(xiàn)強(qiáng)勁。來(lái)源：沙利文、頭豹研究院7?在報(bào)告撰寫評(píng)測(cè)中，不同平臺(tái)表4.5產(chǎn)業(yè)鏈定義發(fā)展歷程分類競(jìng)爭(zhēng)格局市場(chǎng)規(guī)模特征政策分析商湯商量訊飛星火文心一言天工GPT3.5(參考模型）騰訊混元智譜通義千問(wèn)紫東太初Minimax中科聞歌.在報(bào)告撰寫評(píng)測(cè)中，各平臺(tái)表現(xiàn)各異，其中商量整體表現(xiàn)穩(wěn)定且領(lǐng)先，而GPT3.5和百川因信息更新和答案完整性問(wèn)題而在某些關(guān)鍵模塊中失分較多在報(bào)告撰寫能力評(píng)測(cè)中，商量的整體表現(xiàn)穩(wěn)定，在8D模塊中均超過(guò)均分，領(lǐng)先于其他。文心一言3.5和星火表現(xiàn)出波動(dòng)，例如訊飛在發(fā)展歷程和競(jìng)爭(zhēng)格局低于均分，但在分類任務(wù)中表現(xiàn)最佳。天工在發(fā)展歷程、市場(chǎng)規(guī)模和定義方面表現(xiàn)優(yōu)秀，但在產(chǎn)業(yè)鏈方面略顯不足。GPT3.5在競(jìng)爭(zhēng)格局和市場(chǎng)規(guī)模中失分較多，主要因?yàn)槠湫畔?kù)較舊，無(wú)法提供有效價(jià)值信息，影響了其在報(bào)告撰寫的綜合表現(xiàn)。智譜清言和通義千問(wèn)的綜合表現(xiàn)穩(wěn)定，在8D各模塊中與均分相近，其中智譜清言在政策分析方面表現(xiàn)優(yōu)異，通義千問(wèn)在特征環(huán)節(jié)表現(xiàn)突出。百川的表現(xiàn)波動(dòng)較大，尤其是在政策模塊由于無(wú)法給出答案，導(dǎo)致失分嚴(yán)重，影響了整體均分。紫東太初和雅意的表現(xiàn)相似，除在特征和政策分析模塊外，其他分值走勢(shì)幾乎一致。Minimax在8D模塊中五項(xiàng)略高于均分，但在產(chǎn)業(yè)鏈和競(jìng)爭(zhēng)格局這兩個(gè)高權(quán)重模塊中失分嚴(yán)重。來(lái)源：沙利文、頭豹研究院8產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析??產(chǎn)業(yè)鏈分析是8D模塊中最具挑戰(zhàn)性和權(quán)重最高的部分，考驗(yàn)大模型在.產(chǎn)業(yè)鏈分析作為8D模塊中最具挑戰(zhàn)性且權(quán)重最高的部分，考驗(yàn)著大模型在定義行業(yè)、信息檢索和價(jià)值挖掘方面的綜合能力，其中商湯商量、文心一言3.5和訊飛星火因其優(yōu)秀的知識(shí)儲(chǔ)備和邏輯推理能力在這一模塊中表現(xiàn)突出產(chǎn)業(yè)鏈分析是高階難度撰寫模塊之一，權(quán)重在評(píng)測(cè)分?jǐn)?shù)中占到了17.5%，是8D模塊中評(píng)測(cè)得分權(quán)重最大的模塊。其復(fù)雜性源于需要大模型在三個(gè)關(guān)鍵維度進(jìn)行深入的信息處理：首先是對(duì)特定行業(yè)產(chǎn)業(yè)鏈的上中下游及其參與者的精確界定；其次是在確認(rèn)主體后，篩選出與各環(huán)節(jié)相關(guān)的關(guān)鍵信息；最后是對(duì)收集到的信息進(jìn)行深度加工，探索產(chǎn)業(yè)鏈的價(jià)值流向和影響力，以提煉出對(duì)該行業(yè)宏觀層面的關(guān)鍵見(jiàn)解。這一系列步驟要求模型具備高度的信息檢索和邏輯歸納能力，且隨著過(guò)程的深入，難度逐漸增大。大模型在產(chǎn)業(yè)鏈分析表現(xiàn)均分為5.8分，是8D模塊的第二低分，側(cè)面反映了其內(nèi)容產(chǎn)出的難度。其中，商湯商量、文心一言3.5、百川、雅意、訊飛星火以及GPT3.5是表現(xiàn)優(yōu)異的模型，綜合表現(xiàn)高于均分。商湯商量、文心一言3.5以及訊飛星火得益于其優(yōu)秀的知識(shí)儲(chǔ)備能力以及邏輯推理歸納能力，在這一模塊表現(xiàn)優(yōu)秀。來(lái)源：沙利文、頭豹研究院.模型在低難度報(bào)告撰寫模塊的表現(xiàn)中，商湯商量和訊飛星火表現(xiàn)最為優(yōu)秀，在四個(gè)模塊的評(píng)測(cè)得分均顯著高于均分行業(yè)定義、行業(yè)分類、發(fā)展歷程以及政策分析在行研撰寫中難度較低，這四大模塊重點(diǎn)落在信息搜集的準(zhǔn)確度，對(duì)歸納推理的整體要求較低，更多考察模型的知識(shí)庫(kù)豐富性以及把握信息準(zhǔn)確性的能力。在低難度撰寫模塊中，12大模型整體的表現(xiàn)較為平均，模型之間沒(méi)有顯著的差距。但部分模型在發(fā)展歷程和政策分析模塊中無(wú)法給出明確的答案，從而導(dǎo)致失分情況嚴(yán)重，對(duì)最終均分影響較大。來(lái)源：沙利文、頭豹研究院9產(chǎn)業(yè)鏈分析來(lái)源：沙利文、頭豹研究院產(chǎn)業(yè)鏈分析產(chǎn)業(yè)鏈分析Chapter2大模型行研基礎(chǔ)能力測(cè)評(píng)結(jié)果大模型在行研基礎(chǔ)能力的表現(xiàn)差異顯著，商湯商量、GPT3.5以及文心一言3.5占據(jù)前三甲，領(lǐng)先幅度較大。排名靠后的模型雖綜合評(píng)分低，但細(xì)分模塊表現(xiàn)優(yōu)異，例如智譜清言和百川在意圖理解能力高于均分在行研基礎(chǔ)能力評(píng)測(cè)中，GPT3.5、商湯商量和文心一言3.5穩(wěn)定領(lǐng)先，展現(xiàn)出各自在邏輯推理、文字生成和意圖理解的強(qiáng)項(xiàng)，而其他模型如天工、智譜清言等表現(xiàn)波動(dòng)，模型底層能力還有待改善商湯商量、GPT3.5以及文心一言3.5位列行研基礎(chǔ)能力排名前三甲。這三大模型的內(nèi)容輸出專業(yè)準(zhǔn)確，觀點(diǎn)結(jié)構(gòu)化，且在知識(shí)儲(chǔ)備和快速高質(zhì)量的文字生成方面尤其突出，在行研基礎(chǔ)能力的綜合表現(xiàn)優(yōu)異?大模型在行研基礎(chǔ)能力的表現(xiàn)差排名模型名稱總得分類比遷移邏輯推理文字生成意圖理解語(yǔ)境轉(zhuǎn)換知識(shí)儲(chǔ)備123456779商湯商量GPT3.5文心一言3.5訊飛星火騰訊混元Minimax天工智譜清言百川通義千問(wèn)紫東太初雅意8.177.927.837.336.756.676.586.586.426.336.176.08得分高得分低模型基礎(chǔ)能力由模型在類比遷移、邏輯推理、文字生成、意圖理解、語(yǔ)境轉(zhuǎn)換、知識(shí)儲(chǔ)備六大問(wèn)題經(jīng)過(guò)基礎(chǔ)題庫(kù)測(cè)試與報(bào)告撰寫的分析師評(píng)測(cè)綜合評(píng)定而成.模型在基礎(chǔ)能力評(píng)測(cè)的表現(xiàn)中，商湯商量、GPT3.5、以及文心一言3.5占據(jù)前三甲根據(jù)大模型基礎(chǔ)能力綜合熱力矩陣圖可以看出表現(xiàn)TOP3的模型分別為商湯商量、GPT3.5以及文心一言3.5。其中，商湯商量在語(yǔ)境轉(zhuǎn)換和知識(shí)儲(chǔ)備板塊排名第一，訊飛星火則在邏輯推理和文字生成部分達(dá)到第一。值得關(guān)注的其它模型中，排名第8的智譜清言在意圖理解的能力最強(qiáng)。而天工在長(zhǎng)文本生成和生成速度方便較為優(yōu)秀。來(lái)源：沙利文、頭豹研究院展現(xiàn)出各自在邏輯推理、文字生成和意圖理解12.012.011.010.09.08.07.06.05.04.03.02.0類比遷移邏輯推理文字生成意圖理解語(yǔ)境轉(zhuǎn)換知識(shí)儲(chǔ)備商湯商量GPT3.5文心一言訊飛星火騰訊混元Minimax天工智譜清言百川通義千問(wèn)紫東太初中科聞歌.模型在行研基礎(chǔ)能力評(píng)測(cè)維度中，商湯商量、GPT3.5、以及文心一言3.5表現(xiàn)穩(wěn)定性強(qiáng)，在單一模塊能力各有領(lǐng)先在行研基礎(chǔ)能力評(píng)測(cè)中，商湯商量、GPT3.5和文心一言3.5三大領(lǐng)先模型發(fā)揮最為穩(wěn)定。其中，GPT3.5在邏輯推理能力上排名領(lǐng)先，商湯商量在文字生成和語(yǔ)境轉(zhuǎn)換方面表現(xiàn)良好，而文心一言3.5則在意圖理解方面領(lǐng)先于其他模型；天工、智譜清言和百川的表現(xiàn)高度波動(dòng)，如智譜清言在文字生成方面接近滿分，但在意圖理解和邏輯推理上遠(yuǎn)低于均分。這種高波動(dòng)性表明這些模型在實(shí)際使用中可能影響行研任務(wù)的整體效果。訊飛星火、騰訊混元以及Minimax在行研基礎(chǔ)能力的表現(xiàn)較為平穩(wěn)，但存在一定波動(dòng)性。例如，Minimax雖在類比遷移和知識(shí)儲(chǔ)備方面展示了其強(qiáng)大的實(shí)力，但在文字生成表現(xiàn)伐善，排名墊底。通義千問(wèn)、紫東太初和雅意整體表現(xiàn)較弱，在邏輯推理和意圖理解等高維模塊能力上較弱，但這也反映出它們?cè)谀Ｐ蛥?shù)量和微調(diào)方面與領(lǐng)先模型存在差距。來(lái)源：沙利文、頭豹研究院??類比遷移能力是將復(fù)雜概念與熟悉情境相聯(lián)系，簡(jiǎn)化了認(rèn)知過(guò)程，使得在行業(yè)研究中理解和記憶這些概念變得更加清晰和高效。在類比遷.類比遷移簡(jiǎn)化了復(fù)雜概念的理解與記憶，通過(guò)將其與熟悉情境聯(lián)系，能夠提升行業(yè)研究的效率。在類比遷移的能力評(píng)估中，智譜清言、Minimax和GPT-3.5表現(xiàn)最佳類比遷移的定義是從一個(gè)領(lǐng)域或情境提取并應(yīng)用概念、原則或模式至另一不同領(lǐng)域或情境的過(guò)程，在行業(yè)研究中對(duì)理解復(fù)雜概念發(fā)揮著關(guān)鍵作用。它通過(guò)將抽象或難以把握的概念與熟悉的情境相聯(lián)系，簡(jiǎn)化了認(rèn)知過(guò)程。例如，在金融領(lǐng)域，利用水流的類比來(lái)闡釋資金流動(dòng)的機(jī)制；在技術(shù)領(lǐng)域，則可通過(guò)類比電路來(lái)解釋數(shù)據(jù)傳輸原理。這種方法不僅促進(jìn)了新舊知識(shí)間的聯(lián)系，還加深了對(duì)復(fù)雜概念的理解和記憶，因?yàn)樗|動(dòng)了對(duì)已知概念的認(rèn)知和情感共鳴。在12大模型的類比遷移能力評(píng)估中，智譜清言、Minimax和GPT-3.5在內(nèi)容的清晰度、易理解性和結(jié)構(gòu)化方面位居前三，而商湯商量、天工和雅意則表現(xiàn)出超越平均水平的性能。這些領(lǐng)先模型在類比遷移任務(wù)上的優(yōu)異表現(xiàn)，使讀者能夠以最小的努力和時(shí)間理解復(fù)雜概念的核心原理。來(lái)源：沙利文、頭豹研究院科大訊飛：訊飛星火騰訊：混元來(lái)源：沙利文、頭豹研究院來(lái)源：沙利文、頭豹研究院頭豹研究院布局中國(guó)市場(chǎng)，深入研究19大行業(yè)，持續(xù)跟蹤532個(gè)垂直行業(yè)的市場(chǎng)變化，已沉淀超過(guò)100萬(wàn)行業(yè)研究?jī)r(jià)值數(shù)據(jù)元素，完成超過(guò)1萬(wàn)個(gè)獨(dú)立的研究咨詢項(xiàng)研究院依托中國(guó)活躍的經(jīng)濟(jì)環(huán)境，研究?jī)?nèi)容覆蓋整個(gè)行業(yè)的發(fā)展周期，伴隨著行業(yè)中企業(yè)的創(chuàng)立，發(fā)展，擴(kuò)張，到企業(yè)走向上市及上市后的成熟期，研究院的各行業(yè)研究員探索和評(píng)估行業(yè)中多變的產(chǎn)業(yè)模式，企業(yè)的商業(yè)模研究院融合傳統(tǒng)與新型的研究方法，采用自主研發(fā)的算法，結(jié)合行業(yè)交叉的大數(shù)據(jù)，以多元化的調(diào)研方法，挖掘定量數(shù)據(jù)背后的邏輯，分析定性內(nèi)容背后的觀點(diǎn)，客觀和真實(shí)地闡述行業(yè)的現(xiàn)狀，前瞻性地預(yù)測(cè)行業(yè)未來(lái)的發(fā)展趨勢(shì)，在研究院的每一份研究報(bào)告中，完整地呈現(xiàn)行業(yè)的過(guò)去，現(xiàn)在和未來(lái)。研究院密切關(guān)注行業(yè)發(fā)展最新動(dòng)向，報(bào)告內(nèi)容及數(shù)據(jù)會(huì)隨著行業(yè)發(fā)展、技術(shù)革新、競(jìng)爭(zhēng)格局變化、研究院秉承匠心研究，砥礪前行的宗旨，