2023年中國(guó)大模型行研能力市場(chǎng)探析：大模型底層助力行研智慧前行 -頭豹

2023年中國(guó)大模型行研能力市場(chǎng)探析：大模型底層助力，行研智慧前行報(bào)告提供的任何內(nèi)容（包括但不限于數(shù)據(jù)、文字、圖表、圖像等）均系頭豹研究院獨(dú)有的高度機(jī)密性文件（在報(bào)編、匯編本報(bào)告內(nèi)容，若有違反上述約定的行為發(fā)生，頭豹研究院保留采取法律措施、追究相關(guān)人員責(zé)任的權(quán)利。頭豹研究院開展的所有商業(yè)活動(dòng)均使用“頭豹研究院”或“頭豹”的商號(hào)、商標(biāo)，頭豹研究院無任何前述名稱之頭豹是國(guó)內(nèi)領(lǐng)先的行企研究原創(chuàng)內(nèi)容平臺(tái)和創(chuàng)新的數(shù)字化研究服務(wù)提供商。頭豹在中國(guó)已布局3大研究院，擁有近百名資深分析師，頭豹科創(chuàng)網(wǎng)(www.leadleoliver.yuan@Leadleo.ccharles.chang@Leadleo頭豹研究院語言大模型是一種基于深度學(xué)習(xí)的自然語言答系統(tǒng)、文本摘要等任務(wù)。技術(shù)發(fā)展的軌跡從早期的深度神經(jīng)網(wǎng)絡(luò)演進(jìn)到預(yù)訓(xùn)練加微調(diào)模式，再發(fā)展至當(dāng)前的預(yù)訓(xùn)練加提示訓(xùn)練模效率，通過采納精細(xì)化的詢問策略，分析師領(lǐng)域?qū)崿F(xiàn)了顯著進(jìn)步，涉及頂尖學(xué)術(shù)機(jī)構(gòu)和科技企業(yè)，沙利文聯(lián)合頭豹研究院對(duì)12個(gè)大模型進(jìn)行綜合評(píng)估，以全面了解中國(guó)大模型在行研領(lǐng)域的發(fā)展與應(yīng)用當(dāng)前，基于自然語言處理技術(shù)的預(yù)訓(xùn)練大模型已在全球范圍內(nèi)掀起了有史以來最大的人區(qū)就出現(xiàn)了超過80個(gè)不同的預(yù)訓(xùn)練語言大模型，參與者覆蓋中國(guó)頂尖的學(xué)術(shù)研究機(jī)構(gòu)以及互聯(lián)網(wǎng)科技企業(yè)，旨在此番浪潮中拔得先機(jī)。過去一年中，中國(guó)學(xué)術(shù)與產(chǎn)業(yè)界也取得了實(shí)質(zhì)性的突破，來自商湯的商量、百度的文心一言等前沿大模型不斷升級(jí)，帶動(dòng)中國(guó)大模型產(chǎn)業(yè)的發(fā)展?；跀?shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，沙利文聯(lián)合頭豹研究院憑借百人分析師團(tuán)隊(duì)多維度的綜合評(píng)估，旨在全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)。34112233了解中國(guó)大模型行業(yè)的基本發(fā)展態(tài)勢(shì)，參與者現(xiàn)狀、技術(shù)路線以及未來發(fā)展趨勢(shì)，結(jié)合大模型基礎(chǔ)能力劃定測(cè)試大模型行研?分析中國(guó)大模型的發(fā)展歷程?探析中國(guó)大模型的產(chǎn)業(yè)價(jià)值?窺探中國(guó)大模型在行研領(lǐng)域的應(yīng)用?梳理中國(guó)大模型測(cè)評(píng)指標(biāo)?哪些企業(yè)是中國(guó)大模型行業(yè)的核心參與?大模型如何賦能行研領(lǐng)域價(jià)值？?哪些指標(biāo)是測(cè)試大模型在行研領(lǐng)域的重5監(jiān)督式深度學(xué)習(xí)：指通過自動(dòng)駕駛車輛的傳感器在實(shí)際道路行駛中收集的各類數(shù)據(jù)，如車輛位置、速度、周圍環(huán)境等信息。特征工程：是指在計(jì)算機(jī)模擬環(huán)境中重現(xiàn)真實(shí)世界駕駛情景的技術(shù)，用于測(cè)試和驗(yàn)證自動(dòng)駕駛系統(tǒng)的行為和響應(yīng)。編碼器：自動(dòng)駕駛中的一種功能，利用傳感器數(shù)據(jù)對(duì)車輛周圍環(huán)境中的對(duì)象（如車輛、行人）進(jìn)行檢測(cè)、分類和定位。無標(biāo)數(shù)據(jù)：自動(dòng)駕駛系統(tǒng)中處理數(shù)據(jù)并確定最佳行駛路徑和行為的過程，包括避障、轉(zhuǎn)向和速度控制。判別式模型：一種傳感器技術(shù)，通過發(fā)射激光并測(cè)量其反射時(shí)間來構(gòu)建周圍環(huán)境的三維地圖，為自動(dòng)駕駛車輛提供精確的距離和形狀信息。生成式模型：一種高精度地圖，提供詳細(xì)的道路、交通標(biāo)志和地面標(biāo)記信息，用于自動(dòng)駕駛車輛的精確定位。預(yù)訓(xùn)練模型：顯示道路網(wǎng)絡(luò)結(jié)構(gòu)的地圖，包含路口、道路連接關(guān)系等信息，用于自動(dòng)駕駛車輛的路徑規(guī)劃。類比遷移：在自動(dòng)駕駛中指向特定目標(biāo)或條件導(dǎo)航的技術(shù)，如向特定地點(diǎn)或遵循特定路線行駛。邏輯推理：自動(dòng)駕駛系統(tǒng)中用于分隔和識(shí)別道路標(biāo)線、車道邊緣的技術(shù)，確保車輛在車道內(nèi)正確行駛。Chapter1大模型是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)，它通過分析和學(xué)習(xí)大規(guī)模文本數(shù)據(jù)集合，掌握了豐富的語言知識(shí)和深層語義信息。經(jīng)過三次NLP的技術(shù)范式轉(zhuǎn)變，已能夠達(dá)到類人智能的內(nèi)容產(chǎn)出水準(zhǔn)大型語言模型通過結(jié)合海量數(shù)據(jù)與自監(jiān)督學(xué)習(xí)，逐漸從特定任務(wù)轉(zhuǎn)向廣泛的通用任務(wù)，實(shí)現(xiàn)了更加流暢的人機(jī)交互，推動(dòng)了人工智能朝著通用性和人機(jī)合作的方向發(fā)展大模型是繼工業(yè)革命和互聯(lián)網(wǎng)革命之后的又一重大創(chuàng)新，將在社會(huì)勞動(dòng)力提升、產(chǎn)業(yè)發(fā)展加速以及科技突破三個(gè)關(guān)鍵領(lǐng)域中，顯著增強(qiáng)實(shí)體產(chǎn)業(yè)的發(fā)展能力。進(jìn)一步提升社會(huì)產(chǎn)業(yè)價(jià)值，提高生產(chǎn)效率和能效67預(yù)訓(xùn)練+微調(diào)監(jiān)督式深度學(xué)習(xí)技術(shù)范式(Encoder-Decoder)Word2Vec，Elmo(RNN,LSTM)算法模型特征提取+下游任務(wù)改造模型選型預(yù)訓(xùn)練+微調(diào)監(jiān)督式深度學(xué)習(xí)技術(shù)范式(Encoder-Decoder)Word2Vec，Elmo(RNN,LSTM)算法模型特征提取+下游任務(wù)改造模型選型+特征工程主要任務(wù)用預(yù)訓(xùn)練模型去適配下游的特定任務(wù)用深度神經(jīng)啊網(wǎng)絡(luò)對(duì)一段文本序列的概率進(jìn)行建模核心維度BioBERT、XLM、T5通過預(yù)測(cè)遮蔽詞的方式形成結(jié)果出之間復(fù)雜的映射關(guān)系，在機(jī)器翻譯、文章問答系統(tǒng)表現(xiàn)良好?大模型是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)，它通過分析和學(xué)習(xí)大規(guī)模文本數(shù)據(jù)集合，掌握了豐富的語言知識(shí)和深層語義信息。經(jīng)過三次預(yù)訓(xùn)練+提示GPT(Deconder-only)預(yù)測(cè)下一個(gè)詞將各式的下游任務(wù)適配在不同的預(yù)訓(xùn)練模型.語言大模型經(jīng)過數(shù)次NLP技術(shù)的范式轉(zhuǎn)移，已能夠達(dá)到類人智能的內(nèi)容產(chǎn)出水準(zhǔn)語言大模型是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)，它通過訓(xùn)練大量的文本數(shù)據(jù)，學(xué)習(xí)到豐富的語言知識(shí)和語義信息。這種模型通常具有數(shù)億甚至數(shù)十億的參數(shù)，能夠理解和生成人類語言，廣泛應(yīng)用于機(jī)器翻譯、問答系統(tǒng)、文本摘要等任務(wù)。技術(shù)發(fā)展的軌跡從早期的深度神經(jīng)網(wǎng)絡(luò)演進(jìn)到預(yù)訓(xùn)練加微調(diào)模式，再發(fā)展至當(dāng)前的預(yù)訓(xùn)練加提示訓(xùn)練模式，這標(biāo)志著其在仿真人類思維方式進(jìn)行交流方面的進(jìn)一步突破。NLP大模型架構(gòu)路線GLM、LaMDA、GLaM通過預(yù)測(cè)下一個(gè)單詞在當(dāng)前語境下出現(xiàn)概率的方式形成結(jié)果速度更快、具備上下文自監(jiān)督特性，在純生成類任務(wù)表現(xiàn)良好8?大型語言模型通過結(jié)合海量數(shù)據(jù)與自監(jiān)督學(xué)習(xí)，逐漸從特定任務(wù)轉(zhuǎn)向發(fā)展期2018-2022啟動(dòng)期2013-2017萌芽期1956發(fā)展期2018-2022啟動(dòng)期2013-2017萌芽期1956-1992沉淀期1993-2012規(guī)則階段由人從數(shù)據(jù)中獲取信息，歸統(tǒng)計(jì)學(xué)階段由人轉(zhuǎn)述知識(shí)變成機(jī)器自動(dòng)從數(shù)深度學(xué)習(xí)階段從離散匹配發(fā)展至Embedding連預(yù)訓(xùn)練階段將可利用數(shù)據(jù)從標(biāo)注拓展至大模型將海量無標(biāo)數(shù)據(jù)+自建度融合成一個(gè)納出規(guī)則據(jù)提取知識(shí)續(xù)匹配，模型參數(shù)量顯著提高非標(biāo)，數(shù)據(jù)量擴(kuò)大3-5倍預(yù)訓(xùn)練階段，實(shí)現(xiàn)流暢人機(jī)協(xié)同.萌芽期(1956-1992)：規(guī)則階段，少量人工標(biāo)注領(lǐng)域數(shù)據(jù)和特征工程規(guī)則階段大致從1956年到1992年，基于規(guī)則的機(jī)器翻譯系統(tǒng)是在內(nèi)部把各種功能的模塊串到一起，由人先從數(shù)據(jù)中獲取知識(shí)，歸納出規(guī)則，寫出來教給機(jī)器，然后機(jī)器來執(zhí)行這套規(guī)則，從而完成特定任務(wù)。.沉淀期(1993-2012)：統(tǒng)計(jì)機(jī)器學(xué)習(xí)階段，由人述知識(shí)轉(zhuǎn)變成機(jī)器自動(dòng)提取知識(shí)機(jī)器翻譯系統(tǒng)可拆成語言模型和翻譯模型，這里的語言模型與現(xiàn)在的GPT-3/3.5的技術(shù)手段一模一樣。該階段相比上一階段突變性較高，由人轉(zhuǎn)述知識(shí)變成機(jī)器自動(dòng)從數(shù)據(jù)中學(xué)習(xí)知識(shí)，主流技術(shù)包括SVM、HMM、MaxEnt、CRF、LM等，當(dāng)時(shí)人工標(biāo)注數(shù)據(jù)量在百萬級(jí)左右。.啟動(dòng)期(2013-2017)：深度學(xué)習(xí)階段，模型參數(shù)顯著提高，標(biāo)注數(shù)據(jù)量提升至千萬深度學(xué)習(xí)階段大致從2013-2018年，相對(duì)上一階段突變性較低，從離散匹配發(fā)展到embedding連續(xù)匹配，模型變得更大。該階段典型技術(shù)棧包括Encoder-Decoder、LSTM、Attention、Embedding等，標(biāo)注數(shù)據(jù)量提升到千萬級(jí)。.發(fā)展期(2018-2022）：預(yù)訓(xùn)練階段，微調(diào)和預(yù)訓(xùn)練導(dǎo)致數(shù)據(jù)量大幅增長(zhǎng)預(yù)訓(xùn)練模型將可利用數(shù)據(jù)從標(biāo)注數(shù)據(jù)拓展到了非標(biāo)注數(shù)據(jù)。該階段系統(tǒng)可分為預(yù)訓(xùn)練和微調(diào)兩個(gè)階段，將預(yù)訓(xùn)練數(shù)據(jù)量擴(kuò)大3到5倍，典型技術(shù)棧包括Encoder-Decoder、Transformer、Attention等。.蓬勃發(fā)展期（2023）：語言大模型階段，海量無標(biāo)數(shù)據(jù)+自監(jiān)督實(shí)現(xiàn)流暢人機(jī)交互從2023年起，大型語言模型開始專注于更好地理解人指令和遵從人價(jià)值觀，通過結(jié)合海量數(shù)據(jù)與自監(jiān)督學(xué)習(xí)于一個(gè)預(yù)訓(xùn)練階段，并將重點(diǎn)由領(lǐng)域遷移轉(zhuǎn)向價(jià)值對(duì)齊。這一變化使得模型從特定任務(wù)轉(zhuǎn)為廣泛的通用任務(wù)，并以自然語言與人互動(dòng)，推動(dòng)人工智能朝通用性和人機(jī)合作發(fā)展。9業(yè)主要采納兩種主要策略來塑造其行業(yè)競(jìng)爭(zhēng)壁壘：首先是市場(chǎng)導(dǎo)向型思路1思路2以速度搶占市場(chǎng)份額市場(chǎng)需求為中心，產(chǎn)品為導(dǎo)向以時(shí)間建立技術(shù)壁壘大模型技術(shù)積累為核心，探明邊界賦業(yè)務(wù)11221122.從宏觀角度看，中國(guó)大模型企業(yè)在算法、算力和算據(jù)三大核心要素的基礎(chǔ)上，主要沿兩大策略路徑構(gòu)建其行業(yè)競(jìng)爭(zhēng)壁壘：一是市場(chǎng)導(dǎo)向策略，二是技術(shù)深耕策略從宏觀層面，算法、算力以及算據(jù)的沉淀是企業(yè)供給端構(gòu)建大模型競(jìng)爭(zhēng)壁壘的核心三大要素。高質(zhì)量的數(shù)據(jù)、高效率的算法以及高算力的基礎(chǔ)設(shè)施是大模型效果與性能的核心保障。從微觀發(fā)展層面，中國(guó)的大模型企業(yè)在建立行業(yè)競(jìng)爭(zhēng)壁壘的路徑可以大體歸為兩模型的研發(fā)。他們首先依賴深厚的行業(yè)經(jīng)驗(yàn)和對(duì)客戶需求的敏銳洞察，迅速捕捉行業(yè)發(fā)展的痛點(diǎn)。接下來，他們依靠強(qiáng)大的產(chǎn)品工程實(shí)力，確保在洞察到需求后能迅速交付產(chǎn)品。隨著大模型的持續(xù)迭代和客戶業(yè)務(wù)場(chǎng)景的演變，這些企業(yè)不斷優(yōu)化解決方案，從而在行業(yè)中構(gòu)建堅(jiān)固的壁壘。典型的代表企業(yè)如百度、阿里等。2）技術(shù)深耕型：這類企業(yè)注重技術(shù)積累，不急于推出產(chǎn)品占領(lǐng)市場(chǎng)，而是投入大量時(shí)間和資源探索大模型的技術(shù)邊界。他們通過長(zhǎng)時(shí)間的技術(shù)沉淀打造出深厚的技術(shù)壁壘，然后再將這一技術(shù)優(yōu)勢(shì)與現(xiàn)有業(yè)務(wù)結(jié)合，以尋找能夠?yàn)槠鋷硎袌?chǎng)份額的機(jī)會(huì)。騰訊和字節(jié)跳動(dòng)等企業(yè)是這一策略的代表。Chapter2綜述行業(yè)研究通過分析特定行業(yè)的定義、競(jìng)爭(zhēng)格局、市場(chǎng)規(guī)模等關(guān)鍵方面，產(chǎn)出深刻洞察和觀點(diǎn)。方法論涵蓋從宏觀的產(chǎn)業(yè)層到微觀的產(chǎn)品層的分析，對(duì)企業(yè)戰(zhàn)略、政策制定和金融決策等產(chǎn)生顯著影響從基礎(chǔ)數(shù)據(jù)收集到深度分析輸出，傳統(tǒng)行業(yè)研究流程面臨著工具革新滯后、團(tuán)隊(duì)知識(shí)難以傳承、信息溯源復(fù)雜性以及研報(bào)質(zhì)量控制的重大挑戰(zhàn)，共同影響行業(yè)研究的產(chǎn)出效率和創(chuàng)新能力，限制了其發(fā)展?jié)摿?shù)字行研解決方案，結(jié)合標(biāo)準(zhǔn)化工具和先進(jìn)的大模型技術(shù)，有效克服了傳統(tǒng)行業(yè)研究的核心制約因素，顯著提升研究的精度和效率，并引領(lǐng)行業(yè)研究進(jìn)入一個(gè)效率更高和質(zhì)量更優(yōu)的新產(chǎn)出范式大模型在數(shù)字行業(yè)研究中扮演核心角色，其功能特性極大提升研究的效率和質(zhì)量。本研究聚焦于挖掘中國(guó)大模型在行業(yè)研究中的實(shí)際應(yīng)用和優(yōu)勢(shì)，了解大模型當(dāng)前的能力邊界，以推動(dòng)行研領(lǐng)域的創(chuàng)新與變革產(chǎn)出深刻洞察和觀點(diǎn)。方法論涵蓋從宏觀的產(chǎn)業(yè)層到微觀的產(chǎn)品層的行研價(jià)值鏈價(jià)值體現(xiàn)價(jià)值體現(xiàn)企業(yè)規(guī)劃政務(wù)服務(wù)金融決策教育培訓(xùn)新聞傳媒…行業(yè)分類發(fā)展歷程行業(yè)特征行業(yè)定義政策分析競(jìng)爭(zhēng)格局市場(chǎng)規(guī)模產(chǎn)業(yè)鏈分析研究行業(yè)分類發(fā)展歷程行業(yè)特征行業(yè)定義政策分析競(jìng)爭(zhēng)格局市場(chǎng)規(guī)模產(chǎn)業(yè)鏈分析研究路徑互聯(lián)網(wǎng)金融教育制造零售泛娛樂房地產(chǎn)農(nóng)林牧漁采礦旅游…千行互聯(lián)網(wǎng)金融教育制造零售泛娛樂房地產(chǎn)農(nóng)林牧漁采礦旅游…千行百業(yè).行業(yè)研究通過詳盡方法論輸出價(jià)值觀點(diǎn)，對(duì)企業(yè)策略、金融決策等領(lǐng)域的價(jià)值顯著行業(yè)研究是深入探討分析特定行業(yè)的發(fā)展現(xiàn)狀和市場(chǎng)動(dòng)態(tài)的全面過程，包含行業(yè)定義、分類、競(jìng)爭(zhēng)格局、市場(chǎng)容量等關(guān)鍵維度。分析師通過分析，生成具有深度的洞察和價(jià)值觀點(diǎn)，對(duì)企業(yè)戰(zhàn)略規(guī)劃、政策制定、金融投資決策和教育培訓(xùn)等多個(gè)領(lǐng)域產(chǎn)生重要影響。行研范圍外部維度內(nèi)部維度政策經(jīng)濟(jì)環(huán)境法律發(fā)展歷程產(chǎn)業(yè)鏈分析發(fā)展特征市場(chǎng)規(guī)模競(jìng)爭(zhēng)格局產(chǎn)業(yè)層行業(yè)層產(chǎn)品層.行業(yè)研究涵蓋從宏觀的產(chǎn)業(yè)層到微觀的產(chǎn)品層，各層級(jí)決定著相應(yīng)的研究方法，研究方法論囊括外部宏觀因素和內(nèi)部微觀細(xì)節(jié)的全面分析在行業(yè)研究中，產(chǎn)業(yè)層、行業(yè)層和產(chǎn)品層各自代表宏觀經(jīng)濟(jì)的不同層次：產(chǎn)業(yè)層包含具相似特征的行業(yè)群體，行業(yè)層著重于特定行業(yè)的市場(chǎng)和企業(yè)情況，而產(chǎn)品層深入到具體產(chǎn)品或服務(wù)的設(shè)計(jì)、功能和市場(chǎng)定位。研究方法論根據(jù)這些層級(jí)的宏觀到微觀差異而有所不同，外部維度考慮政策、經(jīng)濟(jì)、環(huán)境等因素，而內(nèi)部維度則包括發(fā)展歷史、產(chǎn)業(yè)鏈分析等更細(xì)致的方面。來源：沙利文、頭豹研究院分析制圖產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局建模行業(yè)規(guī)模與預(yù)測(cè)模型傳統(tǒng)工具Excel撰寫行業(yè)定義、特征、分類、歷史、政策、產(chǎn)出研究成果稿、招股書行業(yè)分析制圖產(chǎn)業(yè)鏈、競(jìng)爭(zhēng)格局建模行業(yè)規(guī)模與預(yù)測(cè)模型傳統(tǒng)工具Excel撰寫行業(yè)定義、特征、分類、歷史、政策、產(chǎn)出研究成果稿、招股書行業(yè)章節(jié)、視頻…….分析??從基礎(chǔ)數(shù)據(jù)收集到深度分析輸出，傳統(tǒng)行業(yè)研究流程面臨著工具革新傳統(tǒng)行研發(fā)展痛點(diǎn)二手?jǐn)?shù)據(jù)二手?jǐn)?shù)據(jù)統(tǒng)計(jì)局?jǐn)?shù)據(jù)、文獻(xiàn)、網(wǎng)頁、垂直媒體、招股書、第三方研報(bào)、專業(yè)數(shù)據(jù)庫……一手?jǐn)?shù)據(jù)一手?jǐn)?shù)據(jù)行業(yè)專家訪談、消費(fèi)者調(diào)研行業(yè)專家訪談、消費(fèi)者調(diào)研（問卷，圓桌）、自行監(jiān)測(cè)數(shù)據(jù)……行研發(fā)展痛點(diǎn)行研發(fā)展痛點(diǎn)11生產(chǎn)工具停滯22團(tuán)隊(duì)知識(shí)難以復(fù)用33溯源難考證44質(zhì)量把控難度高.傳統(tǒng)行業(yè)研究在工具更新、知識(shí)復(fù)用、信息溯源和質(zhì)量控制方面面臨顯著挑戰(zhàn)，影響其效率和準(zhǔn)確性傳統(tǒng)行業(yè)研究的產(chǎn)出流程包括三個(gè)步驟：首先是基礎(chǔ)調(diào)研，聚焦于一手和二手行業(yè)數(shù)據(jù)的收集；其次是數(shù)據(jù)加工，涉及整理邏輯、驗(yàn)證數(shù)據(jù)真實(shí)性，并對(duì)關(guān)鍵信息進(jìn)行可視化處理；最后是產(chǎn)出結(jié)果，確保全文邏輯一致、可視化清晰并且觀點(diǎn)合理。在實(shí)際操作中，行業(yè)研究面臨多個(gè)挑戰(zhàn)：1）工具更新停滯，自互聯(lián)網(wǎng)興起以來，行研主要依賴網(wǎng)絡(luò)檢索和辦公軟件，近20年未見顯著革新；2）團(tuán)隊(duì)知識(shí)難以復(fù)用，由于高人員流動(dòng)性和新成員培養(yǎng)周期長(zhǎng)，分析師的經(jīng)驗(yàn)和知識(shí)傳承困難；3）信息溯源和合規(guī)性考量復(fù)雜，在應(yīng)對(duì)海量信息和時(shí)間成本壓力下，信息來源和合規(guī)性難以全面保障；4）質(zhì)量控制難度高，質(zhì)控人員缺乏專業(yè)撰寫技能，同時(shí)專業(yè)分析師缺乏時(shí)間進(jìn)行廣泛質(zhì)控，導(dǎo)致質(zhì)量監(jiān)控極為困難。這些核心挑戰(zhàn)共同影響著行研的產(chǎn)出效率和創(chuàng)新，阻礙行研進(jìn)一步發(fā)展。來源：沙利文、頭豹研究院Chapter3大模型行研能力評(píng)測(cè)指標(biāo)基于數(shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，沙利文聯(lián)合頭豹研究院依托百人分析師團(tuán)隊(duì)對(duì)12個(gè)大模型進(jìn)行行研輔助能力的綜合評(píng)估，旨在全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)本次大模型行研能力測(cè)試覆蓋1,800+題目，由20人資深研究分析師團(tuán)隊(duì)經(jīng)過嚴(yán)格的雙盲評(píng)測(cè)流程，圍繞研究報(bào)告撰寫能力，模型基礎(chǔ)能力以及行業(yè)綜合理解能力進(jìn)行綜合評(píng)測(cè)本次大模型評(píng)測(cè)分為三個(gè)核心模塊，分別為報(bào)告撰寫能力、模型基礎(chǔ)能力以及行業(yè)理解能力。報(bào)告撰寫為本次測(cè)評(píng)的核心能力，基礎(chǔ)能力以及行業(yè)理解能力為衍生能力，顧賦予40%/30%/30%的評(píng)分權(quán)重?基于數(shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，沙利文聯(lián)合頭豹研究院依全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)中科聞歌商量天工◎智譜清言中科聞歌商量天工◎智譜清言chatGPT慧前行》本次對(duì)大模型的行業(yè)研究能力進(jìn)行評(píng)測(cè)的時(shí)間定于11月15日至11月30日，評(píng)選的模型基于目前市場(chǎng)上開放且可用的版本。評(píng)測(cè)結(jié)果將僅反映在評(píng)測(cè)時(shí)段內(nèi)公開可獲取的模型數(shù)據(jù)。在此次評(píng)測(cè)中，GPT模型選用的公測(cè)版本為3.5版本，文心一言模型也采用其3.5公測(cè)版本進(jìn)行評(píng)估。.自ChatGPT推出后，中國(guó)在預(yù)訓(xùn)練大模型領(lǐng)域?qū)崿F(xiàn)了顯著進(jìn)步，涉及頂尖學(xué)術(shù)機(jī)構(gòu)和科技企業(yè)，沙利文聯(lián)合頭豹研究院對(duì)12個(gè)大模型進(jìn)行綜合評(píng)估，以全面了解中國(guó)大模型在行研領(lǐng)域的發(fā)展與應(yīng)用當(dāng)前，基于自然語言處理技術(shù)的預(yù)訓(xùn)練大模型已在全球范圍內(nèi)掀起了有史以來最大的人工智能浪潮。自ChatGPT推出以來，僅中國(guó)地區(qū)就出現(xiàn)了超過80個(gè)不同的預(yù)訓(xùn)練語言大模型，參與者覆蓋中國(guó)頂尖的學(xué)術(shù)研究機(jī)構(gòu)以及互聯(lián)網(wǎng)科技企業(yè)，旨在此番浪潮中拔得先機(jī)。過去一年中，中國(guó)學(xué)術(shù)與產(chǎn)業(yè)界也取得了實(shí)質(zhì)性的突破，來自商湯的商量、百度的文心一言等前沿大模型不斷升級(jí)，帶動(dòng)中國(guó)大模型產(chǎn)業(yè)的發(fā)展。基于數(shù)字行研解決方案的研究和實(shí)踐基礎(chǔ)，沙利文聯(lián)合頭豹研究院憑借百人分析師團(tuán)隊(duì)匿名投票機(jī)制，篩選了12個(gè)大模型，進(jìn)行了多維度的綜合評(píng)估，旨在全面了解并系統(tǒng)梳理中國(guó)大模型參與者在行研領(lǐng)域的應(yīng)用表現(xiàn)。來源：沙利文、頭豹研究院?邏輯推理?類比遷移??邏輯推理?類比遷移?文本生成?意圖理解?知識(shí)儲(chǔ)備?語境轉(zhuǎn)換?金融業(yè)?制造業(yè)?互聯(lián)網(wǎng)科技業(yè)?零售業(yè)?教育業(yè)?運(yùn)輸業(yè)?行業(yè)定義?行業(yè)分類?行業(yè)特征?發(fā)展歷程?產(chǎn)業(yè)鏈分析?市場(chǎng)規(guī)模?政策分析?競(jìng)爭(zhēng)格局.本次測(cè)試覆蓋三大板塊，1,800+道題目，由20人資深研究分析師團(tuán)隊(duì)經(jīng)過嚴(yán)格的雙盲評(píng)測(cè)流程得出，最大程度保證公允性本次大模型能力測(cè)試圍繞三大核心板塊展開評(píng)測(cè)：分別是研究報(bào)告撰寫能力，模型基礎(chǔ)能力以及行業(yè)綜合理解能力。通過模型在三大核心板塊的表現(xiàn)力最終得出評(píng)測(cè)結(jié)果。其中，報(bào)告撰寫覆蓋8篇不同主體報(bào)告撰寫，涵蓋128道問題，分析師長(zhǎng)期跟蹤報(bào)告問題累積超1,500道題；模型能力覆蓋6大文本產(chǎn)出核心能力，涵蓋54道問題；行業(yè)理解覆蓋14大核心行業(yè)，每個(gè)行業(yè)涉及12個(gè)問題，總計(jì)1,168題。三大維度合計(jì)1,800道題目。分析師團(tuán)隊(duì)由頭豹研究院各團(tuán)隊(duì)資深分析師組成，且均具備超過8個(gè)月的大模型使用經(jīng)歷。評(píng)測(cè)方法通過雙盲機(jī)制最大程度保證公允性，每名測(cè)試人員會(huì)隨機(jī)分配N個(gè)模型進(jìn)行答案搜集，彼此在答案搜集期間互相禁止分享信息，以保持在答案評(píng)測(cè)階段的公允性；在評(píng)測(cè)階段，每個(gè)問題相對(duì)應(yīng)的12個(gè)模型答案順序會(huì)隨機(jī)打亂，保證評(píng)測(cè)人員對(duì)答案不存在任何偏見。來源：沙利文、頭豹研究院?沙利文及頭豹行企研究的8-D方法論，是一種全面系統(tǒng)的研究方法，測(cè)權(quán)重占比行業(yè)分類10.0%根據(jù)某些共同特征將不同的行業(yè)進(jìn)行分組的過程，理解行業(yè)結(jié)構(gòu)行業(yè)定義10.0%對(duì)特定行業(yè)的基本性質(zhì)概述，涵蓋主要活動(dòng)、服務(wù)或產(chǎn)品發(fā)展歷程10.0%描述行業(yè)從誕生到當(dāng)前狀態(tài)所經(jīng)歷的各個(gè)階段和重要轉(zhuǎn)折點(diǎn)行業(yè)特征權(quán)重占比行業(yè)分類10.0%根據(jù)某些共同特征將不同的行業(yè)進(jìn)行分組的過程，理解行業(yè)結(jié)構(gòu)行業(yè)定義10.0%對(duì)特定行業(yè)的基本性質(zhì)概述，涵蓋主要活動(dòng)、服務(wù)或產(chǎn)品發(fā)展歷程10.0%描述行業(yè)從誕生到當(dāng)前狀態(tài)所經(jīng)歷的各個(gè)階段和重要轉(zhuǎn)折點(diǎn)行業(yè)特征17.5%區(qū)分一個(gè)特定行業(yè)與其他行業(yè)的獨(dú)特屬性和條件，囊括多個(gè)維度市場(chǎng)規(guī)模15.0%在給定時(shí)間內(nèi)的總銷售額或總市場(chǎng)價(jià)值，反映經(jīng)濟(jì)影響力和潛力產(chǎn)業(yè)鏈分析17.5%從原材料采購(gòu)到最終產(chǎn)品銷售的整個(gè)流程進(jìn)行完整分析審視政策分析5.0%對(duì)影響特定行業(yè)的政府政策、法規(guī)和指導(dǎo)原則的評(píng)估競(jìng)爭(zhēng)格局15%描述行業(yè)內(nèi)各企業(yè)間的競(jìng)爭(zhēng)狀態(tài)，包括市場(chǎng)份額分布和競(jìng)爭(zhēng)動(dòng)態(tài)變化慧前行》+概述類模塊分析類模塊理清邊界概念引入觀點(diǎn)輸出歸納總結(jié)趨勢(shì)研判明確主體44.百名分析師經(jīng)過八個(gè)月實(shí)踐研磨提煉8D模塊的提示問題，以測(cè)試12大模型的報(bào)告撰寫能力沙利文聯(lián)合頭豹企業(yè)研究所采納的8-D方法論包括八個(gè)核心模塊，構(gòu)成了一套全面而系統(tǒng)的研究方法，專用于行業(yè)的深入分析。結(jié)合詳實(shí)的數(shù)據(jù)和精準(zhǔn)的分析，此方法能夠提煉出深刻的觀點(diǎn)和結(jié)論，顯著提升行業(yè)研究?jī)?nèi)容的清晰度和數(shù)據(jù)的豐富性。在該方法論的指導(dǎo)下，百名分析師歷經(jīng)八個(gè)月的密集工作及多次優(yōu)化，精制而成一套高效的8D模塊化大模型提示問題法。這套精練的提問技巧已轉(zhuǎn)化為評(píng)估工具，旨在通過對(duì)十二個(gè)主要模型的針對(duì)性提問，檢驗(yàn)并評(píng)估模型報(bào)告撰寫的效能。來源：沙利文、頭豹研究院基于已知信息通過推理得出結(jié)論從A領(lǐng)域到B領(lǐng)域轉(zhuǎn)移概念或原則明晰提問者目的和深層意圖內(nèi)容生成連貫、清晰、正確且具備時(shí)效性在不同交流環(huán)境調(diào)整信息的表達(dá)方式模型在特定領(lǐng)域掌握的信息集合?從AI輔助文本創(chuàng)作角度出發(fā)，結(jié)合文字生成基礎(chǔ)核心能力，歸總出對(duì)于行業(yè)研究報(bào)告撰寫角度最核心的六大能力維度，包括邏輯推理、文慧前行》.從AI輔助文本創(chuàng)作角度出發(fā)，結(jié)合大模型基礎(chǔ)核心能力，歸總出對(duì)于行業(yè)研究報(bào)告撰寫角度最重要的六大能力維度邏輯推理：邏輯推理是指從已知信息出發(fā)，通過推論規(guī)則得出結(jié)論的過程。在內(nèi)容評(píng)判中，關(guān)注信息組織、連接和推導(dǎo)的方式，以及結(jié)論是否合理、一致，且基于事實(shí)。類比遷移：類比遷移是指從一個(gè)領(lǐng)域或情境中提取概念、原則或模式，并應(yīng)用到另一個(gè)不同的領(lǐng)域或情境。在內(nèi)容評(píng)判中，評(píng)估模型在不同概念、情境之間建立聯(lián)系的能力，以及這些聯(lián)系的適當(dāng)性和創(chuàng)造性。文本生成：文本生成是指創(chuàng)建連貫、相關(guān)和有意義的文本內(nèi)容。在評(píng)判內(nèi)容時(shí)，評(píng)估文本的清晰度、連貫性、原創(chuàng)性以及語言的正確性和表達(dá)能力。意圖理解：意圖理解是指識(shí)別和理解用戶或作者想要傳達(dá)的目的和動(dòng)機(jī)。在內(nèi)容評(píng)判中，評(píng)估信息是否有效地傳達(dá)了其預(yù)期的消息或意圖，以及模型是否能清楚地識(shí)別這些意圖。知識(shí)儲(chǔ)備：知識(shí)儲(chǔ)備是指?jìng)€(gè)體或系統(tǒng)所掌握的信息、事實(shí)、概念和理論的總和。在內(nèi)容評(píng)判中，知識(shí)儲(chǔ)備體現(xiàn)在信息的準(zhǔn)確性、深度和廣度，以及模型能否正確并有效地使用相關(guān)知識(shí)。語境轉(zhuǎn)換：語境轉(zhuǎn)換是指根據(jù)不同的交流環(huán)境或?qū)ο笳{(diào)整信息表達(dá)方式。在內(nèi)容評(píng)判中，評(píng)估信息是否適應(yīng)特定的受眾、文化背景或溝通場(chǎng)合，以及是否能有效地調(diào)整語氣、風(fēng)格和內(nèi)容以滿足不同場(chǎng)景下的寫作需求。來源：沙利文、頭豹研究院采?頭豹研究院成立至今匯集超5,000+行企報(bào)告，覆蓋超14個(gè)及上千個(gè)細(xì)分小類行業(yè)。本次評(píng)測(cè)匯集百余名各資深行慧前行》.頭豹研究院成立至今匯集超5,000+行企報(bào)告，覆蓋超14個(gè)大類行業(yè)以及上千個(gè)細(xì)分小類行業(yè)。本次評(píng)測(cè)匯集頭豹研究院百余名各資深行業(yè)分析師，結(jié)合自身特定領(lǐng)域認(rèn)知與經(jīng)驗(yàn)，對(duì)模型在14大行業(yè)的理解和產(chǎn)出能力進(jìn)行評(píng)估沙利文聯(lián)合頭豹研究院成立至今，平臺(tái)共積累超12萬+注冊(cè)用戶，5,000+行業(yè)企業(yè)研究報(bào)告積累，覆蓋14個(gè)大類行業(yè)，以及上千個(gè)細(xì)分小類行業(yè)。沙利文聯(lián)合頭豹的精英分析師團(tuán)隊(duì)以及各項(xiàng)研究成果廣泛受到金融、制造、互聯(lián)網(wǎng)科技等各個(gè)行業(yè)領(lǐng)域的用戶認(rèn)可。當(dāng)前，頭豹已發(fā)展成為中國(guó)最大的行企研究平臺(tái)之一，擁有行業(yè)覆蓋程度廣、報(bào)告庫數(shù)量多、報(bào)告撰寫效率高、行業(yè)知識(shí)精準(zhǔn)度高四大優(yōu)勢(shì)。在本次大模型評(píng)測(cè)中，頭豹研究院聯(lián)合其上海、南京和深圳分院，匯聚了跨越多個(gè)行業(yè)領(lǐng)域的百余名分析師，利用自身對(duì)競(jìng)爭(zhēng)格局、發(fā)展趨勢(shì)、制約因素、以及行業(yè)壁壘等關(guān)鍵知識(shí)領(lǐng)域的深厚理解，并結(jié)合豐富的行業(yè)報(bào)告撰寫經(jīng)驗(yàn)，向模型提出了針對(duì)14個(gè)主要行業(yè)的細(xì)致問題。通過對(duì)模型在各特定行業(yè)細(xì)分領(lǐng)域的縱向評(píng)估和全行業(yè)范圍的橫向比較，最終確定了12大模型在行業(yè)理解和內(nèi)容產(chǎn)出方面的深度與能力。來源：沙利文、頭豹研究院頭豹研究院布