中國信通院騰訊云-行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告

騰訊標(biāo)準(zhǔn)行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告騰訊標(biāo)準(zhǔn)騰訊云計(jì)算(北京)有限責(zé)任公司“企業(yè)基于行業(yè)大模型構(gòu)建自己的專屬模型，可以讓企業(yè)的自身數(shù)據(jù)發(fā)揮出高效用，訓(xùn)練和推理的成本更低，模型優(yōu)化也更容易，更高效地提供精準(zhǔn)服務(wù)。希望我們此次的研究報(bào)告，可以為行業(yè)的大模型的發(fā)展帶來更多的幫助，為行業(yè)大模型的技術(shù)和應(yīng)用提供更有力的支撐，滿足企業(yè)和市場的需求?！薄v訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生“隨著人工智能技術(shù)的快速發(fā)展，行業(yè)大模型已成為推動(dòng)產(chǎn)業(yè)升級(jí)的重要驅(qū)動(dòng)力。為了規(guī)范和引領(lǐng)行業(yè)大模型的健康、可持續(xù)發(fā)展，有必要構(gòu)建行業(yè)大模型的標(biāo)準(zhǔn)體系，以科學(xué)評(píng)價(jià)大模型技術(shù)能力和應(yīng)用效果。愿本次研究成果，助力大模型產(chǎn)業(yè)發(fā)展和生態(tài)建設(shè)?！薄拔覀兿Ｍ袠I(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告，能夠幫助行業(yè)伙伴解決如何將大模型能力“應(yīng)用”到自身的行業(yè)和場景里的問題，可以更有效的解決成本、數(shù)據(jù)、安全，合規(guī)等大模型實(shí)際落地難題。通過建立標(biāo)準(zhǔn)體系，為行業(yè)大模型的建設(shè)和應(yīng)用提供指引和支持?！北緢?bào)告版權(quán)屬于騰訊云計(jì)算（北京）有限責(zé)任公司和中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所，并受法律保護(hù)。轉(zhuǎn)載、摘抄或利用其他方式使用本報(bào)告文字或觀點(diǎn)的，應(yīng)注明“來源：騰訊云計(jì)算（北京）有限責(zé)任公司和中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所”。違反當(dāng)前，隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)模型的規(guī)模逐漸增大，性能顯著提升，各行各業(yè)迎來了新的發(fā)展機(jī)遇。通用大模型作為通用技術(shù)基座，在多個(gè)任務(wù)和領(lǐng)域上均表現(xiàn)出較好的性能，但由于缺乏專業(yè)知識(shí)與行業(yè)數(shù)據(jù)，并不能精準(zhǔn)解決某個(gè)行業(yè)或企業(yè)的特定需求和問題，而且通用大模型的構(gòu)建和訓(xùn)練成本通常很高行業(yè)大模型應(yīng)運(yùn)而生。行業(yè)大模型可滿足特定場景需求，更好地為行業(yè)提供優(yōu)質(zhì)的服務(wù)，促進(jìn)為促進(jìn)行業(yè)大模型的健康快速發(fā)展，我們充分研究了構(gòu)建行業(yè)大模型所需能力及構(gòu)建方式，提出了行業(yè)大模型構(gòu)建路線圖及相應(yīng)的標(biāo)準(zhǔn)體系，用以指導(dǎo)企業(yè)建設(shè)大模型能力。行業(yè)大模型構(gòu)建路線圖圍繞行業(yè)需求分析與資源評(píng)估、行業(yè)數(shù)據(jù)與大模型共建、行業(yè)大模型微調(diào)與優(yōu)化三方面展開，以更專業(yè)、成本更低的方式，引導(dǎo)行業(yè)和企業(yè)建立特有的大模型服務(wù)。大模型標(biāo)準(zhǔn)體系圍繞大模型基礎(chǔ)能力和特定行業(yè)特定場景服務(wù)能力展開對(duì)大模型能力進(jìn)行全方位評(píng)孫星、曹峰、黃晶瑩、李蓀、侯方、韓旭、李牧青、王穎、趙丹萍、黃小明、梁小龍、王川南、舒文琦、曾亮、曹駿、戴大海、高嵩、尹迪、趙登梧、胡哲、李珂、馬雁翔、汪凱峰、葉國宇、周為洲、韓利明、嚴(yán)敏、胡純、王子一、李超、何茂亮、宋宜徽、孫暉、梅述家、代威、徐永太、黃超、劉海濤、李建慧、蔣增增、王永霞、武楊、鄭劍鋒、倪平、李克鵬、劉震宇本報(bào)告版權(quán)屬于騰訊云計(jì)算（北京）有限責(zé)任公司和中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所，并受法律保護(hù)。轉(zhuǎn)載、摘抄或利用其他方式使用本報(bào)告文字或觀點(diǎn)的，應(yīng)注明“來源：騰訊云計(jì)算（北京）有限責(zé)任公司和中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所”。違反當(dāng)前，隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)模型的規(guī)模逐漸增大，性能顯著提升，各行各業(yè)迎來了新的發(fā)展機(jī)遇。通用大模型作為通用技術(shù)基座，在多個(gè)任務(wù)和領(lǐng)域上均表現(xiàn)出較好的性能，但由于缺乏專業(yè)知識(shí)與行業(yè)數(shù)據(jù)，并不能精準(zhǔn)解決某個(gè)行業(yè)或企業(yè)的特定需求和問題，而且通用大模型的構(gòu)建和訓(xùn)練成本通常很高行業(yè)大模型應(yīng)運(yùn)而生。行業(yè)大模型可滿足特定場景需求，更好地為行業(yè)提供優(yōu)質(zhì)的服務(wù)，促進(jìn)為促進(jìn)行業(yè)大模型的健康快速發(fā)展，我們充分研究了構(gòu)建行業(yè)大模型所需能力及構(gòu)建方式，提出了行業(yè)大模型構(gòu)建路線圖及相應(yīng)的標(biāo)準(zhǔn)體系，用以指導(dǎo)企業(yè)建設(shè)大模型能力。行業(yè)大模型構(gòu)建路線圖圍繞行業(yè)需求分析與資源評(píng)估、行業(yè)數(shù)據(jù)與大模型共建、行業(yè)大模型微調(diào)與優(yōu)化三方面展開，以更專業(yè)、成本更低的方式，引導(dǎo)行業(yè)和企業(yè)建立特有的大模型服務(wù)。大模型標(biāo)準(zhǔn)體系圍繞大模型基礎(chǔ)能力和特定行業(yè)特定場景服務(wù)能力展開對(duì)大模型能力進(jìn)行全方位評(píng)孫星、曹峰、黃晶瑩、李蓀、侯方、韓旭、李牧青、王穎、趙丹萍、黃小明、梁小龍、王川南、舒文琦、曾亮、曹駿、戴大海、高嵩、尹迪、趙登梧、胡哲、李珂、馬雁翔、汪凱峰、葉國宇、周為洲、韓利明、嚴(yán)敏、胡純、王子一、李超、何茂亮、宋宜徽、孫暉、梅述家、代威、徐永太、黃超、劉海濤、李建慧、蔣增增、王永霞、武楊、鄭劍鋒、倪平、李克鵬、劉震宇目錄CONTENTS目錄CONTENTS行業(yè)大模型開啟產(chǎn)業(yè)升級(jí)的“黃金時(shí)代”二、MaaS支持大模型應(yīng)用落地全流程能力構(gòu)建/04行業(yè)大模型“千行百業(yè)”落地，驅(qū)動(dòng)AI原生應(yīng)用目錄CONTENTS目錄CONTENTS行業(yè)大模型開啟產(chǎn)業(yè)升級(jí)的“黃金時(shí)代”二、MaaS支持大模型應(yīng)用落地全流程能力構(gòu)建/04行業(yè)大模型“千行百業(yè)”落地，驅(qū)動(dòng)AI原生應(yīng)用“黃金時(shí)代”“黃金時(shí)代”目前，國內(nèi)外公司紛紛發(fā)布大模型，涉及通用大模型、行業(yè)大模型、垂直大模型與專屬大模型，一些超強(qiáng)模型服務(wù)背后是千億或萬億參數(shù)的基礎(chǔ)模型。大模型的誕生標(biāo)志著人工智能領(lǐng)域的一大步，能夠在各種任務(wù)中達(dá)到更高的準(zhǔn)確性、降低應(yīng)用的開發(fā)門檻、增強(qiáng)模型泛化能力等，催生出新的場景和產(chǎn)業(yè)隨著ChatGPT（ChatGenerativePre-trainedTransformer，對(duì)話生成式預(yù)訓(xùn)練變換模型）的問世，大模型進(jìn)入快速發(fā)展的時(shí)代，一些超強(qiáng)模型服務(wù)背后是千億或萬2016年OpenAI發(fā)布Gym強(qiáng)化學(xué)習(xí)平臺(tái)。從2018年GPT-1問世以來，模型參數(shù)從GPT-1的1.17億，經(jīng)過不斷迭代，增長到GPT-4的1.76萬億的參數(shù)規(guī)模，通用大模型的性能，也得到了顯著的提升。斯坦福大學(xué)的研究發(fā)現(xiàn)，GPT-3已經(jīng)可以解決70%的心智理論任務(wù)，相當(dāng)于7歲兒童；至于GPT3.5，更是解決了93%的任務(wù)，心智相當(dāng)于9歲兒童！2022年11月，ChatGPT正式發(fā)布，是基于GPT-3.5架構(gòu)并通過強(qiáng)化學(xué)習(xí)訓(xùn)練后的大語言模型，目前仍以文字方式互動(dòng)，支持包括自動(dòng)文本生成、自動(dòng)問答、Google從2017年6月，發(fā)布Transformer架構(gòu)以來，陸續(xù)發(fā)布了BERT、T5等預(yù)訓(xùn)練模型，參數(shù)規(guī)模也在逐步提升。當(dāng)前大部分大模型均利用Transformer架構(gòu)搭建。近期，Google發(fā)布的通才模型PaLM-E，包含5620億參數(shù)，可用于控制機(jī)器人，為通用人工智能（AGI）的實(shí)現(xiàn)提供了可能。行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告02“黃金時(shí)代”“黃金時(shí)代”目前，國內(nèi)外公司紛紛發(fā)布大模型，涉及通用大模型、行業(yè)大模型、垂直大模型與專屬大模型，一些超強(qiáng)模型服務(wù)背后是千億或萬億參數(shù)的基礎(chǔ)模型。大模型的誕生標(biāo)志著人工智能領(lǐng)域的一大步，能夠在各種任務(wù)中達(dá)到更高的準(zhǔn)確性、降低應(yīng)用的開發(fā)門檻、增強(qiáng)模型泛化能力等，催生出新的場景和產(chǎn)業(yè)隨著ChatGPT（ChatGenerativePre-trainedTransformer，對(duì)話生成式預(yù)訓(xùn)練變換模型）的問世，大模型進(jìn)入快速發(fā)展的時(shí)代，一些超強(qiáng)模型服務(wù)背后是千億或萬2016年OpenAI發(fā)布Gym強(qiáng)化學(xué)習(xí)平臺(tái)。從2018年GPT-1問世以來，模型參數(shù)從GPT-1的1.17億，經(jīng)過不斷迭代，增長到GPT-4的1.76萬億的參數(shù)規(guī)模，通用大模型的性能，也得到了顯著的提升。斯坦福大學(xué)的研究發(fā)現(xiàn)，GPT-3已經(jīng)可以解決70%的心智理論任務(wù)，相當(dāng)于7歲兒童；至于GPT3.5，更是解決了93%的任務(wù)，心智相當(dāng)于9歲兒童！2022年11月，ChatGPT正式發(fā)布，是基于GPT-3.5架構(gòu)并通過強(qiáng)化學(xué)習(xí)訓(xùn)練后的大語言模型，目前仍以文字方式互動(dòng)，支持包括自動(dòng)文本生成、自動(dòng)問答、Google從2017年6月，發(fā)布Transformer架構(gòu)以來，陸續(xù)發(fā)布了BERT、T5等預(yù)訓(xùn)練模型，參數(shù)規(guī)模也在逐步提升。當(dāng)前大部分大模型均利用Transformer架構(gòu)搭建。近期，Google發(fā)布的通才模型PaLM-E，包含5620億參數(shù)，可用于控制機(jī)器人，為通用人工智能（AGI）的實(shí)現(xiàn)提供了可能。行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告02GooglePaLM-E大模型控制機(jī)器人Meta于2023年2月開源大模型LLaMA，已經(jīng)對(duì)大模型的產(chǎn)業(yè)鏈上下游產(chǎn)生極其重要的影響，帶動(dòng)了Alpaca、Vicuna、FreeWilly2、BELLE、Chinese-LLaMA、Yuan-Chat、MiniGPT-4等幾十個(gè)LLaMA大模型生態(tài)圈03行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告二、MaaS支持大模型應(yīng)用落地全流程能力構(gòu)建MaaS（Model-as-a-service，模型即服務(wù)）提供了一整套大模型服務(wù)工具鏈和開放平臺(tái)，行業(yè)用戶基于行業(yè)基礎(chǔ)大模型，利用整體的模型套件經(jīng)過精調(diào)再訓(xùn)練，生成滿足特定場景需求的專屬大模型。與提供基礎(chǔ)設(shè)施的IaaS（基礎(chǔ)設(shè)施即服務(wù)）、提供工具的平臺(tái)即服務(wù)（PaaS）和提供軟件的SaaS（軟件即服務(wù)）相比，MaaS（模型即服務(wù)）以模型作為交付目標(biāo)?；贛aaS構(gòu)建的一站式行業(yè)大模型構(gòu)建和應(yīng)用解決方案，圍繞模型的生命周期提供各種的產(chǎn)品和技術(shù)，輔助行業(yè)用戶從數(shù)據(jù)預(yù)處理、模型構(gòu)建、模型訓(xùn)練、模型評(píng)估到模型服務(wù)實(shí)現(xiàn)全流程能力構(gòu)建。解決了企業(yè)構(gòu)建行業(yè)大模型成本高、時(shí)間長、難度大的問題，降低數(shù)字化轉(zhuǎn)型的成本和風(fēng)險(xiǎn)，支撐客戶MaaSTI-OCRTI-OCRTI-AOI媒體AI中臺(tái)媒體AI中臺(tái)AI語音助手TI平臺(tái)TI-TI-DataTruth數(shù)據(jù)標(biāo)注平臺(tái)TI-ONE訓(xùn)練平臺(tái)TI-Matrix應(yīng)用平臺(tái)金融大模型政務(wù)大模型金融大模型政務(wù)大模型文旅大模型傳媒大模型教育大模型……高性能計(jì)算集群高性能計(jì)算集群HCCMaaS解決方案行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告04GooglePaLM-E大模型控制機(jī)器人Meta于2023年2月開源大模型LLaMA，已經(jīng)對(duì)大模型的產(chǎn)業(yè)鏈上下游產(chǎn)生極其重要的影響，帶動(dòng)了Alpaca、Vicuna、FreeWilly2、BELLE、Chinese-LLaMA、Yuan-Chat、MiniGPT-4等幾十個(gè)LLaMA大模型生態(tài)圈03行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告二、MaaS支持大模型應(yīng)用落地全流程能力構(gòu)建MaaS（Model-as-a-service，模型即服務(wù)）提供了一整套大模型服務(wù)工具鏈和開放平臺(tái)，行業(yè)用戶基于行業(yè)基礎(chǔ)大模型，利用整體的模型套件經(jīng)過精調(diào)再訓(xùn)練，生成滿足特定場景需求的專屬大模型。與提供基礎(chǔ)設(shè)施的IaaS（基礎(chǔ)設(shè)施即服務(wù)）、提供工具的平臺(tái)即服務(wù)（PaaS）和提供軟件的SaaS（軟件即服務(wù)）相比，MaaS（模型即服務(wù)）以模型作為交付目標(biāo)?；贛aaS構(gòu)建的一站式行業(yè)大模型構(gòu)建和應(yīng)用解決方案，圍繞模型的生命周期提供各種的產(chǎn)品和技術(shù)，輔助行業(yè)用戶從數(shù)據(jù)預(yù)處理、模型構(gòu)建、模型訓(xùn)練、模型評(píng)估到模型服務(wù)實(shí)現(xiàn)全流程能力構(gòu)建。解決了企業(yè)構(gòu)建行業(yè)大模型成本高、時(shí)間長、難度大的問題，降低數(shù)字化轉(zhuǎn)型的成本和風(fēng)險(xiǎn)，支撐客戶MaaSTI-OCRTI-OCRTI-AOI媒體AI中臺(tái)媒體AI中臺(tái)AI語音助手TI平臺(tái)TI-TI-DataTruth數(shù)據(jù)標(biāo)注平臺(tái)TI-ONE訓(xùn)練平臺(tái)TI-Matrix應(yīng)用平臺(tái)金融大模型政務(wù)大模型金融大模型政務(wù)大模型文旅大模型傳媒大模型教育大模型……高性能計(jì)算集群高性能計(jì)算集群HCCMaaS解決方案行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告04行業(yè)用戶利用行業(yè)用戶利用MaaS構(gòu)建專屬的行業(yè)模型，可以根據(jù)自有數(shù)據(jù)進(jìn)行精調(diào)，通過訓(xùn)練加速、推理加速完成模型的構(gòu)建。構(gòu)建專屬行業(yè)模型，將預(yù)處理完成的數(shù)據(jù)，載入機(jī)器學(xué)習(xí)平臺(tái)，選取特定算法并調(diào)試，載入特定模型完成訓(xùn)練任務(wù)，最后，通過壓縮裁剪的方式優(yōu)化調(diào)整模型，并完成模型的注冊(cè)及驗(yàn)證MaaS通常內(nèi)置了行業(yè)大模型和工具箱，配套標(biāo)準(zhǔn)化流程和落地服務(wù)，支持行業(yè)用戶進(jìn)行行業(yè)大模型的精調(diào)，生成符合需求的定制化模型，并在此基礎(chǔ)上進(jìn)行部署，構(gòu)建行業(yè)用戶的智能應(yīng)用，具體來說第一，MaaS可以通過基礎(chǔ)行業(yè)大模型、定制場景大模型、模型推理服務(wù)API等不同的方式，為企業(yè)用戶提供靈活和定制化服務(wù)。企業(yè)用戶可以利用企業(yè)特有數(shù)據(jù)對(duì)大模型進(jìn)行自主訓(xùn)練，完成模型的精調(diào)工作。企業(yè)用戶可以根據(jù)特定業(yè)務(wù)場景，通過對(duì)話、問答、問答挖掘、相似問句生成等任務(wù)，再次進(jìn)行微調(diào)，僅需少量自訓(xùn)練數(shù)據(jù)量就可以得到企業(yè)專屬的大模型。自主訓(xùn)練措施包括通過關(guān)鍵詞提示、上下第二，MaaS可以提供公有云的部署流程、私有化的部署流程，以及混合化部署多樣化部署方式。公有云部署，在訓(xùn)練階段用戶先將數(shù)據(jù)上傳到云存儲(chǔ)并做好訓(xùn)練代碼和環(huán)境的準(zhǔn)備，完成訓(xùn)練任務(wù)后存儲(chǔ)模型并進(jìn)行模型評(píng)測。用戶行業(yè)用戶可以在公有云直接購買并使用公有云的機(jī)器資源，經(jīng)過精調(diào)和二次訓(xùn)練，生成行業(yè)用戶的專屬大模型，并應(yīng)用于業(yè)務(wù)系統(tǒng)，這樣可以降低行業(yè)用戶的訓(xùn)練成本。私有化部署，技術(shù)服務(wù)提供商可提供基礎(chǔ)行業(yè)模型并部署在用戶本地，用戶在本地進(jìn)行數(shù)據(jù)訓(xùn)練和模型精調(diào)，并調(diào)用本地算力和存儲(chǔ)資源，完成模型二次訓(xùn)練，滿足用戶對(duì)于敏感數(shù)據(jù)的隱私保護(hù)。混合部署，可以將公有云方式與本地化部署方式相結(jié)合，精調(diào)訓(xùn)練數(shù)據(jù)的過程可以在本地進(jìn)行，通過部署私有化的軟件 05行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告06行業(yè)用戶利用行業(yè)用戶利用MaaS構(gòu)建專屬的行業(yè)模型，可以根據(jù)自有數(shù)據(jù)進(jìn)行精調(diào)，通過訓(xùn)練加速、推理加速完成模型的構(gòu)建。構(gòu)建專屬行業(yè)模型，將預(yù)處理完成的數(shù)據(jù)，載入機(jī)器學(xué)習(xí)平臺(tái)，選取特定算法并調(diào)試，載入特定模型完成訓(xùn)練任務(wù)，最后，通過壓縮裁剪的方式優(yōu)化調(diào)整模型，并完成模型的注冊(cè)及驗(yàn)證MaaS通常內(nèi)置了行業(yè)大模型和工具箱，配套標(biāo)準(zhǔn)化流程和落地服務(wù)，支持行業(yè)用戶進(jìn)行行業(yè)大模型的精調(diào)，生成符合需求的定制化模型，并在此基礎(chǔ)上進(jìn)行部署，構(gòu)建行業(yè)用戶的智能應(yīng)用，具體來說第一，MaaS可以通過基礎(chǔ)行業(yè)大模型、定制場景大模型、模型推理服務(wù)API等不同的方式，為企業(yè)用戶提供靈活和定制化服務(wù)。企業(yè)用戶可以利用企業(yè)特有數(shù)據(jù)對(duì)大模型進(jìn)行自主訓(xùn)練，完成模型的精調(diào)工作。企業(yè)用戶可以根據(jù)特定業(yè)務(wù)場景，通過對(duì)話、問答、問答挖掘、相似問句生成等任務(wù)，再次進(jìn)行微調(diào)，僅需少量自訓(xùn)練數(shù)據(jù)量就可以得到企業(yè)專屬的大模型。自主訓(xùn)練措施包括通過關(guān)鍵詞提示、上下第二，MaaS可以提供公有云的部署流程、私有化的部署流程，以及混合化部署多樣化部署方式。公有云部署，在訓(xùn)練階段用戶先將數(shù)據(jù)上傳到云存儲(chǔ)并做好訓(xùn)練代碼和環(huán)境的準(zhǔn)備，完成訓(xùn)練任務(wù)后存儲(chǔ)模型并進(jìn)行模型評(píng)測。用戶行業(yè)用戶可以在公有云直接購買并使用公有云的機(jī)器資源，經(jīng)過精調(diào)和二次訓(xùn)練，生成行業(yè)用戶的專屬大模型，并應(yīng)用于業(yè)務(wù)系統(tǒng)，這樣可以降低行業(yè)用戶的訓(xùn)練成本。私有化部署，技術(shù)服務(wù)提供商可提供基礎(chǔ)行業(yè)模型并部署在用戶本地，用戶在本地進(jìn)行數(shù)據(jù)訓(xùn)練和模型精調(diào)，并調(diào)用本地算力和存儲(chǔ)資源，完成模型二次訓(xùn)練，滿足用戶對(duì)于敏感數(shù)據(jù)的隱私保護(hù)?；旌喜渴?，可以將公有云方式與本地化部署方式相結(jié)合，精調(diào)訓(xùn)練數(shù)據(jù)的過程可以在本地進(jìn)行，通過部署私有化的軟件 05行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告06風(fēng)控模型，基于AI大模型的智能風(fēng)控系統(tǒng)可以通過分析海量數(shù)據(jù)，利用圖神經(jīng)網(wǎng)絡(luò)、對(duì)抗生成網(wǎng)絡(luò)和異常檢測等技術(shù)，挖掘潛在的風(fēng)險(xiǎn)因素，識(shí)別異常行為，實(shí)時(shí)監(jiān)測金融市場的風(fēng)險(xiǎn)變化，幫助金融機(jī)大模型受益于技術(shù)能力的提升和多樣化的場景需求，如今其自身正是人工智能領(lǐng)域最大的動(dòng)力之除了以上場景，大模型在自動(dòng)駕駛、智能運(yùn)維、代碼助手等很多方面都有著廣泛的應(yīng)用空間和產(chǎn)業(yè)大模型受益于技術(shù)能力的提升和多樣化的場景需求，如今其自身正是人工智能領(lǐng)域最大的動(dòng)力之應(yīng)用，產(chǎn)品類型包括語音助手、企業(yè)客服、呼叫中心、專家咨詢、智能助教、智能導(dǎo)診、銷售助手、培內(nèi)容創(chuàng)作，行業(yè)客戶可以依據(jù)產(chǎn)品特點(diǎn)，利用大模型生成特色文案，助力產(chǎn)品的推廣；大模型應(yīng)用于模板創(chuàng)作、劇本創(chuàng)作、編曲填詞，為原創(chuàng)作者增加創(chuàng)意元素，協(xié)助作者更好的創(chuàng)作；大模型輔助新聞從業(yè)者生成訪談提綱、新聞?wù)龋淮竽Ｐ洼o助研究人員和教育工作者生成論文摘要、課程設(shè)計(jì)等，更推薦系統(tǒng)，大模型可以根據(jù)歷史銷售數(shù)據(jù)和客戶反饋，學(xué)習(xí)并生成個(gè)性化的銷售話術(shù)，幫助銷售人員更快速地了解客戶需求，準(zhǔn)確推薦產(chǎn)品，提高銷售轉(zhuǎn)化率；大模型通過分析大量的銷售數(shù)據(jù)，提供預(yù)測分析功能，幫助銷售人員更好地理解市場需求和銷售趨勢；基于客戶的購買歷史和偏好，大模型生成智能推薦系統(tǒng)，為不同客戶提供個(gè)性化的產(chǎn)品推薦和營銷活動(dòng)；利用大模型創(chuàng)建自動(dòng)化工作流程，自動(dòng)07行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告07行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告風(fēng)控模型，基于AI大模型的智能風(fēng)控系統(tǒng)可以通過分析海量數(shù)據(jù)，利用圖神經(jīng)網(wǎng)絡(luò)、對(duì)抗生成網(wǎng)絡(luò)和異常檢測等技術(shù)，挖掘潛在的風(fēng)險(xiǎn)因素，識(shí)別異常行為，實(shí)時(shí)監(jiān)測金融市場的風(fēng)險(xiǎn)變化，幫助金融機(jī)大模型受益于技術(shù)能力的提升和多樣化的場景需求，如今其自身正是人工智能領(lǐng)域最大的動(dòng)力之除了以上場景，大模型在自動(dòng)駕駛、智能運(yùn)維、代碼助手等很多方面都有著廣泛的應(yīng)用空間和產(chǎn)業(yè)大模型受益于技術(shù)能力的提升和多樣化的場景需求，如今其自身正是人工智能領(lǐng)域最大的動(dòng)力之應(yīng)用，產(chǎn)品類型包括語音助手、企業(yè)客服、呼叫中心、專家咨詢、智能助教、智能導(dǎo)診、銷售助手、培內(nèi)容創(chuàng)作，行業(yè)客戶可以依據(jù)產(chǎn)品特點(diǎn)，利用大模型生成特色文案，助力產(chǎn)品的推廣；大模型應(yīng)用于模板創(chuàng)作、劇本創(chuàng)作、編曲填詞，為原創(chuàng)作者增加創(chuàng)意元素，協(xié)助作者更好的創(chuàng)作；大模型輔助新聞從業(yè)者生成訪談提綱、新聞?wù)?；大模型輔助研究人員和教育工作者生成論文摘要、課程設(shè)計(jì)等，更推薦系統(tǒng)，大模型可以根據(jù)歷史銷售數(shù)據(jù)和客戶反饋，學(xué)習(xí)并生成個(gè)性化的銷售話術(shù)，幫助銷售人員更快速地了解客戶需求，準(zhǔn)確推薦產(chǎn)品，提高銷售轉(zhuǎn)化率；大模型通過分析大量的銷售數(shù)據(jù)，提供預(yù)測分析功能，幫助銷售人員更好地理解市場需求和銷售趨勢；基于客戶的購買歷史和偏好，大模型生成智能推薦系統(tǒng)，為不同客戶提供個(gè)性化的產(chǎn)品推薦和營銷活動(dòng)；利用大模型創(chuàng)建自動(dòng)化工作流程，自動(dòng)07行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告07行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告通用大模型在一定程度上很難滿足行業(yè)用戶的直接需求，首先是模型所包含的參數(shù)量巨大，訓(xùn)練和部署對(duì)算力的消耗十分巨大，成本高昂；其次是模型的可解釋性仍然較弱，通常需要增加內(nèi)容管控手段通用大模型在一定程度上很難滿足行業(yè)用戶的直接需求，首先是模型所包含的參數(shù)量巨大，訓(xùn)練和部署對(duì)算力的消耗十分巨大，成本高昂；其次是模型的可解釋性仍然較弱，通常需要增加內(nèi)容管控手段保證結(jié)果的安全性；最后是模型對(duì)訓(xùn)練數(shù)據(jù)的依賴性仍然很強(qiáng)，對(duì)超出訓(xùn)練數(shù)據(jù)的任務(wù)效果不盡如人意。更為重要的是，在一些特定的行業(yè)，通用基礎(chǔ)大模型的行業(yè)大模型，通常基于該行業(yè)領(lǐng)域的數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，更好地理解和處理該行業(yè)的專業(yè)術(shù)語、規(guī)范和語義。行業(yè)大模型更加專注于某個(gè)特定的行業(yè)，滿足對(duì)應(yīng)行業(yè)的需求。目前產(chǎn)業(yè)的行業(yè)大模型解決方案，助力構(gòu)建專屬大模型及智能應(yīng)用，并結(jié)合自身在算力方面的優(yōu)勢，為行業(yè)模型訓(xùn)練提供強(qiáng)大的支持和動(dòng)力。但是，行業(yè)大模型最終要在真實(shí)場景落地，達(dá)到理想的服務(wù)效果，需要充分解決行業(yè)用戶的痛點(diǎn)。目前行業(yè)用戶所面臨的問題包括計(jì)算資源少、數(shù)據(jù)質(zhì)量差、投入成本高，專業(yè)人才稀缺等突出專業(yè)人才方面，行業(yè)客戶通常缺少AI領(lǐng)域技術(shù)人才的儲(chǔ)備，模型的開發(fā)落地通常對(duì)技術(shù)人才有很高面對(duì)這些痛點(diǎn)和問題，需要行業(yè)大模型技術(shù)服務(wù)提供商，提供行業(yè)大模型精調(diào)解決方案，幫助模型開發(fā)者與算法工程師，一站式解決數(shù)據(jù)的處理問題，高效率、高品質(zhì)、低成足不同行業(yè)用戶的不同部署需求，支持私有化本地部署的方式，在權(quán)限管控、數(shù)據(jù)加密等方面提供完善的方案。技術(shù)服務(wù)提供商，應(yīng)該為行業(yè)用戶，提供例如金融、文旅、政務(wù)、傳媒、教育等各行業(yè)的基礎(chǔ)行業(yè)大模型，便于行業(yè)用戶基于基礎(chǔ)模型，進(jìn)行便捷的對(duì)計(jì)算資源和存儲(chǔ)資源有高需求，對(duì)很多客戶來為確保業(yè)務(wù)使用的效果和可持續(xù)性，需要投入成倍量級(jí)的數(shù)據(jù)、計(jì)算資源、專業(yè)技術(shù)和時(shí)間來訓(xùn)需要大量高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，經(jīng)常會(huì)因?yàn)閿?shù)據(jù)各類問題，導(dǎo)致大模型的效果和效率無法開發(fā)和落地對(duì)技術(shù)人才儲(chǔ)備及技術(shù)能力要求高相關(guān)資源的缺失影響大模型在產(chǎn)業(yè)的快速落地和持計(jì)算資源方面，大模型的訓(xùn)練，需要對(duì)計(jì)算資源和存儲(chǔ)資源提出較高要求，對(duì)于很多行業(yè)用戶而言門檻很高，現(xiàn)有的資源難以支持大模型的訓(xùn)練和推理。同時(shí)高質(zhì)量的行業(yè)知識(shí)庫和訓(xùn)練數(shù)據(jù)是行業(yè)大模行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告1009行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告10通用大模型在一定程度上很難滿足行業(yè)用戶的直接需求，首先是模型所包含的參數(shù)量巨大，訓(xùn)練和部署對(duì)算力的消耗十分巨大，成本高昂；其次是模型的可解釋性仍然較弱，通常需要增加內(nèi)容管控手段通用大模型在一定程度上很難滿足行業(yè)用戶的直接需求，首先是模型所包含的參數(shù)量巨大，訓(xùn)練和部署對(duì)算力的消耗十分巨大，成本高昂；其次是模型的可解釋性仍然較弱，通常需要增加內(nèi)容管控手段保證結(jié)果的安全性；最后是模型對(duì)訓(xùn)練數(shù)據(jù)的依賴性仍然很強(qiáng)，對(duì)超出訓(xùn)練數(shù)據(jù)的任務(wù)效果不盡如人意。更為重要的是，在一些特定的行業(yè)，通用基礎(chǔ)大模型的行業(yè)大模型，通?；谠撔袠I(yè)領(lǐng)域的數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，更好地理解和處理該行業(yè)的專業(yè)術(shù)語、規(guī)范和語義。行業(yè)大模型更加專注于某個(gè)特定的行業(yè)，滿足對(duì)應(yīng)行業(yè)的需求。目前產(chǎn)業(yè)的行業(yè)大模型解決方案，助力構(gòu)建專屬大模型及智能應(yīng)用，并結(jié)合自身在算力方面的優(yōu)勢，為行業(yè)模型訓(xùn)練提供強(qiáng)大的支持和動(dòng)力。但是，行業(yè)大模型最終要在真實(shí)場景落地，達(dá)到理想的服務(wù)效果，需要充分解決行業(yè)用戶的痛點(diǎn)。目前行業(yè)用戶所面臨的問題包括計(jì)算資源少、數(shù)據(jù)質(zhì)量差、投入成本高，專業(yè)人才稀缺等突出專業(yè)人才方面，行業(yè)客戶通常缺少AI領(lǐng)域技術(shù)人才的儲(chǔ)備，模型的開發(fā)落地通常對(duì)技術(shù)人才有很高面對(duì)這些痛點(diǎn)和問題，需要行業(yè)大模型技術(shù)服務(wù)提供商，提供行業(yè)大模型精調(diào)解決方案，幫助模型開發(fā)者與算法工程師，一站式解決數(shù)據(jù)的處理問題，高效率、高品質(zhì)、低成足不同行業(yè)用戶的不同部署需求，支持私有化本地部署的方式，在權(quán)限管控、數(shù)據(jù)加密等方面提供完善的方案。技術(shù)服務(wù)提供商，應(yīng)該為行業(yè)用戶，提供例如金融、文旅、政務(wù)、傳媒、教育等各行業(yè)的基礎(chǔ)行業(yè)大模型，便于行業(yè)用戶基于基礎(chǔ)模型，進(jìn)行便捷的對(duì)計(jì)算資源和存儲(chǔ)資源有高需求，對(duì)很多客戶來為確保業(yè)務(wù)使用的效果和可持續(xù)性，需要投入成倍量級(jí)的數(shù)據(jù)、計(jì)算資源、專業(yè)技術(shù)和時(shí)間來訓(xùn)需要大量高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，經(jīng)常會(huì)因?yàn)閿?shù)據(jù)各類問題，導(dǎo)致大模型的效果和效率無法開發(fā)和落地對(duì)技術(shù)人才儲(chǔ)備及技術(shù)能力要求高相關(guān)資源的缺失影響大模型在產(chǎn)業(yè)的快速落地和持計(jì)算資源方面，大模型的訓(xùn)練，需要對(duì)計(jì)算資源和存儲(chǔ)資源提出較高要求，對(duì)于很多行業(yè)用戶而言門檻很高，現(xiàn)有的資源難以支持大模型的訓(xùn)練和推理。同時(shí)高質(zhì)量的行業(yè)知識(shí)庫和訓(xùn)練數(shù)據(jù)是行業(yè)大模行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告1009行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告10行業(yè)大模型的構(gòu)建可以加速行業(yè)用戶的數(shù)字化轉(zhuǎn)型效率，提升企業(yè)的服務(wù)質(zhì)量。但行業(yè)大模型的構(gòu)建，對(duì)行業(yè)數(shù)據(jù)、計(jì)算資源和部署運(yùn)維等提出較高的要求，這對(duì)于很多行業(yè)用戶而言有一定的門檻。更為重要的是，當(dāng)前缺乏面向行業(yè)大模型的構(gòu)建方法和流程的指導(dǎo)方案，企業(yè)用戶不清楚如何著手構(gòu)建行業(yè)大模型。本章針對(duì)垂直領(lǐng)域的行業(yè)大模型，建立標(biāo)準(zhǔn)化流程，具體涵蓋業(yè)務(wù)需求分析與資源評(píng)估、行業(yè)數(shù)據(jù)與大模型共建、行業(yè)大模型微調(diào)與優(yōu)化部署等關(guān)鍵一b一b一b—b一b—b一b構(gòu)建行業(yè)大模型首先需要對(duì)業(yè)務(wù)需求和資源進(jìn)行評(píng)估，具體包括包括業(yè)務(wù)需求評(píng)估、算力層評(píng)估、行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告12行業(yè)大模型的構(gòu)建可以加速行業(yè)用戶的數(shù)字化轉(zhuǎn)型效率，提升企業(yè)的服務(wù)質(zhì)量。但行業(yè)大模型的構(gòu)建，對(duì)行業(yè)數(shù)據(jù)、計(jì)算資源和部署運(yùn)維等提出較高的要求，這對(duì)于很多行業(yè)用戶而言有一定的門檻。更為重要的是，當(dāng)前缺乏面向行業(yè)大模型的構(gòu)建方法和流程的指導(dǎo)方案，企業(yè)用戶不清楚如何著手構(gòu)建行業(yè)大模型。本章針對(duì)垂直領(lǐng)域的行業(yè)大模型，建立標(biāo)準(zhǔn)化流程，具體涵蓋業(yè)務(wù)需求分析與資源評(píng)估、行業(yè)數(shù)據(jù)與大模型共建、行業(yè)大模型微調(diào)與優(yōu)化部署等關(guān)鍵一b一b一b—b一b—b一b構(gòu)建行業(yè)大模型首先需要對(duì)業(yè)務(wù)需求和資源進(jìn)行評(píng)估，具體包括包括業(yè)務(wù)需求評(píng)估、算力層評(píng)估、行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告12以通用單卡芯片為例，計(jì)算能力可達(dá)到312TFLOPS，若基礎(chǔ)大模型參數(shù)為百億，采用有監(jiān)督的參數(shù)精調(diào)（SFT）以通用單卡芯片為例，計(jì)算能力可達(dá)到312TFLOPS，若基礎(chǔ)大模型參數(shù)為百億，采用有監(jiān)督的參數(shù)精調(diào)（SFT）通常需要32張卡，每次訓(xùn)練耗時(shí)2至3周；若精調(diào)采用文件存儲(chǔ)CFS若采用CFSTurbo方案，IOPS可達(dá)300萬。業(yè)務(wù)需求評(píng)估主要是明確業(yè)務(wù)的具體需求，將業(yè)務(wù)需求轉(zhuǎn)換為明確、可量化的目標(biāo)，從而確定行業(yè)③業(yè)務(wù)服務(wù)方式：明確行業(yè)用戶需要的服務(wù)方式。服務(wù)方式包括私有化部署或公有化部署，行業(yè)用戶可以基于技術(shù)服務(wù)商提供的基礎(chǔ)大模型進(jìn)行私有化部署，也可以利用自有的大模型，通過技術(shù)服務(wù)提供商提供的模型工具，豐富私有化的部署手段。同樣，采用公有云部署的行業(yè)用戶，也可以根據(jù)實(shí)際業(yè)2、算力層評(píng)估算力層評(píng)估主要是確定行業(yè)大模型在實(shí)際訓(xùn)練和部署中需要使用的算力資源類型和大小，從而對(duì)成本和進(jìn)行時(shí)間預(yù)估。在算力評(píng)估方面，行業(yè)用①計(jì)算能力，需要考量不同算力上的行業(yè)大模型訓(xùn)練時(shí)長和成本情況。訓(xùn)練所需要的資源，通常與模型的參數(shù)量級(jí)，標(biāo)注后的數(shù)據(jù)集大小相關(guān)。結(jié)合訓(xùn)練所采用的芯片、所支持計(jì)算網(wǎng)絡(luò)，以及所選用的精調(diào)算法，可以評(píng)估單次訓(xùn)練時(shí)長。算力層評(píng)估可以在模型訓(xùn)練和部署層面上分別進(jìn)行評(píng)估：推理所需要的算力資源，通常以QPS（每秒查詢數(shù)）評(píng)達(dá)到百億，運(yùn)行大小30G，在2卡條件下，②存儲(chǔ)方案，訓(xùn)練數(shù)據(jù)和大模型需要大量的存儲(chǔ)空間，行業(yè)用戶可以根據(jù)訓(xùn)練數(shù)據(jù)的大小，評(píng)估所對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)COS），謂下載數(shù)據(jù)到訓(xùn)練機(jī)器本地，讀寫速度可以超過0.42GB/s，若采用COS+GooseFS存儲(chǔ)方案，可以提供通常訓(xùn)練數(shù)據(jù)小于50GB時(shí)，行業(yè)用戶可采用COS或CFS方案。當(dāng)訓(xùn)練數(shù)據(jù)大于50GB時(shí)，行業(yè)用戶可采用COS+GooseFS或CFSTurbo的方案。③網(wǎng)絡(luò)通信，當(dāng)前大模型主要采用分布式訓(xùn)練的方式，訓(xùn)練節(jié)點(diǎn)間的通信問題嚴(yán)重影響訓(xùn)練效率。行業(yè)用戶可以根據(jù)模型的參數(shù)量級(jí)和訓(xùn)練數(shù)據(jù)量，選擇所采用的網(wǎng)絡(luò)技術(shù)。行業(yè)大模型的訓(xùn)練需要高性能的網(wǎng)絡(luò)支持，通常需要至少支持RDMA100G的網(wǎng)絡(luò)。RDMA技術(shù)是為解決網(wǎng)絡(luò)傳輸中服務(wù)器數(shù)據(jù)處理的延遲而應(yīng)用的技術(shù)，其支持跨過操作系統(tǒng)的內(nèi)核開銷，直接訪問到網(wǎng)卡。支持RDMA網(wǎng)絡(luò)的主流技術(shù)包括RoCE和InfiniBand：行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告14以通用單卡芯片為例，計(jì)算能力可達(dá)到312TFLOPS，若基礎(chǔ)大模型參數(shù)為百億，采用有監(jiān)督的參數(shù)精調(diào)（SFT）以通用單卡芯片為例，計(jì)算能力可達(dá)到312TFLOPS，若基礎(chǔ)大模型參數(shù)為百億，采用有監(jiān)督的參數(shù)精調(diào)（SFT）通常需要32張卡，每次訓(xùn)練耗時(shí)2至3周；若精調(diào)采用文件存儲(chǔ)CFS若采用CFSTurbo方案，IOPS可達(dá)300萬。業(yè)務(wù)需求評(píng)估主要是明確業(yè)務(wù)的具體需求，將業(yè)務(wù)需求轉(zhuǎn)換為明確、可量化的目標(biāo)，從而確定行業(yè)③業(yè)務(wù)服務(wù)方式：明確行業(yè)用戶需要的服務(wù)方式。服務(wù)方式包括私有化部署或公有化部署，行業(yè)用戶可以基于技術(shù)服務(wù)商提供的基礎(chǔ)大模型進(jìn)行私有化部署，也可以利用自有的大模型，通過技術(shù)服務(wù)提供商提供的模型工具，豐富私有化的部署手段。同樣，采用公有云部署的行業(yè)用戶，也可以根據(jù)實(shí)際業(yè)2、算力層評(píng)估算力層評(píng)估主要是確定行業(yè)大模型在實(shí)際訓(xùn)練和部署中需要使用的算力資源類型和大小，從而對(duì)成本和進(jìn)行時(shí)間預(yù)估。在算力評(píng)估方面，行業(yè)用①計(jì)算能力，需要考量不同算力上的行業(yè)大模型訓(xùn)練時(shí)長和成本情況。訓(xùn)練所需要的資源，通常與模型的參數(shù)量級(jí)，標(biāo)注后的數(shù)據(jù)集大小相關(guān)。結(jié)合訓(xùn)練所采用的芯片、所支持計(jì)算網(wǎng)絡(luò)，以及所選用的精調(diào)算法，可以評(píng)估單次訓(xùn)練時(shí)長。算力層評(píng)估可以在模型訓(xùn)練和部署層面上分別進(jìn)行評(píng)估：推理所需要的算力資源，通常以QPS（每秒查詢數(shù)）評(píng)達(dá)到百億，運(yùn)行大小30G，在2卡條件下，②存儲(chǔ)方案，訓(xùn)練數(shù)據(jù)和大模型需要大量的存儲(chǔ)空間，行業(yè)用戶可以根據(jù)訓(xùn)練數(shù)據(jù)的大小，評(píng)估所對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)COS），謂下載數(shù)據(jù)到訓(xùn)練機(jī)器本地，讀寫速度可以超過0.42GB/s，若采用COS+GooseFS存儲(chǔ)方案，可以提供通常訓(xùn)練數(shù)據(jù)小于50GB時(shí)，行業(yè)用戶可采用COS或CFS方案。當(dāng)訓(xùn)練數(shù)據(jù)大于50GB時(shí)，行業(yè)用戶可采用COS+GooseFS或CFSTurbo的方案。③網(wǎng)絡(luò)通信，當(dāng)前大模型主要采用分布式訓(xùn)練的方式，訓(xùn)練節(jié)點(diǎn)間的通信問題嚴(yán)重影響訓(xùn)練效率。行業(yè)用戶可以根據(jù)模型的參數(shù)量級(jí)和訓(xùn)練數(shù)據(jù)量，選擇所采用的網(wǎng)絡(luò)技術(shù)。行業(yè)大模型的訓(xùn)練需要高性能的網(wǎng)絡(luò)支持，通常需要至少支持RDMA100G的網(wǎng)絡(luò)。RDMA技術(shù)是為解決網(wǎng)絡(luò)傳輸中服務(wù)器數(shù)據(jù)處理的延遲而應(yīng)用的技術(shù)，其支持跨過操作系統(tǒng)的內(nèi)核開銷，直接訪問到網(wǎng)卡。支持RDMA網(wǎng)絡(luò)的主流技術(shù)包括RoCE和InfiniBand：行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告14中挑選一定比例進(jìn)行標(biāo)注，從而構(gòu)建高質(zhì)量的數(shù)據(jù)集。行業(yè)用戶正式歸檔或是正式業(yè)務(wù)系統(tǒng)標(biāo)注留存的在數(shù)據(jù)格式方面。需確定具體數(shù)據(jù)格式包括哪些。如文本數(shù)據(jù)、音頻數(shù)據(jù)或是其他格式類型。無監(jiān)督數(shù)據(jù)，即原始數(shù)據(jù)，數(shù)據(jù)的格式可以是網(wǎng)頁數(shù)據(jù)、PDF、WORD、PPT或是語音類；有監(jiān)督數(shù)據(jù)，即經(jīng)過標(biāo)注的數(shù)據(jù)，數(shù)據(jù)格式可以為json或Query格式。InfiniBand無損通信，需要專用交換機(jī)。InfiniBand的網(wǎng)絡(luò)延遲極RoCERoCERoCE是在以太網(wǎng)上實(shí)現(xiàn)RDMA，目前的RoCEv2協(xié)議3、算法層評(píng)估目前基礎(chǔ)大模型和微調(diào)算法眾多，算法層評(píng)估主要根據(jù)業(yè)務(wù)需求和算力資源的限制，確定最適合業(yè)務(wù)場景的大模型和精調(diào)算法。在基礎(chǔ)大模型選擇方面，首先，行業(yè)用戶應(yīng)參照業(yè)務(wù)需求，根據(jù)需要處理的數(shù)據(jù)類型，選擇基礎(chǔ)的語言大模型、視覺大模型或語音大模型等；其次，根據(jù)需要完成的任務(wù)，選擇對(duì)應(yīng)任務(wù)版本大模型，例如，需要完成客服任務(wù)，應(yīng)該選擇已經(jīng)在對(duì)話數(shù)據(jù)集上微調(diào)過的基礎(chǔ)大模型；采用少量的樣本數(shù)據(jù)先行進(jìn)行評(píng)估，以保證精調(diào)的效果。以大語言模型精調(diào)為例，當(dāng)前可采用的精調(diào)算法包括有監(jiān)督的參數(shù)精調(diào)（SFT）或參數(shù)高效精調(diào)（Parameter-EfficientFine-Tuning，PEFT）。4、數(shù)據(jù)層評(píng)估行業(yè)用戶應(yīng)根據(jù)業(yè)務(wù)的實(shí)際情況以及期望目標(biāo)，明確數(shù)據(jù)規(guī)模、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全隱私等問題，根據(jù)不同的場景可以有一定的浮動(dòng)。數(shù)據(jù)規(guī)模一般以GB或條數(shù)進(jìn)行量化，其中一條數(shù)據(jù)是指行業(yè)用戶在在客服場景，一條數(shù)據(jù)就是一次問答或是一次客服多輪對(duì)話的過程。在進(jìn)5、工程層評(píng)估在構(gòu)建行業(yè)大模型時(shí)，行業(yè)用戶可以選擇配套工具或第三方平臺(tái)提升模型構(gòu)建效率。因此，需要根據(jù)需求目標(biāo)和構(gòu)建成本對(duì)工程工具和平臺(tái)等進(jìn)行選擇。行業(yè)用戶需要評(píng)估模型訓(xùn)練所需的算法模型平臺(tái)，確定平臺(tái)適配性和訓(xùn)練流程。通常模型訓(xùn)練平臺(tái)具有從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、自動(dòng)學(xué)習(xí)、模型評(píng)估①模型訓(xùn)練平臺(tái)是否包含需要的基礎(chǔ)大模型或基礎(chǔ)行業(yè)大模型，例如金融行業(yè)基礎(chǔ)大模型、文旅行業(yè)基④數(shù)據(jù)應(yīng)用平臺(tái)是否支持快速接入模型、數(shù)據(jù)和智能設(shè)備，提供模型服務(wù)、應(yīng)用工作流編排、云邊端調(diào)⑤部署兼容性，行業(yè)用戶需要評(píng)估希望部署的平臺(tái)與行業(yè)大模型的兼容性，確認(rèn)能否能夠通過升級(jí)的方⑥模型加密，行業(yè)用戶需要確認(rèn)是否需要針對(duì)內(nèi)置的模行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告16中挑選一定比例進(jìn)行標(biāo)注，從而構(gòu)建高質(zhì)量的數(shù)據(jù)集。行業(yè)用戶正式歸檔或是正式業(yè)務(wù)系統(tǒng)標(biāo)注留存的在數(shù)據(jù)格式方面。需確定具體數(shù)據(jù)格式包括哪些。如文本數(shù)據(jù)、音頻數(shù)據(jù)或是其他格式類型。無監(jiān)督數(shù)據(jù)，即原始數(shù)據(jù)，數(shù)據(jù)的格式可以是網(wǎng)頁數(shù)據(jù)、PDF、WORD、PPT或是語音類；有監(jiān)督數(shù)據(jù)，即經(jīng)過標(biāo)注的數(shù)據(jù)，數(shù)據(jù)格式可以為json或Query格式。InfiniBand無損通信，需要專用交換機(jī)。InfiniBand的網(wǎng)絡(luò)延遲極RoCERoCERoCE是在以太網(wǎng)上實(shí)現(xiàn)RDMA，目前的RoCEv2協(xié)議3、算法層評(píng)估目前基礎(chǔ)大模型和微調(diào)算法眾多，算法層評(píng)估主要根據(jù)業(yè)務(wù)需求和算力資源的限制，確定最適合業(yè)務(wù)場景的大模型和精調(diào)算法。在基礎(chǔ)大模型選擇方面，首先，行業(yè)用戶應(yīng)參照業(yè)務(wù)需求，根據(jù)需要處理的數(shù)據(jù)類型，選擇基礎(chǔ)的語言大模型、視覺大模型或語音大模型等；其次，根據(jù)需要完成的任務(wù)，選擇對(duì)應(yīng)任務(wù)版本大模型，例如，需要完成客服任務(wù)，應(yīng)該選擇已經(jīng)在對(duì)話數(shù)據(jù)集上微調(diào)過的基礎(chǔ)大模型；采用少量的樣本數(shù)據(jù)先行進(jìn)行評(píng)估，以保證精調(diào)的效果。以大語言模型精調(diào)為例，當(dāng)前可采用的精調(diào)算法包括有監(jiān)督的參數(shù)精調(diào)（SFT）或參數(shù)高效精調(diào)（Parameter-EfficientFine-Tuning，PEFT）。4、數(shù)據(jù)層評(píng)估行業(yè)用戶應(yīng)根據(jù)業(yè)務(wù)的實(shí)際情況以及期望目標(biāo)，明確數(shù)據(jù)規(guī)模、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全隱私等問題，根據(jù)不同的場景可以有一定的浮動(dòng)。數(shù)據(jù)規(guī)模一般以GB或條數(shù)進(jìn)行量化，其中一條數(shù)據(jù)是指行業(yè)用戶在在客服場景，一條數(shù)據(jù)就是一次問答或是一次客服多輪對(duì)話的過程。在進(jìn)5、工程層評(píng)估在構(gòu)建行業(yè)大模型時(shí)，行業(yè)用戶可以選擇配套工具或第三方平臺(tái)提升模型構(gòu)建效率。因此，需要根據(jù)需求目標(biāo)和構(gòu)建成本對(duì)工程工具和平臺(tái)等進(jìn)行選擇。行業(yè)用戶需要評(píng)估模型訓(xùn)練所需的算法模型平臺(tái)，確定平臺(tái)適配性和訓(xùn)練流程。通常模型訓(xùn)練平臺(tái)具有從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、自動(dòng)學(xué)習(xí)、模型評(píng)估①模型訓(xùn)練平臺(tái)是否包含需要的基礎(chǔ)大模型或基礎(chǔ)行業(yè)大模型，例如金融行業(yè)基礎(chǔ)大模型、文旅行業(yè)基④數(shù)據(jù)應(yīng)用平臺(tái)是否支持快速接入模型、數(shù)據(jù)和智能設(shè)備，提供模型服務(wù)、應(yīng)用工作流編排、云邊端調(diào)⑤部署兼容性，行業(yè)用戶需要評(píng)估希望部署的平臺(tái)與行業(yè)大模型的兼容性，確認(rèn)能否能夠通過升級(jí)的方⑥模型加密，行業(yè)用戶需要確認(rèn)是否需要針對(duì)內(nèi)置的模行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告16行業(yè)數(shù)據(jù)與大模型共建包括明確場景目標(biāo)、模明確行業(yè)大模型實(shí)際應(yīng)用場景及模型評(píng)價(jià)目標(biāo)。例如金融領(lǐng)域，覆蓋的業(yè)務(wù)場景可以包括風(fēng)險(xiǎn)控制、客服顧問、投資行研等。不同的業(yè)務(wù)場景，對(duì)于模型的評(píng)價(jià)目標(biāo)會(huì)有不同。在風(fēng)控場景，模型的評(píng)價(jià)目標(biāo)主要為風(fēng)險(xiǎn)預(yù)警精確率、召回率、F1值等；在客服顧問場景，模型的評(píng)價(jià)目標(biāo)主要為平均響應(yīng)時(shí)間、客戶滿意度等；在投資行研場景，模型的評(píng)價(jià)目標(biāo)主要為數(shù)據(jù)準(zhǔn)確性、成本效益等。與金融領(lǐng)域類似，在文旅領(lǐng)域，覆蓋的業(yè)務(wù)場景可以包括行程定制、文案策劃、講解互動(dòng)等。在行程制定場景，模型的評(píng)價(jià)目標(biāo)主要為推薦準(zhǔn)確性、定制匹配度等；在文案策劃場景，模型的評(píng)價(jià)目標(biāo)主要為信息覆蓋度、文案創(chuàng)新性等；在講解互動(dòng)場景，模型的評(píng)價(jià)目標(biāo)主要為響應(yīng)時(shí)間、互動(dòng)準(zhǔn)確度等。在傳媒、政務(wù)、教育等其他領(lǐng)域，明確實(shí)際應(yīng)用場景及模型評(píng)價(jià)目標(biāo)也都是關(guān)鍵環(huán)節(jié)。2、模型選擇明確模型選型。根據(jù)大模型的基礎(chǔ)應(yīng)用領(lǐng)域，大模型可分為NLP大模型、CV大模型、多模態(tài)大模型等。行業(yè)客戶應(yīng)根據(jù)大模型的基礎(chǔ)應(yīng)用領(lǐng)域，確定所選擇的模型。NLP大模型主要用于自然語言處理，可以在客戶服務(wù)、智能助手、問答文稿生成等領(lǐng)域，理解問題和需求，提供準(zhǔn)確的解答和建議。如果行業(yè)用戶的場景目標(biāo)為智能客服領(lǐng)域，模型應(yīng)選擇NLP大模型。在此基礎(chǔ)上，結(jié)合訓(xùn)練資源情況，選擇所處行業(yè)優(yōu)化適配的行業(yè)基礎(chǔ)大模型，如LLaMA、Chat-GLM等。CV大模型主要用于機(jī)器視覺，CV大模型可以在圖像分類、目標(biāo)檢測、圖像分割、視頻修復(fù)等領(lǐng)域，完成相應(yīng)任務(wù)。CV大模型的構(gòu)建通?；诰矸e神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制等，通?；陬A(yù)訓(xùn)練模型，輸出目標(biāo)特征，并結(jié)合特征聚合模塊，增強(qiáng)模型的全局圖像感知能力，支持文字粒度、文本框粒度、整圖粒度的特征表示，支持信息的抽取和識(shí)別。如果行業(yè)用戶的場景目標(biāo)為圖像識(shí)別、視頻修復(fù)，模型應(yīng)選擇CV大模型，并在此基礎(chǔ)上，結(jié)合訓(xùn)練資源情況，選擇所處行業(yè)優(yōu)化適配的行業(yè)基礎(chǔ)大模型。多模態(tài)大模型主要用于跨模態(tài)場景，其相較于NLP類大模型，融合了文字、圖像、三維物體、聲音等多維度的處理能力，可以有更豐富的應(yīng)用場景。多模態(tài)大模型通過多模態(tài)語義理解、跨模態(tài)推理、多模態(tài)生成等技術(shù)進(jìn)行構(gòu)建，以實(shí)現(xiàn)跨模態(tài)的信息表達(dá)和交互，實(shí)現(xiàn)高精度、細(xì)粒度的模態(tài)融合。如果行業(yè)用戶的場景目標(biāo)為跨模態(tài)場景，如文生圖、語音生成文案等，可選擇多模態(tài)大模型，并根據(jù)訓(xùn)練資源情況，選擇所處行業(yè)優(yōu)化適配的行業(yè)基礎(chǔ)大模型。多模態(tài)大模型的訓(xùn)練，通常對(duì)數(shù)據(jù)和算力方面的要求較高，所需的數(shù)據(jù)量和多樣的數(shù)據(jù)類型較大，在訓(xùn)練和推理階段消耗的資源較高。3、訓(xùn)練環(huán)境搭建搭建模型訓(xùn)練環(huán)境，包括硬件環(huán)境的搭建和軟件平臺(tái)的構(gòu)建。其中硬件環(huán)境的搭建主要涉及計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等方面；軟件平臺(tái)的構(gòu)建主要涉及模型訓(xùn)練平臺(tái)的選擇、數(shù)據(jù)標(biāo)注、加速組件等環(huán)境在硬件方面，行業(yè)用戶可以根據(jù)資源及需求情況配置訓(xùn)練所需的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，可優(yōu)選支持容器GPU共享技術(shù)的計(jì)算資源；優(yōu)選配置分布式的存儲(chǔ)架構(gòu)，配置多層次的存儲(chǔ)加速引擎；優(yōu)選支持GPU直連的高吞吐量的RDMA網(wǎng)絡(luò)。行業(yè)客戶可以配置向量數(shù)據(jù)庫，以支持10億級(jí)的向量規(guī)模，日處理千億級(jí)的檢索能力。在軟件方面，行業(yè)用戶需要結(jié)合自身情況，選擇優(yōu)質(zhì)的模型訓(xùn)練平臺(tái)。優(yōu)質(zhì)的模型訓(xùn)練平臺(tái)，可以提升模型訓(xùn)練、優(yōu)化、評(píng)估、部署的整體效率。模型訓(xùn)練平臺(tái)會(huì)預(yù)置多種AI任務(wù)的預(yù)訓(xùn)練模型及調(diào)優(yōu)流程，支持用戶數(shù)據(jù)準(zhǔn)備與設(shè)置超參數(shù)，支持多種訓(xùn)練任務(wù)的調(diào)度和管理，支持自動(dòng)化完成訓(xùn)練流程。行業(yè)用戶可以應(yīng)用獨(dú)立的數(shù)據(jù)標(biāo)注平臺(tái)，完善數(shù)據(jù)集管理和數(shù)據(jù)標(biāo)注的能力。在加速組件方面，應(yīng)配置支持異步調(diào)度優(yōu)化、顯存優(yōu)化、計(jì)算優(yōu)化的環(huán)境，支持?jǐn)?shù)據(jù)并行及模型并行。4、數(shù)據(jù)處理數(shù)據(jù)處理，將數(shù)據(jù)加工為模型訓(xùn)練所需數(shù)據(jù)，包括原始數(shù)據(jù)處理、原始數(shù)據(jù)處理主要包括三個(gè)步驟，行業(yè)用戶首先對(duì)原始數(shù)據(jù)進(jìn)行脫敏處理，以保證隱私及數(shù)據(jù)合規(guī)使用。原始數(shù)據(jù)可以來自公開數(shù)據(jù)集或是由實(shí)際業(yè)務(wù)系統(tǒng)收集的數(shù)據(jù)。其次對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括去除噪聲、去重、文本清洗、數(shù)據(jù)標(biāo)注、切塊等步驟，最后通過數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)等，減少行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告18行業(yè)數(shù)據(jù)與大模型共建包括明確場景目標(biāo)、模明確行業(yè)大模型實(shí)際應(yīng)用場景及模型評(píng)價(jià)目標(biāo)。例如金融領(lǐng)域，覆蓋的業(yè)務(wù)場景可以包括風(fēng)險(xiǎn)控制、客服顧問、投資行研等。不同的業(yè)務(wù)場景，對(duì)于模型的評(píng)價(jià)目標(biāo)會(huì)有不同。在風(fēng)控場景，模型的評(píng)價(jià)目標(biāo)主要為風(fēng)險(xiǎn)預(yù)警精確率、召回率、F1值等；在客服顧問場景，模型的評(píng)價(jià)目標(biāo)主要為平均響應(yīng)時(shí)間、客戶滿意度等；在投資行研場景，模型的評(píng)價(jià)目標(biāo)主要為數(shù)據(jù)準(zhǔn)確性、成本效益等。與金融領(lǐng)域類似，在文旅領(lǐng)域，覆蓋的業(yè)務(wù)場景可以包括行程定制、文案策劃、講解互動(dòng)等。在行程制定場景，模型的評(píng)價(jià)目標(biāo)主要為推薦準(zhǔn)確性、定制匹配度等；在文案策劃場景，模型的評(píng)價(jià)目標(biāo)主要為信息覆蓋度、文案創(chuàng)新性等；在講解互動(dòng)場景，模型的評(píng)價(jià)目標(biāo)主要為響應(yīng)時(shí)間、互動(dòng)準(zhǔn)確度等。在傳媒、政務(wù)、教育等其他領(lǐng)域，明確實(shí)際應(yīng)用場景及模型評(píng)價(jià)目標(biāo)也都是關(guān)鍵環(huán)節(jié)。2、模型選擇明確模型選型。根據(jù)大模型的基礎(chǔ)應(yīng)用領(lǐng)域，大模型可分為NLP大模型、CV大模型、多模態(tài)大模型等。行業(yè)客戶應(yīng)根據(jù)大模型的基礎(chǔ)應(yīng)用領(lǐng)域，確定所選擇的模型。NLP大模型主要用于自然語言處理，可以在客戶服務(wù)、智能助手、問答文稿生成等領(lǐng)域，理解問題和需求，提供準(zhǔn)確的解答和建議。如果行業(yè)用戶的場景目標(biāo)為智能客服領(lǐng)域，模型應(yīng)選擇NLP大模型。在此基礎(chǔ)上，結(jié)合訓(xùn)練資源情況，選擇所處行業(yè)優(yōu)化適配的行業(yè)基礎(chǔ)大模型，如LLaMA、Chat-GLM等。CV大模型主要用于機(jī)器視覺，CV大模型可以在圖像分類、目標(biāo)檢測、圖像分割、視頻修復(fù)等領(lǐng)域，完成相應(yīng)任務(wù)。CV大模型的構(gòu)建通?；诰矸e神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制等，通常基于預(yù)訓(xùn)練模型，輸出目標(biāo)特征，并結(jié)合特征聚合模塊，增強(qiáng)模型的全局圖像感知能力，支持文字粒度、文本框粒度、整圖粒度的特征表示，支持信息的抽取和識(shí)別。如果行業(yè)用戶的場景目標(biāo)為圖像識(shí)別、視頻修復(fù)，模型應(yīng)選擇CV大模型，并在此基礎(chǔ)上，結(jié)合訓(xùn)練資源情況，選擇所處行業(yè)優(yōu)化適配的行業(yè)基礎(chǔ)大模型。多模態(tài)大模型主要用于跨模態(tài)場景，其相較于NLP類大模型，融合了文字、圖像、三維物體、聲音等多維度的處理能力，可以有更豐富的應(yīng)用場景。多模態(tài)大模型通過多模態(tài)語義理解、跨模態(tài)推理、多模態(tài)生成等技術(shù)進(jìn)行構(gòu)建，以實(shí)現(xiàn)跨模態(tài)的信息表達(dá)和交互，實(shí)現(xiàn)高精度、細(xì)粒度的模態(tài)融合。如果行業(yè)用戶的場景目標(biāo)為跨模態(tài)場景，如文生圖、語音生成文案等，可選擇多模態(tài)大模型，并根據(jù)訓(xùn)練資源情況，選擇所處行業(yè)優(yōu)化適配的行業(yè)基礎(chǔ)大模型。多模態(tài)大模型的訓(xùn)練，通常對(duì)數(shù)據(jù)和算力方面的要求較高，所需的數(shù)據(jù)量和多樣的數(shù)據(jù)類型較大，在訓(xùn)練和推理階段消耗的資源較高。3、訓(xùn)練環(huán)境搭建搭建模型訓(xùn)練環(huán)境，包括硬件環(huán)境的搭建和軟件平臺(tái)的構(gòu)建。其中硬件環(huán)境的搭建主要涉及計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等方面；軟件平臺(tái)的構(gòu)建主要涉及模型訓(xùn)練平臺(tái)的選擇、數(shù)據(jù)標(biāo)注、加速組件等環(huán)境在硬件方面，行業(yè)用戶可以根據(jù)資源及需求情況配置訓(xùn)練所需的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，可優(yōu)選支持容器GPU共享技術(shù)的計(jì)算資源；優(yōu)選配置分布式的存儲(chǔ)架構(gòu)，配置多層次的存儲(chǔ)加速引擎；優(yōu)選支持GPU直連的高吞吐量的RDMA網(wǎng)絡(luò)。行業(yè)客戶可以配置向量數(shù)據(jù)庫，以支持10億級(jí)的向量規(guī)模，日處理千億級(jí)的檢索能力。在軟件方面，行業(yè)用戶需要結(jié)合自身情況，選擇優(yōu)質(zhì)的模型訓(xùn)練平臺(tái)。優(yōu)質(zhì)的模型訓(xùn)練平臺(tái)，可以提升模型訓(xùn)練、優(yōu)化、評(píng)估、部署的整體效率。模型訓(xùn)練平臺(tái)會(huì)預(yù)置多種AI任務(wù)的預(yù)訓(xùn)練模型及調(diào)優(yōu)流程，支持用戶數(shù)據(jù)準(zhǔn)備與設(shè)置超參數(shù)，支持多種訓(xùn)練任務(wù)的調(diào)度和管理，支持自動(dòng)化完成訓(xùn)練流程。行業(yè)用戶可以應(yīng)用獨(dú)立的數(shù)據(jù)標(biāo)注平臺(tái)，完善數(shù)據(jù)集管理和數(shù)據(jù)標(biāo)注的能力。在加速組件方面，應(yīng)配置支持異步調(diào)度優(yōu)化、顯存優(yōu)化、計(jì)算優(yōu)化的環(huán)境，支持?jǐn)?shù)據(jù)并行及模型并行。4、數(shù)據(jù)處理數(shù)據(jù)處理，將數(shù)據(jù)加工為模型訓(xùn)練所需數(shù)據(jù)，包括原始數(shù)據(jù)處理、原始數(shù)據(jù)處理主要包括三個(gè)步驟，行業(yè)用戶首先對(duì)原始數(shù)據(jù)進(jìn)行脫敏處理，以保證隱私及數(shù)據(jù)合規(guī)使用。原始數(shù)據(jù)可以來自公開數(shù)據(jù)集或是由實(shí)際業(yè)務(wù)系統(tǒng)收集的數(shù)據(jù)。其次對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括去除噪聲、去重、文本清洗、數(shù)據(jù)標(biāo)注、切塊等步驟，最后通過數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)等，減少行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告18數(shù)據(jù)可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像、音視頻等）。結(jié)構(gòu)化的數(shù)據(jù)預(yù)處理包括去重、處理缺失值和無效值等；文本數(shù)據(jù)的預(yù)處理包括降低字頻、補(bǔ)充生僻字等；圖像數(shù)據(jù)的預(yù)處理包括旋轉(zhuǎn)、翻轉(zhuǎn)、裁切等；音頻數(shù)據(jù)的預(yù)處理包象需要標(biāo)注文字檢測框、文字內(nèi)容等；圖像類對(duì)象需要標(biāo)注目標(biāo)檢測框、實(shí)例分割塊、關(guān)鍵點(diǎn)等；視頻數(shù)據(jù)集劃分，數(shù)據(jù)集可以劃分為訓(xùn)練集、驗(yàn)證集、測試集，其中訓(xùn)練集用于訓(xùn)練模型，通常包括無監(jiān)督訓(xùn)練集和少量精標(biāo)數(shù)據(jù)集；驗(yàn)證集可以用于模型超參數(shù)（hyper-parameter）的調(diào)整，以及過擬合5、模型訓(xùn)練共建模型訓(xùn)練共建，對(duì)選定模型進(jìn)行訓(xùn)練。模型訓(xùn)練中的核心要點(diǎn)是快速找到模型的最佳算法及對(duì)應(yīng)的行業(yè)大模型的訓(xùn)練過程，需要通過大規(guī)模的行業(yè)無監(jiān)督數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練和有監(jiān)督數(shù)據(jù)進(jìn)行有監(jiān)督的調(diào)優(yōu)得到。在行業(yè)大模型的預(yù)訓(xùn)練過程中，可以通過增加有監(jiān)督精調(diào)的數(shù)據(jù)，在預(yù)訓(xùn)練階段就學(xué)習(xí)模型訓(xùn)練應(yīng)采用分布式并行訓(xùn)練技術(shù)，在訓(xùn)練過程中使用GPU集群（多機(jī)多卡）來提升訓(xùn)練速度。并行訓(xùn)練，包括數(shù)據(jù)并行、模型并行的訓(xùn)練模式，數(shù)據(jù)并行是指在多個(gè)設(shè)備上拷貝一份完整的模型參數(shù)，輸入不同的數(shù)據(jù)參與計(jì)算，同步梯度，并行處理完成數(shù)據(jù)的訓(xùn)練；模型并行是指在多個(gè)設(shè)備上切分模型參數(shù)到各個(gè)GPU，每個(gè)設(shè)備輸入相同數(shù)據(jù)，同步參數(shù)，并行處理完成訓(xùn)練。模型訓(xùn)練共建流程為行業(yè)用戶將數(shù)據(jù)上傳訓(xùn)練平臺(tái)、準(zhǔn)備訓(xùn)練代碼和環(huán)境、發(fā)起模型訓(xùn)練任務(wù)、存儲(chǔ)訓(xùn)練后的模型、測評(píng)訓(xùn)練后的模型。數(shù)據(jù)上傳過程中，如采用公有云的部署方式，需要開通相應(yīng)的存儲(chǔ)資源，如采用本地化的部署方式，需要提前配置相應(yīng)的私有化原件和服務(wù)。在準(zhǔn)備訓(xùn)練代碼前，需要配置完成相應(yīng)的計(jì)算資源，可以根據(jù)不同的應(yīng)用場景和模型特性，調(diào)整啟動(dòng)方式，配置對(duì)應(yīng)的模型路徑行業(yè)大模型精調(diào)與優(yōu)化部署包括模型精調(diào)、模型評(píng)估、模型重訓(xùn)優(yōu)化、模型聯(lián)調(diào)部署、模型應(yīng)用運(yùn)模型精調(diào)，首先選擇合適的精調(diào)算法，精調(diào)算法選定后，利用前期準(zhǔn)備的特定行業(yè)特定場景數(shù)據(jù)進(jìn)有監(jiān)督精調(diào)（SFT）根據(jù)不同的任務(wù)及目標(biāo)，將預(yù)訓(xùn)練模型的權(quán)重全部更新。有監(jiān)督精調(diào)的具體做法是為目標(biāo)模型添加一個(gè)大小為目標(biāo)數(shù)據(jù)集類別個(gè)數(shù)的輸出層，并隨機(jī)初始化該層的模型參數(shù)。在精調(diào)過程中，通過反向傳播算法等對(duì)模型參數(shù)進(jìn)行更新，使得模型在目標(biāo)任務(wù)上表現(xiàn)更好。有監(jiān)督精調(diào)，需有監(jiān)督的參數(shù)精調(diào)（SFT）參數(shù)高效精調(diào)（PEFT）一般針對(duì)特定的參數(shù)進(jìn)行有效微調(diào)。常用的參數(shù)高效精調(diào)技術(shù)，包括模型蒸餾（distillation）、適配器訓(xùn)練（a蒸餾，主要通過訓(xùn)練一個(gè)較小的模型，模仿較大的預(yù)訓(xùn)練模型，將預(yù)訓(xùn)練模型生成的預(yù)測結(jié)果，訓(xùn)練生成較小的模型，結(jié)合較大模型的知識(shí)學(xué)習(xí)情況，無需存儲(chǔ)所有參數(shù)。適配器訓(xùn)練，是指在19行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告20數(shù)據(jù)可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像、音視頻等）。結(jié)構(gòu)化的數(shù)據(jù)預(yù)處理包括去重、處理缺失值和無效值等；文本數(shù)據(jù)的預(yù)處理包括降低字頻、補(bǔ)充生僻字等；圖像數(shù)據(jù)的預(yù)處理包括旋轉(zhuǎn)、翻轉(zhuǎn)、裁切等；音頻數(shù)據(jù)的預(yù)處理包象需要標(biāo)注文字檢測框、文字內(nèi)容等；圖像類對(duì)象需要標(biāo)注目標(biāo)檢測框、實(shí)例分割塊、關(guān)鍵點(diǎn)等；視頻數(shù)據(jù)集劃分，數(shù)據(jù)集可以劃分為訓(xùn)練集、驗(yàn)證集、測試集，其中訓(xùn)練集用于訓(xùn)練模型，通常包括無監(jiān)督訓(xùn)練集和少量精標(biāo)數(shù)據(jù)集；驗(yàn)證集可以用于模型超參數(shù)（hyper-parameter）的調(diào)整，以及過擬合5、模型訓(xùn)練共建模型訓(xùn)練共建，對(duì)選定模型進(jìn)行訓(xùn)練。模型訓(xùn)練中的核心要點(diǎn)是快速找到模型的最佳算法及對(duì)應(yīng)的行業(yè)大模型的訓(xùn)練過程，需要通過大規(guī)模的行業(yè)無監(jiān)督數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練和有監(jiān)督數(shù)據(jù)進(jìn)行有監(jiān)督的調(diào)優(yōu)得到。在行業(yè)大模型的預(yù)訓(xùn)練過程中，可以通過增加有監(jiān)督精調(diào)的數(shù)據(jù)，在預(yù)訓(xùn)練階段就學(xué)習(xí)模型訓(xùn)練應(yīng)采用分布式并行訓(xùn)練技術(shù)，在訓(xùn)練過程中使用GPU集群（多機(jī)多卡）來提升訓(xùn)練速度。并行訓(xùn)練，包括數(shù)據(jù)并行、模型并行的訓(xùn)練模式，數(shù)據(jù)并行是指在多個(gè)設(shè)備上拷貝一份完整的模型參數(shù)，輸入不同的數(shù)據(jù)參與計(jì)算，同步梯度，并行處理完成數(shù)據(jù)的訓(xùn)練；模型并行是指在多個(gè)設(shè)備上切分模型參數(shù)到各個(gè)GPU，每個(gè)設(shè)備輸入相同數(shù)據(jù)，同步參數(shù)，并行處理完成訓(xùn)練。模型訓(xùn)練共建流程為行業(yè)用戶將數(shù)據(jù)上傳訓(xùn)練平臺(tái)、準(zhǔn)備訓(xùn)練代碼和環(huán)境、發(fā)起模型訓(xùn)練任務(wù)、存儲(chǔ)訓(xùn)練后的模型、測評(píng)訓(xùn)練后的模型。數(shù)據(jù)上傳過程中，如采用公有云的部署方式，需要開通相應(yīng)的存儲(chǔ)資源，如采用本地化的部署方式，需要提前配置相應(yīng)的私有化原件和服務(wù)。在準(zhǔn)備訓(xùn)練代碼前，需要配置完成相應(yīng)的計(jì)算資源，可以根據(jù)不同的應(yīng)用場景和模型特性，調(diào)整啟動(dòng)方式，配置對(duì)應(yīng)的模型路徑行業(yè)大模型精調(diào)與優(yōu)化部署包括模型精調(diào)、模型評(píng)估、模型重訓(xùn)優(yōu)化、模型聯(lián)調(diào)部署、模型應(yīng)用運(yùn)模型精調(diào)，首先選擇合適的精調(diào)算法，精調(diào)算法選定后，利用前期準(zhǔn)備的特定行業(yè)特定場景數(shù)據(jù)進(jìn)有監(jiān)督精調(diào)（SFT）根據(jù)不同的任務(wù)及目標(biāo)，將預(yù)訓(xùn)練模型的權(quán)重全部更新。有監(jiān)督精調(diào)的具體做法是為目標(biāo)模型添加一個(gè)大小為目標(biāo)數(shù)據(jù)集類別個(gè)數(shù)的輸出層，并隨機(jī)初始化該層的模型參數(shù)。在精調(diào)過程中，通過反向傳播算法等對(duì)模型參數(shù)進(jìn)行更新，使得模型在目標(biāo)任務(wù)上表現(xiàn)更好。有監(jiān)督精調(diào)，需有監(jiān)督的參數(shù)精調(diào)（SFT）參數(shù)高效精調(diào)（PEFT）一般針對(duì)特定的參數(shù)進(jìn)行有效微調(diào)。常用的參數(shù)高效精調(diào)技術(shù)，包括模型蒸餾（distillation）、適配器訓(xùn)練（a蒸餾，主要通過訓(xùn)練一個(gè)較小的模型，模仿較大的預(yù)訓(xùn)練模型，將預(yù)訓(xùn)練模型生成的預(yù)測結(jié)果，訓(xùn)練生成較小的模型，結(jié)合較大模型的知識(shí)學(xué)習(xí)情況，無需存儲(chǔ)所有參數(shù)。適配器訓(xùn)練，是指在19行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告20增加小型神經(jīng)網(wǎng)絡(luò)，用于特定任務(wù)的精調(diào)。這些適配器只占原始模型的一小部分，通常訓(xùn)練更快，對(duì)內(nèi)存的需求更低。適配器可以針對(duì)多種任務(wù)進(jìn)行訓(xùn)練，然后插入到預(yù)訓(xùn)練模型中以執(zhí)行新任務(wù)。漸進(jìn)收縮，主要涉及在精調(diào)期間逐漸減小預(yù)訓(xùn)練模型的大小。從一個(gè)大模型開始，逐漸減少參數(shù)的數(shù)量，直到目前在行業(yè)大模型精調(diào)中，參數(shù)高效精調(diào)（PEFT）的主流方法包括P-tuningv2、LORA等。其許更多的每個(gè)任務(wù)容量，而它仍比原預(yù)訓(xùn)練語言模型會(huì)小得多。LORA精調(diào)方法，通過低秩分解來P-tuning和P-tuningv2精調(diào)算法原理2、模型評(píng)估模型評(píng)估，在精調(diào)生成對(duì)應(yīng)任務(wù)的大模型后，對(duì)模型進(jìn)行評(píng)估，以判斷模型是否滿足應(yīng)用要求。通對(duì)于對(duì)于NLP類型大模型而言其評(píng)估維度可以包括功能覆蓋度、性能優(yōu)越度。其中功能評(píng)估可以評(píng)估其是否涵蓋詞法分析、句法分析、語義分析、語義消岐、機(jī)器翻譯、文本分類、文本生成、內(nèi)容推薦、閱讀理解、摘要生成、文本糾錯(cuò)等功能。性能評(píng)估包括對(duì)應(yīng)任務(wù)的準(zhǔn)確率、召回率、F1值等，必對(duì)于對(duì)于CV類大模型而言其評(píng)估維度可包括功能覆蓋度、性能優(yōu)越度。其中功能評(píng)估包括是否涵蓋字符識(shí)別、圖像識(shí)別、動(dòng)作識(shí)別、圖像分類、內(nèi)容推薦、目標(biāo)檢測、語義分割、實(shí)例分割、視覺檢性能評(píng)估可以通過準(zhǔn)確率、召回率、F1值、命中率、平均交并比、檢測準(zhǔn)確率、分類準(zhǔn)確其評(píng)估的維度可以包括功能覆蓋度、性能優(yōu)越度。其中功能評(píng)估可以包括是否涵蓋圖文檢索、圖文生成、視頻文本相關(guān)度匹配等功能，性能評(píng)估可以通過命中率、準(zhǔn)確度、匹配度等在模型評(píng)估過程中，可以引入更多的測試數(shù)據(jù)集，保證數(shù)據(jù)集的全面性、完整性、多樣性，以保證LoRA精調(diào)算法原理21行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告3、模型重訓(xùn)優(yōu)化模型重訓(xùn)優(yōu)化，根據(jù)模型評(píng)估的情況，通常需要對(duì)模型進(jìn)行多輪迭代訓(xùn)練優(yōu)化?？梢詰?yīng)用強(qiáng)化學(xué)習(xí)方式進(jìn)行模型的重訓(xùn)，通過人工標(biāo)注答案滿意度，選出最符合人類思考交流習(xí)慣的答案，循環(huán)更新生成大模型。行業(yè)用戶可以將重訓(xùn)得到的模型在模型訓(xùn)練平臺(tái)上提交至模型倉庫，并進(jìn)行模型的驗(yàn)證測試，模型重訓(xùn)可以分為離線重訓(xùn)和在線重訓(xùn)。對(duì)于實(shí)時(shí)性要求較高的某些場景，可以選擇在線重訓(xùn)。對(duì)于安全性要求較高的場景以及當(dāng)對(duì)模型進(jìn)行較大更替時(shí)可選擇離線重訓(xùn)。模型重訓(xùn)可以減少由于數(shù)據(jù)、行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告22增加小型神經(jīng)網(wǎng)絡(luò)，用于特定任務(wù)的精調(diào)。這些適配器只占原始模型的一小部分，通常訓(xùn)練更快，對(duì)內(nèi)存的需求更低。適配器可以針對(duì)多種任務(wù)進(jìn)行訓(xùn)練，然后插入到預(yù)訓(xùn)練模型中以執(zhí)行新任務(wù)。漸進(jìn)收縮，主要涉及在精調(diào)期間逐漸減小預(yù)訓(xùn)練模型的大小。從一個(gè)大模型開始，逐漸減少參數(shù)的數(shù)量，直到目前在行業(yè)大模型精調(diào)中，參數(shù)高效精調(diào)（PEFT）的主流方法包括P-tuningv2、LORA等。其許更多的每個(gè)任務(wù)容量，而它仍比原預(yù)訓(xùn)練語言模型會(huì)小得多。LORA精調(diào)方法，通過低秩分解來P-tuning和P-tuningv2精調(diào)算法原理2、模型評(píng)估模型評(píng)估，在精調(diào)生成對(duì)應(yīng)任務(wù)的大模型后，對(duì)模型進(jìn)行評(píng)估，以判斷模型是否滿足應(yīng)用要求。通對(duì)于對(duì)于NLP類型大模型而言其評(píng)估維度可以包括功能覆蓋度、性能優(yōu)越度。其中功能評(píng)估可以評(píng)估其是否涵蓋詞法分析、句法分析、語義分析、語義消岐、機(jī)器翻譯、文本分類、文本生成、內(nèi)容推薦、閱讀理解、摘要生成、文本糾錯(cuò)等功能。性能評(píng)估包括對(duì)應(yīng)任務(wù)的準(zhǔn)確率、召回率、F1值等，必對(duì)于對(duì)于CV類大模型而言其評(píng)估維度可包括功能覆蓋度、性能優(yōu)越度。其中功能評(píng)估包括是否涵蓋字符識(shí)別、圖像識(shí)別、動(dòng)作識(shí)別、圖像分類、內(nèi)容推薦、目標(biāo)檢測、語義分割、實(shí)例分割、視覺檢性能評(píng)估可以通過準(zhǔn)確率、召回率、F1值、命中率、平均交并比、檢測準(zhǔn)確率、分類準(zhǔn)確其評(píng)估的維度可以包括功能覆蓋度、性能優(yōu)越度。其中功能評(píng)估可以包括是否涵蓋圖文檢索、圖文生成、視頻文本相關(guān)度匹配等功能，性能評(píng)估可以通過命中率、準(zhǔn)確度、匹配度等在模型評(píng)估過程中，可以引入更多的測試數(shù)據(jù)集，保證數(shù)據(jù)集的全面性、完整性、多樣性，以保證LoRA精調(diào)算法原理21行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告3、模型重訓(xùn)優(yōu)化模型重訓(xùn)優(yōu)化，根據(jù)模型評(píng)估的情況，通常需要對(duì)模型進(jìn)行多輪迭代訓(xùn)練優(yōu)化?？梢詰?yīng)用強(qiáng)化學(xué)習(xí)方式進(jìn)行模型的重訓(xùn)，通過人工標(biāo)注答案滿意度，選出最符合人類思考交流習(xí)慣的答案，循環(huán)更新生成大模型。行業(yè)用戶可以將重訓(xùn)得到的模型在模型訓(xùn)練平臺(tái)上提交至模型倉庫，并進(jìn)行模型的驗(yàn)證測試，模型重訓(xùn)可以分為離線重訓(xùn)和在線重訓(xùn)。對(duì)于實(shí)時(shí)性要求較高的某些場景，可以選擇在線重訓(xùn)。對(duì)于安全性要求較高的場景以及當(dāng)對(duì)模型進(jìn)行較大更替時(shí)可選擇離線重訓(xùn)。模型重訓(xùn)可以減少由于數(shù)據(jù)、行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告224、模型聯(lián)調(diào)部署模型聯(lián)調(diào)部署，包括推理服務(wù)部署、服務(wù)配置、應(yīng)用服務(wù)聯(lián)調(diào)等階段。模型聯(lián)調(diào)部署前，行業(yè)用戶可以對(duì)預(yù)訓(xùn)練大模型及精調(diào)后的大模型做加密，訓(xùn)練框架同樣可以做加密封裝。在模型部署過程中，需要先將模型、配置、代碼等進(jìn)行封裝，隨后將封裝好的模型服務(wù)部署至目標(biāo)環(huán)境并配置對(duì)應(yīng)的API，以模型部署需要支持更新策略，以保證新版本的模型服務(wù)可以持續(xù)部署更新于目標(biāo)環(huán)境。支持對(duì)已部署的模型服務(wù)配置相應(yīng)的管理策略，以保證5、模型應(yīng)用運(yùn)營模型應(yīng)用運(yùn)營，在生產(chǎn)環(huán)境中為已上線的模型服務(wù)提供監(jiān)控、管理、運(yùn)營維護(hù)等能力。模型的應(yīng)用運(yùn)營應(yīng)覆蓋大模型構(gòu)建的全生命周期，全面記錄模型運(yùn)行狀態(tài)。應(yīng)支持模型的注冊(cè)、納管、風(fēng)險(xiǎn)管理；在模型應(yīng)用運(yùn)營環(huán)節(jié)，可以通過構(gòu)建倉庫的管理方式，通過構(gòu)建元數(shù)據(jù)倉庫、特征倉庫、模型倉庫、代碼倉庫、參數(shù)倉庫等，提供訪問、復(fù)用、追23行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告4、模型聯(lián)調(diào)部署模型聯(lián)調(diào)部署，包括推理服務(wù)部署、服務(wù)配置、應(yīng)用服務(wù)聯(lián)調(diào)等階段。模型聯(lián)調(diào)部署前，行業(yè)用戶可以對(duì)預(yù)訓(xùn)練大模型及精調(diào)后的大模型做加密，訓(xùn)練框架同樣可以做加密封裝。在模型部署過程中，需要先將模型、配置、代碼等進(jìn)行封裝，隨后將封裝好的模型服務(wù)部署至目標(biāo)環(huán)境并配置對(duì)應(yīng)的API，以模型部署需要支持更新策略，以保證新版本的模型服務(wù)可以持續(xù)部署更新于目標(biāo)環(huán)境。支持對(duì)已部署的模型服務(wù)配置相應(yīng)的管理策略，以保證5、模型應(yīng)用運(yùn)營模型應(yīng)用運(yùn)營，在生產(chǎn)環(huán)境中為已上線的模型服務(wù)提供監(jiān)控、管理、運(yùn)營維護(hù)等能力。模型的應(yīng)用運(yùn)營應(yīng)覆蓋大模型構(gòu)建的全生命周期，全面記錄模型運(yùn)行狀態(tài)。應(yīng)支持模型的注冊(cè)、納管、風(fēng)險(xiǎn)管理；在模型應(yīng)用運(yùn)營環(huán)節(jié)，可以通過構(gòu)建倉庫的管理方式，通過構(gòu)建元數(shù)據(jù)倉庫、特征倉庫、模型倉庫、代碼倉庫、參數(shù)倉庫等，提供訪問、復(fù)用、追23行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告CPUGPUCPUGPU隨著大模型的快速興起，業(yè)界也意識(shí)到，創(chuàng)新技術(shù)的發(fā)展離不開標(biāo)準(zhǔn)化的推動(dòng)，大模型標(biāo)準(zhǔn)體系的建設(shè)和完善，對(duì)于推動(dòng)大模型應(yīng)用落地，加速大模型與行業(yè)應(yīng)用融合，促進(jìn)產(chǎn)業(yè)向標(biāo)準(zhǔn)化、合規(guī)化、規(guī)?；较虬l(fā)展，具有重要意義。中國信息通信研究院聚焦基礎(chǔ)大模型在實(shí)際需求中的“建、用、管”等關(guān)鍵環(huán)節(jié)，從多個(gè)方向持續(xù)構(gòu)建和完善大模型的標(biāo)準(zhǔn)體系，聚焦模型化、能力化、工程化、產(chǎn)業(yè)化，圍繞模型開發(fā)、模型能力、模型運(yùn)營、模型應(yīng)用、安全可信五大方面形成標(biāo)準(zhǔn)指標(biāo)體系，全面評(píng)估大模型安全可信模型運(yùn)營模型應(yīng)用模型開發(fā)模型能力安全可信模型運(yùn)營模型應(yīng)用模型開發(fā)模型能力家居大模型工業(yè)大模型汽車大模型教育大模型傳媒大模型電信大模型政務(wù)大模型金融大模型文旅大模型家居大模型工業(yè)大模型汽車大模型教育大模型傳媒大模型電信大模型政務(wù)大模型金融大模型文旅大模型模型開發(fā)標(biāo)準(zhǔn)可解決數(shù)據(jù)開發(fā)過程中流程不清晰、權(quán)責(zé)不明確等問題。模型開發(fā)，從數(shù)據(jù)構(gòu)建開始、進(jìn)行模型訓(xùn)練、模型管理、模型部署四步的全流程體系。模型開發(fā)標(biāo)準(zhǔn)可用于指導(dǎo)第三方測評(píng)機(jī)構(gòu)模型開發(fā)標(biāo)準(zhǔn)內(nèi)容可圍繞數(shù)據(jù)管理、模型訓(xùn)練、模型管理、模型部署、開發(fā)流程一體化等能力域展開，其中數(shù)據(jù)構(gòu)建部分可包括數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)管理等能力子域；模型訓(xùn)練部分可包括訓(xùn)練方式、可視化、增量學(xué)習(xí)、資源優(yōu)化與調(diào)度、分布式訓(xùn)練等能力子域；模型管理可包括模型存儲(chǔ)、版本回溯、日志管理等能力子域；模型部署可包括模型微調(diào)、模型轉(zhuǎn)換、模型裁剪、模型蒸餾、模型量化等能力子域。根據(jù)各項(xiàng)能力子域可進(jìn)行具體細(xì)分至能力項(xiàng)，如模型微調(diào)可細(xì)分為微調(diào)方法豐富度、微調(diào)性能2、模型能力標(biāo)準(zhǔn)模型能力標(biāo)準(zhǔn)可解決如何評(píng)估模型功性能豐富度、優(yōu)越度等問題。語言理解能力、生成能力、邏輯推理能力等都為模型能力，為了更好評(píng)價(jià)不同模型在語義、視覺、語音、多模態(tài)等領(lǐng)域能力，可針對(duì)模型能力建立功性能評(píng)價(jià)指標(biāo)體系，指導(dǎo)評(píng)估機(jī)構(gòu)采用主觀和客觀指標(biāo)全面評(píng)測基礎(chǔ)大模型、領(lǐng)域大模模型能力標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)可圍繞功能豐富度、性能優(yōu)越度、服務(wù)成熟度三個(gè)維度全面評(píng)價(jià)大模型能度可包含服務(wù)穩(wěn)定性、服務(wù)魯棒性、服務(wù)開放程度、服務(wù)并發(fā)性等能力域。各項(xiàng)能力域可進(jìn)行具體細(xì)分至能力項(xiàng)，如智能語義可細(xì)分為是否覆蓋詞法分析、句法分析、語義消岐、機(jī)器翻譯、對(duì)話系統(tǒng)等能力25行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告26CPUGPUCPUGPU隨著大模型的快速興起，業(yè)界也意識(shí)到，創(chuàng)新技術(shù)的發(fā)展離不開標(biāo)準(zhǔn)化的推動(dòng)，大模型標(biāo)準(zhǔn)體系的建設(shè)和完善，對(duì)于推動(dòng)大模型應(yīng)用落地，加速大模型與行業(yè)應(yīng)用融合，促進(jìn)產(chǎn)業(yè)向標(biāo)準(zhǔn)化、合規(guī)化、規(guī)?；较虬l(fā)展，具有重要意義。中國信息通信研究院聚焦基礎(chǔ)大模型在實(shí)際需求中的“建、用、管”等關(guān)鍵環(huán)節(jié)，從多個(gè)方向持續(xù)構(gòu)建和完善大模型的標(biāo)準(zhǔn)體系，聚焦模型化、能力化、工程化、產(chǎn)業(yè)化，圍繞模型開發(fā)、模型能力、模型運(yùn)營、模型應(yīng)用、安全可信五大方面形成標(biāo)準(zhǔn)指標(biāo)體系，全面評(píng)估大模型安全可信模型運(yùn)營模型應(yīng)用模型開發(fā)模型能力安全可信模型運(yùn)營模型應(yīng)用模型開發(fā)模型能力家居大模型工業(yè)大模型汽車大模型教育大模型傳媒大模型電信大模型政務(wù)大模型金融大模型文旅大模型家居大模型工業(yè)大模型汽車大模型教育大模型傳媒大模型電信大模型政務(wù)大模型金融大模型文旅大模型模型開發(fā)標(biāo)準(zhǔn)可解決數(shù)據(jù)開發(fā)過程中流程不清晰、權(quán)責(zé)不明確等問題。模型開發(fā)，從數(shù)據(jù)構(gòu)建開始、進(jìn)行模型訓(xùn)練、模型管理、模型部署四步的全流程體系。模型開發(fā)標(biāo)準(zhǔn)可用于指導(dǎo)第三方測評(píng)機(jī)構(gòu)模型開發(fā)標(biāo)準(zhǔn)內(nèi)容可圍繞數(shù)據(jù)管理、模型訓(xùn)練、模型管理、模型部署、開發(fā)流程一體化等能力域展開，其中數(shù)據(jù)構(gòu)建部分可包括數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)管理等能力子域；模型訓(xùn)練部分可包括訓(xùn)練方式、可視化、增量學(xué)習(xí)、資源優(yōu)化與調(diào)度、分布式訓(xùn)練等能力子域；模型管理可包括模型存儲(chǔ)、版本回溯、日志管理等能力子域；模型部署可包括模型微調(diào)、模型轉(zhuǎn)換、模型裁剪、模型蒸餾、模型量化等能力子域。根據(jù)各項(xiàng)能力子域可進(jìn)行具體細(xì)分至能力項(xiàng)，如模型微調(diào)可細(xì)分為微調(diào)方法豐富度、微調(diào)性能2、模型能力標(biāo)準(zhǔn)模型能力標(biāo)準(zhǔn)可解決如何評(píng)估模型功性能豐富度、優(yōu)越度等問題。語言理解能力、生成能力、邏輯推理能力等都為模型能力，為了更好評(píng)價(jià)不同模型在語義、視覺、語音、多模態(tài)等領(lǐng)域能力，可針對(duì)模型能力建立功性能評(píng)價(jià)指標(biāo)體系，指導(dǎo)評(píng)估機(jī)構(gòu)采用主觀和客觀指標(biāo)全面評(píng)測基礎(chǔ)大模型、領(lǐng)域大模模型能力標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)可圍繞功能豐富度、性能優(yōu)越度、服務(wù)成熟度三個(gè)維度全面評(píng)價(jià)大模型能度可包含服務(wù)穩(wěn)定性、服務(wù)魯棒性、服務(wù)開放程度、服務(wù)并發(fā)性等能力域。各項(xiàng)能力域可進(jìn)行具體細(xì)分至能力項(xiàng)，如智能語義可細(xì)分為是否覆蓋詞法分析、句法分析、語義消岐、機(jī)器翻譯、對(duì)話系統(tǒng)等能力25行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告26OCROCR………………3、模型應(yīng)用標(biāo)準(zhǔn)模型應(yīng)用標(biāo)準(zhǔn)可解決模型應(yīng)用過程中工程化路徑不清晰、應(yīng)用靈活度、成熟度無法定性定量評(píng)估等問題。模型應(yīng)用，包括大模型開發(fā)、二次/多次開發(fā)、大模型應(yīng)用等環(huán)節(jié)。大模型應(yīng)用基于系統(tǒng)集成或API等賦能模式，結(jié)合精標(biāo)注的場景及任務(wù)數(shù)據(jù)，最終實(shí)現(xiàn)大模型在工業(yè)質(zhì)檢、電力巡檢等場景，語言、視覺、跨模態(tài)等任務(wù)中的落地應(yīng)用。目前，大模型工程化仍處于探索期，行業(yè)在工程化路徑方面達(dá)成初步共識(shí)，但是在產(chǎn)品形態(tài)、運(yùn)營服務(wù)等方面仍存在部分問題。為解決上述問題，可建立模型應(yīng)用標(biāo)準(zhǔn)指標(biāo)體系，用于指導(dǎo)第三方測評(píng)機(jī)構(gòu)對(duì)大標(biāo)準(zhǔn)指標(biāo)體系可主要規(guī)定大規(guī)模預(yù)訓(xùn)練模型在應(yīng)用階段的能力要求，可包括工程路徑、運(yùn)營管理、應(yīng)用與服務(wù)成熟度等核心環(huán)節(jié)。其中，工程路徑可圍繞大模型的落地方式及產(chǎn)品形態(tài)展開；運(yùn)營能力可圍繞應(yīng)用平臺(tái)的管理展開，可包括知識(shí)庫管理、平臺(tái)運(yùn)維管理、數(shù)據(jù)運(yùn)維管理等；管理能力可圍繞大模型落地的工具鏈完備度、工具的易用性、可靠性等內(nèi)容展開；應(yīng)用成熟度可圍繞效果優(yōu)越性、服務(wù)可靠性、服務(wù)配套性展開；服務(wù)能力可圍繞安全性、可靠性、計(jì)量準(zhǔn)確度等指標(biāo)進(jìn)行展開。其中應(yīng)用成熟度27行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告數(shù)據(jù)構(gòu)建模型訓(xùn)練模型管理模型管理無標(biāo)/粗標(biāo)通用數(shù)據(jù)基礎(chǔ)模型適量粗標(biāo)行業(yè)數(shù)據(jù)模型微調(diào)適量粗標(biāo)行業(yè)數(shù)據(jù)模型微調(diào)……少量精標(biāo)任務(wù)數(shù)據(jù)增量學(xué)習(xí)模型微調(diào)模型輕量化4、模型運(yùn)營標(biāo)準(zhǔn)模型運(yùn)營標(biāo)準(zhǔn)可解決模型運(yùn)營階段工具平臺(tái)能力無法評(píng)估，用戶無法選型等問題。大模型在工程化落地和運(yùn)營階段，模型運(yùn)營主要包括數(shù)據(jù)工程、模型調(diào)優(yōu)、模型交付、服務(wù)運(yùn)營、平臺(tái)能力等核心部分。為推動(dòng)模型的復(fù)用性，減少重復(fù)勞動(dòng)，提高開發(fā)效率，同時(shí)為企業(yè)落地選型提供參考，可針對(duì)模型運(yùn)營開展標(biāo)準(zhǔn)指標(biāo)體系的構(gòu)建，該指標(biāo)體系可用于指導(dǎo)產(chǎn)品方對(duì)標(biāo)完善其大模型平臺(tái)產(chǎn)品能力，也可為模型運(yùn)營標(biāo)準(zhǔn)指標(biāo)體系可以包括對(duì)海量多模態(tài)非結(jié)構(gòu)化數(shù)據(jù)的處理及數(shù)據(jù)生成能力、大模型在特定領(lǐng)域的調(diào)優(yōu)算法支持度及分布式并行計(jì)算的支持度、大模型壓縮及轉(zhuǎn)化以適應(yīng)邊端推理的部署及管理能力、服務(wù)發(fā)布及編排運(yùn)營能力、資源調(diào)度與插件生態(tài)。標(biāo)準(zhǔn)體系可圍繞大模型的數(shù)據(jù)、開發(fā)、交付、運(yùn)營、系統(tǒng)運(yùn)維、生態(tài)擴(kuò)展等全生命周期進(jìn)行統(tǒng)一標(biāo)注制定，以確保大模型從生產(chǎn)到落地應(yīng)用的全過程穩(wěn)行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告28OCROCR………………3、模型應(yīng)用標(biāo)準(zhǔn)模型應(yīng)用標(biāo)準(zhǔn)可解決模型應(yīng)用過程中工程化路徑不清晰、應(yīng)用靈活度、成熟度無法定性定量評(píng)估等問題。模型應(yīng)用，包括大模型開發(fā)、二次/多次開發(fā)、大模型應(yīng)用等環(huán)節(jié)。大模型應(yīng)用基于系統(tǒng)集成或API等賦能模式，結(jié)合精標(biāo)注的場景及任務(wù)數(shù)據(jù)，最終實(shí)現(xiàn)大模型在工業(yè)質(zhì)檢、電力巡檢等場景，語言、視覺、跨模態(tài)等任務(wù)中的落地應(yīng)用。目前，大模型工程化仍處于探索期，行業(yè)在工程化路徑方面達(dá)成初步共識(shí)，但是在產(chǎn)品形態(tài)、運(yùn)營服務(wù)等方面仍存在部分問題。為解決上述問題，可建立模型應(yīng)用標(biāo)準(zhǔn)指標(biāo)體系，用于指導(dǎo)第三方測評(píng)機(jī)構(gòu)對(duì)大標(biāo)準(zhǔn)指標(biāo)體系可主要規(guī)定大規(guī)模預(yù)訓(xùn)練模型在應(yīng)用階段的能力要求，可包括工程路徑、運(yùn)營管理、應(yīng)用與服務(wù)成熟度等核心環(huán)節(jié)。其中，工程路徑可圍繞大模型的落地方式及產(chǎn)品形態(tài)展開；運(yùn)營能力可圍繞應(yīng)用平臺(tái)的管理展開，可包括知識(shí)庫管理、平臺(tái)運(yùn)維管理、數(shù)據(jù)運(yùn)維管理等；管理能力可圍繞大模型落地的工具鏈完備度、工具的易用性、可靠性等內(nèi)容展開；應(yīng)用成熟度可圍繞效果優(yōu)越性、服務(wù)可靠性、服務(wù)配套性展開；服務(wù)能力可圍繞安全性、可靠性、計(jì)量準(zhǔn)確度等指標(biāo)進(jìn)行展開。其中應(yīng)用成熟度27行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告數(shù)據(jù)構(gòu)建模型訓(xùn)練模型管理模型管理無標(biāo)/粗標(biāo)通用數(shù)據(jù)基礎(chǔ)模型適量粗標(biāo)行業(yè)數(shù)據(jù)模型微調(diào)適量粗標(biāo)行業(yè)數(shù)據(jù)模型微調(diào)……少量精標(biāo)任務(wù)數(shù)據(jù)增量學(xué)習(xí)模型微調(diào)模型輕量化4、模型運(yùn)營標(biāo)準(zhǔn)模型運(yùn)營標(biāo)準(zhǔn)可解決模型運(yùn)營階段工具平臺(tái)能力無法評(píng)估，用戶