中國(guó)信通院-行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告

II騰訊云計(jì)算(北京)有限責(zé)任公司液冷GPU服務(wù)器液冷GPU工作站自動(dòng)駕駛輔助平臺(tái)智能相機(jī)算法平臺(tái)機(jī)器學(xué)習(xí)分析平臺(tái)異構(gòu)資源管理調(diào)度平臺(tái)推薦序帶來更多的幫助?！薄v訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群果。愿本次研究成果，助力大模型產(chǎn)業(yè)發(fā)展和生態(tài)建設(shè)?！薄v訊法務(wù)副總裁江波行業(yè)大模型標(biāo)準(zhǔn)體系及能力架構(gòu)研究報(bào)告版權(quán)聲明V編委會(huì)吳運(yùn)聲、魏凱、王麒、吳永堅(jiān)、徐炎、江波、楊鵬、徐櫻丹、張孫星、曹峰、黃晶瑩、李蓀、侯方、韓旭、李牧青、王萍、黃小明、梁小龍、王川南、尹迪、趙登梧、胡哲雁翔、戚蘊(yùn)、汪凱峰、葉國(guó)宇、周為洲、韓利明、嚴(yán)敏、胡純、李建慧、蔣增增、王永霞、武楊、鄭劍鋒、倪平、李克鵬、劉震宇周威、王成、程力鑫、周軍軍、趙紫良、方海璇前言 1 3 6 第二章行業(yè)大模型構(gòu)建路線圖，指導(dǎo)企業(yè)建設(shè)大模 20 22 24 28 33 33 34 35 36 37 38 39 40 1第一章行業(yè)大模型開啟產(chǎn)業(yè)升級(jí)的“黃金時(shí)代”隨著ChatGPT（ChatGenerativePr2模型均利用Transformer架構(gòu)搭建。近期，Google發(fā)布的通才模型34行業(yè)用戶利用MaaS構(gòu)建專屬的行MaaS通常內(nèi)置了行業(yè)大模型和工具箱，配套標(biāo)準(zhǔn)第一，MaaS可以通過基礎(chǔ)行業(yè)大模型、定制場(chǎng)景大模型、模型5第二，MaaS可以提供公有云的部署流程、私有化的部署流程，6789第二章行業(yè)大模型構(gòu)建路線圖，指導(dǎo)企業(yè)建設(shè)大模型能力（1）業(yè)務(wù)數(shù)據(jù)：明確需要處理的數(shù)據(jù)模態(tài)。不同的數(shù)據(jù)模型影（2）業(yè)務(wù)指標(biāo)：將業(yè)務(wù)需求初步細(xì)化為多個(gè)子任務(wù)，明確各子（3）業(yè)務(wù)服務(wù)方式：明確行業(yè)用戶需要的服務(wù)方式。服務(wù)方式算力層評(píng)估主要是確定行業(yè)大模型在實(shí)際訓(xùn)練和部署中需要使（1）模型訓(xùn)練算力評(píng)估，以通用單卡芯片為例，計(jì)算能力可達(dá)（1）對(duì)象存儲(chǔ)COS（CloudObjectSt），載數(shù)據(jù)到訓(xùn)練機(jī)器本地，讀寫速度可以超過0.42GB/s，若采用COS+GooseFS存儲(chǔ)方案，可以提供基于對(duì)象存儲(chǔ)的多層緩存加速，當(dāng)訓(xùn)練數(shù)據(jù)大于50GB時(shí)，行業(yè)用戶可采用COS+GooseFS或CFS性能的網(wǎng)絡(luò)支持，通常需要至少支持RDMA100G的網(wǎng)絡(luò)。RDMA經(jīng)可以實(shí)現(xiàn)RDMA路由在第三層以太網(wǎng)絡(luò)中傳輸，可以支持高性能包括有監(jiān)督的參數(shù)精調(diào)（SFT）或參數(shù)高效精調(diào)（Parameter-Efficient模型建設(shè)需要400—500萬條數(shù)據(jù)，根據(jù)不同的場(chǎng)景可以有一定的浮經(jīng)過標(biāo)注的數(shù)據(jù)，數(shù)據(jù)格式可以為json或Query格式。確定平臺(tái)適配性和訓(xùn)練流程。通常模型訓(xùn)練平臺(tái)具有從數(shù)據(jù)預(yù)處理、（1）模型訓(xùn)練平臺(tái)是否包含需要的基礎(chǔ)大模型或基礎(chǔ)行業(yè)大模（2）數(shù)據(jù)標(biāo)注平臺(tái)是否可以提供數(shù)據(jù)標(biāo)注作業(yè)、場(chǎng)景數(shù)據(jù)挖掘（3）訓(xùn)練和部署加速庫(kù)是否具有加速組件，相應(yīng)加速組件會(huì)有（4）數(shù)據(jù)應(yīng)用平臺(tái)是否支持快速接入模型、數(shù)據(jù)和智能設(shè)備，（5）部署兼容性，行業(yè)用戶需要評(píng)估希望部署的平臺(tái)與行業(yè)大（6）模型加密，行業(yè)用戶需要確認(rèn)是否需要針對(duì)內(nèi)置的模型加目標(biāo)主要為風(fēng)險(xiǎn)預(yù)警精確率、召回率、F1值等；在客服顧問場(chǎng)景，果行業(yè)用戶的場(chǎng)景目標(biāo)為智能客服領(lǐng)域，模型應(yīng)選擇NLP大模型。CV大模型主要用于機(jī)器視覺，CV大模型可以在圖多模態(tài)大模型主要用于跨模態(tài)場(chǎng)景，其相較于NLP類大模型，的整體效率。模型訓(xùn)練平臺(tái)會(huì)預(yù)置多種AI2021證集可以用于模型超參數(shù)（hyper-parameter）的調(diào)整，以及過模型訓(xùn)練應(yīng)采用分布式并行訓(xùn)練技術(shù)，在訓(xùn)練過程中使用GPU模型并行是指在多個(gè)設(shè)備上切分模型參數(shù)到各個(gè)GPU，每個(gè)設(shè)備輸2223參數(shù)高效精調(diào)（PEFT）一般針對(duì)特定的參數(shù)進(jìn)行有效微調(diào)。常用的參數(shù)高效精調(diào)技術(shù)，包括模型蒸餾（distillation）、適配器訓(xùn)練目前在行業(yè)大模型精調(diào)中，參數(shù)高效精調(diào)（PEFT）的主流方法24保證參數(shù)高效，通過加入到更深層結(jié)構(gòu)中的Prompt能給模型預(yù)測(cè)帶許更多的每個(gè)任務(wù)容量，而它仍比原預(yù)訓(xùn)練語言模型會(huì)小得多。25對(duì)于NLP類型大模型而言，其評(píng)估維度可以包括功能覆蓋度、確率、召回率、F1值等，必要時(shí)需要引入人工進(jìn)行主觀判斷，以保功能。性能評(píng)估可以通過準(zhǔn)確率、召回率、F1值、命中率、平均交262728第三章大模型標(biāo)準(zhǔn)體系先行，全面建立能力指標(biāo)體系293031323334顧、文檔處理、知識(shí)管理、客服等通用場(chǎng)景3536373839學(xué)科的支持度和對(duì)知識(shí)問答、教學(xué)輔助、學(xué)習(xí)輔導(dǎo)等場(chǎng)景的支持度，課程大綱、教學(xué)方案、個(gè)人學(xué)習(xí)計(jì)劃等能力項(xiàng)。能力指標(biāo)可從記憶、服務(wù)方式、交互形式等，服務(wù)穩(wěn)定可考察教育4041全隱私和系統(tǒng)成熟兩個(gè)能力子域展開，安全隱私性可4243第四章行業(yè)大模型應(yīng)用“百花齊放”，價(jià)值不斷釋放4445）；46473—4個(gè)關(guān)鍵詞；指定字?jǐn)?shù)的內(nèi)容摘要，正文陳述新聞內(nèi)容。智能摘4849第五章行業(yè)大模型“千行百業(yè)”落地，驅(qū)動(dòng)AI原生應(yīng)用發(fā)展轉(zhuǎn)變?yōu)樾酒?、框架、模型、?yīng)用四層架構(gòu)。近期，國(guó)內(nèi)企業(yè)