體系化人工智能技術(shù)（Holistic+AI）技術(shù)探索-1

體系化人工智能(HolisticAI)技術(shù)探索中國(guó)移動(dòng)研究院張世磊2023.11.24GPT-3大模型訓(xùn)練成本費(fèi)用成本時(shí)間成本GPT-3大模型訓(xùn)練成本費(fèi)用成本時(shí)間成本典型AI商用定制化項(xiàng)目成本構(gòu)成定制化研發(fā)售后運(yùn)維售前解決方案數(shù)據(jù)采集合同驗(yàn)收18009000日趨泛在的智能化需求和智能化技術(shù)賦能成本高之間的矛盾日趨泛在的智能化需求智能化技術(shù)賦能成本高20192022人工智能的應(yīng)用弱人工智能強(qiáng)人工智能需求復(fù)雜、迭代優(yōu)化、運(yùn)營(yíng)成本數(shù)據(jù)成本、算法成本算力成本、人才成本提供技術(shù)基礎(chǔ)性能降成本自動(dòng)化提高定制化任務(wù)性能神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索LLM使能的自主智能體自動(dòng)機(jī)器學(xué)習(xí)LLM使能的自主智能體自動(dòng)機(jī)器學(xué)習(xí)ASurveyonLargeLanguageModelbasedAutonomousAgents單模型的通用化基于AI任務(wù)的自動(dòng)化選擇環(huán)境，培育環(huán)境共性能力：合理評(píng)估AI能力的可達(dá)性，構(gòu)建可達(dá)的共性AI能力平臺(tái)化：平臺(tái)化：實(shí)用便捷的工具，運(yùn)營(yíng)運(yùn)維業(yè)務(wù)本身是規(guī)?；模嚎蛻粢?guī)模，經(jīng)濟(jì)規(guī)模規(guī)?；瘧?yīng)用個(gè)10086智能客服-服務(wù)10+億客戶-問題一次解決率94.2%大屏數(shù)字內(nèi)容推薦-服務(wù)家庭7600+萬(wàn)戶-觀看率提升42%-單省收入賦能7000+萬(wàn)甘肅智能客服-服務(wù)2500萬(wàn)甘肅百姓-6000萬(wàn)關(guān)系政務(wù)知識(shí)圖譜智能基站節(jié)電-單站節(jié)電量提升8%-10%智慧黨建-知識(shí)檢索效率提升90%核心能力自然語(yǔ)言理解通用能力網(wǎng)絡(luò)智能化能力簇322核心能力自然語(yǔ)言理解通用能力網(wǎng)絡(luò)智能化能力簇智能語(yǔ)音智能推薦機(jī)器視覺智能數(shù)據(jù)分析預(yù)測(cè)智能診斷智能決策智能控制智能智能語(yǔ)音智能推薦機(jī)器視覺智能數(shù)據(jù)分析預(yù)測(cè)智能診斷智能決策智能控制智能CHBN賦能價(jià)值57服務(wù)外部客戶服務(wù)內(nèi)部客戶服務(wù)外部客戶云端能力云端能力調(diào)用次數(shù)調(diào)用次數(shù)賦能價(jià)值服務(wù)客戶物聯(lián)網(wǎng)模型...醫(yī)療模型能源模型客服模型...司法模型...物聯(lián)網(wǎng)模型...醫(yī)療模型能源模型客服模型...司法模型...網(wǎng)絡(luò)模型衍生語(yǔ)言大模型視覺大模型語(yǔ)音大模型結(jié)構(gòu)化數(shù)據(jù)大模型多模態(tài)大模型基礎(chǔ)大模型：加快構(gòu)建適用于泛場(chǎng)景的自主可控通用基礎(chǔ)大模型，打造通用智能底座行業(yè)大模型：聚焦供給側(cè)，加快構(gòu)建行業(yè)大模型，加速國(guó)民經(jīng)濟(jì)主體行業(yè)的智能化轉(zhuǎn)型升級(jí)，促進(jìn)我國(guó)整體生產(chǎn)力躍升L1行業(yè)大模型L0基礎(chǔ)大模型行業(yè)智能化應(yīng)用行業(yè)智能化應(yīng)用支撐支撐通信特色民生服務(wù)通信特色民生服務(wù)工業(yè)生產(chǎn)交通模型...政務(wù)模型治理基于體系化人工基于體系化人工智能的智力運(yùn)營(yíng)數(shù)據(jù)數(shù)據(jù)評(píng)測(cè)大小模型網(wǎng)絡(luò)基礎(chǔ)數(shù)據(jù)基礎(chǔ)算力基礎(chǔ)性能評(píng)測(cè)安全評(píng)測(cè)以九天基礎(chǔ)模型為基礎(chǔ)，聯(lián)合通信、能源、航空等行業(yè)的骨干企業(yè)，共建共享九天·眾擎基座大模型航航空九天基礎(chǔ)模型人工智能訓(xùn)推技術(shù)服務(wù)平臺(tái)測(cè)評(píng)系統(tǒng)交通運(yùn)輸政務(wù)建筑能源通信冶金算力網(wǎng)絡(luò)算力網(wǎng)絡(luò)大規(guī)模智算中心數(shù)據(jù)匯聚平臺(tái)網(wǎng)絡(luò)問題投訴級(jí)聯(lián)優(yōu)化網(wǎng)絡(luò)問題投訴級(jí)聯(lián)優(yōu)化通常需要在滿足計(jì)算、傳輸、安全、可控性等多項(xiàng)約束前提下，組合使用多個(gè)模型或能力，包括基礎(chǔ)模型、行業(yè)模型或面向特定任務(wù)的小模型，并能夠端到端優(yōu)化服務(wù)于業(yè)務(wù)目標(biāo)泛AI算力云/網(wǎng)/邊/端/…業(yè)務(wù)大閉環(huán)AI能力大閉環(huán)網(wǎng)絡(luò)原生 可信原子化體系化AIOS泛AI算力云/網(wǎng)/邊/端/…業(yè)務(wù)大閉環(huán)AI能力大閉環(huán)網(wǎng)絡(luò)原生 可信原子化體系化AIOS體系化人工智能（HolisticAI，HAI）是中國(guó)移動(dòng)研究院九天團(tuán)隊(duì)原創(chuàng)技術(shù)的攻關(guān)方向，依托泛在的網(wǎng)絡(luò)和AI算力，在開放環(huán)境中實(shí)現(xiàn)對(duì)AI能力進(jìn)行靈活且高效的配置、調(diào)度、訓(xùn)練和部署，以滿足日益豐富的數(shù)智化業(yè)務(wù)需求，同時(shí)確保AI業(yè)務(wù)可信可控安全，其主要特征為AI服務(wù)大閉環(huán)、AI能力原子化重構(gòu)、網(wǎng)絡(luò)原生AI及安全可信AI。泛在網(wǎng)絡(luò)資源提供方1、“大閉環(huán)”（1、“大閉環(huán)”（BigLoopAI）“大閉環(huán)”AI以業(yè)務(wù)端到端的大閉環(huán)優(yōu)化為目標(biāo)，重點(diǎn)攻關(guān)多能力級(jí)聯(lián)與并聯(lián)優(yōu)化、開放動(dòng)態(tài)環(huán)境中AI能力優(yōu)化的基礎(chǔ)理論和技術(shù)，從而達(dá)到AI產(chǎn)業(yè)閉環(huán)。2、2、AI技術(shù)原子化重構(gòu)（AtomizedAI）AI能力依據(jù)高復(fù)用、易調(diào)度、自閉環(huán)、易適配等原則進(jìn)行原子化拆解和重構(gòu)。一個(gè)典型的原子化AI能力包含通用智能層、適配層、接口層，通用智能層可多個(gè)能力共享。AI原子化重構(gòu)是體系化人工智能得以實(shí)現(xiàn)的基礎(chǔ)。3、3、網(wǎng)絡(luò)原生（NetworkNativeAI）網(wǎng)絡(luò)原生AI將AI能力與算力通過標(biāo)準(zhǔn)化的方式接入網(wǎng)絡(luò)、按需調(diào)度，重點(diǎn)攻關(guān)AI模型自動(dòng)伸縮的理論和機(jī)制，制定AI計(jì)算資源、數(shù)據(jù)、模型、能力、服務(wù)的功能、流程、接口和計(jì)量的標(biāo)準(zhǔn)，實(shí)現(xiàn)AI能力在網(wǎng)云邊端彈性部署、計(jì)算和迭代。4、安全可信（4、安全可信（TrustedAI）AI數(shù)據(jù)、模型、能力、業(yè)務(wù)的安全可信是體系化人工智能服務(wù)的重要基礎(chǔ)，重點(diǎn)攻關(guān)AI服務(wù)可追溯、可互信、可審計(jì)、抗攻擊的基礎(chǔ)理論與方法?？勺匪?、可計(jì)量HAIprotocol注冊(cè)需求動(dòng)態(tài)測(cè)量評(píng)估模型類1模型類n場(chǎng)景類1場(chǎng)景類n場(chǎng)景類N需求1需求n 需求N功能區(qū)原子能力區(qū)行業(yè)區(qū)任務(wù)區(qū)模型類N 可追溯、可計(jì)量HAIprotocol注冊(cè)需求動(dòng)態(tài)測(cè)量評(píng)估模型類1模型類n場(chǎng)景類1場(chǎng)景類n場(chǎng)景類N需求1需求n 需求N功能區(qū)原子能力區(qū)行業(yè)區(qū)任務(wù)區(qū)模型類N 服務(wù)計(jì)量、評(píng)估、回收分層次多粒度的原子AI能力市場(chǎng)maxf(D,M,A,P,0,E,S,F,U,T)s.t.c(D,M,P,0,E,S,F,U,T)≤Cf是一個(gè)復(fù)雜的函數(shù)，表示體系化人工智能的內(nèi)部邏輯和流程。真實(shí)場(chǎng)景數(shù)據(jù)漂移集F={f1,f2,…,fn}，每個(gè)漂移fi都有一個(gè)類型xi∈{0,1,2,…,x},表示協(xié)變量漂移、先驗(yàn)漂移和概念漂移等。數(shù)據(jù)傳輸?shù)难莼录疷={u1,u2,…,uk}，每個(gè)更新ui都有一個(gè)方法yj∈用戶需求服務(wù)集T={t1,t2,…,tz}，表示用戶提出動(dòng)態(tài)的需求和任考慮體系化人工智能的內(nèi)部流程和邏輯，進(jìn)一步可以將f分解為以下幾個(gè)子函數(shù)：maxf(g,?,i,j,k,?,o)s.t.c(g,?,i,j,k,?,o)≤C端到端跨模態(tài)異構(gòu)數(shù)據(jù)建模：g(D,M)；模型學(xué)習(xí)機(jī)理的優(yōu)化建模：?(D,M,P,U)；模型的原子化表征和建模：i(M,E)；模型的標(biāo)準(zhǔn)規(guī)范入庫(kù)：j(M,S)；數(shù)據(jù)漂移的優(yōu)化建模：k(D,P,F,；模型數(shù)據(jù)傳輸?shù)难莼拢?(M,F,U)；應(yīng)用環(huán)境的約束條件?；A(chǔ)模型的功能解耦üAutomaticMaskPruning(AMP):automaticallyidentifytask-specificfilters/nodesfordifferenttasksinthepre-trainedmodel.üapplytheLogExpectedEmpiricalPrediction(LEEP)whichisusedtoevaluatethetransferabilityofrepresentationslearnedbythesourcetasktothetargettask.üScalableMaskSelectionPruning(SMSP):fast-adaptthepre-trainedmodeltodownstreamtasks.One-ShotPruningforFast-adaptingPre-trainedModelsonDevices,HaiyanZhaoandGuodongLong，arXiv:2307.04365v1DecoupleoneModelintoAtomizednetworks?知識(shí)分解：包含結(jié)構(gòu)分解和表征分解?每個(gè)因子網(wǎng)絡(luò)包含兩部分：通用知識(shí)網(wǎng)絡(luò)（CKN）和特定任務(wù)網(wǎng)絡(luò)（TSN）?一種新的信息衡量指標(biāo)-InfoMaxBottleneck(IMB)，使輸入和通用特征間互信息最大（最大限度保留大模型的通用知識(shí)使不同特定任務(wù)特征間互信息最?。ㄊ固囟ㄈ蝿?wù)網(wǎng)絡(luò)之間盡可能解耦）。模型蒸餾?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum基礎(chǔ)模型的功能蒸餾PredictedEmbedding?4PredictedEmbedding?4<EOS><EOS>Embeddingfflayerlayer1layer2layer3layer4(a)Distillation(b)Downstream:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023基礎(chǔ)模型的功能蒸餾Two-dimensionalAttentionMechanism：DistillationLoss:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023搜索空間巨大：層級(jí)搜索、免訓(xùn)練（trainingfree）端到端閉環(huán)數(shù)據(jù)稀疏：無監(jiān)督參數(shù)量和內(nèi)存消耗大：適配器、蒸餾、剪枝接口復(fù)雜：維度一致、梯度連續(xù)端到端閉環(huán)數(shù)據(jù)稀疏參數(shù)量大FuseMultipleModelsintoonetargetmodel?多個(gè)神經(jīng)元網(wǎng)絡(luò)層形成一個(gè)功能塊?功能相似網(wǎng)絡(luò)：輸入相似時(shí)，輸出相似?將一個(gè)網(wǎng)絡(luò)分成多個(gè)功能塊，相似的功能塊形成一個(gè)集合，這個(gè)集合稱為：等同網(wǎng)絡(luò)塊集合"DeepModelReassembly",XingyiYang,etc.NeurIPS2022StitchMultipleBigModelsintoonetargetmodelASRNLUASRNLU網(wǎng)絡(luò)問題投訴級(jí)聯(lián)優(yōu)化語(yǔ)音識(shí)別+自然語(yǔ)言理解級(jí)聯(lián)優(yōu)化【12】InterfacesInterfacesFuseMultipleModelsintoonetargetmodel"CascadedMulti-taskAdaptiveLearningBasedonNeuralArchitectureSearch",Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Interspeech2023++Cancadethreemodels-speechenhancement,ASR，NLU-withBottleneckAdapterVisionDecodervisionpatchtokensMaskedSelf/Cross-At