2024年面向AI大模型的網(wǎng)絡(luò)使能技術(shù)白皮書-6GANA

面向AI大模型的網(wǎng)絡(luò)使能技術(shù) （一）發(fā)展歷程 （二）發(fā)展趨勢(shì) （一）數(shù)據(jù)感知服務(wù) （二）分布式訓(xùn)練服務(wù) （三）指令優(yōu)化服務(wù) （四）端邊云協(xié)同推理服務(wù) （五）模型優(yōu)化服務(wù) 摘要隨著大模型和智能體（Artificialintelligenceagent,AIagent）技術(shù)的另一方面，未來第六代移動(dòng)通信（Sixgeneration,6G）網(wǎng)絡(luò)存在大量低時(shí)延必然。本文介紹了大模型時(shí)代下網(wǎng)絡(luò)使能人工智能（Artificialintelligence,AI）技術(shù)的需求和驅(qū)動(dòng)力，詳細(xì)闡述了未來6G網(wǎng)絡(luò)能為大模型提供的AI服務(wù)，包一、AI大模型發(fā)展概述（一）發(fā)展歷程高算力和強(qiáng)算法等關(guān)鍵技術(shù)的共同推動(dòng)下，以ChatGPT為代表的AI大模型大了人們的工作和生活方式，實(shí)現(xiàn)了AI技術(shù)從“量變”到“質(zhì)變”的跨越。AI大模型是指擁有超大規(guī)模參數(shù)、超強(qiáng)計(jì)算資源的機(jī)器學(xué)習(xí)模型，能夠處理海量數(shù)據(jù)，并完成各種復(fù)雜任務(wù)。AI大模型的發(fā)展可以追溯到20世紀(jì)50年架構(gòu)，模型的性能不斷提升。總的來說，AI大模型的發(fā)展歷程主要可以分為四圖1.AI大模型的發(fā)展歷程?傳統(tǒng)模型（1950-1980在AI發(fā)展的早期，傳統(tǒng)模型主要依賴于簡單?神經(jīng)網(wǎng)絡(luò)模型（1980-20171980年，卷積神經(jīng)網(wǎng)絡(luò)的雛形CNN誕生。2000年代初期，有學(xué)者開始研究神經(jīng)網(wǎng)絡(luò)模型，開始模仿人腦進(jìn)行大量數(shù)?Transformer模型（2017-20182017年，Google顛覆性地提出了基于自注意力機(jī)制的Transformer架構(gòu)，奠定了大模型預(yù)訓(xùn)練算法架構(gòu)的基礎(chǔ)。2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，使得NLP?現(xiàn)代AI大模型（2018至今2022年，聊天機(jī)器人ChatGPT橫空出世，迅速引爆互聯(lián)網(wǎng)。此后發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4，再次引發(fā)了生1.多模態(tài)能力提升，應(yīng)用場(chǎng)景范圍擴(kuò)大2.模型輕量化部署，資源需求成本降低在AI技術(shù)快速發(fā)展的當(dāng)下，智能手機(jī)等移動(dòng)設(shè)備在人機(jī)交互、語音交流等3.外部工具相結(jié)合，交互方式更加智能部工具調(diào)用、記憶和規(guī)劃功能的AI大模型，可以被視為智能代理（Age二、網(wǎng)絡(luò)使能大模型的需求和驅(qū)動(dòng)力（一）未來6G網(wǎng)絡(luò)的通算智融合趨勢(shì)這一AI服務(wù)基礎(chǔ)設(shè)施進(jìn)行支持。而隨著大模型技術(shù)在上述場(chǎng)景中的深入應(yīng)用，終端對(duì)于網(wǎng)絡(luò)側(cè)算力和數(shù)據(jù)資源支撐的需求將成6G通信網(wǎng)絡(luò)的新能力和新服務(wù)，實(shí)現(xiàn)AI即服務(wù)(AIasaservice，AIaaS)。這要求6G網(wǎng)絡(luò)能夠隨時(shí)隨地提供AI服務(wù)、支持低時(shí)延的推理和訓(xùn)練服務(wù)、支持移動(dòng)式AI、保障AI服務(wù)質(zhì)量、提供安全隱私保護(hù)。1.AI手機(jī)應(yīng)時(shí)延通常在1秒之內(nèi)，讓用戶感受到即時(shí)的互動(dòng)體驗(yàn)。而圖像類功能包括文參數(shù)量通常不超過10B，這種部署方式可以更好地保護(hù)用戶隱私，同時(shí)降低對(duì)表1.各廠商大模型手機(jī)調(diào)研信息大模型功能大模型性能參數(shù)量部署位置vivo[1]-智能問答-文本創(chuàng)作-文本總結(jié)-邏輯推理-智能問答首詞響應(yīng)1s-文本總結(jié)首詞響應(yīng)ms級(jí)1B/7B端側(cè)70B/130B/175B云端OPPO[2]-智能問答-通話摘要-文本總結(jié)-圖像消除-文生圖-智能問答首字響應(yīng)0.2s-512*512生圖時(shí)長6s7B端側(cè)70B/180B云端榮耀[3]-智慧成片-一語查圖暫無公布數(shù)據(jù)7B端側(cè)小米[4]-智能問答-文生圖-圖片問答-圖像消除/擴(kuò)圖暫無公布數(shù)據(jù)暫無公布數(shù)據(jù)暫無公布數(shù)據(jù)蘋果[5]-智能問答-文本摘要-重要消息置頂-文生圖-圖像消除-跨應(yīng)用操作暫無公布數(shù)據(jù)暫無公布數(shù)據(jù)端側(cè)云端圖2.6G網(wǎng)絡(luò)賦能大模型終端推理場(chǎng)景和數(shù)據(jù)使能3種場(chǎng)景。考慮到目前手機(jī)大模型中文生圖的時(shí)延較長的痛點(diǎn)，價(jià)圖3.6G網(wǎng)絡(luò)賦能大模型云端推理場(chǎng)景如圖3所示，6G網(wǎng)絡(luò)使能云端推理也可以包括算力使能、數(shù)據(jù)使能以及算展到分布式網(wǎng)絡(luò)節(jié)點(diǎn)/基站環(huán)境中，使數(shù)據(jù)和應(yīng)用程序可以更靠近車輛，提供快在中央網(wǎng)絡(luò)節(jié)點(diǎn)/云端進(jìn)行大規(guī)模模型訓(xùn)練和全局優(yōu)化，利用大數(shù)據(jù)提升模型的3.智能醫(yī)療4.工業(yè)4.05.工業(yè)元宇宙系統(tǒng)與物理世界緊密互動(dòng)，優(yōu)化資源分配，最終實(shí)現(xiàn)更高效工單一的大模型往往難以全面覆蓋所有工業(yè)元宇宙場(chǎng)景需求，需要AI大模型中的不足，形成一個(gè)多功能的、全覆蓋的AI使能的工業(yè)元宇宙系統(tǒng)，適應(yīng)更加三、網(wǎng)絡(luò)使能大模型服務(wù)表2.網(wǎng)絡(luò)使能大模型服務(wù)和一般AI模型服務(wù)的對(duì)比對(duì)比項(xiàng)網(wǎng)絡(luò)使能大模型服務(wù)一般AI模型服務(wù)需求帶寬處理的數(shù)據(jù)量更大，有更高的帶寬需求：數(shù)據(jù)傳輸量相對(duì)較小，帶寬需求較低實(shí)時(shí)性具有超低延遲的應(yīng)用需求，在自動(dòng)駕駛、實(shí)時(shí)視頻處理等場(chǎng)景中，低延遲是關(guān)鍵多數(shù)場(chǎng)景對(duì)實(shí)時(shí)性的要求較低，相對(duì)較高的延遲容忍性能力大帶寬提供更大傳輸帶寬現(xiàn)有資源帶寬難以提升低延遲利用6G網(wǎng)絡(luò)的高帶寬和低延遲，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)傳輸和處理，支持實(shí)時(shí)分析和決策主要依賴固定網(wǎng)絡(luò)基礎(chǔ)設(shè)施，數(shù)據(jù)傳輸和處理的實(shí)時(shí)性較低動(dòng)態(tài)調(diào)度利用智能調(diào)度系統(tǒng)，動(dòng)態(tài)調(diào)整計(jì)算資源和任務(wù)分配計(jì)算資源分配相對(duì)固定，難以動(dòng)態(tài)調(diào)整和優(yōu)化分布訓(xùn)練廣泛使用分布式數(shù)據(jù)并行和模型并行技術(shù)通常在單個(gè)計(jì)算節(jié)點(diǎn)上完成訓(xùn)練和推理邊緣計(jì)算充分利用邊緣計(jì)算能力，提高實(shí)時(shí)性和響應(yīng)速度，減輕云端壓力邊緣計(jì)算支持較少，主要依賴云端進(jìn)行數(shù)據(jù)處理和模型訓(xùn)練（一）數(shù)據(jù)感知服務(wù)1.分布式機(jī)器學(xué)習(xí)理論TB甚至PB級(jí)別，這種規(guī)模的數(shù)據(jù)量遠(yuǎn)超傳統(tǒng)數(shù)據(jù)處器學(xué)習(xí)不能適應(yīng)當(dāng)前環(huán)境的主要因素。大規(guī)模數(shù)據(jù)量和計(jì)算量的任務(wù)分布式地部署到多臺(tái)機(jī)器上，其核心思想是“分而治之”，即將數(shù)據(jù)集或是計(jì)算任務(wù)分解成多個(gè)小數(shù)據(jù)集或計(jì)算的計(jì)算節(jié)點(diǎn)上處理，有效提高了大規(guī)模數(shù)據(jù)計(jì)算的的硬件資源和計(jì)算資源去解決復(fù)雜的梯度計(jì)算，顯著降低了能源和分布式機(jī)器學(xué)習(xí)分為面向擴(kuò)展性的分布式機(jī)器學(xué)習(xí)和面向隱私保護(hù)的分布1）面向擴(kuò)展性的分布式機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)為代表的神經(jīng)網(wǎng)絡(luò)使用大量訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè)參數(shù)為千萬量級(jí)甚至上2）面向隱私保護(hù)的分布式機(jī)器學(xué)習(xí)向隱私保護(hù)的DML適用于具有縱向劃分目前來看，其實(shí)不必糾結(jié)于面向隱私保護(hù)的DML適2.分布式機(jī)器學(xué)習(xí)平臺(tái)和算法設(shè)計(jì)分布式機(jī)器學(xué)習(xí)的主要研究方向包括分布式機(jī)器平臺(tái)研究和分布式機(jī)器學(xué)分布式機(jī)器學(xué)習(xí)的算法主要包括服務(wù)器如何將計(jì)算任務(wù)分配給每一個(gè)計(jì)算式機(jī)器學(xué)習(xí)算法，并且具有優(yōu)異性能的分布式1）分布式機(jī)器學(xué)習(xí)平臺(tái)分布式機(jī)器學(xué)習(xí)平臺(tái)研究起步的時(shí)間實(shí)際上較早。2005年，Apache實(shí)現(xiàn)了Hadoop分布式系統(tǒng)的基礎(chǔ)架構(gòu)。在經(jīng)過接近20年的發(fā)展后，出現(xiàn)了大量(1)基于數(shù)據(jù)流模型了處理效率。此外，數(shù)據(jù)流模型使得分布式機(jī)器學(xué)習(xí)不僅在物理上是一個(gè)“分而Spark是一個(gè)具有代表性的基于數(shù)據(jù)流模型的分布式處理系統(tǒng)，雖然它主據(jù)處理的熟讀，尤其適用于機(jī)器學(xué)習(xí)這樣的迭代計(jì)2010年，Google的研究人員最早提出關(guān)于參數(shù)服務(wù)器的概念，Google在2012年發(fā)布了一個(gè)為大規(guī)模分布式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的框架，即DistBelief，它也是Tensorflow的前身?；趨?shù)服務(wù)器的分布式機(jī)器學(xué)習(xí)平臺(tái)的主要組成部分包括參數(shù)服務(wù)器和流圖后，使用參數(shù)服務(wù)器進(jìn)行任務(wù)調(diào)度，使用工作節(jié)點(diǎn)進(jìn)行計(jì)算任（3）基于混合模型混合模型的代表分布式機(jī)器學(xué)習(xí)處理系統(tǒng)主要有TensorFlow和PyTorch，GoogleBrain的團(tuán)隊(duì)在DisBelief的基礎(chǔ)上研發(fā)了TensorFlow。它將數(shù)早期的TensorFlow使用的是靜態(tài)計(jì)算圖，這種方式在優(yōu)化和部署時(shí)會(huì)具有一定的優(yōu)勢(shì)，后續(xù)TensorFlow引入了EagerExecution，從而使得默認(rèn)情況下計(jì)Windows和CPU、GPU。是：使用了類似于Numpy的N維tensor，從而在GPU加速上取得了杰出的2)分布式機(jī)器學(xué)習(xí)算法設(shè)計(jì)式的機(jī)器學(xué)習(xí)算法針對(duì)通信延遲、一致性和容錯(cuò)還可以驅(qū)動(dòng)傳統(tǒng)人工智能服務(wù)、AI生成服務(wù)等3.分布式訓(xùn)練框架分布式訓(xùn)練的關(guān)鍵技術(shù)包括云邊協(xié)同計(jì)算和分布式訓(xùn)式網(wǎng)絡(luò)節(jié)點(diǎn)和中央網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)同通過在分布式網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行初步的數(shù)據(jù)處>分布式訓(xùn)練框架：分布式訓(xùn)練框架包括并行計(jì)算和智能調(diào)度，其中并行計(jì)算全局同步然后更新模型參數(shù)。數(shù)據(jù)并行能夠處理非常大的數(shù)據(jù)集，并且適用優(yōu)化分布式訓(xùn)練過程。利用AI算法動(dòng)態(tài)調(diào)整源利用率和訓(xùn)練效率。如圖4所示，分布式訓(xùn)練服務(wù)的部署和內(nèi)涵應(yīng)從如下步圖4.分布式訓(xùn)練服務(wù)部署步驟>選擇適合的分布式訓(xùn)練框架，支持?jǐn)?shù)據(jù)并行和模型并行。4.聯(lián)邦學(xué)習(xí)根據(jù)scalinglaw，大模型的性能是和模型給K個(gè)參與訓(xùn)練的客戶端。模型參數(shù)。對(duì)每個(gè)客戶端K，訓(xùn)練的目標(biāo)是最小化其本地?fù)p失函數(shù):Fkw)=w;xi,yi。其中，xi,yi是客戶端k上的數(shù)據(jù)樣本，f(?)是損失函數(shù)，w是模型參數(shù)，nk是客戶端k的本地?cái)?shù)據(jù)量。器。此時(shí)，每個(gè)客戶端k提交的模型可以表示為wk。權(quán)聚合來更新全局模型。最常用的聚合方法是FedAvg，其公式為：w'=Σ=1wk。其中，n是所有客戶端的數(shù)據(jù)總量，K是參與訓(xùn)練的客戶端數(shù)，w'孤島（cross-silo）和跨設(shè)備（cross-device）兩種：2）跨設(shè)備：參與的設(shè)備通常是功能有限的智能設(shè)備，例如手機(jī)、IoT（物聯(lián)網(wǎng)）設(shè)備等，計(jì)算能力不如silo中的服務(wù)器強(qiáng)大，這些設(shè)備之間通過無線網(wǎng)同聯(lián)邦學(xué)習(xí)場(chǎng)景所施加的限制與大模型計(jì)算/存儲(chǔ)/通信密集型要求之間的沖突[6]，所面臨的主要挑戰(zhàn)包括：存來處理流式收集/生成的數(shù)據(jù)以及訓(xùn)練期間模型參數(shù)的更新。典型的網(wǎng)絡(luò)架構(gòu)通道（5G中用戶體驗(yàn)的數(shù)據(jù)速率）傳輸一次GPT2-XL（約5.8GB的中型月的連續(xù)訓(xùn)練。雖然5G及以上網(wǎng)絡(luò)有嚴(yán)格的延遲要求。目前尚不清楚型集成到支持聯(lián)邦學(xué)習(xí)的網(wǎng)絡(luò)中如何滿足如此嚴(yán)降低通信輪次，如DiLoCo[10]；壓縮；量化等；算法層面可以采用更高效的聯(lián)邦聚合算法，如OpenFedLLM[11]，或者傳輸內(nèi)容更少的其他優(yōu)化算法，如FwdLLM[12]、FedKSeed[13]用零階有限差分估計(jì)梯度。累積、激活值重計(jì)算等技術(shù)；優(yōu)化器的選擇，SGD、帶動(dòng)量的SGD、Adam、AdamW只訓(xùn)練部分層/層凍結(jié)，如AutoFreeze[15]、SmartFRZ[16]、FedOT/FedOST[17]等。此外，針對(duì)內(nèi)存的優(yōu)化還可以采用混合精度訓(xùn)練、ZeRO零冗余優(yōu)化器[18]其次，對(duì)于算力異質(zhì)性的研究，F(xiàn)ATE-LLM[19]提出很多種架構(gòu)的可能性，允模型。FedIT[20]提出每個(gè)設(shè)備可以采用不同的Lora配置，即層級(jí)最優(yōu)秩(Layer-wiseOptimalRankAdaptation)思想。5.聯(lián)邦大模型大模型的參數(shù)規(guī)模極為龐大，且各大廠商也在持續(xù)刷新大模型參數(shù)量的上限。以GPT系列為例，從GPT-1到GPT-4，模型的參數(shù)量從1.1億增長至1.8模型微調(diào)（Fine?tuning，F(xiàn)T）已成為利用大模型的主要方法[21]，但直接微調(diào)對(duì)算力、內(nèi)存都提出了更高的要求，AI硬件（GPU）內(nèi)存難以跟上模型擴(kuò)大的將訓(xùn)練擴(kuò)展到多個(gè)AI硬件上（如GPU從而突破于單個(gè)硬件內(nèi)存容量和帶寬集合通信（collectivecommunication，CC）模式和參數(shù)服務(wù)器（parameterserver，PS）模式。NLP、CV、多模態(tài)、科學(xué)計(jì)算等領(lǐng)域的模型往往具有模型結(jié)構(gòu)復(fù)雜、參數(shù)稠計(jì)算芯片的算力和芯片之間的網(wǎng)絡(luò)互聯(lián)要求較高，如高性能計(jì)算的GPU、芯片之間的高速網(wǎng)絡(luò)互聯(lián)NVLink和InfiniBand等。搜索、推薦等場(chǎng)景的模型往往圖5.分布式微調(diào)訓(xùn)練然而，傳統(tǒng)公開的可用數(shù)據(jù)集無法滿足大模型微調(diào)的需求[22]，特別是大規(guī) 收集、融合使用數(shù)據(jù)到不同的地方進(jìn)行AI處理，本地?cái)?shù)數(shù)據(jù)集之間存在顯著差異可能導(dǎo)致模型的泛化性能為了解決隱私數(shù)據(jù)給用戶安全和模型泛化性能帶來的挑戰(zhàn)，聯(lián)邦學(xué)習(xí)（Federatedlearning，F(xiàn)L）[22]作為一種分布式框架被引入。其中，聯(lián)邦分割學(xué)習(xí)（Federatedsplitlearning，F(xiàn)SL）框架[23]將模型分割成多個(gè)部分，在圖6.聯(lián)邦學(xué)習(xí)此外，JianyiZhang等人[24]將FL用于大模型的指令微調(diào)，保護(hù)隱私的同時(shí)，在一定程度上提升了模型性能。JingJiang等人[25]提出了低參數(shù)聯(lián)邦學(xué)習(xí)需計(jì)算資源龐大和高質(zhì)量數(shù)據(jù)分散的問題，并保護(hù)了模型知識(shí)產(chǎn)權(quán)和數(shù)據(jù)隱私。ChaochaoChen等人[27]考慮到計(jì)算和通信兩個(gè)方面，提出將參數(shù)高效微調(diào)方通過最小化參數(shù)梯度計(jì)算和減少聚合參數(shù)的數(shù)量，有效降低了計(jì)算和這種方法在保留近似性能和顯著減少計(jì)算和通信負(fù)擔(dān)之間?。ㄈ┲噶顑?yōu)化服務(wù)提出更高的需求。盡管指令優(yōu)化對(duì)于指令導(dǎo)向的語言任務(wù)（例如自然語言推理、證訓(xùn)練和推理的合理性與準(zhǔn)確性。另一方面，可以考慮人類反饋的強(qiáng)化學(xué)習(xí)（RLHF通過在指令優(yōu)化步驟之后增加給定指令的人類（四）端邊云協(xié)同推理服務(wù)言處理和多模態(tài)理解任務(wù)中的廣泛應(yīng)用，端邊云協(xié)同推理服務(wù)成為提升AI服務(wù)備、邊緣節(jié)點(diǎn)與云端資源的協(xié)同推理架構(gòu)逐漸成為解決上述問題的1.端邊云大模型部署策略在位置生成更加精準(zhǔn)的提示（prompt這些提示隨后被傳輸?shù)皆贫?，結(jié)合云數(shù)據(jù)傳輸?shù)难舆t，減少了通信帶寬的占用，并提升了整體傳輸效率和模型性能。為了應(yīng)對(duì)各種動(dòng)態(tài)環(huán)境下的推理任務(wù)，諸如FlexInfer框架等還提出了多種制化服務(wù)[29]。結(jié)合這些技術(shù)，邊緣節(jié)點(diǎn)可以快速響應(yīng)用戶請(qǐng)求，生成初步的推數(shù)據(jù)上傳至云端的必要性，從而進(jìn)一步增強(qiáng)了數(shù)據(jù)隱私綜上所述，端邊云協(xié)同推理服務(wù)為大規(guī)模AI模型的高效部署提供了技術(shù)支量的AI服務(wù)。隨著技術(shù)的不斷進(jìn)步，端邊云協(xié)2.端邊云大小模型協(xié)同推理策略Kimi和豆包等，通常都部署在云端。這些大模型體積龐大，適用于復(fù)雜任務(wù)的實(shí)際上，Meta、谷歌、微軟等大型科技公司在發(fā)布大中小三種模型套裝，其中最小的模型參數(shù)基本都在10B以下，并且有些模型手機(jī)端側(cè)推理設(shè)計(jì)的Phi-3系列模型；Apple也在（2）端邊云協(xié)同推理服務(wù)的操作類型2)提升端側(cè)大模型推理效率。對(duì)于現(xiàn)在主需要逐個(gè)token進(jìn)行計(jì)算輸出，效率比較低。為此，網(wǎng)絡(luò)可以提供推理效率提例如3GPP定義的RedCap（ReducedCapability）所覆蓋的終端，其在部署4)使能多個(gè)端側(cè)智能體協(xié)同。部署了大模型的終端智能體，其個(gè)體行為之（3）網(wǎng)絡(luò)需要具備的能力3.面向AIAgent的端邊云協(xié)同方案隨著大模型在自然語言處理、計(jì)算機(jī)視覺和機(jī)器人控制等領(lǐng)域所涌現(xiàn)出的現(xiàn)有的基于模型分割的端邊云協(xié)同大模型輕量化方法雖然能夠在推理準(zhǔn)確性和端到端時(shí)延性能上取得折中，但存在以下(1)模型分割算法復(fù)雜度高，分割點(diǎn)尋找困難?，F(xiàn)有方案中的模型分割往往(2)基于分割后的模型在進(jìn)行端邊或端云協(xié)同推理時(shí)需要傳輸中間隱藏層的在終端部署的信息采集和推理模塊以及在網(wǎng)絡(luò)邊緣（五）模型優(yōu)化服務(wù)現(xiàn)有的針對(duì)無線通信AI模型的生命周期管理方案采用的是外掛疊加式的以下技術(shù)問題：僅針對(duì)特定的AI任務(wù)，對(duì)于不同的任務(wù)需要額外添加監(jiān)控處理本文提出了一種面向AI大模型的優(yōu)化服務(wù)，通過在基站端部署性能監(jiān)控和利用網(wǎng)絡(luò)或者云端算力重新訓(xùn)練模型，通過引入AI編排模塊來針對(duì)不同任務(wù)統(tǒng)所提方法的架構(gòu)如圖8所示，包括AI任務(wù)編排、性能監(jiān)控、算力檢查、信圖8內(nèi)生AI模型的生命周期管理架構(gòu)四、案例分析生成式AI在語義通信系統(tǒng)中的應(yīng)用1.生成式AI與語義通信概述生成式AI是一種利用深度學(xué)習(xí)模型來生成新內(nèi)容的人工智能技術(shù)。這種技的認(rèn)知能力，包括邏輯推理、問題解決、感知和語言理解等[30]。通過深入學(xué)習(xí)從而形成了人工智能生成內(nèi)容（AI-GeneratedCo前景。通過生成式AI的深度學(xué)習(xí)模型和算法，AIGC能夠快速生成高質(zhì)量的內(nèi)絡(luò)（GenerativeAdversarialNetwork，AIGN）、變分自編碼器（VariationalAutoencoder，VAE）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RRN）等。這些技術(shù)通過不同的機(jī)制學(xué)習(xí)數(shù)據(jù)的分布，并生成新的數(shù)據(jù)實(shí)例。生成式AI的工作過程是一個(gè)迭代的過程，需要不斷地調(diào)整模型和評(píng)估生成結(jié)果，從而圖9.兩類生成式AI大模型:單模態(tài)和多模態(tài)表3.AIGC應(yīng)用和模型概覽[33]模型類型AIGC應(yīng)用AI大模型神經(jīng)網(wǎng)絡(luò)架構(gòu)ChatGPT-3,BingAIGPT-3,T5Transformer,GAN,VAEPaintMe.AI,VizcomStyleGAN,VQ-VAEGAN,VAE,CNN,Transformer,RNN,Murf.AI,Resemble.AIWaveGAN,SpecGANGAN,VAE,RNN,CNN,Transformer本NightCafeTransformer,GAN,Synthesia,PictoryCogVideo,PhenakiTransformer,VAE,MurfAI,PlayHTWaveNet,AudioLM文TranskribusTransformer,RNN,GoogleCloudVideoIntelligenceVideoCLIP,VideoBERTTransformer,RNN,SpeakAIDeepSpeechTransformer,RNN,端到端貫通式優(yōu)化和信源信道聯(lián)合設(shè)計(jì)的技術(shù)手段，獲得通信系統(tǒng)的整體優(yōu)化[31]。這種技術(shù)以任務(wù)為主體，遵循“先理解，后傳輸”的原則，從而大幅提升 的含義[32]。為實(shí)現(xiàn)這一目標(biāo)，語義通信的發(fā)送端和接收端均具備強(qiáng)大的語義處 2.生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)是一種將生成式AI模型與語義通信相信息傳輸[33]。該網(wǎng)絡(luò)架構(gòu)主要包括物理基礎(chǔ)設(shè)施、數(shù)據(jù)平面和網(wǎng)絡(luò)控制平面三和知識(shí)庫，以支持AIGC服務(wù)。無線終端設(shè)備可以上傳數(shù)據(jù)，并通過接入點(diǎn)點(diǎn)能夠利用自身和連接的無線終端設(shè)備的知識(shí)對(duì)生成式AI模型進(jìn)行預(yù)訓(xùn)練和微調(diào)，并將訓(xùn)練好的模型部署到相應(yīng)的無線終端設(shè)備上[34]。中央云服務(wù)器則擁有龐大的存儲(chǔ)和計(jì)算資源，用于大規(guī)模生成式AI模型的預(yù)訓(xùn)練和提供全局的AIGC服務(wù)。?數(shù)據(jù)平面：AIGC數(shù)據(jù)在該網(wǎng)絡(luò)的數(shù)據(jù)平面上生成、傳輸和評(píng)估。生成式模型負(fù)責(zé)生成包括單模態(tài)和多模態(tài)在內(nèi)的AIGC信息。這些信息通過語義通進(jìn)行恢復(fù)，以減少傳輸過程中的失真[31]。此外，數(shù)據(jù)平面還負(fù)責(zé)從任務(wù)完成度和相關(guān)性等多個(gè)維度評(píng)估AIGC信息的有效性。新和可靠性[35]。網(wǎng)絡(luò)控制平面還承擔(dān)著網(wǎng)絡(luò)管理的職責(zé)，以適應(yīng)語義通信的需求，并充分發(fā)揮AIGC的優(yōu)勢(shì)，如低延遲、創(chuàng)造力、效率、可擴(kuò)展性和圖10.生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)了生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)的核心支撐。由于網(wǎng)絡(luò)流量的波動(dòng)的資源消耗模式，從而做出精準(zhǔn)的資源分配決策[36]。這種基于預(yù)測(cè)的分配源[35]。通過動(dòng)態(tài)調(diào)整計(jì)算資源，生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)能夠上下文感知和用戶中心化的特點(diǎn)[37]。傳統(tǒng)的通信資源分配主要關(guān)注數(shù)據(jù)吞吐量和帶寬效率等位相關(guān)的指標(biāo)，而生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)高置信度的數(shù)據(jù)得到優(yōu)先傳輸[38]。而在多模態(tài)提示方面，系統(tǒng)則會(huì)利用視性和準(zhǔn)確性[39]。此外，由于語義通信中不同的知識(shí)匹配程度會(huì)導(dǎo)致移動(dòng)用[40]。這種策略旨在通過優(yōu)化收發(fā)器之間的知識(shí)匹配度，來提高語義通信系統(tǒng)的資源管理效率。同時(shí)，還有一些研究探討了生成式AI大模型驅(qū)求來優(yōu)化服務(wù)效率。這些創(chuàng)新性的通信資源分配策略，為生成在文獻(xiàn)[34]中，研究人員針對(duì)生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)進(jìn)行了采用了深度卷積網(wǎng)絡(luò)和Transformer驅(qū)動(dòng)的語義解碼器進(jìn)行語義分割和恢復(fù)。所有模型都在信噪比為0dB的AWGN信道上進(jìn)行訓(xùn)練，以傳容的圖像。使用Adam優(yōu)化器對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為5×10-4。表4：在下行鏈路傳輸300張圖像所需的比特?cái)?shù)以及PSNR性能[34]不同的圖像傳輸方案下行鏈路所需比特?cái)?shù)PSNR（峰值信噪1.28×10528.05語義通信[41]5.99×10428.253.03×10428.64張1024x1024像素的圖像時(shí)，僅需要3.03×104比特，相較于文獻(xiàn)[41]中的語義通信方案減少了2.96×104比特，與集成生成式AI的傳統(tǒng)通信方案相比更是減少了9.77×104比特。在圖像傳輸質(zhì)量方面，生成式AI大模型驅(qū)動(dòng)的語義通信系統(tǒng)的PSNR得分為28.64，略高于其他兩種方法，表明該框架在減少比資源。這些結(jié)果表明生成式AI大模型驅(qū)動(dòng)的語義五、未來展望究。AIAgent作為未來網(wǎng)絡(luò)的核心元素，其潛力巨大，能夠自主決策、優(yōu)化網(wǎng)AI服務(wù)，這意味著云、核心網(wǎng)、無線網(wǎng)和終端等各面做出全面的優(yōu)化。只有這樣，我們才能確保AI服務(wù)能夠覆蓋到網(wǎng)絡(luò)的每一個(gè)網(wǎng)絡(luò)數(shù)字孿生作為解決AI概率性和網(wǎng)絡(luò)高可靠性之間矛盾的主要途徑，正六、參考文獻(xiàn)[1]2023年11月vivo開發(fā)者大會(huì),/vdc/2023/index.html#/[2]/cn/events/find-x7-series-launch/[3]/cn/phones/honor-magic6/[4]/[5]/cn/videos/play/wwdc2024/101/[6]WangG,LiuJ,LiC,etal.Cloud-DeviceCollaborativeLearningforMultimodalLargeLanguageModels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2024:12646-12655.[7]LinZ,QuG,ChenQ,etal.Pushinglargelanguagemodelstothe6Gedge:Vision,challenges,andopportunities.arXivpreprintarXiv:2309.16739,2023.[8]DingN,QinY,YangG,etal.Parameter-efficientfine-tuningoflarge-scalepre-trainedlanguagemodels.NatureMachineIntelligence,2023,5(3):220-235.[9]ZhangZ,YangY,DaiY,etal.Fedpetuning:Whenfederatedlearningmeetstheparameter-efficienttuningmethodsofpre-trainedlanguagemodels.ACL,2023:9963-9977.[10]DouillardA,FengQ,RusuAA,etal.DiLoCo:DistributedLow-CommunicationTrainingofLanguageModels.arXivpreprintarXiv:2311.08105,2023.[11]YeR,WangW,ChaiJ,etal.OpenFedLLM:TrainingLargeLanguageModelsonDecentralizedPrivateDataviaFederatedLearning.arXivpreprintarXiv:2402.06954,2024.[12]XuM,CaiD,WuY,etal.Fwdllm:Efficientfedllmusingforwardgradient.arXiv:2308.13894,2024.[13]Z.Qin,D.Chen,B.Qian,B.Ding,Y.Li,andS.Deng,Federatedfullparametertuningofbillion-sizedlanguagemodelswithcommunicationcostunder18kilobytes,inICML,2024.[14]LinZ,ZhuG,DengY,etal.Efficientparallelsplitlearningoverresource-constrainedwirelessedgenetworks.IEEETransactionsonMobileComputing,2024.[15]LiuY,AgarwalS,VenkataramanS.Autofreeze:Automaticallyfreezingmodelblockstoacceleratefine-tuning(2021).arXivpreprintarXiv:2102.01386.[16]LiS,YuanG,DaiY,etal.Smartfrz:Anefficienttrainingframeworkusingattention-basedlayerfreezing.arXivpreprintarXiv:2401.16720,2024.[17]KuangW,QianB,LiZ,etal.Federatedscope-llm:Acomprehensivepackageforfine-tuninglargelanguagemodelsinfederatedlearning.arXivpreprintarXiv:2309.00363,2023.[18]RajbhandariS,RasleyJ,RuwaseO,etal.Zero:Memoryoptimizationstowardtrainingtrillionparametermodels,SC20:InternationalConferenceforHighPerformanceComputing,Networking,StorageandAnalysis.IEEE,2020:1-16.[19]FanT,KangY,MaG,etal.Fate-llm:Aindustrialgradefederatedlearningframeworkforlargelanguagemodels.arXivpreprintarXiv:2310.10049,2023.[20]ZhangJ,VahidianS,KuoM,etal.TowardsbuildingthefederatedGPT:Federatedinstructiontuning.IEEEICASSP,2024:6915-6919.[21]JiangFeiboetal.“Personalizedwirelessfederatedlearningforlargelanguagemodels.”ArXivabs/2404.13238(2024):n.pag.[22]McMahan,H.B.etal.“Communication-efficientlearningofdeepnetworksfromdecentralizeddata.”InternationalConferenceonArtificialIntelligenceandStatistics(2016).[23]ThapaChandraetal.“SplitFed:Whenfederatedlearningmeetssplitlearning.”ArXivabs/2004.12088(2020):n.pag.[24]ZhangJianyietal.“TowardsBuildingtheFederatedGPT:FederatedInstructionTuning.”ArXivabs/2305.05644(2023):n.pag.[25]JiangJingetal.“Low-parameterfederatedlearningwithlargelanguagemodels.”ArXivabs/2307.13896(2023):n.pag.[26]FanTaoetal."FATE-LLM:Aindustrialgradefederatedlearningframeworkforlargelanguagemodels",ArXivabs/2310.10049(2023):n.pag.[27]ChenChaochaoetal.“Federatedlargelanguagemodel:Apositionpaper.”ArXivabs/2307.08925(2023):n.pag.[28]YangZ,JiW,WangZ.Adaptivejointconfigurationoptimizationforcollaborativeinferenceinedge-cloudsystems[J].ScienceChinaInformationSciences,2024,67(4):149103.[29]ChenY,LiR,YuX,etal.AdaptiveLayerSplittingforWirelessLLMInferenceinEdgeComputing:AModel-BasedReinforcementLearningApproach[J].arXivpreprintarXiv:2406.02616,2024.[30]R.Gozalo-BrizuelaandE.C.Garrido-Merchan,“ASurveyofGenerativeAIApplications,”arXivpreprintarXiv:2306.02781,2023.[31]H.Xie,Z.Qin,G.Y.Li,andB.-H.Juang,“DeepLearningEnabledSemanticCommunicationSystems,”IEEETransactionsonSignalProcessing,vol.69,pp.2663–2675,2021.[32]Q.Lan,D.Wen,Z.Zhang,Q.Zeng,X.Chen,P.Popovski,andK.Huang,“WhatisSemanticCommunication?AViewonConveyingMeaningintheEraofMachineIntelligence,”JournalofCommunicationsandInformationNetworks,vol.6,no.4,pp.336–371,2021.[33]C.Liangetal.,"GenerativeAI-drivenSemanticCommunicationNetworks:Architecture,TechnologiesandApplications,"inIEEETransactionsonCognitiveCommunicationsandNetworking,2024,doi:10.1109/TCCN.2024.3435524.[34]L.Xia,Y.Sun,C.Liang,L.Zhang,M.A.Imran,andD.Niyato,“GenerativeAIforSemanticCommunication:Architecture,Challenges,andOutlook,”arXivpreprintarXiv:2308.15483,2023.[35]H.Du,R.Zhang,Y.Liu,J.Wang,Y.Lin,Z.Li,D.N