2024網(wǎng)絡(luò)大模型10大問(wèn)題

網(wǎng)絡(luò)大模型10問(wèn)題白皮書(shū)20241PAGEPAGE10目錄摘要 2背景 4網(wǎng)大模的定義 4十基礎(chǔ)題 5NetGPT場(chǎng)和需問(wèn)題 6NetGPT的礎(chǔ)理問(wèn)題 7NetGPT的致性要求題 9NetGPT間協(xié)同題 10NetGPT的生分式部問(wèn)題 12NetGPT的絡(luò)架設(shè)計(jì)題 13NetGPT的全隱問(wèn)題 14NetGPT的據(jù)服問(wèn)題 16NetGPT的判體與方問(wèn)題 16NetGPT的生命期管和編問(wèn)題 18總與展望 20背景ITU-RWP5D第44次會(huì)議正式通過(guò)了《IMT面向2030及未來(lái)發(fā)展的框架和總體目標(biāo)建議書(shū)》,作為6G研究的一個(gè)重要的里程碑，代表了全球的6G愿景共識(shí)，其中AI與通信融合被作為6大關(guān)鍵場(chǎng)景之一，與6GANA提出的NetworkAI理念不謀而合。AIChatGpt，能夠準(zhǔn)確識(shí)別并理解用戶(hù)的意圖，為用戶(hù)提供問(wèn)題，生成文本等，并在結(jié)合多模態(tài)技術(shù)后不斷向更多領(lǐng)域拓展?？梢灶A(yù)計(jì)，大模型將會(huì)成為AI通信融合的關(guān)鍵組成部分。在提高網(wǎng)絡(luò)中AI的通用性和多任務(wù)處理能力等方面發(fā)揮重要然而我們需要意識(shí)到，大模型與AI在應(yīng)用上是有著很大不同的。在以往AI模型的使用上，是通過(guò)收集大量的數(shù)據(jù)然后從頭訓(xùn)練模型，因此需要關(guān)注是如何針對(duì)具體任務(wù)設(shè)計(jì)模型結(jié)構(gòu)、網(wǎng)絡(luò)如何收集需要的數(shù)據(jù)，網(wǎng)絡(luò)如何為AI模型的訓(xùn)練推理提供算力和算法支撐等。大模型在應(yīng)用上，是以預(yù)訓(xùn)練基礎(chǔ)模型為底座，通過(guò)各種策略，如prompt，fine-tune以及向量庫(kù)等方式來(lái)適配各類(lèi)具體任務(wù)。另外，大模型意圖理解和涌現(xiàn)能力，也給大模型的應(yīng)用帶來(lái)了更多的可能性，例如可以實(shí)現(xiàn)基于意圖的編排，調(diào)用各種工具實(shí)現(xiàn)具體任務(wù)等。同時(shí)，大模型的巨大參數(shù)量和算力需求，也為其在網(wǎng)絡(luò)中的應(yīng)用帶來(lái)了新的挑戰(zhàn)。為此，我們需要重新梳理大模型和網(wǎng)絡(luò)結(jié)合這個(gè)領(lǐng)域中的關(guān)鍵問(wèn)題，為后續(xù)的研究指明方向。網(wǎng)絡(luò)大模型的定義大模型將在運(yùn)維、執(zhí)行、驗(yàn)證等方面為移動(dòng)網(wǎng)絡(luò)服務(wù)。通過(guò)整合通信知識(shí)，大模型可以幫助檢測(cè)故障和生成解決方案。隨著網(wǎng)絡(luò)服務(wù)的多樣性和復(fù)雜性，大模型可以用來(lái)編排和調(diào)度任務(wù)流程，還可以進(jìn)行性能優(yōu)化、環(huán)境預(yù)測(cè)、資源分配等。通過(guò)出色的生成能力，大型模型有望在驗(yàn)證階段發(fā)揮重要作用，如室外復(fù)雜環(huán)境的通道生成、高鐵場(chǎng)景模擬等。因此，我們將無(wú)線通信網(wǎng)絡(luò)中使用的大模型定義為網(wǎng)絡(luò)大模型（NetGPT）。由于無(wú)線通信網(wǎng)絡(luò)包含RAN/CN/OAM這些不同的技術(shù)域，他們?cè)诠δ芴匦?、?shù)據(jù)結(jié)構(gòu)、以及性能需求上都有著明顯的區(qū)別。例如，應(yīng)用在運(yùn)維領(lǐng)域的模型可能與NLP領(lǐng)域LLM類(lèi)似，可以直接對(duì)LLM進(jìn)行微調(diào)得到；而應(yīng)用于空口的模型與自然語(yǔ)言完全是另一套體系。因此，NetGPT并不是一個(gè)單一模型通配所有網(wǎng)絡(luò)場(chǎng)景，而是一系列模型的組合。需要注意的是，這種NetGPT建立了三層模型，即L0，L1和L2。其中，L0；L1代表網(wǎng)絡(luò)不同領(lǐng)域大模型，如RAN/CN/OAM；L21NetGPT在通用性、基礎(chǔ)性和規(guī)模上，都是傳統(tǒng)各網(wǎng)元各自訓(xùn)練出的特定場(chǎng)景模型所不能相比的。通用性上，NetGPT-L0要能在全網(wǎng)各領(lǐng)域通用，包含是電信領(lǐng)域的基礎(chǔ)知識(shí)，NetGPT-L1的通用性就差一些，局限在對(duì)應(yīng)的領(lǐng)域內(nèi)；基礎(chǔ)性指的是能夠通過(guò)few-shot甚至zero-shot就很好的適配到下游任務(wù)上，這一點(diǎn)NetGPT-L0/1都要具備，特別是L1，要能夠作為NetGPT-L2的基礎(chǔ)模型，通過(guò)各種策略來(lái)快速適配到新的場(chǎng)景中去，不再需要從頭開(kāi)始訓(xùn)練L2。而在模型規(guī)模上，NetGPT-L0/1的參數(shù)量要滿足大模型的基準(zhǔn)門(mén)限，目前業(yè)界普遍的看法是，產(chǎn)生智能涌現(xiàn)的最少參數(shù)量在70億。NetGPT-L2的參數(shù)量可以小很多，方便其部署在網(wǎng)絡(luò)邊緣和端側(cè)。圖1NetGPT三層L0/1/2十大基礎(chǔ)問(wèn)題盡管大模型，尤其是LLM，已經(jīng)在很多領(lǐng)域展現(xiàn)出了令人驚嘆的能力，網(wǎng)絡(luò)大模型仍然還有很多基礎(chǔ)問(wèn)題需要去研究和解決。這些問(wèn)題可以分為兩類(lèi)，一類(lèi)是大模型本身的設(shè)計(jì)類(lèi)問(wèn)題，另一類(lèi)是網(wǎng)絡(luò)設(shè)計(jì)如何支撐大模型應(yīng)用類(lèi)問(wèn)題，如圖3-1所示。也就是說(shuō)，我們讓NetGPT既要造的出，也要用得好。圖2網(wǎng)絡(luò)大模型NetGPT十大問(wèn)題NETGPT網(wǎng)絡(luò)技術(shù)研究，以需求和場(chǎng)景始。研究NetGPT的需求和典型場(chǎng)景是網(wǎng)絡(luò)大模型制定發(fā)展策略、規(guī)劃和優(yōu)化的基礎(chǔ)，并對(duì)網(wǎng)絡(luò)長(zhǎng)期規(guī)劃、技術(shù)升級(jí)和演進(jìn)決策具有重要意義。只有具備高增益的典型場(chǎng)景、高價(jià)值的典型業(yè)務(wù)，才能為NetGPT后續(xù)的落地和部署提供必要保障，否則只能是停留在紙面的空中樓閣。因此，NetGPT的需求是否真實(shí)存在，需求程度如何，需要通過(guò)研究過(guò)程逐步去偽存真，為后續(xù)的網(wǎng)絡(luò)設(shè)計(jì)和NetGPT發(fā)展提供必要依據(jù)。另外，在NetGPT需求和場(chǎng)景研究中，需要結(jié)合對(duì)未來(lái)技術(shù)趨勢(shì)的分析，需求和場(chǎng)景研究可以一定程度適度超前當(dāng)前科技水平。單從ITCTGPT技術(shù)，從ITGPTAI大應(yīng)用；從CTGPT而就6G網(wǎng)絡(luò)發(fā)展而言，從“需求搜集”到“系統(tǒng)設(shè)計(jì)“，再到”規(guī)范標(biāo)準(zhǔn)“，“研發(fā)測(cè)試”，“規(guī)劃，建設(shè)，運(yùn)維，管理，優(yōu)化，營(yíng)銷(xiāo)”等全生命周期的各個(gè)環(huán)節(jié)，GPT類(lèi)技術(shù)都可以在其中發(fā)揮重要作用，而從一開(kāi)始最具價(jià)值的毫無(wú)疑問(wèn)是GPT賦能網(wǎng)絡(luò)，即NetGPT。而無(wú)線網(wǎng)絡(luò)邊緣單設(shè)備/終端相對(duì)于云較為受限的計(jì)算能力，決定了NetGPT并不能像傳統(tǒng)AI那樣對(duì)網(wǎng)絡(luò)中的功能和算法進(jìn)行簡(jiǎn)單替換，而需要重新設(shè)計(jì)，包括適配無(wú)線網(wǎng)絡(luò)的NetGPT算法，以及原生支持NetLM（1）NetGPT在網(wǎng)絡(luò)中提質(zhì)、增效、降本和拓收的需求和場(chǎng)景。體現(xiàn)在提高網(wǎng)絡(luò)AI普適性、網(wǎng)絡(luò)性能提升、網(wǎng)絡(luò)智能化管控優(yōu)化等方面。面向沉浸式通信、超大規(guī)模連接、超高可靠低時(shí)延、泛在連接、智能內(nèi)生、通感融合等未來(lái)網(wǎng)絡(luò)應(yīng)用場(chǎng)景，相對(duì)目前的網(wǎng)絡(luò)管理與服務(wù)方式，使用NetGPTAIAIAI，在自動(dòng)化網(wǎng)絡(luò)管理和故障排除、網(wǎng)絡(luò)（2）6G網(wǎng)絡(luò)架構(gòu)支撐NetGPT發(fā)展的需求和場(chǎng)景。6G網(wǎng)絡(luò)新的創(chuàng)新技術(shù)，天然具備支撐NetGPT獨(dú)具優(yōu)勢(shì)發(fā)展的土壤，如移動(dòng)算力網(wǎng)絡(luò)、分布式網(wǎng)絡(luò)架構(gòu)等。但是6G網(wǎng)絡(luò)架構(gòu)、功能、接口設(shè)計(jì)，與NetGPT的發(fā)展速度時(shí)間窗口不一定完全匹配。6G網(wǎng)絡(luò)設(shè)計(jì)在原生支持NetGPT方面，通過(guò)云計(jì)算、邊緣計(jì)算移動(dòng)算力網(wǎng)絡(luò)的計(jì)算資源，為NetGPT提供訓(xùn)練算力、分布式部署、分布式推理等場(chǎng)景是否具有需求與可行性。另外，在NetGPT算法設(shè)計(jì)中，是否匹配6G網(wǎng)絡(luò)泛在終端、異構(gòu)資源特點(diǎn)；以及NetGPT的出現(xiàn)，是否會(huì)對(duì)目前6G架構(gòu)，功能與協(xié)議6G網(wǎng)絡(luò)和NetGPT（3）NetGPT在6G網(wǎng)絡(luò)應(yīng)用中的邊界。無(wú)線網(wǎng)絡(luò)的層級(jí)越低，對(duì)服務(wù)質(zhì)量（QoS）（包括實(shí)時(shí)性和準(zhǔn)確性）的要求就越高。目前的大模型技術(shù)并不能滿足移動(dòng)通信網(wǎng)絡(luò)對(duì)高確定性QoS保障的要求，未來(lái)NetGPT的發(fā)展是否會(huì)只能用于特定層級(jí)或特定功能。例如，NetGPT是否只適用于空中接口的高層，而不適用于物理層？這些邊界問(wèn)題還涉及NetGPT在每個(gè)具體應(yīng)用中可能發(fā)揮的作用。例如，NetGPT能在多大程度上支持未來(lái)的OAM系統(tǒng)--完全或部分自治網(wǎng)絡(luò)。在研究NetGPT時(shí)，有必要澄清上述基本情況和邊界問(wèn)題。NETGPT在未來(lái)無(wú)線網(wǎng)絡(luò)全面智能化時(shí)代，通信、計(jì)算、數(shù)據(jù)、AI的融合是不可避免的趨勢(shì)，而構(gòu)建NetGPT是實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵。然而，要實(shí)現(xiàn)NetGPT的構(gòu)建，需要解決許多基礎(chǔ)理論問(wèn)題。NetGPT與LLM的差異。作為最具代表性的基礎(chǔ)模型，大型語(yǔ)言模型LLM也被很多研究者作為網(wǎng)絡(luò)模型的底座，通過(guò)微調(diào)或者提示等方式來(lái)解決網(wǎng)絡(luò)任務(wù)。然而，通信領(lǐng)域與自然語(yǔ)言處理領(lǐng)域的根本差異導(dǎo)致了NetGPT與大型語(yǔ)言模型在理論上的顯著差異。這些差異主要體數(shù)據(jù)特性：NetGPT處理的數(shù)據(jù)集涉及通信信號(hào)，例如通道信息，這些以高維張量形式（tokens）后端任務(wù)：無(wú)線網(wǎng)絡(luò)處理的任務(wù)種類(lèi)迥異，因此NetGPT的輸出形式可能多樣化，與大模型大?。篘etGPT定義了多層次的結(jié)構(gòu)，在不同層次上部署多種規(guī)模的模型。特別是在網(wǎng)絡(luò)邊緣部署的NetGPT模型，如基站中的NetGPT-L2，其參數(shù)規(guī)?？赡軆H為1502000另外，隨著模型規(guī)模的不斷增長(zhǎng)，我們看到LLM的性能提升也逐漸出現(xiàn)邊際效益遞減的情況，是否還有其他更好更高效的架構(gòu)，或者說(shuō)更適合移動(dòng)網(wǎng)絡(luò)的架構(gòu)？例如transformer在一定程度上犧牲了捕捉局部特征的能力，特別是失去的位置信息對(duì)于時(shí)序數(shù)據(jù)非常重要，PositionEmbedding也只是一個(gè)權(quán)宜之計(jì)，在作用域?qū)τ跁r(shí)序要求更高的移動(dòng)通信系統(tǒng)時(shí)是否能產(chǎn)生好的效果？transformer的Embedding對(duì)于結(jié)構(gòu)化數(shù)據(jù)的處理效果并不太好，尚未有效解決如何將非連續(xù)數(shù)據(jù)映射到向量空間的問(wèn)題，這對(duì)于目前以結(jié)構(gòu)化數(shù)據(jù)為主的電信運(yùn)營(yíng)商來(lái)講也是一個(gè)亟需解決的基礎(chǔ)問(wèn)題。因此，對(duì)于NetGPT是否能與大型語(yǔ)言模型使用同樣的模型架構(gòu)，或者NetGPT將激發(fā)新的理論和架構(gòu)研究，仍然有待進(jìn)一步的探索。NetGPT的泛化能力如何滿足網(wǎng)絡(luò)任務(wù)的多樣性。大模型的一大優(yōu)勢(shì)就是可以利用非常少的下游數(shù)據(jù)來(lái)進(jìn)行特定任務(wù)的適配，或者是few-shot甚至zero-shot的學(xué)習(xí)，都能達(dá)到不錯(cuò)的效果。這就為各類(lèi)下游任務(wù)節(jié)省了大量的數(shù)據(jù)收集、清洗和標(biāo)注的時(shí)間，大大節(jié)約了開(kāi)發(fā)成本。另外一個(gè)就是基于大模型來(lái)適配新任務(wù)，可能并不需要調(diào)整大量的參數(shù)，只需要調(diào)整非常少的參數(shù)量就可以，有很多parameterefficient的微調(diào)方法都能得到不遜色于全量參數(shù)調(diào)整的性能。但是，網(wǎng)絡(luò)任務(wù)的多樣性可能遠(yuǎn)遠(yuǎn)超過(guò)自然語(yǔ)言領(lǐng)域。我們需要深入研究大模型泛化性的理論基礎(chǔ)，為什么可以使用少量數(shù)據(jù)和參數(shù)就可以學(xué)習(xí)到新的任務(wù)知識(shí)，然后才能去有針對(duì)性的優(yōu)化NetGPT在網(wǎng)絡(luò)任務(wù)上的泛化性能。雖然這方面已經(jīng)有一些非常重要的研究理論，包括過(guò)參數(shù)化等理論，但是其深層次的理論框架依然沒(méi)有建立，包括我們應(yīng)該建立起怎樣的數(shù)學(xué)或者分析模大模型參數(shù)規(guī)模問(wèn)題也是構(gòu)建NetGPT的一個(gè)基礎(chǔ)問(wèn)題。隨著模型參數(shù)規(guī)模的增加，模型的性能和泛化能力也會(huì)隨之提高，并且只需要更少的參數(shù)調(diào)整就能適配到新的下游任務(wù)。然而，大規(guī)模的模型參數(shù)也會(huì)帶來(lái)計(jì)算和存儲(chǔ)上的挑戰(zhàn)，以及在訓(xùn)練和使用時(shí)帶來(lái)更大的能耗。如當(dāng)我們想要去獲得一個(gè)大型系統(tǒng)如移動(dòng)網(wǎng)絡(luò)領(lǐng)域?qū)Ｓ玫男袠I(yè)大模型時(shí)，我們必然要去弄清楚這些大模型上的理論問(wèn)題。對(duì)于每個(gè)問(wèn)題，都需要深入研究其具體的內(nèi)涵和挑戰(zhàn)，以推動(dòng)NetGPT的研究和應(yīng)用。NETGPT通過(guò)使用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等先進(jìn)的人工智能技術(shù)，大模型可以從大量移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)中提取有用信息，并實(shí)現(xiàn)智能化的決策和控制，廣泛應(yīng)用于移動(dòng)網(wǎng)絡(luò)的信號(hào)處理、傳輸控制、無(wú)線資源分配、干擾管理等多個(gè)方面，為智能物聯(lián)網(wǎng)、智慧醫(yī)療、智能交通等領(lǐng)域提供有力支撐。為了實(shí)現(xiàn)這些應(yīng)用，模型必須實(shí)時(shí)高效，能夠快速處理輸入并進(jìn)行決策；模型必須準(zhǔn)確可靠，盡量避免錯(cuò)誤決策造成的網(wǎng)絡(luò)問(wèn)題；模型必須穩(wěn)定可用，保障網(wǎng)絡(luò)運(yùn)行和服務(wù)質(zhì)量不受模型故障影響；模型必須具有可擴(kuò)展性，能夠適應(yīng)不同場(chǎng)景和不同用戶(hù)的需求。NetGPT0.5~1msNetGPTNetGPTAINetGPT過(guò)程中難免遇到硬件故障或軟件問(wèn)題。大模型需要具備高可用性，在各種干擾或故障下保持較高的可用性，以避免由于推理中斷造成網(wǎng)絡(luò)通信的低效或故障。一方面，需要考慮如何從數(shù)據(jù)備份、模型模塊化、異常處理和分布式部署等方面提升大模型容錯(cuò)率，保障大模型不會(huì)因單一故障癱瘓；另一方面，也需要大模型利用數(shù)據(jù)冗余、快速恢復(fù)機(jī)制等方式提供一定的容災(zāi)性，保證災(zāi)難發(fā)生后大模型能快速恢復(fù)，提供可用和穩(wěn)定的網(wǎng)絡(luò)服務(wù)。NetGPT的靈活性擴(kuò)展性要求。當(dāng)前移動(dòng)網(wǎng)絡(luò)用戶(hù)業(yè)務(wù)呈現(xiàn)出多樣化的特點(diǎn)。未來(lái)，傳感器網(wǎng)絡(luò)、智能物聯(lián)網(wǎng)等應(yīng)用促進(jìn)網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，新型業(yè)務(wù)也不斷涌現(xiàn)。大模型需要能夠適應(yīng)多種移動(dòng)網(wǎng)絡(luò)環(huán)境和業(yè)務(wù)需求，并進(jìn)行靈活配置和調(diào)整。大模型應(yīng)該具備在計(jì)算、存儲(chǔ)、通信等方面進(jìn)行擴(kuò)展的能力，以根據(jù)移動(dòng)網(wǎng)絡(luò)的需求進(jìn)行擴(kuò)展，處理更多的用戶(hù)、更復(fù)雜的業(yè)務(wù)場(chǎng)景以及更高的數(shù)據(jù)流量等。同時(shí)，由于移動(dòng)網(wǎng)絡(luò)設(shè)備和協(xié)議多種多樣，不同的設(shè)備和協(xié)議具有不同的特性和要求。大模型需要能夠針對(duì)不同的網(wǎng)絡(luò)協(xié)議、設(shè)備類(lèi)型和網(wǎng)絡(luò)制式進(jìn)行自適應(yīng)調(diào)整，以便為不同的設(shè)備和應(yīng)用場(chǎng)景提供一致的服務(wù)。目前，增強(qiáng)模型靈活性的技術(shù)包括模型壓縮、模NETGPTAI圖3NetGPT大小模型協(xié)同示例網(wǎng)絡(luò)大模型NetGPT間的協(xié)同關(guān)系主要是體量較大適合在云端部署的L0全網(wǎng)通用大模型、L1網(wǎng)絡(luò)專(zhuān)業(yè)大模型，與體量較小適合在邊緣部署的L2網(wǎng)絡(luò)小模型之間，在模型訓(xùn)練和推理方面的協(xié)同，說(shuō)明如下：L0L1在模型訓(xùn)練上，L0全網(wǎng)通用大模型為L(zhǎng)1網(wǎng)絡(luò)專(zhuān)業(yè)大模型提供預(yù)訓(xùn)練模型，可利用專(zhuān)業(yè)領(lǐng)域L1；L1L0在模型推理上，針對(duì)跨域任務(wù)，L0全網(wǎng)通用大模型可調(diào)度多個(gè)L1網(wǎng)絡(luò)專(zhuān)業(yè)大模型，并提供通用知識(shí)，進(jìn)行跨域任務(wù)協(xié)同和知識(shí)協(xié)同。L1網(wǎng)絡(luò)專(zhuān)業(yè)大模型與L2在模型訓(xùn)練上，L1網(wǎng)絡(luò)專(zhuān)業(yè)大模型通過(guò)模型蒸餾、微調(diào)，生成L2網(wǎng)絡(luò)小模型；L2網(wǎng)絡(luò)小模型為L(zhǎng)1網(wǎng)絡(luò)專(zhuān)業(yè)大模型提供反饋數(shù)據(jù)來(lái)進(jìn)行模型優(yōu)化，即在模型訓(xùn)練上進(jìn)行數(shù)據(jù)協(xié)同和參數(shù)協(xié)同。在模型推理上，針對(duì)單域任務(wù)，L1網(wǎng)絡(luò)專(zhuān)業(yè)大模型可調(diào)度多個(gè)L2網(wǎng)絡(luò)小模型，并提供單域?qū)I(yè)知識(shí)，進(jìn)行跨域任務(wù)協(xié)同和知識(shí)協(xié)同。在上述場(chǎng)景中，某些關(guān)鍵算法有待進(jìn)一步研究，例如根據(jù)L0全網(wǎng)通用大模型的相關(guān)性進(jìn)行參數(shù)修剪參數(shù)，并進(jìn)行有效的微調(diào)以適應(yīng)新的任務(wù)；如何實(shí)現(xiàn)大模型的知識(shí)與能力向小模型降維遷移的有效性、小模型的小樣本學(xué)習(xí)向大模型的升維融合、以及不同維度數(shù)據(jù)的清洗與治理等；并從數(shù)學(xué)上保證協(xié)同后的效果等價(jià)，一致性，并能實(shí)現(xiàn)大模型推理性能，結(jié)果等不發(fā)生偏移，除了算法挑戰(zhàn)外，支持NetGPT的跨供應(yīng)商協(xié)作，包括功能和程序在內(nèi)的協(xié)作內(nèi)容的標(biāo)準(zhǔn)化、協(xié)同集的生成方法與系統(tǒng)控制等，也是需要繼續(xù)深入研究問(wèn)題。NETGPT隨著大模型越來(lái)越大，從幾百億到幾千億到現(xiàn)在GPT4的萬(wàn)億參數(shù)，其對(duì)計(jì)算和存儲(chǔ)成本的消耗也越來(lái)越大。當(dāng)我們要將這樣的龐然大物部署到網(wǎng)絡(luò)內(nèi)時(shí)，需要考慮可能出現(xiàn)的分布式部署方式，例如部署在網(wǎng)絡(luò)邊緣提供即時(shí)服務(wù)，或者部署在基站和終端來(lái)增強(qiáng)空口特性等。那么如何將NetGPT成功地部署到分布式環(huán)境中，以實(shí)現(xiàn)模型性能的最大化和資源利用的最優(yōu)化，將面臨NetGPT的分布式拆分。在分布式網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)的計(jì)算資源和存儲(chǔ)能力都有所不同，需要根據(jù)節(jié)點(diǎn)的實(shí)際情況合理拆分模型，以獲取節(jié)點(diǎn)間的負(fù)載均衡，同時(shí)最大化資源利用效率。網(wǎng)絡(luò)的一大特點(diǎn)是動(dòng)態(tài)性，終端的移動(dòng)或者基站網(wǎng)元的忙閑時(shí)變化都可能導(dǎo)致模型的性能受NetGPT的分布式訓(xùn)練。大模型并不是一錘子買(mǎi)賣(mài)，其需要在不斷執(zhí)行中自我優(yōu)化演進(jìn)，完善自身的能力建設(shè)，為此我們需要針對(duì)大模型研究有效的分布式學(xué)習(xí)算法。考慮到大模型本身的特點(diǎn)，已有的模型并行（如拆分學(xué)習(xí)）或者數(shù)據(jù)并行（如聯(lián)邦學(xué)習(xí)）方式可能存在一定的局限性，達(dá)不到理想的的學(xué)習(xí)效果。我們需要去深入探索更多的可能，例如混合并行等方向。另外特別需要注意的是模型訓(xùn)練的一致性問(wèn)題，如何確保所有節(jié)點(diǎn)訓(xùn)練的同步性和一致性，從而保高效的節(jié)點(diǎn)間通信機(jī)制。不論是進(jìn)行大模型的推理還是訓(xùn)練，分布式節(jié)點(diǎn)間的通信瓶頸都會(huì)成為制約模型性能的關(guān)鍵因素。與數(shù)據(jù)中心中可以部署高速的機(jī)器間高速通道不同，網(wǎng)絡(luò)節(jié)點(diǎn)間的傳輸帶寬更加受限。一方面我們當(dāng)然還是可以從算法上入手，進(jìn)行模型壓縮，如剪枝和量化等；但是另一方面我們應(yīng)該在網(wǎng)絡(luò)內(nèi)設(shè)計(jì)一套更加高效的節(jié)點(diǎn)間通信機(jī)制，能夠讓網(wǎng)絡(luò)節(jié)點(diǎn)針對(duì)以上問(wèn)題，需要深入研究相關(guān)的理論和技術(shù)，探索創(chuàng)新性的解決方案，結(jié)合網(wǎng)絡(luò)自身的拓?fù)浣Y(jié)構(gòu)，建立高效的分布式部署方案。例如，可以采用分布式一致性算法來(lái)保證模型訓(xùn)練的一致性；通過(guò)動(dòng)態(tài)負(fù)載均衡策略來(lái)優(yōu)化資源的利用效率；利用高效的通信和同步技術(shù)來(lái)提高模型的訓(xùn)練效率；同時(shí)，需要研發(fā)安全的模型訓(xùn)練和使用策略，以保護(hù)用戶(hù)的數(shù)據(jù)安全和隱私權(quán)益。NETGPT大模型主要部署在網(wǎng)絡(luò)，云端的智算中心，利用集中的算力對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，AI模型訓(xùn)練和驗(yàn)證等，會(huì)對(duì)網(wǎng)絡(luò)的傳輸帶寬帶、性能指標(biāo)等帶來(lái)壓力。而目前終端側(cè)的智能化則由于算力，算法AI機(jī)制，實(shí)現(xiàn)分布與集中處理的融合，提升了數(shù)據(jù)處理、決策推理和資源利用的效率。同時(shí)基于“大規(guī)模預(yù)訓(xùn)練﹢微調(diào)”的范式，使NetGPT做到相對(duì)標(biāo)準(zhǔn)化，成為網(wǎng)絡(luò)AI基礎(chǔ)設(shè)施與底座的能力，賦能網(wǎng)絡(luò)內(nèi)各個(gè)場(chǎng)景，降低網(wǎng)絡(luò)AINetGPT網(wǎng)絡(luò)服務(wù)的優(yōu)化：在網(wǎng)絡(luò)的運(yùn)營(yíng)層基于NetGPT解釋語(yǔ)義信息的能力，未來(lái)的無(wú)線網(wǎng)絡(luò)可以為每個(gè)單獨(dú)的應(yīng)用程序生成一個(gè)專(zhuān)有網(wǎng)絡(luò)，從業(yè)務(wù)等角度提供相應(yīng)的服務(wù)邏輯、網(wǎng)絡(luò)邏輯和網(wǎng)絡(luò)資源。例如利用大模型在自然語(yǔ)言上的強(qiáng)大能力可用于提升智能客服、智能化經(jīng)營(yíng)、智能營(yíng)銷(xiāo)等運(yùn)營(yíng)服務(wù)功能，大模型在自然語(yǔ)言上的成功，啟示了在語(yǔ)音、視覺(jué)等多模態(tài)數(shù)據(jù)上的擴(kuò)展空間，賦能行業(yè)數(shù)字化，改進(jìn)信息通信服務(wù)能力。利用現(xiàn)有大模型的研發(fā)內(nèi)容對(duì)大模型封裝，將各類(lèi)任務(wù)上的推理能力封裝成統(tǒng)一的應(yīng)用程序接口，對(duì)外API模式提供服務(wù)。大模型賦能網(wǎng)絡(luò)運(yùn)營(yíng)可以獲得這些接口，可以利用現(xiàn)有各種大模型即服務(wù)的模式，作為網(wǎng)絡(luò)外部一種服務(wù)，像調(diào)用網(wǎng)絡(luò)的能力更新：由于網(wǎng)絡(luò)中不同的技術(shù)域場(chǎng)景在功能特性、數(shù)據(jù)結(jié)構(gòu)、以及性能需求上都有著明顯的區(qū)別，未來(lái)的網(wǎng)絡(luò)需要持基礎(chǔ)大模型，NetGPT,第三方大模型的原生部署支能力。此外由于參數(shù)數(shù)量巨大，大模型的知識(shí)更新帶來(lái)巨大的計(jì)算開(kāi)銷(xiāo)，需要在考慮NetGPT的增量訓(xùn)練能力，在線學(xué)習(xí)演進(jìn)的能力，實(shí)現(xiàn)在網(wǎng)絡(luò)領(lǐng)域內(nèi)對(duì)模型數(shù)據(jù)進(jìn)行有效的變更，模型的“即時(shí)”更新。例如目前隨著大模型及其相關(guān)技術(shù)的出現(xiàn)和普及，可以在智能運(yùn)維領(lǐng)域智能運(yùn)維相關(guān)AIOps略知識(shí)庫(kù)，不能直接已有大模型，用來(lái)輔助人工，對(duì)實(shí)時(shí)性要求不嚴(yán)格，大模型可以作為一種網(wǎng)絡(luò)內(nèi)部功存在，通信網(wǎng)絡(luò)可以通過(guò)網(wǎng)絡(luò)內(nèi)部接口進(jìn)行交互。網(wǎng)絡(luò)接口/協(xié)議變化：隨著NetGPT的不斷集成融入未來(lái)通信網(wǎng)絡(luò)，基于模型之間的協(xié)作接口（例如基于Token，Prompt）可能取代基于當(dāng)前網(wǎng)絡(luò)中的標(biāo)準(zhǔn)化經(jīng)典字符串接口協(xié)議。通信AI惠的基礎(chǔ)平臺(tái)，也是使能AI網(wǎng)元智能化演變：隨著通信網(wǎng)絡(luò)逐漸演進(jìn)成熟，通過(guò)引入NetGPT將網(wǎng)絡(luò)的事后觸發(fā)優(yōu)化流慢，當(dāng)推理請(qǐng)求的次數(shù)和請(qǐng)求數(shù)據(jù)量過(guò)大時(shí)，API的響應(yīng)時(shí)間和返回?cái)?shù)據(jù)質(zhì)量將難以保證，實(shí)際的反應(yīng)時(shí)較長(zhǎng)，短時(shí)間內(nèi)要獲得大規(guī)模的應(yīng)用和及時(shí)響應(yīng)體驗(yàn)比較困難。需要把大模型功能嵌入已有的應(yīng)用和服務(wù)中，與網(wǎng)絡(luò)架構(gòu)進(jìn)行融合，保證實(shí)時(shí)性，因此NetGPT可能將進(jìn)一步深度融入6GNETGPTAI是為基礎(chǔ)網(wǎng)絡(luò)設(shè)施服務(wù)的NetGPTNetGPT本身的可靠性面臨安全問(wèn)題。大模型很容易出現(xiàn)被攻擊的情況，可能稍微改一改輸入就使得大模型不能正常工作。例如使用簡(jiǎn)單的越獄攻擊（JailbreakingAttack）即可讓大模型解鎖倫理限制，進(jìn)而產(chǎn)生大量誤導(dǎo)性?xún)?nèi)容，給用戶(hù)和服務(wù)商造成危害。另外，大模型特別容易被攻擊者植入一些后門(mén)（backdoor），從而讓NetGPT專(zhuān)門(mén)在某些特定場(chǎng)景下將潛在的網(wǎng)絡(luò)漏洞傳輸給攻擊者，這是非常重要的安全性問(wèn)題，特別是NetGPT面對(duì)是的通信基礎(chǔ)設(shè)施，一旦出現(xiàn)問(wèn)題影響的是人們的基礎(chǔ)生活，甚至造成嚴(yán)重的社會(huì)問(wèn)題。除此之外，此前的研究表明模型越變?cè)酱笾螅瑫?huì)變得越來(lái)越有偏見(jiàn)，越來(lái)越不值得被信任，這些問(wèn)題都需要我們對(duì)大模型進(jìn)行有針對(duì)性的約束。NetGPT的可解釋性對(duì)網(wǎng)絡(luò)安全同樣至關(guān)重要?？山忉屝源碇Ｐ驮诿鎸?duì)同一問(wèn)題時(shí)能夠提供一貫且穩(wěn)定的答案。這一特性對(duì)我們更深入地理解模型行為、快速識(shí)別異常或潛在威脅、并采取必要的預(yù)防措施至關(guān)重要。然而，缺乏可解釋性可能會(huì)導(dǎo)致難以辨別異常行為、誤判漏報(bào)、難以進(jìn)行審計(jì)和驗(yàn)證。例如，異常流量模式或攻擊嘗試等情況。若模型不具備可解釋性，可能會(huì)錯(cuò)失對(duì)某些潛在攻擊的發(fā)現(xiàn)，或?qū)⒑戏ɑ顒?dòng)誤報(bào)為異常。另外，基礎(chǔ)模型的可解釋性對(duì)下NetGPT等模型時(shí)，確保模型具備良好的可解釋性至關(guān)重要。這不僅有助于提高模型的可信度，還能幫助分析人員深入了解模型行為，并及NetGPT的隱私問(wèn)題包含訓(xùn)練數(shù)據(jù)泄露和用戶(hù)輸入數(shù)據(jù)泄露兩個(gè)方面。一方面，NetGPT會(huì)使用大量的網(wǎng)絡(luò)數(shù)據(jù)和網(wǎng)絡(luò)基礎(chǔ)服務(wù)設(shè)施數(shù)據(jù)等，這些數(shù)據(jù)中可能包含潛在的隱私或者網(wǎng)絡(luò)漏洞，攻擊者通過(guò)鏈?zhǔn)教釂?wèn)（Chain-of-Thoughtprompting）即可能獲取訓(xùn)練數(shù)據(jù)中的敏感信息，這可能給網(wǎng)絡(luò)以及數(shù)據(jù)提供方帶來(lái)難以估量的威脅。另一方面，用戶(hù)在使用NetGPT的過(guò)程中，會(huì)暴露自身的隱私和敏感數(shù)據(jù)。因?yàn)橛脩?hù)必須上傳自己的數(shù)據(jù)或者提示詞(Prompt)給大（Inference）務(wù)商和網(wǎng)絡(luò)攻擊者的多種威脅。例如OpenAIChatGPT息、對(duì)話相關(guān)的所有內(nèi)容、互動(dòng)中網(wǎng)頁(yè)內(nèi)的各種隱私信息（Cookies、日志、設(shè)備信息等），這些信息可能會(huì)被共享給供應(yīng)商、服務(wù)提供商以及附屬公司。目前全球范圍內(nèi)發(fā)生了多起因使用ChatGPT20233此后AppleChatGPT。美國(guó)政府與OpanAI簽訂條款禁止其在服務(wù)期間收集政府?dāng)?shù)據(jù)，此外多國(guó)監(jiān)管機(jī)構(gòu)亦先后宣布將關(guān)注大模型帶來(lái)的數(shù)據(jù)安全風(fēng)險(xiǎn)。即便服務(wù)商不會(huì)收集用戶(hù)數(shù)據(jù)，惡意攻擊者也會(huì)通過(guò)諸如數(shù)據(jù)偷取攻擊（Prompt-stealingattack）等手段非法竊取用戶(hù)數(shù)據(jù)。當(dāng)前大模型還缺少執(zhí)行標(biāo)準(zhǔn)以及安全約束，當(dāng)我們談到NetGPT時(shí)，尤其是面對(duì)未來(lái)NETGPT大模型的訓(xùn)練需要使用到大量的數(shù)據(jù)，并且是高質(zhì)量的數(shù)據(jù)。ChatGPT和Llama的訓(xùn)練語(yǔ)料都達(dá)到了T級(jí)別。相比于自然語(yǔ)言，網(wǎng)絡(luò)大模型需要的網(wǎng)絡(luò)數(shù)據(jù)難獲取的多，除了因特性網(wǎng)上的基礎(chǔ)語(yǔ)料外，很多數(shù)據(jù)需要從網(wǎng)絡(luò)系統(tǒng)中獲取，其面臨的挑戰(zhàn)也就大得多。為此，我們需要從網(wǎng)絡(luò)設(shè)計(jì)上原生的為網(wǎng)絡(luò)大模型提供數(shù)據(jù)支持NetGPT的是RAN側(cè)的調(diào)度數(shù)據(jù)或者資源管理數(shù)據(jù)，有的是更高層的統(tǒng)計(jì)數(shù)據(jù)。這些數(shù)據(jù)的特征維度差異非常大，甚至有的是結(jié)構(gòu)化數(shù)據(jù)，有的是非結(jié)構(gòu)化數(shù)據(jù)。有的數(shù)據(jù)自于不同的源，但是表征相似的內(nèi)容，比如對(duì)于某個(gè)用戶(hù)的業(yè)務(wù)量，可以來(lái)自于端側(cè)的業(yè)務(wù)統(tǒng)計(jì)，網(wǎng)絡(luò)在調(diào)度時(shí)授權(quán)的空口流量，或者是管理面上利用話統(tǒng)得到的統(tǒng)計(jì)流量等，因此網(wǎng)絡(luò)需要保證所有數(shù)據(jù)的一致性和正確性。大規(guī)模數(shù)據(jù)的分布式部署和實(shí)時(shí)供給。網(wǎng)絡(luò)中的核心網(wǎng)設(shè)備、基站以及終端設(shè)備上都會(huì)存儲(chǔ)各自的數(shù)據(jù)，網(wǎng)絡(luò)需要為這些碎片化的數(shù)據(jù)建立一套統(tǒng)一的管理體系，在進(jìn)行NetGPT訓(xùn)練和推理是能夠快速便捷的獲取到相應(yīng)的數(shù)據(jù)。特別是在一些對(duì)實(shí)時(shí)性能要求高的場(chǎng)景下，如MAC的資源調(diào)度，空口的波束賦形等，對(duì)于模型的更新效率和推理時(shí)延都有著QoS要求，數(shù)據(jù)供給作為關(guān)鍵一環(huán)將直接影響到最后的性能表現(xiàn)。另外，NetGPT是會(huì)出現(xiàn)大量并發(fā)運(yùn)行的，這網(wǎng)絡(luò)知識(shí)圖譜的構(gòu)建。為了提供更加可靠的服務(wù)，一種有效的方案是讓NetGPT與知NETGPT由于網(wǎng)絡(luò)領(lǐng)域?qū)Υ_定性，可靠性，正確性高度要求，如何對(duì)NetGPT進(jìn)行全面、客觀的評(píng)判成為了一個(gè)亟待解決的問(wèn)題，對(duì)NetGPT的發(fā)展至關(guān)重要。一方面通過(guò)對(duì)NetGPT性能的評(píng)測(cè)，可以為NetGPT優(yōu)化和改進(jìn)提供有力依據(jù)，提高其應(yīng)用效果和商業(yè)價(jià)值。另一方面NetGPT評(píng)測(cè)可以作為基準(zhǔn)，了解不同廠商提供的NetGPT的性能和適用性，促進(jìn)網(wǎng)絡(luò)與大模型技術(shù)的發(fā)展和應(yīng)用。此外，NetGPT評(píng)測(cè)還可以促進(jìn)不同領(lǐng)域研究者的技術(shù)交流和合作，共同推動(dòng)網(wǎng)絡(luò)人工智能技術(shù)的發(fā)展。為了保證評(píng)測(cè)技術(shù)方案的整體實(shí)用性、均衡性和系統(tǒng)性，可以包含指標(biāo)，方法，手段幾個(gè)方面的評(píng)判維度：網(wǎng)絡(luò)場(chǎng)景領(lǐng)域特征評(píng)判?，F(xiàn)有評(píng)判方法如準(zhǔn)確率Accuracy（反映模型正確預(yù)測(cè)樣本的比例），F(xiàn)1Score（綜合考察精確率（Precision）和召回率（Recall），兼顧模型在正類(lèi)樣本上的預(yù)測(cè)準(zhǔn)確性和覆蓋率，EM（ExactMatch，模型生成的答案與參考答案是否完全相同），BLEU（BilingualEvaluationUnderstudy，用于衡量語(yǔ)言模型生成文本與參考文本之間的相似度的預(yù)測(cè)準(zhǔn)確性和覆蓋率）等是評(píng)估大模型性能的重要指標(biāo)。NetGPT除了以上問(wèn)題，需要針對(duì)網(wǎng)絡(luò)領(lǐng)域特征制定一套更為全面的評(píng)測(cè)體系，更具有針對(duì)性較強(qiáng)的評(píng)估指標(biāo)，如功能正確性、任務(wù)成功率、問(wèn)題的推理鏈長(zhǎng)度和多輪推理等。這些特定指標(biāo)結(jié)合起來(lái)有助于對(duì)模型在特定網(wǎng)絡(luò)NetGPT的能力。而對(duì)于網(wǎng)絡(luò)專(zhuān)業(yè)領(lǐng)域任務(wù)，需要關(guān)注模型對(duì)領(lǐng)域特定術(shù)語(yǔ)、概念和NetGPT場(chǎng)景泛化性評(píng)判：雖然某些語(yǔ)言大模型在很多任務(wù)上已經(jīng)達(dá)到或超過(guò)了人類(lèi)的水平，但是通信區(qū)別與語(yǔ)言領(lǐng)域有所區(qū)別，相對(duì)比較封閉，能公開(kāi)獲取的標(biāo)注數(shù)據(jù)更少，如在NetGPT安全性評(píng)判：網(wǎng)絡(luò)攻擊者可能會(huì)利用特定數(shù)據(jù)來(lái)攻擊NetGPT，或者破壞模型的性能。對(duì)抗性攻擊是一種常見(jiàn)的攻擊類(lèi)型，通過(guò)向網(wǎng)絡(luò)模型輸入有意制造的數(shù)據(jù)或惡意樣本來(lái)欺騙模型或破壞模型的性能。面對(duì)以上問(wèn)題，需要考慮如何防范各種攻擊模型，并設(shè)計(jì)相應(yīng)任務(wù)來(lái)評(píng)估NetGPT為了評(píng)判方法的合理性，需要設(shè)計(jì)覆蓋全周期、全要素的工程化，包括訓(xùn)練推理，要素權(quán)重、綜合目標(biāo)等評(píng)判方法。在具體的評(píng)價(jià)方法上，NetGPT可以采用以下兩種方式：客觀評(píng)測(cè)：是大模型評(píng)測(cè)中常用的方法之一，適用于對(duì)NetGPT性能進(jìn)行定量評(píng)估，具有客觀性、可重復(fù)性和高效性等優(yōu)點(diǎn)。可以直接通過(guò)程序?qū)崿F(xiàn)自動(dòng)化評(píng)測(cè)，從而提高評(píng)測(cè)的效主觀評(píng)價(jià)：相比之下，更依賴(lài)于網(wǎng)絡(luò)領(lǐng)域的專(zhuān)家的經(jīng)驗(yàn)和判斷，對(duì)NetGPT的表現(xiàn)進(jìn)行主觀評(píng)估和比較。通常包括內(nèi)容有效性、邏輯性和規(guī)范性等，以確定NetGPT優(yōu)缺點(diǎn)和改進(jìn)方向，可以提供更加全面和深入的評(píng)估結(jié)果，彌補(bǔ)客觀評(píng)測(cè)的局限性，但需要大量的時(shí)間和人工資源。此外，還需要提出適用不同階段、精準(zhǔn)和效率兼顧的評(píng)判手段，如高精度網(wǎng)絡(luò)仿真平臺(tái)、數(shù)字孿生網(wǎng)絡(luò)、網(wǎng)管統(tǒng)計(jì)等。NETGPTNetGPT的訓(xùn)練所需數(shù)據(jù)規(guī)模更大、模型復(fù)雜度更高、算力開(kāi)銷(xiāo)更多，這對(duì)各場(chǎng)景下NetGPT的生命周期管控與編排提出了更高要求。首先，NetGPT的全生命周期管理將面臨模型的拆分與聚合、模型的更新與維護(hù)，以及NetGPT大模型的分布式管理。一方面，大模型訓(xùn)練所需數(shù)據(jù)呈現(xiàn)高維度，大規(guī)模，多數(shù)據(jù)源的特點(diǎn)；另一方面，大模型的訓(xùn)練對(duì)算力的需求巨大。因此，在部分場(chǎng)景下需要將NetGPT進(jìn)行拆分以進(jìn)行分布式的部署與訓(xùn)練。根據(jù)大模型的功能、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)分布與特征，需要對(duì)NetGPT拆分為多個(gè)子模型或?qū)⒆幽Ｐ瓦M(jìn)行聚合的過(guò)程進(jìn)行統(tǒng)一的管理。在這個(gè)過(guò)程中，可能涉NetGPT知識(shí)產(chǎn)權(quán)保護(hù)。網(wǎng)絡(luò)中部署的大模型可能來(lái)自于不同的廠商，部分NetGPT