構(gòu)建網(wǎng)絡(luò)大模型NetGPT的思考與實(shí)踐-華為無線研究部報(bào)告-張宏綱-09-22

第0頁構(gòu)建網(wǎng)絡(luò)大模型NetGPT的思考與實(shí)踐張宏綱李榮鵬,趙志峰,陳先福(1)之江實(shí)驗(yàn)室,（2）浙江大學(xué),(3)VTT2023年9月22日①大模型LLM理論、架構(gòu)和算法研究近期值得關(guān)注進(jìn)展②通信網(wǎng)絡(luò)與大模型LLM的融合與協(xié)同–海內(nèi)外研究進(jìn)展③構(gòu)建網(wǎng)絡(luò)大模型NetGPT的思路與實(shí)踐–云邊協(xié)同部署④構(gòu)建網(wǎng)絡(luò)大模型NetGPT的再思考與展望–物理層語義I①大模型LLM理論、架構(gòu)和算法研究近期值得關(guān)注進(jìn)展北大、北航等機(jī)構(gòu)的研究人員，通過理，成功讓GPT-4科學(xué)領(lǐng)域的一顆明珠?，F(xiàn)在大語言模型開始用于數(shù)學(xué)定理證州圣巴巴拉大學(xué)、德克薩斯大學(xué)奧斯汀分校的一群研究者研建了一個(gè)LLM定理證明的交互499TransformerTransformer②通信網(wǎng)絡(luò)與大模型LLM的融合與協(xié)同-海內(nèi)外研究進(jìn)展[2307.07359v1]FromMultilayerPerceptrontoGPT:AReflectiononDeepLearningResearchforWirelessPhysicalLayer()WirelessCommunications,March2017.PipelineforAdaptingLLMto3GPPTechnicalLinaBariah,HangZou,QiyangZhao,BelkacemMouhouche,FaouziBader,andMerouaneDebbah,“UnderstandingTelecomLanguageThroughLargeLanguageModels,”arXiv:2306.07933v1,9Jun2023.③構(gòu)建網(wǎng)絡(luò)大模型NetGPT的思路與實(shí)踐-云邊協(xié)同部署將模型從云端卸載將模型從云端卸載至邊緣拆分模型部署在云端和邊緣協(xié)同完成任務(wù)Services”,arXivpreprintarXiv:2307.06148,July2023.TransformerTransformerServices”,arXivpreprintarXiv:2307.06148,July2023. r rdindin Inputs大模型參數(shù)匯總及微調(diào)方法-LoRA r rdindin InputsOutputsTransformerOutputsTransformer模型名稱參數(shù)數(shù)量Transformer層數(shù)/頭數(shù)維度GPT-2-base768GPT-2-Medium345M24/16GPT-2-Large774M36/24GPT-2-XL48/32Per-trainedweightPer-trainedweight模型名稱參數(shù)數(shù)量Transformer層數(shù)/頭數(shù)維度LLaMA-7B6.7B32/324096LLaMA-13B40/405120LLaMA-33B32.5B60/526656LLaMA-65B65.2B80/648192models,"arXivpreprintarXiv:2106.09685(2021).adaptation(LoRA)方法是一種針對大型語言模型的輕量級微調(diào)方法。>主要思想是在模型權(quán)重旁邊增加一個(gè)旁路,模擬一個(gè)小的內(nèi)秩，減少下游任務(wù)的可訓(xùn)練參數(shù)的數(shù)量。>對LLaMA-7B時(shí)，對VRAM的需求從112GB下降到28GB，使得消費(fèi)級硬件能夠承受。I大模型特征對比及參數(shù)匯總云邊協(xié)同部署大模型NetGPT的工作流程Services”,arXivpreprintarXiv:2307.06148,July2023.I云邊協(xié)同部署大模型NetGPT的示例及其性能Services”,arXivpreprintarXiv:2307.06148,July2023.I云邊協(xié)同部署大模型NetGPT的示例–邊緣大模型預(yù)測>將業(yè)務(wù)（電影）請求數(shù)據(jù)轉(zhuǎn)寫成特定模板的自然語言敘述的事實(shí)，模型根據(jù)自然語言確認(rèn)指定的時(shí)間間隔中指定的電影是否被請求，生成分類的序列，計(jì)算準(zhǔn)確率。>實(shí)驗(yàn)證明網(wǎng)絡(luò)邊緣LLM具有一定的預(yù)測能力，在稀疏性較高的數(shù)據(jù)上對比傳統(tǒng)預(yù)測方式有一定優(yōu)勢。Services”,arXivpreprintarXiv:2307.06148,July2023.>意圖驅(qū)動(dòng)網(wǎng)絡(luò)是通過理解用戶的意圖、實(shí)現(xiàn)服務(wù)和操作自動(dòng)化的技術(shù)，在多種應(yīng)用場景有廣闊的前景。>示例中邊緣網(wǎng)絡(luò)大模型用于建立網(wǎng)絡(luò)連接，從不同描述意圖的自然語言中提取出信息，進(jìn)行網(wǎng)絡(luò)連接的建立。在實(shí)驗(yàn)中模型展現(xiàn)出超越關(guān)鍵詞提取的能力，可以理解一部分單詞的語義并作出判arXivpreprintarXiv:2307.06148,July2023.大語言模型（LargeLanguage地與人類意圖交互，其個(gè)性化發(fā)展有助于進(jìn)一步推動(dòng)其與通信網(wǎng)針對個(gè)性化的生成式服務(wù)，由于云邊協(xié)同部署大模型有助于有效編排異構(gòu)分布式通信和計(jì)算資源，與基于云端的大語言模型相比，云邊協(xié)同大模型（邊緣云計(jì)算）Y.Shen,etY.Shen,et.al.“Hugginggpt:SolvingAItaskswithChatGPTanditsfriendsinhuggingface,”/abs/2303.17580,March2023.大模型的耦合更新方式；橫[2307.07359v1]FromMultilayerPerceptrontoGPT:A[2307.07359v1]FromMultilayerPerceptrontoGPT:AReflectiononDeepLearningResearchforWirelessPhysicalLayer()I基于注意力機(jī)制的Transformer結(jié)構(gòu)與算法TransformerTransformer注：圖片來自網(wǎng)上下載TransformerTransformerTransformerSemanticReceiverwithJointSemanticDecoder&ChannelDecoderSemanticTransmitterwithJointSemanticEncoder&ChannelCodingFromSemanticReceiverwithJointSemanticDecoder&ChannelDecoderSemanticTransmitterwithJointSemanticEncoder&ChannelCodingBasedonTransformer&AttentionMechanismPHYCommunicationChannelCommunicationsSociety(OJCOMS),July2022.communicationfromsemantiMay2022.Reference:“LearningSemantics:AnOpportunityforEffective6GCommunications” Transformer-basedTransceiverMulti-HeadAttentionModuleTransformer-basedReceiverBitRateControlinSemanticCommunicationwithTransformer-basedReceiverIntegratedIncrementalKnowledge-basedHARQTransformer-basedTransmitterThewholeintegratedend-to-endsemanticcommunicationsystemwithJSCC(jointsource-channelcoding)andsemanticbitratecontrolschemesbasedonhybridautomaticrepeatrequest(HARQ)CommunicationsSociety(OJCOMS),July2022.KnowledgeEnhancedSemanticCommunicationReceiver(HowKnowledgeWorksHere?)SemanticCommunicationRece------>Multi-HeadAttentionModule------>Multi-HeadAttentionModuleReceiver(cont.)Transformer-basedKnowledgeExtraction40414142MassiveMIMOProcessingtoSemanticCommunication”TransformerTraditionalandTransformer-basedsignalprocessingarchitectureformassiveMIMOsystemsCommunication,”IEEEWirelessCommunications,November2022.43TransformerTransfo