2024 全球6G技術(shù)大會(huì) -10.0B 語義通信白皮書

摘要期望的方式影響系統(tǒng)行為的問題。通過對信息語義的提取、編碼和提升通信效率。隨著新一代通信技術(shù)和人工智能技術(shù)的蓬勃發(fā)全息通信、智能制造等領(lǐng)域展現(xiàn)出廣闊的應(yīng)用前景，受到了全球本白皮書全面介紹了語義通信的基本原理、技術(shù)模塊、應(yīng)在為語義通信在下一代無線網(wǎng)絡(luò)中的應(yīng)用提供參考和指導(dǎo)。白皮書關(guān)鍵模塊，包括語義知識庫構(gòu)建、語義信道聯(lián)合編解碼、語義信息兼容性，為讀者提供了深入了解語義通信技術(shù)的基礎(chǔ)。進(jìn)一步探討通信系統(tǒng)架構(gòu)，同時(shí)研究了抑制語義噪聲的方法，為實(shí)現(xiàn)多模態(tài)多合視角。白皮書還關(guān)注了語義通信與其他網(wǎng)絡(luò)的結(jié)合，包括數(shù)字通布式網(wǎng)絡(luò)、安全網(wǎng)絡(luò)以及衛(wèi)星網(wǎng)絡(luò)等，旨在實(shí)現(xiàn)高效、可靠和智能分析了語義通信的現(xiàn)有和潛在應(yīng)用場景，并探討了相關(guān)的挑戰(zhàn)，同目錄 1 6 8 8 82.1.2面向語義通信的語義知識庫結(jié) 10 11 12 14 14 15 16 172.3.2應(yīng)對現(xiàn)代通信挑戰(zhàn)：語義信息傳輸系統(tǒng) 18 20 202.4.2語義通信與經(jīng)典通信系統(tǒng)的分層 25 28 28 31 35 37 37 37 38 40 41 41 42 43 46 46 47 49 49 49 51 52 53 53 54 55 57 57 59 61 64 67 67 68 69 70 70 71 73 74 74 75 76 78 79 79 81 82 83 83 84 86 86 87 88 89 89 92 94 98 98 99 100 100 100 101 101 103 103 105 106 107 108 109 109 111 112 114 115 1241.語義通信概述被提出，但一直以來由于技術(shù)水平和場景需求的限制，人們更注重于語法通信。然而，隨著通信技術(shù)的迅猛進(jìn)步，傳統(tǒng)通信系統(tǒng)的容量已經(jīng)逐漸接近香農(nóng)隨著人工智能技術(shù)的發(fā)展和6G網(wǎng)絡(luò)中對通信智能化需求的增長，語義通信再次成為熱門語義通信是一種全新的通信范式，可以在語義層面解決信息將信息含義的理解環(huán)節(jié)部分或全部移到發(fā)送端，從而減少傳輸量，降信與傳統(tǒng)通信的區(qū)別如下：第一是信息的表征方式，語義通信面向通號表征升級為語義特征，使信源內(nèi)容的語義特征提取和理解移到發(fā)送評價(jià)準(zhǔn)則。語法通信通常以誤符號率、丟包率等指標(biāo)衡量服務(wù)質(zhì)量，驗(yàn)等主觀質(zhì)量。根據(jù)場景和任務(wù)不同，語義通信采用客觀的語義準(zhǔn)確質(zhì)量來共同定義服務(wù)質(zhì)量。與傳統(tǒng)通信相比，語義通信系統(tǒng)有更高的輸重要的語義信息而不是全部信息，因此語義通信對傳輸帶寬需求較靠性和傳輸容量，進(jìn)而提升無線傳輸效率。同時(shí)，原始信息的重建需語義通信的系統(tǒng)模型如下圖所示，語義通信主要關(guān)注信源內(nèi)構(gòu)，以及基于語義的無線傳輸。關(guān)鍵環(huán)節(jié)包括知識庫構(gòu)建在理論方面，語義通信研究主要受到香農(nóng)信息論的啟發(fā)，通過用邏法已成功應(yīng)用于不同類型的信源。語義通信在多媒體通信、增2.語義通信關(guān)鍵模塊2.1語義知識庫2.1.1語義知識庫使能的現(xiàn)代語義通信傳統(tǒng)通信系統(tǒng)已趨近于香農(nóng)理論極限，因此迫切需要新的通信技術(shù)的一種內(nèi)生智能的新型類腦信息交互機(jī)制，其語義元素提取、識別、理與人類間信息傳輸表達(dá)類似。在傳統(tǒng)通信中，信源符號將按照預(yù)設(shè)的碼流中，其映射函數(shù)基于實(shí)踐經(jīng)驗(yàn)與準(zhǔn)確的數(shù)學(xué)模型進(jìn)行設(shè)計(jì)。在語基于人工智能算法的編碼系統(tǒng)映射到基于語義基（Seb）的語義流中，其映射函數(shù)的確立傳統(tǒng)通信在符號比特流的基礎(chǔ)上進(jìn)行信號處理，與傳統(tǒng)通信方式?jīng)]有明確的定義。廣義上來說，所有從源信息提取的語義不過，不同方法提取的語義特征或者不同形式的語義特網(wǎng)絡(luò)模型，可以為數(shù)據(jù)信息提供相關(guān)的語義知識描述。如圖2.1所示，面視頻等）、信道傳輸環(huán)境（如傳輸中障礙物位置與形狀信息、智能任務(wù)需求（如圖片分類、三維重建、語義分割等）提供多層級語義知識表征[1]。在端到端的語義通信中，發(fā)送端根據(jù)所具備的信源、信道、任務(wù)知識的多層級語義知識描述、傳輸環(huán)境的信道語義估計(jì)、下游任務(wù)要發(fā)送的信息進(jìn)行語義信道聯(lián)合編碼；在接收端，則根據(jù)在接語義知識庫促進(jìn)了語義通信的發(fā)展。例如，當(dāng)前基于深度學(xué)習(xí)的信源-信道聯(lián)合編解碼方法需要針對其面向的特定任務(wù)，基于大規(guī)模的相關(guān)數(shù)據(jù)，進(jìn)行適的通信模型。這種對于數(shù)據(jù)與時(shí)間資源的高消耗特性阻礙了深度信源-信道聯(lián)合編碼的推廣。而語義知識庫作為一種先驗(yàn)知識，為語義通信提供了高效且有效加速信源信道-聯(lián)合編解碼網(wǎng)絡(luò)的訓(xùn)練，減少為了各具體通信任務(wù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)對下一代無線通信技術(shù)面臨更復(fù)雜多樣的通信能體進(jìn)行互聯(lián)的場景需求將大量增加。通過語義知識庫進(jìn)行知識共享將有助于人-機(jī)-物的高效互聯(lián)網(wǎng)絡(luò)建立起統(tǒng)一的知識背景，從而提升異構(gòu)協(xié)議智能體之同語義通信協(xié)議的智能體對語義基的定義與表征存在很大差異，而度上應(yīng)對跨協(xié)議語義通信時(shí)，語義基規(guī)范不統(tǒng)一、物理層信號規(guī)范夠大的語義知識庫能夠涵蓋關(guān)于各協(xié)議對語義基和信號的表征規(guī)范義通信的異構(gòu)智能體，可以有效幫助智能體完成面向具體任務(wù)的訓(xùn)識庫還可以靈活的更新或增添編解碼組件，而無需對智能體行刪改。通常，語義知識庫部署在邊緣服務(wù)器中，異構(gòu)前從語義知識庫中申請加載相應(yīng)的語義知識即可，通語義知識庫為語義通信中語義元素的提取、識別、傳輸、理識背景和存儲搜索服務(wù)。語義知識庫定義了高效的搜索空間了語義通信的靈活性，為語義通信在更多通信場景下的應(yīng)用2.1.2面向語義通信的語義知識庫結(jié)構(gòu)體系我們首先介紹語義知識庫的結(jié)構(gòu)，包含語義知識庫的接口及內(nèi)部的組織形式（如圖考慮簡單的信源與信宿共享相同知識庫的情形，信源端利用及信道的語義知識用于指導(dǎo)編碼和傳輸，信宿端會(huì)利用知識庫對接這其中關(guān)鍵的一步是如何從知識庫中獲取所需的知識，我們將該過于我們使用語義特征向量的形式表征不同模態(tài)信號源的語義知識，口處理不同模態(tài)信號源的知識檢索，保證了語義庫接口的一致性與輸入：語義知識類型（信源、任務(wù)、信道三種之一）以及數(shù)據(jù)源信息（如數(shù)字、字）；輸出：一個(gè)列表，含有多組語義向量。該列表描述了輸入信號例如，對于信源語義知識檢索，輸入一張圖像，返回多組語知識庫中將包含三類子語義知識庫，分別是信源儲了若干組根據(jù)數(shù)據(jù)源與目標(biāo)任務(wù)預(yù)先構(gòu)造的語義基，以及可用于實(shí)計(jì)算模型。在輸入新的數(shù)據(jù)源進(jìn)行語義知識檢索時(shí)，若已有的語義基將直接利用已有的語義基對輸入數(shù)據(jù)源進(jìn)行表征，返回語義知識向量滿足通信任務(wù)需求，將利用計(jì)算模型實(shí)時(shí)構(gòu)造符合需求的語義基對輸2.1.3語義知識庫的構(gòu)建方法第一類方法基于知識圖譜構(gòu)建語義知識庫。針對文本傳輸，文獻(xiàn)[2]使用描述語義信息的三元組（包含頭部實(shí)體、關(guān)系、尾部實(shí)體）構(gòu)建語義知識圖譜語義知識庫用于指導(dǎo)文本傳輸中語義編解碼設(shè)計(jì)。針對語音傳輸，文獻(xiàn)[3]提出了基于知識圖譜的多層級結(jié)構(gòu)的語義知識庫基礎(chǔ)模型，以及包含語義表達(dá)和的語義知識庫構(gòu)建方法。針對圖數(shù)據(jù)傳輸，文獻(xiàn)[4]提出了由顯式語義、隱式語義以及與用戶相關(guān)的知識推理機(jī)制組成的多層級語義表征方法，并且基于模語義推理機(jī)制進(jìn)行訓(xùn)練以保證與發(fā)送端推理機(jī)制一致，有效降低了文獻(xiàn)[4]進(jìn)一步針對語義知識庫使能的異構(gòu)網(wǎng)絡(luò)，基于聯(lián)邦圖神經(jīng)網(wǎng)絡(luò)方法提出了各移動(dòng)邊緣服務(wù)器協(xié)同推理機(jī)制，從而使得各服務(wù)器可基于分布式語義信第二類方法以帶標(biāo)簽的訓(xùn)練數(shù)據(jù)集作為知識庫。當(dāng)需要傳輸?shù)慕y(tǒng)計(jì)特性分布不同時(shí)，文獻(xiàn)[5]利用遷移學(xué)習(xí)中的領(lǐng)域自適應(yīng)技術(shù)，降低了數(shù)據(jù)差異對模型泛化性能的影響，使得信道編解碼方案能夠更好的適應(yīng)目標(biāo)領(lǐng)第三類方法基于深度學(xué)習(xí)模型提取的特征向量作為語義知識庫。文獻(xiàn)[6]定義一組有限離散語義基向量集合為語義知識庫，通過端到端聯(lián)合訓(xùn)練獲庫。文獻(xiàn)[7]設(shè)計(jì)了一個(gè)新型的掩碼向量量化自編碼器（VQ-VAE獲得編解碼器和離散碼本。得益于碼本的使用，在減少傳輸開第四類方法基于預(yù)訓(xùn)練大模型作為語義知識庫。文獻(xiàn)[8]提出了一種基于預(yù)訓(xùn)練語言模型的語義重要性感知通信方案，基于量化的語義重要性，他們研功率分配。文獻(xiàn)[9]提出一個(gè)基于大模型的多模態(tài)語義通信框架。該方法提出基于多模態(tài)語言模型的多模態(tài)對齊，并提出了一個(gè)個(gè)性化的大語言模型語義知綜上所述，基于知識圖譜、帶標(biāo)簽的訓(xùn)練數(shù)據(jù)集、特2.1.4語義知識庫對語義通信的支撐示例能簡化通信領(lǐng)域至關(guān)重要的課題之一。本節(jié)將圍繞智簡通信對于輕量高效的需求，介紹一如圖2.3所示，設(shè)計(jì)多層級特征編碼器。首先，為了彌合視覺與語義特征分布的差異性，基于條件主標(biāo)簽空間轉(zhuǎn)換方法，將視覺與語義特征投影到公共低維特征。其次，在潛在公共低維特征監(jiān)督下，分別設(shè)計(jì)視覺/語義自編碼器，訓(xùn)練得到將視覺/語義特征投影至潛在特征的視覺/語義編碼器，以及將潛在特征投影至視覺/語義特征的視覺/語義解碼器。最后，基于所得的多層級語義編碼器，設(shè)計(jì)多層級圖像分類方法，分別在視覺特征空間、語義特征空間、潛在特征空間進(jìn)在零樣本多層級語義編碼器基礎(chǔ)之上，如圖2.4所示，考慮語義知識庫使能的端到端多層級特征傳輸系統(tǒng)，其中發(fā)送端與接收端均部署有語義知識庫與多進(jìn)行通信任務(wù)時(shí)，有四個(gè)傳輸層級可供選擇，分別為視覺特征傳輸、特征傳輸、估計(jì)類別傳輸。決定最終的發(fā)送層級前，發(fā)送端與接收端據(jù)語義層級的抽象程度，從高到低逐層級進(jìn)行是否發(fā)送該層級語義的則退至抽象程度更低一層級的發(fā)送決策，再次進(jìn)行類(1)收、發(fā)端的語義解碼器不一定基于相同的數(shù)據(jù)集經(jīng)過訓(xùn)練得到，故收、發(fā)端各自(2)收、發(fā)端知識庫大小的不同可能會(huì)對語義信息傳輸?shù)慕Y(jié)果以及所需要的傳輸層級造成影響。例如，當(dāng)接收端知識庫包含所有類別語義信息時(shí)，發(fā)送的索引；否則，發(fā)送端需要將估計(jì)到的語義特征或者潛在特征發(fā)送是互相制約的關(guān)系。為了實(shí)現(xiàn)在傳輸時(shí)延約束下最小化語義誤），），庫）均需要仔細(xì)設(shè)計(jì)。該工作證明了語義知識庫驅(qū)動(dòng)下的多層識別任務(wù)的高效實(shí)現(xiàn)起到了至關(guān)重要的作用。通過該工作，我2.2語義-信道聯(lián)合編解碼在傳統(tǒng)通信系統(tǒng)中，信源編碼和信道編碼是兩個(gè)互相分離的模把原始數(shù)據(jù)壓縮為比特流，達(dá)到去冗余的目的。信道編碼的目的是字來達(dá)到抗干擾的目的。在語義通信系統(tǒng)中，傳統(tǒng)的信源編碼和解碼模塊所替代。語義編碼器可以提取數(shù)據(jù)的語義信息，將輸入的信的形式，如語義特征、語義向量等。相比于原始信息來說，傳輸語大減少，因此語義編碼可以有效提升網(wǎng)絡(luò)性能。隨著人工智能的快2.2.2語義信道聯(lián)合編解碼在傳統(tǒng)通信系統(tǒng)中，由于信源編碼和信道編碼技術(shù)已經(jīng)逐漸達(dá)此信源信道聯(lián)合編碼技術(shù)受到了學(xué)術(shù)界的廣泛關(guān)注。信源信道聯(lián)信噪比條件下，為信源編碼分配更多的碼字，用來提高傳輸效率受到信源信道聯(lián)合編碼的啟發(fā)，語義-信道聯(lián)合編碼成為了語義通信系統(tǒng)中最為關(guān)鍵的技術(shù)之一。如圖2.5所示，語義信道聯(lián)合編碼是由兩個(gè)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。深度神經(jīng)網(wǎng)絡(luò)相當(dāng)于自動(dòng)編碼/解碼器，它可以代表各種基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，例如：卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)和Transformer等。通過聯(lián)合訓(xùn)練這兩個(gè)深度神經(jīng)網(wǎng)絡(luò)，語義信道聯(lián)合編碼可以同時(shí)反映信號的語義特征以及傳輸信道的特征效提取語義特征。這也意味著和傳統(tǒng)的分離式設(shè)計(jì)相比，在低信目前，語義-信道聯(lián)合編解碼已成功應(yīng)用于各種通信系統(tǒng)，包括文本、圖片、音頻以定了基礎(chǔ)，并促進(jìn)了面向文本傳輸?shù)穆?lián)合語義通道編碼。為了更好文本之間的相似度，面向單詞和句子的語義相似性指標(biāo)相繼被提出小化語義誤差為優(yōu)化目標(biāo)，基于循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer等模型的語義信道聯(lián)合編碼策略被逐步應(yīng)用于文本傳輸中。隨著基于文本傳輸?shù)恼Z義通估（PESQ）是量化重建音頻信號質(zhì)量的主要度量標(biāo)準(zhǔn)。以最大化感知評估質(zhì)量和最小化失真比為優(yōu)化目標(biāo)的編碼策略以及應(yīng)用于音頻傳輸中。圖像/視頻在多媒體時(shí)代是數(shù)據(jù)流系統(tǒng)中，通信任務(wù)可以是圖片識別或者圖像重建等，其中峰值信噪比（PSNR）是衡量重建圖像與原始圖像相似性的主要指標(biāo)。研究表明，語義信道聯(lián)合道、瑞利衰落信道和萊斯衰落信道中均比傳統(tǒng)編答應(yīng)用之外，基于Transformer模型的多用戶多模態(tài)聯(lián)合編碼策略也開始應(yīng)用到其他智能綜上所述，與傳統(tǒng)的編碼方式相比，語義-信道聯(lián)合編碼展現(xiàn)了更好的、更穩(wěn)定的性能?？偟膩碚f，語義-信道聯(lián)合編碼的增益主要來自兩方面。一方面，基于深度神經(jīng)網(wǎng)絡(luò)的語義編碼器能夠有效提取語義信息，實(shí)現(xiàn)了對原始數(shù)據(jù)的壓縮另一方面，語義信道聯(lián)合編碼器同時(shí)考慮信號的語義以及無線信信環(huán)境進(jìn)行自適應(yīng)的改變。尤其在低信噪比條件下，語義信道聯(lián)2.3語義信息傳輸針對通信系統(tǒng)的信息傳輸，雖然語義通信采用與傳統(tǒng)通信不義信息傳輸同樣受制于傳統(tǒng)通信中普遍存在的約束條件，和網(wǎng)絡(luò)資源的有限性。因此在語義信息傳輸系統(tǒng)中必須應(yīng)對2.3.1語義信息的傳輸與挑戰(zhàn)無線通信環(huán)境中的衰落效應(yīng)具有時(shí)變性，因此變化的衰落信道、不確定的信噪比（SNR）和誤比特率對信息傳輸系統(tǒng)的性能產(chǎn)生影響[11]。傳統(tǒng)信道編碼通常設(shè)計(jì)用于靜態(tài)信道環(huán)境，因此缺乏對動(dòng)態(tài)信道環(huán)境實(shí)時(shí)性的考慮。在某些應(yīng)的語義信息傳輸系統(tǒng)通常針對特定的信噪比設(shè)計(jì)，這導(dǎo)致語義信隨著通信技術(shù)的發(fā)展，大規(guī)模MIMO場景中的基站擁有大量天線，可為多個(gè)用戶設(shè)備提供服務(wù)。MIMO技術(shù)為通信領(lǐng)域帶來了顯著的性能改進(jìn)，然而，其實(shí)現(xiàn)卻需要占用大量存儲空間和計(jì)算資源。大規(guī)模MIMO系統(tǒng)涉及多個(gè)天線和信道，在接收和發(fā)送端需分別處理多個(gè)輸入和輸出流，導(dǎo)致對于系統(tǒng)而言需要更多的存儲器信息、矩陣權(quán)重以及信號處理算法。同時(shí)，面臨挑戰(zhàn)的還包括計(jì)算輸出通道的復(fù)雜矩陣運(yùn)算需要更高的處理能力。在MIMO系統(tǒng)的設(shè)計(jì)和實(shí)施中，必須平衡性能提升與存儲空間、計(jì)算資源的消耗，在從5G過渡到6G的過程中，MIMO天線數(shù)量不斷增加，要最大程度地利用這些天CSI反饋機(jī)制涉及上行資源的數(shù)據(jù)傳輸，而傳統(tǒng)的方法存在一些問題，如基于碼本的方式反饋開銷急劇增加，基于壓縮感知的算法迭代過程通常耗時(shí)較長，行CSI壓縮成為一種解決方案。在這方面，傳統(tǒng)通信采用分離信源信道編碼方式，而基于人工智能的CSI壓縮假設(shè)信道編碼模塊和調(diào)制模塊能夠保證完美傳輸，即可以根據(jù)反2.3.2應(yīng)對現(xiàn)代通信挑戰(zhàn)：語義信息傳輸系統(tǒng)的示例特性，實(shí)現(xiàn)信息傳輸系統(tǒng)信源的自然冗余與信道的統(tǒng)計(jì)特性的匹為了適應(yīng)變化的信道環(huán)境，并針對有限的信道可用傳輸資源，如圖2.6級聯(lián)信源信道編碼資源分配策略在信道條件不佳時(shí)為信道編碼分配更多比特，而為反之亦然。這種級聯(lián)信源信道編碼中的資源分配策略允許在恒定的信佳傳輸。然而，傳統(tǒng)的語法信息傳輸系統(tǒng)通常采用分離的信源信道編自然冗余與信道的統(tǒng)計(jì)特性難以匹配?；谏疃葘W(xué)習(xí)的語義信息傳輸機(jī)制動(dòng)態(tài)調(diào)整與信源編碼功能和信道編碼功能相關(guān)的相應(yīng)子網(wǎng)的大小源中提取特征組，特征組通道間的關(guān)系通過軟性注意力機(jī)制捕獲，并不同的縮放因子，用以增強(qiáng)或減弱該通道的特征與下一層網(wǎng)絡(luò)的連接[13]。語義信息傳輸與深度學(xué)習(xí)的高度組合性使其能夠根據(jù)信道的信噪比自適應(yīng)調(diào)整信在傳統(tǒng)通信中，采用分離信源信道編碼方式。因此，引入深度學(xué)習(xí)的CSI反饋方案主要基于分離源信道編碼方案的通信系統(tǒng)中的信源編碼模塊。如圖2.7所示，該方式下使用的截?cái)喽S離散余弦變換會(huì)導(dǎo)致一些有用的CSI信息被丟棄，并且在后續(xù)過程中無法對這部分?jǐn)?shù)據(jù)進(jìn)行補(bǔ)償[14]。相比之下，語義通信采用的信源信道聯(lián)合編碼方式可以使用非線性變換網(wǎng)絡(luò)替代基于信源編碼的CSI反饋方法中使用的截?cái)喽S離散余弦變換，從與傳統(tǒng)的編解碼方式相比，導(dǎo)致在MIMO場景下多發(fā)送端占用存儲資源的現(xiàn)象，人工智能賦能的語義信息傳輸系統(tǒng)的編碼器可以采用相同的網(wǎng)絡(luò)結(jié)中實(shí)現(xiàn)相同的參數(shù)。在發(fā)射端數(shù)量不同的情況下，接收端網(wǎng)絡(luò)結(jié)可適應(yīng)，由此降低了模型復(fù)雜度，進(jìn)而減少了存儲資源的消耗[15]。這種靈活性和高度可適應(yīng)性使得人工智能驅(qū)動(dòng)的語義信息傳輸系統(tǒng)更為高效且經(jīng)濟(jì)，相比于傳統(tǒng)的分離信源信道編碼，先加密后壓縮策略的加解信息，可能影響聯(lián)合信源信道編碼在加密域進(jìn)行編碼傳輸?shù)男阅?，語義信息傳輸系統(tǒng)耦合。因此，傳統(tǒng)的加密技術(shù)均無法解決深度聯(lián)源隱私保護(hù)問題，借助特征提取網(wǎng)絡(luò)度量視覺安全性，設(shè)計(jì)了保護(hù)端到端的語義信息傳輸系統(tǒng)信息保護(hù)[16]。與傳統(tǒng)的加密方法相比，該保護(hù)方法會(huì)具有更好的信源重構(gòu)性能，同時(shí)對多種端到端的語義信息傳輸綜上所述，語義信息傳輸系統(tǒng)同傳統(tǒng)通信系統(tǒng)一樣面測性和網(wǎng)絡(luò)資源的有限性的問題。同時(shí)由于語義通信系統(tǒng)采用導(dǎo)致傳統(tǒng)分離信源信道編碼的機(jī)制中的CSI反饋的方式和傳輸信息保護(hù)策略不適用于語義通信系統(tǒng)，但是也正因?yàn)檎Z義信息傳輸系統(tǒng)的聯(lián)合信源信道高可組合性，使得它可以更方便地融入到神經(jīng)網(wǎng)絡(luò)中。通過實(shí)統(tǒng)相比傳統(tǒng)通信系統(tǒng)，能更好地自適應(yīng)各種信道條件，使基站的CSI進(jìn)行后續(xù)處理，使多發(fā)送端占用存儲資源減少，使端到端信息傳輸系統(tǒng)具有更為2.4語義通信與現(xiàn)有系統(tǒng)的兼容性語義通信可以大幅壓縮傳輸數(shù)據(jù)帶寬，保留數(shù)據(jù)的語義信息，在未來以“智能體”為通信終端的應(yīng)用場景中具有巨大的研究價(jià)值。但是，如何在現(xiàn)有通信，如何將人工智能（AI）與經(jīng)典通信系統(tǒng)融合，如何打破數(shù)據(jù)信息與語義信息之間的2.4.1語義通信與信源編碼兼容語義通信系統(tǒng)一般基于人工神經(jīng)網(wǎng)絡(luò)（ANN）搭建，直接以圖片或文本作為輸入，進(jìn)行語義編碼。但是，由于ANN架構(gòu)基于概率模型搭建，利用梯度回傳算法進(jìn)行訓(xùn)練，信無法直接與處理二進(jìn)制比特的經(jīng)典編碼融合。為了探索經(jīng)典信源編關(guān)系，研究從數(shù)據(jù)空間到語義空間的映射，需要改進(jìn)現(xiàn)有的語義通信二進(jìn)制比特作為輸入。如圖1所示，是一種數(shù)據(jù)編碼與語義編碼分離實(shí)現(xiàn)系統(tǒng)（SDSC）的架構(gòu)示意圖，簡稱為SDSC系統(tǒng)[17]。該系統(tǒng)在一般的語義編碼器前，添加了數(shù)據(jù)到語義的信源編碼轉(zhuǎn)化模塊，使得數(shù)據(jù)編碼可以作為語義編碼的輸入，語針對文本的信源編碼轉(zhuǎn)化模塊可以考慮幾種不同的方式構(gòu)建絡(luò)實(shí)現(xiàn)轉(zhuǎn)化模塊，此時(shí)需要將不等長的輸入進(jìn)行填充操作，以便絡(luò)的輸入，在后續(xù)輸入語義編碼模塊時(shí)，可以將語義編碼模塊中的Embedding層替換為全連接層，從而實(shí)現(xiàn)信息的最大化傳輸。此外，需要注意的是，概率意義，而信源編碼的碼字，二進(jìn)制比特表示一種變化情況，信源編碼轉(zhuǎn)化模塊時(shí)，需要采用二進(jìn)制比特的出現(xiàn)概率代替01代表信源編碼，這樣相當(dāng)于將比特信息轉(zhuǎn)化為概率信息。之后，經(jīng)過信源編碼轉(zhuǎn)換模塊，詞表大小的編碼，進(jìn)而輸入語義編碼系統(tǒng)中，最終得到語義特征向量經(jīng)過信道被信宿接收，最后通過語義譯碼器可以將其恢復(fù)為碼器可以采用Transformer模塊搭建，/Σ2針對上述SDSC系統(tǒng)的實(shí)驗(yàn)結(jié)果如圖2.9所示，藍(lán)線表示直接接收文本或圖片作為輸入的語義編解碼器通信性能。紅線表示無損Huffman編碼訓(xùn)練的SDSC系統(tǒng)通信性能。黃線表示打亂的Huffman碼字訓(xùn)練的SDSC系統(tǒng)通信性能。藍(lán)線和紅線的性能非常接近，力允許將語義編碼實(shí)用地集成到通信系統(tǒng)分離框架中。此外，與紅著下降，這表明保留語義建模信息對于成功地將經(jīng)典碼字轉(zhuǎn)換為語實(shí)了語義通信系統(tǒng)的部分優(yōu)勢源自自然語言），此外，為了驗(yàn)證部分?jǐn)?shù)據(jù)失真不會(huì)對語義通信系統(tǒng)性能造真，通過將Huffman編碼截短的方式來獲得數(shù)據(jù)失真編碼。為了確定Huffman編碼需要截短的長度，對由語料編碼獲得的所有Huffman碼字進(jìn)行了統(tǒng)計(jì)，結(jié)果如圖2.10所示?？梢钥吹紿uffman碼字的長度主要集中在9-12之間，因此可以將Huffman編碼長度截短為9或者12。此外，為了進(jìn)一步說明語言建模信息對語義編碼的重要性，還選取了截短為6的Huffman編碼。需要注意的是，當(dāng)碼字由于截短喪失了可譯性，其會(huì)被譯碼為圖2.11展示了有損信源編碼可能導(dǎo)致語義通信系統(tǒng)性能下降程度。藍(lán)線表示用無損Huffman編碼訓(xùn)練的SDSC系統(tǒng)的傳輸性能，紅線代表用截短為12比特的失真Huffman編碼訓(xùn)練的SDSC系統(tǒng)的傳輸性能，黃線展示了用9比特失真Huffman編碼訓(xùn)練的SDSC當(dāng)有損編碼仍保留大部分語義建模信息時(shí)，如圖中展示的Huffman編碼截短為12位的情崩潰。但是，當(dāng)截短為9位時(shí)，BLEU依然能夠達(dá)到0.8以上，這代表即便幅度縮減，但是其具有的語義依然是可以理解的。這說明，在語圖2.11采用不同程度的失真數(shù)據(jù)訓(xùn)練，語義通信系統(tǒng)的性能對比。橫軸表示AWGN信道的信噪比SNR，而縱軸代表BLEU度量。展示了使用BLEU1-4綜上所述，SDSC系統(tǒng)能夠接收二進(jìn)制比特作為語義編碼的輸入，從而將經(jīng)典信源編碼與語義編碼進(jìn)行分離實(shí)現(xiàn)，使得語義編碼成為增強(qiáng)信源編碼的附典通信系統(tǒng)的兼容。此外，語義編碼的使用，能夠極大減少經(jīng)典編經(jīng)典信源編碼可以將傳輸數(shù)據(jù)量減少75%以上，而通信雙方仍然在一定程度上可以互相信源編碼截短/bits96節(jié)約數(shù)據(jù)量/百分比20.3%75.6%92.4%2.4.2語義通信與經(jīng)典通信系統(tǒng)的分層架構(gòu)兼容通信與經(jīng)典通信的兼容不止是與經(jīng)典信源編碼和信道編碼的兼容，而是JSCC架構(gòu)與整個(gè)分層結(jié)構(gòu)的兼容。根據(jù)語義編譯碼器在無線通信系統(tǒng)中的功能和網(wǎng)絡(luò)架構(gòu)，不同架構(gòu)存在不同的待解決問題?？傮w而言，越往底如圖2.12所示，為應(yīng)用層兼容語義編譯碼方案。數(shù)據(jù)在應(yīng)用發(fā)送端進(jìn)行語義編碼，并在應(yīng)用接收端進(jìn)行語義譯碼，語義特征在無線通信系統(tǒng)中傳輸，對無線2.5.1節(jié)中的實(shí)驗(yàn)結(jié)果表明，應(yīng)用層兼容語義編譯碼相對較好實(shí)現(xiàn)。但是，也需要空口傳遞給語義模塊相應(yīng)的信道信息，以便于支持語義模塊針對不同信道和信源JSCC設(shè)計(jì)的語義通信系統(tǒng)相同的性能。在此架構(gòu)中，語義編譯碼模塊可以利用邊緣計(jì)算（MEC）架構(gòu)部署在靠近無線接入網(wǎng)（RAN）的位置，并通過網(wǎng)絡(luò)能力開放獲得對無線為了解決上述問題，中興通訊提出了語義通信強(qiáng)耦合合）。強(qiáng)耦合是指語義編譯碼器必須通過信道進(jìn)行端到端的聯(lián)過信道，使得編譯碼器參數(shù)根據(jù)信道參數(shù)進(jìn)行優(yōu)化。弱耦合是可以分開訓(xùn)練，訓(xùn)練時(shí)需要的梯度信息可以通過弱耦合的方式如圖2.13所示，為核心網(wǎng)兼容語義編譯碼方案。在該方案中，由核心網(wǎng)進(jìn)行語義編譯碼，并進(jìn)行知識庫維護(hù)。與應(yīng)用層兼容語義編譯碼方案相比相對獨(dú)立，可以將針對特定應(yīng)用的語義編譯碼和知識庫進(jìn)行維護(hù)，增加了核心網(wǎng)的復(fù)雜度，可能需要部署更多的如圖2.14所示，為RAN高層兼容語但是，與核心網(wǎng)的兼容方案類似，該結(jié)構(gòu)需要RAN能夠跟蹤和解讀用戶語義數(shù)據(jù)，并且需要增加RAN高層的復(fù)雜度。此外，數(shù)據(jù)經(jīng)過多層加密，并針對原始發(fā)送順序進(jìn)行如圖2.15所示，為RAN底層兼容語3.單模態(tài)語義通信近年來，深度神經(jīng)網(wǎng)絡(luò)在自然語言處理，語音信號處理，和計(jì)泛應(yīng)用。這些模型使用預(yù)訓(xùn)練模型在大型通用語料庫上進(jìn)行訓(xùn)練數(shù)據(jù)集成、聚類關(guān)聯(lián)等任務(wù)[18]-[20]。一般來說，系統(tǒng)由一個(gè)發(fā)射器和一個(gè)接收器組成，發(fā)射器的數(shù)據(jù)是單模態(tài)的，這些模型只使用一種信），通信的傳輸效率和誤碼率方面取得了良好的效果。特別是在文本3.1面向文本的語義通信對于6G網(wǎng)絡(luò)，對通信效率高、計(jì)算成本低等智能通信的需求越來越大。這使得研究人員將研究重點(diǎn)放在語義層面的高效傳輸上，并關(guān)注傳輸數(shù)據(jù)于在有限的帶寬和魯棒性、適應(yīng)性和可靠性下最大程度的提高方面，文本語義編解碼器設(shè)計(jì)[21]、文本語義關(guān)聯(lián)挖掘[2]、文本語義通信系統(tǒng)性能優(yōu)化[22]等方面都取得了一定的進(jìn)展，在本節(jié)中，我們總結(jié)了語義通信在文本傳輸方面的相關(guān)語義通信是一種從信源中提取語義信息并對其進(jìn)行編碼以便方法。與傳統(tǒng)的無線通信不同，語義通信不要求接收端的解碼順格一致。它只要求接收端恢復(fù)的語義信息與發(fā)送端傳輸?shù)恼Z義信無差錯(cuò)比特傳輸轉(zhuǎn)變?yōu)楹啙嵉恼Z義傳輸。具體來說，傳統(tǒng)的無線語法編碼傳輸。語義通信是對源傳輸內(nèi)容意義特征的提取、編碼語義通信突破了傳統(tǒng)的比特級傳輸，實(shí)現(xiàn)了語義級傳輸，架計(jì)向集成化設(shè)計(jì)轉(zhuǎn)變。如圖3.1所示，為語義通信的聯(lián)合源信道傳輸體系結(jié)構(gòu)，源信息通過編碼和解碼通過物理信道傳輸。源信息可以是文本、圖片、體系結(jié)構(gòu)相比，語義通信的傳輸體系結(jié)構(gòu)增加了語義層。語義層器和共享知識庫組成。語義層實(shí)現(xiàn)源信息的語義特征提取和接收高效的傳輸和通信，傳輸層用于正確傳輸語義信息。具體來說，器的語義編碼過程，再經(jīng)過信道編碼和物理信道實(shí)現(xiàn)傳輸。最后碼進(jìn)行信息恢復(fù)。語義編碼過程可以通過語義特征提取來及到文本的語義傳輸。Xie等人[24]針對文本信息傳輸提出了基于深度學(xué)習(xí)的語義通信系DeepSC的變體稱為L-DeepSC[25]也用于文本傳輸，這里考慮了一個(gè)云/邊緣平臺執(zhí)行基文本傳輸。通過分析L-DeepSC訓(xùn)練過程中衰落信道在前向傳播和后向傳播中的影響，該助自然語言處理在信道上實(shí)現(xiàn)語義通信，文獻(xiàn)[22]提出了一種基于通用變壓器的新型語義Yan等[26]在DeepSC[27]語義相似性的基礎(chǔ)上，提出了一種稱為語義譜效率(S-SE)的效率度量來表示文本傳輸?shù)膫鬏斝?，并研究了語義感知多用戶通信網(wǎng)對于具有不確定性的通信場景，Zhang等[28]提出了基于深度學(xué)習(xí)感知上下文的語義通信模型，以學(xué)習(xí)語義和上下文特征作為背景知識，通過背景知識可以應(yīng)用確定性的非聯(lián)合設(shè)計(jì)的通信場景，并基于詞性與上下文設(shè)計(jì)編解碼策略，在比特?cái)?shù)和提高傳輸信息與恢復(fù)信息之間的語義準(zhǔn)確性方面是有效和可靠的。在此基礎(chǔ)上Liu等[28]提出了一種擴(kuò)展的基于上下文的語義通信系統(tǒng)。建立了一個(gè)提取和恢復(fù)句子語義特征的模型。該方法將段落的文本作為輸入，并在編碼器對當(dāng)前句子進(jìn)行下文含義以支持語義表示。在解碼過程中，使用先前解碼的信息和當(dāng)前接收擴(kuò)展解碼的輸入。SachinKadam[29]設(shè)計(jì)了一種自動(dòng)編碼器，該編碼器僅傳輸提取的關(guān)鍵字，并使用接收到的關(guān)鍵字利用收發(fā)端共享背景知識進(jìn)行數(shù)據(jù)恢復(fù)，采用該每句傳輸字?jǐn)?shù)。Hu等[30]也基于語境關(guān)聯(lián)理論研究了語義通信，并提出了一個(gè)新框架并將該圖嵌入語義通信框架，通過圖嵌入技術(shù)從事物的交互中產(chǎn)生潛在的語種方法中，他們將語義關(guān)系映射到物聯(lián)網(wǎng)的上下文圖中，實(shí)現(xiàn)完整的語義信文獻(xiàn)[31]針對無線網(wǎng)絡(luò)提出了一種新的語義通信框架，采用基于靜態(tài)學(xué)習(xí)率進(jìn)行策略梯度更新的強(qiáng)化學(xué)習(xí)算法，該算法與注意力網(wǎng)絡(luò)相結(jié)合。在該框架提取了由語義三元組組成的語義信息，并將其傳輸給每個(gè)用戶；收戶使用圖形或文本生成模型恢復(fù)原始文本。在此基礎(chǔ)上，[32]與注意力策略梯度(APG)算在這個(gè)框架中采用結(jié)合注意力網(wǎng)絡(luò)的基于近端策略優(yōu)化的強(qiáng)化學(xué)習(xí)(RL)算法，可以根據(jù)舊策略與更新策略的差異動(dòng)態(tài)調(diào)整學(xué)習(xí)率，從而保證收斂到局部最優(yōu)組語義三元組組成的KG表示，接收方使用圖-文本生成模型恢復(fù)原始文本。Jiang等[33]將知識圖譜引入到語義分析中，傳輸?shù)木渥邮褂肒G轉(zhuǎn)換成三元組，這些三元組被視義提取和還原的基本語義符號，并根據(jù)語義相關(guān)性進(jìn)行排性。Zhou等[33]提出了一種利用知識圖的認(rèn)知語義庫，實(shí)現(xiàn)語義信息的提取和恢復(fù)。[34]是對[2]工作的擴(kuò)展，作者針對單用戶和多用戶語義通信場景提出了兩種認(rèn)知語義通信框架。此外，還通過挖掘知識了一種有效的語義糾錯(cuò)算法，使接收方能夠在語義層面糾錯(cuò)。在為了評估文本的質(zhì)量，多年來已經(jīng)開發(fā)了幾個(gè)語義度率(WER)、雙語評價(jià)替代(BLEU)、基于共識的圖像描述評價(jià)(CIDEr)、語義相似度量3.2面向語音的語義通信語音信號由于其特殊性，不僅包含了語音中獨(dú)有的語音特征話者的音色，情緒等，還包含了說話者所表達(dá)的文字信息，因此Weng等人[35]基于深度學(xué)習(xí)提出了用于語音傳輸?shù)恼Z義通信系統(tǒng)(DeepSC-S)，其聯(lián)合設(shè)計(jì)了語義-信道編碼器用于從原始語音中提取后發(fā)送全局語義信息，并有效抑制無線信道所帶來的失真和衰減，從而在接收端恢復(fù)出于原始語音幾乎完全相同的傳統(tǒng)方法將輸入語音映射成比特序列不同，DeepSC-S通過基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的語義編碼器學(xué)習(xí)語音序列中的全局語義信息，并將其映射成基于浮點(diǎn)數(shù)的語通過信道編碼器轉(zhuǎn)換成可傳輸?shù)姆栃蛄?。DeepSC-S在整個(gè)信號傳輸過程中，不包括比特-符號之間的轉(zhuǎn)換，所以，為了衡量原始語音序列和恢復(fù)的語音序列之間的誤差，采用MSE作為損失函數(shù)訓(xùn)練整個(gè)端到端語義通信系統(tǒng)的網(wǎng)絡(luò)參數(shù)。另外，為了進(jìn)一步對語義信息進(jìn)行分析，DeepSC-S設(shè)計(jì)了基于一種注意力機(jī)制的語義編碼器(SE-ResNet)，其核心是考慮語音序列中的靜音片段和說話片段所攜帶的信息量差異，通過神經(jīng)網(wǎng)到不同語音片段的重要性并分配不同的重要性，并的語音序列的整體準(zhǔn)確性。相比于傳統(tǒng)通信系統(tǒng)，DeepSC-S被證明在語音清晰度恢復(fù)上有很大的提升，從而證明了基于深度學(xué)習(xí)的語音語義通信系統(tǒng)的可行性。另外，DeepSC-S也超越了采用基于深度學(xué)習(xí)的信源編碼級聯(lián)傳統(tǒng)信道編碼，以及基于深度的信源編碼級有效性，和語義-信道聯(lián)合編碼機(jī)制的優(yōu)越性。在DeepSC-S的基礎(chǔ)上，Xiao等人在文獻(xiàn)[36]提出了一種更加高效的語音語義編碼傳輸方(DSST)，其引入了一種非線性變的語音恢復(fù)性能。在DSST中，采用CNN來構(gòu)建主題JSCC架構(gòu)并設(shè)計(jì)了一個(gè)邊緣信息而在文獻(xiàn)[37]中，Zhou等人基于Transformer來構(gòu)建端到端的語音語義傳輸系統(tǒng)(DeepSC-TS),該工作中首先基于CNN對語音序列進(jìn)壓縮，然后采用Transformer來學(xué)習(xí)相關(guān)語義特征，并在接收端設(shè)計(jì)了基于CNN和Transformer的特征重提取器來提取淺層語義特征和面向語音的語義通信系統(tǒng)同樣被用于實(shí)現(xiàn)各種下游智能任信系統(tǒng)同樣被應(yīng)用到面向任務(wù)。對于語音信號，兩個(gè)比較典型的智能任務(wù)是音合成。因此，為了彌補(bǔ)面向任務(wù)的語義通信在語音信源方面的空缺，Weng等人在文獻(xiàn)[38]中提出了用于語音識別和語音合成的語音語義傳輸系統(tǒng)(DeepSC-ST)，其核心在于構(gòu)建一個(gè)強(qiáng)大的語義編碼器來提取語音信號中的文字信息并轉(zhuǎn)換成相應(yīng)的語義特征。DeepSC-ST設(shè)計(jì)了基于CNN+GRU網(wǎng)絡(luò)架構(gòu)的語音編碼器，極大程度地對原始語音進(jìn)行壓縮以過濾到與語音特征相關(guān)的信息，僅保留與文字相關(guān)的語義信息，從而的數(shù)據(jù)量并提升帶寬利用率。并且，在接收端恢復(fù)出準(zhǔn)確的文字相關(guān)語義特個(gè)特征解碼器可以直接獲得用戶所需的文字信息，實(shí)現(xiàn)端到端語音到文字傳語義-信道聯(lián)合編碼的統(tǒng)一訓(xùn)練，作者采用CTC作為損失函數(shù)來衡量系統(tǒng)損失，并采用字錯(cuò)率(WER)和詞錯(cuò)率(CER)來衡量獲得的文字的性能。另外，為提升系統(tǒng)輸出的多樣性且為用戶提供清晰的語音序列，接收端獲得文字被送入到獨(dú)立的語音合成模塊語音序列。因此，通過聯(lián)合語義-信道編碼提取和發(fā)送文字相關(guān)語義特征，DeepSC-ST實(shí)現(xiàn)了用于語音識別和語音合成的語義通信系統(tǒng)。另外，Han等上加入了去冗余模塊和基于額外語義信息提取的對齊模塊，率并提升了語音識別的準(zhǔn)確率。在該方法中，作者采用BLSTM+全連接層的架構(gòu)來構(gòu)建語義編碼器，在接收端基于全連接層來設(shè)計(jì)語義解碼器，并且提出了基于Transfomer的語義糾錯(cuò)器來進(jìn)一步提升語義特征的保真度，實(shí)現(xiàn)高效的語音到合成方面，作者設(shè)計(jì)了基于Transformer的生成對抗網(wǎng)絡(luò)(GAN)的機(jī)制來訓(xùn)練獲得一個(gè)強(qiáng)為了進(jìn)一步拓展面向任務(wù)的語義通信系統(tǒng)在語音信源方面的應(yīng)用。Weng等人[40]構(gòu)建了用于語音到文字翻譯和語音到語音翻譯的語音傳輸系統(tǒng)(TOS-ST)。在該方法中，作者利用Transfomer設(shè)計(jì)了語義-信道聯(lián)合編碼機(jī)制提取深層語義特征，并在接收端首次提出了語義到文字模塊。在語義到文字模塊中，作者利用Transformer編碼器和一個(gè)基于RNN的檢測網(wǎng)絡(luò)構(gòu)建了一個(gè)語義錯(cuò)誤檢測器用于檢測恢復(fù)語音中的受損語義并返回一個(gè)表征向量。然后基于該表征向量，作者利用Transformer解碼器和全連接層設(shè)計(jì)了一個(gè)語義錯(cuò)誤糾錯(cuò)器來修正語義錯(cuò)誤檢測器中所檢測中的受損語義，并采用CE作為損失函數(shù)計(jì)算語義損失并更新語義到文字模塊的所有神經(jīng)網(wǎng)絡(luò)參數(shù)，以此實(shí)現(xiàn)高保真的提升翻譯后的文字的可懂性和準(zhǔn)確性。另外，為了滿足多語言多信源的多樣系統(tǒng)，作者利用多層Transformer構(gòu)建了目標(biāo)文字到目標(biāo)語音的語音合成機(jī)制，為只懂目標(biāo)語言的用戶提供清晰流暢的語音序列。因此，TOS-ST實(shí)現(xiàn)語音到文字的不同信源，以另外，為了使語音語義通信更加適用于到實(shí)際的通信場景，Weng等人[41]設(shè)計(jì)了用對MIMO信道進(jìn)行預(yù)編碼操作，將MIMO信道分解成多個(gè)并行的SISO信道，且基于奇作者根據(jù)預(yù)編碼的MIMO信道采用Transformer和全連接層構(gòu)建了語義-信道聯(lián)合編碼機(jī)制實(shí)現(xiàn)語音到文字的傳輸范式。此外，文獻(xiàn)[41]中首次提出了針對語音信號的語義分析機(jī)制，其核心是將從預(yù)訓(xùn)練的語義編碼器提取的知網(wǎng)絡(luò)進(jìn)行語義分析，并返回一個(gè)重要性向量別出包含重要語義信息的特征向量。最后，結(jié)合MIMO信道分解得到的多個(gè)不同信噪比的SISO信道和訓(xùn)練好的語義覺知網(wǎng)絡(luò)，作者巧妙地設(shè)計(jì)了一個(gè)根據(jù)語義重要性的來對語義特征進(jìn)行分級傳輸?shù)姆椒?。具體來說，傳統(tǒng)息重要性被認(rèn)為是平等分布的，所以將多個(gè)比特序列通過至具有不同信噪比的并行SISO網(wǎng)絡(luò)學(xué)習(xí)得到的重要性向量，將更重要的語義特征分配至具有更高信噪比的SISO信道傳輸，而重要性更低的語義特征被分配至更低信噪比的SISO信道傳輸，這樣來保證接收端3.3面向圖像的語義通信深度學(xué)習(xí)方法在圖像編碼和傳輸方面的潛力。針對圖像信源的語義提取，Gunduz與Kurka等人[42]基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種用于無線圖像傳輸?shù)穆?lián)合源信道編碼(JSCC)技術(shù)，該技術(shù)不依賴于顯式編碼進(jìn)行壓縮或糾錯(cuò)，直接將圖像像素值映射到符號，編碼器和解碼器函數(shù)被建模為互補(bǔ)的卷積神經(jīng)網(wǎng)絡(luò)，并在數(shù)據(jù)集上進(jìn)行以最小化重建圖像的均方誤差，實(shí)現(xiàn)了較好的性能。并在此基礎(chǔ)上研究了將聲信道輸出反饋納入傳輸系統(tǒng)[43]，引入了一種基于自編碼器的JSCC方案，利用信道輸出反饋，并在固定長度傳輸?shù)亩说蕉酥亟ㄙ|(zhì)量方面提供了相當(dāng)大的改進(jìn)。[44]提出了非線性變換信源信道編碼(NTSCC)，該方法能夠與非線性變換下的信源型中，發(fā)送端首先學(xué)習(xí)非線性分析變換，將源數(shù)據(jù)映射到潛在空間，然后通聯(lián)合編碼將潛在表示傳輸給接收端。有效地提取了源語義特征助信息，并且通過在不同分辨率的測試圖像源中，NTSCC傳輸方法的性能總體上優(yōu)于使用標(biāo)準(zhǔn)深聯(lián)合源信道編碼的模擬傳輸和基于經(jīng)典分離的數(shù)字傳輸。[45]提出了一種基于生成對抗網(wǎng)絡(luò)(GANs)的圖像語義編碼方法，其目標(biāo)是語義交換而不是符號傳輸，使用多個(gè)感知度量來訓(xùn)練和評估所提出的圖像語義編碼模型。為了解決傳輸訓(xùn)練數(shù)據(jù)集的統(tǒng)計(jì)特征分布普遍不同這一難題，Zhang等人[46]利用生成式對抗網(wǎng)絡(luò)（GAN）支持的域適應(yīng)（DA）方法，將觀測數(shù)據(jù)轉(zhuǎn)換為類似經(jīng)驗(yàn)數(shù)據(jù)的形式。數(shù)值結(jié)果表明，該方法在圖像傳輸和分類任務(wù)中分別非常有效。在傳統(tǒng)的通編碼器和信道編碼器可以根據(jù)信噪比實(shí)現(xiàn)自適應(yīng)的CR和信道編碼率，從而在有限的帶寬條件下實(shí)現(xiàn)最優(yōu)的性能。為了填補(bǔ)語義通信與傳統(tǒng)通信之間的這一空白，[12]中的作者考慮了一種具有信噪比反饋的點(diǎn)對點(diǎn)圖像傳輸系統(tǒng)，他們將計(jì)算機(jī)視制整合到語義提取中。注意機(jī)制采用額外的神經(jīng)網(wǎng)絡(luò)對原有神經(jīng)網(wǎng)格選擇或?qū)Σ煌奶卣髻x予不同的權(quán)重，該方法具有更高的魯棒性、通用性。[47]提出了一種知識引導(dǎo)語義計(jì)算網(wǎng)絡(luò)(SCN)，該網(wǎng)絡(luò)由一個(gè)主要的知識引導(dǎo)語義樹模塊和一個(gè)輔助的數(shù)據(jù)驅(qū)動(dòng)的輕量級神經(jīng)網(wǎng)絡(luò)模塊組成，用來提取語義信息，語義程快速計(jì)算出分類結(jié)果。輕量級的神經(jīng)網(wǎng)絡(luò)模塊可以幫助語義樹模塊提高分類能力。[48]提出了一種基于壓縮比優(yōu)化的語義通信方法，通過優(yōu)化圖像數(shù)據(jù)的通信延遲，提高數(shù)據(jù)傳輸?shù)目煽啃浴Ｊ紫?，在特征提取階段，該方取關(guān)鍵的視覺特征。隨后，在語義關(guān)系提取階段，我們進(jìn)一步分析系，以了解圖像數(shù)據(jù)的語義內(nèi)容。最后，在語義壓縮階段，我們實(shí)壓縮比的自適應(yīng)優(yōu)化方法。在保證圖像質(zhì)量的同時(shí)實(shí)現(xiàn)了高壓縮率，[5]提出了SC-AIT的人工智能語義通信架構(gòu)并通過通信渠道傳輸，大大提高分類、檢測等圖像處理任務(wù)的執(zhí)行效率。Zhang等[49]開發(fā)了一種用于圖像傳輸?shù)恼Z義通信框架，提出了一種基于值分解的在針對有關(guān)通道反饋的JSCC研究方面，[50]提出了一種基于視覺轉(zhuǎn)換器(ViT)的多輸入多輸出(MIMO)系統(tǒng)無線圖像傳輸?shù)穆?lián)合源信道編碼(JSCC)方案，稱為ViT-MIMO。該模型能夠根據(jù)源圖像和信道條件自適應(yīng)學(xué)習(xí)特征映射和功率分高不同的信道條件下的傳輸質(zhì)量。[51]提出了一種新的無線圖像傳輸模式，該模式可以利用接收器的反饋，稱為jsccformer-f。文中考慮了一個(gè)塊反饋信道模型，其中發(fā)射器在每個(gè)塊后接收無噪聲/有噪聲信道輸出反饋。jsccform-f的統(tǒng)在面向任務(wù)的通信中，多個(gè)人工智能代理以集中或分布式的方中的語義感知通信以主動(dòng)或被動(dòng)的方式在不同終端之間建立多個(gè)智能體之間的知識。[52]關(guān)注由無人機(jī)圖像傳感驅(qū)動(dòng)的面向任務(wù)的語義通信場景，設(shè)計(jì)了一個(gè)節(jié)能的面向任務(wù)的語義通信框架，并將語義通信視為突破香術(shù)，并將其視為未來6G網(wǎng)絡(luò)和智能醫(yī)療等應(yīng)用的關(guān)鍵推動(dòng)因素。Kang等人[53]提出了一種聯(lián)合圖像傳輸和場景分類方案。他們利用深度強(qiáng)化學(xué)習(xí)來識別迄今為止，已經(jīng)提出了許多用于圖像質(zhì)量評估(IQA)的語義度量。常用的有圖像語義3.4面向視頻的語義通信伴隨著社會(huì)科技的發(fā)展，視頻的傳輸已成為人們工作和而，當(dāng)前無線視頻傳輸系統(tǒng)在面對時(shí)變信道條件時(shí)容易受到干擾糊、卡頓或丟失。特別是高分辨率視頻的傳輸需要大量的傳輸資不穩(wěn)定網(wǎng)絡(luò)環(huán)境下保持流暢的視頻通信成為一項(xiàng)挑戰(zhàn)。為了解決已經(jīng)著眼于語義通信相關(guān)技術(shù)的應(yīng)用。通過引入語義通信，系統(tǒng)理視頻內(nèi)容，而不僅僅是簡單地傳輸圖像數(shù)整視頻編碼參數(shù)和優(yōu)化傳輸路徑，語義通信技術(shù)還能夠適應(yīng)不輸?shù)姆€(wěn)定性和效率。為了解決傳統(tǒng)視頻傳輸系統(tǒng)的問題，Wang等人[54]提出了一種基于聯(lián)合信源信道編碼（JSCC）的語義端到端視頻傳輸系統(tǒng)（DVST），該系統(tǒng)利用換和條件編碼架構(gòu)來自適應(yīng)地跨視頻幀提取語義特征，并通過一組學(xué)習(xí)到的Liang等人[55]針對視頻傳輸帶寬資源進(jìn)行了優(yōu)化，提出了一種傳輸語義而不是視頻所有比特的視頻語義系統(tǒng)（VISTA），通過語義分割模塊對源視頻中動(dòng)態(tài)和靜態(tài)片段分類和編碼，獲得動(dòng)態(tài)和靜態(tài)片段的語義與位置信息。同時(shí)，通過適應(yīng)不同信道條件的JSCC模塊對分割后的信息進(jìn)行編碼、傳輸與解碼。最后通過幀內(nèi)插值模塊在接收端恢復(fù)針對語義視頻會(huì)議（SVC）傳輸方面，鑒于視頻中的背景基本上是靜態(tài)的，且發(fā)言者變化不頻繁，因此可以只傳輸表達(dá)面部表情變化的關(guān)鍵點(diǎn)，而其他的信息可以提前發(fā)送，從而有效提升語義視頻會(huì)議的傳輸帶寬[56]。同時(shí)，Jiang等人[57]對于傳輸錯(cuò)誤對SVC的影響進(jìn)行了研究，并探究了評價(jià)視頻質(zhì)量的方法，以確保語義系識庫與接收端共享。然后，關(guān)鍵點(diǎn)檢測器提取當(dāng)前幀中面部的變化利用生成器對傳輸?shù)囊曨l進(jìn)行重建。由于自動(dòng)混合重傳請求（HARQ）可以應(yīng)對無線通信中的時(shí)變信道，并且在帶有確認(rèn)（ACK）反饋信號的時(shí)變信道下能夠進(jìn)行重傳和發(fā)送增成，輸入的圖像矩陣通過抗混疊插值進(jìn)行下采樣，以降低關(guān)鍵點(diǎn)檢別通過具有三個(gè)塊的hourglass網(wǎng)絡(luò)、卷積層、softmax激活函數(shù)得到最終的關(guān)鍵點(diǎn)。在編碼器-解碼器結(jié)構(gòu)中，全連接層完成關(guān)鍵點(diǎn)維度的變化，量化操作將神經(jīng)網(wǎng)絡(luò)輸出的浮點(diǎn)數(shù)映射為比特?cái)?shù)據(jù)，以及比特映射為浮點(diǎn)數(shù)，解量化操作則將接收數(shù)，以符合實(shí)際的通信場景。生成器則通過將共享、接收到的關(guān)鍵圖3.6（a）展示了傳統(tǒng)的H264與SVC使用基于VGG的檢測器在不同誤比特率（BER）下的接收幀的可接受比率。圖3.6（b）則展示了傳統(tǒng)方法、SVC以及不同配置的SVC-HARQ（其中的SVC-HARQ(160,160bits)表示第一次傳輸和第二次傳輸都傳輸160比特信息）在不同誤比特率（BER）下的吞吐量。吞吐量是在1.526M傳輸比特下接收到的質(zhì)量可接受的視頻幀的數(shù)量，其中當(dāng)BER=0時(shí)，1.526M位可以傳輸10000個(gè)由這是因?yàn)镾VC使用神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)存在一定的壓縮。隨著BER的不斷增加，H264的即使當(dāng)BER達(dá)到0.2時(shí)，其可接受率依然在0.95以上。在圖3.6（b）中，可以看出傳統(tǒng)方法AV1+LDPC-HARQ（AV1視頻編碼、LDPC信道編碼與HARQ技術(shù)結(jié)合）只有較少的幀可以被接受，并且SVC隨著BER的逐漸提高恢復(fù)視頻的能力下降明顯，而SVC-的影響。采用基于深度學(xué)習(xí)和信源信道編碼的方法，如DVST和VISTA，系統(tǒng)能夠提取SVC通過僅傳輸關(guān)鍵面部表情變化的關(guān)鍵點(diǎn)，并利用生成網(wǎng)絡(luò)對視頻幀進(jìn)行復(fù)原，有效提升了傳輸帶寬以及抗噪聲干擾的能力，保障了視頻傳4.語義噪聲抑制除了物理信道噪聲及干擾，語義通信系統(tǒng)還會(huì)受到語義噪聲的影響。語義噪聲[58]是約語義信息傳輸性能的一個(gè)關(guān)鍵因素。本白皮書介紹了文本、語音、義噪聲，進(jìn)而提出語義通信系統(tǒng)魯棒性設(shè)計(jì)的必要性。具體而言，魯僅需要探究語義噪聲對傳輸性能的影響規(guī)律，還必須針對特定模態(tài)的4.1魯棒的文本語義通信文本信息作為一種常見的信息載體，具有復(fù)雜的來源。人為生成的文本信息，包括博客、維基百科等。另一方面，隨著語發(fā)展，語音以及圖像也為文本數(shù)據(jù)庫貢獻(xiàn)了大量的數(shù)據(jù)，比如自動(dòng)符識別等都可以用文本信息來表征語音、圖片的語義信息。雖然這度模型的語料，提高模型對文本信息的語義理解能力，但是由于人的不完備性，文本數(shù)據(jù)中會(huì)存在一定的錯(cuò)誤，這些錯(cuò)誤就是文本模但是現(xiàn)有的文本語義通信,如DeepSC等，都假定輸入的文本信息是正確無誤的，因此沒有針對語義噪聲進(jìn)行系統(tǒng)設(shè)計(jì)，而實(shí)際中存在的語義噪聲作為前端或后端的輔助模塊，在發(fā)送文本前或者重建文本后進(jìn)行取會(huì)導(dǎo)致計(jì)算資源的浪費(fèi)。而語義通信由于傳輸?shù)氖钦Z義信息，行處理，就可以在通信的過程中消除語義噪聲，提高計(jì)算資源的題，[60]定義了文本語義通信中的語義噪聲，并提出度量指標(biāo)對語義噪聲強(qiáng)度進(jìn)行量化，同時(shí)還設(shè)計(jì)了一種帶有語義糾錯(cuò)器的文本語義通信系統(tǒng)，魯棒的值得一提的是，文本語義通信中的語義噪聲研究存在一些挑噪聲形式十分多樣，人為產(chǎn)生的拼寫錯(cuò)誤和自動(dòng)音頻識別錯(cuò)誤在何設(shè)計(jì)統(tǒng)一的魯棒語義通信系統(tǒng)來消除所有形式的語義噪聲具有通信系統(tǒng)在添加了魯棒系統(tǒng)設(shè)計(jì)之后，如何保證系統(tǒng)的通信速率研究的課題。只有解決了這兩個(gè)問題，才能實(shí)現(xiàn)魯棒的文本語義4.2魯棒的語音語義通信語音中的語義噪聲具有一定的多樣性，其包括了對于語音信有針對語音獨(dú)有特性的噪聲。因此，設(shè)計(jì)魯棒的語音語義噪聲抑另外，在實(shí)際的通信場景中，語音信號作為主要的信源之一，且此占據(jù)了實(shí)際通信開銷的大部分資源，并且在實(shí)際通信中，語音影響而損壞其原先所表達(dá)語義信息。因此，為了實(shí)現(xiàn)高語義保真為了解決語音語義通信系統(tǒng)中的語義噪聲問題，Weng等人[61]在基于神經(jīng)網(wǎng)絡(luò)構(gòu)建具體來說，提出了基于生成式網(wǎng)絡(luò)(GAN)的訓(xùn)練策略，通過訓(xùn)練判別器來區(qū)分準(zhǔn)確的語義練，使得判別器無法再分辨出深度語義補(bǔ)償器生成的語義特征和語義補(bǔ)償器能夠獲得幾乎準(zhǔn)確的語義特征，以此來抑制受損量化語音中的語義噪聲還存在一些技術(shù)瓶頸。另外，如何將語音的文字中的語義噪聲相結(jié)合，設(shè)計(jì)統(tǒng)一的魯棒的語義噪聲抑制機(jī)4.3魯棒的圖像語義通信的重要方法，已經(jīng)引起了廣泛的關(guān)注。例如，在處理目需關(guān)注目標(biāo)的位置和形狀，因?yàn)檫@些信息直接關(guān)系到目背景信息，與任務(wù)并無直接關(guān)聯(lián)，因此在傳輸過程中可信道環(huán)境具有較強(qiáng)的魯棒性[62]。在許多對通信可靠性要求極高的應(yīng)用場景中，這一點(diǎn)顯得尤為重要。雖然基于深度學(xué)習(xí)的端到端語義通信系統(tǒng)在一些導(dǎo)致發(fā)送端傳輸?shù)恼Z義信息和接收端解碼出的語義信息之間存息的誤解和解碼錯(cuò)誤。這種語義噪聲可以在不同階段產(chǎn)生，包和語義信息解碼階段。在數(shù)據(jù)傳輸階段，由于信道衰落導(dǎo)致的發(fā)送的干擾信號都會(huì)引入語義噪聲。圖像中的語義噪聲可以建素做一些細(xì)微的人眼無法察覺的改動(dòng)，從而誤導(dǎo)深度學(xué)習(xí)模型性能的惡化。針對端到端魯棒語義通信系統(tǒng)在安全性和可靠性[7]首次對圖像在語義通信系統(tǒng)傳輸過程中的語義噪聲進(jìn)行了建模，并設(shè)計(jì)了一種端到端魯棒語義通信系統(tǒng)來對抗這種噪聲，同時(shí)降低他們建立了兩種物理層收發(fā)機(jī)中的語義噪聲模型。第一種是在發(fā)產(chǎn)生，如圖4.4(a)所示?？紤]如下場景：有一個(gè)惡意攻擊者攻擊網(wǎng)站，下載圖像數(shù)據(jù)集，敗。對于難以獲取CSI和傳輸符號的場景，他們提出了一種在接收端產(chǎn)生的非樣本依賴導(dǎo)致大多數(shù)圖像無法成功解碼。該語義噪聲產(chǎn)生的原因有硬件非為了提高通信系統(tǒng)對語義噪聲的魯棒性，[7]提出了一種新的訓(xùn)練方法：權(quán)重?cái)_動(dòng)的對抗訓(xùn)練。這種方法的核心思想是將帶有語義噪聲的樣本納入訓(xùn)練程中就考慮到噪聲的影響，有助于系統(tǒng)更有效地應(yīng)對噪聲問題。值通信環(huán)境的開放性和神經(jīng)網(wǎng)絡(luò)的脆弱性，接收端的語義噪聲成為了一個(gè)嚴(yán)重的問題。[63]深入探討了這一挑戰(zhàn)，并為接收端語義噪聲設(shè)定了四項(xiàng)基本要求：面輸入無關(guān)和可操控性?；谶@些要求，[63]利用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了一個(gè)接收端語義噪聲生成器，并結(jié)合了一種新型的混合對抗訓(xùn)練方案，顯著提升了圖像語義據(jù)樣本添加語義噪聲來干擾通信外，端到端訓(xùn)練過程中也可能產(chǎn)生降低訓(xùn)練后模型的性能。因此，對于語義通信系統(tǒng)的研究和設(shè)計(jì)，5.多模態(tài)語義通信5.1多模態(tài)語義通信架構(gòu)傳輸能力，現(xiàn)如今語義通信已經(jīng)引起了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注[64]。與需要正確傳輸原始符號的傳統(tǒng)通信不同，語義通信聚焦于如何準(zhǔn)確傳達(dá)符號的內(nèi)在本身，通過提取出與接收端的任務(wù)相關(guān)的信息進(jìn)行傳輸，可以有效地提升信息傳輸?shù)挠行?。同時(shí)，隨著通信和深度學(xué)習(xí)的融合，現(xiàn)已可從源數(shù)據(jù)中提取與任務(wù)相關(guān)的語義信息，并用編碼的特征來表示。即通常信源數(shù)據(jù)主要可以被分為文本、音頻、圖像和視頻四類通信研究都圍繞上述幾種模態(tài)展開。如基于Transformer的聯(lián)合語義信道編碼方法[24]，聚焦于文本的數(shù)據(jù)類型，在考慮加性白高斯噪聲（AWGN）的影響下，能夠很大程度上去除信道噪聲及語義噪聲。除此之外，考慮到文本中某些詞句具種引入了自適應(yīng)循環(huán)機(jī)制的Transformer被設(shè)計(jì)出來用于進(jìn)一步增強(qiáng)系統(tǒng)的抗干擾能力[22]。對于圖像數(shù)據(jù)，基于注意力的聯(lián)合信源信道編碼（JSCC）系統(tǒng)以不同的信噪比（SNR）較好地完成了圖像傳輸任務(wù)[12]，并通過實(shí)驗(yàn)表明聯(lián)合信源信道編碼的方案具有更好的魯棒性。除此之外，已有很多文獻(xiàn)進(jìn)一步研究了面向音頻基于自然語言處理的Wav2Vec[65]和引入了注意力機(jī)制的編解碼系統(tǒng)[66]。最后對于視頻數(shù)據(jù)類型，一種被稱為DeepWiVe的方案給出了使用強(qiáng)化學(xué)習(xí)（RL）的端到端聯(lián)合信源信道編碼的視頻傳輸框架[67]，可以克服傳統(tǒng)基于分離的數(shù)字通信方案中普遍存在的懸崖可以在一定程度上提高最終性能。例如，人類動(dòng)作識別[68]和多模態(tài)情感分析[69]可以從音視頻等不同模態(tài)中提取多模態(tài)的特征表示，從而提高預(yù)測性能。探索多模態(tài)數(shù)據(jù)語義通信系統(tǒng)是較為困難的，其原因主要?dú)w結(jié)何處理不同模態(tài)間的語義隔閡或探索到統(tǒng)一的語義表征任務(wù)（如分類、預(yù)測、回歸等）。如圖5.2所示，融合可以分為兩種方式，早期融合和后早期融合，通常又稱為特征融合，是指對模態(tài)進(jìn)行特征方式，具體而言即是在模型的淺層或輸入層將多個(gè)模態(tài)的特征），征之間的相關(guān)性，適用于模態(tài)之間高度相關(guān)的情況，但由于多會(huì)給拼接造成很大的難度，并且直接對原始數(shù)據(jù)進(jìn)行拼接會(huì)例如有文獻(xiàn)提出了一個(gè)服務(wù)于多任務(wù)的統(tǒng)一語義通信系統(tǒng)，模態(tài)的輸入[70]。其在發(fā)送端將兩個(gè)模態(tài)的特征進(jìn)行拼接后發(fā)送，采用了域適應(yīng)模塊可以在特定任務(wù)的特征上更好地分割和聚合語義信息，同時(shí)設(shè)計(jì)了多出較為簡單的任務(wù)早退得到結(jié)果。該作者后續(xù)在此基礎(chǔ)上設(shè)計(jì)一個(gè)輕可以根據(jù)不同信道條件和任務(wù)動(dòng)態(tài)調(diào)整需要傳輸?shù)奶卣鲾?shù)量[71]。也有研究設(shè)計(jì)了一種去中心化的多模態(tài)學(xué)習(xí)策略[72]，并設(shè)計(jì)了知識蒸餾模塊（KD）用于解決由于模態(tài)的異構(gòu)性和非獨(dú)立同分布（IID）數(shù)據(jù)導(dǎo)致本地訓(xùn)練的生成器即可以讓各模態(tài)單獨(dú)處理，特征獨(dú)立互不影響。同時(shí)即使某有研究以執(zhí)行視覺問答（VQA）任務(wù)為例，即部分用戶發(fā)送圖像，而其他用戶發(fā)送文本來查詢圖像的信息。該研究使用ResNet-101作為圖片模態(tài)的編碼器，使用雙向長短期記憶（Bi-LSTM）網(wǎng)絡(luò)作為文本模態(tài)的編碼器，考慮了一個(gè)簡單的拼接后再分離的通信場景，在最后一層將兩個(gè)模態(tài)的特征進(jìn)行融合送入記憶力、注意力和合成（MAC）網(wǎng)絡(luò)得到輸出[73]。后有學(xué)者進(jìn)一步考慮了多用戶的情況，使用基于Transformer的框架來統(tǒng)一不同任務(wù)的發(fā)射器結(jié)構(gòu)，并在接收端根據(jù)實(shí)際任務(wù)選擇是否對不同模態(tài)的語義特征對同一項(xiàng)任務(wù)的影響是不一致情況（即如何確定某一模態(tài)經(jīng)過多少層網(wǎng)絡(luò)后的特征提取程度），多的資源分配給具有更多語義信息或?qū)θ蝿?wù)更為重要的模態(tài)上考慮到上述因素對多模態(tài)的語義進(jìn)行深度融合也中可能會(huì)帶來性能的降低。通常情況下，面對模態(tài)的不完備，系統(tǒng)表現(xiàn)出性能震蕩或下降。因此，在進(jìn)行系統(tǒng)建模和設(shè)計(jì)時(shí)可以進(jìn)一5.1.2多模態(tài)語義通信中的抗噪性設(shè)計(jì)語義通信可以通過減少傳輸數(shù)據(jù)量來提高通信效率，但語義和風(fēng)險(xiǎn)。在語義通信的完整框架下，系統(tǒng)需要考慮到信道噪聲的場景下，同樣的噪聲作用于不同模態(tài)上的效果并不相同，這有學(xué)者[75]在分布式多模態(tài)的語義通信框架下，利用魯棒性驗(yàn)證問題（RVP）[76]來表征不同模態(tài)的輸入擾動(dòng)與語義輸出失真之間的關(guān)系，基于不同模了不同模態(tài)對語義任務(wù)的語義重要性。同時(shí)還設(shè)計(jì)了一種速率自適語義信息和信道條件，根據(jù)不同模態(tài)的語義意義為其分配不相等的也有信道級的信息融合方案被提出來[77]，即讓不同模態(tài)的語義信息按信道增益作為權(quán)重求和至一起，并設(shè)計(jì)了語義預(yù)編碼方案來防止語義信息被無線信道語義級別的傳輸確實(shí)可以在很大程度上節(jié)省帶寬，但由于語些微小的擾動(dòng)可能會(huì)產(chǎn)生較大的變化。這樣的失真來可能涉及景下，不同模態(tài)的數(shù)據(jù)經(jīng)過同種方案的編碼、傳輸和解碼造成此亟需探索一些方案對不同模態(tài)的語義失真進(jìn)行建模或損失函學(xué)習(xí)中常用的損失函數(shù)（如交叉熵和最小均方誤差）等，這不5.2多任務(wù)的語義通信種環(huán)境模式中收集大量數(shù)據(jù)，進(jìn)而產(chǎn)生了大量的傳輸數(shù)據(jù)。現(xiàn)有通信系統(tǒng)表現(xiàn)出了濃厚的興趣，主要側(cè)重于提升語義通信的傳輸性確度，并考慮了各種度量標(biāo)準(zhǔn)，如峰值信噪比（PSNR）和分類準(zhǔn)確率?，F(xiàn)有工作主要可以分為兩大類：數(shù)據(jù)重構(gòu)和智能任務(wù)執(zhí)行。在數(shù)據(jù)重構(gòu)方面，語義通據(jù)中提取全局語義信息。一些代表性的工作包括經(jīng)典的用于文本傳輸?shù)腄eepSC[24]和用心思想是通過自動(dòng)編碼器將信源符號直接映射為信道符號進(jìn)行傳輸，行訓(xùn)練。對于任務(wù)執(zhí)行的應(yīng)用程序，語義通信系統(tǒng)僅在發(fā)送端提取和比如分類和目標(biāo)檢測。這種方法的優(yōu)點(diǎn)在于，它僅傳輸任務(wù)所需的盡管現(xiàn)有的語義通信系統(tǒng)在某些特定場景中表現(xiàn)出了令人處理具有單一數(shù)據(jù)模態(tài)的特定任務(wù)。在實(shí)際應(yīng)用中，多模態(tài)數(shù)據(jù)求越來越普遍，例如一個(gè)完備的收發(fā)機(jī)通常需要能夠同時(shí)執(zhí)行數(shù)更具體地說，許多設(shè)備要求在單一系統(tǒng)中執(zhí)行多個(gè)任務(wù)，這使得一些挑戰(zhàn)。具體來說，現(xiàn)有工作中提出的深度JSCC框架專門設(shè)計(jì)用于處理單一任務(wù)。當(dāng)執(zhí)行與模型設(shè)計(jì)不同的任務(wù)時(shí)，由于模型不匹配和/或不適當(dāng)?shù)挠?xùn)練流程（例如，模型訓(xùn)），致了大量的梯度傳輸和計(jì)算成本?；蛘呖赡苄枰鎯Χ鄠€(gè)模型，理復(fù)雜性。因此，開發(fā)一個(gè)能夠統(tǒng)一處理多模態(tài)數(shù)據(jù)傳輸?shù)亩嗳未送猓啾葐稳蝿?wù)系統(tǒng)，多任務(wù)語義通信系統(tǒng)也具有一些潛在優(yōu)勢。（1）由于多任務(wù)共享模型參數(shù)，存儲模型所需的內(nèi)存空間可以顯著減少2）如果一些相關(guān)任務(wù)共享互補(bǔ)的語義信息，同時(shí)對多個(gè)任務(wù)進(jìn)行訓(xùn)練并提高性能會(huì)更加容化多個(gè)任務(wù)，每個(gè)任務(wù)可以從其他任務(wù)中受益，進(jìn)而提高整體性能3）多任務(wù)語義通信可以被視為一種正則化方法，有助于防止模型過擬合。在多任滿足多個(gè)任務(wù)的要求，這對模型進(jìn)行了一定的約束，有助于提高其泛化性能。（4）對于某些任務(wù)，可能存在大量的標(biāo)記數(shù)據(jù)，而對于其他任務(wù)則可能只在同一語義通信模型中同時(shí)訓(xùn)練多個(gè)任務(wù)，可以更充分地利用可用如上節(jié)所述，現(xiàn)有語義通信系統(tǒng)模型處理的任務(wù)往本和語音，支持多模態(tài)數(shù)據(jù)傳輸也自然成為多任務(wù)語義通信系統(tǒng)多模態(tài)多任務(wù)語義通信模塊需建模為圖5.3相應(yīng)的發(fā)射器，并處理涉及不同模態(tài)（如圖像、文本和語音）的語音發(fā)射機(jī)：負(fù)責(zé)處理和編碼語音數(shù)據(jù)，確保語音信息統(tǒng)一接收機(jī)：負(fù)責(zé)接收來自不同發(fā)射機(jī)的數(shù)據(jù)，并進(jìn)行相應(yīng)的解碼和處理，以實(shí)為了支持多任務(wù)語義通信，在接收端通常需要多個(gè)輕于執(zhí)行最終的特征映射，將隱變量映射為最終的感知類別，或者定位坐標(biāo)。如圖5.3所示的例子中，我們考慮一個(gè)任務(wù)T4，該任務(wù)同時(shí)包含了三種模態(tài)的數(shù)據(jù)。然后，發(fā)射端根據(jù)涉及的模態(tài)激活所需的發(fā)射機(jī)，進(jìn)行語義編碼和信道編碼。接著號進(jìn)行融合并進(jìn)行解碼，最后根據(jù)當(dāng)前執(zhí)行的任務(wù)借助這一框架，我們能夠?qū)崿F(xiàn)更加靈活和高效的多模態(tài)、多任務(wù)案。例如對于分類任務(wù)，[78]提出了一種多任務(wù)語義方法，通過聯(lián)合優(yōu)化多個(gè)接收機(jī)來完成多個(gè)任務(wù)。此外，針對圖像數(shù)據(jù)，[79]設(shè)計(jì)了一個(gè)模型來處理圖像檢測和分割任務(wù)，該方案在這兩個(gè)主流任務(wù)上取得了優(yōu)秀性能。為滿足多模態(tài)、多任務(wù)語義傳輸?shù)男枨螅琜71]首次嘗試為端到端數(shù)據(jù)傳輸設(shè)計(jì)一個(gè)統(tǒng)一的語義通信模型，即U-DeepSC。這個(gè)模型不僅考慮了單模態(tài)任務(wù)，還涵蓋了多模態(tài)任務(wù)，從而更好地適應(yīng)各種實(shí)際應(yīng)用場景。U-DeepSC能夠同時(shí)處理圖像、文本和語音這三種不同模態(tài)的數(shù)據(jù)，展現(xiàn)了強(qiáng)大的多模態(tài)處例如，[80]和[81]中研究了聯(lián)合速率最小化和失真最小化問題，并提出了一個(gè)新的端到端夠獲得一個(gè)低維的特征表示，該特征不僅能夠被用于接收端的數(shù)據(jù)盡管現(xiàn)有研究已經(jīng)取得了一定進(jìn)展，多任務(wù)語義通信中仍先，通過設(shè)計(jì)先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)和先進(jìn)的訓(xùn)練方法提升多任務(wù)語義長期的探索。另外，在多任務(wù)語義通信中為每個(gè)任務(wù)選擇合適的的問題。在邊緣推理場景中，多任務(wù)語義通信可能是由多個(gè)設(shè)備共同完成，例如圖5.3中的三個(gè)發(fā)射機(jī)可能位于不同的設(shè)備之上。在這樣的場景下，如果備的調(diào)度和多任務(wù)多設(shè)備的聯(lián)合訓(xùn)練會(huì)是一個(gè)很有價(jià)值的問題。系統(tǒng)的研究正在不斷深入，以應(yīng)對日益復(fù)雜和多樣化的數(shù)據(jù)處理計(jì)和優(yōu)化旨在提高傳輸效率、降低能耗并增強(qiáng)任務(wù)執(zhí)行精度，為5.3多用戶的語義通信對于多用戶語義通信，一種理想的方法是直接將單用戶點(diǎn)對點(diǎn)用戶語義通信模型，但這種方案需要訓(xùn)練大量的語義編、解同時(shí)，簡單的擴(kuò)展忽視了用戶間干擾、語義知識庫不匹配、NOMA通過多個(gè)用戶共享時(shí)間和頻率資源，解決了OMA在用戶擴(kuò)展上的困難，提升了頻譜效率，降低了傳輸時(shí)延，但其非正交特性使得系統(tǒng)的設(shè)于NOMA讓所有用戶的信息均在公共信道中傳輸，接收端需要使用干擾消除技術(shù)實(shí)現(xiàn)對應(yīng)信息的分離，常見的手段有接收信號的重構(gòu)[82]、接收端多用戶檢測等。另一方面，多無論是單用戶還是多用戶的語義通信，大部分問題都僅解決語義誤差，而忽視了對物理信道的分析。語義信息很容易由于的不同理解產(chǎn)生偏差，除了信道編碼、信道均衡、信道優(yōu)化算法等可以減輕隨機(jī)信道的影響，利用信道級信息融合可以減輕接收端的負(fù)載[77]，利用語義均衡[84]可以減輕不同用戶之間的語義誤差。但如何融合多模態(tài)數(shù)據(jù)，如何解決同道干擾，相比于其他的技術(shù)手段，將MIMO與多用戶語義通信相結(jié)合，在提升頻譜效率的同時(shí)，還能夠增大通信的覆蓋范圍。但基于MIMO也會(huì)使得不同用戶之間存在干擾。由于語義通信“達(dá)意傳播”的特性，語義干擾遠(yuǎn)比一般干擾復(fù)編碼[85]、功率控制等技術(shù)。其次，語義通信計(jì)算需求大、不同語義知識庫不匹配等問題限制了基于MIMO的多小區(qū)語義通信的實(shí)現(xiàn)與優(yōu)化。對于上述問題，在建立語義干擾消一對多（廣播）通信可以方便的將點(diǎn)對點(diǎn)語義通信考慮其擴(kuò)展性、兼容性和收斂性。廣播語義通信在接收端需要考慮如進(jìn)行分離。相比于TDMA、FDMA等正交多址技術(shù)，在解碼端設(shè)置特征識別模塊，可有效提高資源利用率。其次，由于接收端不同用戶需要配備不同的解碼手段需要依次對單個(gè)用戶的模型進(jìn)行訓(xùn)練，消耗資源大、時(shí)間長。對于這一問題，Hu等為了滿足不同場景下不同任務(wù)的需求，語義用戶和比準(zhǔn)確性等指標(biāo)不可能用統(tǒng)一的形式表達(dá)，因此，比特流和語義流需要分離。Mu等人[87]次，語義和比特用戶的分配需要一定的準(zhǔn)則。從用戶距離考慮，的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)小于比特用戶，一般將遠(yuǎn)距離用戶作為語義用戶，近距離用戶為比特用戶。從傳輸條件考慮，由于語義通信在低信噪比條件下良好的性能，車聯(lián)網(wǎng)將車輛與車輛之間、車輛與設(shè)備之間相連接，為通常采用靠近車輛一側(cè)的基站作為輔助共同完成計(jì)算任務(wù)。第二敏感但計(jì)算量較大的應(yīng)用，通常采用距離更遠(yuǎn)但計(jì)算能力更強(qiáng)在設(shè)計(jì)并實(shí)現(xiàn)了多用戶的語義通信后，需要進(jìn)一步考慮資源配通信，語義通信在解決工程問題的同時(shí)還要解決語義層面的效率首先需要考慮的是進(jìn)一步提高頻譜效率，降低消耗配置。通過引入隊(duì)列、能量等模型，將提升語義頻譜效率、語義能量一個(gè)高效、低能耗、低時(shí)延的多用戶語義通信模型。其次，由于AI的引入，語義通信在提升性能的同時(shí)，存在著高能耗、高計(jì)算需求的現(xiàn)實(shí)情況。而用戶的僅靠用戶無法實(shí)現(xiàn)語義通信模型以及語義知識庫持續(xù)的更新與優(yōu)化。云端服務(wù)器和邊緣側(cè)服務(wù)器，在解決計(jì)算資源緊張的同時(shí)，滿足用戶與單用戶點(diǎn)對點(diǎn)語義通信不同，多用戶的語義通信需要實(shí)現(xiàn)多個(gè)用戶盡管對多用戶語義通信的資源配置有不同的研究，但面對6.數(shù)字語義通信與波形優(yōu)化在當(dāng)今數(shù)字通信領(lǐng)域，數(shù)字語義通信成為引人注目的研究方入挖掘數(shù)據(jù)的語義含義，借助先進(jìn)的數(shù)字信號處理技術(shù)，提高通信同時(shí)，在實(shí)現(xiàn)這一目標(biāo)的過程中，OFDM波形優(yōu)化作為關(guān)鍵技術(shù)之一，通過將信號分解成多個(gè)正交的子載波，在頻域上實(shí)現(xiàn)高效傳輸。全雙工通信作為另如何在同一時(shí)間和頻率上實(shí)現(xiàn)雙向通信，克服了傳統(tǒng)系統(tǒng)中的局限的研究則強(qiáng)調(diào)了對信道變化的提前洞察，以優(yōu)化傳輸參數(shù)，增強(qiáng)系性的研究框架使得數(shù)字語義通信不僅關(guān)注信息的傳遞，更注重理解6.1數(shù)字語義通信網(wǎng)絡(luò)隨著第五代（5G）無線通信系統(tǒng)、人工智能（AI）和其他支持技術(shù)的發(fā)展，出現(xiàn)了各種關(guān)鍵任務(wù)的應(yīng)用，如自動(dòng)駕駛、智能工業(yè)和遠(yuǎn)程醫(yī)療[13]。在當(dāng)前的通信系統(tǒng)中，這些應(yīng)用生成的原始數(shù)據(jù)被傳輸從設(shè)備傳輸?shù)竭吘壔蛟朴?jì)算服務(wù)器，那里使用先進(jìn)的AI算法進(jìn)行進(jìn)一步分析。傳統(tǒng)的通信系統(tǒng)旨在精確或近似地重現(xiàn)源數(shù)據(jù)源使得滿足這些應(yīng)用的嚴(yán)格服務(wù)要求變得極為具有挑戰(zhàn)性，例如大集成了先進(jìn)的通信和AI技術(shù)，用于提取然后傳輸數(shù)據(jù)。在給定特定任務(wù)的情況下，原始數(shù)據(jù)的期望含義是完成諸如分類和目標(biāo)檢測等任務(wù)。因此，語義通語義通信的主要目標(biāo)是在語義領(lǐng)域內(nèi)實(shí)現(xiàn)有用信息的可靠傳輸。輸，而不在任何階段轉(zhuǎn)換為比特[93]。盡管可以以模擬的通信方式學(xué)習(xí)和傳輸語義特征，但它對硬件、協(xié)議和加密提出了新的挑戰(zhàn)。數(shù)字通信在許多方面都優(yōu)于模擬通信，包括在數(shù)字通信中，模擬信號首先經(jīng)過模數(shù)轉(zhuǎn)換，將連續(xù)的模擬信轉(zhuǎn)化為離散的數(shù)字值。這一過程將模擬信號的持續(xù)變化映射為離信號。數(shù)字信號被進(jìn)一步轉(zhuǎn)化為比特序列，形成了可處理的數(shù)字后通過調(diào)制方式適應(yīng)信道特性，將數(shù)字信號映射為星座點(diǎn)。最后座點(diǎn)的數(shù)字信號被傳輸?shù)浇邮斩?，?jīng)過信道，接收端的解調(diào)器將根據(jù)數(shù)字通信的框架，數(shù)字語義通信的架構(gòu)可劃分為兩種：絡(luò)，直接生成對應(yīng)調(diào)制方式的星座點(diǎn)[94][95]，如圖6.2所示；另一種方式則通過量化編碼網(wǎng)絡(luò)將信號轉(zhuǎn)換為數(shù)字序列，結(jié)合數(shù)字調(diào)制將序列映射到相應(yīng)的星座點(diǎn)[96][97]，如圖6.3所示。前者通過端到端的編碼網(wǎng)絡(luò)直接輸出星座點(diǎn)，有助于減少對硬件設(shè)備的依賴，然而，當(dāng)調(diào)制方式發(fā)生改變時(shí)，需要頻繁更新神經(jīng)網(wǎng)絡(luò)。后者將信6.2基于OFDM的語義通信波形優(yōu)化近年來，深度學(xué)習(xí)被認(rèn)為是解決無線通信問題的一種很有前途聯(lián)合信源信道編碼(DJSCC)方法已被證明比傳統(tǒng)的分裂信源信道編碼(SSCC)技術(shù)更有效，無線和有線通信系統(tǒng)的調(diào)制技術(shù)，尤其在高速數(shù)據(jù)傳輸通過將基于深度學(xué)習(xí)的JSCC方案與OFDM結(jié)合，可以將端到端的語義通信系統(tǒng)用于多徑信道下，提高高速數(shù)據(jù)傳輸能力。通過擴(kuò)展JSCC框架，可以將可訓(xùn)練的CNN層OFDM基帶處理模塊的不可訓(xùn)練但可微的層結(jié)合起來。如圖6.4為DJSCC與OFDM結(jié)合的語義通信系統(tǒng)，語義編碼器通過提取輸入信源的語義特征，將原號序列，再經(jīng)過快速傅里葉逆變換(IFFT)轉(zhuǎn)換為時(shí)域信道輸入；接收端將接收到的信號進(jìn)行快速傅里葉變換(FFT)生成頻域信號，通過然而，由于生成符號的隨機(jī)性，DJSCC在與正交頻分復(fù)用(OFDM)結(jié)合時(shí)存在嚴(yán)重的高峰均功率比(PAPR)問題。較高的PAPR會(huì)導(dǎo)致帶內(nèi)失真和帶外輻射，這是由于無線電發(fā)射機(jī)的高功率放大器(HPA)的非線性造成的此外，OFDM接收機(jī)的檢測效率對數(shù)模轉(zhuǎn)換器和HPA等非線性器件特別敏感。過高的PAPR會(huì)增加了硬件成本，嚴(yán)重時(shí)甚至?xí)硇盘柕姆蔷€性失真，造成系統(tǒng)性能的損失。如圖6.5在語義通信系統(tǒng)中，因?yàn)镈JSCC模擬調(diào)制生成的星座點(diǎn)是散亂無章的，當(dāng)OFDM與語義通信系統(tǒng)結(jié)合時(shí)，更有可能生成大峰值功率符號,多載波的疊加進(jìn)一步加劇了這種現(xiàn)象，從而產(chǎn)生了更高的PAPR值,造成更它們是否對原始信號引入失真被分為信號失真類和非失真類別。信號失真類的抑制PAPR技術(shù)主要包括限幅、限幅濾波、加峰加窗、削峰和壓擴(kuò)。預(yù)編碼、選擇性映射(SLM)、部分傳輸序列(PTS)、交織、音調(diào)保留、音調(diào)注入、主動(dòng)星主要有將PAPR作為懲罰損失函數(shù)加入決定參數(shù)更新方向的損失函數(shù)中；如圖6.6所示,將限幅加入到訓(xùn)練中的方法獲得了最佳的PAPR抑制性能。并且,在失真類算法中,訓(xùn)練中的限幅具有最佳的PSNR性能,尤其是在低信噪比情況下。例如,在信噪比為0dB的情況下,此方法接收端的圖像質(zhì)量高于PAP大約3dB,高于壓擴(kuò)法約10dB!另外,將限幅加入到訓(xùn)練過綜上所述，本節(jié)研究了基于DJSCC的OFDM系統(tǒng)的PAPR抑制技術(shù)，包括傳統(tǒng)的PAPR抑制技術(shù)和基于DL的PAPR抑制技術(shù)。仿真結(jié)果表明，盡管傳統(tǒng)的PAPR抑制技術(shù)可以應(yīng)用于DJSCC，但DJSCC的性能與傳統(tǒng)的SSCC不同，例如，DJSCC/SSCC中的限幅性能優(yōu)于/劣于壓擴(kuò)；此外，對于信號畸變的PAPR抑制技術(shù)，帶再訓(xùn)練的限幅技6.3全雙工語義通信統(tǒng)通信專注于盡可能準(zhǔn)確地恢復(fù)傳輸?shù)姆柌煌?，語義通信專注所需通信資源少得多，有望突破現(xiàn)有系統(tǒng)的瓶頸，成為極具競爭力的6G技術(shù)?，F(xiàn)有的語義通信研究主要集中在構(gòu)建單向或單向通信系統(tǒng)，而很多情況下例如，異構(gòu)機(jī)器人協(xié)作完成某項(xiàng)任務(wù)或者車輛相互協(xié)作進(jìn)行自動(dòng)在深度學(xué)習(xí)方法的輔助下，語義通信系統(tǒng)已被證明可在文本傳機(jī)可以用神經(jīng)網(wǎng)絡(luò)(NN)表示，并根據(jù)已知的信道模型以端到端的方式進(jìn)行學(xué)習(xí)，以適應(yīng)當(dāng)前的信道條件，并獲得比基于模塊的傳統(tǒng)通信系統(tǒng)更好和更魯棒噪比(SNR)條件下。然而，當(dāng)離線訓(xùn)練的信道狀態(tài)與當(dāng)前情況不匹配的情況下，JSCC框架的應(yīng)用受到了極大的限制，從而導(dǎo)致不可忽視的性能下降。以圖道條件為10dB時(shí)，模型為0dB下訓(xùn)練得到，其關(guān)鍵指標(biāo)峰值信噪比(PSNR)比在線訓(xùn)練緩解性能退化的一個(gè)潛在解決方案是在線訓(xùn)練或微調(diào)訓(xùn)練通常如下進(jìn)行：發(fā)送端通過信道發(fā)送訓(xùn)練數(shù)據(jù)，接收端通過設(shè)度用于更新接收端和發(fā)送端的權(quán)重。然而，由于信道衰落特性模型法通過梯度反向傳播更新。因此，這種方法所獲得的性能增益仍然調(diào)接收機(jī)的權(quán)重，而發(fā)射機(jī)被排除在外。為了解決這個(gè)問題，生成式對抗網(wǎng)絡(luò)(GAN)被提出，以實(shí)現(xiàn)未知信道模型下的高效比特傳輸。通過使用GAN學(xué)習(xí)隨機(jī)信道的等效NN，在接收端學(xué)習(xí)發(fā)射機(jī)的最佳參數(shù)權(quán)重并發(fā)送給發(fā)射機(jī)，但這需要另路在訓(xùn)練過程中對訓(xùn)練信息進(jìn)行反饋。簡單地將單向語義通顯著的數(shù)據(jù)傳輸和時(shí)延開銷。因此，需要探索一種在訓(xùn)練階如圖6.7所示，本小節(jié)建立了一種新的全雙工語義通信系統(tǒng)框架(TW-SC)，其中收發(fā)器和信道神經(jīng)網(wǎng)絡(luò)被聯(lián)合設(shè)計(jì)以執(zhí)行雙向圖像傳輸。具體來說，我絡(luò)(CGAN)對圖像傳輸?shù)臒o線信道分布進(jìn)行建模，其中接收到