IMT-2030（6G）推進組-通信行業(yè)：語義通信無線技術(shù)研究

義通信無線技術(shù)研究語義通信的背景和適用場景3語義通信理論語義通信關鍵技術(shù)和現(xiàn)有進展語義通信的背景和適用場景語義通信的研究背景.通信系統(tǒng)的信道容量即將達到香農(nóng)極限.語義通信的定義語義通信是指通信雙方具有“語義共識”前提條件下基于"語義語義通信是指通信雙方具有“語義共識”前提條件下基于"語義先驗"的“語義可達"意義上的通信。語義通信的適用場景——全息智能通信.NleoNais語義通信的適用場景——自動駕駛效率和可靠性語義通信的適用場景——生成式的聯(lián)合信源信道編碼模型FCae信號覆蓋較小區(qū)域的圖像/視頻通信生成式語義通信模型能夠顯著的節(jié)省語義通信基本架構(gòu) VU5YS語義信息的度量指標體系名稱含義表達式語義熵平均語義信息量語義互信息一個對象包含關于另一對象的語義信息量語義失真語義通信導致的語義信息損失語義信道容量特定語義失真下的最大傳輸速率c,(E)語義率失真函特定語義失真下的最小R(D)數(shù)編碼速率函數(shù)柯爾莫哥洛夫復雜度示意圖TheUniversityoflllinoisPress,1971. 語義通信的系統(tǒng)框架與性能極限語義編碼方案的壓縮性能介于香農(nóng)信源熵與NCC界之間每個壓縮后的語義編碼序列和信源序列的子集對應語義通信網(wǎng)絡架構(gòu)-基于語義轉(zhuǎn)換的通信系統(tǒng)S信S道文本文本信道圖像語義通信理論·更快的超失真概率下降速度Commtnications,20earlyexcess可利用圖結(jié)構(gòu)的獨立性對語義基子集進行分離編碼降低復雜度可利用圖結(jié)構(gòu)的獨立性對語義基子集進行分離編碼降低復雜度推導得到率失真函數(shù)及其上下界面向任務的量化系統(tǒng)設計框架DecisionDecision(x)Makergg最小化量化噪聲負面影響最小化量化噪聲負面影響出最準確的決策x·信號本身的概率分布·接收端決策對信號偏差的抗干擾程度·系統(tǒng)任務對于決策偏差的敏感度Twilighsky圖結(jié)構(gòu)表征多模態(tài)信號(包括文本、語音、圖像和視頻等模態(tài))圖節(jié)點：語義信息中的對象、屬性以及對應的關系TangYangeralInformationTheoreticLimitsonCompressionofSemanticInformation語義通信關鍵技術(shù)和現(xiàn)有進展信道端添加信道語義編碼器與信道語義譯碼信源端添加信源語義編碼器，信宿端添加信三個研究方向宿語義譯碼器信源端添加信源語義編碼器，信宿端添加信宿語義譯碼器，同時，信道端也添加信道語義編碼器與信道語義譯碼器AWGN信道(帶寬利用率R=1/12)面向深度聯(lián)合信源信道編碼的信道自適應設計AWGN信道(帶寬利用率R=1/12)動機：考慮到實際中多變的信道條件，訓練適應不同信噪比的語義通信系統(tǒng)的同時，降低訓練資源以及設備存思路：提出了一種輕量的基于注意力的AF模塊，以幫助網(wǎng)絡自適應于不同的編碼器和解碼器均由交替連接的特征學習FL模塊堆疊而成面向深度聯(lián)合信源信道編碼的信道自適應設計AF模塊為不同信噪比下的特征組生成縮放序列以對特征實現(xiàn)通道級重校準，從而幫助網(wǎng)絡根據(jù)信道狀態(tài)動態(tài)地縮放不同的特征，達到自適應的效果5G基地面向CSI反饋的深度聯(lián)合信源信道編碼設計問題：現(xiàn)有基于分離信源信道編碼的CSI反饋面臨"懸崖效應"以及時延問題方法：提出一個通用的基于深度學習的聯(lián)合信源信道編碼框架(ADJSCC-CSI)用于實現(xiàn)CSI的壓縮反饋性能：所提出的框架能夠自適應于時變信道，且性能顯著優(yōu)于SSCC下的CSI壓縮反饋框架利用一種模夸的語義信自根據(jù)語十系控制一種模態(tài)的數(shù)據(jù)體輸khasiSmukamd計算能力有限的模仲直接上在邊緣服務器提取語信息動機：引入基于多模態(tài)語義分析的傳輸控制機制，提出面向物聯(lián)網(wǎng)的多模態(tài)目標語義通信框架思路發(fā)送端面向具體目標任務采集、處理和上傳不同模態(tài)語義信息。接收端用收到的語義信息執(zhí)行相應的目標任務，并分析多模態(tài)語義信息，控制邊緣設備的數(shù)據(jù)上傳性能仿真結(jié)果表明：在AWGN信道中，采用該方案達到的視頻壓縮量相較于傳統(tǒng)MPEG-4編碼提升了90%多級語義信息輔助下的圖像無線傳輸系統(tǒng)S善型不以重ReshapelyoGtayLabelEncockyMoule標圖像面向語音的高效語義通信系統(tǒng)從輸入的語音頻譜中提取和編碼語義信息移除語義無關的特征X在大規(guī)模文本數(shù)據(jù)集上進行預訓練核心思想是僅傳輸與語音語義相關的個額外的語音信息提取機制，實現(xiàn)語與現(xiàn)有的工作相比，該方法在錯誤率方面減少了10%;對于語音到文本的傳輸，該方法將傳輸?shù)男畔⒘繙p少了50%,同時實現(xiàn)了10%的WER降低；對語音到語音的傳輸，該方法的信息量僅為現(xiàn)有方法的0.2%基于GAN逆方法的高效圖像隱私傳輸語義通信￥問題：在保證主觀視覺質(zhì)量前提下，提高通信效率和保護傳輸圖片的隱私信息。方法：采用了基于GAN的生成模型進行語義通信；引入了隱私過濾器和知識庫保護個人隱私；利用GAN的動機：傳輸三維點云的需求巨大及對噪聲的高敏感性的問題C動機：傳輸三維點云的需求巨大及對噪聲的高敏感性的問題C碼器間的空間關系KK下采樣思路：在處理輸入的密集點云時，首先采用下采樣模塊，來減少點云中的點數(shù)，采用可學模塊對關鍵點的相對位置進行編碼，以捕獲點云中點之間的空當信噪比大于10dB時，我們的方法實現(xiàn)了超過89%的分類準確率，并始終比基準方法高出至少0.8%;信噪比只有6dB時，該方法實現(xiàn)了78%以上的準確率，這比現(xiàn)有方法高出了50%施兩階段訓練策略非線性變換信源信道聯(lián)合編碼y信源信道聯(lián)合譯碼變速率聯(lián)合+0信源信道譯碼→0離+0馬率分配bh.非線性**非線性處理范式和多元目標引導的端到端優(yōu)化這三個新機制來提升端到端傳輸性能，克服傳統(tǒng)通信系統(tǒng)的技術(shù)瓶頸·在發(fā)送端，非線性解析變換用于提取信源樣本的深層語義特征，構(gòu)成隱空間語義特征圖。并通過語義變分熵建模引導實現(xiàn)了可變速率的聯(lián)合信源信道編碼和JPEG2000+LDPC至少提升1dBAA 一面向語義通信的信道表征學習與自適應調(diào)制[ss,so]=Tanh(W[sa,sol)fuNet調(diào)制錯誤S=[5B,So]矩陣W信號檢測貓信道狗·通過語義分割技術(shù)將圖像分割為物體和背景部分，并進行編碼·低信噪比下優(yōu)先傳輸保護影響分類準確性的物體部分，在高信噪比下進一步保護背景信息。語義通信的物理層技術(shù) 一面向語義通信的信道表征學習與自適應調(diào)制IrnagSNRSS-CSI在不同的信噪比上都取得較好的分類準確率和均方誤差性能·星座點之間的距離基于句子相似度而變化·訓練的調(diào)制方式在感知相似度方面具有更好的性能·高信噪比下一些點由于距離太近無法正確檢測·低信噪比區(qū)域聯(lián)合編碼調(diào)制系統(tǒng)有明顯的性能優(yōu)勢··低信噪比區(qū)域聯(lián)合編碼調(diào)制系統(tǒng)有明顯的性能優(yōu)勢·在高信噪比區(qū)域，雖然模擬調(diào)制方案有更高的PSNR,但是本方案可以仍好于其他數(shù)字調(diào)制方案，并隨著調(diào)制階數(shù)的不斷增高，逐漸接近模擬調(diào)制方案性能 ConstellationPaea(x2)p(Z|z)Encoder.p(x|s)ZxXZSS床ssOAM語義通信的物理層技術(shù) 基于卡爾曼濾波的端到端空口設計0將每個參數(shù)視為控制量，通過卡爾曼濾波的方法跟蹤其HaWangXuZhangandRLiAKalmanBasedAut相比于基于強化學習策略梯度(PG)的訓練方法，基于容積卡爾曼濾波(CKF)的訓練方法擁有更快的收斂速度 一面向語義通信的混合自動重傳請求和語義相似度檢測$$Sm3EncoderSam32Decoderbgbnb;b?b?b?SsCommumcations,2022.70(8)語義通信的鏈路層技術(shù) 面向語義通信的混合自動重傳請求和語義相似度檢測 h -動態(tài)數(shù)據(jù)環(huán)境下的語義通信系統(tǒng)2poy)2poy)XY55(K,Z)數(shù)據(jù)自適應網(wǎng)絡架構(gòu)DiscriminatoSObservation5Generator51)不需要太多被標記的訓練樣本；D?()SpaceGg()2)可以繼續(xù)使用原始的語義編碼器而不需要重新訓練；GeneratorKKDiscriminator3)使語義通信系統(tǒng)更具可擴展性。圖片的風格改變語義信息不變語義通信的鏈路層技術(shù) 針對聯(lián)合信源信道編碼系統(tǒng)容量優(yōu)化的資源分配算法iSCCha,TxPSNRgDecodsw系統(tǒng)支持用戶數(shù)隨功率變化圖條件選擇重要的語義信息資源的消耗選擇與剪枝、信道編解碼等模塊進行聯(lián)合設計，并端到端優(yōu)化整個系統(tǒng)選擇源圖像Tran