信息論基礎信道容量的計算

信息論基礎信道容量的計算第一頁，共四十頁，編輯于2023年，星期六對稱離散信道的信道容量I(X;Y)=H(Y)-H(Y/X)而H(Y/X=x)是對矩陣的行求和，是與x無關的一個常數(shù)，即因此當輸出等概分布時，即H(Y)=logs時信道容量才能達到。離散無記憶信道和信道容量2第二頁，共四十頁，編輯于2023年，星期六那么，在什么樣的信源輸出情況下，信道輸出能等概分布呢？可以證明，輸入等概分布時，輸出也等概分布離散無記憶信道和信道容量3第三頁，共四十頁，編輯于2023年，星期六Eg.求信道容量離散無記憶信道和信道容量4第四頁，共四十頁，編輯于2023年，星期六我們首先從一個例子開始例：二元無記憶對稱信道得二次擴展信道。二元記憶對稱信道為離散無記憶信道和信道容量5第五頁，共四十頁，編輯于2023年，星期六可以將信道的擴展和信源的擴展聯(lián)系起來看，當信源擴展以后，信道也就稱為了擴展信道。則它的二次擴展信道為：離散無記憶信道和信道容量6第六頁，共四十頁，編輯于2023年，星期六因此，如果信源、信道都是無記憶的這就是離散無記憶信道序列的信道容量，該信道容量在信源是無記憶信源且每一個輸入變量Xi達到最大入口分布時達到。離散無記憶信道和信道容量7第七頁，共四十頁，編輯于2023年，星期六數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量

4.2

信道容量的計算

4.3信道編碼理論4.4帶反饋的信道模型4.5聯(lián)合信源-信道編碼定理4.6線性分組碼習題四8第八頁，共四十頁，編輯于2023年，星期六9第九頁，共四十頁，編輯于2023年，星期六接入信道容量的分析與尋呼信道不一樣，尋呼信道用于前向鏈路，容量的分析主要在于對尋呼信道占用率的計算，而接入信道用于反向鏈路，對CDMA系統(tǒng)來說，反向鏈路容量主要用于干擾的分析。即使采用時隙化的隨機接入?yún)f(xié)議，接入信道也可能有較高的通過量，大量的接入業(yè)務會在反向鏈路中產生無法接受的干擾。如前所述，第一個接入試探失敗后，下一個接入試探將增加一定量的功率，最終的結果將導致小區(qū)接收功率的增加以及反向鏈路容量的減少。為了保證話音業(yè)務信道的容量，應設計一個合適的接入信道，以限制接入對反向鏈路容量的干擾。一般情況下，我們保持接入信道干擾余量在業(yè)務信道負載的10%以下,業(yè)務信道負載定義如下：對某個用戶來說，CDMA系統(tǒng)中的其他用戶都是干擾，這種干擾提高了接收機的噪聲基底，降低了接收機的靈敏度。10第十頁，共四十頁，編輯于2023年，星期六

CDMA是碼分多址的英文縮寫(CodeDivisionMultipleAccess)，它是在數(shù)字技術的分支--擴頻通信技術上發(fā)展起來的一種嶄新而成熟的無線通信技術。CDMA技術的原理是基于擴頻技術，即將需傳送的具有一定信號帶寬信息數(shù)據(jù)，用一個帶寬遠大于信號帶寬的高速偽隨機碼進行調制，使原數(shù)據(jù)信號的帶寬被擴展，再經(jīng)載波調制并發(fā)送出去。接收端使用完全相同的偽隨機碼，與接收的帶寬信號作相關處理，把寬帶信號換成原信息數(shù)據(jù)的窄帶信號即解擴，以實現(xiàn)信息通信。

11第十一頁，共四十頁，編輯于2023年，星期六移動通訊技術的分類

移動通信系統(tǒng)有多種分類方法。例如按信號性質分，可分為模擬、數(shù)字；按調制方式分，可分為調頻、調相、調幅；按多址連接方式分，可分為

頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)。

目前中國聯(lián)通、中國移動所使用的GSM移動電話網(wǎng)采用的便是FDMA和TDMA兩種方式的結合。GSM比模擬移動電話有很大的優(yōu)勢，但是，在頻譜效率上僅是模擬系統(tǒng)的3倍，容量有限；在話音質量上也很難達到有線電話水平；TDMA終端接入速率最高也只能達到9.6kbit/s；TDMA系統(tǒng)無軟切換功能，因而容易掉話，影響服務質量。因此，TDMA并不是現(xiàn)代蜂窩移動通信的最佳無線接入，而CDMA多址技術完全適合現(xiàn)代移動通信網(wǎng)所要求的大容量、高質量、綜合業(yè)務、軟切換等，正受到越來越多的運營商和用戶的青睞。

12第十二頁，共四十頁，編輯于2023年，星期六CDMA的機理相關。CDMA是一個自擾系統(tǒng)，所有移動用戶都占用相同帶寬和頻率，打個比方，將帶寬想像成一個大房子，所有的人將進入惟一的大房子。如果他們使用完全不同的語言，他們就可以清楚地聽到同伴的聲音而只受到一些來自別人談話的干擾。在這里，屋里的空氣可以被想像成寬帶的載波，而不同的語言即被當作編碼，我們可以不斷地增加用戶直到整個背景噪音限制住了我們。如果能控制住用戶的信號強度，在保持高質量通話的同時，我們就可以容納更多的用戶。數(shù)據(jù)可靠傳輸和信道編碼13第十三頁，共四十頁，編輯于2023年，星期六①互信息I(X；Y）是輸入信源的概率分布p(x)的上凸函數(shù)；——每個固定信道都有一個最大的信息傳輸率，即信道容量C.信道容量的計算—知識回顧14第十四頁，共四十頁，編輯于2023年，星期六②最佳入口分布不一定是唯一的，但是最佳輸出分布是唯一的；——單位時間內信道的最大信息傳輸率，即信道容量的計算15第十五頁，共四十頁，編輯于2023年，星期六③常見信道的信道容量C：——無噪信道信道容量的計算16第十六頁，共四十頁，編輯于2023年，星期六③常見信道的信道容量C：——離散對稱信道信道容量的計算17第十七頁，共四十頁，編輯于2023年，星期六1信道容量的計算原理C是選擇不同的輸入概率分布p(x),在滿足∑p(x)=1條件下，求互信息的極大值：信道容量的計算Lagrange乘子法18第十八頁，共四十頁，編輯于2023年，星期六例1、設某二進制數(shù)字傳輸系統(tǒng)接收判決器的輸入信號電平、噪聲密度分布及判決電平如下圖所示.試求：(1)信道模型；(2)平均互信息；(3)信道容量.信道容量的計算19第十九頁，共四十頁，編輯于2023年，星期六解2）令，則Y的概率分布為信道容量的計算所以，20第二十頁，共四十頁，編輯于2023年，星期六3）為求信道容量，對平均互信息求駐點：信道容量的計算令，解得p=3/5，這時互信息達最大值.將p=3/5代入（2），得到信道容為:C=0.32bit/sym.21第二十一頁，共四十頁，編輯于2023年，星期六2達到信道容量輸入分布的充要條件信道容量的計算令定理4.2.2

一般離散信道的互信息I(X；Y)達到極大值（即等于信道容量）的充要條件是輸入概率分布p(x)滿足22第二十二頁，共四十頁，編輯于2023年，星期六結論：當信道互信息達到信道容量時，輸入信源符號集中每一個信源符號對輸出端y提供相同的互信息，只是概率為零的符號除外.這個結論和直觀概念是一致的：在某給定的輸入分布下，若有一個輸入符號xi對輸出y所提供的互信息比其他輸入符號所提供的互信息大，那么，我們就可以更多地使用這一符號來增大互信息.但是，這就會改變輸入符號的概率分布，必然使這個符號的互信息減小，而其他符號對應的互信息增加。所以，經(jīng)過不斷調整輸入符號的概率分布，就可使每個概率不為零的輸入符號對輸出Y提供相同的互信息.信道容量的計算23第二十三頁，共四十頁，編輯于2023年，星期六例2

一個信道的信道矩陣為信道容量的計算求信道容量.24第二十四頁，共四十頁，編輯于2023年，星期六解：由x＝0和x＝2時信道的對稱性以及x＝1時的不可靠傳輸，可以假定最佳輸入概率分布為信道容量的計算這時，因為能夠滿足信道容量定理：25第二十五頁，共四十頁，編輯于2023年，星期六所以假定的輸入分布確實是最佳輸入分布，這時信道容量為信道容量的計算26第二十六頁，共四十頁，編輯于2023年，星期六習題1：求下述信道的信道容量.信道容量的計算C=1p(0)=p(2)=1/2,p(1)=027第二十七頁，共四十頁，編輯于2023年，星期六習題2：求下述信道的信道容量.信道容量的計算分析：由于a3到b1、b2是等概的，可略；a1、a2均到b1，a4、a5均到b2，所以可只取a1、a5.設輸入分布：p(a1)=p(a5)=1/2，p(ai)=0p(a1)=p(a2)=p(a4)=p(a5)=1/4，p(ai)=0C=128第二十八頁，共四十頁，編輯于2023年，星期六Z信道Z信道的信道矩陣：設入口概率分布為：則，輸出符號的概率分布：從而，29第二十九頁，共四十頁，編輯于2023年，星期六可得：注：這時要找某個使得I(U;V)達到最大值，困難!定理求法Z信道30第三十頁，共四十頁，編輯于2023年，星期六定理4.2.2

一般離散信道達到信道容量的充要條件是入口概率分布滿足

該定理表明，當信道平均互信息達到信道容量時，輸入信源符號集中每一個符號對輸出端提供相同的互信息；只是概率為零的符號除外.31第三十一頁，共四十頁，編輯于2023年，星期六可得：注：這時要找某個使得I(U;V)達到最大值，困難!定理求法即32第三十二頁，共四十頁，編輯于2023年，星期六可整理為：從而，即，解得：Z信道33第三十三頁，共四十頁，編輯于2023年，星期六解方程組，求信道容量由定理4.2.2可得：即令34第三十四頁，共四十頁，編輯于2023年，星期六可得（*）由于兩邊求和，得從而，對應的輸出概率分布為：從而可得最大入口分布！解方程組，求信道容量35第三十五頁，共四十頁，編輯于2023年，星期六例：可列方程組：解方程組，求信道容量36第三十六頁，共四十頁，編輯于2023年，星期六解之得：解方程組，求信道容量信道容量最佳入口分布37第三十七頁，共四十頁，編輯于2023年，星期六信源與信道的匹配

信道的信道容量是固定的，如果某一信源通過該信道傳輸時，信息傳輸率達到了信道容量，我們認為信源與信道達到匹配，否則，我們認為有剩余.

定義：信道剩余度＝C-I(X;Y)

信道的相對剩余度＝38第三十八頁，共四十頁，編輯于2023年，星期六如何才能做到匹配呢？一般通信系統(tǒng)中，把信源發(fā)出的符號變成能在信道中傳輸?shù)姆?，在傳輸時，要能夠盡量用較少的符號表示相同的信息，這樣就可以提高信息的傳輸率，從而提高信道的利用率.這就是香農無失真信源編碼理論，也就是無失真數(shù)據(jù)壓縮理論.

無失真信源編碼就是將信源輸出的消息變換成