信息論基礎離散無記憶信道 信道容量PowerPoint 演示文稿

1、1第第4章章 數(shù)據(jù)可靠傳輸和信道編碼數(shù)據(jù)可靠傳輸和信道編碼2數(shù)據(jù)可靠傳輸和信道編碼數(shù)據(jù)可靠傳輸和信道編碼4.1 離散無記憶信道和信道容量離散無記憶信道和信道容量 4.2 信道容量的計算信道容量的計算 4.3 信道編碼理論信道編碼理論 4.4 帶反饋的信道模型帶反饋的信道模型4.5 聯(lián)合信源聯(lián)合信源-信道編碼定理信道編碼定理4.6 線性分組碼線性分組碼習題四習題四 3數(shù)據(jù)可靠傳輸和信道編碼數(shù)據(jù)可靠傳輸和信道編碼4.1 離散無記憶信道和信道容量 4.2 信道容量的計算信道容量的計算 4.3 信道編碼理論信道編碼理論 4.4 帶反饋的信道模型帶反饋的信道模型4.5 聯(lián)合信源聯(lián)合信源-信道編碼定理信道

2、編碼定理4.6 線性分組碼線性分組碼習題四習題四 4離散無記憶信道和信道容量離散無記憶信道和信道容量 為確定信道傳輸?shù)南薅?，就要考慮信道傳遞信息的基本單元信號. 信號無論采用光、聲、電還是其他形式都是一種物理過程. 每個信號都需要一定的時間. 在烽火臺上點燃烽火也許要花好幾分鐘，現(xiàn)代極高頻無線電通信傳遞信號所需要的時間還不到億分之一秒. 盡管如此，總要有一定的時間間隔才能把信號與信號分離開來. 超過時間間隔的一定限度，信號就會無法分辨： 典型的例子就是一個人說話過分快，聽的人根本聽不懂他在說什么. 因此，要使一個信道能夠起到傳遞信息的功能，每分鐘傳遞的信號數(shù)目就要有一定的限度. 5離散無記憶信

3、道和信道容量離散無記憶信道和信道容量 這點是比較容易理解的. 再比如，我們規(guī)定公共汽車必須一輛接一輛地開來，每輛汽車必須在車站停一分鐘，以便乘客上下. 那么不管增加多少車輛，也不會越過每分鐘一輛的速率. 既然如此，要想提高運輸量，途徑就是增加每輛汽車的裝載量. 那么能否提高每個信號所攜帶的信息量呢？ 信息量的定義告訴我們，一個事件發(fā)小的概率越小，告訴我們這件事是否發(fā)生的信號帶來的信息量越大. 進而增大每個信號信息量的辦法是增加不同信號的數(shù)目.6離散無記憶信道和信道容量離散無記憶信道和信道容量 但是，對于任何給定的信道來講，可以分辨的信號數(shù)目 (這和前面所講的以時間間隔分辨信號是不同的概念)是有

4、限的. 例如對于電報來講，不同的信號只有點和劃；對于電話來講，可以分辨的音素也是有限的. 即使在沒有噪聲干擾的情況下(每輛公共汽車可以載滿乘客，不必擔心中途會發(fā)少什么意外)，信道在單位時間內只能準確地傳遞有限的信號，而每個信號所攜帶的信息量又是有限的，因此信道在單位時間內傳遞的信息量也是有限的. 該限度就稱為信道容量信道容量信道容量限制了通信系統(tǒng)的能力！信道容量限制了通信系統(tǒng)的能力！ 7離散無記憶信道離散無記憶信道提高傳輸?shù)目煽啃裕? 根據(jù)信道用戶的多少根據(jù)信道用戶的多少，可分為：（1）單用戶信道：只有一個輸入端和一個輸出端（2）多用戶信道（廣播、電視、衛(wèi)星、計算機網(wǎng)）廣播、電視、衛(wèi)星、計算機

5、網(wǎng)） 至少有一端有兩個以上的用戶，雙向通信離散無記憶信道離散無記憶信道9根據(jù)符號的概率分布根據(jù)符號的概率分布，可分為（1）有記憶信道（2）無記憶信道 （任一時刻輸出符號只統(tǒng)計依賴于對應時刻輸入符號的 信道）離散無記憶信道離散無記憶信道10根據(jù)輸入輸出信號的特點，根據(jù)輸入輸出信號的特點，可分為 （1）離散信道 輸入集和輸出集都是離散集:電報信道和數(shù)據(jù)信道 （2）連續(xù)信道電視和電話信道 （3）半離散半連續(xù)信道輸入集和輸出集中一個是連續(xù)集、另一個是離散集 :連續(xù)信道加上數(shù)字調制器或數(shù)字解調器 （4）波形信道以下我們只研究單用戶離散無記憶信道以下我們只研究單用戶離散無記憶信道。離散無記憶信道離散無記憶

6、信道數(shù)字信道以數(shù)字脈沖形式（離散信號）傳輸數(shù)據(jù) 11滿足離散無記憶信道的充要條件是其中，輸入符號集其中，輸入符號集 X = x1 , x2 , , xN 輸出符號集輸出符號集 Y = y1 , y2 , , yN 12121( | )(|)(|)NNNiiiP y xP y yyx xxP yx 離散無記憶信道離散無記憶信道12信道轉移概率分布的矩陣形式：離散無記憶信道離散無記憶信道信道轉移概率信道轉移概率13信道轉移概率分布的圖示：離散無記憶信道離散無記憶信道14 信道的任務是以信號方式傳輸信息和存儲信息；因此，研究信道就是研究信道中能夠傳送或存儲的最大信息量，即信息無差錯傳輸?shù)淖畲笏俾?，

7、就是信道容量問題. 因此，首先要考慮信道中平均每個符號能傳輸?shù)男畔⒘科骄バ畔? 區(qū)分：帶寬與信道容量 信道容量信道容量15帶寬 :信道可以不失真地傳輸信號的頻率范圍。為不同應用而設計的傳輸媒體所支持的帶寬有所不同；在現(xiàn)代網(wǎng)絡技術中， “帶寬”表示信道的數(shù)據(jù)傳輸速率. 信道容量:信道在單位時間內可以傳輸?shù)淖畲笮盘柫?，表示信道的傳輸能力。信道容量有時也表示為單位時間內可傳輸?shù)亩M制位的位數(shù)（稱信道的數(shù)據(jù)傳輸速率，位速率），以位/秒（b/s）形式予以表示，簡記為bps。 信道容量和信道帶寬具有正比的關系：帶寬越大，容量越大。 局域網(wǎng)帶寬（傳輸速率）：10Mbps、100Mbps、1000Mbps；

8、 廣域網(wǎng)帶寬（傳輸速率）：64Kbps、2Mbps、155Mbps等 信道容量信道容量16 由于 I(X,Y)=H(X)-H(X|Y) bit/符號是輸入隨機變量X的概率分布p(x)的上凸函數(shù)，因此對于一個確定信道，總存在一個信源（某種概率分布p0(x)），使得傳輸每個符號平均獲得的信息量最大，即每個固定信道都有一個最大的信息傳輸率，定義這個最大值為信道容量C.);(max)(YXICixP 離散無記憶信道和信道容量離散無記憶信道和信道容量17 ( , )(; )( , )log( ) ( )( | )( )( | )log( ) ( | )x X y Yx Xy Yx Xp x yI X Y

9、p x yp x p yQ y xp xQ y xp x Q y x離散無記憶信道和信道容量離散無記憶信道和信道容量18通常，P(xi)稱為信道的入口分布 P(yi)稱為信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)為入口與出口信號的互信息密度函數(shù) p0(x)為最大入口分布。 其中，輸入符號集其中，輸入符號集 X = x1 , x2 , , xN 輸出符號集輸出符號集 Y = y1 , y2 , , yN 離散無記憶信道和信道容量離散無記憶信道和信道容量191）C與輸入信源的概率分布無關，它只是信道傳輸概與輸入信源的概率分布無關，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性

10、有關率的函數(shù)，只與信道的統(tǒng)計特性有關. 是完全描述信道是完全描述信道特性的參數(shù)，是信道能夠傳輸?shù)淖畲笮畔⒘?；特性的參?shù)，是信道能夠傳輸?shù)淖畲笮畔⒘浚?2）從數(shù)學上來說，計算）從數(shù)學上來說，計算C就是求就是求I(X;Y)的最大值；但的最大值；但是，對于一般信道計算相當復雜是，對于一般信道計算相當復雜. 這里我們只討論幾種這里我們只討論幾種典型的無記憶信道的典型的無記憶信道的C的計算的計算.離散無記憶信道和信道容量離散無記憶信道和信道容量20 如果一個離散信道的信道轉移矩陣中的每一行都是由同一組元素的不同組合構成的，并且每一列也是由這一組元素組成的，則稱為對稱信道； 如： 1111336611116633P 和111236111623111362P離散無記憶信道和信道容量離散無記憶信道和信道容量21 X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; P=0101-pp1p1-p 0 1-p 0 p p 1 1-p 1p稱為交叉概率誤差！離散無記憶信道和信道容量離散無記憶信道和信道容量22如果信道的輸入概率分布X=w,1-w，則 由此可得