陳運(yùn) 信息論與編碼 第三章 信道容量

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函數(shù)第5章：信源編碼第6章：信道編碼第7章：密碼體制的安全性測(cè)度3.1 信道容量的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信源3.3 多符號(hào)離散信源3.4 多用戶信道3.5 信道編碼定理3.1 信道的數(shù)學(xué)模型和分類P(Y/X)xY信道的數(shù)學(xué)模型：X P(Y/X) Y信道的分類無干擾信道有干擾信道信道的分類有記憶信道無記憶信道信道的分類單符號(hào) 信道多符號(hào)信道信道的分類單用戶信道多用戶信道信道的分類連續(xù)信道半離散信道離散信道3.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 信道編碼定理3.2 單符號(hào)

2、離散信道的信道容量3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量3.2 .3 離散信道容量的一般計(jì)算方法3.2.1 信道容量的定義p(yi/xi)xYi=1,2,n信道轉(zhuǎn)移概率矩陣：（見下頁）信道容量3.2 單符號(hào)離散信道的信道容量3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量3.2 .3 離散信道容量的一般計(jì)算方法3.2.2 幾種特殊離散信道的容量一、離散無噪信道1、一一對(duì)應(yīng)的無噪信道an bna1 b1a2 b2a1 b1a2 b2an-1 bn-1an bnX、Y一一對(duì)應(yīng)CmaxI(X;Y)log np(ai)a1 b1 b2 b32、具有擴(kuò)展功能的無噪信道a

3、2 b4 b5 b6a3 b7 b8 此時(shí)，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。此時(shí)，C = max H(X) = log n p(ai)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出3、具有歸并性的無噪信道x1 y1x2 x3 y2x4x5 y3C = max H(Y) = log mp(ai)H(X/Y) 0，H(Y/X) = 0多個(gè)輸入變成一個(gè)輸出二、強(qiáng)對(duì)稱(均勻)離散信道的信道容量P：總體錯(cuò)誤概率n X n相應(yīng)的二進(jìn)制均勻信道容量 C1H(p),其中 H(p)=-(1-p)log(1-p)+plogp)二進(jìn)制均勻信道容量曲線三、對(duì)稱離散信道的信道容量矩陣中的每行都 是集合P = p1,

4、p2, , pn中的諸元素的不同排列，稱矩陣的行是可排列的。矩陣中的每列都是集合Q = q1, q2, ,qm中的諸元素的不同排列，稱矩陣的列是可排列的。如果矩陣的行和列都是可排列的，稱矩陣是可排列的。如果一個(gè)信道矩陣具有可排列性，則它所表示的信道稱為對(duì)稱信道中，當(dāng)nm，Q是P的子集；當(dāng)n=m時(shí)，P=Q。對(duì)稱信道練習(xí)：判斷下列矩陣表示的信道是否是對(duì) 稱信道相應(yīng)的對(duì)稱離散信道的信道容量強(qiáng)對(duì)稱信道與對(duì)稱信道比較： 強(qiáng)對(duì)稱 對(duì)稱 n=m n與m未必相等 矩陣對(duì)稱 矩陣未必對(duì)稱 P=Q P與Q未必相等行之和，列之和均為1行之和為1四、準(zhǔn)對(duì)稱信道離散信道的信道容量若信道矩陣的行是可排列的，但列不可排列，

5、如果把列分成若干個(gè)不相交的子集，且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列的，則稱相應(yīng)的信道為準(zhǔn)對(duì)稱信道。例如下面的矩陣：假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是m1，m2，ms。3.2 單符號(hào)離散信道3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量 3.2.3 離散信道容量的一般計(jì)算方法3.2.3 離散信道容量的一般計(jì)算方法 對(duì)一般離散信道而言，求信道容量，就是在固定信道的條件下，對(duì)所有可能的輸入概率分布p(xi)，求平均互信息的極大值。采用拉各朗日乘子法來計(jì)算。(1)兩邊乘p(ai)，并求和，則有：(2)將（2）代入（1），則有：（3）（4）則（3）變?yōu)椋?/p>

6、（5） （6）（7）總結(jié)C的求法，過程如下：（8）（9）例：信道矩陣如下，求C。12343.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 信道編碼定理3.3 多符號(hào)離散信道3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型3.3.2 離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量多符號(hào)離散信道 多符號(hào)信源通過離散信道傳輸形成多符號(hào)離散信道。3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型輸入輸出3.3 多符號(hào)離散信道3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型3.3.2 離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量3.3.2 離散無記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信

7、道的信道容量無記憶：YK僅與XK有關(guān)1YNY(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr3.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 信道編碼定理3.4 多用戶信道3.4.1 多址接入信道3.4.2 廣播信道3.4 .3 相關(guān)信源的多用戶信道3.4.1 多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型R2 C20 C1 C12C1+C2R13.4 多用戶信道3.4

8、.1 多址接入信道3.4.2 廣播信道3.4 .3 相關(guān)信源的多用戶信道3.4.2 廣播信道廣播信道具有單個(gè)輸入和多個(gè)輸出的信道。信源1編碼器信道信源2譯碼器2譯碼器1圖3.4.4 單輸入雙輸出廣播信道模型退化廣播信道（串聯(lián)）編碼器信道1信道2圖3.4.5 退化的廣播信道模型構(gòu)成馬爾可夫鏈不變，保持最大3.4 多用戶信道3.4.1 多址接入信道3.4.2 廣播信道3.4.3 相關(guān)信源的多用戶信道模型13.4.3 相關(guān)信源的多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2相關(guān)信源多用戶信道C2C1E1C1D1x1x2邊信息模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息要求R0盡可能小，并且在W條件下，X1X2無關(guān)3.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 連續(xù)信道3.5 連續(xù)信道P(Y/X)連續(xù)信道的數(shù)學(xué)模型加性連續(xù)信道NY=X+Np(y/x)=p(n)X 利用坐標(biāo)變換原理,可證p(y/x)=p(n) X, N相互獨(dú)立。假定N是均值為0，方差為的高斯變量噪聲功率輸入平均功率輸出平均功率對(duì)于高斯加性信道信噪功率比香農(nóng)公式(bit/s