陳運(yùn) 信息論與編碼 第三章 信道容量

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函數(shù)第5章：信源編碼第6章：信道編碼第7章：密碼體制的安全性測(cè)度3.1 信道容量的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信源3.3 多符號(hào)離散信源3.4 多用戶信道3.5 信道編碼定理3.1 信道的數(shù)學(xué)模型和分類P(Y/X)xY信道的數(shù)學(xué)模型：X P(Y/X) Y信道的分類無(wú)干擾信道有干擾信道信道的分類有記憶信道無(wú)記憶信道信道的分類單符號(hào) 信道多符號(hào)信道信道的分類單用戶信道多用戶信道信道的分類連續(xù)信道半離散信道離散信道3.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 信道編碼定理3.2 單符號(hào)

2、離散信道的信道容量3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量3.2 .3 離散信道容量的一般計(jì)算方法3.2.1 信道容量的定義p(yi/xi)xYi=1,2,n信道轉(zhuǎn)移概率矩陣：（見下頁(yè)）信道容量3.2 單符號(hào)離散信道的信道容量3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量3.2 .3 離散信道容量的一般計(jì)算方法3.2.2 幾種特殊離散信道的容量一、離散無(wú)噪信道1、一一對(duì)應(yīng)的無(wú)噪信道an bna1 b1a2 b2a1 b1a2 b2an-1 bn-1an bnX、Y一一對(duì)應(yīng)CmaxI(X;Y)log np(ai)a1 b1 b2 b32、具有擴(kuò)展功能的無(wú)噪信道a

3、2 b4 b5 b6a3 b7 b8 此時(shí)，H(X/Y)=0，H(Y/X) 0，且 H(X) H(Y)。此時(shí)，C = max H(X) = log n p(ai)一個(gè)輸入對(duì)應(yīng)多個(gè)輸出3、具有歸并性的無(wú)噪信道x1 y1x2 x3 y2x4x5 y3C = max H(Y) = log mp(ai)H(X/Y) 0，H(Y/X) = 0多個(gè)輸入變成一個(gè)輸出二、強(qiáng)對(duì)稱(均勻)離散信道的信道容量P：總體錯(cuò)誤概率n X n相應(yīng)的二進(jìn)制均勻信道容量 C1H(p),其中 H(p)=-(1-p)log(1-p)+plogp)二進(jìn)制均勻信道容量曲線三、對(duì)稱離散信道的信道容量矩陣中的每行都 是集合P = p1,

4、p2, , pn中的諸元素的不同排列，稱矩陣的行是可排列的。矩陣中的每列都是集合Q = q1, q2, ,qm中的諸元素的不同排列，稱矩陣的列是可排列的。如果矩陣的行和列都是可排列的，稱矩陣是可排列的。如果一個(gè)信道矩陣具有可排列性，則它所表示的信道稱為對(duì)稱信道中，當(dāng)nm，Q是P的子集；當(dāng)n=m時(shí)，P=Q。對(duì)稱信道練習(xí)：判斷下列矩陣表示的信道是否是對(duì) 稱信道相應(yīng)的對(duì)稱離散信道的信道容量強(qiáng)對(duì)稱信道與對(duì)稱信道比較： 強(qiáng)對(duì)稱 對(duì)稱 n=m n與m未必相等 矩陣對(duì)稱 矩陣未必對(duì)稱 P=Q P與Q未必相等行之和，列之和均為1行之和為1四、準(zhǔn)對(duì)稱信道離散信道的信道容量若信道矩陣的行是可排列的，但列不可排列，

5、如果把列分成若干個(gè)不相交的子集，且由n行和各子集的諸列構(gòu)成的各個(gè)子矩陣都是可排列的，則稱相應(yīng)的信道為準(zhǔn)對(duì)稱信道。例如下面的矩陣：假設(shè)此時(shí)將矩陣的列分為S個(gè)子集，每個(gè)子集的元素個(gè)數(shù)分別是m1，m2，ms。3.2 單符號(hào)離散信道3.2.1 信道容量的定義3.2.2 幾種特殊離散信道的容量 3.2.3 離散信道容量的一般計(jì)算方法3.2.3 離散信道容量的一般計(jì)算方法 對(duì)一般離散信道而言，求信道容量，就是在固定信道的條件下，對(duì)所有可能的輸入概率分布p(xi)，求平均互信息的極大值。采用拉各朗日乘子法來(lái)計(jì)算。(1)兩邊乘p(ai)，并求和，則有：(2)將（2）代入（1），則有：（3）（4）則（3）變?yōu)椋?/p>

6、（5） （6）（7）總結(jié)C的求法，過程如下：（8）（9）例：信道矩陣如下，求C。12343.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 信道編碼定理3.3 多符號(hào)離散信道3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型3.3.2 離散無(wú)記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量多符號(hào)離散信道 多符號(hào)信源通過離散信道傳輸形成多符號(hào)離散信道。3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型輸入輸出3.3 多符號(hào)離散信道3.3.1 多符號(hào)離散信道的數(shù)學(xué)模型3.3.2 離散無(wú)記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信道的信道容量3.3.2 離散無(wú)記憶信道的N次擴(kuò)展信道和獨(dú)立并聯(lián)信

7、道的信道容量無(wú)記憶：YK僅與XK有關(guān)1YNY(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr3.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 信道編碼定理3.4 多用戶信道3.4.1 多址接入信道3.4.2 廣播信道3.4 .3 相關(guān)信源的多用戶信道3.4.1 多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型R2 C20 C1 C12C1+C2R13.4 多用戶信道3.4

8、.1 多址接入信道3.4.2 廣播信道3.4 .3 相關(guān)信源的多用戶信道3.4.2 廣播信道廣播信道具有單個(gè)輸入和多個(gè)輸出的信道。信源1編碼器信道信源2譯碼器2譯碼器1圖3.4.4 單輸入雙輸出廣播信道模型退化廣播信道（串聯(lián)）編碼器信道1信道2圖3.4.5 退化的廣播信道模型構(gòu)成馬爾可夫鏈不變，保持最大3.4 多用戶信道3.4.1 多址接入信道3.4.2 廣播信道3.4.3 相關(guān)信源的多用戶信道模型13.4.3 相關(guān)信源的多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2相關(guān)信源多用戶信道C2C1E1C1D1x1x2邊信息模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息要求R0盡可能小，并且在W條件下，X1X2無(wú)關(guān)3.1 信道的數(shù)學(xué)模型和分類3.2 單符號(hào)離散信道3.3 多符號(hào)離散信道3.4 多用戶信道3.5 連續(xù)信道3.5 連續(xù)信道P(Y/X)連續(xù)信道的數(shù)學(xué)模型加性連續(xù)信道NY=X+Np(y/x)=p(n)X 利用坐標(biāo)變換原理,可證p(y/x)=p(n) X, N相互獨(dú)立。假定N是均值為0，方差為的高斯變量噪聲功率輸入平均功率輸出平均功率對(duì)于高斯加性信道信噪功率比香農(nóng)公式(bit/s