信道及其容量

1、第三章第三章 信道及其容量信道及其容量u 信道的任務(wù)是以信號方式傳輸信息和存儲信息。信道的任務(wù)是以信號方式傳輸信息和存儲信息。u 研究信道中能夠傳送或存儲的最大信息量，即信道容量。研究信道中能夠傳送或存儲的最大信息量，即信道容量。3.1 3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實際信道 編碼信道 圖3.1.1 數(shù)字通信系統(tǒng)的一般模型3.1 3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類 一、信道的分類一、信道的分類 根據(jù)載荷消息的媒體不同根據(jù)載荷消息的媒體不同根據(jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆?/p>

2、式分類中根據(jù)信息傳輸?shù)姆绞椒诸愔?根據(jù)信道的用戶多少：兩端根據(jù)信道的用戶多少：兩端(單用戶單用戶)信道信道 多端多端(多用戶多用戶)信道信道根據(jù)信道輸入端和輸出端的關(guān)聯(lián)：根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道無反饋信道 反饋信道反饋信道根據(jù)信道的參數(shù)與時間的關(guān)系：根據(jù)信道的參數(shù)與時間的關(guān)系： 固定參數(shù)信道固定參數(shù)信道 時變參數(shù)信道時變參數(shù)信道 根據(jù)輸入和輸出信號的特點(diǎn)：根據(jù)輸入和輸出信號的特點(diǎn)： 離散信道離散信道 連續(xù)信道連續(xù)信道 半離散或半連續(xù)信道半離散或半連續(xù)信道 波形信道波形信道二、離散信道的數(shù)學(xué)模型二、離散信道的數(shù)學(xué)模型條件概率條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)

3、計描述了輸入信號和輸出信號之間統(tǒng)計依賴關(guān)系。反映了依賴關(guān)系。反映了信道的統(tǒng)計特性信道的統(tǒng)計特性。 根據(jù)信道的根據(jù)信道的統(tǒng)計特性即條件概率統(tǒng)計特性即條件概率 P(y/x)P(y/x)的不同，離散的不同，離散信道又可分成三種情況：信道又可分成三種情況： 無干擾信道無干擾信道 有干擾無記憶信道有干擾無記憶信道 有干擾有記憶信道有干擾有記憶信道 (1)無干擾無干擾(噪聲噪聲)信道信道 信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號y與輸入信號與輸入信號 x 之間有確定的、一之間有確定的、一 一對應(yīng)的關(guān)系。即：一對應(yīng)的關(guān)系。即：y f (x)(0)(1)|(xf

4、yxfyxyP(2)有干擾無記憶信道有干擾無記憶信道 信道輸入和輸出之間的條件概率是一般的概率分布。信道輸入和輸出之間的條件概率是一般的概率分布。 如果任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，如果任一時刻輸出符號只統(tǒng)計依賴于對應(yīng)時刻的輸入符號，則這種信道稱為無記憶信道。則這種信道稱為無記憶信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121 (3) 有干擾有干擾(噪聲噪聲)有記憶信道有記憶信道 實際信道往往是既有干擾實際信道往往是既有干擾(噪聲噪聲)又有記憶的這種類又有記憶的這種類型。型。 例如在數(shù)字信道中，由于信道濾波使頻率特性不理例如在數(shù)字信道中，由于信道濾

5、波使頻率特性不理想時造成了碼字之間的干擾。想時造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號在這一類信道中某一瞬間的輸出符號不但與對應(yīng)時不但與對應(yīng)時刻的輸入符號有關(guān)，而且還與此以前其他時刻信道的輸刻的輸入符號有關(guān)，而且還與此以前其他時刻信道的輸入符號及輸出符號有關(guān)，入符號及輸出符號有關(guān)，這樣的信道稱為有記憶信道。這樣的信道稱為有記憶信道。三、單符號離散信道單符號離散信道：單符號離散信道：輸入符號為輸入符號為X，取值于，取值于a1,a2, ,ar。輸出符號為輸出符號為Y，取值于，取值于b1,b2, ,bs。條件概率：條件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 這一組

6、條件概率稱為這一組條件概率稱為信道的傳遞概率信道的傳遞概率或或轉(zhuǎn)移概率轉(zhuǎn)移概率，可以用，可以用來來描述信道干擾描述信道干擾影響的大小。影響的大小。 信道中有干擾信道中有干擾(噪聲噪聲)存在，可以用傳遞概率存在，可以用傳遞概率 P(bj/ai) 來描來描述干擾影響的大小。述干擾影響的大小。 一般一般簡單的單符號離散信道簡單的單符號離散信道可以用可以用X, P(y/x) ,Y 三者加三者加以描述。以描述。 其數(shù)學(xué)模型可以用概率空間其數(shù)學(xué)模型可以用概率空間X, P(y/x) ,Y描述。當(dāng)然，描述。當(dāng)然，也可用下圖來描述：也可用下圖來描述： a1 b1 a2 b2 X . . Y . .ar bsP(

7、bj/ai)例例1 二元對稱信道，二元對稱信道，BSC，Binary Symmetrical Channel解：解：此時，此時，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。傳遞概率傳遞概率:pPabPpPabPppPabPppPabP )0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211 p是單個符號是單個符號傳輸發(fā)生錯誤傳輸發(fā)生錯誤的概率。的概率。（1-p）表示是）表示是無錯誤傳輸無錯誤傳輸?shù)母怕?。的概率?轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp符號符號“2”表示接收

8、到了表示接收到了“0”、“1”以外的特殊符以外的特殊符號號 qqpp1001 0 2 101p0 01p1 1q1q2例例2二元刪除信道。二元刪除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此時，此時，r 2，s 3，傳遞矩陣為：傳遞矩陣為： 一般離散單符號信道的傳遞概率可用矩陣形式表示，即一般離散單符號信道的傳遞概率可用矩陣形式表示，即 sjijijpp110 矩陣矩陣P完全描述了信道的特性，可用它作為離散單符號完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學(xué)模型信道的另一種數(shù)學(xué)模型的形式。的形式。 P中有些是信道干擾引起的錯誤

9、概率，有些是信道正確中有些是信道干擾引起的錯誤概率，有些是信道正確傳輸?shù)母怕省Ｋ栽摼仃囉址Q為傳輸?shù)母怕?。所以該矩陣又稱為信道矩陣信道矩陣（轉(zhuǎn)移矩陣）（轉(zhuǎn)移矩陣） 。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)3.2 3.2 信道疑義度與平均互信息信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號信道的數(shù)學(xué)模型本節(jié)進(jìn)一步研究離散單符號信道的數(shù)學(xué)模型下的信息傳輸問題。下的信息傳輸問題

10、。一、信道疑義度一、信道疑義度信道輸入信源信道輸入信源X的熵的熵 H(X)是在接收到輸出是在接收到輸出Y以前，關(guān)于輸入變量以前，關(guān)于輸入變量X的先驗不的先驗不確定性，稱為確定性，稱為先驗熵先驗熵。 )(log)()(1log)()(1xPxPaPaPXHXirii接受到接受到bj后，關(guān)于后，關(guān)于X的不確定性為的不確定性為 后驗熵在輸出符號集后驗熵在輸出符號集Y范圍內(nèi)是個隨機(jī)量，對后驗熵在符范圍內(nèi)是個隨機(jī)量，對后驗熵在符號集號集Y中求數(shù)學(xué)期望，得條件熵中求數(shù)學(xué)期望，得條件熵-信道疑義度信道疑義度：這是接收到輸出符號這是接收到輸出符號bj后關(guān)于后關(guān)于X的的后驗熵后驗熵。 后驗熵是當(dāng)信道接收端接收到

11、輸出符號后驗熵是當(dāng)信道接收端接收到輸出符號bj后，關(guān)于輸入后，關(guān)于輸入符號的信息測度。符號的信息測度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPxyPYX互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后獲得關(guān)于后獲得關(guān)于xi的信息量的信息量)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息)()|(log)();()();(ijiji

12、jijijijixpyxpyxpyxIyxpYXI平均互信息平均互信息I(X; Y)： I(xi ; yj)的的統(tǒng)計平均。統(tǒng)計平均。l它代表接收到符號集它代表接收到符號集Y后平均每個符號獲得的關(guān)于后平均每個符號獲得的關(guān)于X的的信息量，也表示了輸入與輸出兩個隨機(jī)變量之間的統(tǒng)信息量，也表示了輸入與輸出兩個隨機(jī)變量之間的統(tǒng)計約束程度。計約束程度。平均互信息與各類熵的關(guān)系平均互信息與各類熵的關(guān)系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHY

13、X H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY) 兩種特殊信道兩種特殊信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|(xfyjixfyjiyxpjiYyXxyPxyp)()|(YyXxxPyxp)()|(3.2 3.2 平均互信息的性質(zhì)平均互信息的性質(zhì)平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：（1）非負(fù)性）非負(fù)性 即即 I(X;Y) = 0 當(dāng)當(dāng)X、Y統(tǒng)計獨(dú)立時等式成立。統(tǒng)計獨(dú)立時等式成立。（2）極值性）極值性 即即 I(X;Y) C，總可以找到一種編碼，當(dāng)L足夠長時，譯碼錯誤概率 ，為任意大于零的正數(shù)。反之，當(dāng)RC時，任何編碼的 必大于零，當(dāng) 時， 。eP ePL 1eP 與無失真信源編碼定理(香農(nóng)第一定理)類似，香農(nóng)第二定理只是一個存在性定理，它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。即在保證