離散信道及其信道容量

離散信道及其信道容量第1頁，共81頁，2023年，2月20日，星期一2信號(hào)在信道中傳輸會(huì)引入噪聲或干擾，它使信號(hào)通過信道后產(chǎn)生錯(cuò)誤和失真；信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴關(guān)系；知道了信道的輸入信號(hào)、輸出信號(hào)以及它們之間的依賴關(guān)系，信道的全部特性就確定了。一般來說，輸入和輸出信號(hào)都是廣義的時(shí)間連續(xù)的隨機(jī)信號(hào)，可用隨機(jī)過程來描述。第一節(jié)信道的數(shù)學(xué)模型及分類第2頁，共81頁，2023年，2月20日，星期一3規(guī)定一個(gè)離散信道應(yīng)有三個(gè)參數(shù)：輸入符號(hào)集：X={x1，x2，…，}輸出符號(hào)集：Y={y1，y2，…，}信道轉(zhuǎn)移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(/x1),…p(y1/)…p(/)}1、離散信道的基本數(shù)學(xué)模型設(shè)離散信道的輸入為一個(gè)隨機(jī)變量X，相應(yīng)的輸出的隨機(jī)變量為Y，如圖所示：第一節(jié)信道的數(shù)學(xué)模型及分類第3頁，共81頁，2023年，2月20日，星期一4第一節(jié)信道的數(shù)學(xué)模型及分類2、信道的分類：

根據(jù)信道用戶的多少：根據(jù)輸入端和輸出端的關(guān)聯(lián)：

單用戶信道：只有一個(gè)輸入端和一個(gè)輸出端。

多用戶信道：至少有一端有兩個(gè)以上的用戶，雙向通信。

無反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)無影響、無作用。

有反饋信道：輸出端信號(hào)會(huì)影響輸入端信號(hào)變化。根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少：

單符號(hào)信道：輸入和輸出端都只用一個(gè)隨機(jī)變量表示。

多符號(hào)信道：輸入和輸出端用隨機(jī)變量序列/隨機(jī)矢量表示。第4頁，共81頁，2023年，2月20日，星期一5根據(jù)信道參數(shù)與時(shí)間的關(guān)系：

固定參數(shù)信道：信道的統(tǒng)計(jì)特性不隨時(shí)間變化而變化。

時(shí)變參數(shù)信道：信道的統(tǒng)計(jì)特性隨時(shí)間變化而變化。根據(jù)信道輸入和輸出的關(guān)系：

離散信道：輸入、輸出隨機(jī)變量都取離散值。

連續(xù)信道：輸入、輸出隨機(jī)變量都取連續(xù)值。

半離散半連續(xù)信道：輸入變量取離散值而輸出變量取連續(xù)值，或反之。

波形信道第一節(jié)信道的數(shù)學(xué)模型及分類第5頁，共81頁，2023年，2月20日，星期一6第一節(jié)信道的數(shù)學(xué)模型及分類根據(jù)信道上有無干擾關(guān)系：根據(jù)信道上有無記憶關(guān)系：無記憶信道：輸出僅與當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道。有記憶信道：信道輸出不僅與當(dāng)前輸入有關(guān)，還與過去輸入和（或）過去輸出有關(guān)。有干擾信道：存在干擾或噪聲或兩者都有的信道。實(shí)際信道一般都是有干擾信道。無干擾信道：不存在干擾或噪聲，或干擾和噪聲可忽略不計(jì)的信道。計(jì)算機(jī)和外存設(shè)備之間的信道可看作是無干擾信道。以下我們只研究無反饋、固定參數(shù)的單用戶離散信道。第6頁，共81頁，2023年，2月20日，星期一7（1）無干擾信道：輸入信號(hào)與輸出信號(hào)有一一對(duì)應(yīng)關(guān)系（2）有干擾無記憶信道：輸入與輸出無一一對(duì)應(yīng)關(guān)系，輸出只與當(dāng)前輸入有關(guān)；根據(jù)這一模型，可對(duì)信道分類如下：（3）有干擾有記憶信道：這是最一般的信道。第一節(jié)信道的數(shù)學(xué)模型及分類第7頁，共81頁，2023年，2月20日，星期一8第一節(jié)信道的數(shù)學(xué)模型及分類3、單符號(hào)離散信道的數(shù)學(xué)模型設(shè)輸入X∈{x1,x2,…,xi,…,xn}輸出Y∈{y1,y2,…,yj,…,ym}信道轉(zhuǎn)移概率/信道傳遞概率：條件概率p(yj/xi)。其信道模型如圖所示。第8頁，共81頁，2023年，2月20日，星期一9[P]=y1y2…ymx1p(y1/x1)p(y2/x1)…p(ym/x1)x2p(y1/x2)p(y2/x2)…p(ym/x2)……………xnp(y1/xn)p(y2/xn)…p(ym/xn)條件概率p(yj/xi)表示成矩陣形式：第一節(jié)信道的數(shù)學(xué)模型及分類第9頁，共81頁，2023年，2月20日，星期一10單符號(hào)離散信道的輸入變量為X，取值于輸出變量為Y，取值于。并有條件概率條件概率被稱為信道的傳遞概率或轉(zhuǎn)移概率。第一節(jié)信道的數(shù)學(xué)模型及分類第10頁，共81頁，2023年，2月20日，星期一11[例1]二元對(duì)稱信道（BSC）

X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;第一節(jié)信道的數(shù)學(xué)模型及分類第11頁，共81頁，2023年，2月20日，星期一12[例2]二元?jiǎng)h除信道(BEC)X={0,1}；Y={0,2,1}。

0p01-q1-p1q12第一節(jié)信道的數(shù)學(xué)模型及分類第12頁，共81頁，2023年，2月20日，星期一13

由此可見，一般單符號(hào)離散信道的傳遞概率可以用矩陣表示:第一節(jié)信道的數(shù)學(xué)模型及分類第13頁，共81頁，2023年，2月20日，星期一14（1）聯(lián)合概率:（2）輸出符號(hào)的概率:（3）后驗(yàn)概率:其中稱為前向概率，描述信道的噪聲特性稱為后向概率；有時(shí)也把稱為先驗(yàn)概率，把稱為后驗(yàn)概率。表明輸出端收到任一符號(hào)，必定是輸入端某一符號(hào)輸入所致。第一節(jié)信道的數(shù)學(xué)模型及分類第14頁，共81頁，2023年，2月20日，星期一15第二節(jié)平均互信息互信息:yj對(duì)xi的互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)。信源發(fā)出某符號(hào)xi，由于受噪聲的隨機(jī)干擾，在信道的輸出端輸出xi某種變型yj，這個(gè)過程中信道所傳送的信息量，即信宿收到y(tǒng)j后，從yj中獲取關(guān)于xi的信息量I(xi;yj)。第15頁，共81頁，2023年，2月20日，星期一16互信息的性質(zhì)對(duì)稱性：I(xi;yj)=I(yj;xi)兩個(gè)隨機(jī)事件的可能結(jié)果，xi和yj之間的統(tǒng)計(jì)約束程度；從yj得到的關(guān)于xi的信息量I(xi;yj)與從xi得到的關(guān)于yj的信息量I(yj;xi)是一樣的，只是觀察的角度不同而已。當(dāng)統(tǒng)計(jì)獨(dú)立時(shí)，表明xi和yj之間不存在統(tǒng)計(jì)約束關(guān)系，從yj得不到關(guān)于的xi任何信息，反之亦然?；バ畔⒘靠蔀檎祷蜇?fù)值當(dāng)后驗(yàn)概率大于先驗(yàn)概率時(shí)，互信息量為正。當(dāng)后驗(yàn)概率小于先驗(yàn)概率時(shí)，互信息量為負(fù)。當(dāng)后驗(yàn)概率與先驗(yàn)概率相等時(shí)，互信息量為零。這就是兩個(gè)隨機(jī)事件相互獨(dú)立的情況。第16頁，共81頁，2023年，2月20日，星期一平均互信息量如果將信道的發(fā)送和接收端分別看成是兩個(gè)“信源”，則兩者之間的統(tǒng)計(jì)依賴關(guān)系，即信道輸入和輸出之間的統(tǒng)計(jì)依賴關(guān)系描述了信道的特性?；バ畔⒘縄(xi;yj)是定量研究信息流通問題的重要基礎(chǔ)。它是一個(gè)隨機(jī)變量，不能從整體上作為信道中信息流通的測(cè)度。以下介紹平均互信息量的定義平均互信息量的物理含義平均互信息量的性質(zhì)第17頁，共81頁，2023年，2月20日，星期一平均互信息量的定義平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計(jì)平均值。稱I(X;Y)是Y對(duì)X的平均互信息量（簡(jiǎn)稱平均互信息/平均交互信息量/交互熵）。X對(duì)Y的平均互信息定義為第18頁，共81頁，2023年，2月20日，星期一平均互信息量的物理含義觀察者站在輸出端觀察者站在輸入端觀察者站在通信系統(tǒng)總體立場(chǎng)上第19頁，共81頁，2023年，2月20日，星期一20自信息量：對(duì)yj一無所知的情況下xi存在的不確定度；條件自信息量：已知yj

的條件下xi

仍然存在的不確定度；互信息量：兩個(gè)不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信息量。1.觀察者站在輸出端第20頁，共81頁，2023年，2月20日，星期一H(X/Y)

—信道疑義度/損失熵。Y關(guān)于X的后驗(yàn)不確定度。表示收到變量Y后，對(duì)隨機(jī)變量X仍然存在的不確定度。代表了在信道中損失的信息。H(X)

—X的先驗(yàn)不確定度/無條件熵。I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。第21頁，共81頁，2023年，2月20日，星期一2.觀察者站在輸入端觀察者得知輸入端發(fā)出xi前、后對(duì)輸出端出現(xiàn)yj的不確定度的差。第22頁，共81頁，2023年，2月20日，星期一H(Y/X)—噪聲熵。表示發(fā)出隨機(jī)變量X后，對(duì)隨機(jī)變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對(duì)應(yīng)關(guān)系，發(fā)出X后必能確定對(duì)應(yīng)的Y，而現(xiàn)在不能完全確定對(duì)應(yīng)的Y，這顯然是由信道噪聲所引起的。I(Y;X)—發(fā)出X前、后關(guān)于Y的先驗(yàn)不確定度減少的量。第23頁，共81頁，2023年，2月20日，星期一24通信前：輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計(jì)獨(dú)立：p(xiyj)=p(xi)p(yj)

先驗(yàn)不確定度通信后：輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間由信道的統(tǒng)計(jì)特性相聯(lián)系，其聯(lián)合概率密度：

p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/

yj)后驗(yàn)不確定度通信后的互信息量，等于前后不確定度的差這三種表達(dá)式實(shí)際上是等效的，在實(shí)際應(yīng)用中可根據(jù)具體情況選用一種較為方便的表達(dá)式。3.觀察者站在通信系統(tǒng)總體立場(chǎng)上第24頁，共81頁，2023年，2月20日，星期一H(XY)—聯(lián)合熵。表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量Y。即收、發(fā)雙方通信后，整個(gè)系統(tǒng)仍然存在的不確定度。I(X;Y)—通信前、后整個(gè)系統(tǒng)不確定度減少量。在通信前把X和Y看成兩個(gè)相互獨(dú)立的隨機(jī)變量，整個(gè)系統(tǒng)的先驗(yàn)不確定度為X和Y的聯(lián)合熵H(X)+H(Y)；通信后把信道兩端出現(xiàn)X和Y看成是由信道的傳遞統(tǒng)計(jì)特性聯(lián)系起來的、具有一定統(tǒng)計(jì)關(guān)聯(lián)關(guān)系的兩個(gè)隨機(jī)變量，這時(shí)整個(gè)系統(tǒng)的后驗(yàn)不確定度由H(XY)描述。第25頁，共81頁，2023年，2月20日，星期一結(jié)論

以上三種不同的角度說明：從一個(gè)事件獲得另一個(gè)事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。第26頁，共81頁，2023年，2月20日，星期一小結(jié)第27頁，共81頁，2023年，2月20日，星期一28平均互信息是信道傳遞信息的度量，從總體上反映信道每傳遞一個(gè)符號(hào)，所傳遞的平均信息量。I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)(3.34)也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)第28頁，共81頁，2023年，2月20日，星期一29信道疑義度

這是收到后關(guān)于X的后驗(yàn)熵，表示收到后關(guān)于輸入符號(hào)的信息測(cè)度。這是關(guān)于X的先驗(yàn)熵，表示收到輸出前關(guān)于X的不確定性度量。第二節(jié)平均互信息第29頁，共81頁，2023年，2月20日，星期一30

這個(gè)條件熵稱為信道疑義度，表示輸出端在收到一個(gè)符號(hào)后，對(duì)輸入符號(hào)尚存的不確定性，這是由信道干擾造成的如果沒有干擾，H(X/Y)=0。一般情況下H(X/Y)小于H(X)，說明經(jīng)過信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。第二節(jié)平均互信息將后驗(yàn)熵對(duì)隨機(jī)變量Y求數(shù)學(xué)期望第30頁，共81頁，2023年，2月20日，星期一31平均互信息與各類熵之間的關(guān)系：H(XY)H(X/Y)H(Y/X)H(X)H(Y)第二節(jié)平均互信息H(X/Y)即信道疑義度，也表示通過有噪信道造成的損失，故也稱為損失熵，因此信源的熵等于收到的信息量加上損失的熵；而H(Y/X)表示已知輸入的情況下，對(duì)輸出端還殘留的不確定性，這個(gè)不確定性是由噪聲引起的，故也稱之為噪聲熵。I(X;Y)第31頁，共81頁，2023年，2月20日，星期一32（1）無噪一一對(duì)應(yīng)信道：此時(shí)可以計(jì)算得：H(X/Y)=H(Y/X)=0在上圖中表示就是兩圓重合（2）輸入輸出完全統(tǒng)計(jì)獨(dú)立：此時(shí)I(X;Y)=0H(X/Y)=H(X)H(Y/X)=H(Y)下面討論兩種極端情況：第二節(jié)平均互信息第32頁，共81頁，2023年，2月20日，星期一33第三節(jié)平均互信息的特性1、平均互信息的非負(fù)性：I(X;Y)>=0一般來說，信道疑義度總是大于0，所以互信息總是小于信源的熵，只有當(dāng)信道是無損信道時(shí)，信道疑義度等于0，互信息等于信源的熵。該性質(zhì)表明，通過一個(gè)信道總能傳遞一些信息，最差的條件下，輸入輸出完全獨(dú)立，不傳遞任何信息，互信息等于0，但決不會(huì)失去已知的信息。2、平均互信息的極值性：I(X;Y)<=H(X)I(X;Y)<=H(Y)第33頁，共81頁，2023年，2月20日，星期一34I(Y;X)表示從X中提取關(guān)于的Y的信息量，實(shí)際上I(X,Y)和I(Y,X)只是觀察者的立足點(diǎn)不同，對(duì)信道的輸入X和輸出Y的總體測(cè)度的兩種表達(dá)形式。4、平均互信息的凸函數(shù)性：3、平均互信息量的交互性：第三節(jié)平均互信息的特性I(X,Y)=I(Y,X)第34頁，共81頁，2023年，2月20日，星期一35定理3.1

平均互信息I(X;Y)是信源概率分布P(X)

的∩型凸函數(shù)

定理意義，對(duì)于一定的信道轉(zhuǎn)移概率分布，總可以找到某一個(gè)先驗(yàn)概率分布的信源X，使平均互信息量達(dá)到相應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹配信源?？梢哉f不同的信道轉(zhuǎn)移概率對(duì)應(yīng)不同的Imax。第三節(jié)平均互信息的特性第35頁，共81頁，2023年，2月20日，星期一36例：對(duì)于二元對(duì)稱信道

01-p0pp11-p1如果信源分布X={w,1-w}，則:第三節(jié)平均互信息的特性第36頁，共81頁，2023年，2月20日，星期一37I(X;Y)w0?11-H(P)而：所以：當(dāng)信道固定時(shí)，平均互信息時(shí)信源分布的∩型凸函數(shù)，最大值為1-H(P)：第三節(jié)平均互信息的特性第37頁，共81頁，2023年，2月20日，星期一38定理3.2平均互信息I(X;Y)是信道傳遞概率P(y|x)

的U型凸函數(shù)

定理意義：對(duì)于一個(gè)已知先驗(yàn)概率為P(X)的離散信源，總可以找到某一個(gè)轉(zhuǎn)移概率分布的信道，使平均互信息量達(dá)到相應(yīng)的最小值Imin。不同的信源先驗(yàn)概率對(duì)應(yīng)不同的Imin，或者說Imin是P(X)的函數(shù)。即平均互信息量的最小值體現(xiàn)了信源本身的特性。第三節(jié)平均互信息的特性第38頁，共81頁，2023年，2月20日，星期一39如果信源分布X={w,1-w}，則由此可得例：對(duì)于二元對(duì)稱信道I(X;Y)p0?1H(w)第三節(jié)平均互信息的特性

01-p0pp11-p1第39頁，共81頁，2023年，2月20日，星期一40信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號(hào)。單位時(shí)間的信道容量Ct：若信道平均傳輸一個(gè)符號(hào)需要t秒鐘，則單位時(shí)間的信道容量為：

Ct實(shí)際是信道的最大信息傳輸速率。信息傳輸率：R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)]bit/符號(hào)由定理3.1可知，對(duì)于每一個(gè)確定信道，都有一個(gè)信源分布，使得信息傳輸率達(dá)到最大值，我們把這個(gè)最大值稱為該信道的信道容量。第四節(jié)信道容量及其一般計(jì)算方法第40頁，共81頁，2023年，2月20日，星期一41第四節(jié)信道容量及其一般計(jì)算方法C和Ct都是求平均互信息I(X;Y)的條件極大值問題，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后，C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計(jì)特性有關(guān)；它是信道的特征參數(shù)，反應(yīng)的是信道的最大的信息傳輸能力。信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。結(jié)論對(duì)于二元對(duì)稱信道，由圖可以看出信道容量等于1-H(P)第41頁，共81頁，2023年，2月20日，星期一42（1）具有一一對(duì)應(yīng)關(guān)系的無噪聲信道

因?yàn)樾诺谰仃囍兴性鼐恰?”或“0”，X和Y有確定的對(duì)應(yīng)關(guān)系；此時(shí)由于信道的損失熵和疑義度都等于0，所以I(X;Y)=H(X)=H(Y)。當(dāng)信源呈等概率分布時(shí)，具有一一對(duì)應(yīng)確定關(guān)系的無噪信道達(dá)到信道容量。第四節(jié)信道容量及其一般計(jì)算方法1、離散無噪信道的信道容量C=max{I(X;Y)}=max{H(X)}=max{H(Y)}=logr第42頁，共81頁，2023年，2月20日，星期一43(2)有噪無損信道C=max{I(X;Y)}=max{H(X)-H(X/Y)}=max{H(X)}=logr

可見，信道矩陣中每一列有且只有一個(gè)非零元素時(shí)，這個(gè)信道一定是有噪無損信道。此時(shí)信道疑義度為0，而信道噪聲熵不為0，從而：第四節(jié)信道容量及其一般計(jì)算方法1、離散無噪信道的信道容量此時(shí)輸入端符號(hào)熵小于輸出端符號(hào)熵，H(X)<H(Y)。第43頁，共81頁，2023年，2月20日，星期一44(3)無噪有損信道信道矩陣中的元素非“0”即“1”

，每行僅有一個(gè)非零元素，但每列的非零元素個(gè)數(shù)大于1；此時(shí)信道疑義度不為0，而信道噪聲熵為0，從而：

C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs第四節(jié)信道容量及其一般計(jì)算方法1、離散無噪信道的信道容量信道輸入端符號(hào)熵大于輸出端符號(hào)熵，H(X)>H(Y)。第44頁，共81頁，2023年，2月20日，星期一45第四節(jié)信道容量及其一般計(jì)算方法1、離散無噪信道的信道容量結(jié)論無損信道的C決定于信道的輸入符號(hào)數(shù)r無噪信道的C只決定于信道的輸出符號(hào)數(shù)s在求信道容量時(shí)，調(diào)整的始終是輸入端的概率分布p(xi)，盡管信道容量式子中平均互信息I(X;Y)等于輸出端符號(hào)熵H(Y)，但是在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布p(xi)，而不能用輸出端的概率分布p(yj)來代替。注意第45頁，共81頁，2023年，2月20日，星期一46

如果一個(gè)離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的，并且每一列也是由這一組元素組成的，則稱為對(duì)稱信道。第四節(jié)信道容量及其一般計(jì)算方法2、對(duì)稱離散信道的信道容量輸入對(duì)稱：矩陣的每一行都是第一行的置換輸出對(duì)稱：矩陣的每一列都是第一列的置換第46頁，共81頁，2023年，2月20日，星期一47下面我們來計(jì)算對(duì)稱離散信道的信道容量：I(X;Y)=H(Y)-H(Y/X)H(Y/X=x)是對(duì)矩陣的行求和，而由于對(duì)稱信道定義，我們知道，此值是一個(gè)與x無關(guān)的一個(gè)常數(shù)，即因此可以看出，當(dāng)輸出等概分布時(shí)，即H(Y)=logs時(shí)信道容量達(dá)到最大。第四節(jié)信道容量及其一般計(jì)算方法2、對(duì)稱離散信道的信道容量第47頁，共81頁，2023年，2月20日，星期一48

那么，在什么樣的信源輸出情況下，信道輸出能等概分布呢？可以證明，輸入等概分布時(shí)，輸出也等概分布可以看出，信道的輸出也是等概分布的第四節(jié)信道容量及其一般計(jì)算方法2、對(duì)稱離散信道的信道容量第48頁，共81頁，2023年，2月20日，星期一49例：二元對(duì)稱信道：第四節(jié)信道容量及其一般計(jì)算方法2、對(duì)稱離散信道的信道容量第49頁，共81頁，2023年，2月20日，星期一50如果離散信道的轉(zhuǎn)移矩陣如下則稱此信道為強(qiáng)對(duì)稱信道或均勻信道，它是對(duì)稱離散信道的一種特例。第四節(jié)信道容量及其一般計(jì)算方法2、對(duì)稱離散信道的信道容量信道中總的錯(cuò)誤概率是p，對(duì)稱平均地分配給(n-1)個(gè)輸出符號(hào)。信道矩陣中每行之和等于1，每列之和也等于1。r*r階矩陣第50頁，共81頁，2023年，2月20日，星期一51根據(jù)對(duì)稱離散信道信道容量的計(jì)算方法，強(qiáng)對(duì)稱信道其信道容量為：第四節(jié)信道容量及其一般計(jì)算方法2、對(duì)稱離散信道的信道容量結(jié)論：當(dāng)信道輸入呈等概率分布時(shí)，強(qiáng)對(duì)稱離散信道能夠傳輸最大的平均信息量，即達(dá)到信道容量。這個(gè)信道容量只與信道的輸出符號(hào)數(shù)n和相應(yīng)信道矩陣中的任一行矢量有關(guān)。第51頁，共81頁，2023年，2月20日，星期一52若信道的列可以劃分成若干個(gè)互不相交的子集，每一個(gè)子集都是對(duì)稱信道，則稱該信道為準(zhǔn)對(duì)稱信道，如：第四節(jié)信道容量及其一般計(jì)算方法3、準(zhǔn)對(duì)稱離散信道的信道容量第52頁，共81頁，2023年，2月20日，星期一53

可以證明達(dá)到信道容量的輸入分布是等概分布，也可計(jì)算準(zhǔn)對(duì)稱信道的信道容量為：其中r是輸入符號(hào)集的個(gè)數(shù)，為矩陣中的行元素;是第k各矩陣中的行元素只和，是第k個(gè)矩陣的列元素之和。第四節(jié)信道容量及其一般計(jì)算方法3、準(zhǔn)對(duì)稱離散信道的信道容量第53頁，共81頁，2023年，2月20日，星期一54例：可分成：第四節(jié)信道容量及其一般計(jì)算方法3、準(zhǔn)對(duì)稱離散信道的信道容量行之和：N1=1-p-q+p=1-q；N2=q；列之和：M1=1-q-p+p=1-q，M2=2q第54頁，共81頁，2023年，2月20日，星期一55我們可以對(duì)輸入分布求極值，得到而：第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第55頁，共81頁，2023年，2月20日，星期一56定理3.3

一般離散信道達(dá)到信道容量的充要條件是輸入概率分布滿足該定理說明，當(dāng)平均互信息達(dá)到信道容量時(shí)，信源每一個(gè)符號(hào)都對(duì)輸出端輸出相同的互信息。第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第56頁，共81頁，2023年，2月20日，星期一57可以利用該定理對(duì)一些特殊信道求得它的信道容量例：輸入符號(hào)集為:{0,1,2}第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第57頁，共81頁，2023年，2月20日，星期一假設(shè)P(0)=P(2)=1/2，P(1)=0，則：第58頁，共81頁，2023年，2月20日，星期一59所以：第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第59頁，共81頁，2023年，2月20日，星期一60對(duì)于一般信道的求解方法，就是求解方程組移項(xiàng)得：令則若r=s，此方程有解，可以解出s各未知數(shù)，再根據(jù)得從而第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第60頁，共81頁，2023年，2月20日，星期一61例：可列方程組：第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第61頁，共81頁，2023年，2月20日，星期一62解之得：第四節(jié)信道容量及其一般計(jì)算方法4、一般離散信道的信道容量第62頁，共81頁，2023年，2月20日，星期一63第五節(jié)離散無記憶擴(kuò)展信道及其信道容量多符號(hào)離散信道定義定義：多符號(hào)離散信源X=X1X2…XN在N個(gè)不同時(shí)刻分別通過單符號(hào)離散信道{X

P(Y/X)Y}，則在輸出端出現(xiàn)相應(yīng)的隨機(jī)序列Y=Y1Y2…YN，這樣形成一個(gè)新的信道稱為多符號(hào)離散信道。第63頁，共81頁，2023年，2月20日，星期一64第五節(jié)離散無記憶擴(kuò)展信道及其信道容量離散無記憶信道的N次擴(kuò)展信道的傳遞概率等于各單位時(shí)刻相應(yīng)的單符號(hào)離散無記憶信道的傳遞概率的連乘。第64頁，共81頁，2023年，2月20日，星期一65第五節(jié)離散無記憶擴(kuò)展信道及其信道容量離散無記憶信道為：則它的N次擴(kuò)展信道為：為N次擴(kuò)展信源中的一個(gè)符號(hào)為N次擴(kuò)展接收符號(hào)集中的一個(gè)符號(hào)第65頁，共81頁，2023年，2月20日，星期一66我們首先從一個(gè)例子開始例：二元無記憶對(duì)稱信道得二次擴(kuò)展信道二元記憶對(duì)稱信道為：第五節(jié)離散無記憶擴(kuò)展信道及其信道容量第66頁，共81頁，2023年，2月20日，星期一67

可以將信道的擴(kuò)展和信源的擴(kuò)展聯(lián)系起來看，當(dāng)信源擴(kuò)展以后，信道也就稱為了擴(kuò)展信道。則它的二次擴(kuò)展信道為：第五節(jié)離散無記憶擴(kuò)展信道及其信道容量第67頁，共81頁，2023年，2月20日，星期一68根據(jù)平均互信息的定義定理3.5如果信道是無記憶的，即則：定理3.6如果信源是無記憶的第五節(jié)離散無記憶擴(kuò)展信道及其信道容量第68頁，共81頁，2023年，2月20日，星期一69因此，如果信源、信道都是無記憶的

這就是離散無記憶擴(kuò)展信道得信道容量，該信道容量在信源是無記憶信源且每一個(gè)輸入變量Xi達(dá)到最佳分布時(shí)達(dá)到。第五節(jié)離散無記憶擴(kuò)展信道及其信道容量第69頁，共81頁，2023年，2月20日，星期一第六節(jié)級(jí)聯(lián)信道在通信系統(tǒng)中,信息的傳輸往往要依次通過若干個(gè)信道。這些信道通常采用級(jí)聯(lián)的形式。級(jí)聯(lián)的含義是被連接的信道輸入只依賴于前面相鄰信道的輸出而和前面的其它信道的輸出無直接關(guān)系。第70頁，共81頁，2023年，2月20日，星期一我們可以把通信系統(tǒng)模型看成各部分的級(jí)聯(lián)，如下圖所示。信源發(fā)出L長(zhǎng)的序列UL，通過編碼后得到N長(zhǎng)的碼序列XN，經(jīng)信道傳輸后，譯碼器收到N長(zhǎng)序列為YN，譯碼后傳給信宿的消息序列為VN。

通信系統(tǒng)模型各部分的級(jí)聯(lián)第71頁，共81頁，2023年，2月20日，星期一隨機(jī)序列X,Y,Z，當(dāng)Y給定時(shí),Z不依賴于X,即：P(z/y)=P(z/xy)，則X,Y,Z構(gòu)成馬氏鏈。則信道X-Y與Y-Z構(gòu)成的信道是級(jí)聯(lián)信道，滿足馬氏鏈。如圖所示：

級(jí)聯(lián)信道若（X,Y,Z）構(gòu)成馬氏鏈,則：第72頁，共81頁，2023年，2月20日，星期一定理3.7第73頁，共81頁，2023年，2月20日，星期一定理3.8

若X,Y,Z構(gòu)成一馬氏鏈，則