第3章離散信道及其容量20059

第三章離散信道及其容量

信道的任務(wù)是以信號(hào)方式快速而準(zhǔn)確的傳輸信息，同時(shí)存儲(chǔ)信息。本章主要研究信道中能夠傳送或存儲(chǔ)的最大信息量，即信道容量。主要內(nèi)容3.1信道的數(shù)學(xué)模型及分類3.2平均互信息及其性質(zhì)3.3信道容量及其計(jì)算3.4離散無記憶信道的擴(kuò)展信道3.5信源與信道匹配3.1信道的數(shù)學(xué)模型及分類3.1信道的數(shù)學(xué)模型及分類

通常信源發(fā)送包含信息的消息，消息轉(zhuǎn)換成適合信道傳輸?shù)男盘?hào)，然后通過信道傳遞給接收者。信道中的干擾或者噪聲，使信道傳輸?shù)男盘?hào)錯(cuò)誤或者失真，因此信道的輸入和輸出之間一般是不確定的函數(shù)關(guān)系，而是統(tǒng)計(jì)依賴關(guān)系。因此，只要知道輸入輸出信號(hào)以及它們的統(tǒng)計(jì)依賴關(guān)系，那么信道的全部特性就確定了。了解3.1信道的數(shù)學(xué)模型及分類3.1.1信道的分類了解3.1信道的數(shù)學(xué)模型及分類離散信道連續(xù)信道半離散或半連續(xù)信道時(shí)間離散的連續(xù)信道波形信道根據(jù)輸入和輸出信號(hào)的特點(diǎn)：了解3.1信道的數(shù)學(xué)模型及分類按信道的轉(zhuǎn)移概率特點(diǎn)來分:有噪信道無噪信道無損信道(每個(gè)輸入對(duì)應(yīng)多個(gè)輸出);確定信道(多個(gè)輸入對(duì)應(yīng)單個(gè)輸出);無擾信道(一個(gè)輸入對(duì)應(yīng)一個(gè)輸出).無記憶信道有記憶信道了解3.1信道的數(shù)學(xué)模型及分類根據(jù)信道輸入端和輸出端的關(guān)聯(lián)無反饋信道反饋信道了解3.1信道的數(shù)學(xué)模型及分類根據(jù)載荷消息的媒體不同郵遞信道電信道光信道聲信道根據(jù)信道的參數(shù)與時(shí)間的關(guān)系：固定參數(shù)信道時(shí)變參數(shù)信道根據(jù)信道的記憶特性無記憶信道有記憶信道了解3.1信道的數(shù)學(xué)模型及分類根據(jù)信道的用戶多少多元接入信道廣播信道兩端(單用戶)信道多端(多用戶)信道了解3.1信道的數(shù)學(xué)模型及分類3.1.2信道的數(shù)學(xué)模型

條件概率P(y|x)描述了輸入信號(hào)和輸出信號(hào)之間統(tǒng)計(jì)依賴關(guān)系,反映了信道的統(tǒng)計(jì)特性.

信道的數(shù)學(xué)模型有幾種描述方法：(1)如上圖用框圖描述；(2)數(shù)學(xué)語言描述；(3)信道傳遞圖描述；(4)信道傳遞矩陣描述。理解3.1信道的數(shù)學(xué)模型及分類1無擾(無噪聲)信道

信道中沒有隨機(jī)性的干擾或干擾很小，輸出信號(hào)y與輸入信號(hào)x之間有確定的對(duì)應(yīng)的關(guān)系，其信道傳遞圖的特點(diǎn)：一一對(duì)應(yīng)或多對(duì)一，但不交叉。即：y＝f(x)理解3.1信道的數(shù)學(xué)模型及分類2有干擾無記憶信道

輸入和輸出間因噪聲干擾而沒有確定的對(duì)應(yīng)關(guān)系，但任一時(shí)刻的輸出只依賴于對(duì)應(yīng)時(shí)刻的輸入。其信道傳遞圖特點(diǎn)是：一對(duì)多但不交叉。或者:理解滿足離散無記憶信道的充要條件：無記憶信道：若信道的任一時(shí)刻的輸出符號(hào)只依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)。理解3.1信道的數(shù)學(xué)模型及分類充要條件：[證明]

充分性：若信道傳遞概率滿足上式，則離散信道為無記憶信道。理解3.1信道的數(shù)學(xué)模型及分類必要性：若離散信道無記憶，則必須滿足上式。證明：根據(jù)離散無記憶信道的定義可知：理解3.1信道的數(shù)學(xué)模型及分類3有干擾(噪聲)有記憶信道實(shí)際信道往往是既有干擾(噪聲)又有記憶的.

例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。這類信道中輸出符號(hào)不但與對(duì)應(yīng)時(shí)刻的輸入符號(hào)有關(guān)，而且還與以前信道的輸入符號(hào)及輸出符號(hào)有關(guān)，這樣的信道稱為有記憶信道。理解3.1信道的數(shù)學(xué)模型及分類3.1.3單符號(hào)離散信道的數(shù)學(xué)模型輸入符號(hào)為X，取值于{a1,a2,…,ar}。輸出符號(hào)為Y，取值于{b1,b2,…,bs}。條件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai)稱為信道的傳遞概率或轉(zhuǎn)移概率。作用：用來描述信道干擾影響的大小。理解3.1信道的數(shù)學(xué)模型及分類3.1.3單符號(hào)離散信道的數(shù)學(xué)模型

簡(jiǎn)單的單符號(hào)離散信道可以用概率空間

[X,P(y|x),Y]描述:理解3.1信道的數(shù)學(xué)模型及分類

信道中存在干擾，輸入符號(hào)在傳遞過程中會(huì)產(chǎn)生錯(cuò)誤，這種信道干擾對(duì)傳輸?shù)挠绊懣梢杂脗鬟f概率p(bj|ai)來描述。所有的傳遞概率構(gòu)成傳遞概率矩陣P，如下圖所示：

b1b2…bsa1P(b1|a1)P(b2|a1)…P(bs|a1)a2P(b1|a2)P(b2|a2)…P(bs|a2)…….……arP(b1|ar)P(b2|ar)…P(bs|ar)掌握[例3-1]二元對(duì)稱信道(BSC：BinarySymmetricalChannel)，已知其信道傳遞圖，求轉(zhuǎn)移概率矩陣。1－p

a1=00=b11－p

a2=11=b2pp解：X:{0,1}；Y:{0,1}r=s=2，a1=b1=0；a2=b2=1。傳遞概率：p是單個(gè)符號(hào)傳輸發(fā)生錯(cuò)誤的概率。(1-p)表示是無錯(cuò)誤傳輸?shù)母怕?。轉(zhuǎn)移矩陣如右圖:3.1信道的數(shù)學(xué)模型及分類掌握[例3-2]二元?jiǎng)h除信道(BEC，BinaryEliminatedChannel)，其信道傳遞圖如圖，求傳遞概率矩陣。p001－p11q1－q2解：X：{0,1}Y：{0,1,2}此時(shí)，r＝2，s＝3。傳遞矩陣為：

符號(hào)“2”表示接收到了“0”、“1”以外的特殊符號(hào)。3.1信道的數(shù)學(xué)模型及分類掌握[例3-3]二元對(duì)稱消失信道，其信道傳遞圖如下圖，求其傳遞概率矩陣。解：X:{0,1}；Y:{0,x,1}r=2，s=3轉(zhuǎn)移概率矩陣:3.1信道的數(shù)學(xué)模型及分類掌握假設(shè)信源符號(hào)集合X：A={a1,a2,…ar}；接收端符號(hào)集合Y：B={b1,b2,…bs}，則單符號(hào)離散無記憶信道模型為[X,P(y|x),Y]

或者：先驗(yàn)概率：p(ai)聯(lián)合概率：p(aibj)前向(傳遞或轉(zhuǎn)移)概率：p(bj|ai)后向(后驗(yàn))概率：p(ai|bj)；輸出符號(hào)概率:p(bj)3.1信道的數(shù)學(xué)模型及分類理解根據(jù)聯(lián)合概率計(jì)算輸出符號(hào)的概率3.1信道的數(shù)學(xué)模型及分類P(b1|a1)P(b2|a1)…P(bs|a1)P(b1|a2)P(b2|a2)…P(bs|a2)…….……

P(b1|ar)P(b2|ar)…P(bs|ar)P=3.20掌握3.2平均互信息及其性質(zhì)3.2.1信道疑義度

H(X)是在接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性，稱為先驗(yàn)熵。接收到bj后，關(guān)于X的不確定性為:

當(dāng)信道接收端接收到輸出符號(hào)bj后，關(guān)于輸入符號(hào)的信息測(cè)度(平均不確定性)，稱為后驗(yàn)熵。掌握3.2平均互信息及其性質(zhì)對(duì)后驗(yàn)熵在符號(hào)集Y中求數(shù)學(xué)期望,得條件熵：

稱為信道疑義度，它表示在輸出端接收到輸出變量Y之后，對(duì)輸入端的變量X尚存在的平均不確定性(疑義),由信道干擾(噪聲)引起的。若信道是一一對(duì)應(yīng)(或者一對(duì)多不交叉)的無干擾信道，那么p(ai|bj)=1，則H(X|Y)=0。掌握解：信道矩陣為:[例3-4]已知二元?jiǎng)h除信道傳遞圖如圖所示,已知信源X的概率分布為，求H(X|Y)。掌握3.2平均互信息及其性質(zhì)掌握3.2平均互信息及其性質(zhì)掌握3.2平均互信息及其性質(zhì)3.2.2平均互信息互信息量I(xi;yj):收到消息yj后獲得關(guān)于xi的信息量。

表示先驗(yàn)的不確定性減去尚存的不確定性,就是單次通信過程中收信者獲得的信息量。對(duì)于無干擾信道，I(xi;yj)=I(xi)；對(duì)于全損信道，I(xi;yj)=0。掌握3.2平均互信息及其性質(zhì)3.2.2平均互信息平均互信息I(X;Y)：I(xi;yj)的統(tǒng)計(jì)平均。掌握3.2平均互信息及其性質(zhì)

互信息I(x;y)代表收到某消息y后獲得關(guān)于某事件x的信息量，它可取正值，也可取負(fù)值。

I(x;y)<0，在未收到信息y以前對(duì)消息x不確定性小于收到消息y后的不確定性(噪聲的影響)。

I(X;Y)

表示輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度(或相關(guān)程度)。

了解3.2平均互信息及其性質(zhì)

通常I(X;Y)≥0，若I(X;Y)=0，表示不能獲得信息量—全損信道。

I(X;Y)=H(X)表示通信時(shí)獲得的信息量即為信源發(fā)送的信息量—無噪（無損）信道。了解3.2平均互信息及其性質(zhì)互信息與信息熵之間的關(guān)系：掌握3.2平均互信息及其性質(zhì)掌握3.2平均互信息及其性質(zhì)掌握3.2平均互信息及其性質(zhì)H(XY)左邊的圓代表隨機(jī)變量X的熵，右邊的圓代表隨機(jī)變量Y的熵，兩個(gè)圓重疊部分是平均互信息I(X;Y)。每個(gè)圓減去I(X;Y)后剩余的部分代表兩個(gè)疑義度。H(X)I[X;Y]H(Y)★H(X|Y)是信道疑義度，表示符號(hào)通過有噪信道后所引起的信息量的損失，故也稱為損失熵?！颒(Y|X)是由信道噪聲引起的，和信道統(tǒng)計(jì)特性p(y|x)相關(guān)的熵,稱為噪聲熵。H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)理解兩種極端情況的信道

輸入符號(hào)集合X：A={a1,a2,…ar}；輸出符號(hào)集合Y：B={b1,b2,…bs}，s=r。信道傳遞概率如下：情況1：符號(hào)的傳遞概率等于1，否則等于0.H(X|Y)=0H(Y|X)=0I(X;Y)=H(X)=H(Y)掌握兩種極端情況的信道

輸入符號(hào)集合X：A={a1,a2,…ar}；輸出符號(hào)集合Y：B={b1,b2,…bs}，s=r。信道傳遞概率如下：情況2：信道輸入端X與輸出端Y完全統(tǒng)計(jì)獨(dú)立H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0掌握兩級(jí)級(jí)聯(lián)信道XP(Y/X)YP(Z/Y)Z3.2.3平均條件互信息了解

定義已知事件z屬于Z的條件下，接收到y(tǒng)后獲得關(guān)于某事件x的條件互信息了解證明：

了解定義

了解證明：

了解平均互信息的鏈?zhǔn)椒▌t了解了解了解[例3-3]4個(gè)等概率分布的消息M1，M2，M3，M4被送入一個(gè)二元無記憶對(duì)稱信道進(jìn)行傳送。通過編碼使M1=00，M2=01，M3=10，M4=11。試問。輸入是M1和輸出符號(hào)是0的互信息是多少？如果知道第二個(gè)符號(hào)也是0，這時(shí)帶來多少附加信息量？1－p001－p11pp3.1信道的數(shù)學(xué)模型及分類掌握[解]

P(M1)

=P(M2)=

P(M3)=

P(M4)=1/4

P(0|M1)=P(0|0)=1-pP(M10)=P(M1).P(0|M1)=(1-p)/4

1－p001－p11ppP(M100)=P(M1).P(00|M1)=(1-p)2/4P(00|M1)=P(00|00)=(1-p)23.2平均互信息及其性質(zhì)3.3平均互信息的特性1非負(fù)性I(X;Y)≥0

物理意義：I(X;Y)不會(huì)是負(fù)值，即從平均的角度總能消除一些不確定性。除非輸入與輸出統(tǒng)計(jì)獨(dú)立才不能接收到任何信息，但也不會(huì)失去信息。了解3.2平均互信息及其性質(zhì)2極值性I(X;Y)≤H(X)

物理意義：從某一事件(Y或X)提取關(guān)于另一事件(X或Y)的信息量，最多只有這個(gè)事件所包含的所有信息量H(X)或H(Y)。了解3.2平均互信息及其性質(zhì)3交互性I(X;Y)=I(Y;X)

物理意義：I(X;Y)表示從Y中提取的關(guān)于X的信息量，I(Y;X)表示從X當(dāng)中提取的關(guān)于Y的信息量。特別的：當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)，就不可能從一個(gè)隨機(jī)變量中獲得關(guān)于另一個(gè)隨機(jī)變量的任何信息。了解3.2平均互信息及其性質(zhì)4上凸性

I(X;Y)是關(guān)于輸入信源概率分布p(x)的上凸函數(shù)，是關(guān)于信道傳遞概率p(y|x)的下凸函數(shù)。證明:先假設(shè)信道是固定信道，則其信道特性固定，即轉(zhuǎn)移概率p(y|x)不受p(x)的變化影響。令p1(x)和p2(x)為信源的兩種概率分布，相應(yīng)的互信息分別記為：I[p1(x)]和I[P2(X)]設(shè)任意正數(shù)0＜θ＜1，且有p(x)=θp1(x)+(1-θ)p2(x)了解3.2平均互信息及其性質(zhì)結(jié)論：I[X;Y]是輸入信源概率分布p(x)的上凸函數(shù)。了解例3.3

設(shè)信源X的概率空間為：信道特征如下圖，計(jì)算平均互信息1－p001－p11pp掌握解1－p001－p11pp由可求得

平均互信息量

掌握3.4信道容量及其計(jì)算3.4.1信道容量的定義

信道中平均每個(gè)符號(hào)所能傳送的信息量，稱為信道的信息傳輸率，記為R。

R=I(X;Y)=H(X)-H(X|Y)

（bit/symbol）掌握3.4信道容量及其計(jì)算3.4.1信道容量的定義

若信道每傳遞一個(gè)符號(hào)需要的時(shí)間為t秒，則信道單位時(shí)間傳輸?shù)男畔⒘繛樾畔鬏斔俾剩篟t=I(X;Y)/t=[H(X)-H(X|Y)]/t(bit/symbol)

了解3.4信道容量及其計(jì)算

信道容量的定義有兩種方式，1、定義信息傳輸率的最大值為信道容量。2、定義信息傳輸速率的最大值為信道容量。掌握注：(1)如無特殊說明，本書的信道容量都采用第一種定義。

(2)信道容量的單位為bit/symbol(nat/symbol)

在不引起混淆時(shí)可簡(jiǎn)寫成bit或nat；

(3)當(dāng)信道給定后，p(y|x)就固定,所以C僅與

p(y|x)有關(guān)，而與p(x)無關(guān)；

(4)C是信道傳輸最大信息速率能力的度量。3.3信道容量及其計(jì)算[例3-5]試計(jì)算二元對(duì)稱信道的信道容量?？梢钥闯觯?1)信道容量C只是信道傳遞概率p的函數(shù)，而與信源概率分布ω?zé)o關(guān)；(2)求解信道容量的的核心問題是找到使信道達(dá)到信道容量的信源概率分布p(x)。解:已知二元對(duì)稱信道3.4.1離散無噪信道的信道容量1無損無噪信道信道特點(diǎn)：輸入和輸出是一一對(duì)應(yīng)的，其傳遞矩陣為單位矩陣。H(X/Y)=H(Y/X)=0即，損失熵=噪聲熵=0→I(X;Y)=H(X)=H(Y)掌握1無損無噪信道無損無噪信道容量掌握2無損(有噪)信道信道矩陣特點(diǎn)：一個(gè)輸入符號(hào)互不交叉的對(duì)應(yīng)多個(gè)輸出符號(hào)。其傳遞矩陣中每列元素有且僅有一個(gè)不為零。掌握2無損(有噪)信道

損失熵H(X/Y)=0

但噪聲熵H(Y/X)≠0所以：I(X;Y)=H(X)<H(Y)掌握【例】無損信道

如圖所示，信道輸入符號(hào)集X={x1,x2,x3}，輸出符號(hào)集Y={y1,y2,y3,y4,y5}，其信道轉(zhuǎn)移概率矩陣記為，計(jì)算該信道的信道容量。

圖無損信道x1x2x3y1y2y3y5y62/61/63/61/21/21y4掌握2.根據(jù)定義計(jì)算信道容量C

由極大離散熵定理知道，在信源消息等概分布時(shí)，熵值達(dá)到最大，即有1.平均互信息量I（X;Y）=H（X）-H（X︱Y），在無噪信道條件下，H（X︱Y）=0，則平均互信息量I（X;Y）=H（X）掌握3無噪有損信道(確定信道)特點(diǎn)：輸入和輸出是多對(duì)一的對(duì)應(yīng)關(guān)系，但一個(gè)輸入只對(duì)應(yīng)一個(gè)輸出。信道矩陣掌握3無噪有損信道(確定信道)H(Y|X)=0，H(X|Y)>0

所以：I(X;Y)=H(Y)<H(X)掌握70離散無噪信道的信道容量結(jié)論無損信道的C決定于信道的輸入符號(hào)數(shù)r無噪信道的C只決定于信道的輸出符號(hào)數(shù)s3.4.2對(duì)稱離散信道的信道容量

對(duì)稱離散信道定義：離散無記憶信道中，若信道傳遞矩陣P中每一行都是由同一集合{p1,p2,…,ps}中的諸元素不同排列組成，每一列也都是由{q1,q2,…,qr}中的諸元素不同排列組成。例如：正例反例掌握證明:

離散對(duì)稱信道的信道容量

若一離散對(duì)稱信道具有r個(gè)輸入符號(hào)，s個(gè)輸出符號(hào)，則當(dāng)輸入為等概率分布時(shí),信道容量C：式中，為信道矩陣中的任一行。掌握？因?yàn)椋寒?dāng)輸入等概率分布時(shí):

在離散對(duì)稱信道中輸入等概率分布可以得到輸出等概率分布。

由于信道是離散對(duì)稱的，則每一列元素都是由相同的元素的不同排列構(gòu)成的，所以每一列元素的和是相等的。設(shè)為A，則有：(j=1,2,…,s)可以得出：在離散對(duì)稱信道中輸入等概率分布可以得到輸出等概率分布。即輸入等概率時(shí)，可以得到信道的信道容量：[例3-6]

一信道的轉(zhuǎn)移概率矩陣為:求信道容量和達(dá)到容量時(shí)的輸出概率。解：設(shè)信道矩陣每行元素為p1’,p2’,p3’，由于信道為離散對(duì)稱信道，故當(dāng)輸入等概率時(shí)達(dá)到容量C，此時(shí)輸出也等概率。所以:=0.126比特/符號(hào)達(dá)到容量時(shí)的輸出概率：信道的輸入符號(hào)是等概率分布時(shí)。掌握定義若輸入/輸出符號(hào)個(gè)數(shù)相同，都等于r，且信道矩陣為:則為強(qiáng)對(duì)稱信道或均勻信道。

這類信道中總的錯(cuò)誤概率為p，對(duì)稱地平均分配給r-1個(gè)輸出符號(hào)。是對(duì)稱離散信道的特例。掌握2強(qiáng)對(duì)稱信道(均勻信道)的信道容量證明：討論r=2時(shí)掌握定義：若信道矩陣按照信道輸出集Y(列)可以將信道矩陣劃分成n個(gè)子矩陣，每個(gè)子矩陣都是對(duì)稱矩陣，則稱此信道為準(zhǔn)對(duì)稱信道。3.4.3準(zhǔn)對(duì)稱信道的信道容量掌握例可見，輸入對(duì)稱信道也屬于準(zhǔn)對(duì)稱信道。掌握3.4.3準(zhǔn)對(duì)稱離散信道的信道容量其中：r是輸入符號(hào)集中符號(hào)的個(gè)數(shù)，為準(zhǔn)對(duì)稱信道矩陣中的行元素。

設(shè)傳遞矩陣可以劃分為n個(gè)互不相交的子集。Nk是第k個(gè)子矩陣Qk中行元素之和，Mk是第k個(gè)子矩陣Qk中列元素之和。掌握[例3-7]

一信道的轉(zhuǎn)移概率矩陣如圖，求信道容量和達(dá)到容量時(shí)的輸出概率。解：設(shè)輸出概率為q1,q2,q3,q4，因準(zhǔn)對(duì)稱信道當(dāng)輸入等概率時(shí)達(dá)到信道容量?？傻茫盒诺廊萘康挠?jì)算有兩種方法。方法一：利用信道容量的定義進(jìn)行計(jì)算。掌握方法二：利用離散準(zhǔn)對(duì)稱信道信道容量公式計(jì)算。掌握掌握例3.8：可分成：行之和：N1=1-p-q+p=1-q；N2=q；列之和：M1=1-q-p+p=1-q，M2=2q掌握3.4.4一般離散信道的信道容量

根據(jù)離散信道信道容量的定義：在固定信道的條件下，對(duì)所有可能的輸入分布P(x)，求平均互信息的最大值即為信道容量。因?yàn)樾诺廊萘繛檩斎敫怕史植糚(x)的上凸函數(shù)，且為輸入概率分布的多元函數(shù)，可利用拉格朗日乘數(shù)法計(jì)算這個(gè)條件極值。引入輔助函數(shù)：了解解得：了解了解了解因此信道容量：

設(shè)令若假設(shè)使平均互信息達(dá)到信道容量的輸入概率分布為P={p1,p2,…,pr}，并代入上述方程得：了解定理3.3一般離散信道的平均互信息I(X;Y)達(dá)到信道容量的充要條件是:理解上述充要條件可以等價(jià)為:定理的證明略！見教材。理解可以利用該定理對(duì)一些特殊信道求得它的信道容量例3.9輸入符號(hào)集為:{0,1,2}，輸出符號(hào)集：{0,1}假設(shè)P(0)=P(2)=1/2，P(1)=0，則：理解所以：理解例3.10輸入符號(hào)集為:{a1,a2,a3,a4,a5}，輸出符號(hào)集：{b1,b2}假設(shè)P(a1)=P(a5)=1/2，P(a2)=P(a3)=P(a4)=0，則：信道矩陣掌握所以：掌握假設(shè)P(a1)=P(a2)=P(a4)=P(a5)=1/4P(a3)=0根據(jù)公式3.94P(a1)=P(a2)=P(a4)=P(a5)=1/4；P(a3)=

0也是最佳分布解法二掌握對(duì)于一般信道的求解方法，就是求解方程組移項(xiàng)得：令則:若r=s，此方程有解，可以解出s個(gè)未知數(shù)，再根據(jù)得從而i=1,2,…r掌握例3.11可列方程組：求信道容量與最佳輸入分布掌握解之得：掌握3.6離散無記憶擴(kuò)展信道及其信道容量

離散無記憶信道(DMC，DiscreteMemorylessChannel)，其傳遞概率滿足：仍用[X，P(y/x)，Y]概率空間來描述。

不同的只是當(dāng)信道傳輸消息序列時(shí)，輸入隨機(jī)序列與輸出隨機(jī)序列之間的傳遞概率等于對(duì)應(yīng)時(shí)刻的隨機(jī)變量的傳遞概率的乘積。理解設(shè)離散無記憶信道的輸入符號(hào)集A＝{a1，…，ar}，輸出符號(hào)集B＝{b1

，…，bs}，信道矩陣為:

無記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如圖所示:而信道矩陣：其中：理解例3.12求二元無記憶對(duì)稱信道（BSC）的二次擴(kuò)展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，因此，二次擴(kuò)展信道的輸入符號(hào)集為A＝{00，01，10，11}，共有22＝4個(gè)符號(hào)，輸出符號(hào)集為B＝{00，01，10，11}。由于是無記憶信道，可求得二次擴(kuò)展信道的傳遞概率：信道矩陣：掌握

根據(jù)平均互信息的定義，可得無記憶信道的N次擴(kuò)展信道的平均互信息：理解N次擴(kuò)展信道的信道容量定理3.5

若信道輸入序列為X=(X1X2…XN)，通過信道傳輸，接收到的序列為Y=(Y1Y2…YN