信息論與編碼第三版-第4章

第4章離散信道的信道容量§4.1信道容量的定義一．信息傳輸率平均互信息量H(X)：信道輸入方關(guān)于發(fā)送符號集X中的某個(gè)消息的平均不確定性；

H(X/Y)：信道輸出方接收到符號集Y后對X發(fā)送消息仍存在的平均不確定性；

I(X;Y)：為通信過程中獲得的信息量，也就是平均每個(gè)碼元所攜帶的信息量。對于單符號傳輸情況，信息傳輸率為：

二．信道容量信息傳輸率是衡量通信質(zhì)量的一個(gè)重要指標(biāo)，由前面的定理知：對于固定信道，總存在某種輸入概率分布p(x)，使I（X;Y）達(dá)到最大值，定義這個(gè)最大值為信道容量，記為C。使I（X;Y）達(dá)到信道容量的分布p(x)為最佳分布。

信道容量C就是在保證可靠通信的前提下，信道所能容納的最大信息傳輸量。對于固定信道，信道容量C是一個(gè)固定值；對于不同信道，C不同，信道容量C是信道轉(zhuǎn)移概率p(y/x)的函數(shù)?！?.2離散無記憶信道容量的計(jì)算一．離散無記憶信道的容量如果信道輸入的是N維序列XN，其概率分布為P（XN），輸出的是N維序列YN，則平均互信息量記為I（XN；YN），此時(shí)N維信道容量定義為：若輸入的N個(gè)符號統(tǒng)計(jì)獨(dú)立，即信源離散無記憶,有：

綜上，在信源和信道都離散無記憶的情況下，有CN＝NC，即定理中等號成立，這時(shí)N長序列的傳輸問題可歸結(jié)為單符號傳輸問題。定理：如果信道是離散無記憶（DMC）的，則CN

NC，其中C是同一信道傳輸單符號時(shí)的信道容量。二．達(dá)到信道容量的充要條件定理：使平均互信息量I（X;Y）達(dá)到信道容量C的充要條件是信道輸入概率分布簡記為p(X)={p(x1),p(x2),…,p(xM)}滿足：說明：定理只給出了使平均互信息量達(dá)到信道容量的充要條件，并沒有給出求信道容量及信道輸入概率分布的顯式，它只能用來求解一些特殊情況的信道容量。下面介紹幾種無噪信道信道容量的求解。對于無噪信道，信道的輸入X和輸出Y之間有著確定的關(guān)系，一般有三類：有噪無損信道、無噪確定信道和無噪無損信道。【例】有噪無損信道無損信道的輸入符號集元素個(gè)數(shù)小于輸出符號集的元素個(gè)數(shù)，信道的一個(gè)輸入對應(yīng)多個(gè)互不交叉的輸出，如圖所示，信道輸入符號集X={x1,x2,x3}，輸出符號集Y={y1,y2,y3,y4,y5,y6}，其信道轉(zhuǎn)移概率矩陣記為P，計(jì)算該信道的信道容量。

【解】1．先考察平均互信息量I（X;Y）=H（X）-H（X/Y），在無噪信道條件下，H（X/Y）=0，則平均互信息量I（X;Y）=H（X）。

2．根據(jù)定義計(jì)算信道容量C

從上式可看出，求信道容量C的問題轉(zhuǎn)化為尋找某種分布p(x)使信源熵H（X）達(dá)到最大，由極大離散熵定理知道，在信源消息等概分布p(x1)=p(x2)=p(x3)=1/3時(shí)，熵值達(dá)到最大，即有3.根據(jù)平均互信息量I（X;Y）達(dá)到信道容量的充要條件式對C進(jìn)行驗(yàn)證：

先根據(jù)計(jì)算出p(yj)（j=1，2，3，4，5，6）

再計(jì)算出：上面三式均滿足平均互信息量達(dá)到信道容量C的充要條件，故C=log3。

【例】

無噪確定信道確定信道的輸入符號集的元素個(gè)數(shù)大于輸出符號集的個(gè)數(shù)，信道的一個(gè)輸出對應(yīng)多某個(gè)個(gè)互不交叉的輸入，這時(shí)輸入符號以確定的概率1指向某個(gè)輸出符號，如圖所示。信道輸入符號集X＝{x1,x2,x3,x4,x5}，輸出符號集Y＝{y1,y2}，其信道轉(zhuǎn)移概率矩陣記為P，計(jì)算該信道的容量?！窘狻?．先考察平均互信息量I（X;Y）=H（Y）-H（Y/X），對于確定信道，H（Y/X）=0，則平均互信息量I（X;Y）=H（Y）2．根據(jù)定義計(jì)算信道容量C由于，由于信道轉(zhuǎn)移概率是確定的，求使H(Y)達(dá)到最大值的p(x)的最佳分布就轉(zhuǎn)化為求p(y)的最佳分布。由極大離散熵定理知，在p(y)等概率分布時(shí)，H(Y)達(dá)到最大，則

3.根據(jù)平均互信息量I（X;Y）達(dá)到信道容量的充要條件式對C進(jìn)行驗(yàn)證：

上面的式子均滿足平均互信息量達(dá)到信道容量C的充要條件，故C=log2。

【例】

無噪無損信道無損確定信道的輸入符號集的元素個(gè)數(shù)等于輸出符號集的個(gè)數(shù)，且信道的輸入符號以確定概率1指向某個(gè)固定的輸出符號，如圖所示，信道輸入符號集X＝{x1,x2,x3,x4,x5}，輸出符號集Y＝{y1,y2,y3,y4,y5}，其信道轉(zhuǎn)移概率矩陣為P，計(jì)算信道容量。【解】該信道的信道容量為：

三．幾類特殊信道的信道容量1.準(zhǔn)對稱信道定義1：如果信道轉(zhuǎn)移概率矩陣P中，每一行元素都是另一行相同元素的不同排列，則稱該信道關(guān)于行（輸入）對稱。

定義2：如果信道轉(zhuǎn)移概率矩陣P中，每一列元素都是另一列相同元素的不同排列，則稱該信道關(guān)于列（輸出）對稱。定義3：如果信道轉(zhuǎn)移概率矩陣P可按輸出符號集Y分成幾個(gè)子集（子矩陣），而每一子集關(guān)于行、列都對稱，稱此信道為準(zhǔn)對稱信道。定義4：如果信道轉(zhuǎn)移概率矩陣P可按輸出符號集Y化分的子集（子矩陣）只有一個(gè)，則該信道關(guān)于關(guān)于行、列都對稱，稱此信道為對稱信道。【定理一】（準(zhǔn)）對稱信道的條件熵H(Y/X)與信道輸入消息的分布p(x)無關(guān)，且有H(Y/X)=H(Y/xi)。

【定理二】離散對稱信道，若信源（信道輸入集合）等概率分布，則信宿（信道輸出集合）也是等概率分布的；反之亦然?！径ɡ砣繉?shí)現(xiàn)DMC準(zhǔn)對稱信道的信道容量的信源分布為等概率分布。

【例】信道輸入符號集X={x1,x2}，輸出符號集Y={y1,y2,y3,y4}，給定信道轉(zhuǎn)移概率矩陣為P，求該信道的信道容量C。

這是一個(gè)準(zhǔn)對稱信道，根據(jù)定理，當(dāng)X等概分布，p(x1)＝p(x2)＝1/2時(shí)，信道容量平均互信息量

由

得

可算得信道容量【例】信道輸入符號集X={x1,x2，x3}，輸出符號集Y={y1,y2,y3}，給定信道轉(zhuǎn)移概率矩陣為P，求該信道的信道容量C。

解：這是一個(gè)對稱信道，根據(jù)定理，當(dāng)X等概分布，p(x1)＝p(x2)＝p(x3)=

1/3時(shí)，達(dá)到信道容量C，此時(shí)輸出也等概率分布，p(y1)＝p(y2)＝p(y3)=1/3。平均互信息量

bit/符號

【例】一信道的轉(zhuǎn)移概率矩陣為P，求該信道的信道容量C及達(dá)到C時(shí)輸入的分布。

解：設(shè)信道輸入輸出概率分別為

pi，qi，i=1,…,r由信道矩陣可知，該信道為對稱信道，因此，當(dāng)輸入等概率分布，即pi=1/r時(shí),達(dá)到信道容量C。r=2時(shí)，即為BSC信道，C=1-H(ε)【例】BSC信道的轉(zhuǎn)移概率如下，求信道容量：

該信道為一個(gè)對稱信道，當(dāng)輸入等概率分布（此時(shí)輸出也是等概率分布），取得信道容量。

①時(shí)，信道的輸入符號和輸出符號是一一對應(yīng)的關(guān)系，在這種情況下，信道容量C＝log2，達(dá)到最大值。

②時(shí)，信道的不確定性最大，在這種情況下，信道容量C＝0，是一種最差信道。③時(shí)，這是一種強(qiáng)噪聲信道，但也是一種確定信道，在這種情況下，可將判決取反，收到y(tǒng)1

判為x2

，y2收到判為

x1，也能達(dá)到信道容量的最大值C＝log2。2.信源只含兩個(gè)消息

【例】信道輸入符號集X={x1,x2}，輸出符號集Y={y1,y2,y3}，給定信道轉(zhuǎn)移概率矩陣P，求信道容量C。

設(shè)使平均互信息量達(dá)到信道容量的信源分布為:p(x1)=

，p(x2)=1-

。

由

，可算出

平均互信息量根據(jù)定義，求C的問題就轉(zhuǎn)化為

為何值時(shí)，I(X;Y)達(dá)到最大值。令

則信道容量

3．信道轉(zhuǎn)移概率矩陣為非奇異方陣(自學(xué))

§4.3組合信道的容量考慮有兩個(gè)信道信道1：

信道2：

下面介紹信道三種不同組合情況下的信道容量。一．獨(dú)立并行信道在這種情況下，二個(gè)信道作為一個(gè)信道使用，傳送符號XX′，接收符號YY′，但兩個(gè)信道是獨(dú)立的C

C

1+C2

說明在兩信道并行使用的情況下，總?cè)萘啃∮诘扔趦尚诺绬为?dú)使用時(shí)的信道容量之和。推廣到N個(gè)信道的并行組合，當(dāng)N個(gè)信道并行獨(dú)立使用時(shí)，記Ck(k=1,2,…,N)為第k個(gè)信道的信道容量，C為組合信道的總?cè)萘?，則有等號成立的條件，都要求信源離散無記憶，即要求信道獨(dú)立使用且輸入獨(dú)立。二．和信道兩個(gè)信道輪流使用，使用概率分別為p1，p2，且p1+p2=1，記概率分布P=（p1，p2)信道容量為：推廣到N個(gè)信道輪流使用的情況,當(dāng)N個(gè)信道以不同概率輪流使用時(shí)，記Ci(i=1,2,…,N)為第k個(gè)信道的信道容量，C為組合信道的總?cè)萘?，則有三．串行信道將兩個(gè)信道級聯(lián)，有X'=Y，如圖所示。

串行信道的信道轉(zhuǎn)移概率

用矩陣表示為：

串連信道的總信道轉(zhuǎn)移概率矩陣第一個(gè)信道的轉(zhuǎn)移概率矩陣第二個(gè)信道的轉(zhuǎn)移概率矩陣【例】給定兩個(gè)信道，信道轉(zhuǎn)移概率矩陣分別為：

串行信道的轉(zhuǎn)移概率矩陣為：

串行級聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個(gè)獨(dú)立信道轉(zhuǎn)移概率的均值。這是很不利的，這種情況下出錯(cuò)概率增大，使信息能力減小。求得串聯(lián)信道的總轉(zhuǎn)移概率矩陣，利用前面的方法可以求得信道的總?cè)萘俊Ｈ魧個(gè)轉(zhuǎn)移概率相同的信道級聯(lián)，當(dāng)N→∞時(shí)，其總信道容量將趨于零。對于前面的結(jié)論，可用數(shù)據(jù)處理定理說明：

信道1：P1=[p(y/x)]；信道2：P2=[p(y'/x')]。信道1和信道2是獨(dú)立的，信道2的輸出Z只與其輸入Y及信道轉(zhuǎn)移概率P2=[p(y'/x')]有關(guān)，而與X無關(guān)。因此信道1和信道2串連就構(gòu)成了一個(gè)馬爾可夫鏈，對于馬爾可夫鏈有如下定理：定理：若隨即變量X、Y、Z組成一個(gè)馬爾可夫鏈，如圖所示，則有

I（X;Z）

I（X;Y）I（X;Z）

I（Y;Z）數(shù)據(jù)處理定理：無論經(jīng)過何種數(shù)據(jù)處理，都不會使信息量增加。若滿足：H(X/Y)=H(X/Z)，則等號成立I（X;Z）=I（X;Y），說明這種情況下串行傳輸不會增加信息的損失?！纠績蓚€(gè)離散信道，將它們串行連接使用，計(jì)算總信道容量C。

【解