信息率與編碼3-1

第三章信道容量信道容量的概念特殊信道的信道容量對稱信道的信道容量準(zhǔn)對稱信道的信道容量非對稱信道的信道容量多符號(hào)離散信道§3.1信道的數(shù)學(xué)模型和分類信道傳輸信息的能力→信道容量一、信道的數(shù)學(xué)模型設(shè)離散信道的輸入為一個(gè)隨機(jī)變量X，相應(yīng)的輸出的隨機(jī)變量為Y。規(guī)定一個(gè)離散信道應(yīng)有三個(gè)參數(shù)：輸入符號(hào)集：X={x1，x2，…，xn}輸出符號(hào)集：Y={y1，y2，…，ym}信道轉(zhuǎn)移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(ym/xn)}P(Y/X)XYN§3.1信道的數(shù)學(xué)模型和分類二、信道的分類（自閱）§3.2單符號(hào)離散信道的信道容量一、信道的表示法⒈信道的矩陣表示法一般簡單的單符號(hào)離散信道的數(shù)學(xué)模型可以用概率空間[X,p(y|x),Y]來描述。其中，每一行表示一個(gè)輸入xi;行矢之和為1。每一列表示一個(gè)輸出yj§3.2單符號(hào)離散信道的信道容量⒉信道的圖示法用于輸入，輸出符號(hào)較少的場合。如：二元信道0101§3.2單符號(hào)離散信道的信道容量⒊信息傳輸率（信息率）信息傳輸率R：信道中平均每個(gè)符號(hào)所傳送的信息量。平均互信息I(X;Y)是接收到符號(hào)Y后平均獲得的關(guān)于X的信息量。所以

R=I（X;Y）bit/符號(hào)設(shè)平均傳輸一個(gè)符號(hào)需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩骸?.2單符號(hào)離散信道的信道容量⒋信道容量由于平均互信息量I(X;Y)是信源概率分布P(X)的型凸函數(shù)，所以對于每一個(gè)確定信道，都有一個(gè)信源分布，使得信息傳輸率達(dá)到最大值，我們把這個(gè)最大值稱為該信道的信道容量。信源與信道匹配最佳分布§3.2單符號(hào)離散信道的信道容量二、幾種特殊離散信道的信道容量⒈離散無噪信道的信道容量特點(diǎn)：輸入與輸出之間具有一一對應(yīng)的關(guān)系。信道容量：C=lognbit/信道符號(hào)n為信道的輸入符號(hào)數(shù)。

最佳分布：輸入為均勻分布。⒉具有擴(kuò)展性能的無噪信道特點(diǎn)：一個(gè)輸入對應(yīng)多個(gè)互不相交的輸出。信道容量：C=lognbit/信道符號(hào)n為信道的輸入符號(hào)數(shù)。

最佳分布：輸入為均勻分布。⒊具有歸并性能的無噪信道特點(diǎn)：一個(gè)輸出對應(yīng)多個(gè)互不相交的輸入。信道容量：C=logmbit/信道符號(hào)m為信道的輸出符號(hào)數(shù)。

最佳分布：使輸出為均勻分布的輸入分布。3.2.1無干擾離散信道（1）n=m具有一一對應(yīng)關(guān)系的無噪信道

——一對一，無噪無損信道信道矩陣——單位陣：元素為0、1損失熵H(X/Y)=0噪聲熵H(Y/X)=0互信息

I(X;Y)=H(X)=H(Y)x1x2x3

xny1y2y3

yn………H(X)I(X;Y)H(Y)（2）n＞m具有歸并性的無噪信道

——多對一，無噪有損信道信道矩陣——每行只有一個(gè)非0元元素為0、1損失熵H(X/Y)≠0噪聲熵H(Y/X)=0

H(X)＞H(Y)輸入分布非唯一y1y2y3x1x2x3x4x5H(X)I(X;Y)H(Y)H(X/Y)

注意：不是這種情況因?yàn)樾诺谰仃嚥粷M足——每行只有一個(gè)非0元素元素為0、1本質(zhì)：有噪信道（3）n＜m具有擴(kuò)展性的無噪信道

——一對多，有噪無損信道信道矩陣——每列只有一個(gè)非0元素,

元素不全是0、1損失熵H(X/Y)=0噪聲熵H(Y/X)≠0

H(X)＜H(Y)x1x2x3y1y2y3y4y5H(X)I(X;Y)H(Y)H(Y/X)

§3.2單符號(hào)離散信道的信道容量二、幾種特殊離散信道的信道容量⒈離散無噪信道的信道容量特點(diǎn)：輸入與輸出之間具有一一對應(yīng)的關(guān)系。信道容量：C=lognbit/信道符號(hào)n為信道的輸入符號(hào)數(shù)。

最佳分布：輸入為均勻分布。⒉具有擴(kuò)展性能的無噪信道特點(diǎn)：一個(gè)輸入對應(yīng)多個(gè)互不相交的輸出。信道容量：C=lognbit/信道符號(hào)n為信道的輸入符號(hào)數(shù)。

最佳分布：輸入為均勻分布。⒊具有歸并性能的無噪信道特點(diǎn)：一個(gè)輸出對應(yīng)多個(gè)互不相交的輸入。信道容量：C=logmbit/信道符號(hào)m為信道的輸出符號(hào)數(shù)。

最佳分布：使輸出為均勻分布的輸入分布?！?.2單符號(hào)離散信道的信道容量三、對稱信道的信道容量⒈對稱信道的信道容量⑴對稱信道的定義關(guān)于行可排列的若信道轉(zhuǎn)移陣的每一行都是同一集合Q∈{q1,q2,…qm}

中諸元素的不同排列，則該轉(zhuǎn)移陣是行可排列的。關(guān)于列可排列的若信道轉(zhuǎn)移陣的每一列都是同一集合p∈{p1,p2,…pn}

中諸元素的不同排列，則該轉(zhuǎn)移陣是列可排列的。

對稱信道的定義若一個(gè)信道的轉(zhuǎn)移陣行列都是可排列的，則該信道是一對稱信道。（不一定有m=n）§3.2單符號(hào)離散信道的信道容量例：

例：對稱信道識(shí)別?§3.2單符號(hào)離散信道的信道容量⑵對稱信道的信道容量由信道容量的定義式得：C=I(X;Y)=H(Y)-H(Y/X)又：而由于對稱信道定義，我們知道，此值是一個(gè)與x無關(guān)的一個(gè)常數(shù)，即所以有：將轉(zhuǎn)移陣中的任一行看作一個(gè)信源集→熵對于行可排列情況，Hmi與i

無關(guān)§3.2單符號(hào)離散信道的信道容量⑶達(dá)到對稱信道容量時(shí)的最佳分布當(dāng)輸入為等概分布時(shí)對稱信道達(dá)到信道容量C。例1：求下述信道的信道容量：解：

例：對于二元對稱信道這個(gè)式子很重要。bit/符號(hào)§3.2單符號(hào)離散信道的信道容量⒉強(qiáng)對稱信道的信道容量⑴強(qiáng)對稱信道的定義強(qiáng)對稱信道是對稱信道的一個(gè)特例。除了滿足對稱信道的條件之外，還滿足：輸入符號(hào)數(shù)等于輸出符號(hào)數(shù)（n=m）。信道中總的錯(cuò)誤概率為p，對稱地均勻地分給n-1個(gè)輸出符號(hào)。轉(zhuǎn)移陣中各列之和也為1。

矩陣特點(diǎn)n×n階對稱陣二值矩陣每行和為1,每列和為1§3.2單符號(hào)離散信道的信道容量⑵

強(qiáng)對稱信道的信道容量由于強(qiáng)對稱信道是對稱信道的一個(gè)特例，所以將強(qiáng)對稱信道的特性因素代入對稱信道的信道容量公式有：⑶強(qiáng)對稱信道的最佳分布與對稱信道一樣，當(dāng)輸入分布滿足均勻分布時(shí)，使強(qiáng)對稱信道達(dá)到信道容量。

[意義]logn為輸入的信息H(X),實(shí)際傳送的信息是C,

H(1-p,p/n-1,…p/n-1)是丟失的信息（干擾）對于二元對稱信道00.51p1C二進(jìn)制對稱信道(n=2)

（BSC）X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;01-p0pp11-p11-pp1p1-p010[P]=在實(shí)際通信系統(tǒng)中，信號(hào)往往要通過幾個(gè)環(huán)節(jié)的傳輸，或多步處理，這些傳輸和處理都可以看成是信道（串聯(lián)）

H(X)≥I(X;Y)≥I(X;Z)≥…P(Y/X)P(Z/Y)XYZ串聯(lián)的信道越多，其信道容量可能會(huì)越小，當(dāng)串聯(lián)的信道數(shù)無限大時(shí)，信道容量就有可能會(huì)趨于零．例３－３

§3.2單符號(hào)離散信道的信道容量四、準(zhǔn)對稱信道的信道容量⒈準(zhǔn)對稱信道的定義信道轉(zhuǎn)移陣滿足行可排列的。信道轉(zhuǎn)移陣列不可排列，但矩陣中的m列可分成互不相交的s個(gè)子集，由子集組成的子陣則是行和列都是可排列的。⒉準(zhǔn)對稱信道的信道容量定理：實(shí)現(xiàn)準(zhǔn)對稱離散無記憶信道容量的輸入分布是等概分布。根據(jù)上述定理有：

可以證明，達(dá)到信道容量的輸入分布是等概分布，也可計(jì)算準(zhǔn)對稱信道的信道容量為：其中n是輸入符號(hào)集的個(gè)數(shù)，q1,q2,…,qm

為矩陣中的行元素:是第k個(gè)子矩陣中的行元素之和例：可分成：:是第k個(gè)子矩陣中的列元素之和例題3-7§3.2單符號(hào)離散信道的信道容量

任取一行輸入為均勻分布→前提P(yj)§3.2單符號(hào)離散信道的信道容量例如：下列各信道即為準(zhǔn)對稱信道?！?.2單符號(hào)離散信道的信道容量例2：求所給信道的信道容量：解：該信道為準(zhǔn)對稱信道（判,略）⑴先求p(yj)：p(y0)=1/2×(0.7+0.2)=0.45=P(y2)P(y1)=1/2×(0.1+0.1)=0.1§3.2單符號(hào)離散信道的信道容量例3：求所給信道的信道容量：解：該信道為準(zhǔn)對稱信道（判,略）⑴先求p(yj)：p(y0)=1/2×(1/2+1/4)=3/8=P(y1)P(y2)=1/2×(1/8+1/8)=1/8=P(y3)∴§3.2單符號(hào)離散信道的信道容量五、離散信道容量的一般計(jì)算方法若一個(gè)信道的信道轉(zhuǎn)移陣滿足非奇異陣，則可用下列方法求得。令所有的輸入符號(hào)xk有：則有：再令看作未知數(shù)，連立K個(gè)方程解之得：

§3.2單符號(hào)離散信道的信道容量有約束條件得：

至此，解題并未結(jié)束，還必須由C求得p(y)，再最終求得p(x),僅當(dāng)所有的p(x)>0，其所解得的C才是正確的，否則，須令某個(gè)p(x)=0，重新再解，直至所有的p(x)>0，為止。例4：求左圖之信道容量

0011223/43/41/31/41/31/31/4課間休息§3.2單符號(hào)離散信道的信道容量解：由圖得信道的轉(zhuǎn)移陣：并由公式得：3/4log3/4+1/4log1/4+0=3/4[C+logω0]+1/4[C+logω1]1/3log1/3+1/3log1/3+1/3log1/3=1/3[C+logω0]+1/3[C+logω1]+1/3[C+logω2]1/4log1/4+3/4log3/4+0=1/4[C+logω1]+3/4[C+logω2]令有，并用行列式法解之：3/4log3/4+1/4log1/4+0=3/4β0+1/4β11/3log1/3+1/3log1/3+1/3log1/3=1/3β0+1/3β1+1/3β2

1/4log1/4+3/4log3/4+0=1/4β1+3/4β2

§3.2單符號(hào)離散信道的信道容量∴β0=Δβ0/

Δ=-4H(3/4,1/4)-1/3log1/3=0.454488(Hat)

β1=9log1/3+8H(3/4,1/4)=-2.340339(Hat)

β2=β0=0.454488(Hat)∴C+logω0=C+logω2=0.454488

C+logω1=-2.340339

ω0+

ω1+ω2=1§3.2單符號(hào)離散信道的信道容量∴10-c[100.454488×2+10-2.340339]=1

∴C=lg5.7000=0.755874(Hat/符號(hào))

由C+logωi=βi

得：ω0=ω2=0.49960ω1=0.0008013求p(xi):ω0=p(0)p(0/0)+p(1)p(0/1)=0.49960;ω1=p(0)p(1/0)+p(1)p(1/1)+p(2)p(1/2)=0.0008013;ω2=p(1)p(2/1)+p(2)p(2/2)=0.49960;得：p(1)<0∴原解不合，令p(1)=0

原信道變?yōu)閯h除信道。

§3.2單符號(hào)離散信道的信道容量令：輸入為均勻分布，解之得：C=0.75比特/信道符號(hào)

0011E定理一般離散信道達(dá)到信道容量的充要條件是輸入概率分布滿足

該定理說明，當(dāng)平均互信息達(dá)到信道容量時(shí)，信源每一個(gè)符號(hào)都對輸出端輸出相同的互信息（零概率除外）。3.2.4一般離散無記憶信道及信道容量可以利用該定理對一些特殊信道求得它的信道容量例：輸入符號(hào)集為:{0,1,2}假設(shè)P(0)=P(2)=1/2，P(1)=0，則：所以：§3.3多符號(hào)離散信道一、多符號(hào)離散信道的數(shù)學(xué)模型設(shè)：信道的輸入信源為：X=x1x2…xN,其中xk(k=1,2,…N)

取自于X={x1x2…xn}，則信源X共有nN

個(gè)不同的元素ai(i=1,2,…nN)ai=(xi1xi2…xin),xi1,xi2,…xin∈{x1,x2,…xn}i1,i2,…,iN=1,2,…n;i=1,2,…nN同理在輸出端有：bj=(yj1yj2…yjN),yj1,yy2,…yjN∈{y1,y2,…ym}j1,j2,…,jN=1,2,…m;j=1,2,…mN

XYp(yj|xi)§3.3多符號(hào)離散信道在矩陣中我們?nèi)粲胊i,bj來表示則有：3.3.1多符號(hào)離散信道的數(shù)學(xué)模型一、含義多符號(hào)離散信源X=X1X2…Xk….XN在N個(gè)不同時(shí)刻分別通過單符號(hào)離散信道

{X

P(Y/X)Y}在輸出端出現(xiàn)Y=Y1Y2…Yk….YN此即多符號(hào)離散信道，或單符號(hào)離散信道的N次擴(kuò)展信道3.3多符號(hào)離散信道二、模型Xk取值：x1,x2,…,xn，則X共有nN種ai，i=1～nNYk取值：y1,y2,…,ym，則Y共有mN種bj，j=1～mN三、轉(zhuǎn)移概率矩陣3.3.1多符號(hào)離散信道的數(shù)學(xué)模型(續(xù))P(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

§3.3多符號(hào)離散信道

二、離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量若多符號(hào)離散信道的傳遞概率滿足：則稱該信道為離散無記憶信道的N次擴(kuò)展。例、二元對稱信道的二次擴(kuò)展信道(錯(cuò)誤概率為P)解：二次擴(kuò)展信道的輸入、輸出序列的每一個(gè)隨機(jī)變量均取值于{0,1}，輸入共有個(gè)取值，輸出共有個(gè)取值。根據(jù)

§3.3多符號(hào)離散信道可求出§3.3多符號(hào)離散信道同理可求出其他的轉(zhuǎn)移概率

，得到信道矩陣：

§3.3多符號(hào)離散信道2.互信息和信道容量

(1)若信源X的N個(gè)變量Xk(k=1~N)之間相互統(tǒng)計(jì)獨(dú)立互信息

(2)若信源X是N次擴(kuò)展信源時(shí)互信息I(X;Y)=NI(X