第三章信道模型和信道容量

第三章：信道模型及信道容量一：信道分類二：離散單符號(hào)信道及其信道容量三：擴(kuò)展信道及其信道容量四：組合信道及其信道容量五：連續(xù)信道及其信道容量六：波形信道及其信道容量3.1信道模型與信道分類信道輸入/輸入統(tǒng)計(jì)關(guān)系輸入X(t)輸出Y(t)噪聲干擾Z(t)3.1.1信道的分類兩端信道：只有一個(gè)輸入端和一個(gè)輸出端多端信道：在輸入端或輸出端至少有一端有兩個(gè)以上的用戶。

無(wú)反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)無(wú)影響。

反饋信道：輸出端信號(hào)對(duì)輸入端信號(hào)有影響。固定參數(shù)信道：信道參數(shù)不隨時(shí)間變化。時(shí)變參數(shù)信道：信道參數(shù)隨時(shí)間變化。離散信道：輸入和輸出的隨機(jī)序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機(jī)序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時(shí)間上連續(xù)的隨機(jī)信號(hào)X(t),Y(t).幅值時(shí)間信道分類名稱離散離散離散信道/數(shù)字信道（例如：數(shù)字電話）連續(xù)離散連續(xù)信道（例如：傳輸PCM信號(hào)的信道）連續(xù)連續(xù)模擬信道/波形信道（例如：普通電話）離散連續(xù)（理論和實(shí)用價(jià)值均很?。┌摧斎?輸出信號(hào)的幅度和時(shí)間特性劃分：按輸入/輸出之間的記憶性來(lái)劃分：無(wú)記憶信道：信道在某時(shí)刻的輸出只與信道該時(shí)刻的輸入有關(guān)而與信道其他時(shí)刻的輸入、輸出無(wú)關(guān)。有記憶信道：信道在某時(shí)刻的輸出與其他時(shí)刻的輸入、輸出有關(guān)。根據(jù)信道的輸入/輸出是否是確定關(guān)系可分為:有噪聲信道無(wú)噪聲信道

根據(jù)信道的統(tǒng)計(jì)特性是否隨時(shí)間改變可分為:

平穩(wěn)信道（恒參信道、時(shí)不變信道，如衛(wèi)星通信）非平穩(wěn)信道（變參信道、時(shí)變信道，如移動(dòng)通信）3.2離散無(wú)記憶信道(DMC)的數(shù)學(xué)模型DMCXY{a1,a2,…ar}{b1,b2,…bs}PY|X噪聲干擾a1

b1a2

b2arbs單符號(hào)離散信道的數(shù)學(xué)模型條件概率稱傳遞概率或轉(zhuǎn)移概率

離散無(wú)記憶信道的輸入是隨機(jī)變量X,取值于輸入符號(hào)集A={a1,a2,…ar};相應(yīng)時(shí)刻的輸出是隨機(jī)變量Y,取值于輸出符號(hào)集B={b1,b2,…bs}。對(duì)信道的描述,實(shí)質(zhì)上是對(duì)其干擾特性進(jìn)行描述。當(dāng)信道無(wú)于擾時(shí),輸入某個(gè)符號(hào)ai∈A,在信道輸出端一定會(huì)收到某個(gè)確定的符號(hào)bj∈B與之對(duì)應(yīng)。但信道受到的干擾是客觀存在的,有干擾時(shí),就可能有多個(gè)輸出符號(hào)與之對(duì)應(yīng)。當(dāng)輸入ai∈A時(shí),收到符號(hào)bj的可能可以用條件概率P(bj|ai)來(lái)表示。稱為轉(zhuǎn)移概率,為方便起見(jiàn),可用下式表示:概念——信道傳遞概率——前向概率——后向概率——后驗(yàn)概率——先驗(yàn)概率DMC模型的信道線圖:XYa1=01-p0=b1

p

pa2=11-p1=b2

(a)二元對(duì)稱信道BSC

1-p00

p2(刪除元)

p11

1-p(b)二進(jìn)制刪除信道(c)Z型信道

100

p

1-p113.3概率的計(jì)算問(wèn)題利用上述轉(zhuǎn)移矩陣,可以用來(lái)計(jì)算相應(yīng)的概率,設(shè)輸入概率和輸出概率分別為:3.2平均互信息及平均條件互信息信道疑義度1、先驗(yàn)熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗(yàn)不確定性的度量。2、后驗(yàn)熵——當(dāng)接收到輸出符號(hào)y＝bj后，輸入符號(hào)的概率分布成為，則關(guān)于x的平均不確定性為3、條件熵——信息疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號(hào)后，對(duì)輸入端變量X尚存在的平均不確定性。

平均互信息1、定義式——平均互信息表示收到輸出符號(hào)Y后，平均每個(gè)符號(hào)獲得的關(guān)于X的信息量。對(duì)稱性3.4信道的疑義度、散布度和平均互信息量I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)下面討論上式的物理意義,并引入一些重要的基本概念。3.4.1信道疑義度由公式I(X;Y)=H(X)－H(X|Y)可知,從輸出Y中所獲得的關(guān)于輸入X平均信息量I(X;Y),等于先驗(yàn)平均不確定性H(X)減去X的后驗(yàn)不確定性H(X|Y),也就則X的平均不確定性的減少量。由于存在后驗(yàn)不確定性H(X|Y),說(shuō)明收到輸入Y后對(duì)輸入X還存在疑義。由于I(X;Y)≤H(X)對(duì)于有噪信道,輸入X的平均信息H(X)不可能全部送達(dá)到輸出。由于干擾的影響,從輸出來(lái)的一部分信息在傳輸過(guò)程中損失,損失的部分就是H(X|Y)。我們稱H(X|Y)為信道{X,PX|Y,Y}的疑義度。3.4.2信道散布度I(X;Y)=H(Y)－H(Y|X)式中H(Y)代表輸出Y中含有的全部信息,其中既包含從輸入端送來(lái)的有用信息,也包含由噪聲引入的無(wú)用信息。H(Y|X)稱為信道{X,PY|X,Y}的散布度或噪聲熵,表明信道因噪聲干擾所呈現(xiàn)的無(wú)序性程度,可將其視為干擾信息的直接度量,這樣,上式可理解為:從信道輸出信息中減去干擾信息,就是得到的關(guān)于輸入X的有用信息。噪聲熵為零的信道稱為確定信道。

3.4.3信道的平均互信息量回顧I(X;Y)≥0I(X;Y)=H(X)－H(X|Y)≤H(X)I(X;Y)=H(Y)－H(Y|X)≤H(Y)這說(shuō)明(1)從信道輸入端來(lái)的信息一般不會(huì)全部達(dá)到輸出端;(2)從信道輸出端得到的信息是有限的I(X;Y)的凸性:定理3.1如果信道給定,那么I(PX,PY|X)是輸入概率PX的上凸函數(shù)。定理3.2如果信源給定,那么I(PX,PY|X)是轉(zhuǎn)移概率PY|X的下凸函數(shù)。例：求二元?jiǎng)h除信的。解：由先驗(yàn)概率和信道轉(zhuǎn)移矩陣可得輸出符號(hào)Y的概率分布

即

，，

X、Y的聯(lián)合概率分布為p(xiyj)=p(xi)p(yj|xi)由聯(lián)合概率分布和Y的概率分布可得后驗(yàn)概率為

另外，

還可以先求得后驗(yàn)熵：，，，再通過(guò)下式計(jì)算：

3.5信道容量信息傳輸率R：信道中平均每個(gè)符號(hào)所傳送的信息量。平均互信息是接收到符號(hào)Y后平均獲得的關(guān)于X的信息量。所以設(shè)平均傳輸一個(gè)符號(hào)需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩?/p>

在信道確定的情況下，是信源概率分布的上凸函數(shù)。因此，必然存在一種信源概率分布使信息傳輸率最大。定義這個(gè)最大的信息傳輸率為信道容量：

相應(yīng)的輸入概率分布被稱為最佳輸入分布。3.5.1信道容量的定義

信道容量：與信源的概率分布無(wú)關(guān)；是完全描述信道特性的參量；是信道能夠傳輸?shù)淖畲笮畔⒘?。信道單位時(shí)間內(nèi)平均傳輸?shù)淖畲笮畔⒘浚簩?duì)信道容量的解釋:

(1)信道容量C是信道信息率R的上限,定量描述了信道對(duì)信息的最大通過(guò)能力;(2)使得給定信道的I(X;Y)達(dá)到最大值;(3)信道容量C是信道的固有參數(shù),只與信道的轉(zhuǎn)移概率PY|X有關(guān)。例4以二元對(duì)稱信道。信源的概率空間為信道矩陣為2)固定信道，當(dāng)時(shí)，互信息取得最大值。1)比特/符號(hào)

離散無(wú)噪信道的信道容量1、無(wú)噪無(wú)損信道2、有噪無(wú)損信道I（X;Y）H（Y|X）H（X）H（Y）3、無(wú)噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）小結(jié)：3.5.3離散對(duì)稱信道定義3.5.1信道r×s轉(zhuǎn)移矩陣[PY|X]的每一行s個(gè)元素,都是由同－組元素的不同排列組成,則稱[PY|X]為行排列陣,此類信道稱為離散輸入對(duì)稱信道（行對(duì)稱信道）。3.5.2信道r×s轉(zhuǎn)移矩陣[PY|X]的每一列r個(gè)元素都是由同一組元素的不同排列組成,則稱[PY|X]為列排列陣,此類信道稱為離散輸出對(duì)稱信道。定義3.5.3信道轉(zhuǎn)移矩陣[PY|X]既是行排列陣又是列排列陣,此類信道稱為離散對(duì)稱信道。(前一頁(yè)例子)判斷下列信道是否是對(duì)稱離散信道？是是不是不是定義3.5.4若信道轉(zhuǎn)移矩陣[PY|X]的列可以被劃分成若干個(gè)互不相交的子集,且每個(gè)子集所組成的子陣是行排列陣,則稱此類信道為離散準(zhǔn)對(duì)稱信道。定義：若r=s，且對(duì)于每一個(gè)輸入符號(hào)，正確傳輸概率都相等，且錯(cuò)誤傳輸概率p均勻地分配到r-1個(gè)符號(hào)，則稱此信道為強(qiáng)對(duì)稱信道或均勻信道。引理4.1對(duì)于對(duì)稱信道，當(dāng)信道輸入概率分布為等概分布時(shí)，輸出概率分布必為等概分布。證明：當(dāng)輸入為等概分布時(shí)，則輸出，其中為信道矩陣第j列元素之和。離散對(duì)稱信道的信道容量即當(dāng)信道輸入為等概分布時(shí)，輸出

亦為等概分布。

j=1,2,…,s而對(duì)稱信道每一列是第一列的不同排列。因此定理3.3

對(duì)稱信道，當(dāng)信道輸出概率分布為等概的情況下達(dá)到信道容量：

其中是信道矩陣中的任意一行中的元素。證明：準(zhǔn)對(duì)稱信道當(dāng)信道輸入概率分布為等概的情況下達(dá)到信道容量：

設(shè)信道矩陣可劃分為n個(gè)子矩陣，其中Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和。推論：對(duì)于強(qiáng)對(duì)稱信道有：C=logr-plog(r-1)-H(p)s=r

例求對(duì)稱信道的信道容量，解：例：求準(zhǔn)對(duì)稱信道的信道容量。二元對(duì)稱刪除信道：解：N1=1-q,M1=1-q,N2=q,M2=2qC=logr-

-

NklogMk

=

log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog(2q)信道容量約束條件：求信道容量轉(zhuǎn)化為求對(duì)信源概率分布的條件極值。3.5.4一般離散信道的信道容量解：引入輔助函數(shù)

令則在某些條件下利用這個(gè)方法可以計(jì)算C：令這是一個(gè)含有s個(gè)未知數(shù)、由r個(gè)方程組成的方程組。當(dāng)r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。

例：求以下信道的信道容量。信道矩陣

解：比特/符號(hào)例：

有一信道矩陣，求C.

1）采用上述方法求出信道容量以后，還必須解出，因?yàn)樵诓捎美窭嗜諗?shù)乘法時(shí)并沒(méi)有加上的約束條件，因此算出的可能是負(fù)值。當(dāng)計(jì)算結(jié)果為負(fù)值時(shí)，此解無(wú)效。它表明最大值在邊界上，即某些輸入符號(hào)的概率為0。設(shè)某些輸入符號(hào)的概率為0，然后重新進(jìn)行計(jì)算。2）如果r=2，則可以直接對(duì)I(X;Y)求導(dǎo)，得到信道容量和最佳輸入分布。補(bǔ)充：例：已知信道的轉(zhuǎn)移矩陣為，求信道容量。

解：設(shè)輸入概率分布

0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0例BSC信道如圖,rs=1000符號(hào)/秒,錯(cuò)誤傳遞概率p=0.1求:信道容量?0Y0.9?10.1輸入符號(hào)等概時(shí)有最大信息傳輸速率信道實(shí)際信息傳輸速率例：信道及它的輸入、輸出如圖所示：（1）

求最佳輸入分布。（2）

求時(shí)的信道容量。3.5.4一般DMC達(dá)到信道容量的條件定理3.5(Kuhn-Tucker)設(shè)f(x)是定義在所有分量均非負(fù)的n維空間上的上凸函數(shù),其中x=(x1,x2,…xn),假定f(x)的一階偏導(dǎo)數(shù)都存在,且在定義的空間上連續(xù),則定理3.6I(X;Y)達(dá)到信道容量的充要條件是輸入分布p(xi)滿足以下充要條件：p(xi)≠0時(shí)I(xi;Y)＝Cp(xi)=0時(shí)I(xi;Y)≤C

某些特殊矩陣可以利用這個(gè)方法可以推導(dǎo)得到C。p(x3)=0,p(x2

)=

p(x4

)=0，

p(x1)=p(x5

)=1/2p(x3)=0,p(x2

)=

p(x4

)=p(x1)=p(x5

)=1/4例例當(dāng)輸入等概時(shí)準(zhǔn)對(duì)稱信道達(dá)到信道容量在同一子陣Pl中

對(duì)于任意

3.5,5信道容量的迭代算法3.6擴(kuò)展信道的信道容量3.6.1擴(kuò)展信道的數(shù)學(xué)模型下圖表示N次擴(kuò)展信道的模型,其輸入輸出均為N元隨機(jī)變量序列:

X=X1X2···XN

Y=Y1Y2···YNXk:[a1,a2,···ar]Yk:[b1,b2,···bs]

噪聲干擾

離散信道

這時(shí),把輸入X和輸入Y(也分別記作)都分別當(dāng)作一個(gè)新的隨機(jī)變量——聯(lián)合隨機(jī)變量,它們的取值集合分別為:如果對(duì)離散單符號(hào)信道進(jìn)行N次擴(kuò)展，就形成了N次離散無(wú)記憶序列信道。例BSC的二次擴(kuò)展信道

X{00，01，10，11}，Y{00，01，10，11}，二次擴(kuò)展無(wú)記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011若p＝0.1，則C2＝2－0.938＝1.062比特/序列

若多符號(hào)離散信道的轉(zhuǎn)移概率滿足

則稱之為離散無(wú)記憶信道的N次擴(kuò)展信道[解釋]擴(kuò)展信道的轉(zhuǎn)移概率=各時(shí)刻單符號(hào)信道轉(zhuǎn)移概率的連乘無(wú)記憶性——k時(shí)刻輸出Yk只與k時(shí)刻輸入Xk有關(guān),

與k時(shí)刻之前輸入X1X2…Xk-1無(wú)關(guān)無(wú)預(yù)感性——k時(shí)刻之前輸出Y1Y2…Yk-1只與k時(shí)刻之前輸入X1X2…Xk-1有關(guān)，與Xk無(wú)關(guān)[結(jié)論]離散無(wú)記憶N次擴(kuò)展信道——無(wú)記憶，無(wú)預(yù)感3.6.2擴(kuò)展信道的平均互信息量和信道容量

對(duì)于N次擴(kuò)展信道，如果信道的輸入序列中的每一個(gè)隨機(jī)變量均取值于同一信源符號(hào)集并且具有同一種概率分布（取自于同一概率空間），通過(guò)相同的信道傳送到輸出端，則輸出序列中的每一個(gè)隨機(jī)變量也取自同一符號(hào)集，并且具有相同的概率分布。信源無(wú)記憶,則N元隨機(jī)變量序列X1X2···XN中各Xk獨(dú)立同分布,無(wú)記憶信源的N元序列加到無(wú)記憶信道,得到的N元輸出序列Y1Y2···YN中的各YK必然也是獨(dú)立同分布的,因此有:3.7信道的組合3.7.1串聯(lián)信道信道ⅠQ1信道ⅡQ2XYZ記串聯(lián)信道中三個(gè)隨機(jī)變量X、Y、Z的取值符號(hào)集分別為:AX={a1,a2,…ar},AY={b1,b2,…bs},AZ={c1,c2,…ct}信道Ⅰ的統(tǒng)計(jì)特性由轉(zhuǎn)程概率{P(bj|ai)}i,j描述,信道Ⅱ的統(tǒng)計(jì)特性由轉(zhuǎn)移概率{P(ck|bj)}j,k描述,給定Y以后,Z的取值與X無(wú)關(guān):定理3.10若隨機(jī)變量X,Y,Z組成Markov鏈,則有:I(X;Z)≤I(X;Y),I(X;Z)≤I(Y;Z)且等號(hào)成立的充分必要條件分別友:P(ai|bjck)=P(ai|ck),對(duì)所有的i,j,k和P(ck|aibj)=P(ck|ai),對(duì)所有的i,j,k3.7.2獨(dú)立并聯(lián)信道X1Y1

X2Y2

XY………………XNYN信道1信道2信道N3.8信源與信道的匹配(1)符號(hào)匹配信源輸出的符號(hào)必須是信道能夠傳送的符號(hào);(2)信息匹配信源與信道匹配的程度可用信道剩余度來(lái)衡量,它的定義為:信道絕對(duì)剩余度=C－I(X;Y)信道相對(duì)剩余度={[C－I(X;Y)]/C}×100%例設(shè)有兩個(gè)離散二元對(duì)稱信道，其級(jí)聯(lián)信道如圖所示，求級(jí)聯(lián)信道的信道容量。

3.9連續(xù)信道及其信道容量3.9.1連續(xù)信道的數(shù)學(xué)模型最基本的連續(xù)信道是單維連續(xù)信道,它的輸入X、輸出Y和噪聲Z都是取值于整個(gè)實(shí)數(shù)域R的一維連續(xù)型隨機(jī)變量:連續(xù)信道XYZ當(dāng)信道的輸入與輸出均為多維連續(xù)隨機(jī)變量序列,則采用多維連續(xù)信道模型來(lái)描述。設(shè)連續(xù)信道的N維輸入為:連續(xù)信道的平均互信息量定義為:與離散信道類似,連續(xù)信道的傳輸能力也用信道容量來(lái)描述。連續(xù)信道的信道容量仍定義為該信道的最大平均互信息量,它與信道的輸入概率密度函數(shù)有關(guān)。與離散信道不同的是,連續(xù)信道的輸入取值區(qū)間和概率密度函數(shù),不能完全描述實(shí)際輸入的某些性質(zhì),象輸入信號(hào)的幅值受限、功率受限等，為此,可對(duì)連續(xù)信道的輸入加一個(gè)限制條件b(X),而連續(xù)信道的信道容量定義為該信道的I(X;Y)在條仵b(X)下關(guān)于fx(x)的最大值:3.9.2加性Gauss信道的信道容量如果輸入X、輸出Y及噪聲Z三個(gè)隨機(jī)變量之間滿足:Y=X+Z且輸入X與干擾Z無(wú)關(guān),則稱該信道為加性噪聲信道,這時(shí):加性Gauss噪聲信道可以作為很多實(shí)際信道的模型。設(shè)E(Z)=0,則Z的平均功率:求信道容量的步驟:(1)不妨設(shè)信道輸入X的均值為0,則:E(Y)=E(X+Z)=E(X)+E(Z)=0平均功率為:(2)根據(jù)連續(xù)最大熵的巳知結(jié)論:平均功率受限時(shí),隨機(jī)變量在服從Gauss分布時(shí)熵達(dá)到最大,因此:找出最佳輸出分布后,由加性噪聲信道的性質(zhì)可推出最佳輸出分布:(3)巳知Y和X的最佳分布之后,可求出Y關(guān)于輸入概率密度的最大熵:由此可得加性Gauss噪聲信道的信道容量為:定理3.11對(duì)于無(wú)記憶加性噪聲信道,假設(shè)輸入信號(hào)服從Gauss分布,且噪聲的平均功率受限,則服從Gauss分布的噪聲使信道平均互信息量達(dá)到最小。即I(XG;Y)≥I(XG;YG)3.9.3一般加性噪聲信道的信道容量的界定理3.12對(duì)于一般無(wú)記憶加性噪聲信道,假設(shè)輸入信號(hào)的平均功率受限于PS,噪聲的平均功率受限于PN,則信道容量C(PS)的上下界為:3.10波形信道及其信道容量波形信道是指輸入/輸出隨時(shí)間連續(xù)取值,且取值集合是連續(xù)區(qū)間的信道,也稱為模擬信道。波形信道X(t)Z(t)Y(t)連續(xù)信道采樣在波形信道的持續(xù)時(shí)間T內(nèi)對(duì)其輸入和輸出進(jìn)行采樣,采樣所得的信道可以用一個(gè)N維連續(xù)信道來(lái)近似。波形信道是無(wú)限維連續(xù)信道。下面討論在理論和實(shí)際上都很重要的一類波形信道———帶限、加性Gauss白噪聲信道。帶限、