第三章信道模型和信道容量

第三章：信道模型及信道容量一：信道分類二：離散單符號信道及其信道容量三：擴(kuò)展信道及其信道容量四：組合信道及其信道容量五：連續(xù)信道及其信道容量六：波形信道及其信道容量3.1信道模型與信道分類信道輸入/輸入統(tǒng)計關(guān)系輸入X(t)輸出Y(t)噪聲干擾Z(t)3.1.1信道的分類兩端信道：只有一個輸入端和一個輸出端多端信道：在輸入端或輸出端至少有一端有兩個以上的用戶。

無反饋信道：輸出端信號對輸入端信號無影響。

反饋信道：輸出端信號對輸入端信號有影響。固定參數(shù)信道：信道參數(shù)不隨時間變化。時變參數(shù)信道：信道參數(shù)隨時間變化。離散信道：輸入和輸出的隨機(jī)序列取值都是離散的。連續(xù)信道：輸入和輸出的隨機(jī)序列取值都是連續(xù)的。半離散或半連續(xù)信道：一端序列取值是離散的一端序列取值是連續(xù)的。波形信道：輸入輸出都是時間上連續(xù)的隨機(jī)信號X(t),Y(t).幅值時間信道分類名稱離散離散離散信道/數(shù)字信道（例如：數(shù)字電話）連續(xù)離散連續(xù)信道（例如：傳輸PCM信號的信道）連續(xù)連續(xù)模擬信道/波形信道（例如：普通電話）離散連續(xù)（理論和實用價值均很?。┌摧斎?輸出信號的幅度和時間特性劃分：按輸入/輸出之間的記憶性來劃分：無記憶信道：信道在某時刻的輸出只與信道該時刻的輸入有關(guān)而與信道其他時刻的輸入、輸出無關(guān)。有記憶信道：信道在某時刻的輸出與其他時刻的輸入、輸出有關(guān)。根據(jù)信道的輸入/輸出是否是確定關(guān)系可分為:有噪聲信道無噪聲信道

根據(jù)信道的統(tǒng)計特性是否隨時間改變可分為:

平穩(wěn)信道（恒參信道、時不變信道，如衛(wèi)星通信）非平穩(wěn)信道（變參信道、時變信道，如移動通信）3.2離散無記憶信道(DMC)的數(shù)學(xué)模型DMCXY{a1,a2,…ar}{b1,b2,…bs}PY|X噪聲干擾a1

b1a2

b2arbs單符號離散信道的數(shù)學(xué)模型條件概率稱傳遞概率或轉(zhuǎn)移概率

離散無記憶信道的輸入是隨機(jī)變量X,取值于輸入符號集A={a1,a2,…ar};相應(yīng)時刻的輸出是隨機(jī)變量Y,取值于輸出符號集B={b1,b2,…bs}。對信道的描述,實質(zhì)上是對其干擾特性進(jìn)行描述。當(dāng)信道無于擾時,輸入某個符號ai∈A,在信道輸出端一定會收到某個確定的符號bj∈B與之對應(yīng)。但信道受到的干擾是客觀存在的,有干擾時,就可能有多個輸出符號與之對應(yīng)。當(dāng)輸入ai∈A時,收到符號bj的可能可以用條件概率P(bj|ai)來表示。稱為轉(zhuǎn)移概率,為方便起見,可用下式表示:概念——信道傳遞概率——前向概率——后向概率——后驗概率——先驗概率DMC模型的信道線圖:XYa1=01-p0=b1

p

pa2=11-p1=b2

(a)二元對稱信道BSC

1-p00

p2(刪除元)

p11

1-p(b)二進(jìn)制刪除信道(c)Z型信道

100

p

1-p113.3概率的計算問題利用上述轉(zhuǎn)移矩陣,可以用來計算相應(yīng)的概率,設(shè)輸入概率和輸出概率分別為:3.2平均互信息及平均條件互信息信道疑義度1、先驗熵——H（X）接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量。2、后驗熵——當(dāng)接收到輸出符號y＝bj后，輸入符號的概率分布成為，則關(guān)于x的平均不確定性為3、條件熵——信息疑義度——H（X|Y）表示輸出端收到輸出變量Y的符號后，對輸入端變量X尚存在的平均不確定性。

平均互信息1、定義式——平均互信息表示收到輸出符號Y后，平均每個符號獲得的關(guān)于X的信息量。對稱性3.4信道的疑義度、散布度和平均互信息量I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)下面討論上式的物理意義,并引入一些重要的基本概念。3.4.1信道疑義度由公式I(X;Y)=H(X)－H(X|Y)可知,從輸出Y中所獲得的關(guān)于輸入X平均信息量I(X;Y),等于先驗平均不確定性H(X)減去X的后驗不確定性H(X|Y),也就則X的平均不確定性的減少量。由于存在后驗不確定性H(X|Y),說明收到輸入Y后對輸入X還存在疑義。由于I(X;Y)≤H(X)對于有噪信道,輸入X的平均信息H(X)不可能全部送達(dá)到輸出。由于干擾的影響,從輸出來的一部分信息在傳輸過程中損失,損失的部分就是H(X|Y)。我們稱H(X|Y)為信道{X,PX|Y,Y}的疑義度。3.4.2信道散布度I(X;Y)=H(Y)－H(Y|X)式中H(Y)代表輸出Y中含有的全部信息,其中既包含從輸入端送來的有用信息,也包含由噪聲引入的無用信息。H(Y|X)稱為信道{X,PY|X,Y}的散布度或噪聲熵,表明信道因噪聲干擾所呈現(xiàn)的無序性程度,可將其視為干擾信息的直接度量,這樣,上式可理解為:從信道輸出信息中減去干擾信息,就是得到的關(guān)于輸入X的有用信息。噪聲熵為零的信道稱為確定信道。

3.4.3信道的平均互信息量回顧I(X;Y)≥0I(X;Y)=H(X)－H(X|Y)≤H(X)I(X;Y)=H(Y)－H(Y|X)≤H(Y)這說明(1)從信道輸入端來的信息一般不會全部達(dá)到輸出端;(2)從信道輸出端得到的信息是有限的I(X;Y)的凸性:定理3.1如果信道給定,那么I(PX,PY|X)是輸入概率PX的上凸函數(shù)。定理3.2如果信源給定,那么I(PX,PY|X)是轉(zhuǎn)移概率PY|X的下凸函數(shù)。例：求二元刪除信的。解：由先驗概率和信道轉(zhuǎn)移矩陣可得輸出符號Y的概率分布

即

，，

X、Y的聯(lián)合概率分布為p(xiyj)=p(xi)p(yj|xi)由聯(lián)合概率分布和Y的概率分布可得后驗概率為

另外，

還可以先求得后驗熵：，，，再通過下式計算：

3.5信道容量信息傳輸率R：信道中平均每個符號所傳送的信息量。平均互信息是接收到符號Y后平均獲得的關(guān)于X的信息量。所以設(shè)平均傳輸一個符號需要t秒，則信道每秒鐘平均傳輸?shù)男畔⒘繛樾畔鬏斔俾剩?/p>

在信道確定的情況下，是信源概率分布的上凸函數(shù)。因此，必然存在一種信源概率分布使信息傳輸率最大。定義這個最大的信息傳輸率為信道容量：

相應(yīng)的輸入概率分布被稱為最佳輸入分布。3.5.1信道容量的定義

信道容量：與信源的概率分布無關(guān)；是完全描述信道特性的參量；是信道能夠傳輸?shù)淖畲笮畔⒘?。信道單位時間內(nèi)平均傳輸?shù)淖畲笮畔⒘浚簩π诺廊萘康慕忉?

(1)信道容量C是信道信息率R的上限,定量描述了信道對信息的最大通過能力;(2)使得給定信道的I(X;Y)達(dá)到最大值;(3)信道容量C是信道的固有參數(shù),只與信道的轉(zhuǎn)移概率PY|X有關(guān)。例4以二元對稱信道。信源的概率空間為信道矩陣為2)固定信道，當(dāng)時，互信息取得最大值。1)比特/符號

離散無噪信道的信道容量1、無噪無損信道2、有噪無損信道I（X;Y）H（Y|X）H（X）H（Y）3、無噪有損信道111111I（X;Y）H（X|Y）H（Y）H（X）小結(jié)：3.5.3離散對稱信道定義3.5.1信道r×s轉(zhuǎn)移矩陣[PY|X]的每一行s個元素,都是由同－組元素的不同排列組成,則稱[PY|X]為行排列陣,此類信道稱為離散輸入對稱信道（行對稱信道）。3.5.2信道r×s轉(zhuǎn)移矩陣[PY|X]的每一列r個元素都是由同一組元素的不同排列組成,則稱[PY|X]為列排列陣,此類信道稱為離散輸出對稱信道。定義3.5.3信道轉(zhuǎn)移矩陣[PY|X]既是行排列陣又是列排列陣,此類信道稱為離散對稱信道。(前一頁例子)判斷下列信道是否是對稱離散信道？是是不是不是定義3.5.4若信道轉(zhuǎn)移矩陣[PY|X]的列可以被劃分成若干個互不相交的子集,且每個子集所組成的子陣是行排列陣,則稱此類信道為離散準(zhǔn)對稱信道。定義：若r=s，且對于每一個輸入符號，正確傳輸概率都相等，且錯誤傳輸概率p均勻地分配到r-1個符號，則稱此信道為強(qiáng)對稱信道或均勻信道。引理4.1對于對稱信道，當(dāng)信道輸入概率分布為等概分布時，輸出概率分布必為等概分布。證明：當(dāng)輸入為等概分布時，則輸出，其中為信道矩陣第j列元素之和。離散對稱信道的信道容量即當(dāng)信道輸入為等概分布時，輸出

亦為等概分布。

j=1,2,…,s而對稱信道每一列是第一列的不同排列。因此定理3.3

對稱信道，當(dāng)信道輸出概率分布為等概的情況下達(dá)到信道容量：

其中是信道矩陣中的任意一行中的元素。證明：準(zhǔn)對稱信道當(dāng)信道輸入概率分布為等概的情況下達(dá)到信道容量：

設(shè)信道矩陣可劃分為n個子矩陣，其中Nk是第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和。推論：對于強(qiáng)對稱信道有：C=logr-plog(r-1)-H(p)s=r

例求對稱信道的信道容量，解：例：求準(zhǔn)對稱信道的信道容量。二元對稱刪除信道：解：N1=1-q,M1=1-q,N2=q,M2=2qC=logr-

-

NklogMk

=

log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog(2q)信道容量約束條件：求信道容量轉(zhuǎn)化為求對信源概率分布的條件極值。3.5.4一般離散信道的信道容量解：引入輔助函數(shù)

令則在某些條件下利用這個方法可以計算C：令這是一個含有s個未知數(shù)、由r個方程組成的方程組。當(dāng)r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解。

例：求以下信道的信道容量。信道矩陣

解：比特/符號例：

有一信道矩陣，求C.

1）采用上述方法求出信道容量以后，還必須解出，因為在采用拉格朗日數(shù)乘法時并沒有加上的約束條件，因此算出的可能是負(fù)值。當(dāng)計算結(jié)果為負(fù)值時，此解無效。它表明最大值在邊界上，即某些輸入符號的概率為0。設(shè)某些輸入符號的概率為0，然后重新進(jìn)行計算。2）如果r=2，則可以直接對I(X;Y)求導(dǎo)，得到信道容量和最佳輸入分布。補(bǔ)充：例：已知信道的轉(zhuǎn)移矩陣為，求信道容量。

解：設(shè)輸入概率分布

0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0例BSC信道如圖,rs=1000符號/秒,錯誤傳遞概率p=0.1求:信道容量?0Y0.9?10.1輸入符號等概時有最大信息傳輸速率信道實際信息傳輸速率例：信道及它的輸入、輸出如圖所示：（1）

求最佳輸入分布。（2）

求時的信道容量。3.5.4一般DMC達(dá)到信道容量的條件定理3.5(Kuhn-Tucker)設(shè)f(x)是定義在所有分量均非負(fù)的n維空間上的上凸函數(shù),其中x=(x1,x2,…xn),假定f(x)的一階偏導(dǎo)數(shù)都存在,且在定義的空間上連續(xù),則定理3.6I(X;Y)達(dá)到信道容量的充要條件是輸入分布p(xi)滿足以下充要條件：p(xi)≠0時I(xi;Y)＝Cp(xi)=0時I(xi;Y)≤C

某些特殊矩陣可以利用這個方法可以推導(dǎo)得到C。p(x3)=0,p(x2

)=

p(x4

)=0，

p(x1)=p(x5

)=1/2p(x3)=0,p(x2

)=

p(x4

)=p(x1)=p(x5

)=1/4例例當(dāng)輸入等概時準(zhǔn)對稱信道達(dá)到信道容量在同一子陣Pl中

對于任意

3.5,5信道容量的迭代算法3.6擴(kuò)展信道的信道容量3.6.1擴(kuò)展信道的數(shù)學(xué)模型下圖表示N次擴(kuò)展信道的模型,其輸入輸出均為N元隨機(jī)變量序列:

X=X1X2···XN

Y=Y1Y2···YNXk:[a1,a2,···ar]Yk:[b1,b2,···bs]

噪聲干擾

離散信道

這時,把輸入X和輸入Y(也分別記作)都分別當(dāng)作一個新的隨機(jī)變量——聯(lián)合隨機(jī)變量,它們的取值集合分別為:如果對離散單符號信道進(jìn)行N次擴(kuò)展，就形成了N次離散無記憶序列信道。例BSC的二次擴(kuò)展信道

X{00，01，10，11}，Y{00，01，10，11}，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011若p＝0.1，則C2＝2－0.938＝1.062比特/序列

若多符號離散信道的轉(zhuǎn)移概率滿足

則稱之為離散無記憶信道的N次擴(kuò)展信道[解釋]擴(kuò)展信道的轉(zhuǎn)移概率=各時刻單符號信道轉(zhuǎn)移概率的連乘無記憶性——k時刻輸出Yk只與k時刻輸入Xk有關(guān),

與k時刻之前輸入X1X2…Xk-1無關(guān)無預(yù)感性——k時刻之前輸出Y1Y2…Yk-1只與k時刻之前輸入X1X2…Xk-1有關(guān)，與Xk無關(guān)[結(jié)論]離散無記憶N次擴(kuò)展信道——無記憶，無預(yù)感3.6.2擴(kuò)展信道的平均互信息量和信道容量

對于N次擴(kuò)展信道，如果信道的輸入序列中的每一個隨機(jī)變量均取值于同一信源符號集并且具有同一種概率分布（取自于同一概率空間），通過相同的信道傳送到輸出端，則輸出序列中的每一個隨機(jī)變量也取自同一符號集，并且具有相同的概率分布。信源無記憶,則N元隨機(jī)變量序列X1X2···XN中各Xk獨立同分布,無記憶信源的N元序列加到無記憶信道,得到的N元輸出序列Y1Y2···YN中的各YK必然也是獨立同分布的,因此有:3.7信道的組合3.7.1串聯(lián)信道信道ⅠQ1信道ⅡQ2XYZ記串聯(lián)信道中三個隨機(jī)變量X、Y、Z的取值符號集分別為:AX={a1,a2,…ar},AY={b1,b2,…bs},AZ={c1,c2,…ct}信道Ⅰ的統(tǒng)計特性由轉(zhuǎn)程概率{P(bj|ai)}i,j描述,信道Ⅱ的統(tǒng)計特性由轉(zhuǎn)移概率{P(ck|bj)}j,k描述,給定Y以后,Z的取值與X無關(guān):定理3.10若隨機(jī)變量X,Y,Z組成Markov鏈,則有:I(X;Z)≤I(X;Y),I(X;Z)≤I(Y;Z)且等號成立的充分必要條件分別友:P(ai|bjck)=P(ai|ck),對所有的i,j,k和P(ck|aibj)=P(ck|ai),對所有的i,j,k3.7.2獨立并聯(lián)信道X1Y1

X2Y2

XY………………XNYN信道1信道2信道N3.8信源與信道的匹配(1)符號匹配信源輸出的符號必須是信道能夠傳送的符號;(2)信息匹配信源與信道匹配的程度可用信道剩余度來衡量,它的定義為:信道絕對剩余度=C－I(X;Y)信道相對剩余度={[C－I(X;Y)]/C}×100%例設(shè)有兩個離散二元對稱信道，其級聯(lián)信道如圖所示，求級聯(lián)信道的信道容量。

3.9連續(xù)信道及其信道容量3.9.1連續(xù)信道的數(shù)學(xué)模型最基本的連續(xù)信道是單維連續(xù)信道,它的輸入X、輸出Y和噪聲Z都是取值于整個實數(shù)域R的一維連續(xù)型隨機(jī)變量:連續(xù)信道XYZ當(dāng)信道的輸入與輸出均為多維連續(xù)隨機(jī)變量序列,則采用多維連續(xù)信道模型來描述。設(shè)連續(xù)信道的N維輸入為:連續(xù)信道的平均互信息量定義為:與離散信道類似,連續(xù)信道的傳輸能力也用信道容量來描述。連續(xù)信道的信道容量仍定義為該信道的最大平均互信息量,它與信道的輸入概率密度函數(shù)有關(guān)。與離散信道不同的是,連續(xù)信道的輸入取值區(qū)間和概率密度函數(shù),不能完全描述實際輸入的某些性質(zhì),象輸入信號的幅值受限、功率受限等，為此,可對連續(xù)信道的輸入加一個限制條件b(X),而連續(xù)信道的信道容量定義為該信道的I(X;Y)在條仵b(X)下關(guān)于fx(x)的最大值:3.9.2加性Gauss信道的信道容量如果輸入X、輸出Y及噪聲Z三個隨機(jī)變量之間滿足:Y=X+Z且輸入X與干擾Z無關(guān),則稱該信道為加性噪聲信道,這時:加性Gauss噪聲信道可以作為很多實際信道的模型。設(shè)E(Z)=0,則Z的平均功率:求信道容量的步驟:(1)不妨設(shè)信道輸入X的均值為0,則:E(Y)=E(X+Z)=E(X)+E(Z)=0平均功率為:(2)根據(jù)連續(xù)最大熵的巳知結(jié)論:平均功率受限時,隨機(jī)變量在服從Gauss分布時熵達(dá)到最大,因此:找出最佳輸出分布后,由加性噪聲信道的性質(zhì)可推出最佳輸出分布:(3)巳知Y和X的最佳分布之后,可求出Y關(guān)于輸入概率密度的最大熵:由此可得加性Gauss噪聲信道的信道容量為:定理3.11對于無記憶加性噪聲信道,假設(shè)輸入信號服從Gauss分布,且噪聲的平均功率受限,則服從Gauss分布的噪聲使信道平均互信息量達(dá)到最小。即I(XG;Y)≥I(XG;YG)3.9.3一般加性噪聲信道的信道容量的界定理3.12對于一般無記憶加性噪聲信道,假設(shè)輸入信號的平均功率受限于PS,噪聲的平均功率受限于PN,則信道容量C(PS)的上下界為:3.10波形信道及其信道容量波形信道是指輸入/輸出隨時間連續(xù)取值,且取值集合是連續(xù)區(qū)間的信道,也稱為模擬信道。波形信道X(t)Z(t)Y(t)連續(xù)信道采樣在波形信道的持續(xù)時間T內(nèi)對其輸入和輸出進(jìn)行采樣,采樣所得的信道可以用一個N維連續(xù)信道來近似。波形信道是無限維連續(xù)信道。下面討論在理論和實際上都很重要的一類波形信道———帶限、加性Gauss白噪聲信道。帶限、