第3章信道容量

第3章信道容量信道的主要任務(wù)：以信號的形式傳輸和存儲信息。問題：在什么條件下，通過信道的信息量最大,即信道容量的問題?！?.1單符號離散信道的數(shù)學(xué)模型信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型：{X

P(Y/X)Y}輸入與輸出之間一般不是確定的函數(shù)關(guān)系，而是統(tǒng)計依賴關(guān)系。P(Y/X)XY信宿信道信源

通信系統(tǒng)的簡化模型噪聲信道的分類連續(xù)信道信道的分類根據(jù)輸入、輸出隨機信號的特點，分為：信道的分類單符號信道多符號信道根據(jù)輸入、輸出隨機變量的個數(shù)，分為：信道的分類單用戶信道多用戶信道根據(jù)輸入和輸出的個數(shù)，分為：信道的分類無干擾信道有干擾信道根據(jù)信道上有無噪聲(干擾)，分為：信道的分類有記憶信道無記憶信道根據(jù)信道有無記憶特性，分為：§3.2.1信道容量的定義§3.2單符號離散信道的信道容量離散信道的數(shù)學(xué)模型設(shè)離散信道的輸入空間為輸出空間為概率分布為概率分布為并有條件概率條件概率被稱為信道的傳遞概率或轉(zhuǎn)移概率。

XY將所有轉(zhuǎn)移概率以矩陣方式列出，得：其中該矩陣完全描述了信道在干擾作用下的統(tǒng)計特性，稱為信道矩陣(n行m列)。反信道矩陣（m行n列）其中含義：①給定信道時，對應(yīng)各種信源分布，求取最大平均互信息；②給定信道時，理論上能傳輸?shù)淖畲笮畔⒘?，表征信道傳送信息的最大能力。平均互信息I(X;Y)是信源分布p(ai)的上凸函數(shù)，因此總存在一種信源，使傳輸每個符號平均獲得的信息量I(X;Y)最大。信道的信息傳輸率信息傳輸速率Rt:

單位時間內(nèi)平均傳輸?shù)男畔⒘啃畔鬏斅蔙:信道中平均每個符號所能傳送的信息量。由于平均互信息I(X;Y)的含義是接收到符號Y后，平均每個符號獲得的關(guān)于X的信息量，因此信道信息傳輸率就是平均互信息，即I(X;Y)是p(ai)和p(bj/ai)的二元函數(shù)。當(dāng)信道特性p(bj/ai)固定后，I(X;Y)隨信源概率分布p(ai)變化。信道容量：信道中最大的傳輸率，記為C，

單位：比特/信道符號最大信息傳輸速率Ct，單位：比特/秒

信道容量信道矩陣：單位陣a1a2a3

anb1b2b3

bn………§3.2.2幾種特殊離散信道的信道容量一、離散無噪信道的信道容量1、一一對應(yīng)的無噪信道(無損確定信道)（n=m）a1b1a2b2an-1bn-1anbn……損失熵

H(X/Y)=0噪聲熵

H(Y/X)=0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)H(X)=

H(Y)2.具有擴展性能的無噪信道：一對多（n＜m）信道矩陣：每列只有一個非0元素，不全是0、1a1a2a3b1b2b3b4b5信道疑義度（損失熵）

H(X/Y)=0噪聲熵

H(Y/X)>0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)H(X)＜H(Y)3.具有歸并性能的無噪信道：多對一（n>m）信道矩陣：每行只有一個元素“1”，其它全是0b1b2b3a1a2a3a4a5損失熵

H(X/Y)>0噪聲熵

H(Y/X)=0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y)H(X)＞H(Y)信道特點信道輸入、輸出均為n元每符號正確傳輸概率均為其他符號錯誤傳輸概率為p/(n-1)矩陣特點

(1)n×n階對稱陣

(2)每行和為1,每列和為1二、強對稱(均勻)離散信道的信道容量每行、每列都是同一集合各元素的不同排列固定X＝ai，對Y求和，即選定某一行，對各元素自信息量加權(quán)求和。ai不同時，只是求和順序不同，結(jié)果完全一樣，所以Hni與X無關(guān)，是常數(shù)。信道容量可以看出，當(dāng)輸出等概分布時，即H(Y)=log2n時達(dá)到信道容量。那么，在什么樣的信源輸入情況下，信道輸出能等概分布呢？可以證明，輸入等概分布時，離散對稱信道的輸出也為等概分布結(jié)論：當(dāng)輸入等概率分布時，強對稱離散信道能夠傳輸最大的平均信息量，達(dá)到信道容量。信道容量只與信道的輸出符號n及信道矩陣的某一行矢量有關(guān)。二進制對稱信道(n=2)00.51p1C行可排列——矩陣每行各元素都來自同一集合Q

Q∈{q1,q2,…,qm}(排列可不同)列可排列——矩陣每列各元素都來自同一集合P

P∈{p1,p2,…,pn}(排列可不同)矩陣可排列——矩陣的行、列皆可排列對稱信道——信道矩陣可排列離散對稱信道三、對稱離散信道的信道容量

(1)m=n時，Q、P為同一集合

m≠n時，Q、P中，一個必為另一個的子集

(2)輸入等概→輸出等概離散輸入對稱信道如果一個離散無記憶信道的信道矩陣中，每一行都是其他行的同一組元素的不同排列，則稱此類信道為離散輸入對稱信道。離散輸出對稱信道如果一個離散無記憶信道的信道矩陣中，每一列都是其他列的同一組元素的不同排列，則稱此類信道為離散輸出對稱信道。離散對稱信道如果一個離散無記憶信道的信道矩陣中，每一行都是其他行的同一組元素的不同排列，并且每一列都是其他列的同一組元素的不同排列，則稱此類信道為離散對稱信道。練習(xí)：判斷下列矩陣表示的信道是否是對稱信道√√對稱離散信道的信道容量可以看出，當(dāng)輸出等概分布時，即H(Y)=log2m時達(dá)到信道容量。由于對稱信道的特點，輸入等概率分布輸出等概率分布。強對稱信道與對稱信道比較：強對稱

對稱n=mn與m未必相等矩陣對稱

矩陣未必對稱P=QP與Q未必相等行之和，列之和均為1(n=m)行之和為1(n<m)行之和為1(n>m)四、準(zhǔn)對稱離散信道的信道容量準(zhǔn)對稱離散信道信道矩陣的行可排列，列不可排列。但把該矩陣在水平方向上分割，則各子矩陣皆具可排列性

[例]

假設(shè)此時將矩陣的列分為S個子集，每個子集的元素個數(shù)分別是m1，m2，……，ms。§3.2.3離散信道容量的一般計算方法對于固定的信道，平均互信息I(X;Y)是信源概率分布p(xi)的上凸函數(shù),所以極大值一定存在。

I(X;Y)是n個變量p(ai)(i=1,2,…,n)的多元函數(shù)，并滿足所以可以用拉格朗日乘子法計算條件極值:其中，為拉格朗日乘子一般離散信道容量的求解步驟：(1)(2)(3)(4)需要確認(rèn)所有的，所求的C才存在。例：可列方程組：解之得：§3.3.1多符號離散信道的數(shù)學(xué)模型§3.3多符號離散信道的信道容量P(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

多符號離散信源X=X1X2…Xk….XN在N個不同時刻分別通過單符號離散信道，在輸出端出現(xiàn)Y=Y1Y2…Yk….YN，形成一個新的信道，此即多符號離散信道。由于新信道相當(dāng)于單符號離散信道在N個不同的時刻連續(xù)運用了N次，也稱為單符號離散信道的N次擴展信道。Xk取值:

a1,a2,…,an,則X共有nN種,i=1～nNYk取值:

b1,b2,…,bm,則Y共有mN種

,j=1～mNP(Y/X)或{p(bj/ai)}X=X1X2…Xk….XNY=Y1Y2…Yk….YN

多符號離散信道的數(shù)學(xué)模型

信道矩陣每行元素之和等于1§3.3.2離散無記憶擴展信道的信道容量X=X1X2…Xk….XNY=Y1Y2…Yk….YN

P(Y1/X1)P(Y1/X1)P(Y1/X1)X1Y1X2Y2XN

YN把多符號離散信道理解成單符號離散信道在每一個單位時間傳遞一個隨機變量的時候，需要考慮k時刻的輸出變量Yk與k時刻之前的輸入變量X1X2…Xk-1和輸出變量Y1Y2…Yk-1之間有無依賴關(guān)系。

若多符號離散信道的轉(zhuǎn)移概率滿足

則稱之為離散無記憶信道的N次擴展信道。[說明]擴展信道的轉(zhuǎn)移概率=各時刻單符號信道轉(zhuǎn)移概率的連乘

無記憶性——k時刻輸出Yk只與k

時刻輸入Xk有關(guān),

與k時刻之前輸入X1X2…Xk-1無關(guān)

無預(yù)感性——k時刻之前輸出Y1Y2…Yk-1只與k時刻之前輸入X1X2…Xk-1有關(guān)，與Xk無關(guān)[結(jié)論]離散無記憶N次擴展信道——無記憶，無預(yù)感互信息和信道容量離散無記憶N次擴展信道兩端的平均互信息I(X;Y)=H(Y)-H(Y|X)

由于信道無記憶當(dāng)?shù)趉個隨機變量Xk單獨通過單符號離散信道時，在輸出端得到的關(guān)于Xk的平均互信息量相減可得離散無記憶信道的N次擴展信道的平均互信息，不大于N個隨機變量X1X2…XN單獨通過信道{XP(Y|X)Y}的平均互信息之和。當(dāng)且僅當(dāng)信源X=X1X2…XN無記憶,或信源X是離散無記憶信源X的N次擴展信源時，等號成立。

原因：

離散無記憶信道的N次擴展信道，當(dāng)輸入端的N個輸入隨機變量統(tǒng)計獨立時，信道的總平均互信息等于這N個變量單獨通過信道的平均互信息之和。

對于離散無記憶信源的N次擴展信源

通過同一個離散無記憶信道信{XP(Y|X)Y}在信道輸出端，隨機變量序列Y=Y1Y2…YN中的隨機變量Yk

離散無記憶信道的N次擴展信道，如果信源也是離散無記憶信源的N次擴展信源，則信道總的平均互信息量是單符號離散無記憶信道的平均互信息量的N倍。含義

信道輸入序列的各隨機變量取值于不同符號集;信道輸出序列的各隨機變量亦取值于不同符號集;也稱為獨立并列信道、獨立平行信道或積信道。信道容量§3.3.3獨立并聯(lián)信道的信道容量當(dāng)N個輸入隨機變量之間統(tǒng)計獨立，并且每個輸入隨機變量Xk的概率分布為達(dá)到各自信道容量Ck的最佳分布時，CN達(dá)到最大值N個獨立并聯(lián)信道的信道容量等于各個信道容量之和§3.4.1多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型§3.4網(wǎng)絡(luò)信息理論R2

C20

C1

C12C1+C2R1§3.4.2廣播信道廣播信道具有單個輸入和多個輸出的信道。信源1編碼器