信息論 信道容量

關(guān)于信息論信道容量第1頁，課件共83頁，創(chuàng)作于2023年2月§3.2.3離散信道容量的一般計算方法對一般離散信道而言，求信道容量，就是在固定信道的條件下，對所有可能的輸入概率分布{p(xi)}，求平均互信息的極大值。采用拉各朗日乘子法來計算。第2頁，課件共83頁，創(chuàng)作于2023年2月第3頁，課件共83頁，創(chuàng)作于2023年2月第4頁，課件共83頁，創(chuàng)作于2023年2月(1)兩邊乘p(ai)，并求和，則有：第5頁，課件共83頁，創(chuàng)作于2023年2月(2)第6頁，課件共83頁，創(chuàng)作于2023年2月將（2）代入（1），則有：（3）第7頁，課件共83頁，創(chuàng)作于2023年2月（4）則（3）變?yōu)椋旱?頁，課件共83頁，創(chuàng)作于2023年2月（5）（6）（7）第9頁，課件共83頁，創(chuàng)作于2023年2月總結(jié)C的求法，過程如下：（8）（9）第10頁，課件共83頁，創(chuàng)作于2023年2月例：信道矩陣如下，求C。第11頁，課件共83頁，創(chuàng)作于2023年2月1第12頁，課件共83頁，創(chuàng)作于2023年2月23第13頁，課件共83頁，創(chuàng)作于2023年2月4第14頁，課件共83頁，創(chuàng)作于2023年2月第15頁，課件共83頁，創(chuàng)作于2023年2月第16頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2317?注意：

在第②步信道容量C被求出后，計算并沒有結(jié)束，必 須解出相應的p(ai)，并確認所有的p(ai)≥0時，所求 的C才存在。

在對I(X;Y)求偏導時，僅限制，并沒有限 制p(ai)≥0，所以求出的p(ai)有可能為負值，此時C

就不存在，必須對p(ai)進行調(diào)整，再重新求解C。

近年來人們一般采用計算機，運用迭代算法求解。一般離散信道容量計算步驟第17頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1861第三章信道容量典型無擾離散信道的信道容量1.均勻編碼信道的信道容量

定義：基本符號時間等長的信道稱為均勻編碼信道，這種等長的基本符號稱為碼元。

碼元通常是持續(xù)時間為b秒的D進制脈沖 （Pulse），D進制表示該碼元有D種等間隔數(shù) 值。第18頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1862第三章信道容量典型無擾離散信道的信道容量例3.1用8kHz的取樣速率對模擬信號取樣，若對每一樣值做256級量化且樣值是各態(tài)歷經(jīng)的，求傳輸此信號的信道容量。解：由題意可知，每秒鐘有8000個樣值，即n

=8000（信源消息），信道基本符號數(shù)D

=256，故每秒鐘構(gòu)成的不同消息的總數(shù)目 為N=2568000，有

這就是傳送PCM信號需要的信道容量第19頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1863第三章信道容量典型無擾離散信道的信道容量

一般地，若每個信道基本符號的長度為b秒，每秒鐘內(nèi)信道上可傳送的信道基本符號數(shù)為n，則n=1/b；T秒鐘內(nèi)信道上可構(gòu)成的不同消息數(shù)為N(T)=DnT，其中nT為T秒鐘內(nèi)信道上可傳送的信道基本符號數(shù)。于是Ct=nlogDbps(5.6)如果不以秒而是以一個碼元的時間作為標準，則C=Ct/n=logDbit/碼元時間(5.7)第20頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1864第三章信道容量典型無擾離散信道的信道容量2.無固定約束的不均勻編碼信道的信 道容量無固定約束的不均勻編碼信道的基本符號是等幅的不等長 脈沖，用脈沖占有時間的不同來攜帶信息。例3.2求傳輸脈沖時間調(diào)制信號的信道容量。 解求信道容量，主要是求在T時間內(nèi)能構(gòu)成的不同消息 數(shù)N(T)。若以最窄的脈沖作為單位碼元而其它脈沖的寬度都是它的 倍數(shù)，則PTM脈沖寬度量化為有限種信道基本符號。設有D種信道基本符號，分別為：a1,a2,…,aD；對應的占 用時間分別為：t1,t2,…,tD；則在時間T內(nèi)可能構(gòu)成的 符號總數(shù)N(T)有如下表達式：第21頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1865第三章信道容量典型無擾離散信道的信道容量

式中第1行的××???××表示除a1外的D–1個信道基本符號的全排列，其余類推。利用遞推的方法或其它方法可得C=logrmaxbit/單位碼元時間(5.9)的最大正實根。N(T)=a1××…××+a2××…×× +…+aD×××× =××…×××a1+××…×××a2

+…+××…×××aD

=N(T?t1)+N(T?t2)+…+N(T?tD)+r++rr(5.10)?1=0?tD其中rmax是N(T)的特征方程

?t1?t2(5.8)(續(xù))第22頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1866第三章信道容量典型無擾離散信道的信道容量3.有固定約束的不均勻編碼信道的信 道容量

假如編碼不滿足遍歷性，即由轉(zhuǎn)移不受限制變?yōu)檗D(zhuǎn)移受限制，傳輸它的信道就成為有固定約束的不均勻編碼信道。傳輸莫爾斯（Morse）電碼的信道是一種典型的有固定約束的不均勻編碼信道，下面通過對它的分析來看這種信道的信道容量。第23頁，課件共83頁，創(chuàng)作于2023年2月基本符號構(gòu)成持續(xù)時間具體實現(xiàn)點＋－t1=2清脆響一短聲劃＋＋＋－t2=4響一長聲，聲長三倍點字母間隔―――t3=33個單位碼元時間不發(fā)聲單詞間隔――――――t4=66個單位碼元時間不發(fā)聲2006-10-1867第三章信道容量典型無擾離散信道的信道容量例5.3電報員發(fā)報用Morse電碼；Morse電碼由點、劃、字母間隔和單詞間隔四種基本符號構(gòu)成，見表5.1，表中的“＋”表示按鍵合上，“－”表示按鍵斷開，分別相應于發(fā)聲與不發(fā)聲狀態(tài)；試求Morse信道的信道容量。表5.1Morse電碼的構(gòu)成表第24頁，課件共83頁，創(chuàng)作于2023年2月2006-10-1868第三章信道容量典型無擾離散信道的信道容量解通過點、劃可構(gòu)成無窮多種組合，形成明碼或密碼。 設四種基本符號分別為a1,a2,a3,a4，點、劃為狀態(tài)1，字 母及單詞間隔作為狀態(tài)2，t>6的間隔均看作單詞間隔。 由于發(fā)報期間，不允許出現(xiàn)2個及2個以上的字母間隔或單詞間隔，即“間隔”不能連用，因此Morse信道存在有固定約束，其狀態(tài)轉(zhuǎn)移圖為圖5.2。a3a4a1狀態(tài)1狀態(tài)2

a1

a2

a2圖5.2例5.3的狀態(tài)轉(zhuǎn)移圖第25頁，課件共83頁，創(chuàng)作于2023年2月表示在T時間內(nèi)發(fā)的最后一個符號2006-10-1869第三章信道容量典型無擾離散信道的信道容量先求在時間T內(nèi)從狀態(tài)1轉(zhuǎn)移到狀態(tài)2或從狀態(tài)1、2轉(zhuǎn)移到狀態(tài)1的各種可能消息的總數(shù)目，分別用N1(T)和N2(T)表示。則式中是a3并使狀從狀態(tài)1改變到狀態(tài)2的各種可能消息的總數(shù)，而a3用的時間為b12；其余類推。第26頁，課件共83頁，創(chuàng)作于2023年2月推廣之，設從狀態(tài)i到狀態(tài)j發(fā)的符號為ak，所用的時間為，則b11—從狀態(tài)1到狀態(tài)1，有兩種可能：b21—從狀態(tài)2到狀態(tài)1，有兩種可能：2006-10-1870第三章信道容量典型無擾離散信道的信道容量

b22—從狀態(tài)2到狀態(tài)2，無此可能。根據(jù)表5.1，有b12—從狀態(tài)1到狀態(tài)2，有兩種可能：第27頁，課件共83頁，創(chuàng)作于2023年2月C=lim=logWmaxT2006-10-1871第三章信道容量典型無擾離散信道的信道容量在T時間里構(gòu)成的消息總數(shù)N(T)為式中Wmax為差分方程的特征方程的最大正實根。因此，求出這個最大正實根，也就求出了C。采用迭代法，略去中間過程，可解得，Wmax=1.453，故有

C=log1.453=0.539比特/符號時間

N(T)=N1(T)+N2(T)(5.14)上式又是一個線性差分方程，由這個差分方程，可得

logN(T)

(5.15)

T→∞第28頁，課件共83頁，創(chuàng)作于2023年2月§3.1信道的數(shù)學模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5信道編碼定理第29頁，課件共83頁，創(chuàng)作于2023年2月§3.3多符號離散信道§3.3.1多符號離散信道的數(shù)學模型§3.3.2離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量第30頁，課件共83頁，創(chuàng)作于2023年2月多符號離散信道多符號信源通過離散信道傳輸形成多符號離散信道。第31頁，課件共83頁，創(chuàng)作于2023年2月§3.3.1

多符號離散信道的數(shù)學模型輸入輸出第32頁，課件共83頁，創(chuàng)作于2023年2月第33頁，課件共83頁，創(chuàng)作于2023年2月§3.3多符號離散信道§3.3.1多符號離散信道的數(shù)學模型

§3.3.2離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量第34頁，課件共83頁，創(chuàng)作于2023年2月§3.3.2離散無記憶信道的N次擴展信道和獨立并聯(lián)信道的信道容量無記憶：YK僅與XK有關(guān)第35頁，課件共83頁，創(chuàng)作于2023年2月1YNY第36頁，課件共83頁，創(chuàng)作于2023年2月第37頁，課件共83頁，創(chuàng)作于2023年2月第38頁，課件共83頁，創(chuàng)作于2023年2月(a)?????=====-￡\￡-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211

)/()();()()..()/()..()/()();(rrrrr第39頁，課件共83頁，創(chuàng)作于2023年2月第40頁，課件共83頁，創(chuàng)作于2023年2月I(X;Y)=∑I(Xkk)=NI(X;Y)30單符號離散無記憶信道與其N次擴展信道信道容量之間的關(guān)系由于離散無記憶信源的N次擴展信源中的隨機變量都取自同一符號集Xk∈{a1a2…aN}(k=1,2,…,N)，并具有相同的概率分布，而且都通過同一個離散無記憶信道[XP(Y/X)Y]，信道輸出端隨機變量序列中的隨機變量Yk(k=1,2,…,N)也取自同一符號集并具有相同的概率分布，而且相互統(tǒng)計獨立。所以I(Xk;Yk)=I(X;Y);Y

Nk=13.3.2離散無記憶信道和獨立并聯(lián)信道的信道容量第41頁，課件共83頁，創(chuàng)作于2023年2月結(jié)論：離散無記憶信道的N次擴展信道，如果信源也是離散無記憶信源的N次擴展信源，則信道總的平均互信息是單符號離散無記憶信道平均互信息的N倍。第42頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2331結(jié)論的說明：因為離散無記憶信道N次擴展信道可以用N個單符號離散信道來等效，這N個信道之間沒有任何關(guān)聯(lián)關(guān)系，若輸入端的N個隨機變量之間也沒有任何關(guān)聯(lián)關(guān)系的話，就相當于N個毫不相干的單符號離散信道在分別傳送各自的信息，所以在擴展信道的輸出端得到的平均信息量必然是單個信道的N倍。用C表示離散無記憶信道容量，用CN表示其擴展信道容量，CN=NC3.3多符號離散信道3.3.2離散無記憶信道和獨立并聯(lián)信道的信道容量第43頁，課件共83頁，創(chuàng)作于2023年2月+CN=∑Ck第三章信道容量2006-10-2332獨立并聯(lián)信道獨立并聯(lián)信道/獨立并列/獨立平行/積信道：輸入和輸出隨機序列中的各隨機變量取值于不同的符號集，就構(gòu)成3.3多符號離散信道了獨立并聯(lián)信道。是離散無記憶信道的N次擴展信道的推廣。

輸入隨機序列X=X1X2…XN，Xk∈{a1k,a2k,…,ank}

輸出隨機序列Y=Y1Y2…YN，Yk∈{b1k,b2k,…,bnk}

N個獨立并聯(lián)信道的容量CN

第k個單符號離散無記憶信道的信道容量Ck

N

CN≤C1+C2+

k=13.3.2離散無記憶信道和獨立并聯(lián)信道的信道容量當輸入端各隨機變量統(tǒng)計獨立，且每個輸入隨機變量Xk(k=1,2,…,N)的概率分布達到各自信道容量Ck(k=1,2,…,N)的最佳分布時，CN達到其最大值：

第44頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2333獨立并聯(lián)信道推廣到更一般情況：輸入各隨機變量不但取值于不同的符號集，而且各集合的元素個數(shù)也不相同；輸出隨機變量也取值于不同的符號集合，各集合的元素個數(shù)也不相同；這種更一般的信道可得到與上述類似的結(jié)論。

可以把N個變量的獨立并聯(lián)信道看成是離散無記憶信道的N次擴展信道的推廣，也可以把離散信道的N次擴展看成是獨立并聯(lián)信道的特例。3.3.2離散無記憶信道和獨立并聯(lián)信道的信道容量第45頁，課件共83頁，創(chuàng)作于2023年2月§3.1信道的數(shù)學模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5信道編碼定理第46頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2334

單路通信系統(tǒng)：不論是單符號的還是多符號的，都只有一個輸入 和一個輸出端的信道稱為單用戶信道，相應的通信系統(tǒng)稱為單路 信系統(tǒng)。 多路通信系統(tǒng)：為了提高通信效率，通信網(wǎng)中的信道往往有多個 入端和多個輸出端，這種信道稱為多用戶信道，相應的通信系統(tǒng) 為多路通信系統(tǒng)。 網(wǎng)絡信息論/多用戶信息論：研究多路通信系統(tǒng)信息傳遞的理論。 實際的信道大部分是多用戶信道。例如：計算機通信、衛(wèi)星通信、 廣播通信、有線電視等。3.4.1多址接入信道3.4.2廣播信道3.4.3相關(guān)信源的多用戶信道問題3.4多用戶信道第47頁，課件共83頁，創(chuàng)作于2023年2月§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道第48頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2335定義及信道模型多址接入信道/多元接入信道：多個用戶的信息用多個編碼器分別編碼以后，送入同一信道傳輸，在接收端用一個譯碼器譯碼，然后分送給不同的用戶。這是有多個輸入端但只有一個輸出端的多用戶信道。多址接入信道模型如圖3.4.1所示3.4.1多址接入信道3.4多用戶信道第49頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2336二址接入信道的信道容量最簡單的多址接入信道是只有兩個輸入端和一個輸出端的二址接入信道，如圖3.4.2所示。U1至U’1的信息率R1，信道容量C1U2至U’2的信息率R2，信道容量C2總信道容量C123.4多用戶信道3.4.1多址接入信道第50頁，課件共83頁，創(chuàng)作于2023年2月§3.4.1多址接入信道多入單出信道信源1信源2編碼器1編碼器2信道譯碼二址接入信道模型第51頁，課件共83頁，創(chuàng)作于2023年2月第52頁，課件共83頁，創(chuàng)作于2023年2月第53頁，課件共83頁，創(chuàng)作于2023年2月≤C第三章信道容量2006-10-2337這些條件確定了二址接入信道以R1和R2為坐標的二維空間中的某個區(qū)域（圖中陰影部分），這個區(qū)域的界線就是二址接入信道的容量。二址接入信道信息率和信道容量之間滿足如下條件

R1≤C1

R22

R1+R2≤C123.4多用戶信道3.4.1多址接入信道當X1和X2相互獨立時有

max(C1,C2)≤C12≤C1+C2第54頁，課件共83頁，創(chuàng)作于2023年2月∑R第三章信道容量2006-10-2338多址接入信道的信道容量二址接入信道的結(jié)論很容易推廣到多址接入信道；多址接入信道參數(shù)

多址接入信道數(shù)N

第r個編碼器的信息率為Rr

相應的信道容量為Cr； 信道總?cè)萘繛镃Σ3.4.1多址接入信道3.4多用戶信道I(X1…XN;Y)rXN)I(Xr;Y/X1

maxP(X1)P(XN)

maxP(X1)P(XN)

Nr=1…Xr?1Xr+1…Rr≤Cr=≤CΣ=第55頁，課件共83頁，創(chuàng)作于2023年2月∑C第三章信道容量2006-10-2339當輸入各信源獨立時有3.4.1多址接入信道3.4多用戶信道r

N

r=1≥CΣ≥maxCr r

這些限制條件規(guī)定了一個在N維空間的體積，這個體積的外型是一個截去角的多面體，多面體內(nèi)是信道允許的信息率，多面體的上界就是多址接入信道的容量。第56頁，課件共83頁，創(chuàng)作于2023年2月§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道第57頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2340定義：具有一個輸入和多個輸出的信道稱為廣播信道。最簡單的廣播信道是單輸入雙輸出廣播信道，如圖3.4.4所示：3.4多用戶信道3.4.2廣播信道1221U1U2XY1U’1U’2

3.4.4對于一般的廣播信道，很難用系統(tǒng)的方法求出其信息率可達區(qū)域，只在某些特殊的情況下，能夠證明信道容量的容量界線是可以達到的。Y2第58頁，課件共83頁，創(chuàng)作于2023年2月退化廣播信道（串聯(lián)）編碼器信道1信道2圖3.4.5退化的廣播信道模型第59頁，課件共83頁，創(chuàng)作于2023年2月構(gòu)成馬爾可夫鏈第60頁，課件共83頁，創(chuàng)作于2023年2月不變，保持最大第61頁，課件共83頁，創(chuàng)作于2023年2月§3.4多用戶信道§3.4.1多址接入信道

§3.4.2廣播信道§3.4.3相關(guān)信源的多用戶信道第62頁，課件共83頁，創(chuàng)作于2023年2月第三章信道容量2006-10-2341定義：由多個單用戶信道組成的并聯(lián)信道，傳送相互有關(guān)的多路息的信道。這種信道有多個輸入和多個輸出，且輸入端各信源之間有關(guān)聯(lián)關(guān)系。兩個相關(guān)信源用兩個獨立信道傳送的多用戶信道模型。隨著網(wǎng)絡技術(shù)的發(fā)展，多用戶信息論在近代信息論中越來越為大家關(guān)注，不過許多問題還沒有找到系統(tǒng)的解決方法。3.4多用戶信道3.4.3相關(guān)信源的多用戶信道問題第63頁，課件共83頁，創(chuàng)作于2023年2月模型1§3.4.3相關(guān)信源的多用戶信道信源編碼器1編碼器2信道1信道2譯碼器1譯碼器2相關(guān)信源多用戶信道第64頁，課件共83頁，創(chuàng)作于2023年2月第65頁，課件共83頁，創(chuàng)作于2023年2月C2C1第66頁，課件共83頁，創(chuàng)作于2023年2月E1C1D1x1x2邊信息模型2RE1E2C1C2D1D2x1x2E0C0w第67頁，課件共83頁，創(chuàng)作于2023年2月W:公信息要求R0盡可能小，并且在W條件下，X1X2無關(guān)第68頁，課件共83頁，創(chuàng)作于2023年2月§3.1信道的數(shù)學模型和分類§3.2單符號離散信道§3.3多符號離散信道§3.4多用戶信道§3.5連續(xù)信道第69頁，課件共83頁，創(chuàng)作于2023年2月連續(xù)信道：輸入和輸出隨機變量都取值于連續(xù)集合的信道。信道傳遞特性：傳遞特性用條件轉(zhuǎn)移概率密度函數(shù)p(y/x)表示。連續(xù)信道數(shù)學模型：{X

p(y/x)Y}，如圖所示：連續(xù)信道第70頁，課件共83頁，創(chuàng)作于2023年2月連續(xù)隨機變量之間的平均互信息滿足非負性，并可以證明，它是信源概率密度函數(shù)p(x)的上凸函數(shù)。連續(xù)信道的信道容量C：信源X等于某一概率密度函數(shù)p0(x)時，信道平均互信息的最大值，即一般連續(xù)信道的容量并不容易計算，當信道為加性信道時，情況要簡單一些。連續(xù)信道的信道容量第71頁，課件共83頁，創(chuàng)作于2023年2月加性連續(xù)信道：噪聲為連續(xù)隨機變量N，且與X相互統(tǒng)計獨立的信道。這種信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入線性疊加，即Y=X+N。如圖所示：加性連續(xù)信道的信道容量第72頁，課件共83頁，創(chuàng)作于2023年2月加性連續(xù)信道的條件概率密度函數(shù)等于噪聲的概率密度p(y/x)=p(n)，這進一步說明信道的傳遞概率是由于噪聲熵所引起的。加性連續(xù)信道的條件熵等于噪聲熵Hc(Y/X)=Hc(N)。說明Hc(Y/X)是由噪聲引起的，故稱Hc(N)為噪聲熵。

該結(jié)論說明了條件熵是由于信道中噪聲引起的，它完全等于噪聲信源的不確定性，即噪聲信源的熵，所以稱它為噪聲熵。加性連續(xù)信道的信道容量第73頁，課件共83頁，創(chuàng)作于2023年2月加性連續(xù)信道的信道容量：加性噪聲N和信源X相互統(tǒng)計獨立，X的概率密度函數(shù)p(x)的變動不會引起噪聲熵Hc(N)的改變，所以加性信道的容量C就是選擇p(x)，使輸出熵Hc(Y)達到最大值，即上式說明：加性連續(xù)信道容量取決于噪聲N（即信道）的統(tǒng)計特性和輸入隨機變量X所受的限制條件。（對于不同的限制條件，連續(xù)隨機變量具有不同的最大熵值。）第74頁，課件共83頁，創(chuàng)作于2023年2月高斯加性連續(xù)信道：高斯噪聲為N，均值為0，方差為σ2，噪聲功率為PN；信道的傳遞概率密度函數(shù)：p(y/x)=p(n)如果把x看成是一個常數(shù)，則上式就變成了隨y變化的高斯函數(shù)，即當已知X=x時，Y也是一個高斯變量，均值為x，方差為σ2。高斯加性連續(xù)信道的信道容量第75頁，課件共83頁，創(chuàng)作于2023年2月因此高斯加性信道的容量為第76頁，課件共83頁，創(chuàng)作于2023年2月輸入概率密度函數(shù)p(x)是什么樣的函數(shù)時，才能使Y呈高斯分布？