Chap電信實用PPT學(xué)習(xí)教案

1、會計學(xué)1Chap電信實用電信實用2第1頁/共70頁3信 道輸入量X(隨機(jī)過程)輸出量Y(隨機(jī)過程)p(Y|X)第2頁/共70頁4幅度幅度時間時間信道名稱信道名稱離散離散離散信道（數(shù)字信道）連續(xù)離散連續(xù)信道連續(xù)連續(xù)模擬信道（波形信道）連續(xù)離散半離散半連續(xù)信道離散連續(xù)第3頁/共70頁5第4頁/共70頁6第5頁/共70頁7信 道XYp(Y|X)第6頁/共70頁8)f()f(pXYXYXY, 0, 1)|(第7頁/共70頁9)|()|()|()|(2211LLxypxypxyppXY有干擾無記憶信道可分為（輸入輸出符號數(shù)）: 二進(jìn)制離散信道 離散無記憶信道 離散輸入、連續(xù)輸出信道 波形信道第8頁/共7

2、0頁10p p(0|1) = p p(1|0) = p0101pp1-p1-p101110ppppP無錯誤傳輸?shù)母怕蕚鬏敯l(fā)生錯誤的概率第9頁/共70頁11nnmnnmmmaaapppppppppPbbb2121222211121121a1a2anb1b2bm:p11p12p21p22pnmpij=p(bj|ai)第10頁/共70頁12niabpmjij, 2 , 11)|(11211121121222212( |)(|)(|)( |)(|)(|)( |)(|)(|)mmmnnnmnbbbap b ap b ap baap b ap b ap baPap b ap b ap ba第11頁/共70

3、頁13第12頁/共70頁1412,rX Xx xx12,sY Yy yy(|)jip yx(|)|1,2,;1,2,jijip yxP YyXxirjs第13頁/共70頁15111122212212ssrrrspppppppppP1211211112222212(|)(|)(|)(|)(|)(|)(|)(|)(|)sssrrrsryyyp yxp yxp yxxp yxp yxp yxxxp yxp yxp yxP為了表述簡便，常常寫成為了表述簡便，常常寫成0ijp 11sijjp其中其中：信道轉(zhuǎn)移概率實際上是一個轉(zhuǎn)移概率矩陣，稱為信道轉(zhuǎn)移概率實際上是一個轉(zhuǎn)移概率矩陣，稱為信道矩陣信道矩陣第1

4、4頁/共70頁16(,)()ijijP Xx Yyp x y()( ) (|)() (|)ijijijijp x yp x p yxp yp xy(|)jip yxixjy(|)ijp xyjyix( )ip x(|)ijp xy第15頁/共70頁171()( ) (|)rjijiip yp x p yx 1212()()()( )()()srp yp yp yp xp xp xP|YXY XPP P1()( ) (|)(|)1,2,;1,2,()( ) (|)ijijiijrjijiip x yp x p yxp xyirjsp yp x p yx（3）根據(jù)貝葉斯公式，可由先驗概率和信道的）

5、根據(jù)貝葉斯公式，可由先驗概率和信道的轉(zhuǎn)移概率求后向概率：轉(zhuǎn)移概率求后向概率： 寫成向量的形式：寫成向量的形式：或記成或記成第16頁/共70頁18YX(; )I X YR(; )()(|)RI X YH XH X Y比特/符號1(; )tRI X Yt比特/秒一般稱為一般稱為信息傳輸速率信息傳輸速率。如果平均傳輸一個符號為如果平均傳輸一個符號為t秒，秒，則則(; )I X Y第17頁/共70頁19niijijijijijijxypxpypypxypxypxpYXI1)|()()()()|(log)|()();(信道的信息傳輸率就是平均互信息 第18頁/共70頁20);(max)(YXICiap

6、單位時間的信道容量：);(max1)(YXITCiap第19頁/共70頁21第20頁/共70頁22) 3 , 2 , 1, (10)|()|(jijijibapabpjiijX100010001Pa1 b1 Ya2 b2a3 b3111第21頁/共70頁23X0001001001001000Pa1 b1 Ya2 b2an-1 bn-1an bn11第22頁/共70頁24()( )H XH Y)|(log),()|(ijijjixypyxpXYH)|(log),()|(jiijjiyxpyxpYXH計算得： 噪聲熵H(Y|X) = 0 損失熵H(X|Y) = 0( , )I X Y()max (

7、 ; )ip aCI X Y2log n第23頁/共70頁25X1010010101Pa1 Ya2 b1a3a4 b2a51111101)|(01)|(或或jijibapabp輸出Y是輸入X的確定函數(shù),但不是一一對應(yīng),而是多一對應(yīng)關(guān)系。第24頁/共70頁26 噪聲熵H(Y|X) 0 損失熵H(X|Y) 0)()(),(XHYHYXI()max ( ; )ip aCI X Y01)|(01)|(或或jijibapabp信道中接收到符號Y后不能完全消除對X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。max( )H Y第25頁/共70頁27X b1 Ya1 b2 b3a

8、2 b4 b51 /3 1 /31 /31 /43 /43/1)|(3/1)|(3/1)|(131211abpabpabp計算得1)|(1)|(1)|(312111bapbapbap1)|(1)|(5242bapbap同理111003331300044P 由第26頁/共70頁28接收到符號Y后,對發(fā)送的X符號是完全確定的。 噪聲熵H(Y|X) 損失熵H(X|Y)( , )I X Y)(max);(max)(XHYXICiap 0= 0()( )H XH Y第27頁/共70頁29nYHXHYXICiap2)(log)(max)(max);(max信道m(xù)YHYXICiap2)(log)(max);

9、(max信道nXHYXICiap2)(log)(max);(max第28頁/共70頁302131616121313161213131616161613131PP滿足對稱性,所對應(yīng)的信道是對稱離散信道。第29頁/共70頁317 . 01 . 01 . 02 . 02 . 07 . 03161316161613131PP 不具有對稱性,因而所對應(yīng)的信道不是對稱離散信道。 第30頁/共70頁32)|()()|()(),(XYHYHYXHXHYXI( |)( )(|)log (|)ijijiijH Y Xp ap bap ba ),()|()|(21mipppHaYHXYH(|)log (|)(|)1

10、,2,jijijip bap baH Y ain 第31頁/共70頁33上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量p1, p2,pm 和輸出符號集的個數(shù)m有關(guān)。ijmjijmppmpppHmC121loglog),(log第32頁/共70頁343131616161613131P符號/082. 061log6161log6131log3131log312)61,61,31,31(4logbitHC信道容量為 第33頁/共70頁35pnpnpnppnpnpnppP111111111 此信道稱為強(qiáng)對稱信道 (均勻信道) 信道矩陣中各列之和也等于1 強(qiáng)對稱信道的信道容量：

11、 )1,1,1 (log2npnppHnC第34頁/共70頁3610PXppppppppP11ppabpapbpppabpapbpiiiiii)|()() 1()|()() 0(110100第35頁/共70頁37)(loglog)|(log)|()|(log)|()()|(pHppppabpabpabpabpapXYHijjijijijiji(; )( )( |)()( )I X YH YH Y XHppH p)(1log)(1log)()(ppHppppppppYH1( )CH p 第36頁/共70頁38I(XY)(1pHC BSC信道容量1-H ( p )I (X,Y) 對存在一個極大值。

12、第37頁/共70頁39當(dāng)固定信源的概率分布時,I (X,Y) 是p的 型 下凸函數(shù)。pC)(1pHC0)21,21(1HC信道無噪聲當(dāng)p = 0, C =10 = 1bit = H(X)當(dāng)p =1/2, 信道強(qiáng)噪聲BSC信道容量第38頁/共70頁40定理：平均互信息I (X;Y)是信道傳遞概率p(bj|ai)的 型下凸函數(shù)。信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘?。?9頁/共70頁41)(1 pHrCst當(dāng)信源輸入符號的速率為rs(符/秒),信道容量實際信息傳輸速率Rt為 )|()(YXHXHrRst進(jìn)入信道輸入端的信息速率 )(XHrDsin第40頁/共70頁42 0Y

13、0.9 10.1sbispHrCst/531469. 01 1000)9 . 0log9 . 01 . 0log1 . 0(1 1000)(1 輸入符號等概時有最大信息傳輸速率信道實際信息傳輸速率sbitYXHXHrRst/413398. 0811. 01000)|()(sbitXHrDsin/811811. 01000)(第41頁/共70頁43XYZ 組成一個馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，組成一個馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，串聯(lián)信道的總的信道矩陣等于這兩個串接信道的信道矩陣的乘積。串聯(lián)信道的總的信道矩陣等于這兩個串接信道的信道矩陣的乘積。在實際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳

14、輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。第42頁/共70頁44ppppPP1121X00ZY111 -p1 -p1 -pp串聯(lián)信道的轉(zhuǎn)移矩陣為:222221)1 ()1 (2)1 (2)1 (1111ppppppppppppppppPPP1 -pp第43頁/共70頁45X00ZY11(; )1( )(; )12 (1)C X YH pC X ZHpp pp1 -p1 -p1 -p1 -p第44頁/共70頁46信道2信道m(xù)信道1);();();()(WXIZXIYXIXH);(max)2 , 1 (ZXIC);(max) 3 , 2 , 1 (WXIC可以看出,串

15、接的信道越多,其信道容量可能會越小,當(dāng)串接信道數(shù)無限大時,信道容量可能會趨于0XYZ第45頁/共70頁47準(zhǔn)對稱信道20.70.1 0.20.20.1 0.7P ),(log21mpppHmC 準(zhǔn)對稱信道容量第46頁/共70頁48616131313161613131613161616131311P 準(zhǔn)對稱信道 將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣Pk是對稱矩陣。 20.70.10.20.70.20.10.20.10.70.20.70.1P第47頁/共70頁49當(dāng)輸入分布為等概率時：rkkkmMNpppHnC121log),(log 其中n是輸入符號集的個數(shù),(p

16、1, p2,pm)為準(zhǔn)對稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個互不相交的子集。 Nk是第k個子矩陣Pk中行元素之和, Mk是第k個子矩陣Pk中列元素之和。 ), 2 , 1()|()|(rkabpMabpNiijkjijk第48頁/共70頁508181214181814121P214141211P818181812P121log(,)logrmkkkCnH p ppNM計算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4將它分成 1 1 1 13311log2( , )( loglog)2 4 8 844441 1.750.8110.061/H （比特 信道符號）第

17、49頁/共70頁51 通過計算可得平均互信息的極大值通過計算可得平均互信息的極大值 ，即，即C設(shè)輔助函數(shù)：設(shè)輔助函數(shù)： ， 當(dāng)當(dāng) 時求得的值即為信道容量。時求得的值即為信道容量。(; )I X Y(),1,2,ip xir1( )1riip x()01,2,()1iiip xirp x的條件下求的條件下求 的極值。的極值。;( )iiFI X Yp x0( )iFp x(; )I X YlogCe第50頁/共70頁52( )(|)log (|)()log ()( )ijijijjiijjiFp xp yxp yxp yp yp x()( ) (|)jijiip yp x p yx()(|)(

18、)jjiip yp yxp xln()log()ln2jjp yp ylog()ln()()(|)11loglog( )( )ln2()( )()jjjjiiijijp yp yp yp yxeep xp xp yp xp y因為因為所以所以又因又因;( )iiFI X Yp x( )(|)( )iiH YH Y Xp x第51頁/共70頁53(|)(|)log (|)(|)log ()()log( )()jijijijijjjjjijp yxFp yxp yxp yxp yp yep xp y(|)(|)(|)log()log()()jijijijjjjjp yxp yxp yxp yep

19、yp y(|)(|)loglog()jijijjp yxp yxep y(|)(|)loglog0()jijijjp yxp yxep y(|)(|)loglog()jijijjp yxp yxep y(|)( )(|)log( )(log)log()jiijiiijijp yxp xp yxp xeep y0,( )iFp x令令得到得到即即同乘以同乘以 并對并對x求和求和，( )ip x第52頁/共70頁54 1信道矩陣為可逆矩陣，采用解方程組的方法。信道矩陣為可逆矩陣，采用解方程組的方法。 在一般信道的信道容量的推導(dǎo)中我們推出了下式：在一般信道的信道容量的推導(dǎo)中我們推出了下式： 這樣得到

20、的信道容量有一個參數(shù)這樣得到的信道容量有一個參數(shù) 。在某些情況下可以消去。在某些情況下可以消去 得到信道容量值。得到信道容量值。(|)(|)loglog1,2,()jijijjp yxp yxeCirp ylogCe(|)log(|)(|)log()jijijijjjp yxp yxp yxp yClog()jjp yC令令 移項得移項得(|) log()jijjp yxp yC第53頁/共70頁55則則21jCjlog2jjC所以所以當(dāng)當(dāng)r=s，且信道矩陣是可逆矩陣時，該方程組有唯一解。這時就可以求出，且信道矩陣是可逆矩陣時，該方程組有唯一解。這時就可以求出 ，然后根據(jù)，然后根據(jù) 和和 求出

21、信道容量：求出信道容量：j()1jjp y()2jCjp y(|)log(|)(|)jijijijjjp yxp yxp yx由由 和和C就可以求得輸出概率分布就可以求得輸出概率分布j()2jCjp y()( ) (|)jijiip yp x p yx( )ip x再根據(jù)再根據(jù)列列方程組求方程組求第54頁/共70頁56（1）由）由 列方程組求出列方程組求出 ；(|)(|)log(|)jijjijijjp yxp yxp yxj（2）由）由 求出求出C；log2jjC將計算步驟總結(jié)如下：將計算步驟總結(jié)如下：（3）由）由 求出求出 ；()2jCjp y()jp y（4）由）由 列方程組求列方程組求

22、 。()( ) (|)jijiip yp x p yx( )ip x為什么要求為什么要求 ？ ( )ip x第55頁/共70頁57 例：求如下信道的信道容量：例：求如下信道的信道容量：1/21/401/4010000101/401/41/2P(|)(|)log(|)jijjijijjp yxp yxp yx公式：公式：第56頁/共70頁582當(dāng)輸入概率分布只有一個變量時，當(dāng)輸入概率分布只有一個變量時，例如例如r=2，可以設(shè)輸入概率分布為，可以設(shè)輸入概率分布為 和和 ，因此輸入概率分布只有一個變量，這時我們可以直接對，因此輸入概率分布只有一個變量，這時我們可以直接對 求導(dǎo)求出，從而得出求導(dǎo)求出，

23、從而得出 的極大值的極大值C。1(;)I X Y(; )I X Y 例例 已知信道的轉(zhuǎn)移矩陣為已知信道的轉(zhuǎn)移矩陣為 求信道容量。求信道容量。0.50.30.20.30.50.2P第57頁/共70頁59上式說明： 當(dāng)信道的平均互信息I(X;Y)達(dá)到信道容量時,輸入符號概率集p(ai)中每一個符號ai對輸出端Y提供相同的互信息,只是概率為0的除外。(|);(|)log()jiijijjp yxI x Yp yxp y第58頁/共70頁60log (|)( ; )(|)log( ; )log( )()jijiijijp yxI X Yp yxeI x Yep xp y平均互信息對輸入概率分布求偏導(dǎo)：

24、平均互信息對輸入概率分布求偏導(dǎo)：( ; ), ( )0( )iiI X Yp xp x（1）( ; ), ( )0( )iiI X Yp xp x（2）用用 上式上式 和和 改寫信道容量充要條件：改寫信道容量充要條件：logCe第59頁/共70頁61信道容量定理：信道容量定理：平均互信息平均互信息 取到極大值也就是信道容量時，對于任意取到極大值也就是信道容量時，對于任意 ，只要它出現(xiàn)的概率大于，只要它出現(xiàn)的概率大于0， 都相等。都相等。( ; )I X Yix(;)iI x Y例例證明當(dāng)輸入為等概分布時，離散準(zhǔn)對稱信道達(dá)到信道容量。證明當(dāng)輸入為等概分布時，離散準(zhǔn)對稱信道達(dá)到信道容量。第60頁/共70頁62信道容量定理只給出了達(dá)到信道容量時，最佳輸入概率分布應(yīng)滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達(dá)到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。信道容量定理只給出了達(dá)到信道容量時，最佳輸入概率分布應(yīng)滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達(dá)到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在