信息論第3章 信道及信道容量

1、信道及信道容量2022-3-14第3章 信道及信道容量教學(xué)內(nèi)容和要求掌握單符號(hào)離散信道及平均互信息量，理解其性質(zhì)掌握m=n信道、對稱信道和準(zhǔn)對稱信道的信道容量了解多符號(hào)離散信道，掌握N次擴(kuò)展信道及信道容量信道及信道容量2022-3-14掌握單符號(hào)連續(xù)信道及平均互信息量，理解其性質(zhì)掌握高斯加性信道的信道容量和最大信息傳輸速率了解多符號(hào)連續(xù)信道及信道容量信道及信道容量2022-3-14編碼信道譯碼噪聲信源信宿信道傳輸信號(hào)的媒介，信道中通常引入噪聲狹義信道信號(hào)的傳輸媒介有線信道電線、電纜、光纜無線信道電磁空間地波傳播、天波傳播、視線傳播信道及信道容量2022-3-14發(fā)轉(zhuǎn)換媒介收轉(zhuǎn)換調(diào)制解調(diào) 調(diào)制信

2、道調(diào)制信道編碼信道編碼信道 廣義信道包括調(diào)制解調(diào)、收發(fā)轉(zhuǎn)換裝置的信道調(diào)制信道連續(xù)信道編碼信道離散信道信道及信道容量2022-3-14一、單符號(hào)離散信道及信道容量1、單符號(hào)離散信道定義對應(yīng)于單符號(hào)離散信源和單符號(hào)離散信宿的信道表示信源離散型隨機(jī)變量X信宿離散型隨機(jī)變量Y信道及信道容量2022-3-14)x(P,),x(P),x(P)X(Px,x,xXn21n21設(shè)隨機(jī)變量X的取值xi為信源發(fā)出的消息 i=1,2,n)y(P,),y(P),y(P)Y(Pnmy,y,yYm21m21，通常設(shè)隨機(jī)變量Y的取值yj為信宿收到的消息 j=1,2,mXP(Y/X)Y信道及信道容量2022-3-14x1x2x

3、ny1y2ymP(y1/x1)P(ym/xn)P(y2/x2)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)X/Y(Pnmn2n12m22211m1211信道及信道容量2022-3-14n, 2 , 1i1)x/y(P1)x/y(P0m1jijij且其中，信道及信道容量2022-3-14p1ppp1)X/Y(P例12121122111)X/Y(P例2信道及信道容量2022-3-142、互信息量信源發(fā)出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量定義信宿消息yj的概率P(yj)與信源發(fā)出消息xi而信宿接收到消息y

4、j的轉(zhuǎn)移概率P(yj /xi )之差對數(shù)的負(fù)值，用I(xi;yj) 表示信道及信道容量2022-3-14表示)x/y(Plog)y(Plog)x/y(P)y(Plog)y;x( Iijjijjji信道及信道容量2022-3-14例375. 025. 001)X/Y(PZ信道6 . 04 . 010)X(PX信源信宿消息0所含各信源消息的互信息量55. 025. 06 . 014 . 0)0y(P1)bit(862. 01log55. 0log)x/y(Plog)y(Plog)0y; 0 x( I11111)bit(138. 125. 0log55. 0log)x/y(Plog)y(Plog)

5、0y; 1x( I21112信道及信道容量2022-3-143、平均互信息量各互信息量的數(shù)學(xué)期望，也叫交互熵，用I(X;Y)表示定義表示n1im1jijjin1im1jjjin1im1jjijiji)x/y(Plog)yx(P)y(Plog)yx(P)y;x( I )yx(P)y;x( I E)Y;X( I信道及信道容量2022-3-144、平均互信息量的意義條件熵H(Y/X)是信道給出的平均信息量噪聲熵或信道散布度)X/Y(H)Y(H)Y;X( I)X/Y(H)Y(H)x/y(Plog)yx(P)y(Plog)y(Pn1im1jijjin1jjj平均互信息量I(X;Y)反映信道每傳輸一條消息

6、所攜帶的平均信息量，不反映信宿收到某條消息所含信源發(fā)出某條特定消息的信息量信道及信道容量2022-3-14n1im1jjiijin1im1jijjji)y/x(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X( I)Y/X(H)X(H)y/x(Plog)yx(P)x(Plog)yx(Pn1im1jjijin1im1jiji條件熵H(X/Y)是用反信道矩陣形式表示的信道給出的平均信息量損失熵或信道疑義度信道及信道容量2022-3-14H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿為參考，利用信宿的信息熵和信道的噪聲熵來度量信道中傳輸?shù)钠骄畔⒘恳孕旁礊閰⒖?，利?/p>

7、信源的信息熵和信道的損失熵來度量信道中傳輸?shù)钠骄畔⒘科骄バ畔⒘縄(X;Y)信息傳輸率R信道及信道容量2022-3-14n1im1jjijijin1im1jijjji)yx(P)y(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X( I)XY(H)Y(H)X(H)yx(Plog)yx(P)y(Plog)yx(P)x(Plog)yx(Pn1im1jjijin1im1jjjin1im1jiji信道及信道容量2022-3-145、平均互信息量的主要性質(zhì)對稱性)X;Y( I)Y;X( I)X;Y( I)y/x(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;

8、X( In1im1jjiijin1im1jijjji信道及信道容量2022-3-14非負(fù)性0)Y;X( I)Y(H)X/Y(H0)X/Y(H)Y(H)Y;X( I極值性)Y(H)Y;X( I)X(H)Y;X( I0)Y/X(H, 0)X/Y(H信道及信道容量2022-3-14)Y(H)X/Y(H)Y(H)Y;X( I)X(H)Y/X(H)X(H)Y;X( IX與Y相互獨(dú)立時(shí)，0)Y;X( IX與Y一一對應(yīng)關(guān)系時(shí)，)X(H)Y(H)Y;X( I嚴(yán)格凸函數(shù)性信道固定時(shí)，I(X;Y)是信源概率分布P(X)的嚴(yán)格上凸函數(shù)信源固定時(shí)，I(X;Y)是信道轉(zhuǎn)移概率分布P(Y/X)的嚴(yán)格下凸函數(shù)信道及信道容量

9、2022-3-14例475. 025. 001)X/Y(PZ信道6 . 04 . 010)X(PX信源平均互信息量55. 025. 06 . 014 . 0)0y(P145. 075. 06 . 004 . 0) 1y(P2)bit(992. 045. 0log45. 055. 0log55. 0)y(Plog)y(P)Y(H21jjj信道及信道容量2022-3-1421i21jijiji)x/y(Plog)x/y(P)x(P)X/Y(H)bit(487. 075. 0log75. 06 . 025. 0log25. 06 . 00log04 . 01log14 . 0)bit(505. 04

10、87. 0992. 0)X/Y(H)Y(H)Y;X( I信道及信道容量2022-3-14平均互信息量及p-I(X;Y)和q-I(X;Y)曲線p1p10)X(PX信源qq1q1q)X/Y(P信道qppq)q1)(p1 (pq)0y(P1qpqpq)p1 ()q1 (p) 1y(P2例5)qppq(H)qpqplog()qpqp()qppqlog()qppq()Y(H信道及信道容量2022-3-1421i21jjiiji)y/x(Plog)x/y(P)x(P)X/Y(H)q(Hqlogqqlogqqlog)qpqp(qlog)qppq(qlogqpqlogqpqlogqpqlogpq)q(H)qp

11、pq(H)X/Y(H)Y(H)Y;X( I信道固定時(shí)q為常數(shù)，作p-I(X;Y)曲線0)q(H)q(H)Y;X( I0p 時(shí)，當(dāng))q(H1)q(H) 5 . 0(H)Y;X( I5 . 0p時(shí)，信道及信道容量2022-3-140)q(H)q(H)Y;X( I1p 時(shí)，00.51I(X;Y)1-H(q)p信源固定時(shí)p為常數(shù)，作q-I(X;Y)曲線) p(H) 0(H)p(H)Y;X( I0q 時(shí)，當(dāng)信道及信道容量2022-3-14)p(H) 1 (H)p(H)Y;X( I1q 時(shí)，0) 5 . 0(H) 5 . 0(H)Y;X( I5 . 0q時(shí)，00.51I(X;Y)H(p)q信道及信道容量2

12、022-3-146、信道容量信道固定時(shí)，平均互信息量是信源概率分布P(X)的嚴(yán)格上凸函數(shù)，總能找到一種信源概率分布P(X)，使信道中傳輸?shù)钠骄バ畔⒘窟_(dá)到最大定義信道轉(zhuǎn)移概率分布P(Y/X)不變時(shí)平均互信息量的最大值，用C表示信道及信道容量2022-3-14表示)Y;X( ImaxC)X(P7、m=n信道的信道容量限制下的條件極值在1)x(P)Y;X( In1iin, 2 , 1i01)x(P)Y;X( I )x(Pn1jji令信道及信道容量2022-3-14n, 2 , 1i01)x(P)x/y(Plog)x/y(P)x(P)y(Plog)y(P)x(Pn1jjn1jm1kjkjkjm1kk

13、kin, 2 , 1i)x/y(P)x/y(P)x(P)x(P)x(P)y(Pikn1jjkjiik注意到信道及信道容量2022-3-14n, 2 , 1ielog)y(Plog)x/y(P)x/y(ePlog)y(Plog)x/y(P)y(Plog)y(P)x(Pm1kkikm1kikkikm1kkki信道及信道容量2022-3-14n, 2 , 1i)x/y(Plog)x/y(P1)x(P)x/y(Plog)x/y(P)x(P)x(Pm1kikikn1jjn1jm1kjkjkjin, 2 , 1i0)x/y(Plog)x/y(Pelog)y(Plog)x/y(Pm1kikikm1kkik信

14、道及信道容量2022-3-14n, 2 , 1ielog)x/y(P)y(Plog)x/y(Pm1kikkikelogelog)x(PC)x/y(P)y(Plog)x/y(P)x(Pn1iim1kikkikn1iin, 2 , 1iC)x/y(P)y(Plog)x/y(Pm1kikkik信道及信道容量2022-3-14n, 2 , 1i)x/y(PC)y(P)logx/y(PC)y(Plog)x/y(P)x/y(Plog)x/y(Pm1kkikm1kkikm1kkikm1kikikm,1,2,knmk，可解出如果m, 2 , 1kC)y(Plogkkm, 2 , 1k2)y(PCkk信道及信道

15、容量2022-3-141222)y(Pm1kCm1kCm1kkkkm1kCk22)2log(Cm1kkm, 2 , 1k2)y(PCkkm, 2 , 1k)x/y(P)x(P)y(Pn1iikikn,1,2,i)x(Pnmi，可解出信道及信道容量2022-3-14m=n信道的信道容量m, 2 , 1kn, 2 , 1i)x/y(Plog)x/y(P)x/y(P) 1 (km1kikikm1kkik求出由)2log(C) 2(m1kk求出m, 2 , 1k2)y(P) 3(Ckk求出n, 2 , 1i)x(Pm, 2 , 1k)x/y(P)x(P)y(P) 4(in1iikik求出由信道及信道容

16、量2022-3-14Z信道 的信道容量C及達(dá)到信道75. 025. 001)X/Y(P容量的信源概率分布P(X)例6082. 10811. 075. 0log75. 025. 0log25. 075. 025. 000log01log101) 1 (212121求出由信道及信道容量2022-3-14習(xí)題：(P99) 3.1、3.2)bit(558. 0)22log(C)2(082. 10求出321. 0222)y(P679. 0222)y(P) 3(640. 1558. 0082. 1C2528. 0558. 00C121求出428. 0)x(P572. 0)x(P321. 0)x(P75.

17、0)x(P0)y(P679. 0)x(P25. 0)x(P1)y(P)4(21212211求出由信道及信道容量2022-3-14二、對稱信道及信道容量1、對稱信道矩陣中每一行都是集合中各元素的不同排列矩陣行可排列；每一列都是集合 中各元素的不同排列矩陣列可排列q,q,qQm21p,p,pPn21信道及信道容量2022-3-14對稱信道中，當(dāng)mn時(shí)，P是Q的子集；當(dāng)m=n時(shí)，P =Q例1下列信道矩陣所表示的信道是否為對稱信道？既行可排列，又列可排列的信道矩陣所表示的單符號(hào)離散信道定義信道及信道容量2022-3-143131616161613131)X/Y(P61613131Q6131P行可排列列

18、可排列QP, nm信道及信道容量2022-3-146131613161613131)X/Y(P行可排列不存在P，列不可排列61613131Q信道及信道容量2022-3-142、對稱信道的信道容量m=n=2時(shí)的對稱信道二進(jìn)制對稱信道BSC11)X/Y(P對稱信道行可排列m1jjjn1im1jjjin1im1jijijim21qlogqqlogq)x(P)x/y(Plog)x/y(P)x(P)q,q,q (H)X/Y(H信道及信道容量2022-3-14)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCm21)X(P)X(P)X(P信宿等概時(shí)最大m1jjjm21qlogq

19、mlog)q,q,q (HmlogC最大值可達(dá)條件對稱信道列可排列，不失一般性，設(shè)對稱信道的信道矩陣信道及信道容量2022-3-141nn1n3221pppppppp)X/Y(Pm1)x(Pp)x(Pp)x(Pp)x(Pp)y(Pm1)x(Pp)x(Pp)x(Pp)x(Pp)y(Pn11nn23122nn1n1n22111信道及信道容量2022-3-14n1iin21pm1)x(P)x(P)x(P解出n, 2 , 1in1)x(P1)x(nP)x(Piin1ii信道及信道容量2022-3-14n1)x(P)x(P)x(Pn21m1jjjm21qlogqmlog)q,q,q(HmlogC對稱信道

20、的信道容量BSC的信道容量)1log()1 (log1)(H1C達(dá)到信道容量的信源概率分布信道及信道容量2022-3-14例2信道的信道容量及達(dá)到信道7 . 01 . 02 . 02 . 07 . 01 . 01 . 02 . 07 . 0)X/Y(P容量的信源概率分布信道矩陣既行可排列，又列可排列，所表示的信道為對稱信道信道及信道容量2022-3-14信道容量)bit(429. 01 . 0log1 . 02 . 0log2 . 07 . 0log7 . 03logqlogq3logC31jjj達(dá)到信道容量的信源概率分布31)x(P)x(P)x(P321信道及信道容量2022-3-14三、準(zhǔn)

21、對稱信道及信道容量行可排列而列不可排列，按列分為若干個(gè)不相交的子集，各子集構(gòu)成的子矩陣列可排列的信道矩陣所表示的單符號(hào)離散信道信道矩陣7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P定義1、準(zhǔn)對稱信道信道及信道容量2022-3-147 . 02 . 01 . 0Q行可排列不存在P，列不可排列按列分成兩個(gè)不相交的子集，兩個(gè)子集構(gòu)成的子矩陣7 . 01 . 01 . 07 . 0)X/Y(P12 . 02 . 0)X/Y(P2列可排列，信道為準(zhǔn)對稱信道1 . 07 . 0P12 . 02 . 0P2信道及信道容量2022-3-14二進(jìn)制刪除信道準(zhǔn)對稱信道2112212111

22、)X/Y(P準(zhǔn)對稱信道行可排列2、準(zhǔn)對稱信道的信道容量m1jjjn1im1jjjin1im1jijijim21qlogqqlogq)x(P)x/y(Plog)x/y(P)x(P)q,q,q (H)X/Y(H信道及信道容量2022-3-14)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCm21)X(P)X(P)X(P信宿等概的最大值是否可達(dá)？7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P如果信宿等概信道及信道容量2022-3-1431)x(P7 . 0)x(P1 . 0)y(P31)x(P2 . 0)x(P2 . 0)y(P31)x(P1

23、. 0)x(P7 . 0)y(P2132122110)x(P6 . 0)x(P6 . 00)x(P1 . 0)x(P5 . 02121矛盾！不可達(dá)信道及信道容量2022-3-14按列分為s個(gè)不相交的子集，各子集構(gòu)成的子矩陣列可排列對應(yīng)于子信道的各子信宿等概時(shí)最大最大值可達(dá)條件子矩陣列可排列，不失一般性，設(shè)第k個(gè)子矩陣 s1kkkks1kM)y(Pkk)X(P) y(Plog) y(Pm) y(Plog) y(P)Y(Hmaxkj信道及信道容量2022-3-141kknkn1kn3k2k2k1kkpppppppp)X/Y(P)y(P)x(Pp)x(Pp)x(Pp)x(Pp)y(P)x(Pp)x(

24、Pp)x(Pp)x(Ppkn1k1nkn23k12kknkn1n1kn22k11kn1ikikn21p)y(P)x(P)x(P)x(P解出信道及信道容量2022-3-14n, 2 , 1in1)x(P1)x(nP)x(Piin1iis , 2 , 1kpn1)y(Pn1ikik信道及信道容量2022-3-14準(zhǔn)對稱信道的信道容量)q,q,q(H)y(Plog)y(PmCm21ks1kkkm1jjjks1kkkqlogq) y(Plog) y(Pmn1)x(P)x(P)x(Pn21達(dá)到信道容量的信源概率分布信道及信道容量2022-3-14二進(jìn)制擦除信道的信道容量22212111log)1log(

25、)1 (21log)1 (C信道及信道容量2022-3-147 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P信道的信道容量及達(dá)到信道容量時(shí)的信源概率分布例1行可排列1 . 02 . 07 . 0Q不存在P，列不可排列按列分成兩個(gè)不相交的子集后，兩個(gè)子集構(gòu)成的子矩陣信道及信道容量2022-3-147 . 01 . 01 . 07 . 0)X/Y(P12 . 02 . 0)X/Y(P2都列可排列，所表示的信道為準(zhǔn)對稱信道1 . 07 . 0P12 . 02 . 0P24 . 0) 1 . 07 . 0(21p21)y(P2m21ii 111，2 . 0)2 . 02 . 0

26、(21p21)y(P1m21ii 222，41jjjk21kkkqlogq)y(Plog)y(PmC信道容量信道及信道容量2022-3-14)bit(365. 01 . 0log1 . 07 . 0log7 . 04 . 0log4 . 021 . 0log1 . 02 . 0log2 . 07 . 0log7 . 02 . 0log2 . 014 . 0log4 . 02達(dá)到信道容量的信源概率分布21)x(P)x(P21)bit(365. 01 . 0log1 . 07 . 0log7 . 04 . 0log8 . 0log)1log()1 (21log)1 (C22212111信道及信道容

27、量2022-3-148181214181814121)X/Y(P信道的信道容量及達(dá)到信道容量時(shí)的信源概率分布例2行可排列81814121Q不存在P，列不可排列信道及信道容量2022-3-14按列分成兩個(gè)不相交的子集后，兩個(gè)子集構(gòu)成的子矩陣21414121)X/Y(P181818181)X/Y(P2都列可排列，所表示的信道為準(zhǔn)對稱信道4121P18181P2信道及信道容量2022-3-1483)4121(21p21)y(P2m21ii 111，81)8181(21p21)y(P2m21ii 222，41jjjk21kkkqlogq)y(Plog)y(PmC信道容量)bit(061. 041log

28、4121log2183log83281log81241log4121log2181log81283log832信道及信道容量2022-3-1421)x(P)x(P21達(dá)到信道容量的信源概率分布信道及信道容量2022-3-14四、N次擴(kuò)展信道及信道容量1、多符號(hào)離散信道定義對應(yīng)于多符號(hào)離散信源和多符號(hào)離散信宿的信道表示信源離散型隨機(jī)過程X1X2XN信宿離散型隨機(jī)過程Y1Y2YN信道及信道容量2022-3-14)x(P,),x(P),x(P)X(PN, 2 , 1kx,x,xXn21kn21k設(shè)n, 2 , 1i ,i ,ixxxXXXN21iiiN21N21為信源發(fā)出的消息的取值隨機(jī)過程)y(P

29、,),y(P),y(P)Y(PN, 2 , 1knmy,y,yYm21km21k，通常設(shè)m, 2 , 1j ,j ,jyyyYYYN21jjjN21N21為信宿收到的消息的取值隨機(jī)過程信道及信道容量2022-3-14X1X2XNP(Y1Y2YN/X1X2XN)Y1Y2YN)XXX/YYY(PN21N21)xxx/yyy( P)xxx/yyy( P)xxx/yyy( P)xxx/yyy( PN21N21N21N21N21N21N21N21nnnmmmnnn111111mmm111111n, 2 , 1i ,i ,i1xxx/yyy(P1)xxx/yyy(P0N21m1jm1jiiijjjiiij

30、jj1NN21N21N21N21 且其中，信道及信道容量2022-3-142、N維離散平穩(wěn)信道定義多符號(hào)離散信道對任意兩個(gè)不同時(shí)間起點(diǎn)k和l，其轉(zhuǎn)移概率分布及直到N維的各維聯(lián)合轉(zhuǎn)移概率分布都相同取l=1，N維離散平穩(wěn)信道)XXX/YYY(P)XXX/YYY(P)XX/YY(P)XX/YY(P)X/Y(P)X/Y(PN21N211Nk1kk1Nk1kk21211kk1kk11kk信道及信道容量2022-3-143、N維離散平穩(wěn)無記憶信道DMC定義N維離散平穩(wěn)信道的符號(hào)序列中各符號(hào)相互獨(dú)立表示m, 2 , 1j ,j , jn, 2 , 1i ,i ,i)x/y(P)x/y(P)x/y(P)xxx

31、/yyy(PN21N21ijijijiiijjjNN2211N21N21信道及信道容量2022-3-14)XXX/YYY(PN21N21)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(PNN11NN11NN11NN11nmnmn1n11m1m1111)X/Y(PNNN維離散平穩(wěn)無記憶信道形式上相當(dāng)于單符號(hào)離散信道的N次擴(kuò)展信道N次擴(kuò)展信道對應(yīng)于N次擴(kuò)展信源和N次擴(kuò)展信宿的信道信道及信道容量2022-3-144、N次擴(kuò)展信道的信道容量)X/Y(H)Y(H)Y;X( I)YYY;XXX( INNNNNN21N21)Y;X(NI)X/Y(NH)Y(NHN

32、C)Y;X(NImax)Y;X( ImaxC)X(PNN)X(PNN信道及信道容量2022-3-14BSC的信道矩陣pppp)X/Y(P二次擴(kuò)展信道的信道矩陣2222222222pppppppppppppppppppppppp)X/Y(P二次擴(kuò)展信道的信道矩陣和信道容量例1信道及信道容量2022-3-14二次擴(kuò)展信道的信道容量)plogpplogp1 (2C2C2222241jjj2plogppplogpppplogppplogp2qlogq4logCC2plogp2plogp22plogp2plogpp2plogpp2plogp2222習(xí)題：(P99-101)3.7、3.15信道及信道容量2

33、022-3-14五、單符號(hào)連續(xù)信道及信道容量1、單符號(hào)連續(xù)信道定義對應(yīng)于單符號(hào)連續(xù)信源和單符號(hào)連續(xù)信宿的信道表示信源連續(xù)型隨機(jī)變量X信宿連續(xù)型隨機(jī)變量Y信道及信道容量2022-3-14)x(pbxa概率密度函數(shù)設(shè)隨機(jī)變量X的取值x為信源發(fā)出的消息)y(pba,d, c dyc概率密度函數(shù)，通常設(shè)隨機(jī)變量Y的取值y為信宿收到的消息Xp(y/x)Y信道及信道容量2022-3-142、單符號(hào)連續(xù)信道的噪聲熵 y)x/y( plogyx)x/y( p)x( plim)X/Y(Hm1jn1iijiji0y, xm, n絕對噪聲熵p(y/x)為信道轉(zhuǎn)移概率密度函數(shù)1dy)x/y(pdc且m1jn1iji0

34、y, xm, nm1jn1iijji0y, xm, nylogyx)yx(plim)x/y(plogyx)yx(plim信道及信道容量2022-3-14 dcba0ymdcbadxdy)xy(pyloglimdxdy)x/y(plog)xy(p yloglimdxdy)x/y(plog)xy(p0ymdcba相對噪聲熵 dcbacdxdy)x/y(plog)xy(p)X/Y(H表示信道及信道容量2022-3-143、平均互信息量)X/Y(H)Y(H)Y;X( I)X/Y(H)Y(Hyloglim)X/Y(Hyloglim)Y(Hcc0ymc0ymc相對熵不能作為信息度量，平均互信息量作為熵差，

35、具有信息度量的意義信道及信道容量2022-3-144、平均互信息量的主要性質(zhì) 對稱性)X;Y( I)Y;X( I 非負(fù)性0)Y;X( I)Y(H)X/Y(Hcc dcdcbady)y(plog)y(pdxdy)x/y(plog)xy(p信道及信道容量2022-3-14 dcbadxdy)x/y(p)y(plog)xy(p dcbadxdy 1)x/y(p)y(p)xy(p0dxdy)xy(pdxdy)y(p)x(pdcbadcba 0)X/Y(H)Y(H)Y;X( Icc信道及信道容量2022-3-14 嚴(yán)格凸函數(shù)性信道固定時(shí)，I(X;Y)是信源概率密度函數(shù)p(x)的嚴(yán)格上凸函數(shù)信源固定時(shí)，I

36、(X;Y)是信道轉(zhuǎn)移概率密度函數(shù)p(y/x)的嚴(yán)格下凸函數(shù)信道及信道容量2022-3-145、信道容量與最大信息傳輸速率信道固定時(shí)，平均互信息量是信源概率密度函數(shù)p(x)的嚴(yán)格上凸函數(shù)，總能找到一種信源概率密度函數(shù)p(x)，使信道中傳輸?shù)钠骄バ畔⒘窟_(dá)到最大定義信道轉(zhuǎn)移概率密度函數(shù)p(y/x)不變時(shí)平均互信息量的最大值，用C表示信道及信道容量2022-3-14表示)Y;X( ImaxC)x(p連續(xù)信道習(xí)慣于考慮信道在單位時(shí)間內(nèi)平均互信息量的最大值最大信息傳輸速率定義單位時(shí)間的信道容量，用Ct表示信道及信道容量2022-3-14其中T為平均傳輸一條消息所需的時(shí)間最大信息傳輸速率的單位為bit/s

37、ec(bps)表示)Y;X( ImaxT1TCC)x(pt信道及信道容量2022-3-14六、高斯加性信道及信道容量1、高斯加性信道加性噪聲信道中噪聲與信號(hào)相互獨(dú)立且對信號(hào)的作用表現(xiàn)為線性疊加定義作用下的信道的白色高斯加性噪聲、方差均值WGANP0N2信道及信道容量2022-3-14表示XY=X+NNX的概率密度函數(shù)為p(x)，Y的概率密度函數(shù)為p(y)，N的概率密度函數(shù)為p(n)222n2e21)n( p且信道及信道容量2022-3-142、高斯加性信道的相對噪聲熵相應(yīng)的雅可比行列式11011yfyfxfxfJ2121)x/y(p)x(p)xy(p)n(p)x(p)xn(pJ)xn(p)xy

38、(pxyfn, xfx21設(shè)坐標(biāo)變換信道及信道容量2022-3-14222n2e21)n(p)x/y(p dxdy)x/y( plog)x/y( p)x( p)X/Y(Hc dxdn)n(plog)n(p)x(p)N(Hdn)n(plog)n(pc)eP2log(21)e2log(21N2信道及信道容量2022-3-143、高斯加性信道的信道容量)X/Y(H)Y(Hmax)Y;X( ImaxCcc)x(p)x(p)eP2log(21)Y(HmaxNc)x(pNX22X2YX2XPP0P0，方差足高斯分布，且均值的高斯分布，信宿也滿，方差信源取均值根據(jù)平均功率受限下的最大相對熵定理，信宿具有最大

39、相對熵信道及信道容量2022-3-14)PP( e2log21)e2log(21(Y)Hmax NX2Ycp(x)高斯加性信道的信道容量)PP1log(21)eP2log(21)PP( e2log21CNXNNXSNRPPNX為信噪功率比其中信道及信道容量2022-3-144、高斯加性信道的最大信息傳輸速率如果所傳輸信號(hào)的帶寬為B，根據(jù)采樣定理，不失真?zhèn)鬏斠粭l消息的最小時(shí)間T=1/2B高斯加性信道的最大信息傳輸速率香農(nóng)公式)PP1log(BB21/ )PP1log(21TCCNXNXt的單邊功率譜密度為設(shè)WGANBPNN0)BNP1log(BC0Xt信道及信道容量2022-3-14香農(nóng)公式的意義最大信息傳輸速率與所傳輸信號(hào)的帶寬成正比，基本與信噪功率比成正比信噪功率比小于1時(shí)最大信息傳輸速率仍大于0所傳輸信號(hào)的帶寬趨于無窮時(shí)，最大信息傳輸速率趨于有限值0XtBN