信息論與編碼2019ch2連續(xù)信源及其熵ppt課件

1、第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 TTTTdttxtx)(lim)(21dxtxpxEit)()(itX)()(itxEtx第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 yYxXYXdyydFYdxxdFXdyypyYPyFdxxpxXPxFYXyFxFYXypxpypxp)()()()()()()()()()()()()()(的一維概率分布函數(shù)、分別為變量、的一維概率密度函數(shù)、分別為變量、第二章 信源熵 )/()()/

2、()()()()/(),/(/)(/yxpypxypxpxypxypyxpxypYXYXYXXYyxxyFXYYXXYRXYYRXYXdxxypypdyxypxp)()()()(第二章 信源熵 第二章 信源熵 RdxxpxpRX1)()(:并滿足第二章 信源熵 (1)(1)( )( )a iiaiP aiXaip x dxp a 第二章 信源熵 2221112211000220()( ) log( )( ) log( )( ) log,0lim()lim( ) log( )lim(log)( )( )log( )lim(log)nnniiiiiiiinniiinnniibanH Xp ap a

3、p ap ap anH Xp ap ap ap xp x dxp 當時，若極限存在，即得連續(xù)信源的熵為220( )( )log( )lim(log)babanx dxp xp x dx 第二章 信源熵 RcdxxpxpXH)(log)()(2第二章 信源熵 )(loglog)(,0)(21211abdxXHaxbxbxaxpbaababcab則第二章 信源熵 第二章 信源熵 第二章 信源熵 dxdyxypxypXYHRc)(log)()(22dxdyyxpxypYXHdxdyxypxypXYHRcRc)/(log)()/()/(log)()/(2222第二章 信源熵 第二章 信源熵 )()()

4、()(log)(loglog)(log)()()()(0)()(2112121)(12)(1122111)(11111111NccciiNiNiiibabaNababbabaNNccNiiiNiiiabXHXHXHababdxdxdxdxxpxpXXXHXHabxabxxpNNNiiiNiiiNNNiii第二章 信源熵 第二章 信源熵 分布的連續(xù)信源。所代表的信源稱為高斯由這樣隨機變量率就是隨機變量的平均功時，當?shù)姆讲钍堑木凳荴dxxpxPmdxxpmxmXEXdxxxpXEmXmexpmx)(0)()()()()(22222221222)(2第二章 信源熵 第二章 信源熵 22212212

5、2212)(2)(22221222loglog2log)()(, 1)()(log()2log)(log)()(log)()(2222222)(2eeXHdxxpdxxpdxexpdxxpdxexpdxxpxpXHcmxmxcmx所以因為第二章 信源熵 第二章 信源熵 mdxxxpdxxpmedxxxpdxxpmdxexpdxxpxpXHmdxexdxxxpmXEXmxexpmemcmmmxmxmx其中為指數(shù)分布連續(xù)信源的熵的均值是00200log2012020101)(1)(log)()(loglog)()(log)()()()0()(2第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章

6、 信源熵 )()()/()()/()()(log)/(log)()(log)()/()(log)()(log)()(222222222xpdyxypXYHXHXYHdxdyxypxpdxdyxypxypdxdyxpxypdxdyxypxpxypdxdyxypxypXYHRcccRRRRRRc其中第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 NiiiNiiiabiiNiiiabxabxxpabbaXNiii11)(11)(0)()(),(1度函數(shù)為，其均勻分布的概率密第二章 信源熵 ),(),(),(log) 11 ()(loglog1)()(),(lnlogl

7、og1ln0log)()(log)(log)()(log)(),(1)(1)(21221)()(1)(122)()(1)()(2121)()()(12121111111111111111111XxpHXxqHXxpHeabedxdxxqdxdxxqXxqHzezzzzzdxdxxqdxdxxpxqdxdxxqdxdxxqxqXxqHdxdxxqdxdxxpcccNiiibabaNxqxpbabaNabcxqxpbabaNxqxpbabaNbabaNxpxpxqbabaNcbabaNbabaNNNNNNiiiNNNNNNNNNNNN即得，根據(jù)，顯然令的條件下在第二章 信源熵 NiiNiiicbb

8、bXxpH12122log)(log),(第二章 信源熵 第二章 信源熵 第二章 信源熵 222222222210)()()()()(1)(1)()()(222)(2PmmPmXEmXEXPdxxqxPdxxpxmdxxxqmdxxxpdxxqdxxpxqXexpmx時，平均功率當均值的方差隨機變量。由約束條件知數(shù)記為意分布時，概率密度函是高斯分布以外其它任當?shù)诙?信源熵 ( )122( )( )( )22( )22222 ( ),( )log( )( )log( )log( )( )logln10loglogln( )( )1()( )()( )( )lop xcq xp xp xq xH

9、 q xXq xq x dxq xdxq xp x dxq xdxzzzzezp x dxp x dxxmp x dxxm q x dxq x 由2()2222221222()21122222221222g( )( )log( )log( )loglog 2 ( ),log (2)(1 1)log ( ), ( ), ( ),x mx mccccp x dxq xedxq xdxq xdxeH q xXeeHp xXH q xXHp xX 所以第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 100002( )122( )( )00( )(0) ( ),( ) ( ),( )1(

10、 )1,( )( ) ( ),log ( ),( )log( )( )log(xmcmccp xcq xp xp xexHp xXq xH q xXp x dxq x dxxp x dxmxq x dx mHp xXmeH q xXq xq x dxq xdxq 其熵為記指數(shù)分布以外其它任意分布的概率密度函數(shù)為其熵為其中已知則( )22( )0022( )122( )00222002)log( )( )logloglogln ,ln10, ( ),( )log( )1loglog( )log( )(1 1) loglog ( ),xmp xq xp xcmq xxmcxp x dxq xdxz

11、ezzzzH q xXq xedxq xdxemq x dxeq x dxemeHp xX 由第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 ),(2log2log),(,),(,221221XxpHePPeXxpHPPXxpHPcPcPc則若相應的熵為成立使PeXxpHXxqHPPPcc2log),(),(,221P第二章 信源熵 PPPPPccqpPeePXxqHXxpHI221221221,log2log2log),(),(PPPqpI221,logPeXxpHXxqHcPc2log),(),(221第二章 信源熵 PPPN

12、NNqpPeePI22221221,log)2(log)2(log第二章 信源熵 第二章 信源熵 第二章 信源熵 第二章 信源熵 22222222( )2( / )22( )( )( / )( / )(/)()()log( / )( )log( )()log( / )()log( )()loglogloglnln10( )0( / )00ccRRRRp xp x yRp xp xp x yp x yHX YHXp xyp x y dxdyp xp x dxp xyp x y dxdyp xyp x dxdyp xydxdyzezzzzp xp x yz 根據(jù)、所以， 令222( )2( / )( )2( / )22,( )0(/)()()1loglog( ) ( / )1log( )( )()log