微分熵與平均互信息ppt課件

1、微分熵與平均互信息微分熵與平均互信息第第8章章 微分熵與平均互信息微分熵與平均互信息信息如何度量？信息如何度量？微分熵與平均互信息微分熵與平均互信息8.1 微分熵微分熵1、單符號延續(xù)信源、單符號延續(xù)信源定義定義信源發(fā)出的音訊為單一符號，這些符號隨機取值信源發(fā)出的音訊為單一符號，這些符號隨機取值于一個延續(xù)域于一個延續(xù)域表示表示延續(xù)型隨機變量延續(xù)型隨機變量X微分熵與平均互信息微分熵與平均互信息)x(p)xX(pdX)xX(dPb, a xX隨機變量隨機變量X的取值的取值x為信源發(fā)出的音訊為信源發(fā)出的音訊 )x(pb,ax)X(pX1dx)x(pba其中微分熵與平均互信息微分熵與平均互信息)ab/(

2、1b, a x)X(pX例例1222)x(2e21),(x)X(pX例例2微分熵與平均互信息微分熵與平均互信息概率密度函數(shù)概率密度函數(shù)p(x)如下圖如下圖2、熵與微分熵、熵與微分熵Nabxp(x)xbaa+(i-1)xa+ix微分熵與平均互信息微分熵與平均互信息ix)x(pix落在第落在第i個區(qū)域的概率個區(qū)域的概率N, 2 , 1idx)x(pxiaxx) 1i (a Pxiax) 1i (aN, 2 , 1ix)x( pdx)x( pixiax) 1i (a根據(jù)中值定理根據(jù)中值定理Nabxp(x)xbaa+(i-1)xa+ix微分熵與平均互信息微分熵與平均互信息N1ii0 xNN1iii0

3、xNN1iii0 xNxlogx)x(plim)x(plogx)x(plim x)x(plogx)x(plim)X(Hxloglimdx)x(plog)x(pdx)x(pxloglimdx)x(plog)x(p0 xNbaba0 xNba熵熵微分熵與平均互信息微分熵與平均互信息微分熵微分熵音訊音訊x所對應(yīng)概率密度函數(shù)所對應(yīng)概率密度函數(shù)p(x)對數(shù)負值的數(shù)學(xué)期對數(shù)負值的數(shù)學(xué)期望，用望，用h(X)表示表示定義定義badx)x( plog)x( p)X(h表示表示微分熵與平均互信息微分熵與平均互信息微分熵不能作為延續(xù)信源的信息度量微分熵不能作為延續(xù)信源的信息度量定義微分熵的目的定義微分熵的目的微分熵

4、差具有信息度量的意義微分熵差具有信息度量的意義延續(xù)信源的微分熵與離散信源的熵在方式延續(xù)信源的微分熵與離散信源的熵在方式上一致上一致微分熵與平均互信息微分熵與平均互信息均勻信源的微分熵均勻信源的微分熵dx)x( plog)x( p)X(hba)ablog(dx)x(pab1logdxab1log)x(pbaba例例3)ab/(1b, a x)X(pX微分熵與平均互信息微分熵與平均互信息高斯信源的微分熵高斯信源的微分熵dx)x(xpXE其中dx)x( p)x()X(E222例例4222)x(2e21),(x)X(pX微分熵與平均互信息微分熵與平均互信息dxelog)x(pdx21log)x(pdx

5、e21log)x(p 22222)x(22)x(2)e2log(212elog2logdx)x(p)x(2elogdx)x(p21log22222dx)x(plog)x(p)X(h微分熵與平均互信息微分熵與平均互信息不具有非負性不具有非負性例如，當例如，當b-a1時，均勻分布信源的微分熵時，均勻分布信源的微分熵0) ablog()X(h 嚴厲上凸性嚴厲上凸性3、微分熵的主要性質(zhì)和最大微分熵定理、微分熵的主要性質(zhì)和最大微分熵定理baba2211ba2121dx)x(plog)x(p)1 (dx)x(plog)x(pdx)x(p)1 ()x(plog)x(p)1 ()x(p微分熵與平均互信息微分熵

6、與平均互信息平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理延續(xù)信源普通討論特定限制條件下的最大微分熵延續(xù)信源普通討論特定限制條件下的最大微分熵最常用的限制條件最常用的限制條件平均功率受限平均功率受限均值為均值為0且方差受限且方差受限)eP2log(21)X(hP0Pmax2最大微分熵信源具有最大微分熵，的高斯、方差，均值平均功率被限定為微分熵與平均互信息微分熵與平均互信息設(shè)設(shè)p(x)是恣意概率密度函數(shù)，但是恣意概率密度函數(shù)，但0dx)x(xpPdx)x(px22dx)x( plog)x( p)X(hdxee22)x( plog)x( p22222x2x22微分熵與平均互信息微分熵

7、與平均互信息dxe2)x( p1log)x( pdxe21log)x( p22222x22x2dx 1e2)x(p1)x(p)e2log(21222x22max22x22)X(h)eP2log(21)e2log(21dx)x(pdxe21)e2log(2122微分熵與平均互信息微分熵與平均互信息222x2e21)x(p當)eP2log(21)e2log(21)X(h)X(h2max微分熵與平均互信息微分熵與平均互信息8.2 結(jié)合微分熵與條件微分熵結(jié)合微分熵與條件微分熵信源發(fā)出的音訊為有限或可數(shù)的符號序列，符號信源發(fā)出的音訊為有限或可數(shù)的符號序列，符號序列中任何時辰的符號都隨機取值于同一個延續(xù)序

8、列中任何時辰的符號都隨機取值于同一個延續(xù)域域1、多符號延續(xù)信源、多符號延續(xù)信源定義定義表示表示延續(xù)型隨機變量序列延續(xù)型隨機變量序列X1X2Xn微分熵與平均互信息微分熵與平均互信息為信源發(fā)出的消息的取值隨機變量序列n21n21xxxXXX)xxx(pn, 2 , 1kb, a xxxx)XXX(pXXXn21kn21n21N21，1dxdxdx)xxx(pbababan21n21 其中)xxx( p)xxxXXX( pXXdX)xxxXXX(dPn, 2 , 1kb, a xxxxXXXn21n21n21n21n21n21kn21n21，微分熵與平均互信息微分熵與平均互信息nkn21n21n21

9、) ab/(1n, 2 , 1k b, a xxxx)XXX( pXXX，例例1)x()x)(x(2)x()1 (21221k21212122222212211212112e1212 , 1k),(xxx)XX(pXX，例例2微分熵與平均互信息微分熵與平均互信息2、結(jié)合微分熵與條件微分熵、結(jié)合微分熵與條件微分熵結(jié)合微分熵結(jié)合微分熵音訊音訊x1x2xn所對應(yīng)結(jié)合概率密所對應(yīng)結(jié)合概率密度函數(shù)度函數(shù)p(x1x2xn)對數(shù)負值的數(shù)學(xué)期望，用對數(shù)負值的數(shù)學(xué)期望，用h(X1X2Xn)表示表示定義定義 bababan21n21n21n21dxdxdx)xxx( plog)xxx( p)XXX( h表示表示微

10、分熵與平均互信息微分熵與平均互信息條件微分熵條件微分熵音訊音訊x1x2xn所對應(yīng)條件概率密所對應(yīng)條件概率密度函數(shù)度函數(shù)p(xk/x1xk-1)對數(shù)負值的數(shù)學(xué)期望，用對數(shù)負值的數(shù)學(xué)期望，用h(Xk/X1Xk-1)表示表示其中其中1kn定義定義表示表示 bababa321213321213baba21122112dxdxdx)xx/x( plog)xxx( p)XX/X(hdxdx)x/x( plog)xx( p)X/X(h微分熵與平均互信息微分熵與平均互信息 bababan211n1nn211n1ndxdxdx)xx/x(Plog)xxx( p)XX/X( h微分熵與平均互信息微分熵與平均互信息

11、3、微分熵的鏈式法那么、微分熵的鏈式法那么 bababan21n21n21n21dxdxdx)xxx( plog)xxx( p)XXX(h bababan211n1nn21bababan2112n21bababan211n21dxdxdx)xx/x(plog)xxx(pdxdxdx)x/x(plog)xxx(pdxdxdx)x(plog)xxx(p微分熵與平均互信息微分熵與平均互信息 bababan211n1nn21baba211221ba111dxdxdx)xx/x( plog)xxx( pdxdx)x/x( plog)xx( pdx)x( plog)x( p)XX/X(h)X/X(h)X(

12、h1n1n121微分熵與平均互信息微分熵與平均互信息4、結(jié)合微分熵的界、結(jié)合微分熵的界)X(h)X/X(h)XX/X(h)X(h)X/X(h)XX/X(h)X(h)X/X(hn1nn1n1n323213212n1kk1n1n121n21)X(h)XX/X(h)X/X(h)X(h)XXX(h微分熵與平均互信息微分熵與平均互信息8.3 平均互信息平均互信息1、單符號延續(xù)信道、單符號延續(xù)信道定義定義對應(yīng)于單符號延續(xù)信源和單符號延續(xù)信宿的信道對應(yīng)于單符號延續(xù)信源和單符號延續(xù)信宿的信道表示表示信源信源延續(xù)型隨機變量延續(xù)型隨機變量X信宿信宿延續(xù)型隨機變量延續(xù)型隨機變量Y微分熵與平均互信息微分熵與平均互信息

13、隨機變量隨機變量X的取值的取值x為信源發(fā)出的音訊為信源發(fā)出的音訊隨機變量隨機變量Y的取值的取值y為信宿收到的音訊為信宿收到的音訊Xp(y/x)Y)x(p)xX(pdX)xX(dPb, a xX)y(p)yY(pdY)yY(dPb, a d, c d, c yY通常微分熵與平均互信息微分熵與平均互信息p(y/x)為信道轉(zhuǎn)移概率密度函數(shù)為信道轉(zhuǎn)移概率密度函數(shù)1dy)x/y(pdc其中微分熵與平均互信息微分熵與平均互信息2、噪聲熵與噪聲微分熵、噪聲熵與噪聲微分熵Mcdyp(y/xi)ydcc+(j-1)yc+jyx落在第落在第i個區(qū)域根底上信道轉(zhuǎn)移概率密度函數(shù)個區(qū)域根底上信道轉(zhuǎn)移概率密度函數(shù)p(y/

14、xi)如下圖如下圖 i=1,2, ,N微分熵與平均互信息微分熵與平均互信息Mcdyp(y/xi)ydcc+(j-1)yc+jyjy)x/y( pijy/xi落在第落在第j個區(qū)域的信道轉(zhuǎn)移概率個區(qū)域的信道轉(zhuǎn)移概率M, 2 , 1jdy)x/y( p yjcx/yy) 1j (c Pyjcy) 1j (ciiM, 2 , 1jy)x/y( pdy)x/y( pijyjcy) 1j (ci根據(jù)中值定理根據(jù)中值定理微分熵與平均互信息微分熵與平均互信息噪聲熵噪聲熵 y)x/y( plogyx)yx( plim)X/Y(HM1jN1iijji0y, xM,NM1jN1iji0y, xM,NM1jN1iij

15、ji0y, xM,Nylogyx)yx(plim)x/y(plogyx)yx(plim dcba0yMdcbadxdy)xy(pyloglimdxdy)x/y(plog)xy(p微分熵與平均互信息微分熵與平均互信息 yloglimdxdy)x/y(plog)xy(p0yMdcba微分熵與平均互信息微分熵與平均互信息噪聲微分熵噪聲微分熵信源音訊信源音訊x信宿音訊信宿音訊y所對應(yīng)信道轉(zhuǎn)移概率密度函所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù)數(shù)p(y/x)對數(shù)負值的數(shù)學(xué)期望，用對數(shù)負值的數(shù)學(xué)期望，用h(Y/X)表示表示定義定義 dcbadxdy)x/y( plog)xy( p)X/Y(h表示表示微分熵與平均互信息微分

16、熵與平均互信息3、平均互信息、平均互信息信宿音訊信宿音訊y所對應(yīng)概率密度函數(shù)所對應(yīng)概率密度函數(shù)p(y)與信源音訊與信源音訊x信宿音訊信宿音訊y所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù)所對應(yīng)信道轉(zhuǎn)移概率密度函數(shù)p(y/x)比比值對數(shù)負值的數(shù)學(xué)期望，用值對數(shù)負值的數(shù)學(xué)期望，用I(X;Y)表示表示定義定義表示表示 dcbadcbadcbadxdy)x/y( plog)xy( pdxdy) y( plog)xy( pdxdy)x/y( p) y( plog)xy( p)Y;X( I微分熵與平均互信息微分熵與平均互信息)X/Y(h)Y(hdxdy)x/y( plog)xy( pdy) y( plog) y( pdcb

17、adc 微分熵與平均互信息微分熵與平均互信息)X/Y(H)Y(H)Y;X( I)X/Y(h)Y(hyloglim)X/Y(hyloglim)Y(h0yM0yM微分熵不能作為信息度量，平均互信息微分熵不能作為信息度量，平均互信息微分熵微分熵差，具有信息度量的意義差，具有信息度量的意義以信宿為參考，利用信宿的微分熵和信道的以信宿為參考，利用信宿的微分熵和信道的噪聲微分熵來度量信道中傳輸?shù)钠骄畔⒘吭肼曃⒎朱貋矶攘啃诺乐袀鬏數(shù)钠骄畔⒘恳孕旁礊閰⒖?，利用信源的微分熵和信道的以信源為參考，利用信源的微分熵和信道的損失微分熵來度量信道中傳輸?shù)钠骄畔⒘繐p失微分熵來度量信道中傳輸?shù)钠骄畔⒘课⒎朱嘏c平均互

18、信息微分熵與平均互信息4、平均互信息的主要性質(zhì)、平均互信息的主要性質(zhì) 對稱性對稱性)X;Y( I)Y;X( I 非負性非負性0)Y;X( I)Y(h)X/Y(h dcbadcbadcdcbadxdy)y(plog)xy(pdxdy)x/y(plog)xy(pdy)y(plog)y(pdxdy)x/y(plog)xy(p微分熵與平均互信息微分熵與平均互信息 dcbadxdy)x/y( p) y( plog)xy( p dcbadxdy 1)x/y(p)y(p)xy(p0dxdy)xy(pdxdy)y(p)x(pdcbadcba 0)X/Y(h)Y(h)Y;X( I微分熵與平均互信息微分熵與平均互

19、信息 嚴厲凸性嚴厲凸性信道固定時，信道固定時，I(X;Y)對于信源概率密度函數(shù)對于信源概率密度函數(shù)p(x)嚴厲上凸嚴厲上凸信源固定時，信源固定時，I(X;Y)對于信道轉(zhuǎn)移概率密度對于信道轉(zhuǎn)移概率密度函數(shù)函數(shù)p(y/x)嚴厲下凸嚴厲下凸微分熵與平均互信息微分熵與平均互信息8.4 結(jié)合平均互信息與條件平均互信息結(jié)合平均互信息與條件平均互信息1、多符號延續(xù)信道、多符號延續(xù)信道定義定義對應(yīng)于多符號延續(xù)信源和多符號延續(xù)信宿的信道對應(yīng)于多符號延續(xù)信源和多符號延續(xù)信宿的信道表示表示信源信源延續(xù)型隨機變量序列延續(xù)型隨機變量序列X1X2Xn信宿信宿延續(xù)型隨機變量序列延續(xù)型隨機變量序列Y1Y2Yn微分熵與平均互信

20、息微分熵與平均互信息)xxx( p)xxxXXX( pXXdX)xxxXXX(dPn, 2 , 1kb, a xxxxXXXn21n21n21n21n21n21kn21n21，為信源發(fā)出的消息的取值隨機變量序列n21n21xxxXXX)yyy( p)yyyYYY( pYYdY)yyyYYY(dP b, a d, c n, 2 , 1kd, c yyyyYYYn21n21n21n21n21n21kn21n21通常，微分熵與平均互信息微分熵與平均互信息為信宿收到的消息的取值隨機變量序列n21n21yyyYYYX1X2Xnp(y1y2yn/x1x2xn)Y1Y2Ynp(y1y2yn/x1x2xn)為

21、信道轉(zhuǎn)移概率密度函數(shù)為信道轉(zhuǎn)移概率密度函數(shù)1dydydy)xxx/yyy( pdcn21n21n21dcdc 其中微分熵與平均互信息微分熵與平均互信息2、結(jié)合平均互信息與條件平均互信息、結(jié)合平均互信息與條件平均互信息定義定義表示負值的數(shù)學(xué)期望，用之比對數(shù)數(shù)的聯(lián)合轉(zhuǎn)移概率密度函信宿消息與信源消息函數(shù)的聯(lián)合概率密度信宿消息聯(lián)合平均互信息)YYY;XXX( I)xxx/yyy(pyyyxxx)yyy(pyyyn21n21n21n21n21n21n21n21微分熵與平均互信息微分熵與平均互信息表示表示 dcn21n21n21n21n21n21n21badcdcbaban21n21dydydydxdxd

22、x)xxx/yyy( p)yyy( plog)yyyxxx( p)YYY;XXX( I dcn21n21n21n21n21n21badcdcbabadcn21n21n21n21n21badcdcbabadydydydxdxdx)xxx/yyy( plog)yyyxxx( pdydydydxdxdx)yyy( plog)yyyxxx( p)XXX/YYY(h)YYY(hdydydydxdxdx)xxx/yyy( plog)yyyxxx( pdydydy)yyy( plog)yyy( pn21n21n21dcn21n21n21n21n21n21badcdcbabadcn21n21n21dcdc 微

23、分熵與平均互信息微分熵與平均互信息定義定義nLk1)YYXX/Y;X( I)yyxxx/y(pyyyxxx)yyxx/y(pyyy1L11k1Lk1 -L1k1 -k1Ln21n211 -L11 -k1Ln21表示望，用之比對數(shù)負值的數(shù)學(xué)期數(shù)的條件轉(zhuǎn)移概率密度函信宿消息與信源消息函數(shù)的條件概率密度信宿消息條件平均互信息微分熵與平均互信息微分熵與平均互信息表示表示)YX/Y(h)Y/Y(hdydydx)yx/y( plog)yyx( pdydydx)y/y( plog)yyx( p)Y/Y;X( I11212badcdc211112211badcdc21112211121 )YYX/Y(h)YY

24、/Y(hdydydydx)yyx/y( plog)yyyx( pdydydydx)yy/y( plog)yyyx( p)YY/Y;X( I1n11n1n1ndcn2111n11nn211badcdcdcn2111n1nn211badcdc1n1n1 微分熵與平均互信息微分熵與平均互信息)YXX/Y(h)YX/Y(hdydydxdx)yxx/y( plog)yyxx( pdydydxdx)yx/y( plog)yyxx( p)YX/Y;X( I1212112babadcdc212112122121babadcdc212111221211122 )YYXX/Y(h)YYX/Y(hdydydydxdx)yyxx/y( plog)yyyxx( pdydydydxdx)yyx/y( plog)yyyxx( p)YYX/Y;X( I1n121n1n11nbadcn21211n121nn2121badcdcbadcn21211n11nn2121badcd