微分熵與平均互信息.ppt

第8章 微分熵與平均互信息,信息如何度量？,8.1 微分熵,1、單符號連續(xù)信源,定義,信源發(fā)出的消息為單一符號，這些符號隨機取值于一個連續(xù)域,表示,連續(xù)型隨機變量X,隨機變量X的取值x為信源發(fā)出的消息,例1,例2,概率密度函數(shù)p(x)如圖所示,2、熵與微分熵,x落在第i個區(qū)域的概率,根據(jù)中值定理,熵,微分熵,消息x所對應概率密度函數(shù)p(x)對數(shù)負值的數(shù)學期望，用h(X)表示,定義,表示,微分熵不能作為連續(xù)信源的信息度量,定義微分熵的目的,微分熵差具有信息度量的意義 連續(xù)信源的微分熵與離散信源的熵在形式上統(tǒng)一,均勻信源的微分熵,例3,高斯信源的微分熵,例4,不具有非負性,例如，當b-a1時，均勻分布信源的微分熵, 嚴格上凸性,3、微分熵的主要性質(zhì)和最大微分熵定理,平均功率受限下的最大微分熵定理,連續(xù)信源一般討論特定限制條件下的最大微分熵,最常用的限制條件平均功率受限均值為0且方差受限,設p(x)是任意概率密度函數(shù)，但,8.2 聯(lián)合微分熵與條件微分熵,信源發(fā)出的消息為有限或可數(shù)的符號序列，符號序列中任何時刻的符號都隨機取值于同一個連續(xù)域,1、多符號連續(xù)信源,定義,表示,連續(xù)型隨機變量序列X1X2Xn,例1,例2,2、聯(lián)合微分熵與條件微分熵,聯(lián)合微分熵消息x1x2xn所對應聯(lián)合概率密度函數(shù)p(x1x2xn)對數(shù)負值的數(shù)學期望，用h(X1X2Xn)表示,定義,表示,條件微分熵消息x1x2xn所對應條件概率密度函數(shù)p(xk/x1xk-1)對數(shù)負值的數(shù)學期望，用h(Xk/X1Xk-1)表示 其中1kn,定義,表示,3、微分熵的鏈式法則,4、聯(lián)合微分熵的界,8.3 平均互信息,1、單符號連續(xù)信道,定義,對應于單符號連續(xù)信源和單符號連續(xù)信宿的信道,表示,信源連續(xù)型隨機變量X 信宿連續(xù)型隨機變量Y,隨機變量X的取值x為信源發(fā)出的消息,隨機變量Y的取值y為信宿收到的消息,p(y/x)為信道轉(zhuǎn)移概率密度函數(shù),2、噪聲熵與噪聲微分熵,x落在第i個區(qū)域基礎上信道轉(zhuǎn)移概率密度函數(shù)p(y/xi)如圖所示 i=1,2, ,N,y/xi落在第j個區(qū)域的信道轉(zhuǎn)移概率,根據(jù)中值定理,噪聲熵,噪聲微分熵,信源消息x信宿消息y所對應信道轉(zhuǎn)移概率密度函數(shù)p(y/x)對數(shù)負值的數(shù)學期望，用h(Y/X)表示,定義,表示,3、平均互信息,信宿消息y所對應概率密度函數(shù)p(y)與信源消息x信宿消息y所對應信道轉(zhuǎn)移概率密度函數(shù)p(y/x)比值對數(shù)負值的數(shù)學期望，用I(X;Y)表示,定義,表示,微分熵不能作為信息度量，平均互信息微分熵差，具有信息度量的意義,以信宿為參考，利用信宿的微分熵和信道的噪聲微分熵來度量信道中傳輸?shù)钠骄畔⒘?以信源為參考，利用信源的微分熵和信道的損失微分熵來度量信道中傳輸?shù)钠骄畔⒘?4、平均互信息的主要性質(zhì), 對稱性, 非負性, 嚴格凸性,信道固定時，I(X;Y)對于信源概率密度函數(shù)p(x)嚴格上凸 信源固定時，I(X;Y)對于信道轉(zhuǎn)移概率密度函數(shù)p(y/x)嚴格下凸,8.4 聯(lián)合平均互信息與條件平均互信息,1、多符號連續(xù)信道,定義,對應于多符號連續(xù)信源和多符號連續(xù)信宿的信道,表示,信源連續(xù)型隨機變量序列X1X2Xn 信宿連續(xù)型隨機變量序列Y1Y2Yn,p(y1y2yn/x1