第6講-聯(lián)合熵與條件熵

1、第6講 聯(lián)合熵與條件熵信息熵H(X)反映了隨機變量X的取值不確定性。當(dāng)X是常量時，其信息熵最小，等于0；當(dāng)X有n個取值時，當(dāng)且僅當(dāng)這些取值的機會均等時，信息熵H(X)最大，等于logn比特。我們拓展信息熵H(X)的概念，考慮兩個隨機變量X和Y的聯(lián)合熵H(XY)和條件熵H(Y|X)。1. 聯(lián)合熵設(shè)X，Y是兩個隨機變量， 則(X,Y)是二維隨機變量，簡寫為XY。二維隨機變量XY的聯(lián)合概率分布記為p(xy)，即 根據(jù)信息熵的定義可知，XY的信息熵為 定義1.1 二維隨機變量XY的信息熵H(XY)稱為X與Y的聯(lián)合熵（joint entropy）。它反映了二維隨機變量XY的取值不確定性。我們把它理解為X

2、和Y取值的總的不確定性。練習(xí)： 假設(shè)有甲乙兩只箱子，每個箱子里都存放著100個球。甲里面有紅藍色球各50個，乙里面紅、藍色的球分別為99個和1個。試計算H(XY)我們將聯(lián)合熵概念推廣到任意多離散型隨機變量上。定義1.2 一組隨機變量的聯(lián)合熵定義為注：為了簡化記號，我們有時把記為XN，把記為xN。推薦精選物理意義：（1）是這一組隨機變量平均每一批取值所傳遞的信息量。（2）若N-維隨機變量表示某信源產(chǎn)生的任意一條長度為N的消息，則是平均每條長度為N的消息的信息量。因此，若該信源產(chǎn)生一個長度為N的消息，則在不知道其它條件的情況下，對該消息所含信息量的最優(yōu)估計為N-維信息熵。聯(lián)合熵的性質(zhì)：聯(lián)合熵熵函數(shù)

3、的一種特殊形式，所以熵函數(shù)的任何數(shù)學(xué)性質(zhì)都適用于聯(lián)合熵，包括：非負(fù)性、可加性、嚴(yán)格上凸性和最大離散熵原理，等等。當(dāng)然，聯(lián)合熵還有自己的特殊性質(zhì)。定理1.4（聯(lián)合熵的獨立界）其中等號成立的充要條件是所有隨機變量相互獨立。證明：這里僅證明，一般情形可類似證明。設(shè)對于XY的聯(lián)合分布為p(xy)，X和Y的概率分布簡記為p(x)，p(y)。由于我們有 注意，構(gòu)成一個概率分布。應(yīng)用信息不等式可得 其中等號成立的充要條件是，即X與Y相互獨立。 證畢2. 條件熵推薦精選條件自信息：對于任何取值x，是一個帶條件的隨機變量，其信息熵為 再對所有x求熵的平均值可得如下條件熵：定義2.1 設(shè)X,Y是兩個離散型隨機變量

4、，聯(lián)合分布為p(xy)。X相對于Y的條件熵H(X|Y)定義為條件自信息I(X|Y)的期望，即 物理意義：H(X|Y)表示在已知Y取值的前提下，X取值的不確定性，亦即X的每個取值平均所提供的與Y無關(guān)的信息量。定理2.2（條件熵非負(fù)性）對于任何離散型隨機變量X與Y，都有H(Y|X) 0，其中等號成立當(dāng)且僅當(dāng)Y是X的函數(shù)，即X的取值可確定Y的取值。證明 根據(jù)定義由于上述加式中各加項都0，所以該加式=0的充要條件是各加項=0，即對于任何x和y，p(y|x)=1或者p(y|x)=0，亦即對于任何x，P(Y|x)是退化分布。這表明當(dāng)X的取值確定時，Y的取值隨即確定，即Y是X的函數(shù)。 證畢 定理2.3（熵的

5、鏈法則）對于隨機變量序列X1,X2,和任何N1 簡記為 其中H1=H(X1)，H2=H( X2|X1)，HN=H(XN|X1X2 XN-1)。證明：首先根據(jù)定義直接可得 H(XY)= H(X)+H(Y|X) 推薦精選應(yīng)用上述等式，對N用歸納法可證明熵的鏈法則。細(xì)節(jié)略。 證畢意義：將多個隨機變量的聯(lián)合熵轉(zhuǎn)化為這些隨機變量的條件熵之和，可簡化計算。注：鏈法則與熵的可加性是等價的。思考：下列不等式是否成立，其中各等號成立的充要條件是什么？這個性質(zhì)說明什么？請讀者嘗試命名該性質(zhì)。 定理2.4（條件熵遞減性）對于任何隨機變量X和Y，有H(Y|X) H(Y)其中等號成立的充要條件是Y與X相互獨立。證明一：

6、根據(jù)鏈法則， H(XY)=H(X)+H(Y|X)再根據(jù)聯(lián)合熵的獨立界定理，立刻可得H(Y|X) H(Y)其中等號成立的充要條件是X與Y統(tǒng)計獨立。 證畢在條件熵中，條件越少，熵值越大。相反，條件越多，熵值越小。這可理解為，我們知道的越多，則事物的不確定性越小。證明二：應(yīng)用Jessen不等式證明。 證畢3. 計算公式令X，Y為離散的隨機變量。推薦精選公式1. 公式2. 其中P(X)是X的概率分布，為行向量，P(Y|X)是X到Y(jié)的條件概率矩陣，是條件概率矩陣中各個行分布的熵所組成的列向量。證明： 證畢例3.1 設(shè)且則記號：以后對于任何N，我們將N維隨機向量X1,X2,XN簡記為XN。注：上述條件熵概

7、念可以推廣到多個隨機變量熵，例如H(Y|X1X2 XN)推薦精選是在已知隨機向量X1,X2,XN取值的前提下，隨機變量Y的不確定性，亦即Y的每個取值可以提供的與X1,X2,XN取值無關(guān)的新信息量。練習(xí)3.2設(shè)p(xy)如下表所示。Y0 1011/3 01/3 1/3XX X試計算(1) H(XY)(2) H(X), H(Y) (3) H(X|Y), H(Y|X) 練習(xí)3.3 已知平均100人中有2人患有某種疾病，為了查明病情，必須進行某項指標(biāo)的化驗。這種化驗的結(jié)果對于有病的人總是陽性的，對于健康的人來說有一半可能為陽性、一半可能為陰性。若X表示一個人是否罹患這種疾病，Y表示其化驗結(jié)果是否為陽性

8、，試計算H(XY)。作業(yè)51. 范九倫等所著教材第38頁習(xí)題（三）推薦精選Y X0101/21/811/81/4設(shè)X和Y的聯(lián)合分布由下表給出：.試計算2. 設(shè)一個信源有6種信號，先后輸出的信號是獨立同分布的，其概率分布為 (1/2, 1/4, 1/8, 1/16, 1/32, 1/32)（1）該信源輸出1個符號所提供的平均信息量。（2）該信源輸出100個符號所提供的平均信息量。3. 在一段時間內(nèi)，某城市交通的忙閑天數(shù)按天氣陰晴和氣溫冷暖進行分類統(tǒng)計如下：晴忙陰暖 8天忙冷 27天暖 16天晴忙陰暖 15天閑冷 4天暖 12天冷 12天冷 8天（1） 計算交通忙閑狀態(tài)的無條件熵。（2） 計算天氣和氣溫狀態(tài)下的條件熵。（3） 計算從天氣和氣溫狀態(tài)所獲得的關(guān)于交通狀態(tài)的信息。4. 世界職業(yè)棒球錦標(biāo)賽為7場賽制，只要其中一隊贏得4場，比賽就結(jié)束。設(shè)隨機變量X代表在比賽中A隊和B隊較量的可能結(jié)果。X的可能取值為AAAA，BABABAB和BBBAAAA，其中A,B分別表示A隊和