第二章-信息論基本概念(1)

1、 第二章第二章 信息論的基本概念信息論的基本概念第一節(jié)第一節(jié) 信源的描述和分類信源的描述和分類第二節(jié)第二節(jié) 離散信源的信息論概念離散信源的信息論概念第三節(jié)第三節(jié) 離散信源的熵離散信源的熵1第一節(jié)第一節(jié) 信源的描述和分類信源的描述和分類一、香農(nóng)信息論的基本點一、香農(nóng)信息論的基本點 用隨機變量或隨機矢量來表示信源，運用概率論和用隨機變量或隨機矢量來表示信源，運用概率論和隨機過程的理論來研究信息。隨機過程的理論來研究信息。 二、信源的分類二、信源的分類 按照信源發(fā)出的消息在時間上和幅度上的分布情況按照信源發(fā)出的消息在時間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類可將信源分成離散信源和連

2、續(xù)信源兩大類 信源信源離散信源離散信源連續(xù)信源連續(xù)信源21.1. 連續(xù)信源連續(xù)信源 連續(xù)信源是連續(xù)信源是指發(fā)出在時間和幅度上都是連續(xù)分布的指發(fā)出在時間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語言、圖像、圖連續(xù)消息（模擬消息）的信源，如語言、圖像、圖形等都是連續(xù)消息。形等都是連續(xù)消息。 2.2. 離散信源離散信源 離散信源是離散信源是指發(fā)出在時間和幅度上都是離散分布的指發(fā)出在時間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號都是離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號都是離散消息。離散消息。 離散信源離散信源離散無記憶信源離散無記憶信源離散有記憶信源離散有記憶信源發(fā)出

3、單個符號的無記憶信源發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源發(fā)出符號序列的馬爾可夫信源3離散無記憶信源離散無記憶信源 離散無記憶信源離散無記憶信源所發(fā)出的各個符號是相互獨立的，發(fā)出所發(fā)出的各個符號是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。號的出現(xiàn)概率是它自身的先驗概率。 離散有記憶信源離散有記憶信源 離散有記憶信源離散有記憶信源所發(fā)出的各個符號的概率是有關(guān)聯(lián)的。所發(fā)出的各個符號的概率是有

4、關(guān)聯(lián)的。 發(fā)出單個符號的信源發(fā)出單個符號的信源 發(fā)出單個符號的信源發(fā)出單個符號的信源是指信源每次只發(fā)出一個符號代是指信源每次只發(fā)出一個符號代表一個消息；表一個消息； 發(fā)出符號序列的信源發(fā)出符號序列的信源 發(fā)出符號序列的信源發(fā)出符號序列的信源是指信源每次發(fā)出一組含二個以是指信源每次發(fā)出一組含二個以上符號的符號序列代表一個消息。上符號的符號序列代表一個消息。 4發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源 發(fā)出符號序列的有記憶信源發(fā)出符號序列的有記憶信源是指用信源發(fā)出的一個是指用信源發(fā)出的一個符號序列的整體概率（即聯(lián)合概率）反映有記憶信符號序列的整體概率（即聯(lián)合概率）反映有記憶信源的特征。源的

5、特征。 發(fā)出符號序列的馬爾可夫信源發(fā)出符號序列的馬爾可夫信源 發(fā)出符號序列的馬爾可夫信源發(fā)出符號序列的馬爾可夫信源是指某一個符號出是指某一個符號出現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不依賴更前面的那些符號，這樣的信源可以用信源依賴更前面的那些符號，這樣的信源可以用信源發(fā)出符號序列內(nèi)各個符號之間的條件概率來反映發(fā)出符號序列內(nèi)各個符號之間的條件概率來反映記憶特征。記憶特征。 5三、先驗概率及概率空間的形式三、先驗概率及概率空間的形式 一個離散信源發(fā)出的各個符號消息的集合為： ,21nxxxX它們的概率分別為： )(,),(),(21nxpxpxpP)(

6、ixp為符號ix的先驗概率先驗概率。1)(, 0)(1niiixpxpl 先驗概率先驗概率 一般信源可用一個概率空間概率空間來描述，信源的不確不確定程度定程度可用該概率空間的可能狀態(tài)數(shù)目可能狀態(tài)數(shù)目及其概率概率來描述。 狀態(tài)空間狀態(tài)空間 6)()()(2121nnxpxpxpxxxPXl 概率空間概率空間 狀態(tài)空間X中各狀態(tài) 相互獨立。 ixl 舉例（二進制信源）：舉例（二進制信源）：100.50.5XPl 信息論所關(guān)心的就是這種隨機變量的不確定性隨機變量的不確定性，驅(qū)使我們對隨機變量進行觀察和測量，從中獲取信息。7問題：問題：u什么叫自信息量？什么叫自信息量？u什么叫不確定度？什么叫不確定度

7、？ u什么叫互信息量？什么叫互信息量？u 什么叫平均自信息量？什么叫平均自信息量？u 什么叫條件熵？什么叫條件熵？u 什么叫聯(lián)合熵？什么叫聯(lián)合熵？u 聯(lián)合熵、條件熵和熵的關(guān)系是什么？聯(lián)合熵、條件熵和熵的關(guān)系是什么？u 熵的性質(zhì)有哪些？熵的性質(zhì)有哪些？u 什么叫平均互信息量？什么叫平均互信息量？u 什么叫信源熵？如何計算離散信源熵？什么叫信源熵？如何計算離散信源熵？第二節(jié)第二節(jié) 離散信源的信息論概念離散信源的信息論概念8（一）（一） 自信息量自信息量1. 信息量？信息量？2. 自信息量？自信息量？3. 不確定度？不確定度？4. 聯(lián)合自信息量？聯(lián)合自信息量？5. 條件自信息量？條件自信息量？本節(jié)的

8、重點內(nèi)容：本節(jié)的重點內(nèi)容：9 I I（信息量）不確定程度的減少量（信息量）不確定程度的減少量（一）（一） 自信息量自信息量1. 信息量信息量 定義：定義：一個隨機事件的自信息量定義為其出現(xiàn)概率一個隨機事件的自信息量定義為其出現(xiàn)概率對數(shù)的負(fù)值對數(shù)的負(fù)值: :2. 自信息量自信息量 即即收信者收到一個消息后，所獲得的信息量等于收到收信者收到一個消息后，所獲得的信息量等于收到信息前后信息前后不確定程度減少的量不確定程度減少的量。（舉例）。（舉例）10)(log)(iixpxIc c. . 因為概率因為概率 越小，越小， 的出現(xiàn)就越稀罕，一旦出的出現(xiàn)就越稀罕，一旦出現(xiàn)，所獲得的信息量也就較大。由于現(xiàn)，

9、所獲得的信息量也就較大。由于 是隨機出是隨機出現(xiàn)的，它是現(xiàn)的，它是X X的一個樣值，所以是一個隨機量。的一個樣值，所以是一個隨機量。而而 是是 的函數(shù)，它必須也是一個的函數(shù)，它必須也是一個隨機量隨機量。 )(ixpixix)(ixIix說明：說明：( )iI xa.a. 自信息量自信息量 是是非負(fù)非負(fù)的。的。b.b. 對于離散無記憶信源，符號串中各符號統(tǒng)計獨對于離散無記憶信源，符號串中各符號統(tǒng)計獨 立，立，符號串自信息量符號串自信息量具有可加性：具有可加性：log ( )iiIp x11d. 自信息量單位的確定自信息量單位的確定在信息論中常用的對數(shù)底是在信息論中常用的對數(shù)底是2，信息量的單位為

10、，信息量的單位為比特比特（bit），），用用log2或或lb表示；（表示；（ bit /符號符號）若取自然對數(shù)，則信息量的單位為奈特（若取自然對數(shù)，則信息量的單位為奈特（nat），用），用loge或或ln表示；（表示；（nat/符號）符號）若以若以10為對數(shù)底，則信息量的單位為哈脫萊為對數(shù)底，則信息量的單位為哈脫萊(Hartley)，用用log10或或lg表示；（表示；（hartley/符號）符號） 若對數(shù)底為若對數(shù)底為r，則信息量的單位為，則信息量的單位為r進制用單位進制用單位/符號。符號。 這三個信息量單位之間的轉(zhuǎn)換關(guān)系如下：這三個信息量單位之間的轉(zhuǎn)換關(guān)系如下： 1 natlog2e l.

11、433 bit， l Hartley log210 3.322 bit 12 定義：定義：隨機事件的隨機事件的不確定度不確定度在數(shù)量上等于它的在數(shù)量上等于它的自信息量自信息量 說明說明:a.兩者的單位相同，但含義卻不相同。兩者的單位相同，但含義卻不相同。b.具有某種概率分布的隨機事件不管發(fā)生與否，都存具有某種概率分布的隨機事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的特性，而自在不確定度，不確定度表征了該事件的特性，而自信息量是在該事件發(fā)生后給予觀察者的信息量。信息量是在該事件發(fā)生后給予觀察者的信息量。 3. 不確定度不確定度13 c. 一個出現(xiàn)概率接近于一個出現(xiàn)概率接近于1的隨機事

12、件，發(fā)生的可能的隨機事件，發(fā)生的可能性很大，所以它包含的不確定度就很?。恍院艽?，所以它包含的不確定度就很??； 反之，一個出現(xiàn)概率很小的隨機事件，很難猜測反之，一個出現(xiàn)概率很小的隨機事件，很難猜測在某個時刻它能否發(fā)生，所以它包含的不確定度在某個時刻它能否發(fā)生，所以它包含的不確定度就很大；就很大； 若是確定性事件，出現(xiàn)概率為若是確定性事件，出現(xiàn)概率為1，則它包含的不確，則它包含的不確定度為定度為0。14幾個關(guān)于自信息量的例子：幾個關(guān)于自信息量的例子：（1） 一個以等概率出現(xiàn)的二進制碼元（一個以等概率出現(xiàn)的二進制碼元（0，1）所包含）所包含的自信息量為：的自信息量為： I（0）= I（1）= - l

13、og2 （1/2）=log22=1 bit/符號符號 （2）若是一個若是一個m位的二進制數(shù)，因為該數(shù)的每一位可位的二進制數(shù)，因為該數(shù)的每一位可從從0, 1兩個數(shù)字中任取一個，因此有兩個數(shù)字中任取一個，因此有2m個等概率的可個等概率的可能組合。所以能組合。所以I= -log2(1/2m)=m bit/符號，就是需要符號，就是需要m比特的信息來指明這樣的二進制數(shù)。比特的信息來指明這樣的二進制數(shù)。 15（3）具有四個取值符號的隨機變量 各符號概率相等，均為1/4，各符號的自信息量：1234 ,Xx x x x12341()()()()2(/)4I xI xI xI xlbbit符號注：注：ubit的

14、含義是二進制數(shù)字（0、1），自信息量為2（bit/符號），意味著其不確定性可用2位二進制數(shù)字來度量（00、01、10、11）。u若取4為對數(shù)底，自信息量為1（四進制單位/符號），意味著其不確定性可用1位四進制數(shù)字來度量（0、1、2、3）。16（4）英文字母中英文字母中“e” 出現(xiàn)的概率為出現(xiàn)的概率為0.105，“c”出現(xiàn)的概出現(xiàn)的概率為率為0.023，“o”出現(xiàn)的概率為出現(xiàn)的概率為0.001。分別計算它們的。分別計算它們的自信息量。自信息量。解：解：“e”的自信息量的自信息量 I（e）= - lb0.105=3.25 （bit/符號）符號） “c”的自信息量的自信息量 I（c）= -lb0.0

15、23=5.44 （bit/符號）符號） “o”的自信息量的自信息量 I（o）= -lb 0.0019.97 （bit/符號）符號）17（5）某離散無記憶信源（某離散無記憶信源（DMS,Discrete Memoryless Source）的概）的概率空間為率空間為 信源發(fā)出消息信源發(fā)出消息202 120 130 213 001 203 210 110 321 010 021 032 011 223 210。 求該消息的自信息量以及消息中平均每符號的自信息量？求該消息的自信息量以及消息中平均每符號的自信息量？12340123p3/81/41/41/8xXxxxx18121( )log1.4153

16、/8I x2321()()log21/4I xI x41()log31/8I x解：解：信源符號的自信息量：信源符號的自信息量：單位都是單位都是 bit/符號符號 信源無記憶，發(fā)出的符號串中各符號信源無記憶，發(fā)出的符號串中各符號統(tǒng)計獨立統(tǒng)計獨立，由自信，由自信息量的可加性，符號串自信息量等于息量的可加性，符號串自信息量等于各符號自信息量之和各符號自信息量之和：123414 ()13 ()12 ()6 ()87.81(/)II xI xI xI xbit符號平均一個符號的自信息量：平均一個符號的自信息量：/ 4587.81 / 451.95(/)Ibit符 號19（6）同時拋擲一對質(zhì)地均勻的骰子

17、，每個骰子各面同時拋擲一對質(zhì)地均勻的骰子，每個骰子各面朝上的概率均為朝上的概率均為1/6，試求：，試求： (a)事件事件“3和和5同時發(fā)生同時發(fā)生”的自信息量？的自信息量？ (b)事件事件“兩個兩個1同時發(fā)生同時發(fā)生”的自信息量？的自信息量？ (c)事件事件“兩個點數(shù)中至少有一個是兩個點數(shù)中至少有一個是1”的自信息量？的自信息量？解解: (a) 存在兩種情況：甲存在兩種情況：甲3乙乙5，甲，甲5乙乙3。 P(A)=1/362=1/18，I(A)=-lbP(A)=4.17（bit）。）。 (b) 存在一種情況：甲存在一種情況：甲1乙乙1。 P(B)=1/36，I(B)=-lbP(B)=5.17（

18、bit）。）。 (c) P(C)=15/65/6=11/36，I(C)=-lbP(C)=1.17（bit）。）。20（7）在布袋中放入在布袋中放入81枚硬幣，它們的外形完全相同。枚硬幣，它們的外形完全相同。已知有一枚硬幣與其它已知有一枚硬幣與其它80枚硬幣重量不同，但不知枚硬幣重量不同，但不知這個硬幣比其它硬幣的重量是重還是輕。問確定隨這個硬幣比其它硬幣的重量是重還是輕。問確定隨意取出的一枚硬幣恰好是重量不同硬幣的所獲得的意取出的一枚硬幣恰好是重量不同硬幣的所獲得的信息量是多少？并進一步確定它比其它硬幣是重還信息量是多少？并進一步確定它比其它硬幣是重還是輕所需要的信息量是多少？是輕所需要的信息

19、量是多少？解解: (a) P(A)=1/81，I(A)=-lbP(A)=6.34（bit）。）。 (b) P(B)=1/2，PP(A)P(B)1/162; I=-lbP=7.34（bit）。）。21( ,)lb ( ,)ijijI x yp x y 4. 聯(lián)合自信息量聯(lián)合自信息量bit/二元符號二元符號隨機變量Z是兩個隨機變量X、Y的聯(lián)合，即Z=XY，其概率空間：,( ,), ( ,)|1,2,.,;1,2,.,XYijijXY Px yp x yiN jM11( ,)1,NMijijp x y概率空間完備）二元聯(lián)合符號的自信息量稱為聯(lián)合自信息量：同理，三元聯(lián)合符號的聯(lián)合自信息量：( ,)lb

20、 ( ,)ijkijkI x yzp x yz bit/三元符號三元符號22注意注意:a.當(dāng)當(dāng)(xi，yj)相互獨立時，有相互獨立時，有P(xi，yj)=P(xi)P(yj)，那么，那么就有就有 I(xi，yj)=I(xi)+I(yj)。b.(xi，yj) 所包含的不確定度在數(shù)值上也等于它們的所包含的不確定度在數(shù)值上也等于它們的自信息量。自信息量。 23定義：定義：注意注意: 在給定在給定yj條件下，隨機事件條件下，隨機事件xi所包含的不確定度在數(shù)值上所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。與條件自信息量相同，但兩者含義不同。 5. 條件自信息量條件自信息量(|)lb (|

21、)ijijI xyp xy bit/符號符號(|)ijp xy(|)jip yx聯(lián)合隨機變量聯(lián)合隨機變量,.2 , 1;.2 , 1| ),(MjNiyxXYji有兩種條件概率有兩種條件概率定義兩種條件自信息量：定義兩種條件自信息量：(|)lb (|)jijiI yxp yx bit/符號符號24條件自信息量的物理意義，要根據(jù)具體情況來做出相應(yīng)的解釋條件自信息量的物理意義，要根據(jù)具體情況來做出相應(yīng)的解釋 如果如果X是觀察輸入，是觀察輸入，Y是觀察輸出：是觀察輸出： 后驗概率后驗概率 在觀察到符號在觀察到符號yj的條件下的條件下xi還剩下的不確定性還剩下的不確定性 轉(zhuǎn)移概率轉(zhuǎn)移概率 代表輸入代表

22、輸入xi且觀察到且觀察到y(tǒng)j時干擾引入的不確定性時干擾引入的不確定性 (|)ijp xy(|)lb (|)ijijI xyp xy bit/符號符號(|)jip yx(|)lb (|)jijiI yxp yx bit/符號符號條件自信息量物理意義：條件自信息量物理意義：251. 甲在一個甲在一個88的方格棋盤上隨意放入一個棋子，在乙看來棋子落的方格棋盤上隨意放入一個棋子，在乙看來棋子落入的位置是不確定的。試問：入的位置是不確定的。試問：（1）在乙看來，棋子落入某方格的不確定性為多少？）在乙看來，棋子落入某方格的不確定性為多少？（2）若甲告知乙棋子落入方格的行號，這時，在乙看來棋）若甲告知乙棋子

23、落入方格的行號，這時，在乙看來棋子落入某方格的不確定性為多少？子落入某方格的不確定性為多少？|1,2,64lzl 解：解：將棋子方格從第一行開始按順序編號，得到一個序號集合將棋子方格從第一行開始按順序編號，得到一個序號集合|1,2,64lZzl棋子落入的方格位置可以用取值于序號集合的隨機變量棋子落入的方格位置可以用取值于序號集合的隨機變量Z來描述來描述幾個關(guān)于條件自信息量的例子：幾個關(guān)于條件自信息量的例子：261p( )1,2,6464lzl（1）由于棋子落入任一方格都是等可能的，則）由于棋子落入任一方格都是等可能的，則棋子落入某方格的不確定性就是自信息量棋子落入某方格的不確定性就是自信息量1

24、( )lbp( )lb664llI zz bit/符號符號1p(|)1,2,64;1,2,88lizxli(1,2,8)ix i (|)liI zxp(|)lizx（2）棋盤方格可分為）棋盤方格可分為8行行8列，已知行號列，已知行號后，棋子落入某方格的不確定性就是條件自信息量后，棋子落入某方格的不確定性就是條件自信息量 它與條件概率它與條件概率有關(guān)，由于有關(guān)，由于1(|)lbp(|)lb38liliI zxzx 故故 bit/符號符號27解：解：設(shè)設(shè)A表示表示“大學(xué)生大學(xué)生”這一事件，這一事件，B表示表示“身高身高1.6m以上以上”這一事件，則：這一事件，則： P(A)0.25； P(B)0.

25、5； P(B|A)=0.75;因此：因此： P(A|B)P(AB)/P(B)=P(A)P(B|A)/P(B)=0.750.25/0.5=0.375; I(A|B)-lbP(A|B)=1.42(bit)。2. 居住在某地區(qū)的女孩中有居住在某地區(qū)的女孩中有25是大學(xué)生，在女大學(xué)生是大學(xué)生，在女大學(xué)生中有中有75是身高是身高1.6m以上的，而女孩中身高以上的，而女孩中身高1.6m以上的占以上的占女生總數(shù)的一半。假如我們得知女生總數(shù)的一半。假如我們得知“身高身高1.6m以上的某女孩以上的某女孩是大學(xué)生是大學(xué)生”的消息，問獲得多少信息量？的消息，問獲得多少信息量？28（二）（二） 互信息量互信息量121

26、2,( )1(), (), ( ), ()()iniiinxxxxp xp xp xp xp xPXX設(shè)信源1212,()1(), (), (), ()( )jmjjjmyyyyp yp yp yp yp yPYY信宿信道信源X信宿Y291. 互信息量互信息量設(shè)觀察輸入為設(shè)觀察輸入為:ix （ i=1,2,.,N）設(shè)觀察結(jié)果為設(shè)觀察結(jié)果為:jy（ j=1,2,.,M） 從從y yj j中得到有關(guān)輸入符號中得到有關(guān)輸入符號x xi i的信息的信息稱為稱為xi與與yj之間的之間的互信息量互信息量（事件信息）（事件信息） （注意與聯(lián)合自信息量符號（注意與聯(lián)合自信息量符號標(biāo)志不同標(biāo)志不同 ）。）。(

27、;)ijI x y( ,)ijI x y信息先驗不確定性后驗不確定性信息先驗不確定性后驗不確定性xi在觀察到在觀察到y(tǒng)j前不確定性前不確定性 xi在觀察到在觀察到y(tǒng)j后不確定性后不確定性( ;)ijI x y(|)( ,)( ;)( )(|)( ) (|)( )( ) ()ijijijiijiijiijp xyp x yI x yI xI xylbp xlbp xylblbp xp x p y 30 (1) yj對對xi的互信息的互信息 I(xi;yj) I(xi;yj)= I(xi)-I(xi/yj) 含義含義互信息互信息I(xi;yj) =自信息自信息I(xi) - 條件自信息條件自信息I

28、(xi/yj)I(xi) -信宿信宿收到收到y(tǒng)j之前之前，對信源發(fā)，對信源發(fā)xi的不確定度的不確定度 I(xi/yj) -信宿信宿收到收到y(tǒng)j之后之后，對信源發(fā)，對信源發(fā)xi的不確定度的不確定度 I(xi;yj) -收到收到y(tǒng)j而得到而得到(關(guān)于關(guān)于xi )的的互信息互信息 =不確定度的減少量不確定度的減少量 p(xi) 先驗概率：信源發(fā)先驗概率：信源發(fā)xi的概率的概率 p(xi/yj)后驗概率：信宿收到后驗概率：信宿收到y(tǒng)j后，推測信源發(fā)后，推測信源發(fā)xi的概率的概率即互信息量為后驗概率與先驗概率比值的對數(shù)即互信息量為后驗概率與先驗概率比值的對數(shù) :31)()|(log);(2ijijixp

29、yxpyxI(2) xi對對yj的互信息的互信息 I(yj;xi)含義含義 信源發(fā)信源發(fā)xi前、后，信宿收到前、后，信宿收到y(tǒng)j的不確定度的減少的不確定度的減少(3) I(xi;yj) =I(xi) +I(yj) -I(xi，yj) 注意注意 I(xi;yj) 與與I(xi，yj) 不同！不同！2(/)(;)log()(/)()jijijjijp yxI yxI yI yxp y( ,)( ;)( ) ()( ) () ( ,)( )()( ,)ijijijijijijijp x yI x ylbp x p ylbp xlbp ylbp x yI xI yI x y 32 (4) 實在信息：實

30、在信息： 后驗概率后驗概率p(xi|yj)1，即收到，即收到y(tǒng)j時就能完全肯定此時的輸時就能完全肯定此時的輸入一定是入一定是xi ， xi的后驗不確定性完全消除。的后驗不確定性完全消除。(|)(|)0 (/)ijijI xylbp xybit 符號即從輸出結(jié)果中得到了輸入實有的全部信息即從輸出結(jié)果中得到了輸入實有的全部信息實在信息實在信息： ( ;)( )0( )ijiiI x yI xI x注意注意 a. 輸入的先驗不確定性輸入的先驗不確定性 在數(shù)值上等于自身含有的實在信息。在數(shù)值上等于自身含有的實在信息。 b. 信息與不確定性是兩個不同的物理概念，信息與不確定性是兩個不同的物理概念， 不是

31、信息，只是不是信息，只是不確定性，互信息量不確定性，互信息量 才是信息，把才是信息，把 當(dāng)作信息只是說明一種當(dāng)作信息只是說明一種數(shù)量上的相等關(guān)系。數(shù)量上的相等關(guān)系。 胡扯胡扯( )iI x( )iI x( ;)ijI x y( )iI x33 (4) 互信息量定義擴展：互信息量定義擴展： 符號符號xi與符號對與符號對yj zk之間的互信息量定義為之間的互信息量定義為34)()|(log);(2ikjikjixpzyxpzyxI2. 互信息的性質(zhì)（具體推導(dǎo)可見課本互信息的性質(zhì)（具體推導(dǎo)可見課本p24） (1) 對稱性對稱性I(xi ;yj) = I(yj ;xi) (2) X與與Y獨立時獨立時I

32、(xi ;yj) = 0 (3) I(xi;yj) 可為正、可為正、負(fù)負(fù)、0 當(dāng)事件當(dāng)事件xi 和和yj 統(tǒng)計獨立時，互信息量為零統(tǒng)計獨立時，互信息量為零;互信息量為正，互信息量為正，說明說明yj 的出現(xiàn)有助于減小的出現(xiàn)有助于減小xi 的不確定性；反之，互信息量為的不確定性；反之，互信息量為負(fù)說明負(fù)說明yj 的出現(xiàn)增大了的出現(xiàn)增大了xi 的不確定性（比如信道存在干擾）。的不確定性（比如信道存在干擾）。 (4)任何兩個事件之間的互信息量不可能大于其中任意事件的任何兩個事件之間的互信息量不可能大于其中任意事件的自信息量自信息量 I(xi)I(xi; yj) = I(yj; xi) I(yj)35I

33、(xi;yj) 可為正、負(fù)、可為正、負(fù)、0的舉例的舉例設(shè)設(shè)yj代表代表“閃電閃電”，則，則當(dāng)當(dāng)xi代表代表“打雷打雷”時，時，I(xi/yj) = 0，I(xi;yj) = I(xi) 0 當(dāng)當(dāng)xi代表代表“下雨下雨”時，時，I(xi/yj) I(xi)，I(xi;yj) 0當(dāng)當(dāng)xi代表代表“霧天霧天”時，時，I(xi/yj) = I(xi)，I(xi;yj) = 0當(dāng)當(dāng)xi代表代表“飛機正點起飛飛機正點起飛”時，時，I(xi/yj)I(xi)，I(xi;yj) 0 ( ;)( )(/)ijiijI x yI xI xy363. 條件互信息量條件互信息量給定給定zk條件下，條件下，xi 與與y

34、j間的互信息量是間的互信息量是另外，還存在另外，還存在xi 與與yjzk 之間的互信息量：之間的互信息量：2(/)( ;)log( )ijkijkip xy zI x y zp x37)|()|(log)|;(2kikjikjizxpzyxpzyxI( ;)( ;)( ;|)( ;)( ;|)ijkijikjijijkI x y zI x yI x z yI x yI x y z（該式推導(dǎo)見（該式推導(dǎo)見p25-26）由上述兩式得由上述兩式得說明：說明：一個聯(lián)合事件一個聯(lián)合事件yjzk 出現(xiàn)后提供的有關(guān)出現(xiàn)后提供的有關(guān)xi的信息的信息量量=zk事件出現(xiàn)后提供的有關(guān)事件出現(xiàn)后提供的有關(guān)xi的信息量

35、的信息量在給定在給定zk條件下再出現(xiàn)條件下再出現(xiàn)yj事件后所提供的有關(guān)事件后所提供的有關(guān)xi的信息量的信息量384. 關(guān)于互信息的例子關(guān)于互信息的例子 已知信源發(fā)出已知信源發(fā)出 兩種消息，且兩種消息，且 此消息在二進制對稱信道上傳輸，信道傳輸特性為此消息在二進制對稱信道上傳輸，信道傳輸特性為： 求互信息量求互信息量12,a a12()()0.5,P aP a11222112(|)(|)1,(|)(|)P baP baP baP ba1112( ;), ( ;)?I a bI a b解：解：根據(jù)根據(jù) 得到：得到：( )() (|)ijijjP bP a P b a12( )()0.5P bP b

36、11111112112212(|)( ;)( ;)2(1)( )(|)( ;)(;)(2 )()P b aI a bI b alblbP bP baI a bI b alblbP b39 一個布袋內(nèi)放一個布袋內(nèi)放100個球，其中個球，其中80個球是紅色的，個球是紅色的，20個球是個球是白色的，若隨機摸取一個球，猜測其顏色，求平均摸取一次白色的，若隨機摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。所能獲得的自信息量。 解解: 依據(jù)題意，這一隨機事件的概率空間為依據(jù)題意，這一隨機事件的概率空間為 2 . 08 . 021xxPX（三（三) ) 平均自信息量平均自信息量-熵熵40其中：其

37、中：x1表示摸出的球為紅球事件，表示摸出的球為紅球事件，x2表示摸出的表示摸出的 球是白球事件。球是白球事件。1)如果摸出的是紅球，則獲得的信息量是如果摸出的是紅球，則獲得的信息量是 I（x1）=-log2p（x1）=-lb0.8=0.322bit 2)如果摸出的是白球，則獲得的信息量是如果摸出的是白球，則獲得的信息量是 I（x2）= -log2p（x2）=-lb0.2=2.322bit3) 如果每次摸出一個球后又放回袋中，再進行下一次摸取。如果每次摸出一個球后又放回袋中，再進行下一次摸取。如此摸取如此摸取n次，則紅球出現(xiàn)的次數(shù)為次，則紅球出現(xiàn)的次數(shù)為np（x1）次，白球出）次，白球出現(xiàn)的次數(shù)

38、為現(xiàn)的次數(shù)為np（x2）次。隨機摸?。┐巍ｋS機摸取n次后總共所獲得的信次后總共所獲得的信息量為息量為 np（x1）I（x1）+np（x2）I（x2）41則平均隨機摸取一次所獲得的信息量為則平均隨機摸取一次所獲得的信息量為 H（X）= 1/nnp（x1）I（x1）+np（x2）I（x2） = -p（x1）log2p（x1）+p（x2）log2p（x2）212)(log)(iiixpxp= 0.722比特比特/次次說明：說明：1)1) 自信息量自信息量I（x1）和）和I（x2）只是表征信源中各個符號的不確）只是表征信源中各個符號的不確定度，一個信源總是包含著多個符號消息，各個符號消息又定度，一個信

39、源總是包含著多個符號消息，各個符號消息又按概率空間的先驗概率分布，因而各個符號的自信息量是一按概率空間的先驗概率分布，因而各個符號的自信息量是一個隨機變量，所以自信息量不能作為整個信源的信息測度個隨機變量，所以自信息量不能作為整個信源的信息測度。422)2)因為因為X中各符號中各符號xi的自信息量的自信息量I（xi）為非負(fù)值，）為非負(fù)值，p（xi）也）也是非負(fù)值，且是非負(fù)值，且0 0p(xi)1，故信源的平均自信息量，故信源的平均自信息量H（X）也）也是非負(fù)量。是非負(fù)量。定義定義：離散信源熵離散信源熵H(X)(平均不確定度平均不確定度/平均信息量平均信息量/平均自信平均自信 息量息量/信息熵信

40、息熵/熵熵)定義信源的平均不確定度定義信源的平均不確定度H(X)為信源中各個符號不確定度的為信源中各個符號不確定度的數(shù)學(xué)期望，即數(shù)學(xué)期望，即( ) ( )( ) ( )( )lb ( )iiiiiiiH XE I xp x I xp xp x 單位為比特單位為比特/符號或比特符號或比特/符號序列符號序列 3)3) 平均自信息量平均自信息量H H（X X）的定義公式與熱力學(xué)中熵的表示形的定義公式與熱力學(xué)中熵的表示形 式相同，所以又把式相同，所以又把H（X）稱為）稱為信源信源X X的熵的熵。熵是在平均意義。熵是在平均意義 上來表征信源的總體特性的，可以表征上來表征信源的總體特性的，可以表征信源的平

41、均不確定度信源的平均不確定度。 434)4)某一信源，不管它是否輸出符號，只要這些符號具有某某一信源，不管它是否輸出符號，只要這些符號具有某些概率特性，必有信源的熵值；這熵值是在總體平均上些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是一個確定值，一般寫成才有意義，因而是一個確定值，一般寫成H（X），），X是指隨機變量的整體（包括概率分布）。是指隨機變量的整體（包括概率分布）。5)5)信息量則只有當(dāng)信源輸出符號而被接收者收到后，才有信息量則只有當(dāng)信源輸出符號而被接收者收到后，才有意義，這就是給予接收者的信息度量，這值本身也可以意義，這就是給予接收者的信息度量，這值本身也可以是隨

42、機量，也可以與接收者的情況有關(guān)。是隨機量，也可以與接收者的情況有關(guān)。ixipiipp logiipp logx1)(xp6）當(dāng)某一符號當(dāng)某一符號 的概率的概率 為零時，為零時， 在熵公式中無意義，在熵公式中無意義，為此規(guī)定這時的為此規(guī)定這時的 也為零。當(dāng)信源也為零。當(dāng)信源X中只含一個符號中只含一個符號 時，時，必定有必定有 ，此時信源熵，此時信源熵H（X）為零。）為零。7）平均自信息量平均自信息量H（X）表示集）表示集X中事件出現(xiàn)的平均不確定性，中事件出現(xiàn)的平均不確定性，即在觀測之前，確定集即在觀測之前，確定集X中出現(xiàn)一個事件平均所需的信息量；中出現(xiàn)一個事件平均所需的信息量；或者說在觀測之后，

43、集或者說在觀測之后，集X 中出現(xiàn)一個事件平均給出的信息量。中出現(xiàn)一個事件平均給出的信息量。 44例：例：電視屏上約有電視屏上約有 500 600= 3 105個格點，按每點有個格點，按每點有 10個不同的灰度等級考慮，則共能組成個不同的灰度等級考慮，則共能組成 個不同個不同的畫面。按等概率的畫面。按等概率 計算，平均每個畫面可提供計算，平均每個畫面可提供的信息量為的信息量為 510321210log)(log)()(niiixpxpXH =3 105 3.32 比特比特/畫面畫面 53 1010n53 101/1045例：例：有一篇千字文章，假定每字可從萬字表中任選，則有一篇千字文章，假定每字

44、可從萬字表中任選，則共有不同的千字文共有不同的千字文 N=100001000=104000 篇篇 仍按等概率仍按等概率1/1/100001000計算，平均每篇千字文可提供的計算，平均每篇千字文可提供的信息量為信息量為 H H（X X）loglog2 2N N 4 4 10 103 3 3 332 32 1 13 3 10 104 4 比特千字文比特千字文 比較：比較： “一個電視畫面一個電視畫面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過平均提供的信息量遠(yuǎn)遠(yuǎn)超過“一篇千字文一篇千字文”提供的信息量。提供的信息量。 46例：例：設(shè)信源符號集設(shè)信源符號集X=x1,x2,x3，每個符號發(fā)生的概，每個符號發(fā)生的概率分別

45、為率分別為p（x1）=1/2，p（x2）l4，p（x3）14。 則信源熵為則信源熵為 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特比特/符號符號 47例：例：該信源該信源X輸出符號只有兩個，設(shè)為輸出符號只有兩個，設(shè)為0和和1。輸出符號發(fā)生的概率分別為輸出符號發(fā)生的概率分別為p和和q，pq=l。即信源的概率空間為即信源的概率空間為 qpPX10 則二元信源熵為則二元信源熵為 H（X）= -plbp-qlbq = -plbp-(1-p)lb(1-p) =H(p) 484900.10.20.30.40.50.60.70.80.9100.10.20.30.40.50.

46、60.70.80.91X: 0.5Y: 1pH(p)說明：說明： 信源信息熵信源信息熵H（X）是概率）是概率p的函數(shù)，通常用的函數(shù)，通常用H（p）表示。表示。p p取值于取值于0，1區(qū)間。區(qū)間。H（p）函數(shù)曲線如圖所）函數(shù)曲線如圖所示。從圖中看出，如果二元信源的輸出符號是確定示。從圖中看出，如果二元信源的輸出符號是確定的，即的，即p=1或或q=1，則該信源不提供任何信息。反之，則該信源不提供任何信息。反之，當(dāng)二元信源符號當(dāng)二元信源符號0和和1 1以等概率發(fā)生時，信源熵達(dá)到以等概率發(fā)生時，信源熵達(dá)到極大值，等于極大值，等于1比特信息量。比特信息量。 50幾個概念幾個概念定義：定義： 在給定在給定

47、yj條件下，條件下，xi的條件自信息量為的條件自信息量為I(xi/yj)，X 集合的條件熵集合的條件熵H（X/yj）為）為 H（X/yj）= 在給定在給定Y（即各個（即各個yj）條件下，）條件下，X集合的條件熵集合的條件熵 H(X/Y)定義為定義為 H（X/Y）= =)/()/(jiijiyxIyxpjijijijjjjyxIyxpypyXHyp,)/()/()()/()(,(,) (/)ijijijp xyIxy1.1. 條件條件熵熵51相應(yīng)地，在給定相應(yīng)地，在給定X（即各個（即各個xi）的條件下，）的條件下，Y集合的條件集合的條件熵熵H(Y/X)定義為定義為 H(Y/X)= ,() (/

48、)( ,)log (/ )ijjiijjii ji jp xy I yxp x yp yx【注意注意】： 條件熵是在聯(lián)合符號集合條件熵是在聯(lián)合符號集合XY上的上的條件自信息條件自信息量量的的聯(lián)合概率加權(quán)聯(lián)合概率加權(quán)統(tǒng)計平均值。統(tǒng)計平均值。 522. 聯(lián)合熵（共熵）聯(lián)合熵（共熵）定義：定義：聯(lián)合熵是聯(lián)合符號集合聯(lián)合熵是聯(lián)合符號集合 XY上的每個元素對上的每個元素對xiyj的的聯(lián)合自聯(lián)合自信息量信息量的的聯(lián)合概率聯(lián)合概率加權(quán)統(tǒng)計平均值。定義為加權(quán)統(tǒng)計平均值。定義為 H（XY）=【說明說明】表示表示X和和Y同時發(fā)生的平均不確定度。同時發(fā)生的平均不確定度。 ,( ,) ( ,)( ,)log ( ,)

49、ijijijiji ji jp x y I x yp x yp x y53 聯(lián)合熵聯(lián)合熵H（XY）與熵）與熵H（X）及條件熵）及條件熵H（X/Y）之間存在下列關(guān)系之間存在下列關(guān)系 ： 1） H（XY）H（X）H（YX） H（XY）H（Y）H（XY） 2） H（XY） H（X） H（YX） H（Y） 即即H（XY） H（X） H（Y）（當(dāng)（當(dāng)X與與Y相互獨立時，等號成立！共熵得到最大值?。┫嗷オ毩r，等號成立！共熵得到最大值?。咀⒆ⅰ可鲜奖砻鳎瑥钠骄饬x上講，條件熵在一般情形下上式表明，從平均意義上講，條件熵在一般情形下 總是小于無條件熵。從直觀上說，由于事物總是聯(lián)總是小于無條件熵。從直觀上說

50、，由于事物總是聯(lián) 系的，因此對隨機變量系的，因此對隨機變量X的了解平均講總能使的了解平均講總能使Y的不的不 確定性減少。同樣，對確定性減少。同樣，對Y的了解也會減少的了解也會減少X的不確的不確 定性。定性。541) 證明證明: ( ,)( ) (/)() (/)ijijijijp x yp x p yxp yp xy,(,) () (/) ()(/)()ijijii ji jijiijiip x yp xp yxp xp yxp x,( ,)()ijji jjp x yp y同理同理: 55所以所以,( ,)log() (/)ijijii jp x yp x p yx ,(,)log(/)ij

51、jii jp xyp yx)(log)(iiixpxp,( ,)log ( )ijii jp x yp x ,( ,)log (/)ijjii jp x yp yx)/()(XYHXH,()( ,) ( ,)( ,)log ( ,)ijijijiji ji jH XYp x y I x yp x yp x y56 同理：同理：,()( ,) ( ,)( ,)log ( ,)ijijijiji ji jH XYp x y I x yp x yp x y,( ,)log () ( /)ijjiji jp x yp y p xy)(log)(jjjypyp,(,)log(/)ijiji jp xyp xy)/()(YXHYH,( ,)log ()( ,)log (/)ijjijiji ji jp x yp yp x yp xy2）的證明見課本）的證明見課本p29（略）（略）57三維聯(lián)合符號集合三維聯(lián)合符號集合XYZ上的共熵上的共熵H(XYZ):存在下列關(guān)系存在下列關(guān)系 ： 1） H（XYZ）H（XY）H（ZXY） H（X）H（Y X ）H（ZXY） 2） H（XYZ） H（X） H（Y） H（Z） （當(dāng)（當(dāng)X、Y、Z相互獨立時，等號成立?。┫嗷オ毩r，等號成立?。?3） H（ZX