信息論與編碼,曹雪虹,課件第2章-3.ppt

1、信源與信息熵,第二章,2,2.1 信源的描述和分類(lèi) 2.2 離散信源熵和互信息 2.3 離散序列信源的熵 2.4 連續(xù)信源的熵和互信 2.5 冗余度,內(nèi)容,3,2.2 離散信源熵和互信息,4,離散信源熵和互信息,問(wèn)題： 什么叫不確定度？ 什么叫自信息量？ 什么叫平均不確定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫條件熵？ 什么叫聯(lián)合熵？ 聯(lián)合熵、條件熵和熵的關(guān)系是什么？,5,離散信源熵和互信息,問(wèn)題： 什么叫后驗(yàn)概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑義度？ 什么叫噪聲熵（或散布度）？ 數(shù)據(jù)處理定理是如何描述的？ 熵的性質(zhì)有哪些？,6,自信息量,設(shè)離散信源X，其概率空間

2、為,I (xi) 含義: 當(dāng)事件xi發(fā)生以前,表示事件xi 發(fā)生的不確定性 當(dāng)事件xi發(fā)生以后,表示事件xi所含有的信息量,7,自信息量,自信息量,條件自信息量,聯(lián)合自信息量,8,離散信源熵,離散信源熵H(X),信源熵具有以下三種物理含意： 信息熵H(X)表示信源輸出后,每個(gè)離散消息所提供的平均信息量。 信息熵H(X)表示信源輸出前,信源的平均不確定性。 信息熵H(X)反映了變量X的隨機(jī)性 。,9,信源熵,無(wú)條件熵,條件熵,聯(lián)合熵,10,2.2.3 互信息,設(shè)有兩個(gè)隨機(jī)事件X和Y ,X取值于信源發(fā)出的離散消息集合, Y取值于信宿收到的離散符號(hào)集合,有擾信道,干擾源,信源X,信宿Y,11,互信息

3、,如果信道是無(wú)噪的,當(dāng)信源發(fā)出消息xi后,信宿必能準(zhǔn)確無(wú)誤地收到該消息,徹底消除對(duì)xi的不確定度,所獲得的信息量就是xi的不確定度I(xi),即xi本身含有的全部信息。 一般而言,信道中總是存在著噪聲和干擾,信源發(fā)出消息xi,通過(guò)信道后信宿只可能收到由于干擾作用引起的某種變型yj 。 信宿收到y(tǒng)j 后推測(cè)信源發(fā)出xi的概率p(xi|yj)稱(chēng)為后驗(yàn)概率。 信源發(fā)出消息xi的概率p(xi) 稱(chēng)為先驗(yàn)概率。,12,互信息,互信息 定義為 xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù),互信息I(xi;yj)表示接收到某消息yj后獲得的關(guān)于事件xi的信息量。,13,例某地二月份天氣 構(gòu)成的信源為：,若得知“今天不

4、是晴天”,把這句話作為收到的消息y1 當(dāng)收到y(tǒng)1后,各種天氣發(fā)生的概率變成后驗(yàn)概率了 p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4,求得自信息量分別為,14,表明從y1分別得到了x2 x3 x4各 1比特的信息量。 消息y1使x2 x3 x4的不確定度各減少1bit 。,15,例2-8:一個(gè)二進(jìn)信源X發(fā)出符號(hào)集0,1,經(jīng)過(guò)離散無(wú)記憶信道傳輸,信道輸出用Y表示,由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確定符號(hào)“2” 已知X的先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3, 符號(hào)轉(zhuǎn)移概率： p(y

5、0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，,X,Y,0,1,0,1,2,3/4,1/2,1/2,1/4,信源熵,16,得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x

6、1) = 1/31/2=1/6 條件熵,由,17,聯(lián)合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符號(hào),得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3,由,18,由,得,同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2,19,H(X)： 表示接收到輸出符號(hào)Y前關(guān)于輸入變量X的平均

7、不確定度。 H(X|Y)： 表示接收到輸出符號(hào)Y 后關(guān)于輸入變量X的平均不確定度。,這個(gè)對(duì)X尚存在的平均不確定度是由于干擾(噪聲)引起的,20,平均互信息,平均互信息定義,信息= 先驗(yàn)不確定性后驗(yàn)不確定性 = 不確定性減少的量,Y未知,X 的不確定度為H(X) Y已知,X 的不確定度變?yōu)镠(X |Y),21,平均互信息,有擾信道,干擾源,信源X,信宿Y,通信系統(tǒng)中,若發(fā)端的符號(hào)為X ,收端的符號(hào)為Y 如果是一一對(duì)應(yīng)信道,接收到Y(jié)后,對(duì)X的不確定性將完全消除：H(X|Y) = 0 一般情況： H(X |Y) H(X),即了解Y后對(duì)X的不確定度的將減少 通過(guò)信道傳輸消除了一些不確定性,獲得了一定的

8、信息。,22,平均互信息,平均互信息的另一種定義方法：,23,例假設(shè)一條電線上串聯(lián)了8個(gè)燈泡x1, x2，x8如圖，這8個(gè)燈泡損壞的概率相等p(xi) = 1/8，現(xiàn)假設(shè)只有一個(gè)燈泡已損壞，致使串聯(lián)燈泡都不能點(diǎn)亮。,未測(cè)量前,8個(gè)燈泡都有可能損壞,它們損壞的先驗(yàn)概率: p(xi)=1/8,這時(shí)存在的不確定性：,24,第1次測(cè)量后,可知4個(gè)燈泡是好的,另4個(gè)燈泡中有一個(gè)是壞的,這時(shí)后驗(yàn)概率p(xi|y) =1/4 尚存在的不確定性,所獲得的信息量就是測(cè)量前后不確定性減少的量, 第1次測(cè)量獲得的信息量：,25,第2次測(cè)量后變成猜測(cè)哪2個(gè)燈泡中一個(gè)是損壞的,這時(shí)后驗(yàn)概率為： p(xi|yz) = 1

9、/2 尚存在的不確定性：,第2次測(cè)量獲得的信息量：,第3次測(cè)量完全消除了不確定性，能獲知哪個(gè)燈泡是壞了的。尚存在的不確定性等于零。 第3次測(cè)量獲得的信息量：,26,要從8個(gè)等可能損壞的串聯(lián)燈泡中確定哪個(gè)燈泡是壞的,至少要獲得3個(gè)bit的信息量,27,方法2：逐個(gè)檢查 第1次: x1壞,獲得信息量=3bit,可能性較小1/8； x1通,其余7只中1只壞,壞燈泡的不確定性：log27=2.8073bit 獲得信息量=3-2.8073=0.1927bit,可能性較大7/8 第1次所獲得的平均信息量:,“對(duì)半開(kāi)” 第1次所獲得的平均信息量:,28,互信息量,在有3個(gè)變量的情況下,符號(hào)xi與符號(hào)yj ,

10、 zk之間的互信息量定義為,同理,29,條件互信息,我們定義在已知事件zk的條件下,接收到y(tǒng)j后獲得關(guān)于某事件xi的條件互信息,30,平均互信息與各類(lèi)熵的關(guān)系,熵只是平均不確定性的描述; 不確定性的消除(兩熵之差)才等于接收端所獲得的信息量。 獲得的信息量不應(yīng)該和不確定性混為一談,31,維拉圖,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),32,條件熵,H(X|Y)：信道疑義度，損失熵 信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。 信源X的熵等于接收到的信息量加上損失掉的信息量。 H(Y|X)：噪聲熵，散布熵 它反映了信道中噪聲源的不確定性。 輸出端信源Y 的熵

11、H(Y)等于接收到關(guān)于X的信息量I(X;Y)加上H(Y|X),這完全是由于信道中噪聲引起的。,33,收發(fā)兩端的熵關(guān)系,34,若信道是無(wú)噪一一對(duì)應(yīng)信道,信道傳遞概率：,計(jì)算得:,35,若信道輸入端X與輸出端Y完全統(tǒng)計(jì)獨(dú)立,則:,36,2.2.4 數(shù)據(jù)處理中信息的變化,數(shù)據(jù)處理定理 : 當(dāng)消息通過(guò)多級(jí)處理器時(shí),隨著處理器數(shù)目增多,輸入消息與輸出消息間的平均互信息量趨于變小 假設(shè)Y條件下X和Z相互獨(dú)立,37,數(shù)據(jù)處理定理,數(shù)據(jù)處理定理說(shuō)明： 當(dāng)對(duì)信號(hào)、數(shù)據(jù)或消息進(jìn)行多級(jí)處理時(shí),每處理一次,就有可能損失一部分信息,也就是說(shuō)數(shù)據(jù)處理會(huì)把信號(hào)、數(shù)據(jù)或消息變成更有用的形式，但是絕不會(huì)創(chuàng)造出新的信息,這就是所謂的信息不增原理。,38,三維聯(lián)合集XYZ上的平均互信息量,39,2.2.5 熵的性質(zhì),1.非負(fù)性 H(X)H(p1，p2，pn)0 式中等號(hào)只有在pi =1時(shí)成立。 2.對(duì)稱(chēng)性 H(p1，p2，pn) = H(p2，p1，pn) 例如下列信源的熵都是相等的：