信息論與編碼信源與信息熵的課件

1、1信源與信息熵第二章22.1 信源的描述和分類(lèi)2.2 離散信源熵和互信息2.3 離散序列信源的熵2.4 連續(xù)信源的熵和互信2.5 冗余度內(nèi)容32.2 離散信源熵和互信息4離散信源熵和互信息問(wèn)題： 什么叫不確定度？ 什么叫自信息量？ 什么叫平均不確定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫條件熵？ 什么叫聯(lián)合熵？ 聯(lián)合熵、條件熵和熵的關(guān)系是什么？5離散信源熵和互信息問(wèn)題：什么叫后驗(yàn)概率？什么叫互信息量？什么叫平均互信息量？什么叫疑義度？什么叫噪聲熵（或散布度）？數(shù)據(jù)處理定理是如何描述的？熵的性質(zhì)有哪些？6自信息量設(shè)離散信源X，其概率空間為I (xi) 含義:當(dāng)事件xi發(fā)生以前,表示事件

2、xi 發(fā)生的不確定性當(dāng)事件xi發(fā)生以后,表示事件xi所含有的信息量7自信息量自信息量條件自信息量聯(lián)合自信息量8離散信源熵離散信源熵H(X)信源熵具有以下三種物理含意：信息熵H(X)表示信源輸出后,每個(gè)離散消息所提供的平均信息量。信息熵H(X)表示信源輸出前,信源的平均不確定性。信息熵H(X)反映了變量X的隨機(jī)性 。9信源熵?zé)o條件熵條件熵10信源熵聯(lián)合熵H(X,Y)H(X)H(Y|X)H(X,Y)H(Y)H(X|Y)無(wú)條件熵、條件熵、聯(lián)合熵之間的關(guān)系112.2.3 互信息設(shè)有兩個(gè)隨機(jī)事件X和Y ,X取值于信源發(fā)出的離散消息集合, Y取值于信宿收到的離散符號(hào)集合有擾信道干擾源信源X信宿Y12互信息

3、如果信道是無(wú)噪的,當(dāng)信源發(fā)出消息xi后,信宿必能準(zhǔn)確無(wú)誤地收到該消息,徹底消除對(duì)xi的不確定度,所獲得的信息量就是xi的不確定度I(xi),即xi本身含有的全部信息。一般而言,信道中總是存在著噪聲和干擾,信源發(fā)出消息xi,通過(guò)信道后信宿只可能收到由于干擾作用引起的某種變型yj 。信宿收到y(tǒng)j 后推測(cè)信源發(fā)出xi的概率p(xi|yj)稱(chēng)為后驗(yàn)概率。信源發(fā)出消息xi的概率p(xi) 稱(chēng)為先驗(yàn)概率。13互信息對(duì)于單個(gè)符號(hào)情況下定義為 符號(hào)xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)互信息量I(xi;yj)表示接收到某消息yj后獲得的關(guān)于事件xi的信息量。唯一地確定接收符號(hào)yj 所需要的信息量信源發(fā)出符號(hào)為已知

4、時(shí)需要確定接收符號(hào)yj 所需信息量14例某地二月份天氣 構(gòu)成的信源為：若得知“今天不是晴天”,把這句話(huà)作為收到的消息y1當(dāng)收到y(tǒng)1后,各種天氣發(fā)生的概率變成后驗(yàn)概率了p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4 求得自信息量分別為 15表明從y1分別得到了x2 x3 x4各 1比特的信息量。消息y1使x2 x3 x4的不確定度分別減少1bit 、 2bit 、 2bit 。16例2-8:一個(gè)二進(jìn)信源X發(fā)出符號(hào)集0,1,經(jīng)過(guò)離散無(wú)記憶信道傳輸,信道輸出用Y表示,由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確

5、定符號(hào)“2”已知X的先驗(yàn)概率: p(x0)=2/3, p(x1)= 1/3,符號(hào)轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵17得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1)

6、= 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6條件熵由18聯(lián)合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符號(hào)得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由19由得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/220H(

7、X)：表示接收到輸出符號(hào)Y前關(guān)于輸入變量X的平均不確定度。H(X|Y)： 表示接收到輸出符號(hào)Y 后關(guān)于輸入變量X的平均不確定度。這個(gè)對(duì)X尚存在的平均不確定度是由于干擾(噪聲)引起的 21互信息 在例2-8中，H(X)大于H(X|Y)，說(shuō)明當(dāng)已知Y后，X的不確定度減小了。即對(duì)于接收者，在未收到任何消息時(shí)，對(duì)信源X的不確定度H(X)是0.92bit/符號(hào)。而當(dāng)收到消息Y后，不確定度降低到了H(X|Y)=0.33bit/符號(hào)。不確定度的減少量(0.92-0.33)bit/符號(hào)=0.59bit/符號(hào)就是接收者通過(guò)信道傳輸收到的信源X 的信息量，稱(chēng)為X和Y的互信息H(X;Y)，即H(X;Y)= H(X)

8、- H(X|Y)。22平均互信息平均互信息定義 信息= 先驗(yàn)不確定性后驗(yàn)不確定性 = 不確定性減少的量Y未知,X 的不確定度為H(X)Y已知,X 的不確定度變?yōu)镠(X |Y)23平均互信息有擾信道干擾源信源X信宿Y通信系統(tǒng)中,若發(fā)端的符號(hào)為X ,收端的符號(hào)為Y如果是一一對(duì)應(yīng)信道,接收到Y(jié)后,對(duì)X的不確定性將完全消除：H(X|Y) = 0一般情況： H(X |Y) H(X),即接收Y后對(duì)X的不確定度將減少，但沒(méi)有完全消除。通過(guò)信道傳輸消除了一些不確定性,獲得了一定的信息。24平均互信息平均互信息的另一種定義方法： 25例假設(shè)一條電線(xiàn)上串聯(lián)了8個(gè)燈泡x1, x2，x8如圖，這8個(gè)燈泡損壞的概率相等

9、p(xi) = 1/8，現(xiàn)假設(shè)只有一個(gè)燈泡已損壞，致使串聯(lián)燈泡都不能點(diǎn)亮。未測(cè)量前,8個(gè)燈泡都有可能損壞,它們損壞的先驗(yàn)概率: p(xi)=1/8這時(shí)存在的不確定性：26第1次測(cè)量后,可知4個(gè)燈泡是好的,另4個(gè)燈泡中有一個(gè)是壞的,這時(shí)后驗(yàn)概率p(xi|y) =1/4尚存在的不確定性所獲得的信息量就是測(cè)量前后不確定性減少的量,第1次測(cè)量獲得的信息量：27第2次測(cè)量后變成猜測(cè)哪2個(gè)燈泡中一個(gè)是損壞的,這時(shí)后驗(yàn)概率為： p(xi|yz) = 1/2尚存在的不確定性：第2次測(cè)量獲得的信息量：第3次測(cè)量完全消除了不確定性，能獲知哪個(gè)燈泡是壞了的。尚存在的不確定性等于零。第3次測(cè)量獲得的信息量：28信源消

10、息 x1 x2x3x4x5x6x7x8先驗(yàn)概率 1/81/81/81/81/81/81/81/8后驗(yàn)概率第1次測(cè)量y1/41/41/41/4第2次測(cè)量z1/21/2第3次測(cè)量w1要從8個(gè)等可能損壞的串聯(lián)燈泡中確定哪個(gè)燈泡是壞的,至少要獲得3個(gè)bit的信息量 29互信息量在有3個(gè)變量的情況下,符號(hào)xi與符號(hào)yj , zk之間的互信息量定義為同理聯(lián)合事件(yj,zk)出現(xiàn)后所提供的有關(guān)xi的信息量zk事件出現(xiàn)后提供的有關(guān)xi的信息量給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量30條件互信息我們定義在已知事件zk的條件下,接收到y(tǒng)j后獲得關(guān)于某事件xi的條件互信息31互信息量三維聯(lián)合集(X

11、,Y,Z)上的平均互信息有32平均互信息與各類(lèi)熵的關(guān)系 熵只是平均不確定性的描述;不確定性的消除(兩熵之差)才等于接收端所獲得的信息量。 獲得的信息量不應(yīng)該和不確定性混為一談 33維拉圖 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)交集并集交集并集34平均互信息的物理意義（1）式，H(X)是符號(hào)X的熵或不確定度，而H(X|Y)是當(dāng)Y已知時(shí)X的不確定度，那么可見(jiàn)“Y已知”這件事使X得不確定度減少了I(X;Y)，這意味著Y“已知后”所獲得的關(guān)于X的信息是I(X;Y)。也可將平均互信息量I(X;Y)看成有擾離散信道上傳輸?shù)钠骄バ畔⒘俊Ｐ潘奘盏降钠骄バ畔⒘康扔谛潘迣?duì)信源符號(hào)不確定

12、度的平均減少量。具體地，（1）式表明在有擾離散信道上，各個(gè)接收符號(hào)y所提供的有關(guān)信源發(fā)出的各個(gè)符號(hào)x的平均信息量I(X;Y)等于唯一地確定信源符號(hào)x所需要的平均信息量H(X)，減去收到符號(hào)Y后要確定X所需要的平均信息量H(X|Y)。35條件熵H(X|Y)：信道疑義度，損失熵信源符號(hào)通過(guò)有噪信道傳輸后所引起的信息量的損失。由于信道上存在干擾和噪聲而損失掉的平均信息量。故稱(chēng)作損失熵。又可以看作是由于信道上的干擾和噪聲的緣故，接收端獲得Y后還剩余的對(duì)信源符號(hào)X的平均不確定度。故稱(chēng)作疑義度。信源X的熵等于接收到的信息量H(X;Y)加上損失掉的信息量H(X|Y)。 36條件熵（2）式表明：平均互信息量可

13、看作在有干擾離散信道上傳遞消息時(shí)，唯一地確定接收符號(hào)y所需要的平均信息量H(Y)，減去當(dāng)信源符號(hào)發(fā)出符號(hào)為已知時(shí)需要確定接收符號(hào)y所需的平均信息量H(Y|X)。H(Y|X)它反映了信道中噪聲源的不確定性。唯一地確定信道噪聲所需要的平均信息量。故稱(chēng)作噪聲熵或散布度。輸出端信源Y 的熵H(Y)等于接收到關(guān)于X的信息量I(X;Y)加上H(Y|X),這完全是由于信道中噪聲引起的。37收發(fā)兩端的熵關(guān)系I(X;Y) H(X) H(Y)H(X/Y)疑義度或損失熵 H(Y/X)噪聲熵或散布度38若信道是無(wú)噪一一對(duì)應(yīng)信道,信道傳遞概率： 計(jì)算得:39若信道輸入端X與輸出端Y完全統(tǒng)計(jì)獨(dú)立 則:沒(méi)有交集40重要結(jié)論

14、在一般情況下，X與Y既非相互獨(dú)立，也不是一一對(duì)應(yīng)，那么從Y獲得X的信息必在零和H(X)之間，即常小于X的熵。從互信息的定義41重要結(jié)論可以看出：互信息I(X;Y)只是輸入信源X的概率分布p(xi)和信道轉(zhuǎn)移概率p(yi|xi)的函數(shù)，即Ip(xi), p(yi|xi)?？梢宰C明：當(dāng)p(xi)一定時(shí)，I是關(guān)于p(yi|xi)的型凸函數(shù)，存在極小值；當(dāng)p(yi|xi)一定時(shí)， I是關(guān)于p(xi)的型函數(shù)，存在極大值。42第一級(jí)處理器第二級(jí)處理器XYZ輸入 級(jí)聯(lián)處理器2.2.4 數(shù)據(jù)處理中信息的變化數(shù)據(jù)處理定理 :當(dāng)消息通過(guò)多級(jí)處理器時(shí),隨著處理器數(shù)目增多,輸入消息與輸出消息間的平均互信息量趨于變小

15、假設(shè)Y條件下X和Z相互獨(dú)立 43數(shù)據(jù)處理定理 數(shù)據(jù)處理定理說(shuō)明：當(dāng)對(duì)信號(hào)、數(shù)據(jù)或消息進(jìn)行多級(jí)處理時(shí),每處理一次,就有可能損失一部分信息,也就是說(shuō)數(shù)據(jù)處理會(huì)把信號(hào)、數(shù)據(jù)或消息變成更有用的形式，但是絕不會(huì)創(chuàng)造出新的信息,這就是所謂的信息不增原理。 44三維聯(lián)合集XYZ上的平均互信息量 45例2-11 有一信源輸出X 0,1,2,其概率為p(0)=1/4,p(1)=1/4,p(2)=1/2.設(shè)計(jì)兩個(gè)獨(dú)立實(shí)驗(yàn)去觀(guān)察它，其結(jié)果分別為Y1 0,1和Y2 0,1.已知條件概率為表2-5所列，求表2-5 實(shí)驗(yàn)得到的條件概率p(y1|x)01p(y2|x)0101001010111021/21/2201(1)I

16、(X;Y1)和I(X;Y2),并判斷哪一個(gè)實(shí)驗(yàn)好些。(2)I(X;Y1,Y2)，并計(jì)算做Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1或Y2中的一個(gè)實(shí)驗(yàn)各可多得多少關(guān)于X的信息。(3)I(X;Y1|Y2)和I(X;Y2|Y1).46解: (1)由題意得y101y201p(y1)1/21/2p(y2)1/21/2 I(X;Y1)=H(Y1)-H(Y1|X)其中 H(Y1)=H(1/2,1/2)=1bit/符號(hào)所以 I(X;Y1)=H(Y1)-H(Y1|X)=1-0.5=0.5bit/符號(hào)同理 I(X;Y2)=1-0=1bit/符號(hào) 因此第二個(gè)實(shí)驗(yàn)好些。47(2) H(X)=H(1/4,1/4,1/2)=1.5bit

17、/符號(hào) I(X;Y1,Y2)=H(X)-H(X|Y1,Y2)=H(Y1,Y2)-H(Y1,Y2|X)由以下概率分布可得因此，H(Y1,Y2)=H(1/4,1/4,1/4,1/4)=2bit/符號(hào)y101y201p(y1)1/21/2p(y2)1/21/2y1, y2(0,0)(0,1)(1,0)(1,1)p(y1 ,y2)1/41/41/41/448p(y1,y2|x)(0,0)(0,1)(1,0)(1,1)0100010010201/201/2p(y1|x)01p(y2|x)0101001010111021/21/2201由可得49所以 I(X;Y1,Y2)=H(Y1,Y2)-H(Y1,Y2|X) =2-0.5=1.5bit/符號(hào)做兩個(gè)實(shí)驗(yàn)比單做Y1多得信息量I(X;Y1,Y2)-I(X;Y1)=1.5-0.5=1bit/符號(hào)；比單做Y2多得信息量I(X;Y1,Y2)-I(X;Y2)=1.5-1=0.5bit/符號(hào)。(3) I(X;Y1|Y2)= I(X;Y1,Y2)- I(X;Y2) =1.5-1=0.5bit/符號(hào)；I(X;Y2|Y1)= I(X;Y1,Y2)- I(X;Y1)=1.5-0.5=1bit/符號(hào).502.2.5 熵的性質(zhì)1.非負(fù)性 H(X)H(p1，p2，pn)0式中等號(hào)只有在pi =1時(shí)成立。2.對(duì)稱(chēng)性 H(p1，p2，pn) = H(