離散信源的信息熵

離散信源的信息熵2.2.1自信息2.2.2信息熵2/20課程回顧緒論：抽象的通信系統(tǒng)信源的數(shù)學(xué)模型及分類概率空間描述信源一維信源：離散、連續(xù)多維信源：離散、連續(xù)；平穩(wěn)信源、非平穩(wěn)信源；有記憶信源、無(wú)記憶信源隨機(jī)波形信源3/20一維離散信源1.該信源能輸出多少信息？2.每個(gè)消息的出現(xiàn)攜帶多少信息量？自信息4/20信息量與不確定性信源中某一消息發(fā)生的不確定性越大，一旦它發(fā)生，并為收信者收到后，消除的不確定性就越大，獲得的信息量也就越大。由于種種原因（例如噪聲太大），收信者接收到受干擾的消息后，對(duì)某消息發(fā)生的不確定性依然存在或者一點(diǎn)也未消除時(shí)，則收信者獲得較少的信息或者說(shuō)一點(diǎn)也沒(méi)有獲得信息。自信息5/20信息量與不確定性

信息量的直觀定義：收到某消息獲得的信息量＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)

－(收到此消息后關(guān)于某事件發(fā)生的不確定性)在無(wú)噪聲時(shí)，通過(guò)信道的傳輸，可以完全不失真地收到所發(fā)的消息，收到此消息后關(guān)于某事件發(fā)生的不確定性完全消除，此項(xiàng)為零。因此：

收到某消息獲得的信息量＝收到此消息前關(guān)于某事件發(fā)生的不確定性＝信源輸出的某消息中所含有的信息量自信息6/20信息量、不確定性與發(fā)生概率事件發(fā)生的概率越小，我們猜測(cè)它有沒(méi)有發(fā)生的困難程度就越大，不確定性就越大。事件發(fā)生的概率越大，我們猜測(cè)這件事發(fā)生的可能性就越大，不確定性就越小。概率等于1的必然事件，就不存在不確定性。某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗(yàn)概率的函數(shù)

f[p(xi)]

。自信息7/20信息量與發(fā)生概率函數(shù)f[p(xi)]

應(yīng)滿足以下4個(gè)條件：

f[p(xi)]應(yīng)是p(xi)的單調(diào)遞減函數(shù)當(dāng)p(x1)>p(x2)時(shí)，f[p(x1)]<f[p(x2)]

當(dāng)p(xi)=1時(shí)，f[p(xi)]=0

當(dāng)p(xi)=0時(shí)，f[p(xi)]=∞

兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。自信息8/20信息量與發(fā)生概率根據(jù)上述條件可以從數(shù)學(xué)上證明這種函數(shù)形式是對(duì)數(shù)形式。自信息9/20自信息用概率測(cè)度定義信息量：設(shè)離散信源X，其概率空間為：如果知道事件xi已發(fā)生，則該事件所含有的信息量稱為自信息，定義為：X，Y，Z代表隨機(jī)變量，指的是信源整體；xi,yj,zk

代表隨機(jī)事件的某一結(jié)果或信源的某個(gè)元素。不可混淆!自信息10/20自信息的物理意義當(dāng)事件發(fā)生以前，表示事件發(fā)生的不確定性；當(dāng)事件發(fā)生以后，表示事件所含有(提供)的信息量；自信息單位：1奈特=log2e=1.443比特1哈特=log210=3.322比特自信息11/20自信息獲得的信息量的大小與不確定性消除的多少有關(guān)12/20概率知識(shí)回顧13/20概率知識(shí)回顧14/20

1）自信息含義

當(dāng)事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。

當(dāng)事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量。在無(wú)噪信道中，事件xi發(fā)生后，能正確無(wú)誤地傳輸?shù)绞招耪?，所以I(xi)可代表接收到消息xi后所獲得的信息量。這是因?yàn)橄薎(xi)大小的不確定性，才獲得這么大小的信息量。自信息15/202）聯(lián)合自信息信源模型為：其中:0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)，則聯(lián)合自信息為：自信息16/202）聯(lián)合自信息當(dāng)X和Y相互獨(dú)立時(shí)，p(xiyj)=p(xi)p(yj)兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的信息量，等于各自自信息量之和。自信息17/20

3）條件自信息設(shè)yj條件下，發(fā)生xi的條件概率為p(xi/yj)，那么它的條件自信息量I(xi/yj)定義為：表示在特定條件下（yj已定）隨機(jī)事件xi

所帶來(lái)的信息量同理，xi已知時(shí)發(fā)生yj的條件自信息量為：自信息18/203）條件自信息自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系自信息19/20信息熵—平均信息量信息熵的三種物理含義信息熵與平均獲得的信息量信息熵（1）信息熵—平均自信息量自信息是一個(gè)隨機(jī)變量：自信息是指某一信源發(fā)出某一消息所含有的信息量。所發(fā)出的消息不同，它們所含有的信息量也就不同。平均自信息量—信息熵：自信息的數(shù)學(xué)期望。也稱為信源的信息熵／信源熵／香農(nóng)熵／無(wú)條件熵／熵函數(shù)／熵。信息熵(1)信息熵①信息熵—平均信息量信息熵的單位：取決于對(duì)數(shù)選取的底。一般選用以2為底，其單位為比特/符號(hào)。信息熵的意義：信源的信息熵H是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。它是從平均意義上來(lái)表征信源的總體特性的。對(duì)于某特定的信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。信息熵(1)信息熵信息熵的三種物理含義：信息熵是從平均意義上來(lái)表征信源的總體特性的一個(gè)量。因此信息熵有以下三種物理含義。信息熵H(X)是表示信源輸出后每個(gè)消息（符號(hào)）所提供的平均信息量；信息熵H(X)是表示信源輸出前，信源的平均不確定性；用信息熵H(X)來(lái)表征變量X的隨機(jī)性。信息熵信息熵的三種物理含義：[舉例]：有兩個(gè)信源，其概率空間分別為：信息熵分別為：

H(X)=－0.99log0.99－0.01log0.01=0.08

比特/符號(hào)

H(Y)=－0.5log0.5－0.5log0.5=1比特/符號(hào)可見(jiàn)：H(Y)>H(X)信息熵(1)信息熵信息熵的三種物理含義：本例結(jié)論：信源Y的二個(gè)輸出消息是等可能性的，所以在信源沒(méi)有輸出消息以前，事先猜測(cè)哪一個(gè)消息出現(xiàn)的不確定性要大；信源X的二個(gè)輸出消息不是等概率的，事先猜測(cè)x1和x2哪一個(gè)出現(xiàn)，雖然具有不確定性，但大致可以猜出x1會(huì)出現(xiàn)，因?yàn)閤1出現(xiàn)的概率大。所以信源X的不確定性要?。恍旁碮比信源X的平均不確定性大；信息熵本例結(jié)論(續(xù))信息熵反映的就是信源輸出前平均不確定程度的大小。變量Y取y1

和y2

是等概率的，所以其隨機(jī)性大。而變量X取x1

的概率比取x2的概率大很多，這時(shí)變量X的隨機(jī)性就小。因此H(X)反映了變量的隨機(jī)性。信息熵(1)信息熵信息熵與平均獲得的信息量信息熵是信源的平均不確定性的描述。在一般情況下它并不等于平均獲得的信息量。只有在無(wú)噪情況下，接收者才能正確無(wú)誤地接收到信源所發(fā)出的消息，消除H(X)

大小的平均不確定性，所以獲得的平均信息量就等于H(X)。在一般情況下獲得的信息量是兩熵之差，并不是信源熵本身。信息熵(2)聯(lián)合熵兩個(gè)隨機(jī)變量X,Y:H(XY)—聯(lián)合熵：表示輸入隨機(jī)變量X，經(jīng)信道傳輸?shù)竭_(dá)信宿，輸出隨機(jī)變量Y。即收、發(fā)雙方通信后，整個(gè)系統(tǒng)仍然存在的不確定度。信息熵(3)條件熵條件熵定義：條件熵是在聯(lián)合符號(hào)集合

X