信息與編碼理論 第2版 課件 2.4 離散信源的信息熵

2.4離散信源的信息熵哪個輸出包含更多的信息，

x1還是xn？

度量信息的基本思路

考慮一個信源，它輸出x1,…,xn，n種消息。

設(shè)x1為最大可能的輸出,xn為最小可能的輸出。假設(shè)信源輸出代表天氣情況,x1為晴或多云天氣,xn為冰雹或其它強對流天氣。

直觀地，傳遞xn給出了更多的信息。由此可以合理地推算信源輸出的信息量應(yīng)該是輸出事件的概率的單調(diào)遞減函數(shù)。信息量的另一個直觀屬性是，某一輸出事件的概率的微小變化不會很大地改變所傳遞的信息量，即信息量應(yīng)該是信源輸出事件概率的連續(xù)減函數(shù)。21.自信息（量）公理性條件：

(1)如果p(x1)<p(x2)，則I(x1)>I(x2)，I(xi

)是p(xi)的單調(diào)連續(xù)遞減函數(shù)；

(2)如果p(xi)=0，則I(xi

)→∞;如果p(xi)=1，則I(xi

)=0;(3)由兩個相對獨立的事件所提供的信息量，應(yīng)等于它們分別提供的信息量之和：I(xiyj)=I(xi

)+I(yj)

問題：什么函數(shù)能夠同時滿足以上條件呢？

對數(shù)函數(shù)31.自信息（量）

隨機事件的自信息定義為該事件發(fā)生概率的對數(shù)的負值：關(guān)于對數(shù)底的選?。阂?為底，單位為比特(bit)以e為底，單位為奈特(nat)以10為底，單位為哈特萊(Hartley)

一般都采用以2為底的對數(shù)，為了書寫簡潔，有時把底數(shù)2略去不寫。4

自信息含義當(dāng)事件xi發(fā)生以前：I(xi)表示事件xi發(fā)生的不確定性。當(dāng)事件xi

發(fā)生以后：I(xi)表示事件xi

所含有（或所提供）的信息量。在無噪信道中，事件xi

發(fā)生后，能正確無誤地傳輸?shù)绞招耪?，所以I(xi)可代表接收到消息xi

后所獲得的信息量。事件xi發(fā)生的不確定性=事件xi發(fā)生后提供的信息量。

1p(xi)I(xi)

log5

單位之間的換算關(guān)系：

1奈特=log2

e比特=1.443比特

1哈特萊=log210比特=3.322比特

1r進制單位=log2r比特試問四進制、八進制的每一波形所含的信息量是二進制每一波形所含的信息量的多少倍？

在通信及目前的絕大多數(shù)信息傳輸系統(tǒng)中，都是以二進制為基礎(chǔ)的，因此信息量單位以比特最為常用。因此一般都采用以“2”為底的對數(shù)，為了書寫簡潔，有時把底數(shù)2略去不寫。67聯(lián)合自信息量兩個事件同時發(fā)生時對外提供的信息量。定義為：二維聯(lián)合集XY上的聯(lián)合概率的對數(shù)負值。記作：X、Y相互獨立時

證明：即：兩個隨機事件相互獨立時，同時發(fā)生得到的信息量，等于各自單獨發(fā)生時得到的信息量之和。78條件自信息量聯(lián)合集XY