信息的統(tǒng)計度量

信息的統(tǒng)計度量第一頁，共八十二頁，2022年，8月28日2023/1/181本章內(nèi)容、基本要求、重點與難點1.內(nèi)容：離散信源的數(shù)學(xué)模型。自信息量；互信息量等。離散信源熵和平均互信息量及其性質(zhì)。

2.基本要求：掌握信源的分類及對應(yīng)的數(shù)學(xué)模型。掌握熵和（平均）互信息量的定義、定義式、性質(zhì)。

3.重點與難點：離散信源熵的含義。離散信源的互信息量的含義。

第二頁，共八十二頁，2022年，8月28日2023/1/182

樣本空間：把某事物可能出現(xiàn)的不同狀態(tài)，即所有可能選擇的消息的集合，成為樣本空間。

概率測度：對離散消息的集合而言，對每一個可能選擇的消息指定一個概率（非負，總和為1）。

概率空間：一個樣本空間和它的概率測度稱為一個概率空間。第三頁，共八十二頁，2022年，8月28日2023/1/183一個概率空間用[X,P]表示。離散型的概率空間：X代表隨機變量xi代表隨機事件的某一結(jié)果或某個元素p(xi)=P(X=xi)，表示隨機事件X發(fā)生某一結(jié)果xi的概率。n是有限正整數(shù)或可數(shù)無限大第四頁，共八十二頁，2022年，8月28日2023/1/184先驗概率：p(xi);后驗概率：發(fā)送xi，收到y(tǒng)j，yj可能與xi相同也可能與xi不同，p(xi|yj)稱為后驗概率。

第五頁，共八十二頁，2022年，8月28日2023/1/1852.1自信息量和條件自信息量

一、自信息量已知道，信息是對不確定性的描述，而不確定性取決于事件發(fā)生的概率。因此，某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗概率的函數(shù)。

I(ai)=f[p(ai)]第六頁，共八十二頁，2022年，8月28日2023/1/186該函數(shù)應(yīng)滿足以下條件：1I(ai)應(yīng)是概率p(ai)的單調(diào)遞減函數(shù)，即：當p(a1)>p(a2)時有I(a1)<

I(a2)；2當p(ai)＝1時I(ai)＝0；3當p(ai)＝0時I(ai)→∞；4兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別信息量之和，即：若:p(aiaj)＝p(ai)p(aj)，則：I(aiaj)=I(ai)+I(aj)。第七頁，共八十二頁，2022年，8月28日2023/1/187

根據(jù)上述條件，可以從數(shù)學(xué)上證明這種函數(shù)形式是對數(shù)形式。第八頁，共八十二頁，2022年，8月28日2023/1/188定義：設(shè)離散信源X，其概率空間為如果知道事件xi已發(fā)生，則該事件所含有的自信息定義為第九頁，共八十二頁，2022年，8月28日2023/1/189取值：由于p(xi)∈[0,1],I(xi)為非負。單位：對數(shù)的底決定了信息量的單位：

2—bit，e—nat，10—Hartley。I(xi)是隨機變量。單位之間的換算關(guān)系：

1奈特=log2

e比特=1.443比特

1哈特=log210比特=3.322比特第十頁，共八十二頁，2022年，8月28日2023/1/1810含義：當事件xi發(fā)生以前：表示事件xi發(fā)生的不確定性。當事件xi發(fā)生以后：表示事件xi所含有（或所提供）的信息量。在無噪信道中，事件xi發(fā)生后，能正確無誤地傳輸?shù)绞招耪?，所以I(xi)可代表接收到消息xi后所獲得的信息量。這是因為消除了I(xi)大小的不確定性，才獲得這么大小的信息量。第十一頁，共八十二頁，2022年，8月28日2023/1/1811例：設(shè)在A袋放入n個不同阻值的電阻，隨意取出一個，求當被告知“取出的電阻阻值為i”時所獲得的信息量。在B袋中放入m種不同功率的電阻，任意取出一個，求被告知“取出的電阻功率為j”時獲得的信息量。在C袋中放入n種不同阻值，而每種阻值又有m種不同功率的電阻，即共有nm個電阻，隨意選取一個，被告知“取出的電阻阻值為i，功率為j”時獲得的信息量。

第十二頁，共八十二頁，2022年，8月28日2023/1/1812I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi

yj)=–logp(xi

yj)=log(n

m)

=I(xi)+I(yj)比特解：對應(yīng)A,B,C三袋，隨意取出一個電阻事件的概率分別為：因此第十三頁，共八十二頁，2022年，8月28日2023/1/1813二、聯(lián)合自信息量定義：信源模型為其中0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)則聯(lián)合自信息量為當X和Y相互獨立時，p(xiyj)=p(xi)p(yj)兩個隨機事件相互獨立時，同時發(fā)生得到的信息量，等于各自自信息量之和。第十四頁，共八十二頁，2022年，8月28日2023/1/1814三、條件自信息量定義：設(shè)yj條件下，發(fā)生xi的條件概率為p(xi/yj)，那么它的條件自信息量I(xi/yj)定義為自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系第十五頁，共八十二頁，2022年，8月28日2023/1/1815

例：設(shè)在一正方形棋盤上共有64個方格,如果甲將一粒棋子隨意地放在棋盤中的某方格內(nèi),讓乙猜測棋子所在的位置:(1)將方格按順序編號,令乙猜測棋子所在方格的順序號;(2)將方格按行和列編號,甲將棋子所在的方格的行(或列)編號告訴乙,再令乙猜測棋子所在列(或行)的位置。第十六頁，共八十二頁，2022年，8月28日2023/1/1816解：二維聯(lián)合集XY上元素xi

yj，p(xi

yj)=1/64

i=1,2,…,8;j=1,2,…,8（1）

I(xi

yj)=–logp(xi

yj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xi

yj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特

第十七頁，共八十二頁，2022年，8月28日2023/1/1817最簡單的通信系統(tǒng)模型：X—信源發(fā)出的離散消息集合；Y—信宿收到的離散消息集合；信源X、信宿Y的數(shù)學(xué)模型為2.2互信息量和條件互信息量第十八頁，共八十二頁，2022年，8月28日2023/1/1818一、互信息量定義：對兩個離散隨機事件集X和Y,事件yj的出現(xiàn)給出關(guān)于事件xi的信息量定義為互信息量。第十九頁，共八十二頁，2022年，8月28日2023/1/1819互信息量：yj對xi的互信息量定義為后驗概率與先驗概率比值的對數(shù)。先驗概率：信源發(fā)出消息xi的概率p(xi

)。后驗概率：信宿收到y(tǒng)j后推測信源發(fā)出xi的概率p(xi

/yj)。第二十頁，共八十二頁，2022年，8月28日2023/1/1820互信息有兩方面的含義：表示事件yj出現(xiàn)前后關(guān)于事件xi

的不確定性減少的量；事件yj出現(xiàn)以后信宿獲得的關(guān)于事件xi的信息量。第二十一頁，共八十二頁，2022年，8月28日2023/1/18211)互信息的對稱性2)互信息可為零3)互信息可為正值或負值4)任何兩個事件之間的互信息不可能大于其中任一事件的自信息互信息量的性質(zhì)第二十二頁，共八十二頁，2022年，8月28日2023/1/1822xiyj觀察者站在輸出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

：對yj一無所知的情況下xi存在的不確定性；：收到y(tǒng)j

后xi

仍然存在的不確定性；互信息：收到y(tǒng)j

前和收到y(tǒng)j后不確定度被消除的部分。第二十三頁，共八十二頁，2022年，8月28日2023/1/1823觀察者站在輸入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差。xiyjI(yj;

xi)=I(xi;yj)?第二十四頁，共八十二頁，2022年，8月28日2023/1/1824用公式表示為：

互信息的對稱性表明：從yj得到的關(guān)于xi的信息量

與從xi

得到的關(guān)于yj的信息量

是一樣的，只是觀察的角度不同而已。1)互信息的對稱性第二十五頁，共八十二頁，2022年，8月28日2023/1/1825證明：

第二十六頁，共八十二頁，2022年，8月28日2023/1/1826xi和yj相互獨立,互信息為0。表明xi和yj之間不存在統(tǒng)計約束關(guān)系，從yj得不到關(guān)于的xi的任何信息，反之亦然。2)互信息可為零第二十七頁，共八十二頁，2022年，8月28日2023/1/1827當后驗概率大于先驗概率時，互信息為正。

說明事件yj的出現(xiàn)有助于消除事件xi的不確定度。當后驗概率小于先驗概率時，互信息為負。

說明收信者未收到y(tǒng)j以前，對消息xi是否出現(xiàn)的猜測難度較小，但由于噪聲的存在，接收到消息yj后對xi是否出現(xiàn)的猜測的難度增加了，也就是收信者接收到消息yj后對xi出現(xiàn)的不確定性反而增加，所以獲得的信息量為負值。當后驗概率與先驗概率相等時，互信息為零。

這就是兩個隨機事件相互獨立的情況。3)互信息可正可負第二十八頁，共八十二頁，2022年，8月28日2023/1/18284)任何兩個事件之間的互信息不可能大于其中任一事件的自信息證明：第二十九頁，共八十二頁，2022年，8月28日2023/1/1829例：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占總數(shù)一半。假如我們得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？第三十頁，共八十二頁，2022年，8月28日2023/1/1830解：x=某女孩是大學(xué)生；y=某女孩身高1米6以上。則有“身高1米6以上的某女孩是女大學(xué)生”為事件第三十一頁，共八十二頁，2022年，8月28日2023/1/1831例：已知信源發(fā)出和兩種消息，且。此消息在二進制對稱信道上傳輸，信道傳輸特性為。求互信息量和。

第三十二頁，共八十二頁，2022年，8月28日2023/1/1832解：由已知可得第三十三頁，共八十二頁，2022年，8月28日2023/1/1833第三十四頁，共八十二頁，2022年，8月28日2023/1/1834二、條件互信息量定義：在給定zk條件下，xi與yj之間的互信息量。定義式：聯(lián)合集XYZ上消息xi與消息對yjzk之間的互信息量為第三十五頁，共八十二頁，2022年，8月28日2023/1/18352.3平均自信息量—熵

一、平均自信息量定義：熵（信息熵）：自信息的數(shù)學(xué)期望。信息熵的單位：取決于對數(shù)的底，一般以2為底，其單位為比特/符號。信息熵的意義：信源的信息熵H是從整個信源的統(tǒng)計特性來考慮的。它是從平均意義上來表征信源的總體特性的。對于某特定的信源，不同的信源因統(tǒng)計特性不同，其熵也不同。第三十六頁，共八十二頁，2022年，8月28日2023/1/1836

規(guī)定：0.log0=0

即：0概率事件對于集X熵的貢獻為0。第三十七頁，共八十二頁，2022年，8月28日2023/1/1837

信源熵有以下二種物理含義。H(X)是表示每個事件出現(xiàn)所提供的平均信息量；H(X)是表示集X中事件出現(xiàn)的平均不確定性；若X表示信源，則H(X)稱為信源熵。

平均自信息量的稱謂：信息熵/信源熵/香農(nóng)熵/無條件熵/熵函數(shù)/熵第三十八頁，共八十二頁，2022年，8月28日2023/1/1838舉例例：有兩個信源，其概率空間分別為信息熵分別為H(X)=-0.99log0.99-0.01log0.01=0.08比特/符號

H(Y)=-0.5log0.5-0.5log0.5=1比特/符號

可見

H(y)>H(x)本例結(jié)論信源Y的二個輸出消息是等可能性的，所以事先猜測哪一個消息出現(xiàn)的不確定性要大；信源X的二個輸出消息不是等概率的，事先猜測x1和x2哪一個出現(xiàn)，雖然具有不確定性，但大致可以猜出x1會出現(xiàn)，所以信源X的不確定性要?。恍畔㈧胤从车木褪切旁摧敵銮捌骄淮_定程度的大小。第三十九頁，共八十二頁，2022年，8月28日2023/1/1839例：一信源有6種輸出符號，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。計算H(X)。

解：

由信息熵定義，該信源輸出的信息熵為

第四十頁，共八十二頁，2022年，8月28日2023/1/1840二、熵的基本性質(zhì)和定理熵函數(shù)H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函數(shù)（實際上，因Σp(xi)=1，獨立變量只有n-1個，H是(n-1)元函數(shù)）:第四十一頁，共八十二頁，2022年，8月28日2023/1/1841定義：設(shè)f(x)=f(x1,x2,…,xn)為一多元函數(shù)。若對于任意一個小于1的正數(shù)α(0<α<1)以及函數(shù)f(x)定義域內(nèi)的任意兩個矢量X1,X2，有則稱f(x)為定義域上的上凸函數(shù)；若則稱f(x)為定義域上的嚴格上凸函數(shù)。第四十二頁，共八十二頁，2022年，8月28日2023/1/1842

反之，若則稱f(x)為定義域上的下凸函數(shù)；若則稱f(x)為定義域上的嚴格下凸函數(shù)。第四十三頁，共八十二頁，2022年，8月28日2023/1/1843上凸性的幾何意義：

在上凸函數(shù)的任兩點之間畫一條割線，函數(shù)總在割線的上方.上凸函數(shù)在定義域內(nèi)的極值必為最大值，這對求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)第四十四頁，共八十二頁，2022年，8月28日2023/1/1844

詹森不等式

引理：若f(x)是定義在區(qū)間[a,b]上的連續(xù)上凸函數(shù)，則對于任意一組x1，x2，….，xq∈[a,b]和任意一組非負實數(shù)λ1，λ2…λq滿足有第四十五頁，共八十二頁，2022年，8月28日2023/1/1845第四十六頁，共八十二頁，2022年，8月28日2023/1/1846

取xk為一個離散集的事件，λk為相應(yīng)的概率。

若：f(.)為對數(shù)函數(shù)，詹森不等式為

E[logx]≤log(E[x])

f(.)為一般凸函數(shù)

E[f(x)]≤f(E[x])第四十七頁，共八十二頁，2022年，8月28日2023/1/1847熵函數(shù)的基本性質(zhì)(1)非負性(2)對稱性(3)最大離散熵定理(4)擴展性(5)確定性(6)可加性(7)極值性(8)上凸性第四十八頁，共八十二頁，2022年，8月28日2023/1/1848(1)非負性即：H(X)≥0因為隨機變量X的所有取值的概率分布滿足0≤p(xi)≤1；當取對數(shù)的底大于1時logp(xi)≤0，而-

p(xi)

logp(xi)≥0，所以熵H(X)≥0；第四十九頁，共八十二頁，2022年，8月28日2023/1/1849(2)

對稱性①定義：當變量p(x1),p(x2),…,p(xn)

的順序任意互換時，熵函數(shù)的值不變，即②含義：該性質(zhì)說明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，與信源的總體統(tǒng)計特性有關(guān)。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同。第五十頁，共八十二頁，2022年，8月28日2023/1/1850例：三個信源分別為：①X與Z信源的差別：具體消息其含義不同；②X與Y信源的差別：同一消息的概率不同；③但它們的信息熵是相同的。第五十一頁，共八十二頁，2022年，8月28日2023/1/1851(3)最大離散熵定理(極值性)定理：

離散無記憶信源輸出n個不同的信息符號，當且僅當各個符號出現(xiàn)概率相等時(即p(xi)=1/n)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/n,1/n,…,1/n)=log2n

出現(xiàn)任何符號的可能性相等時，不確定性最大。第五十二頁，共八十二頁，2022年，8月28日2023/1/1852擴展性說明，增加一個概率接近于零的事件，信源熵保持不變。雖然小概率事件出現(xiàn)后，給予收信者較多的信息，但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它對于離散集的熵的貢獻可以忽略不計。這也是熵的總體平均性的一種體現(xiàn)。（4）擴展性第五十三頁，共八十二頁，2022年，8月28日2023/1/1853

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

含義：在概率空間中，只要有一個事件是必然事件，那么其它事件一定是不可能事件，因此信源沒有不確定性，熵必為0。(5)

確定性第五十四頁，共八十二頁，2022年，8月28日2023/1/1854(6)

可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)

第五十五頁，共八十二頁，2022年，8月28日2023/1/1855（7）極值性（最大離散熵定理）定理：

離散無記憶信源輸出n個不同的信息符號，當且僅當各個符號出現(xiàn)概率相等時(即

)，熵最大，即

第五十六頁，共八十二頁，2022年，8月28日2023/1/1856第五十七頁，共八十二頁，2022年，8月28日2023/1/1857

再令x=1/y，便得到(1-1/y)≤lny，于是有

1-1/x≤lnx第五十八頁，共八十二頁，2022年，8月28日2023/1/1858第五十九頁，共八十二頁，2022年，8月28日2023/1/1859

證極值性：令qi=1/n1，根據(jù)以上引理，有

Hn(p1,p2,…,pn)≤-∑pilog1/n=∑pilogn=logn當前僅當pi=1/n，i=1,2,….,n時，等號成立。表明：等概率場的平均不確定性最大，具有最大熵。第六十頁，共八十二頁，2022年，8月28日2023/1/1860可以被看做是一種新的概率分布。

是概率分布的嚴格上凸函數(shù)，即證明：（8）上凸性第六十一頁，共八十二頁，2022年，8月28日2023/1/1861三、條件熵定義：條件熵是在聯(lián)合符號集合XY上的條件自信息的數(shù)學(xué)期望。在已知Y時，X的條件熵為已知X時，Y的條件熵為條件熵是一個確定的值第六十二頁，共八十二頁，2022年，8月28日2023/1/1862

表示在已知的情況下,Y的平均不確定性。對于不同的xi

，是變化的。因此，是一個隨機變量。第六十三頁，共八十二頁，2022年，8月28日2023/1/1863四.聯(lián)合熵定義隨機變量X和Y的聯(lián)合分布為p(xiyj)，則這兩個隨機變量的聯(lián)合熵定義為：

聯(lián)合熵表示對于二維隨機變量的平均不確定性。第六十四頁，共八十二頁，2022年，8月28日2023/1/1864例：已知聯(lián)合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。第六十五頁，共八十二頁，2022年，8月28日2023/1/18651)H(XY)=

-[0.25*log2(0.25)+3*0.1*log2(0.1)+0.3*log2(0.3)+3*0.05*log2(0.05)]=2.665解：H(X)=2.0662)3)

H(Y)=1.856第六十六頁，共八十二頁，2022年，8月28日2023/1/18664)5)

H(X|Y)=0.809H(Y|X)=0.600第六十七頁，共八十二頁，2022年，8月28日2023/1/1867五、各種熵之間的關(guān)系

1)H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)2)H(X|Y)H(X)，H(Y|X)H(Y)3)H(XY)H(X)+H(Y)

若X與Y統(tǒng)計獨立，則H(XY)=H(X)+H(Y)可推廣到多個隨機變量的情況：第六十八頁，共八十二頁，2022年，8月28日2023/1/18683)式的證明：第六十九頁，共八十二頁，2022年，8月28日2023/1/1869故H(XY)H(X)+H(Y)

證畢第七十頁，共八十二頁，2022年，8月28日2023/1/18702.4平均互信息量一、平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計平均值。

稱I(X;Y)是Y對X的平均互信息量（簡稱平均互信息/交互熵）。X對Y的平均互信息定義為平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機性，成為一個確定的量。第七十一頁，共八十二頁，2022年，8月28日2023/1/1871性質(zhì)：I(X;yj)≥0二、平均條件互信息量定義：聯(lián)合集XY上，有yj提供的關(guān)于集X的平均條件互信息量等于由yj所提供的互信息量I(xi,yj)在整個X中以后驗概率加權(quán)的平均值。定義式：第七十二頁，共八十二頁，2022年，8月28日2023/1/1872則，平均互信息量的又一定義：定義：互信息量I(X;yj)在整個集Y上的概率加權(quán)平均值。定義式：當xi和yj相互獨立時，為0；第七十三頁，共八十二頁，2022年，8月28日2023/1/1873三、平均互信息量的物理含義①觀察者站在輸出端②觀察者站在輸入端