第2章 信息的度量

信息論基礎

尹洪勝主講

中國礦業(yè)大學信電學院SchoolofInformationandElectricalEngineering,CUMT第二章信息的度量

2.1信源的分類和數(shù)學模型2.2自信息和互信息2.3平均自信息2.4平均互信息

重點掌握：自信息、互信息、熵三個基本概念以及它們的主要性質(zhì)。中國礦業(yè)大學信電學院概述關(guān)于信息的度量有幾個重要的概念：（1）自信息：一個事件（消息）本身所包含的信息量，它是由事件的不確定性決定的。比如拋擲一枚硬幣的結(jié)果是正面這個消息所包含的信息量。

（2）互信息：一個事件所給出關(guān)于另一個事件的信息量，比如今天下雨所給出關(guān)于明天下雨的信息量。（3）平均自信息（信息熵）：事件集（用隨機變量表示）所包含的平均信息量，它表示信源的平均不確定性。比如拋擲一枚硬幣的試驗所包含的信息量。

（4）平均互信息：一個事件集所給出關(guān)于另一個事件集的平均信息量，比如今天的天氣所給出關(guān)于明天的天氣的信息量。

中國礦業(yè)大學信電學院復習：全概率公式、貝葉斯公式和乘法公式如果事件A1,A2,…Ai…,An構(gòu)成一個事件完備集，并且具有正概率，則對于任何一個事件B，有：中國礦業(yè)大學信電學院先驗（輸入）概率：[p(x)];PX輸出概率：[p(y)];PY聯(lián)合概率（矩陣）：[p(x,y)P;PXY后驗概率（矩陣）：

[p(x|y)];PX|Y信道轉(zhuǎn)移概率（矩陣）：[p(y|x)];PY|X矩陣之間關(guān)系：[PY]=[PX][PY|X](全概率公式)[PXY]=[PX]T[PY][PX]T=[PX|Y]

[PY]T

P(xi,yj)=…(貝葉斯公式)復習：相關(guān)概率描述及表示中國礦業(yè)大學信電學院2-1-1

信源的分類2-1-2信源的數(shù)學模型2-1信源的分類和數(shù)學模型中國礦業(yè)大學信電學院SchoolofInformationandElectricalEngineering,CUMT2-1-1

信源的分類信源的分類方法依信源特性而定，一般按照信源發(fā)出的消息在時間上和幅度上的分布情況，把信源分為：1.連續(xù)信源:發(fā)出在時間上和幅度上都是連續(xù)分布的連續(xù)消息的信源；2.離散信源:發(fā)出在時間上和幅度上都是離散分布的信源。3.離散信源又可以細分為：

離散信源離散無記憶信源離散有記憶信源發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源{{{中國礦業(yè)大學信電學院2-1-1

信源的分類（1）離散無記憶信源：所發(fā)出的各個符號之間是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。（2）離散有記憶信源

發(fā)出的各個符號之間不是相互獨立的，各個符號出現(xiàn)的概率是有關(guān)聯(lián)的。也可以根據(jù)信源發(fā)出一個消息所用符號的多少，將離散信源分為：（3）發(fā)出單個符號的離散信源信源每次只發(fā)出一個符號代表一個消息；（4）發(fā)出符號序列的離散信源信源每次發(fā)出一組含二個以上符號的符號序列代表一個消息。中國礦業(yè)大學信電學院2-1-1

信源的分類將以上兩種分類結(jié)合，就有四種離散信源：發(fā)出單個符號的無記憶離散信源；（先驗概率）發(fā)出符號序列的無記憶離散信源；（聯(lián)合概率）發(fā)出符號序列的有記憶離散信源；（聯(lián)合概率）發(fā)出符號序列的馬爾可夫離散信源。（條件概率）一類重要的符號序列有記憶離散信源-馬爾可夫信源：某一個符號出現(xiàn)的概率只與前面一個或有限個符號有關(guān)，而不依賴更前面的那些符號。中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型正如緒論中所述，在通信系統(tǒng)中收信者在未收到消息以前，對信源發(fā)出什么消息是不確定的，所以可用隨機變量或隨機矢量來描述信源輸出的消息。或者說，用概率空間來描述信源。離散信源的數(shù)學模型就是離散型的概率空間：1.單符號信源假設信源X可能取的消息(符號集，或稱為字符集、字母集)只有q個：，而且每次必定取其中一個:而且稱為符號的先驗概率，那么單個符號的無記憶離散信源的數(shù)學模型為：中國礦業(yè)大學信電學院所有符號（字母）的先驗概率且滿足

2-1-2信源的數(shù)學模型中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型

2.長度為N的符號序列信源

我們知道，在實際應用中，很多信源輸出的消息往往是由一系列符號所組成的。例如中文信源的樣本空間集合X是所有漢字及標點符號的集合。由這些單字和標點符號組成的消息即是中文句子和文章。從時間上看，中文信源的輸出是時間上離散的一系列符號，而其中每個符號的出現(xiàn)是隨機的，由此構(gòu)成了不同的中文消息。中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型又例如對離散化的平面圖像來說，從空間上來看是一系列離散的符號，而空間每一點的符號(灰度)又都是隨機的，由此形成了不同的圖像。所以我們可以把一般信源輸出的消息看作為時間或空間上離散的一系列隨機變量，即隨機矢量。這樣，信源的輸出可用N維隨機矢量

來描述，其中N可為有限正整數(shù)或可數(shù)的無限值。

中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型在上述隨機矢量中，若每個隨機變量都是離散的，則可用N重離散概率空間來描述這類信源。即若N維隨機矢量中則

中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型信源的N重概率空間為：這個空間共有個元素。在某些簡單的情況下，信源先后發(fā)出的一個個符號彼此是統(tǒng)計獨立的，則N維隨機矢量的聯(lián)合概率分布滿足:中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型即N維隨機矢量的聯(lián)合概率分布可用隨機矢量中單個隨機變量的概率乘積來表示。這種信源就是離散無記憶信源。一般情況下，信源先后發(fā)出的符號之間是互相依賴的。例如在中文字母組成的中文消息中，前后文字的出現(xiàn)是有依賴的，不能認為是彼此不相關(guān)的，放在N維隨機矢量的聯(lián)合概率分布中，就必然要引入條件概率分布來說明它們之間的關(guān)聯(lián)。這種信源即有記憶信源。

中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型表述有記憶信源要比表述無記憶信源困難得多。實際上信源發(fā)出的符號往往只與前面幾個符號的依賴關(guān)系較強，而與更前面的符號依賴關(guān)系就弱。為此可以限制隨機序列的記憶長度。當記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源所發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。中國礦業(yè)大學信電學院2-1-2信源的數(shù)學模型這樣就可用馬爾可夫鏈來描述信源。這時描述符號之間依賴關(guān)系的條件概率為如果條件概率與時間起點j無關(guān)，即信源輸出的消息可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可夫信源。

中國礦業(yè)大學信電學院2.2

自信息和互信息2.2.1自信息

隨機事件的自信息量

是該事件發(fā)生概率的函數(shù)，并且應該滿足以下公理化條件：

1.

是的嚴格遞減函數(shù)。當時，，概率越小，事件發(fā)生的不確定性越大，事件發(fā)生以后所包含的自信息量越大。

2．

極限情況下當=0時，；當=1時，=0。

3．

另外，從直觀概念上講，由兩個相對獨立的不同的消息所提供的信息量應等于它們分別提供的信息量之和。可以證明，滿足以上公理化條件的函數(shù)形式是對數(shù)形式。中國礦業(yè)大學信電學院定義2.1隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值。設事件的概率為，則它的自信息定義為

從圖2.1種可以看到上述信息量的定義正是滿足上述公理性條件的函數(shù)形式。代表兩種含義：當事件發(fā)生以前，等于事件發(fā)生的不確定性的大?。划斒录l(fā)生以后，表示事件所含有或所能提供的信息量。圖2.1自信息量2.2.1自信息中國礦業(yè)大學信電學院自信息量的單位與所用對數(shù)的底有關(guān)。

（1）常取對數(shù)的底為2，信息量的單位為比特（bit，binaryunit）。當=1/2時，=1比特，即概率等于1/2的事件具有1比特的自信息量。（2）若取自然對數(shù)（對數(shù)以e為底），自信息量的單位為奈特（nat，naturalunit）。1奈特=比特=1.443比特

（3）工程上用以10為底較方便。若以10為對數(shù)底，則自信息量的單位為哈特萊（Hartley）。1哈特萊=比特=3.322比特（4）如果取以r為底的對數(shù)（r>1），則=進制單位

1r進制單位=比特2.2.1自信息中國礦業(yè)大學信電學院2-2-1自信息量不確定度與自信息量

隨機事件的不確定度在數(shù)量上等于它的自信息量，兩者的單位相同，但含義卻不同。即有某種概率分布的隨機事件不管發(fā)生與否，都存在不確定度，而自信息量是在該事件發(fā)生后給予觀察著的信息量。中國礦業(yè)大學信電學院2-2-1自信息量兩個消息、同時出現(xiàn)的聯(lián)合自信息量：用聯(lián)合概率來表示，聯(lián)合自信息量為當和相互獨立時，有

于是有

聯(lián)合自信息量中國礦業(yè)大學信電學院2-2-1自信息量

條件自信息量：當和相互聯(lián)系時，在事件出現(xiàn)的條件下，的自信息量稱為條件自信息量，定義

為在事件出現(xiàn)的條件下，發(fā)生的條件概率。例2.1講解p9中國礦業(yè)大學信電學院2.2.2

互信息

定義2.2一個事件所給出關(guān)于另一個事件的信息定義為互信息，用表示。

互信息是已知事件后所消除的關(guān)于事件的不確定性，它等于事件本身的不確定性減去已知事件后對仍然存在的不確定性。

互信息的引出，使信息得到了定量的表示，是信息論發(fā)展的一個重要的里程碑。例2.2講解9中國礦業(yè)大學信電學院2.3

平均自信息

2.3.1平均自信息（信息熵）的概念

自信息量是信源發(fā)出某一具體消息所含有的信息量，發(fā)出的消息不同所含有的信息量不同。因此自信息量不能用來表征整個信源的不確定度。我們定義平均自信息量來表征整個信源的不確定度。平均自信息量又稱為信息熵、信源熵，簡稱熵。因為信源具有不確定性，所以我們把信源用隨機變量來表示，用隨機變量的概率分布來描述信源的不確定性。通常把一個隨機變量的所有可能的取值和這些取值對應的概率稱為它的概率空間。

中國礦業(yè)大學信電學院2.3.1平均自信息（信息熵）的概念定義2.3隨機變量X的每一個可能取值的自信息的統(tǒng)計平均值定義為隨機變量X的平均自信息量:

這里q為的所有X可能取值的個數(shù)。

熵的單位也是與所取的對數(shù)底有關(guān)，根據(jù)所取的對數(shù)底不同，可以是比特/符號、奈特/符號、哈特萊/符號或者是r進制單位/符號。通常用比特/符號為單位。

一般情況下，信息熵并不等于收信者平均獲得的信息量，收信者不能全部消除信源的平均不確定性，獲得的信息量將小于信息熵。

中國礦業(yè)大學信電學院2.3.2

熵函數(shù)的性質(zhì)

信息熵是隨機變量X的概率分布的函數(shù)，所以又稱為熵函數(shù)。如果把概率分布，記為，則熵函數(shù)又可以寫成概率矢量的函數(shù)的形式，記為。熵函數(shù)具有以下性質(zhì)：

1.對稱性：（引出加權(quán)熵擴展）

該性質(zhì)說明熵函數(shù)僅與信源的總體統(tǒng)計特性有關(guān)。

中國礦業(yè)大學信電學院2.3.2

熵函數(shù)的性質(zhì)2.確定性：

在概率矢量中，只要有一個分量為1，其它分量必為0，它們對熵的貢獻均為0，因此熵等于0。也就是說確定信源的不確定度為0。3.非負性：對確定信源，等號成立。信源熵是自信息的數(shù)學期望，自信息是非負值，所以信源熵必定是非負的。4.擴展性：

這個性質(zhì)的含義是增加一個基本不會出現(xiàn)的小概率事件，信源的熵保持不變。5.連續(xù)性：即信源概率空間中概率分量的微小波動，不會引起熵的變化。

中國礦業(yè)大學信電學院2.3.2

熵函數(shù)的性質(zhì)6．遞增性這性質(zhì)表明，假如有一信源的n個元素的概率分布為，其中某個元素又被劃分成m個元素，這m個元素的概率之和等于元素的概率，這樣得到的新信源的熵增加，熵增加了一項是由于劃分產(chǎn)生的不確定性。例2.4講解p137.極值性：

式中n是隨機變量X的可能取值的個數(shù)。極值性表明離散信源中各消息等概率出現(xiàn)時熵最大，這就是最大離散熵定理。連續(xù)信源的最大熵則與約束條件有關(guān)。

中國礦業(yè)大學信電學院2-2-3熵的基本性質(zhì)香農(nóng)輔助定理對于任意n及概率矢量和

，有如下不等式成立

只有當P=Q時，上式取等號。（給出板書證明）

中國礦業(yè)大學信電學院2.3.2

熵函數(shù)的性質(zhì)8.上凸性:是嚴格的上凸函數(shù)，設

則對于任意小于1的正數(shù)有以下不等式成立：

凸函數(shù)在定義域內(nèi)的極值必為極大值，可以利用熵函數(shù)的這個性質(zhì)可以證明熵函數(shù)的極值性。

（給出板書證明）

中國礦業(yè)大學信電學院解釋：設有矢量函數(shù)對于的定義域中任意兩個矢量X，Y，若滿足不等式則稱f嚴格上凸。其幾何意義為：在上凸函數(shù)任兩點畫一條割線，函數(shù)總在割線上方。2.3.2熵函數(shù)的性質(zhì)中國礦業(yè)大學信電學院2.3.2

熵函數(shù)的性質(zhì)直觀來看，隨機變量的不確定程度并不都是一樣的。香農(nóng)指出，存在這樣的不確定性的度量，它是隨機變量的概率分布的函數(shù)，而且必須滿足三個公理性條件：

1.連續(xù)性條件：應是的連續(xù)函數(shù)；

2.等概時為單調(diào)函數(shù)：應是的增函數(shù)；

3.遞增性條件：當隨機變量的取值不是通過一次試驗而是若干次試驗才最后得到時，隨機變量在各次試驗中的不確定性應該可加，且其和始終與通過一次試驗取得的不確定程度相同，即：其中中國礦業(yè)大學信電學院2.3.3

聯(lián)合熵與條件熵

一個隨機變量的不確定性可以用熵來表示，這一概念可以方便地推廣到多個隨機變量。

定義2.4

二維隨機變量的概率空間表示為其中滿足概率空間的非負性和完備性：

中國礦業(yè)大學信電學院2.3.3

聯(lián)合熵與條件熵二維隨機變量的聯(lián)合熵定義為聯(lián)合自信息的數(shù)學期望，它是二維隨機變量的不確定性的度量。

定義2.5給定時，的條件熵：其中，表示已知時，的平均不確定性。

中國礦業(yè)大學信電學院2.3.4各類熵之間的關(guān)系：1．聯(lián)合熵與信息熵、條件熵的關(guān)系：（給出板書證明）

這個關(guān)系可以方便地推廣到N個隨機變量的情況：

稱為熵函數(shù)的鏈規(guī)則。推論：當二維隨機變量X，Y相互獨立時，聯(lián)合熵等于X和Y各自熵之和：

2．條件熵與信息熵的關(guān)系：（給出板書證明）

3．聯(lián)合熵和信息熵的關(guān)系：當X、Y相互獨立時等號成立。

例2.5講解p18中國礦業(yè)大學信電學院

2.4

平均互信息2.4.1

平均互信息的概念

為了從整體上表示從一個隨機變量Y所給出關(guān)于另一個隨機變量的信息量，我們定義互信息在的聯(lián)合概率空間中的統(tǒng)計平均值為隨機變量X和Y間的平均互信息：定義2.6

中國礦業(yè)大學信電學院

2.4.2

平均互信息的性質(zhì)

1.非負性:

平均互信息是非負的，說明給定隨機變量Y后，一般來說總能消除一部分關(guān)于X的不確定性。

2.互易性（對稱性）：對稱性表示Y從X中獲得關(guān)于的信息量等于X從Y中獲得關(guān)于的信息量。3.平均互信息和各類熵的關(guān)系:

當統(tǒng)計獨立時，中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)4.極值性：

極值性說明從一個事件提取關(guān)于另一個事件的信息量，至多只能是另一個事件的平均自信息量那么多，不會超過另一事件本身所含的信息量。5.凸函數(shù)性:

定理2.1當條件概率分布給定時，平均互信息是輸入分布的上凸函數(shù)。

定理2.2

對于固定的輸入分布，平均互信息量是條件概率分布的下凸函數(shù)。

中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)上凸性證明：由平均互信息量的定義若固定信道，調(diào)整信源則I(X;Y)=f(p(xi))(上凸)

中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)（1）平均互信息量I(X;Y)是輸入信源概率分布p(xi)的上凸函數(shù)。（用于信道容量計算）所謂上凸函數(shù)，是指同一信源集合{x1,x2,….xn},對應兩個不同的概率分布p1(xi)和p2(xi)(i=1,2,…n),若有小于1的正數(shù)0<α<1,使不等式f(αp1(xi)+(1-α)p2(xi))≥αf(p1(xi))+(1-α)f(p2(xi))成立，則稱函數(shù)f為p(xi)的上凸函數(shù)。證明：令p3(xi)=αp1(xi)+(1-α)p2(xi),因為p3(xi)是p1(xi)和p2(xi)的線性組合，p3(xi)構(gòu)成一個新的概率分布。當固定信道特性為p0(yj/xi)時，由p3(xi)確定的平均互信息量為：中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)根據(jù)香農(nóng)輔助定理有：

中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)將上式代入：當p3(xi)=p1(xi)且p3(xi)=p2(xi)時等號成立，從而證明以上定理

中國礦業(yè)大學信電學院解釋物理意義

信息流通的根本問題，是定量計算信宿收到信道輸出的某一符號后，從中獲取關(guān)于信源某一符號的信息量信源X有擾離散信道信宿Y干擾源

簡單的通信系統(tǒng)模型2.4.2平均互信息的性質(zhì)中國礦業(yè)大學信電學院2.4.2

平均互信息的性質(zhì)中國礦業(yè)大學信電學院

信源