第2章信源與信息熵

第2章信源與信息熵2.1

信源描述與分類2.2離散信源的信息熵和互信息2.3離散序列信源的熵*2.4

連續(xù)信源的熵與互信息2.5冗余度12.1信源的描述與分類信源定義

信源是產(chǎn)生消息（符號）、消息序列和連續(xù)消息的來源。從數(shù)學(xué)上，由于消息的不確定性，因此，信源是產(chǎn)生隨機(jī)變量、隨機(jī)序列和隨機(jī)過程的源。信源的基本特性是具有隨機(jī)不確定性。22.1信源特性與分類信源分類(1)按信源發(fā)出消息在時間和幅度上分布情況離散信源:時間和幅度上都是離散分布的離散消息。如:文字、數(shù)字等。

單符號離散信源符號序列離散信源連續(xù)信源:時間或幅度上是連續(xù)分布的連續(xù)消息。如:話音、圖像等。32.1信源特性與分類(2)按信源發(fā)出的符號之間關(guān)系無記憶信源:發(fā)出單個符號和發(fā)出符號序列無記憶信源。有記憶信源:發(fā)出符號序列的有記憶信源和發(fā)出符號序列的馬爾可夫信源。(3)按照輸出序列的平穩(wěn)性，可分為：平穩(wěn)信源：發(fā)出符號或符號序列統(tǒng)計(jì)性質(zhì)與時間的推移無關(guān)非平穩(wěn)信源42.1信源描述與分類幾個概念樣本空間：某事物各種可能出現(xiàn)的不同狀態(tài)，即所有可能選擇的消息集合。概率測度：每一個可能選擇消息的概率，又稱先驗(yàn)概率。后驗(yàn)概率：指條件概率P(ai/bj)。概率空間：一個樣本空間和它的概率測度組合。52.1信源描述與分類信源數(shù)學(xué)模型描述：通過概率空間描述（1）單符號離散信源其中,符號集A={u1,u2,u3……un}，UA成為U的樣本空間，且pi≥0，。

62.1信源描述與分類例1：對某個二進(jìn)制數(shù)字與數(shù)據(jù)信源72.1信源描述與分類例2：有100個球，其中有80個紅色球，20個白色球，隨機(jī)取出一個球，然后放回，再隨機(jī)取一個球，如此反復(fù)。每次取球?yàn)楹畏N顏色作為消息，則隨機(jī)變量X的樣本空間集A={x1=“紅色”,x2=“白色”}，而X的概率分布p(x1)=0.8,p(x2)=0.2，信源的概率空間為82.1信源描述與分類（2）離散序列信源：每次發(fā)出1組含2個以上符號的符號序列來代表一個消息的信源。每個消息要用符號序列來描述，即用隨機(jī)序列或隨機(jī)矢量來描述：

X=(x1x2…xL)x

∈{a1，a2

·

··an

}

最簡單L=2情況，此時信源X=(x1，x2)。其概率空間為：92.1信源描述與分類例3：以3位PCM（脈沖編碼調(diào)制）信源為例當(dāng)p=1/2102.1信源描述與分類（3）連續(xù)信源:輸出消息取值是無限的，即可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值。其數(shù)學(xué)模型為連續(xù)型的概率空間

且概率密度分布函數(shù)P(u)≥0,。符號集中的取值是介于（a,b）之間連續(xù)值，P(u)概率密度分布函數(shù)。112.1信源描述與分類例4：一個袋中有很多干電池，隨機(jī)摸出一個，測其電壓值作為輸出符號，該信源每次輸出一個符號，但符號取值在[0，1.5]之間的所有實(shí)數(shù)，可用連續(xù)型隨機(jī)變量U來描述，連續(xù)信源的概率空間為顯然滿足P(u)≥0,

。122.1信源描述與分類無記憶信源定義：所發(fā)出的各個符號或符號序列之間無統(tǒng)計(jì)（概率）關(guān)聯(lián)性。則N維隨機(jī)矢量的聯(lián)合概率分布滿足:

P(X=X1X2X3…XN)=P1(Ｘ1)P2(Ｘ2)…PＮ(ＸＮ)132.1信源描述與分類（1）單符號無記憶信源

定義：離散無記憶信源是由n個單符號消息組成的集合

X={x1，x2

···xn

}，這n個符號消息的概率分布為：稱為符號xi

的先驗(yàn)概率,離散信源數(shù)學(xué)模型表示為：

稱為概率空間,其中142.1信源描述與分類例5：離散無記憶信源單個符號X={0,1}X={A,B,…,Z}

如果知道它們的樣本對應(yīng)的概率就可以描述出該信源數(shù)學(xué)模型。

152.1信源描述與分類單符號無記憶信源的性質(zhì)它是最簡單也是最基本的信源，是組成實(shí)際信源的基本單元。當(dāng)信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計(jì)特性，因此有時也把這個概率空間稱為信源空間。這些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次只輸出其中一個消息。因此，可以用一個離散型隨機(jī)變量X來描述這個信源輸出的消息。這個隨機(jī)變量X的樣本空間就是符號集A；而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率，信源的概率空間必定是一個完備集。162.1信源描述與分類(2)序列符號無記憶信源定義：每次發(fā)出1組含2個及以上符號的符號序列來代表一個消息的信源。每個消息要用符號序列來描述，即用隨機(jī)序列或隨機(jī)矢量X=(x1x2…xL)

來描述,這些符號序列中的各個符號之間沒有統(tǒng)計(jì)關(guān)聯(lián)性,各個符號出現(xiàn)的概率是它自身的先驗(yàn)概率,即

P(X=X1X2X3…XN)=P1(X1)P2(X2)…PN(XN)。172.1信源描述與分類最簡單L=2的情況，其概率分布為：其中：

且182.1信源描述與分類例6:

符號序列X={00,01,10,11}X={AA,AB,…,AZ,BA,BB,…,BZ,…,ZZ}192.1信源描述與分類(3)離散平穩(wěn)信源

定義：對于離散隨機(jī)變量序列X1,X2,…,在任意兩個不同時刻i和j（i和j為大于1的任意整數(shù)），信源發(fā)出的消息序列的概率分布完全相同，即對于任意的N=0,1,2,…；XiXi+1…Xi+N和XjXj+1…Xj+N具有相同的概率分布，也就是

P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)┇P(XiXi+1…Xi+N)=P(XjXj+1…Xj+N)

即各維聯(lián)合概率分布均與時間起點(diǎn)無關(guān)的信源稱為離散平穩(wěn)信源。一般來說，我們假設(shè)信源輸出的是平穩(wěn)的隨機(jī)序列，也就是序列的統(tǒng)計(jì)性質(zhì)與時間的推移無關(guān)。很多序列符號無記憶信源也滿足這個假設(shè)（如取球的例子，概率分布不隨時間變化）202.1信源描述與分類離散平穩(wěn)信源中一些特征：

P(Xi+1|Xi)=P(Xj+1|Xj)┇

P(Xi+N|XiXi+1…Xi+N-1)=P(Xj+N|XjXj+1…Xj+N-1)

即離散平穩(wěn)信源的條件概率分布均與時間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。這樣，又可推導(dǎo)出

H(X1)=H(X2)=…=H(XN)H(X2|X1)=H(X3|X2)=…=H(XN|XN-1)H(X3|X1X2)=H(X4|X2X3)=…=H(XN|XN-2XN-1)┇

212.1信源描述與分類例7:一個例子中，如果每次取出兩個球，則兩個球的顏色組成的消息就是符號序列。如先取出一個球，記下顏色后再取出另外一個球，則每次取出的兩個球的顏色是獨(dú)立的，因而該信源是無記憶的，即發(fā)出符號序列的無記憶信源。由于布袋中紅球、白球的分布情況不隨時間變化，也就是信源發(fā)出的序列的統(tǒng)計(jì)性質(zhì)與時間的推移無關(guān)，是平穩(wěn)的隨機(jī)序列。這一點(diǎn)特別重要，會給問題的分析帶來很大的方便，于是每個變量的一維分布都相同：有時也將這種信源稱為離散無記憶信源X的L次擴(kuò)展信源。222.1信源描述與分類有記憶信源定義：所發(fā)出的各個符號或符號序列之間有統(tǒng)計(jì)（概率）關(guān)聯(lián)性。一般情況下，信源在不同時刻發(fā)出的符號之間是相互依賴的。表述有記憶信源要比表述無記憶信源困難得多。實(shí)際上可以限制隨機(jī)序列的記憶長度。當(dāng)記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。232.1信源描述與分類(1)序列符號有記憶信源其概率分布比較復(fù)雜，需要引入條件概率來反映符號序列內(nèi)各個符號之間的記憶特征：

在實(shí)際應(yīng)用中限制記憶的長度，使問題簡化。242.1信源描述與分類例8：在一個布袋中放100個球，其中80個球是紅色的，20個球是白色的，隨機(jī)的從布袋中取球，則取出球的顏色帶有隨機(jī)性，由此布袋可看作一個離散信源。每次取球時，先取出一個球，記下顏色后不放回布袋，接著取另一個，這在取第二個球時布袋中紅白顏色球的概已于第一次不同，此時的概率分布與第一個球的顏色有關(guān)。因此是有記憶離散信源。（P9）

現(xiàn)實(shí)中還有許多其它的例子，如英文單詞，字母間是有關(guān)聯(lián)性的。不是任何字母都能組成有意義的單詞。252.1信源描述與分類(2)馬爾可夫信源a)馬爾可夫鏈定義：

若某事件發(fā)生的概率只與前m個事件相關(guān)，而與更前面的事件無關(guān)，那么該事件集合稱為馬爾可夫鏈，其概率可描述為：262.1信源描述與分類b)馬爾可夫信源定義：

表述有記憶信源要比表述無記憶信源困難得多。實(shí)際上信源發(fā)出的符號往往只與前若干個符號的依賴關(guān)系強(qiáng)，而與更前面的符號依賴關(guān)系弱。為此，可以限制隨機(jī)序列的記憶長度，這樣就構(gòu)成馬爾可夫鏈。當(dāng)記憶長度為m+1時，稱這種有記憶信源為m階馬爾可夫信源。也就是信源每次發(fā)出的符號只與前m個符號有關(guān)，與更前面的符號無關(guān)。27c)一階馬爾可夫信源的數(shù)學(xué)描述

如果上述條件概率與時間起點(diǎn)i無關(guān)，即信源輸出的符號序列可看成為時齊馬爾可夫鏈，則此信源稱為時齊馬爾可夫信源。（齊次馬爾可夫信源）2.1信源描述與分類282.1信源描述與分類d)馬爾可夫狀態(tài)分析對于高階馬爾可夫鏈通常轉(zhuǎn)化為一階馬爾可夫過程來處理。對于m階馬爾可夫信源，將該時刻以前的出現(xiàn)的m個符號定義為一個狀態(tài)si，即：

其中x

∈{a1，a2

···an

}

共有Q=nm種可能取值，即狀態(tài)集S={s1,s2…sQ}這樣，條件概率就可以表示為：292.1信源描述與分類更進(jìn)一步的，當(dāng)信源所處的狀態(tài)發(fā)生變化，并轉(zhuǎn)入一個新的狀態(tài)，此時上述條件概率可以表示為狀態(tài)之間的轉(zhuǎn)移：更一般的，在時刻ｍ系統(tǒng)處于狀態(tài)的條件下，經(jīng)ｎ－ｍ步后轉(zhuǎn)移到狀態(tài)的概率用狀態(tài)轉(zhuǎn)移概率表示。

其中，且。上式也可以理解為在時刻ｍ系統(tǒng)處于狀態(tài)ｉ的條件下，在時刻ｎ系統(tǒng)處于狀態(tài)ｊ的條件概率，故狀態(tài)轉(zhuǎn)移概率實(shí)際上是一個條件概率。302.1信源描述與分類通常特別關(guān)心ｎ－ｍ＝１的情況，即，記為稱為基本轉(zhuǎn)移概率，也稱為一步轉(zhuǎn)移概率。于是有：對于齊次馬爾可夫鏈，其轉(zhuǎn)移具有推移不變性，即只與狀態(tài)有關(guān)，與時刻無關(guān)，故可表示為：類似的，可以定義ｋ步轉(zhuǎn)移概率：312.1信源描述與分類轉(zhuǎn)移概率矩陣：系統(tǒng)在任一時刻可處于狀態(tài)空間中的任意一個狀態(tài)，因此轉(zhuǎn)移概率是個矩陣，利用一步轉(zhuǎn)移概率可得：該矩陣中，每一個元素對應(yīng)一個轉(zhuǎn)移概率，整個矩陣表征了狀態(tài)空間中所有可能的轉(zhuǎn)移，并且每行代表了從一個狀態(tài)轉(zhuǎn)移到所有狀態(tài)的概率，轉(zhuǎn)移概率和均為１。每列代表了從所有狀態(tài)轉(zhuǎn)移到一個狀態(tài)的概率，概率之和不一定為１。32K步轉(zhuǎn)移概率pij(k)與l（l<k）步和k-l步轉(zhuǎn)移概率之間有所謂的切普曼－柯爾莫郭洛夫（Chapman-Kormotopob)方程：上式右側(cè)是對所有可能值求和，因而也就是k步轉(zhuǎn)移概率，特別的當(dāng)l=1時，若用矩陣表示：

從這一遞推關(guān)系可知，對于齊次馬爾可夫鏈，一步轉(zhuǎn)移概率完全決定了k步轉(zhuǎn)移概率。2.1信源描述與分類33為了確定無條件概率P（Sk=sj），令初始概率（初始時各狀態(tài)的出現(xiàn)概率）為：某一狀態(tài)的概率為：這是一個計(jì)算狀態(tài)轉(zhuǎn)移概率的基本公式。2.1信源描述與分類34穩(wěn)態(tài)分布概率：若轉(zhuǎn)移概率的極限存在，即不論馬爾可夫鏈的起始狀態(tài)是什么，最后都將等于某固定值。(但求解很困難)穩(wěn)態(tài)分布的求法(若有極限，則穩(wěn)態(tài)分布Wi可用下式)應(yīng)用上述公式求穩(wěn)態(tài)分布需要馬爾可夫鏈為遍歷的（P14），還需要滿足不可約性和非周期性。2.1信源描述與分類35上節(jié)課內(nèi)容回顧1、無記憶信源概念P(X=X1X2X3…XN)=P1(X1)P2(X2)…PN(XN)2、有記憶信源概念3、馬爾可夫信源

A、概念

B、狀態(tài)分析過程（有多少狀態(tài)----nm個）

穩(wěn)定狀態(tài)分布的推導(dǎo)，求即求（1）判斷不可約性（2）判斷非周期性（3）36不可約性：所謂不可約性，就是對于任一狀態(tài)，都可以達(dá)到另外一個狀態(tài)，即存在：否則即稱該馬爾可夫鏈?zhǔn)强杉s的。如下圖中的馬爾可夫鏈就是可約的。

s1s2s31/21/21/211/2s4s51/21/21/21/237非周期性：所謂非周期性，就是的n中沒有比1大的公因子。圖中的矩陣就是周期為2的矩陣，其轉(zhuǎn)移概率為：因?yàn)楫?dāng)k為奇數(shù)或偶數(shù)時，其結(jié)果是不一樣的，這樣就達(dá)不到穩(wěn)定狀態(tài)。s1s2s4s31/21/21/21/21/21/21/21/2含義？？38例9：

如圖所示是一個相對碼編碼器，輸入的碼，r=1,2,…為相對獨(dú)立的，取值為0或1，且已知

輸出的碼為，求其穩(wěn)態(tài)分布。+TXrYr01qqpp相對編碼器狀態(tài)轉(zhuǎn)移圖39例10:有一二階馬爾可夫鏈其狀態(tài)圖如圖所示，求其穩(wěn)態(tài)分布。s1s2s3s40110(0)1/4(1)1/2(0)1/500(0)1/211(1)4/5(0)1/3(0)1/3(1)2/340概率論知識復(fù)習(xí)基本事件：隨機(jī)試驗(yàn)的每一個可能的結(jié)果（樣本點(diǎn)）。樣本空間：基本事件的集合。隨機(jī)事件：無論基本事件還是復(fù)雜事件，它們在試驗(yàn)中發(fā)生與否，都帶有隨機(jī)性。先驗(yàn)概率：根據(jù)以往的統(tǒng)計(jì)規(guī)律得到的。1）條件概率41必須掌握的概率論知識2）聯(lián)合概率3)全概率：設(shè)B1,B2,…是一系列互不相容的事件(Bi∩Bj

=0），且有B1∪B2∪…=Ω（樣本空間）；

p（Bi）＞0，i=1，2，…，則對任一事件A，有：424)Bayes（貝葉斯）公式:

設(shè)B1,B2,…是一列互不相容的事件(Bi∩

Bj

=0），且有B1∪B2∪…=Ω（樣本空間）；

p（Bi）＞0，i=1，2，…，則對任一事件A，有：必須掌握的概率論知識432.2離散信源熵和互信息信息量自信息量聯(lián)合自信息量條件自信息量離散信源熵（單符號和序列）符號熵條件熵聯(lián)合熵連續(xù)信源熵（了解）442.2.1離散信源熵自信息定義：對于給定的離散概率空間表示的信源，x=ai事件所對應(yīng)的（自）信息為以2為底，單位為比特（bit)以e為底，單位為奈特（nat)以10為底，單位為笛特（det)轉(zhuǎn)換關(guān)系如下：1nat=log2e≈1.433bit，1det=log210≈3.322bit452.2.1離散信源熵例1：若發(fā)出二進(jìn)制碼元0和1信源，當(dāng)符號概率為p(0)=1/4,p(1)=3/4，則這兩個符號所包含的自信息量分別為多少？解：I(0)=-Ib(1/4)=lb4=2bitI(1)=-Ib(3/4)=lb(4/3)=0.415bit可見，因?yàn)?出現(xiàn)的概率小，因而一旦出現(xiàn)，給予觀察者的信息量就很大。462.2.1離散信源熵例2：英文字母中“e”的出現(xiàn)概率為0.105，“c”的出現(xiàn)概率為０.023，“o”的出現(xiàn)概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量“c”的自信息量“o”的自信息量472.2.1離散信源熵自信息量的幾個性質(zhì)：1）單調(diào)遞減性，若有兩個事件xi

，xj

其先驗(yàn)概率為p(xi)＜p(xj)，則事件xi

比事件xj

有更大的不確定性，同時會帶來更多的信息量；I(xi

)>I(xj

)2）事件xi先驗(yàn)概率p(xi)=1（確定事件）,則不存在不確定性，同時不會帶來信息量，I(xi)=0.3）事件xi先驗(yàn)概率p(xi)=0（不可能事件）,則存在不確定性應(yīng)為無窮大，同時會帶來無窮的信息量；I(xi)→∞。4）可加性，兩個統(tǒng)計(jì)獨(dú)立事件的聯(lián)合自信息量應(yīng)等于它們各自信息量之和;即I(x，y

)=-logp(x，y

),當(dāng)x，y

相互獨(dú)立時，則I(x，y

)=I(x)＋I(xiàn)(y

)5）非負(fù)性，自信息量永遠(yuǎn)不可能是負(fù)值，這由概率決定。48自信息量、聯(lián)合自信息量和條件自信息量

三者之間的關(guān)系49例3:居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占總數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量?解:設(shè)事件A為女孩是大學(xué)生；設(shè)事件B為女孩身高1.6米以上。則:

p(A)=0.25

p(B)=0.50

p(B/A)=0.7550“身高1.6米以上的某女孩是大學(xué)生”表明在B事件發(fā)生的條件下，A事件發(fā)生,所以其概率為p(A/B)。由貝葉斯定律公式:

由“身高1.6米以上的某女孩是大學(xué)生”，獲得信息量為

【例3】居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占總數(shù)一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量?512.2.1離散信源熵信源熵一個信源X發(fā)出的符號往往不只一個，各個符號的自信息量不同。信源X發(fā)出某特定符號提供的自信息量不適合描述信源X發(fā)出隨機(jī)符號提供的信息量。我們關(guān)心的是整個系統(tǒng)的統(tǒng)計(jì)特性，將信源符號集合的平均不確定度定義為熵。定義：信息源的平均不確定度為信源中各個符號不確定度的數(shù)學(xué)期望，記作H(X)

其中

H(X)又稱為信源X的信源熵（平均自信息量）。522.2.1離散信源熵例4:一個布袋內(nèi)放100個球，其中80個球是紅色的，20個球是白色的，若隨機(jī)摸取一個球，猜測其顏色，求平均摸取一次所能獲得的自信息量。這一隨機(jī)事件的概率空間為:為紅球，信息量為白球，信息量每次摸出一個球后又放回袋中，再進(jìn)行下一次摸取。隨機(jī)摸取n次后總共所獲得的信息量為:532.2.1離散信源熵平均隨機(jī)摸取一次所獲得的信息量則為

自信息量只是表征信源中各個符號的不確定度，一個信源總是包含著多個符號消息，各個符號消息又按概率空間的先驗(yàn)概率分布，因而各個符號的自信息量就不同。54例5:

信源一：不等概信源熵（比特/符號）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1（比特/符號）2.2.1離散信源熵552.2.1離散信源熵

信源三:

等概信源熵H(X3)=-4×0.25log0.25=log4=2（比特/符號）信源四：信源為確定事件熵H(X4)=-0log0–1log1=0

（比特/符號）

計(jì)算結(jié)果說明確定事件的熵為零（P19規(guī)定）

562.2.1離散信源熵例6:二元信源是離散信源的一個特例。該信源X輸出符號只有兩個，設(shè)為0和1。輸出符號發(fā)生的概率分別為p和q，p+q=1。即信源的概率空間為可得二元信源熵為

二元信源熵為

信源信息熵H(X)是概率p的函數(shù)，通常用H(p)表示。函數(shù)曲線如圖p=q=0.5時，H(X)最大。(如同勢均力敵的對手，其戰(zhàn)斗結(jié)果最難預(yù)料）572.2.1離散信源熵例7:（1）電視畫面有500×600=3×105個像素點(diǎn)，每點(diǎn)有10個灰度等級，各種畫面等可能出現(xiàn)，則有n=10300000個畫面，平均每個畫面可提供的信息量為

H(X)==logn=log10300000=3×105det/畫面=3.322×3×105bit/畫面（2）有一篇1000字文章，假定每字可從10000字表中任選，則不同的1000字文章的總篇數(shù)為

n=100001000=104000篇，按等概率計(jì)算，平均每篇1000字文章可提供的信息量為則有H(X)=logn=log104000=4000det/千字文

=3.32×4×103bit/千字文可見，一個電視畫面提供的信息量，要比一篇千字文提供的信息量大的多。58信源熵物理含義(1)信息熵H(X)表示了信源輸出前，信源的平均不確定性；(2)信息熵H(X)表示了信源輸出后，每個消息或符號所提供的平均信息量；(3)信息熵H(X)反映了隨機(jī)變量X的隨機(jī)性。59條件熵(以H(X|Y)為例，請思考H(Y|X))1.在給定yj條件下，xi的條件自信息量為：

I(xi

|yj)=－logp(xi

|yj)

集合X的條件熵為：

2.在給定Y（即各個yj）條件下，集合X的條件熵定義為：3.條件熵H(X|Y)是條件自信息量的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值。表示已知Y后，X的不確定度。2.2.1離散信源熵60聯(lián)合熵（共熵）1.聯(lián)合熵是聯(lián)合符號集合（X，Y）上的每個元素對（xi

,

yj）的自信息量的概率加權(quán)的統(tǒng)計(jì)平均值。表示X和Y同時發(fā)生的不確定度。2.條件熵與聯(lián)合熵的關(guān)系

I(xi|yj

)=－logp(xi|yj

)，I(xi，yj

)=－logp(xi，yj

)因

2.2.1離散信源熵612.2.1離散信源熵全概率公式所以H(X，Y)=H(X

)＋H(Y|X)同理H(X，Y)=H(Y)＋H(X|Y)

H(X，Y)

H(X)+H(Y)

（因H(Y|X)

H(Y)

H(Y|X)

H(X)）例題8P2062例9:二進(jìn)制通信系統(tǒng)用符號“0”和“1”，由于存在失真，傳輸時會產(chǎn)生誤碼，用符號表示下列事件：u0：一個“0”發(fā)出；u1：一個“1”發(fā)出；v0：一個“0”收到；v1：一個“1”收到。給定下列概率：p(u0)＝1/2，p(v0/u0)＝3/4，p(v0/u1)＝1/2，求

(1)已知發(fā)出一個“0”，收到符號后得到的信息量；(2)已知發(fā)出的符號，收到符號后得到的信息量；

(3)知道發(fā)出的和收到的符號能得到的信息量；

(4)已知收到的符號，被告知發(fā)出的符號得到的信息量。2.2.1離散信源熵63解:(1)可求出(2)聯(lián)合概率2.2.1離散信源熵64(3)因?yàn)閜(u0)＝p(u1)＝1/2，所以H(U)＝1比特/符號，

H(U，V)=H(U)+H(V/U)=1+0.91=1.91比特/符號。(4)可求出2.2.1離散信源熵65上節(jié)課內(nèi)容回顧1、自信息2、信源熵定義：信息源的平均不確定度為信源中各個符號不確定度的數(shù)學(xué)期望，記作H(X)3、條件熵（表示已知Y后，X的不確定度）66

4、聯(lián)合熵（表示X和Y同時發(fā)生的不確定度）

5、條件熵與聯(lián)合熵的關(guān)系

H(X，Y)=H(X)＋H(Y|X)

H(X，Y)=H(Y)＋H(X|Y)

H(X，Y)

H(X)+H(Y)

上節(jié)課內(nèi)容回顧672.2.2互信息簡單的通信模型

若信源發(fā)出符號xi，由于信道存在干擾，收到的不是xi而是yj，從yj中獲取有關(guān)xi的信息量稱為互信息量，用I(xi

;yj)

表示。信源X有干擾離散信道信宿Y干擾源68一、單符號互信息量1、信源發(fā)送符號xi，同時信宿接收符號yj的聯(lián)合概率：

其中：p(xi)為信源符號xi的先驗(yàn)概率。

p(yj|xi)為信源符號xi已發(fā)送，信宿接收到y(tǒng)j

的條件概率；稱為信道的傳遞概率或轉(zhuǎn)移概率或前向概率。注意：p(yj|xi)是在信源發(fā)送xi的情況下，信宿接收到y(tǒng)j

的概率，該概率是可通過統(tǒng)計(jì)獲得的。

2、信宿接收符號yj

的概率

[全概率公式]2.2.2互信息692.2.2互信息

3、信宿接收yj后，推測信源發(fā)送的符號是xi的概率（后驗(yàn)概率）：p(xi|yi)[Bayes公式]

704、互信息量（單符號)定義：后驗(yàn)概率與先驗(yàn)概率比值的對數(shù)稱為互信息量，記為I(xi；yj)

1.當(dāng)p(xi|yj)=1，則I(xi

;yj)=I(xi)2.當(dāng)xi,yj

互不相關(guān),p(xi|yj)=p(xi),則I(xi

;yj)=03.互信息量單位bit/符號

2.2.2互信息715、互信息量的性質(zhì)

I(xi;yj)=I(yj

;xi)I(xi;yj)=I(xi)-I(xi

|yj

)（不一定大于或等于0，由定義式求）

I(xi;yj)=I(yi)-I(yj|xi)6、互信息量計(jì)算已知:信源符號xi的概率p(xi)---先驗(yàn)概率,

信源xi發(fā)送的條件下，信宿接收到y(tǒng)j

的概率p(yj

|xi)

互信息量計(jì)算即如何求p(xi|yj)/p(xi)(1)聯(lián)合概率

(2)全概率

(3)后驗(yàn)概率與先驗(yàn)概率之比2.2.2互信息72例10：某二元通信系統(tǒng)x0=0，x1=1，信源發(fā)送x0和x1

的概率分別為p(0)=1/2，p(1)=1/2;信宿y0=0,y1=1。由于信道中有干擾，

當(dāng)信源發(fā)送0時，信宿接收為0的概率p(y0|x0)=p(0|0)=3/4

信宿接收為1的概率p(y1|x0)=p(1|0)=1/4

當(dāng)信源發(fā)送1時，信宿接收為0的概率p(y0|x1)=p(0|1)=1/5

信宿接收為1的概率p(y1|x1)=p(1|1)=4/5

求互信息量。

I(x0;y0),I(x0;y1),I(x0;y1),I(x0;y1)2.2.2互信息73

x0=0

p(0|0)=3/4

y0=0

p(0|1)=1/5p(1|0)=1/4x1=1p(1|1)=4/5y1=1

解：1.聯(lián)合概率

p(x0,y0)=p(x0)p(y0|x0)=1/2×3/4=3/8

p(x0,y1)=p(x0)p(y1|x0)=1/2×1/4=1/8

p(x1,y0)=p(x1)p(y0|x1)=1/2×1/5=1/10p(x1,y1)=p(x1)p(y1|x1)=1/2×4/5=4/102.2.2互信息742.全概率

p(y0)=p(x0,y0)+p(x1,y0)=3/8+1/10=19/40

p(y1)=p(x0,y1)+p(x1,y1)=1/8+4/10=21/403.后驗(yàn)概率與先驗(yàn)概率之比

p(x0|y0)/p(x0)=p(y0|x0)/p(y0)=3/4÷19/40=30/19p(x0|y1)/p(x0)=p(y1|

x0)/p(y1)=1/4÷21/40=10/21p(x1|y0)/p(x1)=p(y0|x1)/p(y0)=1/5÷19/40=8/19p(x1|y1)/p(x1)=p(y1|x1)/p(y1)=4/5÷21/40=32/21

2.2.2互信息754.互信息量

I(x0;y0)=log(30/19)bit/符號

I(x0;y1)

=log(10/21)bit/符號

I(x1;y0)=log(8/19)bit/符號

I(x1;y1)=log(32/21)bit/符號2.2.2互信息

P23例2-10

另：請證明任何兩個事件之間互信息量不可能大于其中任一事件的自信息量。

76例11：一信源有4種輸出符號碼，Xi(i=0,1,2,3)，且p(Xi)=1/4。設(shè)信源向信宿發(fā)出X3，但由于傳輸中的干擾，接收者收到(X3)y后，認(rèn)為其可信度為0.9。于是信源再次向信宿發(fā)送該符號(X3)，信宿無誤收到。問信源在兩次發(fā)送中發(fā)出的信息量各是多少?信宿在兩次接收中得到的信息量又各是多少?77解（1）第一次收到的符號為y，則I(X3/y)=-log2p(Xi/y)=-log20.9=0.15(比特)

第一次發(fā)出的信息量為

I(X3)=-log2p(Xi)=-log20.25=2(比特)

第一次傳送的信息量為兩次發(fā)送信息量之差，即I(X3;y)=I(X3)-I(X3/y)=1.85(比特)

（2）第二次發(fā)送無誤收到，I(X3/y)=-log2p(Xi/y)=-log21=0(比特)

第二次發(fā)出的信息量為

I(X3)=-log2p(Xi)=-log20.25=2(比特)

第二次傳送的信息量為兩次發(fā)送信息量之差，即I(X3;y)=I(X3)-I(X3/y)=2(比特)78二、平均互信息量（如P22舉例知I(X;Y)=H(X)–H(X|Y)）定義：互信息量I(xi;yj)在聯(lián)合概率空間P(X，Y)上的統(tǒng)計(jì)平均值稱平均互信息量,用I(X;Y)表示

平均互信息量單位bit/消息平均互信息量的兩種表示形式：（1）I(X;Y)=H(X)–H(X|Y);

（2）I(X;Y)=H(Y)–H(Y|X);還可以得到

I(X;Y)=H(X)+H(Y)–H(X，Y)

(由H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y))2.2.2互信息79物理意義

1、H(X)是符號集合X的熵或不確定度;

2、H(X|Y)是當(dāng)信宿已收到Y(jié)時，X的條件熵或不確定度（仍有疑義），表示通信過程中信息在信道中的損失量，稱為信道疑義度或疑義度；

3、H(Y|X)可以看作惟一地確定信道噪聲所需的平均信息量，故稱為噪聲熵或散布度；

4、I(X;Y)表示信宿獲得的凈信息量。2.2.2互信息80物理含義（續(xù)）從通信的角度來討論平均互信息量I(X;Y)的物理意義設(shè)X為發(fā)送消息符號集，Y為接收符號集，H(X)是輸入集的平均不確定性,H（X︱Y）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過程中得到的關(guān)于X,Y的平均互信息量。

對于無擾信道，I(X;Y)=H(X)

對于強(qiáng)噪信道，I(X;Y)=0由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意義2.2.2互信息81由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意義對于無擾信道，有I(X;Y)=H(X)=H(Y)

對于強(qiáng)噪信道，有H（Y︱X）=H（Y），從而I(X;Y)=0

H(Y)是觀察到Y(jié)所獲得的信息量，H（Y︱X）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性，二者之差I(lǐng)(X;Y)就是一次通信所獲得的信息量。所以互信息I(X;Y)

的范圍是，0≤I(X;Y)≤H（X）2.2.2互信息82

通信前，隨機(jī)變量X和隨機(jī)變量Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+H(Y)；通信后，整個系統(tǒng)的后驗(yàn)不確定性為H(X，Y)，二者之差H(X)+H(Y)-H(X，Y)就是通信過程中不確定性減少的量，也就是通信過程中獲得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意義

結(jié)論：平均互信息量的大小與信道的傳輸能力有關(guān)：信道噪聲越大，平均互信息量越??；反之，信道噪聲越小，平均互信息量越大。2.2.2互信息832.2.2互信息互信息量與熵的關(guān)系（圖示）842.2.2互信息∪型和∩型凸函數(shù)

從互信息定義

可看出：互信息I(X;Y)只是輸入信源X的概率分布P(xi)和信道轉(zhuǎn)移概率P(yj/xi)的函數(shù)，即I[P(xi),P(yj/xi)]?？梢宰C明：當(dāng)P(xi)一定時，I是關(guān)于P(yj/xi)的∪型凸函數(shù)，存在極小值；而當(dāng)P(yj/xi)一定時，I是關(guān)于P(xi))的∩型凸函數(shù)，存在極大值。說明：對于矢量空間凸域K，任矢量x1,x2都有一實(shí)值函數(shù)f[θx1+(1-θ)x2]≤θf(x1)+(1-θ)f(x2)為∪型；

f[θx1+(1-θ)x2]≥θ

f(x1)+(1-θ)f(x2)為∩型。852.2.2互信息*符號xi與符號對（yj，zk）之間的互信息量定義為*條件互信息量是在給定zk條件下，xi與yj之間的互信息量，定義為所以三維聯(lián)合集(X,Y,Z)上的平均互信息量有I(X;Y,Z)=I(X;Y)+I(X;Z|Y)Ｉ(Y,Z;X)=I(Y;X)+I(Z;X|Y)Ｉ(X;Y,Z)=I(X;Z,Y)=I(X;Z)+I(X;Y|Z)862.2.2互信息*例11(p23)設(shè)信源發(fā)出8種消息符號，各消息等概發(fā)送，各符號分別用3位二進(jìn)碼元表示，并輸出事件。通過對輸出事件的觀察來推測信源的輸出。假設(shè)信源發(fā)出的消息x4，用二進(jìn)碼011表示，接收到每個二進(jìn)制碼元后得到有關(guān)x4信息。872.2.2互信息882.2.2互信息熵的性質(zhì)對稱性非負(fù)性確定性香農(nóng)輔助定理最大熵定理?xiàng)l件熵小于無條件熵892.2.2互信息非負(fù)性902.2.2互信息對稱性(熵函數(shù)所有變元可以互換，不影響函數(shù)值)912.2.2互信息確定性

香農(nóng)輔助定理（對任意概率分布pi，它對其他概率分布qi的自信息量-logqi取數(shù)學(xué)期望時，必大于pi本身的熵。等號僅當(dāng)P=Q時成立）922.2.2互信息最大熵定理

條件熵小于無條件熵當(dāng)且僅當(dāng)y和x相互獨(dú)立時，p(y|x)=p(y),取等號。兩個條件下的條件熵小于一個條件下的條件熵，即當(dāng)且僅當(dāng)p(z|x,y)=p(z|y)時取等號。聯(lián)合熵小于信源熵之和，即H(X,Y)≤H(X)+H(Y).當(dāng)且僅當(dāng)兩個集合相互獨(dú)立時取等號。93例12：設(shè)隨機(jī)變量X的概率分布為隨機(jī)變量Y是X的函數(shù)，其分布為將X的4個最小的概率分布合并為一個:(1)顯然H(X)＜log27，請解釋原因；(2)計(jì)算H(X)，H(Y)；(3)計(jì)算H(X/Y)并解釋其結(jié)果。94

解:(1)H(X)＜log27，請解釋原因根據(jù)熵的極值性，當(dāng)隨機(jī)變量等概分布時，隨機(jī)變量的熵最大。有7個可能取值的隨機(jī)變量的最大熵為Hmax（X）=log27，而隨機(jī)變量X不是等概分布，所以H(X)＜log27。95(2)計(jì)算H(X)，H(Y)

96(3)計(jì)算H(X/Y)并解釋其結(jié)果。因?yàn)殡S機(jī)變量Y是X的函數(shù)，所以H(Y/X)=0（比特/符號）（Y和X集合之間的函數(shù)關(guān)系將X的4個最小的概率分布合并為一個）

H(X/Y)=H(X,Y)-H(Y)=H(X)+H(Y/X)-H(Y)=2.722-1.922=0.8(比特/符號)972.2.2互信息總結(jié)：平均互信息與熵的關(guān)系982.2.3數(shù)據(jù)處理中信息的變化I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z)集合符號替代（X代Y，Y代Z，Z代X）得

I(X,Y;Z)=I(X;Z)+I(Y;Z/X)將右邊的X和Y互換得

I(X,Y;Z)=I(Y;Z)+I(X;Z/Y)最后得

I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X)假設(shè)在Y條件下X與Z相互獨(dú)立，I(X;Z/Y)=0，而且I(X;Y/Z)和I(Y;Z/X)均非負(fù)量，則得出

I(X;Z)≤I(Y;Z)、I(X;Z)≤I(X;Y)信息不增性：

數(shù)據(jù)處理過程中只會失掉一些信息，絕不會創(chuàng)造出新的信息．99上節(jié)課內(nèi)容回顧1、單符號互信息量定義：后驗(yàn)概率與先驗(yàn)概率比值的對數(shù)稱為互信息量，記為I(xi；yj)2、平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率空間P(X，Y)上的統(tǒng)計(jì)平均值稱平均互信息量,用I(X;Y)表示1003、互信息量與熵的關(guān)系平均互信息量的三種表示形式：（1）I(X;Y)=H(X)–H(X|Y);（疑義度）

（2）I(X;Y)=H(Y)–H(Y|X).（噪聲熵）（3）I(X;Y)=H(X)+H(Y)–H(X，Y)上節(jié)課內(nèi)容回顧1014、∪型和∩型凸函數(shù)從互信息定義可看出：互信息I(X;Y)只是輸入信源X的概率分布P(xi)和信道轉(zhuǎn)移概率P(yj/xi)的函數(shù)，即I[P(xi),P(yj/xi)]?？梢宰C明：當(dāng)P(xi)一定時，I是關(guān)于P(yj/xi)的∪型凸函數(shù)，存在極小值；而當(dāng)P(yj/xi)一定時，I是關(guān)于P(xi))的∩

型凸函數(shù)，存在極大值。說明：對于矢量空間凸域K，任矢量x1,x2都有一實(shí)值函數(shù)f[θx1+(1-θ)x2]≤θf(θx1)+(1-θ)f(x2)為∪型；

f[θx1+(1-θ)x2]≥θf(θx1)+(1-θ)f(x2)為∩型。上節(jié)課內(nèi)容回顧1025、離散無記憶信源的序列熵當(dāng)信源無記憶時,隨機(jī)序列的概率為若又滿足平穩(wěn)特性,平均每個符號（消息）熵為上節(jié)課內(nèi)容回顧6、離散有記憶信源的序列熵

H(XL)＝H(X1X2…XL)＝H(X1)＋H(X2/X1)＋…

＋H(XL/X1X2…XL－1)=1032.3離散序列信源的熵2.3.1離散無記憶信源的序列熵

設(shè)信源輸出的隨機(jī)序列為X，X＝(X1X2…XI…XL)，序列中的變量Xl∈｛x1，x2，…，xn｝，l＝1，2，…，L，即序列長為L。隨機(jī)序列的概率為其中：是集合X中符號的所有可能的L次組合，稱為集合X的L次擴(kuò)展，取自集合X中的單個符號。

X的L次擴(kuò)展的不同的符號序列共有nL個.例:X1=｛x1,x2,…｝

X2=｛x1x1,x1x2,x2x1,x2

x2

,…｝

X3=｛x1x1

x1,x1

x1x2,x1x2x2,x2

x2

x2

，…｝1042.3離散序列信源的熵根據(jù)信息熵的定義：

當(dāng)信源無記憶時若又滿足平穩(wěn)特性,則有H(X1)=H(X2)=…=H(XL)平均每個符號（消息）熵為105例1:有一個無記憶信源，隨機(jī)變量X∈(0，1)，等概分布。若以單個符號出現(xiàn)為一事件，則此時的信源熵H(X)=1bit/符號，即1bit就可以表示該事件。如果以兩個符號出現(xiàn)（L=2的序列）為一事件，則隨機(jī)序列X∈(00011011),信源的序列熵H(X2)=1b4=2bit/序列，即用2bit才能表示該事件。信源的符號熵H2(X2)=1/2H(X2)=1bit/符號=H(X)。1062.3.2離散有記憶信源的序列熵離散有記憶信源的序列熵若信源輸出一個L長序列，則信源的序列熵為H(XL)＝H(X1X2…XL)＝H(X1)＋H(X2/X1)＋…＋H(XL/X1X2…XL－1)=

若當(dāng)信源退化為無記憶時，有若進(jìn)一步又滿足平穩(wěn)性時，則有可見，無記憶信源是上述有記憶信源的一個特例。1072.3.2離散有記憶信源的序列熵例2:已知離散有記憶信源概率空間如下?，F(xiàn)信源發(fā)出二重符號序列（ai

,aj），這兩個符號的概率關(guān)聯(lián)性如下表，求信源的序列熵和平均符號熵（見P30公式）。a1a2a3a1a2a39/111/802/113/42/901/87/9表1符號之間的條件概率p(aj

|ai

)108

解：單符號條件熵單符號信源熵二重符號序列熵平均符號熵可見，，這是符號之間的關(guān)聯(lián)性造成的。2.3.2離散有記憶信源的序列熵/符號/符號/符號/序列1092.3.2離散有記憶信源的序列熵幾個結(jié)論聯(lián)合概率具有時間推移不變性：結(jié)論1

是L的單調(diào)非增函數(shù).結(jié)論2（平穩(wěn)性）1102.3.2離散有記憶信源的序列熵結(jié)論3

是L的單調(diào)非增函數(shù)

運(yùn)用結(jié)論2得：推廣結(jié)論3可得:由結(jié)論1得上式中的是和式L項(xiàng)中最小的，所以1112.3.2離散有記憶信源的序列熵結(jié)論4

當(dāng)L→∞時式中，稱為極限熵，又稱極限信息量.證明:取足夠大的k（k→∞），固定L，前一項(xiàng)可忽略，后一項(xiàng)系數(shù)接近于1，得結(jié)論2和上式表明，的值在HL(X)和HL+k(X)之間，令L→∞,則結(jié)論11122.3.2離散有記憶信源的序列熵結(jié)論4從理論上定義了平穩(wěn)離散有記憶信源的極限熵，實(shí)際上如按此公式計(jì)算極限熵是十分困難的。上述公式在工程上很實(shí)用，即馬爾可夫信源的極限熵就是求它的條件熵。

平穩(wěn)馬爾可夫信源極限熵

對于m階的馬爾可夫信源，信源只與前面的m個符號有關(guān)，而與更前面的符號無關(guān)，則其極限熵為113

2.3.2離散有記憶信源的序列熵馬氏鏈極限熵對于齊次、遍歷的馬爾可夫鏈，有

上式兩邊同取對數(shù),并對xi1,…,xim,xim+1和si取統(tǒng)計(jì)平均得114

2.3.2離散有記憶信源的序列熵115即：式中p(si)是馬爾可夫鏈的穩(wěn)態(tài)分布，熵函數(shù)表示信源處于某一狀態(tài)si時發(fā)出一個消息的平均不確定性。對狀態(tài)si的全部可能狀態(tài)作統(tǒng)計(jì)平均，就得到馬爾可夫信源及平均符號極限熵。

2.3.2離散有記憶信源的序列熵116例3：如圖所示的三狀態(tài)馬爾可夫信源，求其極限熵。

解得：w1=5/59,w2=9/59,w3=45/59H(X|s1)=-0.1*log0.1-0.9*log0.9=0.469bit/符號

H(X|s2)=1bit/符號

H(X|s3)=0.722bit/符號

對三個狀態(tài)去平均后得到馬爾可夫信源的熵

2.3.2離散有記憶信源的序列熵(1)0.5s2s3(0)0.9s1(1)0.1(1)0.2(0)0.5(0)0.8

/符號117*2.4連續(xù)信源的熵與互信息連續(xù)隨機(jī)變量可以看作是離散隨機(jī)變量的極限，故可采用離散隨機(jī)變量來逼近。下面，將采用這一觀點(diǎn)討論連續(xù)隨機(jī)變量的信息熵與信息量。118*2.4連續(xù)信源的熵與互信息2.4.1幅度連續(xù)的單個符號信源熵假設(shè)x∈［a，b］，令Δx=(b-a)/n，xi∈［a+(i-1)Δx，a+iΔx］，pX(x)為連續(xù)變量X的概率密度函數(shù)，則利用中值定理X取xi的概率是根據(jù)離散信源熵的定義，則119*2.4連續(xù)信源的熵與互信息

當(dāng)n→∞時，即Δx→0時，由積分定義得定義連續(xù)信源熵:

連續(xù)信源的熵具有相對性，有時稱為相對熵,在取兩熵之間的差時，兩者逼近時所取的Δx一致，第二項(xiàng)相互抵消，才具有信息的所有特性.上式等式右邊第一項(xiàng)具有離散信源熵形式，是定值；第二項(xiàng)為無窮大。H(X)120應(yīng)注意的是Hc(X)是連續(xù)隨機(jī)變量的熵，而不是連續(xù)隨機(jī)變量輸出的信息量，而連續(xù)隨機(jī)變量輸出的信息量是Hn(X)。這就是說，在離散隨機(jī)變量中隨機(jī)變量輸出信息量就是信源熵，兩者是一個概念；但是在連續(xù)隨機(jī)變量中則是兩個概念，且不相等。連續(xù)隨機(jī)變量輸出信息量Hn(X)是一個絕對值，他取值于∞，而連續(xù)隨機(jī)變量的熵Hc(X)則是一個相對值，取值是有限的。連續(xù)隨機(jī)變量的熵Hc(X)是一個過渡性的概念，它雖然也具有可加性、凸?fàn)钚院蜆O值性，但不一定滿足非負(fù)性，它可以不具有信息的全部特征。*2.4連續(xù)信源的熵與互信息

121例1：對一個均勻分布的隨機(jī)變量，按照定義，有顯然，時，Hc(U)<0,這說明它不具備非負(fù)性。但是連續(xù)隨機(jī)變量輸出的信息量由于有一個無限大量的存在，Hn(U)仍大于０。均勻分布連續(xù)隨機(jī)變量的微分熵*2.4連續(xù)信源的熵與互信息

122

*2.4連續(xù)信源的熵與互信息用上述方法同樣可定義兩個變量X，Y的情況聯(lián)合熵：條件熵它們之間也有與離散信源一樣的相互關(guān)系，并且可以得到有信息特征的互信息。Hc(XY)=Hc(X)+Hc(Y/X)=Hc(Y)+Hc(X/Y)I(X;Y)=I(Y;X)=Hc(X)-Hc(X/Y)=Hc(X)+Hc(Y)-Hc(XY)=Hc(Y)-Hc(Y/X)123【例2】有一信源概率密度如圖所示，求連續(xù)熵解:由圖(a)得由圖(b)得結(jié)果信息量增加一倍，實(shí)際上兩種情況的絕對熵應(yīng)是相同的。顯然結(jié)果不對。124原因：由無窮大項(xiàng)造成的，兩者在逼近時取值不同，得到不同證明：

結(jié)論：連續(xù)熵具有相對意義，不是絕對值。

125

*2.4連續(xù)信源的熵與互信息2.4.3最大熵定理（連續(xù)信源中，概率密度函數(shù)滿足什么條件有最大熵）限峰功率最大熵定理：對于定義域有限的隨機(jī)變量X，當(dāng)它是均勻分布時，具有最大熵126

*2.4連續(xù)信源的熵與互信