1信息論與編碼課件

第二章信源及信源熵第一節(jié)信源的描述和分類第二節(jié)離散信源熵和互信息第三節(jié)連續(xù)信源的熵和互信息第四節(jié)離散序列信源的熵第五節(jié)冗余度1第二章信源及信源熵第一節(jié)信源的描述和分類第二節(jié)離散信源本章重點(diǎn)

離散/連續(xù)信源熵和互信息第二章信源及信源熵本章難點(diǎn)

離散序列有記憶信源的熵2本章重點(diǎn)離散/連續(xù)信源熵和互信息第二章信源及信信源產(chǎn)生消息(符號(hào))、消息序列和連續(xù)消息的來源產(chǎn)生隨機(jī)變量、隨機(jī)序列和隨機(jī)過程的源。在通信系統(tǒng)中收信者在未收到消息以前對(duì)信源發(fā)出什么消息是不確定的,是隨機(jī)的，所以可用隨機(jī)變量、隨機(jī)序列或隨機(jī)過程來描述信源輸出的消息,或者說用一個(gè)樣本空間及其概率測(cè)度—概率空間來描述信源信源的基本特性：具有隨機(jī)不確定性。2.1信源的描述和分類3信源2.1信源的描述和分類32.1信源的描述和分類一、香農(nóng)信息論的基本點(diǎn)

用隨機(jī)變量或隨機(jī)矢量來表示信源，運(yùn)用概率論和隨機(jī)過程的理論來研究信息。

二、信源的分類

按照信源發(fā)出的消息在時(shí)間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類

{信源離散信源連續(xù)信源42.1信源的描述和分類一、香農(nóng)信息論的基本點(diǎn)用隨機(jī)變2.1信源的描述和分類連續(xù)信源連續(xù)信源是指發(fā)出在時(shí)間或幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語(yǔ)言、圖像、圖形等都是連續(xù)消息。

離散信源離散信源是指發(fā)出在時(shí)間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號(hào)都是離散消息。

離散信源{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源52.1信源的描述和分類連續(xù)信源離散信源離散信源{離散無(wú)記憶三、先驗(yàn)概率及概率空間的形式一個(gè)離散信源發(fā)出的各個(gè)符號(hào)消息的集合為：它們的概率分別為p(xi)為符號(hào)xi的先驗(yàn)概率單符號(hào)離散信源的數(shù)學(xué)模型—概率空間a,b,c,…z

顯然有，

6三、先驗(yàn)概率及概率空間的形式一個(gè)離散信源發(fā)出的各個(gè)符號(hào)消息的2.1.1無(wú)記憶信源離散無(wú)記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。例如扔骰子，每次試驗(yàn)結(jié)果必然是1～6點(diǎn)中的某一個(gè)面朝上。用一個(gè)離散型隨機(jī)變量X來描述這個(gè)信源輸出的消息。72.1.1無(wú)記憶信源離散無(wú)記憶信源例如扔骰子，每次試驗(yàn)結(jié)發(fā)出單個(gè)符號(hào)的信源指信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息；發(fā)出符號(hào)序列的信源指信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息離散無(wú)記憶信源8發(fā)出單個(gè)符號(hào)的信源離散無(wú)記憶信源8連續(xù)無(wú)記憶信源：輸出在時(shí)間和幅度上都是連續(xù)分布的消息單符號(hào)連續(xù)無(wú)記憶信源的概率空間

隨機(jī)取一節(jié)干電池測(cè)其電壓值作為輸出符號(hào),符號(hào)取值為[0,1.5]之間的所有實(shí)數(shù)。

該信源就是發(fā)出單符號(hào)的連續(xù)無(wú)記憶信源9連續(xù)無(wú)記憶信源：隨機(jī)取一節(jié)干電池測(cè)其電壓值作為輸出符號(hào)發(fā)出符號(hào)序列的信源設(shè)信源輸出的隨機(jī)序列為

X=(X1X2…Xl…XL)序列中的變量Xl∈{x1,x2,…

xn}這種由信源X輸出的L長(zhǎng)隨機(jī)序列X所描述的信源稱為離散無(wú)記憶信源X的L次擴(kuò)展信源

10發(fā)出符號(hào)序列的信源設(shè)信源輸出的隨機(jī)序列為10隨機(jī)序列的概率當(dāng)信源無(wú)記憶時(shí)11隨機(jī)序列的概率當(dāng)信源無(wú)記憶時(shí)11一般情況下,信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的，也就是信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xl之間是有依賴的。如在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。表述有記憶信源要比表述無(wú)記憶信源困難得多離散有記憶信源所發(fā)出的各個(gè)符號(hào)的概率是有關(guān)聯(lián)的。發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源2.1.2有記憶信源用信源發(fā)出的一個(gè)符號(hào)序列的整體概率(即聯(lián)合概率)反映有記憶信源的特征一個(gè)符號(hào)出現(xiàn)的概率只與前面一個(gè)或有限個(gè)符號(hào)有關(guān),而不依賴更前面的那些符號(hào)12一般情況下,信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的，也就是此時(shí)需要引入條件概率來反映信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的記憶特征表述的復(fù)雜度將隨著序列長(zhǎng)度的增加而增加。

實(shí)際上信源發(fā)出的符號(hào)往往只與前若干個(gè)符號(hào)有較強(qiáng)的依賴關(guān)系，隨著長(zhǎng)度的增加依賴關(guān)系越來越弱，因此可以根據(jù)信源的特性和處理時(shí)的需要限制記憶的長(zhǎng)度，使分析和處理簡(jiǎn)化。

13此時(shí)需要引入條件概率來反映信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的記離散信源的統(tǒng)計(jì)特性①離散消息是從有限個(gè)符號(hào)組成的符號(hào)集中選擇排列組成的隨機(jī)序列（組成離散消息的信息源的符號(hào)個(gè)數(shù)是有限的）②在形成消息時(shí)，從符號(hào)集中選擇各個(gè)符號(hào)的概率不同。③組成消息的基本符號(hào)之間有一定的統(tǒng)計(jì)相關(guān)特性。14離散信源的統(tǒng)計(jì)特性①離散消息是從有限個(gè)符號(hào)組成的符號(hào)集中選擇2.1.3馬爾可夫信源馬爾可夫信源一類相對(duì)簡(jiǎn)單的離散平穩(wěn)信源該信源在某一時(shí)刻發(fā)出字母的概率除與該字母有關(guān)外,只與此前發(fā)出的有限個(gè)字母有關(guān)m階馬爾可夫信源：信源輸出某一符號(hào)的概率僅與以前的m個(gè)符號(hào)有關(guān)，而與更前面的符號(hào)無(wú)關(guān)。用概率意義表達(dá)為152.1.3馬爾可夫信源馬爾可夫信源152.2離散信源熵和互信息問題：什么叫不確定度？什么叫自信息量？什么叫平均不確定度？什么叫信源熵？什么叫平均自信息量？什么叫條件熵？什么叫聯(lián)合熵？聯(lián)合熵、條件熵和熵的關(guān)系是什么？162.2離散信源熵和互信息問題：16什么叫后驗(yàn)概率？什么叫互信息量？什么叫平均互信息量？什么叫疑義度？什么叫噪聲熵（或散布度）？數(shù)據(jù)處理定理是如何描述的？熵的性質(zhì)有哪些？2.2離散信源熵和互信息17什么叫后驗(yàn)概率？2.2離散信源熵和互信息17定義：一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值。即:2.2.1自信息量自信息量說明：因?yàn)楦怕试叫。某霈F(xiàn)就越稀罕，一旦出現(xiàn)，所獲得的信息量也就較大。由于是隨機(jī)出現(xiàn)的，它是X的一個(gè)樣值，所以是一個(gè)隨機(jī)量。而是的函數(shù)，它必須也是一個(gè)隨機(jī)量。

18定義：一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的自信息量的單位的確定在信息論中常用的對(duì)數(shù)底是2，信息量的單位為比特（bit）；若取自然對(duì)數(shù)，則信息量的單位為奈特（nat）；若以10為對(duì)數(shù)底，則信息量的單位為笛特（det）。

這三個(gè)信息量單位之間的轉(zhuǎn)換關(guān)系如下：1nat＝log2el.433bit，ldet＝log2103.322bit2.2.1自信息量19自信息量的單位的確定2.2.1自信息量19二進(jìn)制碼元0,1,當(dāng)符號(hào)概率為p(0)=1/4,p(1)=3/4,則這兩個(gè)符號(hào)的自信息量為：I(0)=－log2(1/4)=log24=2bitI(1)=－log2(3/4)=0.4151bit一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元(0，1)所包含的自信息量為：

I(0)=I(1)=－log2(1/2)=log22=1bit一個(gè)m位的二進(jìn)制數(shù),有2m個(gè)等概率的可能組合I=－log2(1/2m)=mbit2.2.1自信息量幾個(gè)例子20二進(jìn)制碼元0,1,當(dāng)符號(hào)概率為p(0)=1/4,p(1)=

定義：隨機(jī)事件的不確定度在數(shù)量上等于它的自信息量．說明:兩者的單位相同，但含義卻不相同。具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的特性，而自信息量是在該事件發(fā)生后給予觀察者的信息量。

不確定度2.2.1自信息量21定義：隨機(jī)事件的不確定度在數(shù)量上等于它的自信息量．不確定

一個(gè)出現(xiàn)概率接近于1的隨機(jī)事件，發(fā)生的可能性很大，所以它包含的不確定度就很??；反之，一個(gè)出現(xiàn)概率很小的隨機(jī)事件，很難猜測(cè)在某個(gè)時(shí)刻它能否發(fā)生，所以它包含的不確定度就很大；若是確定性事件，出現(xiàn)概率為1，則它包含的不確定度為0。2.2.1自信息量222.2.1自信息量22I(xi)的特性：⑴I(xi)是非負(fù)值⑵當(dāng)p(xi)=1時(shí)，I(xi)=0⑶當(dāng)p(xi)=0時(shí)，I(xi)=∞⑷I(xi)是先驗(yàn)概率p(xi)的單調(diào)遞減函數(shù)，即當(dāng)p(x1)＞p(x2)時(shí)，I(x1)＜I(x2)⑸兩個(gè)獨(dú)立事件的聯(lián)合信息量等于它們分別的信息量之和。即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。23I(xi)的特性：23兩個(gè)消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量

注意:當(dāng)xi,yj相互獨(dú)立時(shí)，有P(xiyj)=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不確定度在數(shù)值上也等于它們的自信息量。

2.2.1自信息量聯(lián)合自信息量24兩個(gè)消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量注意:2.2.1定義：在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為，則它的條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值：

注意:

在給定yj條件下，隨機(jī)事件xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。

2.2.1自信息量4.條件自信息量25定義：在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為例2－2－1

英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit2.2.1自信息量26例2－2－1英文字母中“e”出現(xiàn)的概率為0.10一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。解:依據(jù)題意這一隨機(jī)事件的概率空間為

2.2.2離散信源熵例2-2-227一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的球是白球事件.如果摸出的是紅球，則獲得的信息量是I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，則獲得的信息量是I（x2）=-log2p（x2）=-log20.2bit如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取。則如此摸取n次，紅球出現(xiàn)的次數(shù)為np（x1）次，白球出現(xiàn)的次數(shù)為np（x2）次。隨機(jī)摸取n次后總共所獲得的信息量為np（x1）I（x1）+np（x2）I（x2）28其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的如果每次則平均隨機(jī)摸取一次所獲得的信息量為

H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）]=0.72比特/次說明：自信息量I（x1）和I（x2）只是表征信源中各個(gè)符號(hào)的不確定度，一個(gè)信源總是包含著多個(gè)符號(hào)消息，各個(gè)符號(hào)消息又按概率空間的先驗(yàn)概率分布，因而各個(gè)符號(hào)的自信息量就不同。所以自信息量不能作為信源總體的信息量。29則平均隨機(jī)摸取一次所獲得的信息量為=0.72比特/次說明：因?yàn)閄中各符號(hào)xi的不確定度I（xi）為非負(fù)值，p（xi）也是非負(fù)值，且0p（xi）1，故信源的平均不確定度H（X）也是非負(fù)量。平均不確定度H（X）的定義公式與熱力學(xué)中熵的表示形式相同，所以又把H（X）稱為信源X的熵。熵是在平均意義上來表征信源的總體特性的，可以表征信源的平均不確定度。

30因?yàn)閄中各符號(hào)xi的不確定度I（xi）為非負(fù)值，p（xi）也定義：離散信源熵H(X)(平均不確定度/平均信息量/平均自信息量)定義信源的平均不確定度H(X)為信源中各個(gè)符號(hào)不確定度的數(shù)學(xué)期望，即：?jiǎn)挝粸楸忍?符號(hào)或比特/符號(hào)序列

信源熵具有以下三種物理含意：信源熵H(X)表示信源輸出后,每個(gè)離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前,信源的平均不確定度。信源熵H(X)反映了變量X的隨機(jī)性

31定義：離散信源熵H(X)(平均不確定度/平均信單位為比特/符某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是一個(gè)確定值，一般寫成H（X），X是指隨機(jī)變量的整體（包括概率分布）。信息量則只有當(dāng)信源輸出符號(hào)而被接收者收到后，才有意義，這就是給予接收者的信息度量，這值本身也可以是隨機(jī)量，也可以與接收者的情況有關(guān)。當(dāng)某一符號(hào)的概率為零時(shí)，在熵公式中無(wú)意義，為此規(guī)定這時(shí)的也為零。當(dāng)信源X中只含一個(gè)符號(hào)時(shí)，必定有，此時(shí)信源熵H（X）為零。

32某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，例：甲地天氣預(yù)報(bào)甲地提供的平均信息量大于乙地

乙地天氣預(yù)報(bào)求：兩地天氣預(yù)報(bào)各自提供的平均信息量33例：甲地天氣預(yù)報(bào)甲地提供的平均信息量大于乙地乙地天氣預(yù)報(bào)求甲、乙地天氣預(yù)報(bào)為兩極端情況：信源是一確定信源，所以不存在不確定性，信息熵等于零。34甲、乙地天氣預(yù)報(bào)為兩極端情況：信源是一確定信源，所以不存在不甲、乙地天氣預(yù)報(bào)為兩極端情況：這種情況下,信源的不確定性最大,信源熵最大。甲地比乙地提供更多的信息量。因?yàn)榧椎乜赡艹霈F(xiàn)的消息數(shù)多于乙地可能出現(xiàn)的消息數(shù)。

35甲、乙地天氣預(yù)報(bào)為兩極端情況：這種情況下,信源的不確定性最大例2－6電視屏上約有500×600=3×105個(gè)格點(diǎn)，按每點(diǎn)有10個(gè)不同的灰度等級(jí)考慮，則共能組成

個(gè)不同的畫面。按等概率計(jì)算，平均每個(gè)畫面可提供的信息量為

＝3×105×

3.32比特/畫面

36例2－6＝3×105×3.32比特/畫面有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文N=100001000=104000篇仍按等概率1/100001000計(jì)算，平均每篇千字文可提供的信息量為H（X）＝log2N＝4×103

×3．321．3×104比特／千字文

比較：“一個(gè)電視畫面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過“一篇千字文”提供的信息量。

37有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文例2－2－4

設(shè)信源符號(hào)集X={x1,x2,x3}，每個(gè)符號(hào)發(fā)生的概率分別為p（x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。

則信源熵為H（X）=1/2log22+1/4log24+1/4log24=1.5比特/符號(hào)

38例2－2－4設(shè)信源符號(hào)集X={x1,x2,x3}，每個(gè)符號(hào)例2－2－5

該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)發(fā)生的概率分別為p和q，p＋q=l。即信源的概率空間為

則二元信源熵為H（X）=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)39例2－2－5該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)00.20.40.60.8110.80.60.40.2pH(p)信源信息熵H(X)是概率p的函數(shù),通常用H(p)表示p取值于[0，1]區(qū)間。H(p)函數(shù)曲線如圖所示。

如果二元信源的輸出符號(hào)是確定的,即p=1或q=1,則該信源不提供任何信息。當(dāng)二元信源符號(hào)0和1以等概率發(fā)生時(shí),信源熵達(dá)到極大值,等于1比特信息量。4000.20.40.60.8幾個(gè)概念定義：在給定yj條件下，xi的條件自信息量為I(xi/yj)，X集合的條件熵H（X/yj）為

H（X/yj）=

在給定Y（即各個(gè)yj）條件下，X集合的條件熵H(X/Y)定義為

H（X/Y）==條件熵41幾個(gè)概念定義：在給定yj條件下，xi的條件自信息量為I(xi相應(yīng)地，在給定X（即各個(gè)xi）的條件下，Y集合的條件熵H(Y/X)定義為

H(Y/X)=聯(lián)合熵定義：聯(lián)合熵是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。定義為：

H（XY）=

說明:聯(lián)合熵H（XY）表示X和Y同時(shí)發(fā)生的不確定度。42相應(yīng)地，在給定X（即各個(gè)xi）的條件下，Y集合的條件聯(lián)合熵定聯(lián)合熵H（XY）與熵H（X）及條件熵H（X/Y）之間存在下列關(guān)系

H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

證明:由43聯(lián)合熵H（XY）與熵H（X）及條件熵H（X/Y）之間存在下列所以□44所以□44證明:

由所以45證明:所以45例2-9二進(jìn)制通信系統(tǒng)用符號(hào)“0”和“1”,由于存在失真,傳輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件：u0：一個(gè)“0”發(fā)出：u1：一個(gè)“1”發(fā)出v0：一個(gè)“0”收到；v1：一個(gè)“1”收到。給定下列概率：

p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知發(fā)出一個(gè)“0”,求收到符號(hào)后得到的信息量；⑵已知發(fā)出的符號(hào),求收到符號(hào)后得到的信息量⑶知道發(fā)出的和收到的符號(hào),求能得到的信息量；⑷已知收到的符號(hào)，求被告知發(fā)出的符號(hào)得到的信息量。46例2-9二進(jìn)制通信系統(tǒng)用符號(hào)“0”和“1”,由于存在失真,傳解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵聯(lián)合概率：p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/447解：⑴p(v1|u0)=1－p(v0|u0)=1⑶解法1：解法2H(UV)=H(U)+H(V|U)=1+0.91=1.91比特/符號(hào)48⑶解法1：48⑷解法1解法2：利用貝葉斯公式:同理:p(u1|v0)=2/5，p(u0|v1)=1/3,p(u1|v1)=2/349⑷49例2-8:一個(gè)二進(jìn)信源X發(fā)出符號(hào)集{0,1},經(jīng)過離散無(wú)記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確定符號(hào)“2”已知X的先驗(yàn)概率:p(x0)=2/3,p(x1)=1/3,符號(hào)轉(zhuǎn)移概率：p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4信源熵50例2-8:一個(gè)二進(jìn)信源X發(fā)出符號(hào)集{0,1},經(jīng)過離散無(wú)記憶得聯(lián)合概率：p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6條件熵由51得聯(lián)合概率：由51聯(lián)合熵H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符號(hào)得p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6

p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由52聯(lián)合熵得p(y0)=∑p(xiy0)=p(x0y0由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/253由得同理p(x0|y1)=0；p(x1|y1)信源X有擾離散信道信宿Y干擾源圖2-2-2簡(jiǎn)單的通信系統(tǒng)模型2.2.3互信息54信源X有擾離散信道信宿Y干擾源圖2-2-2簡(jiǎn)單的通什么叫信源X的先驗(yàn)概率p(xi)?由于信宿事先不知道信源在某一時(shí)刻發(fā)出的是哪一個(gè)符號(hào),所以每個(gè)符號(hào)消息是一個(gè)隨機(jī)事件。信源發(fā)出符號(hào)通過有干擾的信道傳遞給信宿。通常信宿可以預(yù)先知道信息X發(fā)出的各個(gè)符號(hào)消息的集合,以及它們的概率分布，即預(yù)知信源X的先驗(yàn)概率p(xi)。幾個(gè)概念什么叫后驗(yàn)概率?當(dāng)信宿收到一個(gè)符號(hào)消息yj后，信宿可以計(jì)算信源各消息的條件概率p(xi/yj),i=1,2,…N,這種條件概率稱為后驗(yàn)概率。

55什么叫信源X的先驗(yàn)概率p(xi)?幾個(gè)概念什么叫后驗(yàn)概率?5互信息量為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù):I（xi;yj）=log

什么叫平均互信息量?

什么叫互信息量?

互信息量I(xi;yj)在X集合上的統(tǒng)計(jì)平均值為：I（X；yj）=平均互信息量I（X；Y）為上述I（X;yj）在Y集合上的概率加權(quán)統(tǒng)計(jì)平均值:I（X；Y）56互信息量為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù):I（xi;yj）=說明:在通信系統(tǒng)中，若發(fā)端的符號(hào)是X，而收端的符號(hào)是Y，I（X；Y）就是在接收端收到Y(jié)后所能獲得的關(guān)于X的信息。若干擾很大，Y基本上與X無(wú)關(guān)，或說X與Y相互獨(dú)立，那時(shí)就收不到任何關(guān)于X的信息.若沒有干擾，Y是X的確知一一對(duì)應(yīng)函數(shù)，那就能完全收到X的信息H（X）。性質(zhì)：

I（X；Y）=H（X）一H（X／Y）I（Y；X）=H（Y）一H（Y／X）=I（X；Y）57說明:在通信系統(tǒng)中，若發(fā)端的符號(hào)是X，而收端的符號(hào)是Y，I（I（X；Y）＝H（X）一H（X／Y）證明:58I（X；Y）＝H（X）一H（X／Y）證明:58什么叫疑義度?

信道上的干擾和噪聲所造成的對(duì)信源符號(hào)X的平均不確定度H（X／Y），故稱為疑義度。說明:

H（X）是符號(hào)集合X的熵或不確定度.H（X／Y）是當(dāng)Y已知時(shí)X的不確定度.“Y已知”這件事使X的不確定度減少了

I（X；Y）.信宿收到的平均信息量等于信宿對(duì)信源符號(hào)不確定度的平均減少量。I（X；Y）是有擾離散信道上能傳輸?shù)钠骄畔⒘?，而H（X／Y）是在Y條件下要唯一地確定信源發(fā)出符號(hào)所需要的平均信息量。59什么叫疑義度?信道上的干擾和噪聲所造成的對(duì)信收、發(fā)兩端的熵關(guān)系

I(X;Y)

H(X)

H(Y)

H(X/Y)疑義度

H(Y/X)噪聲熵60收、發(fā)兩端的熵關(guān)系I(X;Y)H(X)H(什么叫噪聲熵或散布度?條件熵H（Y／X）唯一地確定信道噪聲所需要的平均信息量，故又稱噪聲熵或散布度。說明:平均互信息量可看作在有擾離散信道上傳遞消息時(shí)，唯一地確定接收符號(hào)y所需要的平均信息量H（Y），減去當(dāng)信源發(fā)出符號(hào)為已知時(shí)需要確定接收符號(hào)y所需要的平均信息量H（Y／X）。61什么叫噪聲熵或散布度?條件熵H（Y／X）唯一地確定信什么叫全損離散信道?

信源發(fā)出的信息量在信道上全部損失掉了，故稱為全損離散信道。分析:對(duì)于I（X；Y）＝H（X）-H（X／Y）而言,如果X與Y是相互獨(dú)立的，那么Y已知時(shí)X的條件概率等于X的無(wú)條件概率，由于熵就是這概率的對(duì)數(shù)的數(shù)學(xué)期望，X的條件熵就等于X的無(wú)條件熵，此時(shí)I（X；Y）=0。62什么叫全損離散信道?信源發(fā)出的信息量在信道上全部損失掉了，這可理解為既然X與Y相互獨(dú)立，無(wú)法從Y中去提取關(guān)于X的信息。這可看成信道上噪聲相當(dāng)大，以致有H（X／Y）=H（X）。在這種情況下，能傳輸?shù)钠骄畔⒘繛榱?。這說明信宿收到符號(hào)y后不能提供有關(guān)信源發(fā)出符號(hào)X的任何信息量。63這可理解為既然X與Y相互獨(dú)立，無(wú)法從Y中去提取關(guān)于X的信息。什么叫無(wú)擾離散信道?

由于沒有噪聲，所以信道不損失信息量，疑義度H（X／Y）為零，噪聲熵也為零。這時(shí)的信道叫無(wú)擾離散信道。說明:如果Y是X的確定的一一對(duì)應(yīng)函數(shù)，那么Y已知時(shí)X的條件概率非“1”即“0”，因?yàn)楫?dāng)X與Y有一一對(duì)應(yīng)關(guān)系時(shí)，當(dāng)X和Y滿足該確定函數(shù)時(shí)，條件概率必為1，而不滿足確定函數(shù)時(shí)條件概率必為零。也就是說，I（X；Y）=H（X）。

64什么叫無(wú)擾離散信道?由于沒有噪聲，所以信道不損失信

符號(hào)xi與符號(hào)對(duì)yjzk之間的互信息量定義為：I(xi;yjzk)=log定義

定義

條件互信息量是在給定zk條件下，xi與yj之間的互信息量，定義為：I（xi;yj/zk）=log

65符號(hào)xi與符號(hào)對(duì)yjzk之間的互信息量定義為：定義I（xi;yjzk）＝I（xi;zk）＋I(xiàn)（xi;yj/zk）

證明:

66I（xi;yjzk）＝I（xi;zk）＋I(xiàn)（xi;yj/說明:一個(gè)聯(lián)合事件yjzk出現(xiàn)后所提供的有關(guān)xi的信息量I(xi;yjzk)等于zk事件出現(xiàn)后提供的有關(guān)xi的信息量I（xi;zk）,加上在給定zk條件下再出現(xiàn)yj事件后所提供的有關(guān)xi的信息量I（xi;yj/zk）。67說明:67I（xi;yjzk）＝I（xi;yj）＋I(xiàn)（xi;zk/yj）證明:68I（xi;yjzk）＝I（xi;yj）＋I(xiàn)（xi;zk/I（xi;yjzk）=I（xi;zkyj）證明:因?yàn)樗訧（xi;yjzk）=I（xi;zkyj）69I（xi;yjzk）=I（xi;zkyj）證明:69三維聯(lián)合集XYZ上的平均互信息量

I（X;YZ）＝I（X;Y）＋I(xiàn)（X;Z／Y）證明:70三維聯(lián)合集XYZ上的平均互信息量I（X;YZ）＝I（X;＝I（X;Y）＋I(xiàn)（X;Z/Y）71＝I（X;Y）＋I(xiàn)（X;I(X;YZ)＝I(X;Z)＋I(xiàn)(X;Y/Z)

證明:72I(X;YZ)＝I(X;Z)＋I(xiàn)(X;Y/Z)證明:72＝I（X;Z）＋I(xiàn)（X;Y/Z）73＝I（X;Z）＋I(xiàn)（X;YI(YZ;X)＝I(Y;X)＋I(xiàn)(Z;X/Y)

證明(思考題)74I(YZ;X)＝I(Y;X)＋I(xiàn)(Z;X/Y)證明(思考第二章信源及信源熵第一節(jié)信源的描述和分類第二節(jié)離散信源熵和互信息第三節(jié)連續(xù)信源的熵和互信息第四節(jié)離散序列信源的熵第五節(jié)冗余度75第二章信源及信源熵第一節(jié)信源的描述和分類第二節(jié)離散信源本章重點(diǎn)

離散/連續(xù)信源熵和互信息第二章信源及信源熵本章難點(diǎn)

離散序列有記憶信源的熵76本章重點(diǎn)離散/連續(xù)信源熵和互信息第二章信源及信信源產(chǎn)生消息(符號(hào))、消息序列和連續(xù)消息的來源產(chǎn)生隨機(jī)變量、隨機(jī)序列和隨機(jī)過程的源。在通信系統(tǒng)中收信者在未收到消息以前對(duì)信源發(fā)出什么消息是不確定的,是隨機(jī)的，所以可用隨機(jī)變量、隨機(jī)序列或隨機(jī)過程來描述信源輸出的消息,或者說用一個(gè)樣本空間及其概率測(cè)度—概率空間來描述信源信源的基本特性：具有隨機(jī)不確定性。2.1信源的描述和分類77信源2.1信源的描述和分類32.1信源的描述和分類一、香農(nóng)信息論的基本點(diǎn)

用隨機(jī)變量或隨機(jī)矢量來表示信源，運(yùn)用概率論和隨機(jī)過程的理論來研究信息。

二、信源的分類

按照信源發(fā)出的消息在時(shí)間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類

{信源離散信源連續(xù)信源782.1信源的描述和分類一、香農(nóng)信息論的基本點(diǎn)用隨機(jī)變2.1信源的描述和分類連續(xù)信源連續(xù)信源是指發(fā)出在時(shí)間或幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語(yǔ)言、圖像、圖形等都是連續(xù)消息。

離散信源離散信源是指發(fā)出在時(shí)間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號(hào)都是離散消息。

離散信源{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源792.1信源的描述和分類連續(xù)信源離散信源離散信源{離散無(wú)記憶三、先驗(yàn)概率及概率空間的形式一個(gè)離散信源發(fā)出的各個(gè)符號(hào)消息的集合為：它們的概率分別為p(xi)為符號(hào)xi的先驗(yàn)概率單符號(hào)離散信源的數(shù)學(xué)模型—概率空間a,b,c,…z

顯然有，

80三、先驗(yàn)概率及概率空間的形式一個(gè)離散信源發(fā)出的各個(gè)符號(hào)消息的2.1.1無(wú)記憶信源離散無(wú)記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。例如扔骰子，每次試驗(yàn)結(jié)果必然是1～6點(diǎn)中的某一個(gè)面朝上。用一個(gè)離散型隨機(jī)變量X來描述這個(gè)信源輸出的消息。812.1.1無(wú)記憶信源離散無(wú)記憶信源例如扔骰子，每次試驗(yàn)結(jié)發(fā)出單個(gè)符號(hào)的信源指信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息；發(fā)出符號(hào)序列的信源指信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息離散無(wú)記憶信源82發(fā)出單個(gè)符號(hào)的信源離散無(wú)記憶信源8連續(xù)無(wú)記憶信源：輸出在時(shí)間和幅度上都是連續(xù)分布的消息單符號(hào)連續(xù)無(wú)記憶信源的概率空間

隨機(jī)取一節(jié)干電池測(cè)其電壓值作為輸出符號(hào),符號(hào)取值為[0,1.5]之間的所有實(shí)數(shù)。

該信源就是發(fā)出單符號(hào)的連續(xù)無(wú)記憶信源83連續(xù)無(wú)記憶信源：隨機(jī)取一節(jié)干電池測(cè)其電壓值作為輸出符號(hào)發(fā)出符號(hào)序列的信源設(shè)信源輸出的隨機(jī)序列為

X=(X1X2…Xl…XL)序列中的變量Xl∈{x1,x2,…

xn}這種由信源X輸出的L長(zhǎng)隨機(jī)序列X所描述的信源稱為離散無(wú)記憶信源X的L次擴(kuò)展信源

84發(fā)出符號(hào)序列的信源設(shè)信源輸出的隨機(jī)序列為10隨機(jī)序列的概率當(dāng)信源無(wú)記憶時(shí)85隨機(jī)序列的概率當(dāng)信源無(wú)記憶時(shí)11一般情況下,信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的，也就是信源輸出的平穩(wěn)隨機(jī)序列X中，各隨機(jī)變量Xl之間是有依賴的。如在漢字序列中前后文字的出現(xiàn)是有依賴的，不能認(rèn)為是彼此不相關(guān)的。表述有記憶信源要比表述無(wú)記憶信源困難得多離散有記憶信源所發(fā)出的各個(gè)符號(hào)的概率是有關(guān)聯(lián)的。發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源2.1.2有記憶信源用信源發(fā)出的一個(gè)符號(hào)序列的整體概率(即聯(lián)合概率)反映有記憶信源的特征一個(gè)符號(hào)出現(xiàn)的概率只與前面一個(gè)或有限個(gè)符號(hào)有關(guān),而不依賴更前面的那些符號(hào)86一般情況下,信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的，也就是此時(shí)需要引入條件概率來反映信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的記憶特征表述的復(fù)雜度將隨著序列長(zhǎng)度的增加而增加。

實(shí)際上信源發(fā)出的符號(hào)往往只與前若干個(gè)符號(hào)有較強(qiáng)的依賴關(guān)系，隨著長(zhǎng)度的增加依賴關(guān)系越來越弱，因此可以根據(jù)信源的特性和處理時(shí)的需要限制記憶的長(zhǎng)度，使分析和處理簡(jiǎn)化。

87此時(shí)需要引入條件概率來反映信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的記離散信源的統(tǒng)計(jì)特性①離散消息是從有限個(gè)符號(hào)組成的符號(hào)集中選擇排列組成的隨機(jī)序列（組成離散消息的信息源的符號(hào)個(gè)數(shù)是有限的）②在形成消息時(shí)，從符號(hào)集中選擇各個(gè)符號(hào)的概率不同。③組成消息的基本符號(hào)之間有一定的統(tǒng)計(jì)相關(guān)特性。88離散信源的統(tǒng)計(jì)特性①離散消息是從有限個(gè)符號(hào)組成的符號(hào)集中選擇2.1.3馬爾可夫信源馬爾可夫信源一類相對(duì)簡(jiǎn)單的離散平穩(wěn)信源該信源在某一時(shí)刻發(fā)出字母的概率除與該字母有關(guān)外,只與此前發(fā)出的有限個(gè)字母有關(guān)m階馬爾可夫信源：信源輸出某一符號(hào)的概率僅與以前的m個(gè)符號(hào)有關(guān)，而與更前面的符號(hào)無(wú)關(guān)。用概率意義表達(dá)為892.1.3馬爾可夫信源馬爾可夫信源152.2離散信源熵和互信息問題：什么叫不確定度？什么叫自信息量？什么叫平均不確定度？什么叫信源熵？什么叫平均自信息量？什么叫條件熵？什么叫聯(lián)合熵？聯(lián)合熵、條件熵和熵的關(guān)系是什么？902.2離散信源熵和互信息問題：16什么叫后驗(yàn)概率？什么叫互信息量？什么叫平均互信息量？什么叫疑義度？什么叫噪聲熵（或散布度）？數(shù)據(jù)處理定理是如何描述的？熵的性質(zhì)有哪些？2.2離散信源熵和互信息91什么叫后驗(yàn)概率？2.2離散信源熵和互信息17定義：一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值。即:2.2.1自信息量自信息量說明：因?yàn)楦怕试叫?，的出現(xiàn)就越稀罕，一旦出現(xiàn)，所獲得的信息量也就較大。由于是隨機(jī)出現(xiàn)的，它是X的一個(gè)樣值，所以是一個(gè)隨機(jī)量。而是的函數(shù)，它必須也是一個(gè)隨機(jī)量。

92定義：一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的自信息量的單位的確定在信息論中常用的對(duì)數(shù)底是2，信息量的單位為比特（bit）；若取自然對(duì)數(shù)，則信息量的單位為奈特（nat）；若以10為對(duì)數(shù)底，則信息量的單位為笛特（det）。

這三個(gè)信息量單位之間的轉(zhuǎn)換關(guān)系如下：1nat＝log2el.433bit，ldet＝log2103.322bit2.2.1自信息量93自信息量的單位的確定2.2.1自信息量19二進(jìn)制碼元0,1,當(dāng)符號(hào)概率為p(0)=1/4,p(1)=3/4,則這兩個(gè)符號(hào)的自信息量為：I(0)=－log2(1/4)=log24=2bitI(1)=－log2(3/4)=0.4151bit一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元(0，1)所包含的自信息量為：

I(0)=I(1)=－log2(1/2)=log22=1bit一個(gè)m位的二進(jìn)制數(shù),有2m個(gè)等概率的可能組合I=－log2(1/2m)=mbit2.2.1自信息量幾個(gè)例子94二進(jìn)制碼元0,1,當(dāng)符號(hào)概率為p(0)=1/4,p(1)=

定義：隨機(jī)事件的不確定度在數(shù)量上等于它的自信息量．說明:兩者的單位相同，但含義卻不相同。具有某種概率分布的隨機(jī)事件不管發(fā)生與否，都存在不確定度，不確定度表征了該事件的特性，而自信息量是在該事件發(fā)生后給予觀察者的信息量。

不確定度2.2.1自信息量95定義：隨機(jī)事件的不確定度在數(shù)量上等于它的自信息量．不確定

一個(gè)出現(xiàn)概率接近于1的隨機(jī)事件，發(fā)生的可能性很大，所以它包含的不確定度就很?。环粗粋€(gè)出現(xiàn)概率很小的隨機(jī)事件，很難猜測(cè)在某個(gè)時(shí)刻它能否發(fā)生，所以它包含的不確定度就很大；若是確定性事件，出現(xiàn)概率為1，則它包含的不確定度為0。2.2.1自信息量962.2.1自信息量22I(xi)的特性：⑴I(xi)是非負(fù)值⑵當(dāng)p(xi)=1時(shí)，I(xi)=0⑶當(dāng)p(xi)=0時(shí)，I(xi)=∞⑷I(xi)是先驗(yàn)概率p(xi)的單調(diào)遞減函數(shù)，即當(dāng)p(x1)＞p(x2)時(shí)，I(x1)＜I(x2)⑸兩個(gè)獨(dú)立事件的聯(lián)合信息量等于它們分別的信息量之和。即統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。97I(xi)的特性：23兩個(gè)消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量

注意:當(dāng)xi,yj相互獨(dú)立時(shí)，有P(xiyj)=P(xi)P(yj)，那么就有I(xiyj)=I(xi)+I(yj)。xiyj所包含的不確定度在數(shù)值上也等于它們的自信息量。

2.2.1自信息量聯(lián)合自信息量98兩個(gè)消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量注意:2.2.1定義：在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為，則它的條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值：

注意:

在給定yj條件下，隨機(jī)事件xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。

2.2.1自信息量4.條件自信息量99定義：在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為例2－2－1

英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit2.2.1自信息量100例2－2－1英文字母中“e”出現(xiàn)的概率為0.10一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的，若隨機(jī)摸取一個(gè)球，猜測(cè)其顏色，求平均摸取一次所能獲得的自信息量。解:依據(jù)題意這一隨機(jī)事件的概率空間為

2.2.2離散信源熵例2-2-2101一個(gè)布袋內(nèi)放100個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的球是白球事件.如果摸出的是紅球，則獲得的信息量是I（x1）=-log2p（x1）=-log20.8bit如果摸出的是白球，則獲得的信息量是I（x2）=-log2p（x2）=-log20.2bit如果每次摸出一個(gè)球后又放回袋中，再進(jìn)行下一次摸取。則如此摸取n次，紅球出現(xiàn)的次數(shù)為np（x1）次，白球出現(xiàn)的次數(shù)為np（x2）次。隨機(jī)摸取n次后總共所獲得的信息量為np（x1）I（x1）+np（x2）I（x2）102其中：x1表示摸出的球?yàn)榧t球事件，x2表示摸出的如果每次則平均隨機(jī)摸取一次所獲得的信息量為

H（X）=1/n[np（x1）I（x1）+np（x2）I（x2）]=-[p（x1）log2p（x1）+p（x2）log2p（x2）]=0.72比特/次說明：自信息量I（x1）和I（x2）只是表征信源中各個(gè)符號(hào)的不確定度，一個(gè)信源總是包含著多個(gè)符號(hào)消息，各個(gè)符號(hào)消息又按概率空間的先驗(yàn)概率分布，因而各個(gè)符號(hào)的自信息量就不同。所以自信息量不能作為信源總體的信息量。103則平均隨機(jī)摸取一次所獲得的信息量為=0.72比特/次說明：因?yàn)閄中各符號(hào)xi的不確定度I（xi）為非負(fù)值，p（xi）也是非負(fù)值，且0p（xi）1，故信源的平均不確定度H（X）也是非負(fù)量。平均不確定度H（X）的定義公式與熱力學(xué)中熵的表示形式相同，所以又把H（X）稱為信源X的熵。熵是在平均意義上來表征信源的總體特性的，可以表征信源的平均不確定度。

104因?yàn)閄中各符號(hào)xi的不確定度I（xi）為非負(fù)值，p（xi）也定義：離散信源熵H(X)(平均不確定度/平均信息量/平均自信息量)定義信源的平均不確定度H(X)為信源中各個(gè)符號(hào)不確定度的數(shù)學(xué)期望，即：?jiǎn)挝粸楸忍?符號(hào)或比特/符號(hào)序列

信源熵具有以下三種物理含意：信源熵H(X)表示信源輸出后,每個(gè)離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前,信源的平均不確定度。信源熵H(X)反映了變量X的隨機(jī)性

105定義：離散信源熵H(X)(平均不確定度/平均信單位為比特/符某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是一個(gè)確定值，一般寫成H（X），X是指隨機(jī)變量的整體（包括概率分布）。信息量則只有當(dāng)信源輸出符號(hào)而被接收者收到后，才有意義，這就是給予接收者的信息度量，這值本身也可以是隨機(jī)量，也可以與接收者的情況有關(guān)。當(dāng)某一符號(hào)的概率為零時(shí)，在熵公式中無(wú)意義，為此規(guī)定這時(shí)的也為零。當(dāng)信源X中只含一個(gè)符號(hào)時(shí)，必定有，此時(shí)信源熵H（X）為零。

106某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，例：甲地天氣預(yù)報(bào)甲地提供的平均信息量大于乙地

乙地天氣預(yù)報(bào)求：兩地天氣預(yù)報(bào)各自提供的平均信息量107例：甲地天氣預(yù)報(bào)甲地提供的平均信息量大于乙地乙地天氣預(yù)報(bào)求甲、乙地天氣預(yù)報(bào)為兩極端情況：信源是一確定信源，所以不存在不確定性，信息熵等于零。108甲、乙地天氣預(yù)報(bào)為兩極端情況：信源是一確定信源，所以不存在不甲、乙地天氣預(yù)報(bào)為兩極端情況：這種情況下,信源的不確定性最大,信源熵最大。甲地比乙地提供更多的信息量。因?yàn)榧椎乜赡艹霈F(xiàn)的消息數(shù)多于乙地可能出現(xiàn)的消息數(shù)。

109甲、乙地天氣預(yù)報(bào)為兩極端情況：這種情況下,信源的不確定性最大例2－6電視屏上約有500×600=3×105個(gè)格點(diǎn)，按每點(diǎn)有10個(gè)不同的灰度等級(jí)考慮，則共能組成

個(gè)不同的畫面。按等概率計(jì)算，平均每個(gè)畫面可提供的信息量為

＝3×105×

3.32比特/畫面

110例2－6＝3×105×3.32比特/畫面有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文N=100001000=104000篇仍按等概率1/100001000計(jì)算，平均每篇千字文可提供的信息量為H（X）＝log2N＝4×103

×3．321．3×104比特／千字文

比較：“一個(gè)電視畫面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過“一篇千字文”提供的信息量。

111有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文例2－2－4

設(shè)信源符號(hào)集X={x1,x2,x3}，每個(gè)符號(hào)發(fā)生的概率分別為p（x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。

則信源熵為H（X）=1/2log22+1/4log24+1/4log24=1.5比特/符號(hào)

112例2－2－4設(shè)信源符號(hào)集X={x1,x2,x3}，每個(gè)符號(hào)例2－2－5

該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)發(fā)生的概率分別為p和q，p＋q=l。即信源的概率空間為

則二元信源熵為H（X）=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)113例2－2－5該信源X輸出符號(hào)只有兩個(gè)，設(shè)為0和1。輸出符號(hào)00.20.40.60.8110.80.60.40.2pH(p)信源信息熵H(X)是概率p的函數(shù),通常用H(p)表示p取值于[0，1]區(qū)間。H(p)函數(shù)曲線如圖所示。

如果二元信源的輸出符號(hào)是確定的,即p=1或q=1,則該信源不提供任何信息。當(dāng)二元信源符號(hào)0和1以等概率發(fā)生時(shí),信源熵達(dá)到極大值,等于1比特信息量。11400.20.40.60.8幾個(gè)概念定義：在給定yj條件下，xi的條件自信息量為I(xi/yj)，X集合的條件熵H（X/yj）為

H（X/yj）=

在給定Y（即各個(gè)yj）條件下，X集合的條件熵H(X/Y)定義為

H（X/Y）==條件熵115幾個(gè)概念定義：在給定yj條件下，xi的條件自信息量為I(xi相應(yīng)地，在給定X（即各個(gè)xi）的條件下，Y集合的條件熵H(Y/X)定義為

H(Y/X)=聯(lián)合熵定義：聯(lián)合熵是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。定義為：

H（XY）=

說明:聯(lián)合熵H（XY）表示X和Y同時(shí)發(fā)生的不確定度。116相應(yīng)地，在給定X（即各個(gè)xi）的條件下，Y集合的條件聯(lián)合熵定聯(lián)合熵H（XY）與熵H（X）及條件熵H（X/Y）之間存在下列關(guān)系

H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

證明:由117聯(lián)合熵H（XY）與熵H（X）及條件熵H（X/Y）之間存在下列所以□118所以□44證明:

由所以119證明:所以45例2-9二進(jìn)制通信系統(tǒng)用符號(hào)“0”和“1”,由于存在失真,傳輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件：u0：一個(gè)“0”發(fā)出：u1：一個(gè)“1”發(fā)出v0：一個(gè)“0”收到；v1：一個(gè)“1”收到。給定下列概率：

p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知發(fā)出一個(gè)“0”,求收到符號(hào)后得到的信息量；⑵已知發(fā)出的符號(hào),求收到符號(hào)后得到的信息量⑶知道發(fā)出的和收到的符號(hào),求能得到的信息量；⑷已知收到的符號(hào)，求被告知發(fā)出的符號(hào)得到的信息量。120例2-9二進(jìn)制通信系統(tǒng)用符號(hào)“0”和“1”,由于存在失真,傳解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵聯(lián)合概率：p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/4121解：⑴p(v1|u0)=1－p(v0|u0)=1⑶解法1：解法2H(UV)=H(U)+H(V|U)=1+0.91=1.91比特/符號(hào)122⑶解法1：48⑷解法1解法2：利用貝葉斯公式:同理:p(u1|v0)=2/5，p(u0|v1)=1/3,p(u1|v1)=2/3123⑷49例2-8:一個(gè)二進(jìn)信源X發(fā)出符號(hào)集{0,1},經(jīng)過離散無(wú)記憶信道傳輸,信道輸出用Y表示.由于信道中存在噪聲,接收端除收到0和1的符號(hào)外,還有不確定符號(hào)“2”已知X的先驗(yàn)概率:p(x0)=2/3,p(x1)=1/3,符號(hào)轉(zhuǎn)移概率：p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4信源熵124例2-8:一個(gè)二進(jìn)信源X發(fā)出符號(hào)集{0,1},經(jīng)過離散無(wú)記憶得聯(lián)合概率：p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6條件熵由125得聯(lián)合概率：由51聯(lián)合熵H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符號(hào)得p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6

p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由126聯(lián)合熵得p(y0)=∑p(xiy0)=p(x0y0由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/2127由得同理p(x0|y1)=0；p(x1|y1)信源X有擾離散信道信宿Y干擾源圖2-2-2簡(jiǎn)單的通信系統(tǒng)模型2.2.3互信息128信源X有擾離散信道信宿Y干擾源圖2-2-2簡(jiǎn)單的通什么叫信源X的先驗(yàn)概率p(xi)?由于信宿事先不知道信源在某一時(shí)刻發(fā)出的是哪一個(gè)符號(hào),所以每個(gè)符號(hào)消息是一個(gè)隨機(jī)事件。信源發(fā)出符號(hào)通過有干擾的信道傳遞給信宿。通常信宿可以預(yù)先知道信息X發(fā)出的各個(gè)符號(hào)消息的集合,以及它們的概率分布，即預(yù)知信源X的先驗(yàn)概率p(xi)。幾個(gè)概念什么叫后驗(yàn)概率?當(dāng)信宿收到一個(gè)符號(hào)消息yj后，信宿可以計(jì)算信源各消息的條件概率p(xi/yj),i=1,2,…N,這種條件概率稱為后驗(yàn)概率。

129什么叫信源X的先驗(yàn)概率p(xi)?幾個(gè)概念什么叫后驗(yàn)概率?5互信息量為后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù):I（xi;yj）=log

什么叫平均互信息量?

什么叫互信