信息理論基礎(chǔ) 第二章 信息的度量

信息理論基礎(chǔ)第二章信息的度量第1頁，共99頁，2023年，2月20日，星期日第一節(jié)離散熵一.單符號(hào)離散信源

1.定義

如果信源發(fā)出的消息是離散的符號(hào)或數(shù)字，并且一個(gè)符號(hào)代表一條完整的消息，則稱這種信源為單符號(hào)信源。2.數(shù)學(xué)模型第2頁，共99頁，2023年，2月20日，星期日信源發(fā)送符號(hào)ai的自信息量I(ai)

,(i=1,2,…,r)I(ai)=[收到ai

前,信宿對(duì)信源發(fā)送符號(hào)ai

的不確定性]----信源發(fā)送單個(gè)符號(hào)所攜帶的的信息量信息量的度量轉(zhuǎn)化為對(duì)不確定性的度量二.自信息量

第3頁，共99頁，2023年，2月20日，星期日I(ai)

必須滿足以下四個(gè)公理性條件:1.信源發(fā)送符號(hào)ai和aj的先驗(yàn)概率分別為p(ai)和p(aj),如果0<p(ai)<p(aj)<1,則2.信源發(fā)送符號(hào)ai的先驗(yàn)概率p(ai)=0,則3.信源發(fā)送符號(hào)ai的先驗(yàn)概率p(ai)=1,則4.設(shè)有兩個(gè)獨(dú)立信源X和Y,信源X發(fā)送符號(hào)ai的先驗(yàn)概率為p(ai),信源Y發(fā)送符號(hào)aj的先驗(yàn)概率為p(aj),符號(hào)ai和aj的聯(lián)合消息(aiaj)的先驗(yàn)概率為p(aiaj),則第4頁，共99頁，2023年，2月20日，星期日I(ai)

的具體表達(dá)式:又名概率信息單位:以2為底,單位為比特以e為底,單位為奈特以10為底,單位為哈特萊自信息量在歷史上第一次使信息的度量成為可能，成為推動(dòng)信息論發(fā)展的基石。第5頁，共99頁，2023年，2月20日，星期日例2-1：有12個(gè)球，只有一個(gè)是非標(biāo)重球，問是否存在用天平稱3次必然找到該球的方法？(從信息的角度解決)解：天平的狀態(tài)有三種：平衡、左輕、左重

每稱一次消除一種狀態(tài)，則帶來的信息量為log3則稱3次后，帶來的信息量為3log3=log27

結(jié)論:而一個(gè)非標(biāo)球的攜帶的信息量為可見：信息的度量是為了找到解決問題的方法，而不是純粹度量信息的大小第6頁，共99頁，2023年，2月20日，星期日三.離散熵

請(qǐng)問:

能否用自信息量作為信源的總體信息測(cè)度呢?從定性的角度可知：三個(gè)信源不確定性大小為X<Y<Z有三個(gè)信源X，Y，Z，各自的概率空間為第7頁，共99頁，2023年，2月20日，星期日信源的總體信息測(cè)度

-------應(yīng)該是信源每發(fā)一個(gè)符號(hào)所提供的平均信息量記為:H(X)---離散熵又名平均自信息量單位:以2為底,單位為比特/信源符號(hào)以e為底,單位為奈特/信源符號(hào)以10為底,單位為哈特萊/信源符號(hào)第8頁，共99頁，2023年，2月20日，星期日看剛才的三個(gè)信源X，Y，Z，求它們的信息熵解:由信息熵可知：H(Z)>H(Y)>H(X)

結(jié)論：X、Y、Z熵的大小關(guān)系與X、Y、Z不確定性的大小關(guān)系符合，說明熵的確可以作為信源的總體信息側(cè)度第9頁，共99頁，2023年，2月20日，星期日信息熵的物理意義請(qǐng)問：

由熵的推導(dǎo)過程看，熵具有什么樣的物理意義呢？3.反映隨機(jī)變量X的隨機(jī)性2.表示信源輸出前，信源的平均不確定度1.表示信源輸出后，每個(gè)離散消息所提供的平均信息量熵還可記為H(P)或H(p1,p2,…,pr)第10頁，共99頁，2023年，2月20日，星期日設(shè)離散無記憶信源其發(fā)生的消息為：（202120130213001203210110321010021032011223210）求（1）此消息的自信息量。（2）在此消息中平均每個(gè)符號(hào)攜帶的信息量。例2-2第11頁，共99頁，2023年，2月20日，星期日解：（1）消息的自信息量就是等于消息中各個(gè)符號(hào)的自信息量之和。根據(jù)題意可得：

此消息中共有14個(gè)“0”符號(hào)，13個(gè)“1”符號(hào)，12個(gè)“2”符號(hào)，6個(gè)“3”符號(hào)，則得到的自信息量是：第12頁，共99頁，2023年，2月20日，星期日（2）此消息中平均每個(gè)符號(hào)攜帶的信息量為：原因：(2)問的值是該特定消息中平均每個(gè)符號(hào)攜帶的信息量，而信息熵是離散無記憶信源平均每個(gè)符號(hào)攜帶的信息量，是統(tǒng)計(jì)平均值。信源的信息熵:結(jié)論:

(2)問的值與信源的信息熵不完全相等第13頁，共99頁，2023年，2月20日，星期日例熵在語音端點(diǎn)檢測(cè)中的應(yīng)用(本人的實(shí)際工作）純凈語音波形帶噪語音波形譜熵加能量參數(shù)分帶譜熵加能量參數(shù)第14頁，共99頁，2023年，2月20日，星期日四.熵的性質(zhì)

1.對(duì)稱性

,各pn的順序變化,不影響熵值各自的熵為:

H(X)=H(Y)=H(Z)=1.4592bit/symbol對(duì)稱性說明:----信源的信息熵只與信源的概率空間的總體結(jié)構(gòu)有關(guān),與具體內(nèi)容無關(guān)例：第15頁，共99頁，2023年，2月20日，星期日2.非負(fù)性證明：提問:何時(shí)等式成立?非負(fù)性表明：

從總體看，信源在發(fā)送符號(hào)以前，總存在一定的不確定性；在發(fā)符號(hào)后，總可提供一定的信息量第16頁，共99頁，2023年，2月20日，星期日則或又∵∴只有某一個(gè)，而其他當(dāng)且僅當(dāng)在中各項(xiàng)為零時(shí)等號(hào)成立，即

第17頁，共99頁，2023年，2月20日，星期日

若信源符號(hào)集中，有一個(gè)符號(hào)幾乎必然出現(xiàn)，其他符號(hào)幾乎不可能出現(xiàn)，則該信源為一個(gè)確知信源，則信息熵等于零,即：3.確定性熵函數(shù)的確定性表明：

只有信源的任一個(gè)概率分量等于1時(shí)，才能使信源信息熵等于零，除此以外的任何情況的信息熵都大于零。對(duì)于確知信源，發(fā)符號(hào)前，不存在不確定性；發(fā)符號(hào)后，不提供任何信息量。第18頁，共99頁，2023年，2月20日，星期日4.上凸性YXX0HαX+(1-α)Y設(shè)有一個(gè)多元函數(shù)或矢量函數(shù)

第19頁，共99頁，2023年，2月20日，星期日證明:由于后面兩項(xiàng)的數(shù)值均大于零，故有：上凸性說明：

熵函數(shù)具有極大值取則:第20頁，共99頁，2023年，2月20日，星期日5.極值性（最大離散熵定理）H(P)≤logr,當(dāng)且僅當(dāng)?shù)雀欧植紩r(shí)等號(hào)成立,r為X的取值個(gè)數(shù)證明：按條件極大值的數(shù)學(xué)求解方法，作輔助函數(shù)：其中，λ為待定常數(shù)，對(duì)輔助函數(shù)中的r個(gè)變量pi(i=1,2,…,r)分別求偏導(dǎo)，并令為零，得r個(gè)穩(wěn)定方程將上式代入約束條件得：熵函數(shù)的最大值為則有：

H(P)≤logr,當(dāng)且僅當(dāng)?shù)雀欧植紩r(shí)等號(hào)成立第21頁，共99頁，2023年，2月20日，星期日熵的極值性說明：在所有符號(hào)個(gè)數(shù)相同，而符號(hào)的概率分布不同的離散信源中，以先驗(yàn)等概的信源的信息熵最大，其最大值等于信源符號(hào)個(gè)數(shù)r的對(duì)數(shù)；同時(shí)說明：

離散信源信息熵的最大值，只取決于信源符號(hào)的個(gè)數(shù)r，r越大，其信息熵也越大第22頁，共99頁，2023年，2月20日，星期日6.擴(kuò)展性含義：若信源X有q個(gè)符號(hào)，信源Y有q+1個(gè)符號(hào)，兩者的差異只多了一個(gè)概率接近零的符號(hào)，則兩信源的熵值是一樣的；證明：擴(kuò)展性說明：若信源空間中增加某些概率接近于零的信源符號(hào)，對(duì)信源的熵值的貢獻(xiàn)可以忽略不計(jì)第23頁，共99頁，2023年，2月20日，星期日提問：在通信的接收端，當(dāng)接收到符號(hào)y后，對(duì)信源發(fā)送符號(hào)x到底還存在多大的不確定度呢？或者說在y已知的條件下，x發(fā)生會(huì)帶來多大的信息量呢？五.條件自信息量

事件x在事件y給定的條件下的自信息量定義為條件自信息量：含義：已知y后對(duì)x

則有一定的了解，不了解的那部分?jǐn)y帶的信息量既是條件自信息量，也可表示已知y后對(duì)x還殘留的不確定度。引入條件自信息量的目的：衡量符號(hào)之間相關(guān)性導(dǎo)致攜帶信息的變化在通信系統(tǒng)中可以描述信道的作用第24頁，共99頁，2023年，2月20日，星期日設(shè)在一正方形棋盤上共有64個(gè)方格，如果甲將一粒棋子隨意放在棋盤中的某方格且讓乙猜測(cè)棋子所在的位置所攜帶的信息量：（1）將方格按順序編號(hào)，令乙猜測(cè)棋子所在方格的順序號(hào)；（2）將方格分別按行和列編號(hào)，甲將棋子所在方格的行或列編號(hào)告訴乙之后，再令乙猜測(cè)棋子所在列或行的位置。

例2-3：第25頁，共99頁，2023年，2月20日，星期日解：（1）令把棋子任意放在棋盤的某一格為事件xi，則該事件發(fā)生的概率為：則該事件攜帶的信息量為：（2）設(shè)行為隨機(jī)變量X，列為隨機(jī)變量Y，則在事件yj發(fā)生后事件xi發(fā)生的概率為：則該事件攜帶的信息量為：由結(jié)果可知:

事件yj的出現(xiàn)降低了事件xi發(fā)生所攜帶的信息量原因:

事件yj的出現(xiàn)帶來了事件xi的部分的信息，導(dǎo)致對(duì)事件xi的不確定性減小第26頁，共99頁，2023年，2月20日，星期日請(qǐng)問:當(dāng)在接收端接收到符號(hào)y后,信源的整體特性會(huì)發(fā)生變化嗎?如果發(fā)生變化,則在該條件下,信源每發(fā)送一個(gè)符號(hào)平均可提供的信息是多少?當(dāng)接收端收到的所有的符號(hào)后,發(fā)送端的信源每發(fā)送一個(gè)符號(hào)平均可提供多少信息?第27頁，共99頁，2023年，2月20日，星期日六.條件熵給定yj條件下集合X的總體信息度量有：再考慮整個(gè)Y集合，有：同理：第28頁，共99頁，2023年，2月20日，星期日

H(Y|X)表示已知X后Y“殘留”的不確定度條件熵的含義：

表示在已知一隨機(jī)變量的情況下，對(duì)另一隨機(jī)變量的不確定性的度量。H(X|Y)表示已知Y后X“殘留”的不確定度信道XY請(qǐng)問：H(X|Y)表示什么意義？表示接收端接收到Y(jié)后對(duì)X還殘留的不確定度，即對(duì)X還有未知的部分，這部分通過信道傳輸時(shí)由于信道中的干擾被損失了第29頁，共99頁，2023年，2月20日，星期日七.聯(lián)合熵聯(lián)合熵H(XY)含義:表示聯(lián)合隨機(jī)變量XY攜帶的信息量，即兩者攜帶的信息之和.第30頁，共99頁，2023年，2月20日，星期日八.各種熵之間的關(guān)系聯(lián)合熵與離散熵、條件熵的關(guān)系同理：第31頁，共99頁，2023年，2月20日，星期日當(dāng)X、Y相互獨(dú)立有：

第32頁，共99頁，2023年，2月20日，星期日2.聯(lián)合熵與離散熵的關(guān)系當(dāng)X和Y相互獨(dú)立時(shí),等式成立證明：利用對(duì)于任意實(shí)數(shù)x>0,有則：第33頁，共99頁，2023年，2月20日，星期日3.條件熵與離散熵的關(guān)系證明：

當(dāng)X和Y有確定的函數(shù)關(guān)系，且X可完全確定Y，或Y完全確定X，則則有

第34頁，共99頁，2023年，2月20日，星期日總結(jié)：各種熵之間的關(guān)系(利用集合概念)XYH(X)XYH(XY)XYH(X|Y)XYH(Y|X)第35頁，共99頁，2023年，2月20日，星期日設(shè)一系統(tǒng)的輸入符號(hào)集X=(x1,x2,x3,x4,x5)，輸出符號(hào)集Y=(y1,y2,y3,y4)輸入符號(hào)與輸出符號(hào)間的聯(lián)合分布為試求:

H(XY)、H(X)、H(Y)、H(Y|X)和H(X|Y)例2-4第36頁，共99頁，2023年，2月20日，星期日解：由全概率公式可知：則從已知可求：第37頁，共99頁，2023年，2月20日，星期日H(Y|X)=H(XY)-H(X)=2.665-2.066=0.599bit/symbolH(X|Y)=H(XY)-H(Y)=2.665-1.856=0.809bit/symbol第38頁，共99頁，2023年，2月20日，星期日例2-5：設(shè)A、B兩地的天氣情況分別如表所示：晴多云雨冰雹A1/21/41/81/8B1/21/81/81/4求各地天氣情況攜帶的信息量解：

提問：熵能描述主觀價(jià)值嗎？信息熵?zé)o法描述主觀意義上事件的重要性,為此引入加權(quán)熵第39頁，共99頁，2023年，2月20日，星期日則加權(quán)熵定義為：

設(shè)有隨機(jī)變量X，引入事件的重要性，其概率空間為Wi表示事件的重要性實(shí)際工程中常采用加權(quán)熵九.加權(quán)熵第40頁，共99頁，2023年，2月20日，星期日第二節(jié)平均互信息一.單符號(hào)離散信道

1.定義:輸入和輸出都是離散的單符號(hào)的信道。2.數(shù)學(xué)模型干擾信道信源X輸出Y第41頁，共99頁，2023年，2月20日，星期日二.互信息---從一個(gè)符號(hào)獲得關(guān)于另一個(gè)符號(hào)的信息量信宿接收到符號(hào)yj后,從yj中獲得關(guān)于符號(hào)xi的信息量I(xi;yj)(i=1,2,…,r;j=1,2,…,s)1.定義

=[信宿收到y(tǒng)j前，對(duì)信源發(fā)送xi的不確定性]-[信宿收到y(tǒng)j后，對(duì)信源發(fā)送xi仍然還存在的不確定性]提問：xi通過信道傳輸后，有多少信息傳給了接收端？第42頁，共99頁，2023年，2月20日，星期日表示：信道在把符號(hào)xi通過信道傳遞給信宿變成yj的過程中信道傳遞的信息量單位與自信息量的一致互信息函數(shù)的導(dǎo)出,為定量描述信息的傳輸問題,奠定了堅(jiān)實(shí)的基礎(chǔ).提問：互信息與條件自信息有什么關(guān)系？第43頁，共99頁，2023年，2月20日，星期日2.互信息的性質(zhì)(1)對(duì)稱性I(xi;yj)=I(yj;xi)證明:∵對(duì)稱性說明：互信息是兩個(gè)事件之間的共性。無論從哪個(gè)事件獲得關(guān)于另一個(gè)事件的信息都是相等的。第44頁，共99頁，2023年，2月20日，星期日(2)互信息量可為零當(dāng)事件xi，yj統(tǒng)計(jì)獨(dú)立時(shí)，兩者的互信息量I(xi;yj)=0證明：∵xi，yj統(tǒng)計(jì)獨(dú)立

則當(dāng)互信息量為零，意味著不能從觀測(cè)其中一個(gè)事件獲得關(guān)于另一個(gè)事件的任何信息第45頁，共99頁，2023年，2月20日，星期日(3)互信息量可正可負(fù)互信息量為負(fù)互信息量為正含義:互信息量為正,意味著事件yj的出現(xiàn)有助于肯定事件xi的出現(xiàn)互信息量為負(fù),意味著事件yj的出現(xiàn)不利于肯定事件xi的出現(xiàn)請(qǐng)問:在通信中什么原因造成互信息量為負(fù)?信道中存在的干擾,導(dǎo)致發(fā)生傳輸錯(cuò)誤所致第46頁，共99頁，2023年，2月20日，星期日(4)極值性證明：∵

且p(xi|yj)≤1∴同理極值性說明：自信息量是為了確定事件出現(xiàn)所必需提供的信息量，也是其他事件所能提供的關(guān)于該事件的最大信息量第47頁，共99頁，2023年，2月20日，星期日例2-6用傳送帶測(cè)定生產(chǎn)的每袋化肥重量是否符合規(guī)定，而在傳送帶終端裝有測(cè)定顯示裝置，顯示符號(hào)A、B和C分別表示超重H、正常N和過輕L三種情況。一袋化肥放在傳送帶上的位置偏了就會(huì)產(chǎn)生錯(cuò)誤顯示，使得超重的卻顯示B信號(hào)，正常的顯示C信號(hào)。而且總有15%超重和10%正常的的化肥袋子放偏位置。今有一批生產(chǎn)的化肥，超重的占15%，正常的75%，過輕的占10%。請(qǐng)問：當(dāng)顯示裝置顯示符號(hào)為A、B和C時(shí)所獲得的關(guān)于化肥袋超重、正常和過輕的信息量各是多少？

第48頁，共99頁，2023年，2月20日，星期日解：由已知可知

并有下列的條件概率：

利用貝葉斯公式，即

可以計(jì)算出后驗(yàn)概率:第49頁，共99頁，2023年，2月20日，星期日則當(dāng)顯示裝置顯示符號(hào)為A、B和C時(shí)所獲得的關(guān)于化肥袋超重、正常和過輕的信息量各自為：

第50頁，共99頁，2023年，2月20日，星期日信道XYp(yj|xi)干擾信道Zp(zk|xiyj)

提問：當(dāng)隨機(jī)變量Z出現(xiàn)zk，請(qǐng)問在此條件下，隨機(jī)變量Y出現(xiàn)yj后，獲得關(guān)于信源發(fā)送符號(hào)xi多大的信息量？第51頁，共99頁，2023年，2月20日，星期日定義：聯(lián)合集ＸＹＺ中，在給定zk的條件下，xi與yj之間的互信息量定義為條件互信息量，即表明：在隨機(jī)變量Z出現(xiàn)符號(hào)zk的前提條件下，從隨機(jī)變量Y的符號(hào)yj中獲取關(guān)于信源X的符號(hào)xi的信息量等于隨機(jī)變量Y出現(xiàn)符號(hào)yj前、后，對(duì)信源發(fā)送符號(hào)xi的條件不確定性的減少。

二.條件互信息第52頁，共99頁，2023年，2月20日，星期日利用互信息和條件互信息可解決符號(hào)序列的信息測(cè)量問題第53頁，共99頁，2023年，2月20日，星期日例2-7下表中列出了無失真信源編碼消息、消息的先驗(yàn)概率以及每個(gè)消息所對(duì)應(yīng)的碼字。信源消息a1a2a3a4a5a6a7a8碼字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16當(dāng)接收端接收到碼符號(hào)序列011時(shí)，請(qǐng)問從接收到的這些碼符號(hào)序列中獲得了關(guān)于碼字a4所代表的消息的信息量是多少？第54頁，共99頁，2023年，2月20日，星期日解：令b,c,d分別表示碼字011中的第一個(gè)碼符號(hào)0，第二個(gè)碼符號(hào)1，第三個(gè)碼符號(hào)1，則有：第55頁，共99頁，2023年，2月20日，星期日表明：第一個(gè)碼符號(hào)0提供關(guān)于碼字a4的信息量為

(2-log3)bit第56頁，共99頁，2023年，2月20日，星期日表明：在接收到第一個(gè)碼符號(hào)0的前提下，第二個(gè)碼符號(hào)1提供關(guān)于碼字a4的信息量為log3bit第57頁，共99頁，2023年，2月20日，星期日表明：在接收到序列01的前提下，第三個(gè)碼符號(hào)1提供關(guān)于碼字a4的信息量為1bit表明：在接收到序列011后提供關(guān)于碼字a4的信息量為3bit說明：消息a4與相應(yīng)碼字是一一對(duì)應(yīng)的確定關(guān)系第58頁，共99頁，2023年，2月20日，星期日請(qǐng)問:當(dāng)在接收端接收到符號(hào)y后,從該符號(hào)能否獲得發(fā)送端信源的平均每個(gè)符號(hào)攜帶的信息量?從接收到的信源Y,能否知道發(fā)送端的信源平均每個(gè)符號(hào)攜帶的信息呢?第59頁，共99頁，2023年，2月20日，星期日三.平均條件互信息當(dāng)信宿Y收到某一具體的符號(hào)bj后，從bj中獲取的關(guān)于輸入符號(hào)的平均信息量：

----從信源的某一個(gè)符號(hào)獲取的關(guān)于另一個(gè)信源的平均信息量

當(dāng)信源X發(fā)送符號(hào)ai后，從ai中獲取的關(guān)于輸出符號(hào)的平均信息量:第60頁，共99頁，2023年，2月20日，星期日(a)在聯(lián)合集ＸＹ上，I(X;bj)>=0,當(dāng)且僅當(dāng)Ｘ集合中的各個(gè)ai都與事件bj相互獨(dú)立時(shí),等號(hào)成立證明：平均條件互信息的性質(zhì)：第61頁，共99頁，2023年，2月20日，星期日表明：從平均意義上講，從信宿Y中的任一個(gè)具體符號(hào)bj中總可以獲取一點(diǎn)關(guān)于信源X的信息量。只有當(dāng)信宿Y的具體符號(hào)bj與信源X統(tǒng)計(jì)獨(dú)立時(shí)，從bj中才獲取不到關(guān)于信源X的任何信息量證明：第62頁，共99頁，2023年，2月20日，星期日(b)在聯(lián)合集ＸＹ上，I(Y;ai)>=0,當(dāng)且僅當(dāng)Y集合中的各個(gè)bj都與事件ai相互獨(dú)立時(shí)，等號(hào)成立證明：表明：從平均意義上講，從信源X中的任一個(gè)具體符號(hào)ai中總可以獲取一點(diǎn)關(guān)于信宿Y的信息量。只有當(dāng)信源X的具體符號(hào)ai與信宿Y統(tǒng)計(jì)獨(dú)立時(shí)，從ai中才獲取不到關(guān)于信宿Y的任何信息量第63頁，共99頁，2023年，2月20日，星期日--------表示已知一隨機(jī)變量的取值后所提供的有關(guān)另一隨機(jī)變量的信息量四.平均互信息1.定義從信宿Y獲取的關(guān)于信源X的平均信息量：

第64頁，共99頁，2023年，2月20日，星期日從信源X獲取的關(guān)于信宿Y的平均信息量：

平均互信息從總體上表示信道每傳遞一個(gè)符號(hào)所傳遞的平均信息量。

第65頁，共99頁，2023年，2月20日，星期日思考:H(X|Y)與I(X;Y)有什么不同?條件熵:從一個(gè)隨機(jī)變量可得另一個(gè)隨機(jī)變量發(fā)生帶來的信息問:利用條件熵能否得到兩個(gè)隨機(jī)變量間的共同信息？問:Y提供給X的信息量是多少？●已知Y，X的不確定度為H(X|Y)●未知Y，X的不確定度為H(X)H(X)-H(X|Y)問：H(X)-H(X|Y)與I(X;Y)是否相等呢？思考:I(X;Y)與I(Y;X)是否相等?第66頁，共99頁，2023年，2月20日，星期日2.性質(zhì)(1)對(duì)稱性I(X;Y)=I(Y;X)證明:結(jié)論:I(X;Y)和I(Y;X)是隨機(jī)變量X和Y之間相互提供的平均信息量，把它們稱為平均互信息是完全正確的第67頁，共99頁，2023年，2月20日，星期日證明：(2)非負(fù)性I(X;Y)≥0非負(fù)性說明：雖然對(duì)于信源X和信宿Y的兩個(gè)特定具體的符號(hào)之間的互信息來說，有可能出現(xiàn)負(fù)值，但從平均的意義來說，信道每傳遞一個(gè)符號(hào)，總能傳遞一定的信息量，至少為零，決不會(huì)出現(xiàn)負(fù)值。第68頁，共99頁，2023年，2月20日，星期日(3)平均互信息與各種熵的關(guān)系證明:①I(X;Y)=H(X)-H(X|Y)第69頁，共99頁，2023年，2月20日，星期日證明:

②I(X;Y)=H(Y)-H(Y|X)證明:

③I(X;Y)=H(X)+H(Y)-H(XY)第70頁，共99頁，2023年，2月20日，星期日H（X）H（Y）H（X|Y）H（Y|X）I（X；Y）H（XY）第71頁，共99頁，2023年，2月20日，星期日(4)極值性I(X;Y)≤H(X)I(X;Y)≤H(Y)證明：∵I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)且有:H(X|Y)≥0H(Y|X)≥0∴I(X;Y)≤H(X)I(X;Y)≤H(Y)極值性說明：兩個(gè)信源之間含有的相同信息不可能大于任何一個(gè)信源自己攜帶的信息第72頁，共99頁，2023年，2月20日，星期日當(dāng)X和Y互相獨(dú)立時(shí):I(X;Y)=0當(dāng)X和Y之間有確定的函數(shù)關(guān)系時(shí)：X唯一確定Y:

H(Y|X)=0，I(X;Y)=H(Y)Y唯一確定X:

H(X|Y)=0，I(X;Y)=H(X)結(jié)論:

當(dāng)X和Y有確定的函數(shù)關(guān)系時(shí)平均互信息退化成為熵第73頁，共99頁，2023年，2月20日，星期日發(fā)送的信息:H(X)損失的信息:H(X|Y)通過信道傳遞到接收端的關(guān)于X的信息:I(X;Y)信源X有擾信道信宿Y例2-8問:通信中發(fā)送的信息是多少?信道中損失的信息是多少?X通過信道傳遞了多少信息給信宿？如果X=Y，說明信道無干擾,則I(X;Y)=H(X)如果X與Y相互獨(dú)立，說明干擾很大,I(X;Y)=0第74頁，共99頁，2023年，2月20日，星期日例2-9：把已知信源信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY).接到下圖所示的0.980.80.020.2第75頁，共99頁，2023年，2月20日，星期日解：由題意可知第76頁，共99頁，2023年，2月20日，星期日第77頁，共99頁，2023年，2月20日，星期日第78頁，共99頁，2023年，2月20日，星期日平均互信息：噪聲熵：疑義度：第79頁，共99頁，2023年，2月20日，星期日一、微分熵假設(shè)：一個(gè)連續(xù)隨機(jī)變量XX∈(﹣∞,﹢∞)概率密度函數(shù)p(x)

X值域分成間隔為x的小區(qū)間，則在內(nèi)的概率近似為p(xi)x則：熵的近似式第三節(jié)連續(xù)隨機(jī)變量下的熵與平均互信息第80頁，共99頁，2023年，2月20日，星期日結(jié)論:連續(xù)隨機(jī)變量的熵為無窮大,失去意義.但是第一項(xiàng)為有限值,可作為相對(duì)熵描述.第81頁，共99頁，2023年，2月20日，星期日同年，香農(nóng)在他的論文中直接定義連續(xù)分布隨機(jī)變量的信息熵為：

離散熵與微分熵的區(qū)別：

——在概念上不同，微分熵去掉了無窮大項(xiàng)，保留了有限值那一項(xiàng)，可作為不確定度的相對(duì)量度?！奈⒎朱?/p>

1948年，維納定義連續(xù)變量的信息熵為：——為概率密度函數(shù)。第82頁，共99頁，2023年，2月20日，星期日

假設(shè)：兩個(gè)連續(xù)分布的隨機(jī)變量X和Y，其聯(lián)合概率密度函數(shù)p(xy)，邊緣分布密度函數(shù)分別為p(x)和p(y)，則：可見：與離散狀態(tài)下的平均互信息是一致的。二、連續(xù)隨機(jī)變量下的平均互信息第83頁，共99頁，2023年，2月20日，星期日例2-10：第84頁，共99頁，2023年，2月20日，星期日第85頁，共99頁，2023年，2月20日，星期日第四節(jié)數(shù)據(jù)處理定理定義1：表示隨機(jī)變量Z定后，從隨機(jī)變量Y獲得的關(guān)于X的信息量定義2：表示從隨機(jī)變量YZ獲得的關(guān)于X的信息量有如下關(guān)系:第86頁，共99頁，2023年，2月20日，星期日數(shù)據(jù)處理定理如果隨機(jī)變量X,Y,Z構(gòu)成一個(gè)馬爾可夫鏈，則有以下關(guān)系成立等式成立的條件是對(duì)于任意的x，y，z都有。第87頁，共99頁，2023年，2月20日，星期日并且所以有同理可以證明當(dāng)且僅當(dāng)時(shí)等式成立

因此有證明：當(dāng)X，Y，Z構(gòu)成一個(gè)馬爾可夫鏈時(shí)，Y值給定后，X，Z可以認(rèn)為是獨(dú)立的，則有又因?yàn)橛挟?dāng)時(shí)，說明Z值給定后，X和Y相互獨(dú)立，所以有第88頁，共99頁，2023年，2月20日，星期日在任何信息傳輸處理系統(tǒng)中，最后獲得的信息至多是信源所提供的信息量，一旦在某一個(gè)過程丟失了一些信息，以后的系統(tǒng)不管如何處理，只要不觸及丟失信息的輸入端，就不能再恢復(fù)已經(jīng)丟失的信息。這就是信息的不增性原理.數(shù)據(jù)處理定理說明：第89頁，共99頁，2023年，2月20日，星期日第五節(jié)熵的應(yīng)用及香農(nóng)信息論存在的問題ABCDEFGH0.10.180.40.050.060.10.070.04等長碼000001011010110111101100Huffman01100010011001010000010000011

由此可見Huffman碼不是最好的碼一.編碼問題平均碼長分別為:第90頁，共99頁，2023年，2月20日，星期日二.如何理解信道及信道容量問題

XYP(y|x)信源編碼信道信宿譯碼噪聲信道噪聲信源信宿簡化為：則可表示為：

不同信道具有不同P(y|x)，可用P(y|x)表示信道第91頁，共99頁，2023年，2月20日，星期日