信息論及編碼ppt

1、信息論與編碼主講：苗立剛主講：苗立剛基礎(chǔ)樓基礎(chǔ)樓319 計(jì)算機(jī)與通信工程學(xué)院計(jì)算機(jī)與通信工程學(xué)院2016年年3月月課程目標(biāo)與安排 它是信息處理方向的一門重要的專業(yè)基礎(chǔ)課，是后續(xù)課程它是信息處理方向的一門重要的專業(yè)基礎(chǔ)課，是后續(xù)課程的基礎(chǔ)，如通訊原理、數(shù)字圖像處理、語(yǔ)音信號(hào)處理等。的基礎(chǔ)，如通訊原理、數(shù)字圖像處理、語(yǔ)音信號(hào)處理等。 介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)通通訊系統(tǒng)的抽象數(shù)學(xué)模型訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程分為基礎(chǔ)理論和編碼進(jìn)行展開，課程分為基礎(chǔ)理論和編碼理論兩部分組成。理論兩部分組成。 本課程以本課程以概率論概率論為

2、基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時(shí)主要把注為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時(shí)主要把注意力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。意力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。 注意注意基本概念基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時(shí)注意的理解，不斷加深概念的把握。學(xué)習(xí)時(shí)注意理解各個(gè)概念的理解各個(gè)概念的“用處用處”，結(jié)合其他課程理解它的意義，而，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來(lái)學(xué)習(xí)。不要把它當(dāng)作數(shù)學(xué)課來(lái)學(xué)習(xí)。n 課程特點(diǎn)課程特點(diǎn)學(xué)學(xué) 時(shí)：時(shí)：3232 考試方式：開卷考試方式：開卷考試成績(jī)：平時(shí)成績(jī)考試成績(jī)：平時(shí)成績(jī)* *20% + 20% + 考試成績(jī)考試成績(jī)* *80%80%課程

3、目標(biāo)與安排第一章第一章 緒論緒論第二章第二章 信源熵信源熵第三章第三章 信道容量信道容量第四章第四章 信息率失真函數(shù)信息率失真函數(shù)第五章第五章 信源編碼信源編碼第六章第六章 信道編碼信道編碼第七章第七章 密碼體制的安全性測(cè)度密碼體制的安全性測(cè)度n 課程內(nèi)容安排課程內(nèi)容安排課程目標(biāo)與安排課程目標(biāo)與安排n 參考書參考書 曲煒，朱詩(shī)兵，信息論基礎(chǔ)及應(yīng)用，清華大學(xué)出版社，曲煒，朱詩(shī)兵，信息論基礎(chǔ)及應(yīng)用，清華大學(xué)出版社，20052005 信息論與編碼，陳運(yùn)、周亮、陳新，電子工業(yè)出版社，信息論與編碼，陳運(yùn)、周亮、陳新，電子工業(yè)出版社，20072007 傅祖蕓，信息論與編碼，電子工業(yè)出版社，傅祖蕓，信息論與

4、編碼，電子工業(yè)出版社，20042004 周蔭清，信息論基礎(chǔ)周蔭清，信息論基礎(chǔ)( (第第3 3版版) )，北京航空航天大學(xué)出版，北京航空航天大學(xué)出版社，社，20062006n 有關(guān)的課程有關(guān)的課程 高等數(shù)學(xué)，概率論，線性代數(shù)高等數(shù)學(xué)，概率論，線性代數(shù)第一章第一章 緒論緒論信息論基礎(chǔ)主講：苗立剛主講：苗立剛基礎(chǔ)樓基礎(chǔ)樓318 計(jì)算機(jī)與通信工程學(xué)院計(jì)算機(jī)與通信工程學(xué)院2014年年3月月第一章 緒論 信息的有關(guān)概念信息的有關(guān)概念 通訊系統(tǒng)模型通訊系統(tǒng)模型 信息論的形成和發(fā)展歷史信息論的形成和發(fā)展歷史 n 本章主要討論的問(wèn)題：本章主要討論的問(wèn)題：信息的有關(guān)概念 “信息信息”是信息論中最基本、最重要的概念

5、，它是一個(gè)既抽是信息論中最基本、最重要的概念，它是一個(gè)既抽象又復(fù)雜的概念，目前還沒有一個(gè)統(tǒng)一的定義象又復(fù)雜的概念，目前還沒有一個(gè)統(tǒng)一的定義( (百余種百余種) )； “信息信息”不同于消息不同于消息 在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴(yán)格的數(shù)學(xué)含義；同義詞，沒有嚴(yán)格的數(shù)學(xué)含義； 所謂消息，是用文字、符號(hào)、數(shù)據(jù)、語(yǔ)言、圖片、圖像等所謂消息，是用文字、符號(hào)、數(shù)據(jù)、語(yǔ)言、圖片、圖像等形式，把客觀事物運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)；形式，把客觀事物運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)； 消息是信息的載體；消息是表現(xiàn)形式，信息是

6、實(shí)質(zhì)。消息是信息的載體；消息是表現(xiàn)形式，信息是實(shí)質(zhì)。 “信息信息”不同于情報(bào)不同于情報(bào) 情報(bào)往往是軍事學(xué)、文獻(xiàn)學(xué)方面的習(xí)慣用詞，它的含義比情報(bào)往往是軍事學(xué)、文獻(xiàn)學(xué)方面的習(xí)慣用詞，它的含義比“信息信息”窄的多，一般只限于特殊的領(lǐng)域，是一類特殊的窄的多，一般只限于特殊的領(lǐng)域，是一類特殊的信息；信息； “情報(bào)情報(bào)”是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解產(chǎn)是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解產(chǎn)生的知識(shí)；生的知識(shí)； “信息信息”不同于知識(shí)不同于知識(shí) 知識(shí)是人們根據(jù)某種目的知識(shí)是人們根據(jù)某種目的, ,從自然界收集得來(lái)的數(shù)據(jù)中從自然界收集得來(lái)的數(shù)據(jù)中整理、概括、提取得到的有價(jià)值的信息，是一種高層次整理

7、、概括、提取得到的有價(jià)值的信息，是一種高層次的信息；的信息； 知識(shí)是信息，但不等于信息的全體；知識(shí)是信息，但不等于信息的全體； “信息信息”不同于信號(hào)不同于信號(hào) 把消息變換成適合信道傳輸?shù)奈锢砹浚褪切盘?hào)；信號(hào)把消息變換成適合信道傳輸?shù)奈锢砹?，就是信?hào)；信號(hào)是承載消息的物理量；是承載消息的物理量；信息的有關(guān)概念信息的有關(guān)概念 信息的幾種定義信息的幾種定義 以信源為主的信息定義、以信道為主的信息定義和以信宿以信源為主的信息定義、以信道為主的信息定義和以信宿為主的信息定義。為主的信息定義。以信源為主的信息定義有：以信源為主的信息定義有： 1) 1)信息是事物之間的差異信息是事物之間的差異(Long

8、o,1975)(Longo,1975) 2) 2)信息是有序性的度量信息是有序性的度量(Wiener,1948)(Wiener,1948)以信道為主的信息定義有：以信道為主的信息定義有： 1) 1)信息是通信傳輸?shù)膬?nèi)容信息是通信傳輸?shù)膬?nèi)容(Wiener,1950)(Wiener,1950) 2) 2)信息是人與外界相互作用的過(guò)程中所交換的內(nèi)容的名稱信息是人與外界相互作用的過(guò)程中所交換的內(nèi)容的名稱(Wiener,1948)(Wiener,1948)以信宿為主的信息定義有：以信宿為主的信息定義有： 1)1)信息是用來(lái)消除隨機(jī)不定性的東西信息是用來(lái)消除隨機(jī)不定性的東西 (Shannon,1948(S

9、hannon,1948） 2) 2)信息是使概率分布發(fā)生變動(dòng)的東西信息是使概率分布發(fā)生變動(dòng)的東西 （Tribes etal, 1971Tribes etal, 1971） 仙農(nóng)從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息做出了仙農(nóng)從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息做出了科學(xué)的定義；科學(xué)的定義； 仙農(nóng)注意到：收信者在收到消息之前是不知道消息的具體仙農(nóng)注意到：收信者在收到消息之前是不知道消息的具體內(nèi)容的。通信系統(tǒng)消息的傳輸對(duì)收信者來(lái)說(shuō)，是一個(gè)從不內(nèi)容的。通信系統(tǒng)消息的傳輸對(duì)收信者來(lái)說(shuō)，是一個(gè)從不知到知的過(guò)程，或者從知之甚少到知之甚多的過(guò)程，或是知到知的過(guò)程，或者從知之甚少到知之甚多的過(guò)程，或是從不確定到

10、部分確定或全部確定的過(guò)程。從不確定到部分確定或全部確定的過(guò)程。 因此因此, , 對(duì)于收信者來(lái)說(shuō)對(duì)于收信者來(lái)說(shuō), , 通信過(guò)程是消除事物狀態(tài)的不確通信過(guò)程是消除事物狀態(tài)的不確定性的過(guò)程，不確定性的消除，就獲得了信息，原先的不定性的過(guò)程，不確定性的消除，就獲得了信息，原先的不確定性消除的越多，獲得的信息就越多；確定性消除的越多，獲得的信息就越多； “信息信息”是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述，是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述，這就是仙農(nóng)關(guān)于信息的定義。這就是仙農(nóng)關(guān)于信息的定義。信息的有關(guān)概念信息的度量 信息的度量（信息量）和不確定性消除的程度有關(guān)，消除了信息的度量（信息量）和不確定

11、性消除的程度有關(guān)，消除了多少不確定性，就獲得了多少信息量；多少不確定性，就獲得了多少信息量； 不確定性就是隨機(jī)性，可以用概率論和隨機(jī)過(guò)程來(lái)測(cè)度不確不確定性就是隨機(jī)性，可以用概率論和隨機(jī)過(guò)程來(lái)測(cè)度不確定性的大小，出現(xiàn)概率小的事件，其不確定性大，反之，不定性的大小，出現(xiàn)概率小的事件，其不確定性大，反之，不確定性?。淮_定性??； 由以上兩點(diǎn)可知：由以上兩點(diǎn)可知：概率小概率小 信息量大信息量大，即信息量是概率的，即信息量是概率的單調(diào)遞減函數(shù)；單調(diào)遞減函數(shù)； 此外，信息量應(yīng)該具有可加性；此外，信息量應(yīng)該具有可加性；信息的度量 由于信息量與概率成反比，并且具有可加性，可以證明，由于信息量與概率成反比，并且具

12、有可加性，可以證明，信息量的計(jì)算式為信息量的計(jì)算式為 其中其中p pk k是事件是事件x xk k發(fā)生的概率，這也是仙農(nóng)關(guān)于發(fā)生的概率，這也是仙農(nóng)關(guān)于( (自自) )信息信息量的度量量的度量( (概率信息概率信息) )，單位為，單位為bitbit221()loglogkkkI xpp 哈特萊早在哈特萊早在2020世紀(jì)世紀(jì)2020年代就提出用對(duì)數(shù)作為信息年代就提出用對(duì)數(shù)作為信息量的測(cè)度。哈特萊認(rèn)為：消息和信息不同，多種多樣量的測(cè)度。哈特萊認(rèn)為：消息和信息不同，多種多樣、千姿百態(tài)的消息是信息的載體，消息究竟包含了多、千姿百態(tài)的消息是信息的載體，消息究竟包含了多少信息，應(yīng)該用消息出現(xiàn)的概率的對(duì)數(shù)來(lái)計(jì)

13、算，從而少信息，應(yīng)該用消息出現(xiàn)的概率的對(duì)數(shù)來(lái)計(jì)算，從而他為信息度量找到了對(duì)數(shù)這一數(shù)學(xué)理論。他為信息度量找到了對(duì)數(shù)這一數(shù)學(xué)理論。 通訊系統(tǒng)模型信源信源編碼器編碼器信道信道譯碼器譯碼器干擾源干擾源通信系統(tǒng)基本模型通信系統(tǒng)基本模型消息消息信號(hào)信號(hào)消息消息信宿信宿噪聲噪聲 信源：消息的來(lái)源，如文字、語(yǔ)音、圖像等信源：消息的來(lái)源，如文字、語(yǔ)音、圖像等 編碼器：把消息變換成信號(hào)，如信源編碼、糾錯(cuò)編碼、調(diào)制器編碼器：把消息變換成信號(hào)，如信源編碼、糾錯(cuò)編碼、調(diào)制器 信道：傳遞信號(hào)的媒介，如電纜、光纖、無(wú)線電波等信道：傳遞信號(hào)的媒介，如電纜、光纖、無(wú)線電波等 噪聲：信道中的干擾，如加性干擾、乘性干擾噪聲：信道中

14、的干擾，如加性干擾、乘性干擾 譯碼器：把信道輸出的信號(hào)反變換，解調(diào)器、糾錯(cuò)譯碼器、信譯碼器：把信道輸出的信號(hào)反變換，解調(diào)器、糾錯(cuò)譯碼器、信源譯碼器源譯碼器 信宿：信息的接受端，接收消息的人或物信宿：信息的接受端，接收消息的人或物通訊系統(tǒng)模型 信源：消息的來(lái)源信源：消息的來(lái)源 編碼器：把消息變換成信號(hào)編碼器：把消息變換成信號(hào) 信道：傳遞信號(hào)的媒介信道：傳遞信號(hào)的媒介 譯碼器：把信道輸出的信號(hào)反變換譯碼器：把信道輸出的信號(hào)反變換 信宿：信息的接受端信宿：信息的接受端 噪聲：信道中的干擾噪聲：信道中的干擾 信源編碼器：把信源發(fā)出的消息變換成由二進(jìn)制碼元（或信源編碼器：把信源發(fā)出的消息變換成由二進(jìn)制碼

15、元（或多進(jìn)制碼元）組成的代碼組以提高通信系統(tǒng)傳輸消息的效多進(jìn)制碼元）組成的代碼組以提高通信系統(tǒng)傳輸消息的效率。信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。率。信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。目的：提高信息傳輸?shù)挠行阅康模禾岣咝畔鬏數(shù)挠行?信道編碼器：在信源編碼器輸出的代碼組上有目的地增加信道編碼器：在信源編碼器輸出的代碼組上有目的地增加一些監(jiān)督碼元，使之具有檢錯(cuò)或糾錯(cuò)的能力。一些監(jiān)督碼元，使之具有檢錯(cuò)或糾錯(cuò)的能力。 目的：提高信息傳輸?shù)目煽啃阅康模禾岣咝畔鬏數(shù)目煽啃?密碼學(xué)：研究如何隱蔽消息中的信息內(nèi)容，使它在傳輸過(guò)密碼學(xué)：研究如何隱蔽消息中的信息內(nèi)容，使它在傳輸過(guò)程中

16、不被竊聽，提高通信系統(tǒng)的安全性。程中不被竊聽，提高通信系統(tǒng)的安全性。 目的：提高信息的安全性目的：提高信息的安全性 在實(shí)際問(wèn)題中，上述三類編碼應(yīng)統(tǒng)一考慮來(lái)提高通信在實(shí)際問(wèn)題中，上述三類編碼應(yīng)統(tǒng)一考慮來(lái)提高通信系統(tǒng)的性能。這些編碼的目標(biāo)往往是相互矛盾的。系統(tǒng)的性能。這些編碼的目標(biāo)往往是相互矛盾的。 電報(bào)常用的莫爾斯碼就是按信息論的基本編碼原則設(shè)計(jì)出電報(bào)常用的莫爾斯碼就是按信息論的基本編碼原則設(shè)計(jì)出來(lái)的；來(lái)的； 在一些商品上面有一張由粗細(xì)條紋組成的標(biāo)簽，從這張標(biāo)在一些商品上面有一張由粗細(xì)條紋組成的標(biāo)簽，從這張標(biāo)簽可以得知該商品的生產(chǎn)廠家、生產(chǎn)日期和價(jià)格等信息，簽可以得知該商品的生產(chǎn)廠家、生產(chǎn)日期和

17、價(jià)格等信息，這些標(biāo)簽是利用條形碼設(shè)計(jì)出來(lái)的，非常方便，非常有用這些標(biāo)簽是利用條形碼設(shè)計(jì)出來(lái)的，非常方便，非常有用，應(yīng)用越來(lái)越普遍；，應(yīng)用越來(lái)越普遍； 計(jì)算機(jī)的運(yùn)算速度很高，要保證它幾乎不出差錯(cuò)，相當(dāng)于計(jì)算機(jī)的運(yùn)算速度很高，要保證它幾乎不出差錯(cuò)，相當(dāng)于要求有要求有100100年的時(shí)間內(nèi)不得有一秒鐘的誤差，這就需要利年的時(shí)間內(nèi)不得有一秒鐘的誤差，這就需要利用糾錯(cuò)碼來(lái)自動(dòng)地及時(shí)地糾正所發(fā)生的錯(cuò)誤；用糾錯(cuò)碼來(lái)自動(dòng)地及時(shí)地糾正所發(fā)生的錯(cuò)誤； 每出版一本書，都給定一個(gè)國(guó)際標(biāo)準(zhǔn)書號(hào)（每出版一本書，都給定一個(gè)國(guó)際標(biāo)準(zhǔn)書號(hào)（ISBNISBN），大大），大大方便圖書的銷售、編目和收藏工作。方便圖書的銷售、編目和收

18、藏工作。通訊系統(tǒng)模型 信息論的形成和發(fā)展 信息論是在長(zhǎng)期信息論是在長(zhǎng)期通信工程通信工程的實(shí)踐中，由通信技術(shù)與概率論、的實(shí)踐中，由通信技術(shù)與概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐步發(fā)展起來(lái)的一門科學(xué)。隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合而逐步發(fā)展起來(lái)的一門科學(xué)。 奈魁斯特：在奈魁斯特：在19241924年研究影響電報(bào)傳遞速度的因素時(shí)年研究影響電報(bào)傳遞速度的因素時(shí), ,就察覺就察覺到信息傳輸速度和頻帶寬度有關(guān)系到信息傳輸速度和頻帶寬度有關(guān)系; ; 哈特萊哈特萊(Hartley)(Hartley)：在：在19281928年用年用概率概率的觀點(diǎn)來(lái)分析信息傳輸問(wèn)的觀點(diǎn)來(lái)分析信息傳輸問(wèn)題題; ; 仙農(nóng)（仙農(nóng)（Claud

19、e E.Shannon)Claude E.Shannon)：19481948年發(fā)表年發(fā)表通信的數(shù)學(xué)理論通信的數(shù)學(xué)理論(A Mathematical Theory of Communication),(A Mathematical Theory of Communication),為創(chuàng)立信息為創(chuàng)立信息論作出了決定性的貢獻(xiàn)論作出了決定性的貢獻(xiàn); ;香農(nóng)因此成為信息論的奠基人。香農(nóng)因此成為信息論的奠基人。 維納維納(N. Wiener)(N. Wiener)等：為信息論的進(jìn)一步發(fā)展和拓展作了大量等：為信息論的進(jìn)一步發(fā)展和拓展作了大量工作工作; ;主要在通信的統(tǒng)計(jì)理論與濾波器理論方面。主要在通信的統(tǒng)計(jì)

20、理論與濾波器理論方面。第二章第二章 信源熵信源熵信息論基礎(chǔ)信息論基礎(chǔ)主講：苗立剛主講：苗立剛基礎(chǔ)樓基礎(chǔ)樓318 計(jì)算機(jī)與通信工程學(xué)院計(jì)算機(jī)與通信工程學(xué)院2014年年3月月第二章第二章 信源熵信源熵2.1 單符號(hào)離散信源單符號(hào)離散信源2.2 多符號(hào)離散平穩(wěn)信源多符號(hào)離散平穩(wěn)信源2.3 連續(xù)信源連續(xù)信源2.4 離散無(wú)失真信源編碼定理離散無(wú)失真信源編碼定理 n 本章主要討論的問(wèn)題：本章主要討論的問(wèn)題：2.12.1單符號(hào)離散信源單符號(hào)離散信源n 單符號(hào)離散信源的數(shù)學(xué)模型單符號(hào)離散信源的數(shù)學(xué)模型 單符號(hào)信源單符號(hào)信源信源每次輸出一個(gè)符號(hào)信源每次輸出一個(gè)符號(hào), ,用用離散隨機(jī)變量離散隨機(jī)變量描述描述 多符

21、號(hào)信源多符號(hào)信源信源每次輸出多個(gè)符號(hào)信源每次輸出多個(gè)符號(hào)( (符號(hào)序列符號(hào)序列) )，用，用離散隨離散隨 機(jī)矢量機(jī)矢量描述描述 離散信源離散信源信源符號(hào)取值離散，包括單符號(hào)和多符號(hào)信源信源符號(hào)取值離散，包括單符號(hào)和多符號(hào)信源 連續(xù)信源連續(xù)信源信源符號(hào)取值連續(xù)，用隨機(jī)過(guò)程描述信源符號(hào)取值連續(xù)，用隨機(jī)過(guò)程描述 結(jié)論結(jié)論 從概率、隨機(jī)變量從概率、隨機(jī)變量( (過(guò)程過(guò)程) )來(lái)研究信息來(lái)研究信息 信息信息對(duì)事物狀態(tài)對(duì)事物狀態(tài)( (存在方式存在方式) )不確定性的描述不確定性的描述1212,(), (), ( ), ()()ininxxxxp xp xp xp xPXX1)(, 0)(1niiixpxp

22、2.12.1單符號(hào)離散信源單符號(hào)離散信源n 單符號(hào)離散信源的數(shù)學(xué)模型單符號(hào)離散信源的數(shù)學(xué)模型注意：大寫字母注意：大寫字母X,Y,ZX,Y,Z代表隨機(jī)變量，小寫字母代代表隨機(jī)變量，小寫字母代 表隨機(jī)事件。表隨機(jī)事件。概概率率復(fù)復(fù)習(xí)習(xí) mjjijiijnijijijijijiijijijjijijijimjijinijjimjnijimjijnijimjjniijiijjijiminiyxpyxpxypyxpyxpyxpypxpyxpxpyxpypxypYXyxpypxypxpyxpxpyxpypyxpyxpxypyxpypxpyxpxypyxpypxpyyyyxxxxYX111111111121

23、21)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4()()(),()()3(1)(, 1)/(, 1)/(, 1)(, 1)()2(1)(),/(),/(),(, )(0)1 (:,相互獨(dú)立時(shí)與當(dāng)和分別取值于集合隨機(jī)變量2.12.1單符號(hào)離散信源單符號(hào)離散信源 由于信息量與概率成反比，并且具有可加性，自信息量由于信息量與概率成反比，并且具有可加性，自信息量的定義為：的定義為： 其中其中p(xp(xi)i)是事件是事件x xi i發(fā)生的概率，這也是仙農(nóng)關(guān)于發(fā)生的概率，這也是仙農(nóng)關(guān)于( (自自) )信信息量的度量息量的度量( (概率信息

24、概率信息) ) 計(jì)算信息量主要要注意有關(guān)事件發(fā)生概率的計(jì)算計(jì)算信息量主要要注意有關(guān)事件發(fā)生概率的計(jì)算; ; 性質(zhì)：性質(zhì)：非負(fù)非負(fù); ;單調(diào)遞減；當(dāng)單調(diào)遞減；當(dāng)p(xp(xi i) =0) =0時(shí)時(shí),I(x,I(xi i) ,) ,不可能事件；當(dāng)不可能事件；當(dāng)p(xp(xi i)=1)=1時(shí)，時(shí)， I(xI(xi i)0 )0 ，確定事件，確定事件 自信息量自信息量 I(xI(xi i) ) 的含義的含義 當(dāng)事件當(dāng)事件x xi i發(fā)生以前，表示事件發(fā)生以前，表示事件x xi i發(fā)生的不確定性；發(fā)生的不確定性； 當(dāng)事件當(dāng)事件x xi i發(fā)生以后，表示事件發(fā)生以后，表示事件x xi i所提供的信息量

25、；所提供的信息量；221( )loglog( )( )iiiI xp xp x n自信息量（單個(gè)隨機(jī)事件）自信息量（單個(gè)隨機(jī)事件） 例例1 1：從：從2626個(gè)英文字母中，隨即選取一個(gè)字母，則該事件的自個(gè)英文字母中，隨即選取一個(gè)字母，則該事件的自信息量為信息量為 I = -logI = -log2 2(1/26) = 4.7 (1/26) = 4.7 比特比特 例例2 2：設(shè)：設(shè)m m比特的二進(jìn)制數(shù)中的每一個(gè)是等概率出現(xiàn)的比特的二進(jìn)制數(shù)中的每一個(gè)是等概率出現(xiàn)的( (這樣的這樣的數(shù)共有數(shù)共有2 2m m個(gè)個(gè)) )，則任何一個(gè)數(shù)出現(xiàn)的自信息為，則任何一個(gè)數(shù)出現(xiàn)的自信息為: : I = -logI

26、= -log2 2(1/ 2(1/ 2m m) = m ) = m 比特比特/ /符號(hào)符號(hào) 自信息量的單位自信息量的單位 自信息量的單位取決于對(duì)數(shù)的底；自信息量的單位取決于對(duì)數(shù)的底； 底為底為2 2，單位為，單位為“比特（比特（bitbit）”； 底為底為e e，單位為單位為“奈特（奈特（natnat）”； 底為底為1010，單位為，單位為“哈特（哈特（hathat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit1 nat = 1.44bit , 1 hat = 3.32 bit；2.12.1單符號(hào)離散信源單符號(hào)離散信源例例3 3：設(shè)天氣預(yù)報(bào)有兩種消息，晴天和雨天，

27、出現(xiàn)的概率分：設(shè)天氣預(yù)報(bào)有兩種消息，晴天和雨天，出現(xiàn)的概率分別為別為1/41/4和和3/43/4，我們分別用，我們分別用 來(lái)表示晴天，以來(lái)表示晴天，以 來(lái)表示來(lái)表示雨天，則我們的信源模型如下：雨天，則我們的信源模型如下： 1,2()1/ 4,3/ 4aaXP X1( )log42I a 24()log0.4153I a1a2a2.12.1單符號(hào)離散信源單符號(hào)離散信源n 聯(lián)合自信息量聯(lián)合自信息量( (兩個(gè)隨機(jī)事件兩個(gè)隨機(jī)事件) )二維聯(lián)合集二維聯(lián)合集XYXY上的元素上的元素(x(xi iy yj j) )的聯(lián)合自信息量定義為：的聯(lián)合自信息量定義為： 含義含義 X=x X=xi i，Y=yY=yj

28、 j 同時(shí)發(fā)生同時(shí)發(fā)生時(shí)，帶來(lái)的信息量時(shí)，帶來(lái)的信息量 特例特例 若若X X、Y Y 獨(dú)立，則獨(dú)立，則I(xI(xi iy yj j) = I(x) = I(xi i) + I(y) + I(yj j) )2()log()ijijI x yp x y 1)(, 1)(0)(,),(),(),(,)(11121111212111nimjjijimnmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXY2.12.1單符號(hào)離散信源單符號(hào)離散信源n 條件自信息量（兩個(gè)隨機(jī)事件）條件自信息量（兩個(gè)隨機(jī)事件） 二維聯(lián)合集二維聯(lián)合集XYXY中，對(duì)事件中，對(duì)事件x xi i和和y

29、yj j，事件，事件x xi i在事件在事件y yj j給定的給定的條件下的條件信息量定義為：條件下的條件信息量定義為：)/(log)/(2jijiyxpyxI聯(lián)合自信息量和條件自信息量也滿足非負(fù)和單調(diào)遞減性。聯(lián)合自信息量和條件自信息量也滿足非負(fù)和單調(diào)遞減性。關(guān)系關(guān)系當(dāng)當(dāng)X X和和Y Y獨(dú)立時(shí)，獨(dú)立時(shí)，)/()()/()(log)/()()/()(log)(22jijjijijiijijiyxIyIyxpypxyIxIxypxpyxI)()()(log)(log)(22jijijiyIxIypxpyxI2.12.1單符號(hào)離散信源單符號(hào)離散信源n 互信息量互信息量( (兩個(gè)隨機(jī)事件兩個(gè)隨機(jī)事件)

30、 )1212,( )1(), (), ( ), ()()iniiinxxxxp xp xp xp xp xPXX設(shè)信源1212,()1(), (), (), ()( )jmjjjmyyyyp yp yp yp yp yPYY信宿信道信道信源信源X X信宿信宿Y Y2.12.1單符號(hào)離散信源單符號(hào)離散信源 信源發(fā)出消息信源發(fā)出消息 的概率的概率 稱為稱為先驗(yàn)概率先驗(yàn)概率，信，信宿收到宿收到 后推測(cè)信源發(fā)出后推測(cè)信源發(fā)出 的概率稱為的概率稱為后驗(yàn)概后驗(yàn)概 率率 。 定義定義 的后驗(yàn)概率與的后驗(yàn)概率與先驗(yàn)概先驗(yàn)概率率比值比值的對(duì)數(shù)為的對(duì)數(shù)為 對(duì)對(duì) 的的互信息量互信息量，用，用 表示，即表示，即 互信

31、息量等于自信息量減去條件自信息量?；バ畔⒘康扔谧孕畔⒘繙p去條件自信息量。 第三種表達(dá)方式：第三種表達(dá)方式：ix)(ixpjyix)/(jiyxpixjyix);(jiyxI2(|)( ;)log(1,2, ;1,2,)( )ijijip xyI x yin jmp x)/()()/(log)(log);(22jiijiijiyxIxIyxpxpyxI)()()();(jijijiyxIyIxIyxI2.12.1單符號(hào)離散信源單符號(hào)離散信源 含義含義 互信息互信息I(xI(xi i;y;yj j) = ) = 自信息自信息I(xI(xi i) - ) - 條件自信息條件自信息I(xI(xi i/

32、y/yj j) ) (1) (1) I(xI(xi i) )信宿收到信宿收到y(tǒng) yj j之前，對(duì)信源發(fā)之前，對(duì)信源發(fā)x xi i的不確定度的不確定度(2) I(x(2) I(xi i|y|yj j) )信宿收到信宿收到y(tǒng) yj j之后，對(duì)信源發(fā)之后，對(duì)信源發(fā)x xi i的不確定度的不確定度(3) I(x(3) I(xi i;y;yj j) )收到收到y(tǒng) yj j而得到而得到( (關(guān)于關(guān)于x xi i ) )的互信息的互信息 = =不確定度的減少量不確定度的減少量 性質(zhì)性質(zhì) (1) (1) 對(duì)稱性對(duì)稱性I(xI(xi i ;y;yj j) = I(y) = I(yj j ;x;xi i) ) (

33、2) X(2) X與與Y Y獨(dú)立時(shí)獨(dú)立時(shí)I(xI(xi i ;y;yj j) = 0) = 0 (3) I(x(3) I(xi i;y;yj j) ) 可為正、負(fù)、可為正、負(fù)、0 0 (4) I(x (4) I(xi i;y;yj j)=I(x)=I(xi i); I(x); I(xi i;y;yj j)=I(y)=I(yj j) )2.12.1單符號(hào)離散信源單符號(hào)離散信源 I(xI(xi i;y;yj j) ) 可為正、負(fù)、可為正、負(fù)、0 0的舉例的舉例 設(shè)設(shè)y yj j代表代表“閃電閃電”，則，則 當(dāng)當(dāng)x xi i代表代表“打雷打雷”時(shí)，時(shí)，I(xI(xi i|y|yj j) = 0) =

34、 0，I(xI(xi i;y;yj j) = I(x) = I(xi i) )0 0 當(dāng)當(dāng)x xi i代表代表“下雨下雨”時(shí)，時(shí)，I(xI(xi i|y|yj j) ) I(xI(xi i) )，I(xI(xi i;y;yj j) )0 0 當(dāng)當(dāng)x xi i代表代表“霧天霧天”時(shí)，時(shí)，I(xI(xi i|y|yj j) = I(x) = I(xi i) )，I(xI(xi i;y;yj j)= 0)= 0 當(dāng)當(dāng)x xi i代表代表“飛機(jī)正點(diǎn)起飛飛機(jī)正點(diǎn)起飛”時(shí)，時(shí)，I(xI(xi i|y|yj j) )I(xI(xi i) )，I(xI(xi i;y;yj j) ) 0 0 ( ;)( )(|

35、)ijiijI x yI xI xy2.12.1單符號(hào)離散信源單符號(hào)離散信源n 條件互信息量條件互信息量( (三個(gè)隨機(jī)事件三個(gè)隨機(jī)事件) ) 聯(lián)合集聯(lián)合集XYZXYZ中中, ,給定條件給定條件 下，下， 與與 之間的互信息量，之間的互信息量，其定義式其定義式j(luò)yixkz2(|)(;|)log(|)(;)(;)(;|)ijkijkikijkikijkp xy zI x yzp xzI x y zI x zI x yz互信息量互信息量(|)(|)(|)( ;)loglog( )( )(|)(|)(|)log( ;)( ;|)( )(|)ijkijkikijkiiikijkikikijkiikp x

36、y zp xy zp xzI x y zp xp xp xzp xy zp xzI x zI x yzp xp xz2.12.1單符號(hào)離散信源單符號(hào)離散信源n 平均自信息量平均自信息量( (信源熵信源熵)-)-隨機(jī)變量隨機(jī)變量11()log( )log( )( )qiiiiH XEp xp xp x 單位單位 bit/( bit/(信源信源) )符號(hào)符號(hào) 這個(gè)平均自信息量的表達(dá)式和統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式這個(gè)平均自信息量的表達(dá)式和統(tǒng)計(jì)物理學(xué)中熱熵的表達(dá)式很相似。在統(tǒng)計(jì)物理學(xué)中，熱熵是一個(gè)物理系統(tǒng)雜亂性（無(wú)序很相似。在統(tǒng)計(jì)物理學(xué)中，熱熵是一個(gè)物理系統(tǒng)雜亂性（無(wú)序性）的度量。這在概念上也有相似之處

37、。因而就借用性）的度量。這在概念上也有相似之處。因而就借用“熵熵”這這個(gè)詞把平均自信息量個(gè)詞把平均自信息量H(X)H(X)稱為稱為“信源熵信源熵”。 通常研究單獨(dú)一個(gè)事件或單獨(dú)一個(gè)符號(hào)的信息量是不夠的，通常研究單獨(dú)一個(gè)事件或單獨(dú)一個(gè)符號(hào)的信息量是不夠的，往往需要研究整個(gè)事件集合或符號(hào)序列往往需要研究整個(gè)事件集合或符號(hào)序列( (如信源如信源) )的平均的信息的平均的信息量量( (總體特征總體特征) )，這就需要引入新的概念；定義自信息的數(shù)學(xué)期，這就需要引入新的概念；定義自信息的數(shù)學(xué)期望為信源的平均信息量望為信源的平均信息量2.12.1單符號(hào)離散信源單符號(hào)離散信源例：天氣預(yù)報(bào)，有兩個(gè)信源例：天氣預(yù)

38、報(bào)，有兩個(gè)信源1,21( )1/4,3/4aaXp x1,22( )1/2,1/2aaXp x1134()log4log0.809443H X 211()log2log2122H X則：則：說(shuō)明第二個(gè)信源的平均不確定性更大一些說(shuō)明第二個(gè)信源的平均不確定性更大一些信息熵具有以下三種物理含義：信息熵具有以下三種物理含義：1 1、表示信源輸出前，信源的平均不確定性、表示信源輸出前，信源的平均不確定性2 2、表示信源輸出后，每個(gè)符號(hào)所攜帶的平均信息量、表示信源輸出后，每個(gè)符號(hào)所攜帶的平均信息量3 3、反映了變量、反映了變量X X的隨機(jī)性的隨機(jī)性。2.12.1單符號(hào)離散信源單符號(hào)離散信源例：設(shè)某信源輸出

39、四個(gè)符號(hào)，其符號(hào)集合的概率分布為：例：設(shè)某信源輸出四個(gè)符號(hào)，其符號(hào)集合的概率分布為： 則其熵為：則其熵為：81814121432143214321ssssppppssssS符號(hào)比特/75. 18log824log412log21log)(41iiippSH2.12.1單符號(hào)離散信源單符號(hào)離散信源例：電視屏上約有例：電視屏上約有 500 500 600= 3 600= 310105 5個(gè)格點(diǎn)，按每點(diǎn)有個(gè)格點(diǎn)，按每點(diǎn)有1010個(gè)個(gè)不同的灰度等級(jí)考慮，則共能組成不同的灰度等級(jí)考慮，則共能組成n=10n=103x103x105 5個(gè)不同的畫面。按等個(gè)不同的畫面。按等概率概率1/101/103x103x

40、105 5計(jì)算，平均每個(gè)畫面可提供的信息量為計(jì)算，平均每個(gè)畫面可提供的信息量為 510321210log)(log)()(niiixpxpXH =3=310105 53.32 3.32 比特比特/ /畫面畫面 例：有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同例：有一篇千字文章，假定每字可從萬(wàn)字表中任選，則共有不同的千字文的千字文N=10000N=1000010001000=10=1040004000篇。仍按等概率篇。仍按等概率1/100001/1000010001000計(jì)算，計(jì)算，平均每篇千字文可提供的信息量為平均每篇千字文可提供的信息量為 H H（X X）loglog2 2N N4

41、410103 33 332=1.332=1.310104 4 比特千字文比特千字文“一個(gè)電視畫面一個(gè)電視畫面”平均提供的信息量遠(yuǎn)遠(yuǎn)超過(guò)平均提供的信息量遠(yuǎn)遠(yuǎn)超過(guò)“一篇千字文一篇千字文”提供的信息量。提供的信息量。 2.12.1單符號(hào)離散信源單符號(hào)離散信源n熵函數(shù)的數(shù)學(xué)特性熵函數(shù)的數(shù)學(xué)特性熵函數(shù)可以表示為：熵函數(shù)可以表示為：H XH pppppniiin()(,)log 121ppiniini11012,(, ,., )()( ,1)( )H XH ppH p二元熵：二元熵：性質(zhì)性質(zhì)1 1：非負(fù)性：非負(fù)性H(X)0H(X)0由于由于0p0pi i1,1,所以所以logplogpi i00，logp

42、logpi i00，則總有，則總有H(X)0H(X)0。2.12.1單符號(hào)離散信源單符號(hào)離散信源性質(zhì)性質(zhì)2 2：對(duì)稱性：對(duì)稱性 H pppH ppppnnn(,.)(,.)12121 根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)根據(jù)加法交換律可以證明，當(dāng)變量交換順序時(shí)熵函數(shù)的值不變。信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與的值不變。信源的熵只與概率空間的總體結(jié)構(gòu)有關(guān)，而與個(gè)概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)；個(gè)概率分量對(duì)應(yīng)的狀態(tài)順序無(wú)關(guān)；性質(zhì)性質(zhì)3 3：擴(kuò)展性：擴(kuò)展性112120lim(,., )(,.,)qqqqHp ppHp pp 這說(shuō)明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)這說(shuō)明信源空間中增

43、加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于于0 0，在信源熵中占極小的比重，使信源熵保持不變。，在信源熵中占極小的比重，使信源熵保持不變。 2.12.1單符號(hào)離散信源單符號(hào)離散信源性質(zhì)性質(zhì)4 4：可加性：可加性 ()()(/)()( )(/)H XYH XH YXH XYH YH X Y性質(zhì)性質(zhì)5 5：極值性：極值性nnnnHxxxHnnn221log)1,1,1(),( 上式表明，對(duì)于具有上式表明，對(duì)于具有n n個(gè)符號(hào)的離散信源，只有在個(gè)符號(hào)的離散信源，只有在n n個(gè)個(gè)信源符號(hào)等可能出現(xiàn)的情況下，信源熵才

44、能達(dá)到最大值，這信源符號(hào)等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這也表明等概分布的信源的平均不確定性最大，這是一個(gè)很重也表明等概分布的信源的平均不確定性最大，這是一個(gè)很重要得結(jié)論，稱為要得結(jié)論，稱為最大離散熵定理最大離散熵定理例：對(duì)于一個(gè)二元信源例：對(duì)于一個(gè)二元信源 H(X)=H(1/2,1/2)=log2=1bitH(X)=H(1/2,1/2)=log2=1bitH(X)= -plog2p (1-p)log2(1-p)=H(p)2.12.1單符號(hào)離散信源單符號(hào)離散信源性質(zhì)性質(zhì)6 6：確定性：確定性 HHH( , )( , )( , , ,. )1 00 11 0 000 當(dāng)信源當(dāng)信源X X

45、的信源空間的信源空間XX，PP中。任一個(gè)概率分量等于中。任一個(gè)概率分量等于1 1，根據(jù)完備空間特性，其它概率分量必為根據(jù)完備空間特性，其它概率分量必為0 0，這時(shí)信源為一個(gè)，這時(shí)信源為一個(gè)確知信源，其熵為確知信源，其熵為0 0。如果一個(gè)信源的輸出符號(hào)幾乎必然為。如果一個(gè)信源的輸出符號(hào)幾乎必然為某一狀態(tài)，那么這個(gè)信源沒有不確定性，信源輸出符號(hào)后不某一狀態(tài)，那么這個(gè)信源沒有不確定性，信源輸出符號(hào)后不提供任何信息量。提供任何信息量。性質(zhì)性質(zhì)7 7：上凸性：上凸性 12(,.)qH p pp 是概率分布是概率分布(p(p1 1,p,p2 2, ,p,pq q) )的嚴(yán)格上凸函數(shù)。的嚴(yán)格上凸函數(shù)。2.1

46、2.1單符號(hào)離散信源單符號(hào)離散信源 設(shè)設(shè)f(X)=f(xf(X)=f(x1 1,x,x2 2, ,x,xn n) )為一多元函數(shù)。若對(duì)于任意一個(gè)小為一多元函數(shù)。若對(duì)于任意一個(gè)小于于1 1的正數(shù)的正數(shù) （0 10 = f(X= f(X1 1)+(1- )f(X)+(1- )f(X2 2) )則稱則稱f(X)f(X)為定義域上的上凸函數(shù)。為定義域上的上凸函數(shù)。若若“= =”不成立，則為嚴(yán)格上凸函數(shù)不成立，則為嚴(yán)格上凸函數(shù)若若“=”, ,則為下凸函數(shù)則為下凸函數(shù)若若“ ”, ,則為嚴(yán)格下凸函數(shù)則為嚴(yán)格下凸函數(shù)2.12.1單符號(hào)離散信源單符號(hào)離散信源0 0.2 0.4 0.6 0.8 110.80.6

47、0.40.2pH(p)H H（p p）函數(shù)曲線如圖所示。如果二元信源的輸出符號(hào)是確定的，）函數(shù)曲線如圖所示。如果二元信源的輸出符號(hào)是確定的，即即p=1p=1或或q=1q=1，則該信源不提供任何信息。反之，當(dāng)二元信源符號(hào)，則該信源不提供任何信息。反之，當(dāng)二元信源符號(hào)0 0和和1 1以等概率發(fā)生時(shí)，信源熵達(dá)到極大值，等于以等概率發(fā)生時(shí)，信源熵達(dá)到極大值，等于1 1比特信息量。比特信息量。2.12.1單符號(hào)離散信源單符號(hào)離散信源 信源熵是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的，它是從平均意信源熵是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的，它是從平均意義上來(lái)表征義上來(lái)表征信源的總體信息測(cè)度信源的總體信息測(cè)度的。對(duì)于某特定的

48、信源（概率的。對(duì)于某特定的信源（概率空間給定），其信源熵是一個(gè)特定的值。不同的信源因統(tǒng)計(jì)特空間給定），其信源熵是一個(gè)特定的值。不同的信源因統(tǒng)計(jì)特性不同，其熵也不同。信源熵用以表征信息源的性不同，其熵也不同。信源熵用以表征信息源的平均不確定性平均不確定性，平均自信息量是消除信源不確定性時(shí)所需信息的量度，即收，平均自信息量是消除信源不確定性時(shí)所需信息的量度，即收到一個(gè)信源符號(hào)，全部解除了這個(gè)符號(hào)的不確定性?；蛘哒f(shuō)獲到一個(gè)信源符號(hào)，全部解除了這個(gè)符號(hào)的不確定性?；蛘哒f(shuō)獲得這樣大的信息量后，信源不確定性就被消除了。得這樣大的信息量后，信源不確定性就被消除了。 2.12.1單符號(hào)離散信源單符號(hào)離散信源

49、信源熵信源熵和和平均自信息量平均自信息量?jī)烧咴跀?shù)值上相等，但兩者在數(shù)值上相等，但含義含義不同。某不同。某一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，一信源，不管它是否輸出符號(hào)，只要這些符號(hào)具有某些概率特性，就必有信源的熵值；這熵值在總體平均上才有意義，因而是一個(gè)就必有信源的熵值；這熵值在總體平均上才有意義，因而是一個(gè)確定的值確定的值。而另一方面，信息量則只有當(dāng)信源輸出的符號(hào)被接收。而另一方面，信息量則只有當(dāng)信源輸出的符號(hào)被接收者收到后才有意義，信息量就是給予接收者的信息度量，該值本者收到后才有意義，信息量就是給予接收者的信息度量，該值本身可以是身可以是隨機(jī)量隨機(jī)量，也可以與接收者

50、的情況有關(guān)。，也可以與接收者的情況有關(guān)。 因此說(shuō)因此說(shuō)信源熵是信源的平均不確定性信源熵是信源的平均不確定性的描述，一般情況下它的描述，一般情況下它并不等于平均獲得的信息量。只是在無(wú)噪情況下，接收者才能正并不等于平均獲得的信息量。只是在無(wú)噪情況下，接收者才能正確無(wú)誤地接收到信源所發(fā)出的信息，消除了信源熵確無(wú)誤地接收到信源所發(fā)出的信息，消除了信源熵H H（X X）值大小）值大小的平均不確定性，所以獲得的平均信息量就等于信源熵的平均不確定性，所以獲得的平均信息量就等于信源熵H H（X X）的）的值。在一般情況下獲得的信息量是兩熵之差，并不是信源熵本身。值。在一般情況下獲得的信息量是兩熵之差，并不是信

51、源熵本身。2.12.1單符號(hào)離散信源單符號(hào)離散信源n條件熵條件熵11211( /) (/)() (/)()log(/)mnjiijjijimnijjijiH Y XE I yxp x y I yxp x yp yx思考：求條思考：求條件熵時(shí)為什件熵時(shí)為什么要用聯(lián)合么要用聯(lián)合概率加權(quán)？概率加權(quán)？條件熵是在聯(lián)合符號(hào)集合條件熵是在聯(lián)合符號(hào)集合XYXY上的上的條件自信息量條件自信息量的數(shù)學(xué)期望。的數(shù)學(xué)期望。在已知隨機(jī)變量在已知隨機(jī)變量X X的條件下，隨機(jī)變量的條件下，隨機(jī)變量Y Y的條件熵定義為：的條件熵定義為：2.12.1單符號(hào)離散信源單符號(hào)離散信源條件概率條件概率()(| )( )j ijiip

52、y xp y xp x并且并且1(|)1njijp yx當(dāng)已知特定事件當(dāng)已知特定事件xi出現(xiàn)時(shí)，下一個(gè)出現(xiàn)的是出現(xiàn)時(shí)，下一個(gè)出現(xiàn)的是yj 的不確的不確定性為：定性為：(|)log(|)jijiI yxp yx 對(duì)集合對(duì)集合Y Y中所有元素統(tǒng)計(jì)平均，其熵為：中所有元素統(tǒng)計(jì)平均，其熵為：1(|)(|)log(|)mijijijH Y xp yxp yx 上述熵值再對(duì)集合上述熵值再對(duì)集合Y Y中的元素做統(tǒng)計(jì)平均，得條件中的元素做統(tǒng)計(jì)平均，得條件熵熵：1111111(|)()(|)()(|)log (|)() (|)log (|)()log(|)nnmiiijijiiijnmnmijijiijjiij

53、ijH YXp x H Yxp xp yxp yxp xp yxp yxp x yp yx 同理可得：同理可得：11(|)()log(|)mnijijijH X Yp x yp xy 條件熵條件熵H(X/Y)H(X/Y)是一個(gè)確定值，表示信宿在收到是一個(gè)確定值，表示信宿在收到Y(jié) Y后，后，信源信源X X仍然存在的不確定度。這是信道干擾所造成的。有仍然存在的不確定度。這是信道干擾所造成的。有時(shí)稱時(shí)稱H(X/Y)H(X/Y)為為信道疑義度信道疑義度，也稱，也稱損失熵?fù)p失熵。如果沒有干擾，如果沒有干擾，H(X/Y)=0,H(X/Y)=0,一般情括下一般情括下H(X/Y)H(X/Y)小于小于H(X)H

54、(X)，說(shuō)明經(jīng)過(guò)信道傳輸，總能消除一些信源的不確定性，說(shuō)明經(jīng)過(guò)信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。從而獲得一些信息。條件熵條件熵H(Y/X)H(Y/X)也是一個(gè)確定值也是一個(gè)確定值, ,表示信源發(fā)出表示信源發(fā)出X X后，信后，信宿仍然存在的不確定度。這是由于噪聲引起的。也稱為宿仍然存在的不確定度。這是由于噪聲引起的。也稱為噪噪聲熵聲熵。2.12.1單符號(hào)離散信源單符號(hào)離散信源n聯(lián)合熵（共熵）聯(lián)合熵（共熵） 聯(lián)合離散符號(hào)集合聯(lián)合離散符號(hào)集合XYXY上的每個(gè)元素對(duì)上的每個(gè)元素對(duì) 的聯(lián)合自信息的聯(lián)合自信息量的數(shù)學(xué)期望。量的數(shù)學(xué)期望。jiyx)(log)()()()(21111ji

55、nimjjijinimjjiyxpyxpyxIyxpXYH說(shuō)明說(shuō)明: : 聯(lián)合熵聯(lián)合熵H H（XYXY）表示）表示X X和和Y Y同時(shí)發(fā)生的不確定度。同時(shí)發(fā)生的不確定度。2.12.1單符號(hào)離散信源單符號(hào)離散信源n加權(quán)熵（自學(xué)）加權(quán)熵（自學(xué)）對(duì)香農(nóng)熵引入主觀因素對(duì)香農(nóng)熵引入主觀因素效用權(quán)重系數(shù)效用權(quán)重系數(shù)( (重量重量) )定義：定義： 設(shè)信源設(shè)信源X 則加權(quán)熵則加權(quán)熵 HwHw( (X) ) 含義含義 消息消息xi xi 的權(quán)重的權(quán)重wiwi對(duì)對(duì)I(xi)I(xi)的加權(quán)平均的加權(quán)平均性質(zhì)：略性質(zhì)：略1212,(),(),()()nnxxxp xp xp xPXX概 率 空 間1212,0,(

56、)ninxxxwwwwWXX效 用 空 間2()( )log( )wiiiiHw p xp x X2.12.1單符號(hào)離散信源單符號(hào)離散信源從通信系統(tǒng)角度看熵的意義從通信系統(tǒng)角度看熵的意義 H(X)H(X)：表示信源邊每個(gè)符號(hào)的平均信息量（信源熵）；表示信源邊每個(gè)符號(hào)的平均信息量（信源熵）； H(Y)H(Y)：表示信宿邊每個(gè)符號(hào)的平均信息量（信宿熵）；表示信宿邊每個(gè)符號(hào)的平均信息量（信宿熵）； H(X|Y):H(X|Y):信道疑義度信道疑義度( (含糊度含糊度) )，表示在輸出端接收到，表示在輸出端接收到Y(jié) Y后，后，發(fā)送端發(fā)送端X X尚存的平均不確定性。這個(gè)對(duì)尚存的平均不確定性。這個(gè)對(duì)X X尚

57、存的不確定性是尚存的不確定性是由于信道干擾引起的。由于信道干擾引起的。 H(Y|X):H(Y|X):噪聲熵，表示在已知噪聲熵，表示在已知X X后，對(duì)于輸出后，對(duì)于輸出Y Y尚存的平均尚存的平均不確定性；不確定性； H(XY):H(XY):表示整個(gè)信息傳輸系統(tǒng)的平均不確定性；表示整個(gè)信息傳輸系統(tǒng)的平均不確定性；2.12.1單符號(hào)離散信源單符號(hào)離散信源n各種熵的性質(zhì)各種熵的性質(zhì) 聯(lián)合熵聯(lián)合熵H(XY)與熵與熵H(X)及條件熵及條件熵H(X/Y)之間存在下之間存在下列關(guān)系列關(guān)系: : H(XY) H(X) H(Y/X ) H(XY) H(Y) H(X/Y ) 聯(lián)合熵與信息熵的關(guān)系聯(lián)合熵與信息熵的關(guān)系

58、: : H(XY) = H(X) H(Y) 條件熵與信息熵的關(guān)系條件熵與信息熵的關(guān)系: : H(Y|X) = H(Y) H(X|Y) = 0I(X;Y) = 0 該性質(zhì)表明，通過(guò)一個(gè)信道總能該性質(zhì)表明，通過(guò)一個(gè)信道總能傳遞一些信息，最差的條件下，輸入輸出完全獨(dú)立，不傳遞傳遞一些信息，最差的條件下，輸入輸出完全獨(dú)立，不傳遞任何信息，互信息等于任何信息，互信息等于0 0，但決不會(huì)失去已知的信息。，但決不會(huì)失去已知的信息。極值性：即極值性：即I(X;Y) = H(X)I(X;Y) = H(X) 一般來(lái)說(shuō)，信道疑義度一般來(lái)說(shuō)，信道疑義度H(X|Y)H(X|Y)總是大于總是大于0 0，所以互信息總是小于

59、信源的熵，只有當(dāng)，所以互信息總是小于信源的熵，只有當(dāng)信道是無(wú)損信道時(shí)，信道疑義度等于信道是無(wú)損信道時(shí)，信道疑義度等于0 0，互信息等于信源的，互信息等于信源的熵。熵。對(duì)稱性：即對(duì)稱性：即I(X;Y) = I(Y;X)I(X;Y) = I(Y;X) I(Y;X) I(Y;X)表示從表示從X X中提取關(guān)于的中提取關(guān)于的Y Y的信息量，實(shí)際上的信息量，實(shí)際上I(X,Y)I(X,Y)和和I(Y,X)I(Y,X)只是觀察者的立足點(diǎn)不只是觀察者的立足點(diǎn)不同，對(duì)信道的輸入同，對(duì)信道的輸入X X和輸出和輸出Y Y的總體測(cè)度的兩種表達(dá)形式的總體測(cè)度的兩種表達(dá)形式 (|)(; )() ( ;)()log( )ij

60、ijijijjijiip xyI X Yp x y I x yp x yp x2.12.1單符號(hào)離散信源單符號(hào)離散信源 I(X;Y) I(X;Y)是二元函數(shù)是二元函數(shù):P(X):P(X)的上凸函數(shù)，的上凸函數(shù)，P(Y|X)P(Y|X)的下凸的下凸函數(shù)函數(shù) (/)(; )()log()(/)( ) (|)log()jiijijjjiijiijjp yxI X Yp x yp yp yxp x p yxp y()( ) (/)ijijip x yp x p yx()()jijip yp x y平均互信息的凸?fàn)钚云骄バ畔⒌耐範(fàn)钚?.12.1單符號(hào)離散信源單符號(hào)離散信源 定理定理2.1 2.1 對(duì)于