信息理論編碼課程PPT 第1章 緒論

信息理論與編碼電子信息工程教研室課程介紹課程性質(zhì)與先修課程1教材與參考書2章節(jié)簡(jiǎn)介32課程性質(zhì)與先修課程課程性質(zhì)《信息理論與編碼》是通信工程、電子信息工程、信息工程等專業(yè)的一門理論性很強(qiáng)的專業(yè)基礎(chǔ)課和必修課。其主要任務(wù)是讓學(xué)生了解香農(nóng)信息論的基本內(nèi)容，掌握信息的度量方法以及信源、信道編碼的基本理論與方法，培養(yǎng)學(xué)生利用信息論的基本原理分析和解決實(shí)際問(wèn)題的能力，為進(jìn)一步學(xué)習(xí)信息以及其他相關(guān)領(lǐng)域的高深技術(shù)奠定良好的理論基礎(chǔ)。先修課程概率論、隨機(jī)過(guò)程、線性代數(shù)、信號(hào)與系統(tǒng)上課學(xué)時(shí)：40實(shí)驗(yàn)學(xué)時(shí)：8考核方式：閉卷考試3教材與參考書推薦教材：呂鋒、王虹等.信息理論與編碼（第2版）.北京：人民郵電出版社，2010年9月.參考書：朱雪龍.應(yīng)用信息論基礎(chǔ)[M].北京：清華大學(xué)出版社，2001年3月.ThomasM.Cover.ElementsofInformationTheory[M].北京：清華大學(xué)出版社，2003年11月.網(wǎng)絡(luò)教學(xué)平臺(tái)：34章節(jié)簡(jiǎn)介第1章信息的定義、性質(zhì)與特征第2章信源模型與信息測(cè)度方法第3章信道模型、信道容量的計(jì)算方法第4章無(wú)失真信源編碼第5章信道編碼定理第6章限失真信源編碼5第1章緒論信息論的形成與發(fā)展1信息論的基本概念2信息的定義體系3信息傳輸基本模型46ClaudeElwoodShannon（克勞德·艾爾伍德·香農(nóng)）C.E.Shannon中文譯名：香農(nóng)，申農(nóng)，山農(nóng)，仙農(nóng)，商農(nóng)Born:April30,1916,Petoskey,Michigan,USADied:February24,2001(Aged85)數(shù)學(xué)家，工程學(xué)家信息論創(chuàng)始人，奠基人電子計(jì)算機(jī)理論重要奠基人1.1信息論的形成與發(fā)展7“信息論”誕生的標(biāo)志1948年，香農(nóng)發(fā)表了“AMathematicalTheoryofCommunication”（通信的數(shù)學(xué)理論），第一次提出信息量的概念，并應(yīng)用數(shù)理統(tǒng)計(jì)的方法來(lái)研究通信系統(tǒng)，從而創(chuàng)立了影響深遠(yuǎn)的信息論?！靶畔⑹遣淮_定量的減少”“信息是用來(lái)消除隨機(jī)不確定性的東西”81949年，Shannon發(fā)表了“CommunicationinthePresenceofNoise”（噪聲下的通信），經(jīng)典地闡明了通信的基本問(wèn)題，提出了通信系統(tǒng)的模型，給出了信息量的數(shù)學(xué)表達(dá)式，解決了信道容量、信源統(tǒng)計(jì)特性，信源編碼、信道編碼等有關(guān)精確地傳送通信符號(hào)的基本技術(shù)問(wèn)題。《通信的數(shù)學(xué)理論》和《噪聲下的通信》成為現(xiàn)代信息論的奠基著作，標(biāo)志著香農(nóng)成為《信息論》這門新興學(xué)科的創(chuàng)始人、奠基人。91.2信息的基本概念同學(xué)們關(guān)于“信息”是怎么認(rèn)識(shí)的？牛津英文字典里給出的解釋是“某人被通知或告知的內(nèi)容、情報(bào)、消息”。《辭?！罚ㄖ袊?guó)1999年普及版）：①音訊：“消息”。②通信系統(tǒng)傳輸和處理的對(duì)象，泛指消息和信號(hào)的具體內(nèi)容和意義，通常須通過(guò)處理和分析來(lái)提取。信息的量值與其隨機(jī)性有關(guān)，如在接收端難以預(yù)估消息或信號(hào)中所蘊(yùn)含的內(nèi)容或意義，即預(yù)估的可能性越小，信息量就越大。10花朵開放時(shí)的色彩是一種信息，它可以引來(lái)昆蟲為其授粉；成熟的水果會(huì)產(chǎn)生香味，誘來(lái)動(dòng)物，動(dòng)物食后為其傳播種子，果香也是一種信息；聽老師講課可以得到若干知識(shí)，知識(shí)也是信息……。11信息論的基本概念：信息。“信息”一詞使用廣泛，很難給出廣泛認(rèn)同的嚴(yán)格的定義。香農(nóng)在《通信的數(shù)學(xué)理論》中，并沒明確地給“信息”下定義，留下一個(gè)懸案。很多學(xué)者都給“信息”下過(guò)定義，流行的說(shuō)法不下百種。北郵鐘義信教授12用人們熟知的、與信息有某種聯(lián)系的概念來(lái)定義信息：信息是消息信息是數(shù)據(jù)此類定義只接觸到與信息相關(guān)的一些表象，未觸及到信息的實(shí)質(zhì)。

關(guān)于信息的流行說(shuō)法（一）13關(guān)于信息的流行說(shuō)法（二）用某些學(xué)科的專門術(shù)語(yǔ)和名詞定義信息：信息是集合之間的變異度信息是一種場(chǎng)信息是信號(hào)

14關(guān)于信息的流行說(shuō)法（三）從廣義的角度、或者說(shuō)從哲學(xué)意義上來(lái)定義信息：信息就是信息，既不是物質(zhì)也不是能量——維納信息是事物之間的差異信息是事物相互作用的表現(xiàn)形式信息是事物聯(lián)系的普遍形式Withoutmaterialsnothingexists.Withoutenergynothinghappens.Withoutinformationnothingmakessense.歐廷格（美國(guó)）15關(guān)于信息的流行說(shuō)法（四）從控制論和系統(tǒng)論的角度來(lái)定義信息：信息是控制的指令信息是系統(tǒng)組織程度的度量信息是有序性的度量信息是負(fù)熵16關(guān)于信息的流行說(shuō)法（五）從隨機(jī)不確定性的角度來(lái)定義信息：信息是收信者事先不知道的報(bào)道信息是用以消除不確定性的東西

171.3信息的定義體系（鐘義信教授的）定義思路：按適用面不同來(lái)分層次地定義信息。層次愈高，適用面愈寬。適用面不同意味著給定義附加的約束條件不同，約束條件愈多，適用面愈窄。18不同層次的信息本體論層次信息

語(yǔ)法信息認(rèn)識(shí)論層次信息

語(yǔ)義信息

語(yǔ)用信息19定義：某事物的（本體論層次）信息，就是事物運(yùn)動(dòng)的狀態(tài)和方式，也就是事物內(nèi)部結(jié)構(gòu)和外部聯(lián)系的狀態(tài)和方式。特點(diǎn)：無(wú)約束條件、最高層次、適應(yīng)面最廣。按此定義，世上萬(wàn)事，無(wú)論認(rèn)識(shí)與否，都在產(chǎn)生信息。不好度量，使用不方便。

（1）本體論層次信息（最高層次）20定義：某主體關(guān)于某事物的（認(rèn)識(shí)論層次）信息，是指該主體所感知的相應(yīng)事物的運(yùn)動(dòng)狀態(tài)及其變化方式，包括狀態(tài)及其變化方式的形式、含義和效用。特點(diǎn)：約束條件：認(rèn)識(shí)主體。內(nèi)涵豐富：形式、含義和效用。（2）認(rèn)識(shí)論層次信息21將認(rèn)識(shí)論層次信息稱為“全信息”，可細(xì)分為三個(gè)基本層次：語(yǔ)法(syntactic)信息：計(jì)及形式因素的信息。語(yǔ)義(semantic)信息：計(jì)及含義因素的信息。語(yǔ)用(pragmatic)信息：計(jì)及效用因素的信息。注：語(yǔ)法信息是最基本的，至于內(nèi)在含義和效用價(jià)值都要根據(jù)外在形式來(lái)理解和判斷。22通信工程師最關(guān)心的信息通信的主要任務(wù)是將信息的外在形式準(zhǔn)確、快速地傳送給收信者。信息的內(nèi)在含義和效用價(jià)值要靠收信者自己去理解和判斷了。通信工程師最關(guān)心的是語(yǔ)法信息。23概率信息經(jīng)典信息論（香農(nóng)信息論）：能用概率方法描述的語(yǔ)法信息，這種概率型語(yǔ)法信息簡(jiǎn)稱為概率信息?；诟怕市畔⒌男畔⒗碚摚畛跤上戕r(nóng)提出，發(fā)展到現(xiàn)在已較為成熟，并且在通信領(lǐng)域得到成功應(yīng)用，成為