陳運(yùn)-信息論與編碼 第一章

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函數(shù)第5章：信源編碼第6章：信道編碼第7章：密碼體制的安全性測(cè)度 C.E.Shannon： 美國(guó)科學(xué)家， 信息論創(chuàng)始人中文譯名： 山農(nóng)，香農(nóng)，仙農(nóng)，商農(nóng)1.1 信息的一般概念1.3 信息論的起源、發(fā)展及研究?jī)?nèi)容1.2 信息的分類 信息科學(xué)和材料、能源科學(xué)一起被稱為當(dāng)代文明的“三大支柱”。 一位美國(guó)科學(xué)家說(shuō)過(guò)：“沒(méi)有物質(zhì)的世界是虛無(wú)的世界；沒(méi)有能源的世界是死寂的世界；沒(méi)有信息的世界是混亂的世界?！?花朵開(kāi)放時(shí)的色彩是一種信息，它可以引來(lái)昆蟲(chóng)為其授粉； 成熟的水果會(huì)產(chǎn)生香味，誘來(lái)動(dòng)物，動(dòng)物食后為其傳播種子，果香也是一種信息； 藥有苦味，讓

2、人難以吞咽，藥味是一種信息； 聽(tīng)老師講課可以得到許多知識(shí)，知識(shí)也是信息。 色彩視覺(jué)果香嗅覺(jué)苦藥味覺(jué)知識(shí)聽(tīng)覺(jué) 總之，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。 冷熱觸覺(jué)那么信息究竟是什么呢？ 信息是事物之間的差異1 信息是物質(zhì)和能量在時(shí)間和空間中分布的不均勻性” 2 信息是負(fù)熵3 信息是作用于人類感覺(jué)器官的東西 4 信息就是情報(bào) 5 信息就是知識(shí)。 6 數(shù)學(xué)家認(rèn)為“信息是使概率分布發(fā)生改變的東西” 7 哲學(xué)家認(rèn)為“信息是物質(zhì)成分的意識(shí)成分按完全特殊的方式融合起來(lái)的產(chǎn)物” 。 8 1928年， 美國(guó)數(shù)學(xué)家哈 特 萊 (Hartley)在貝爾系統(tǒng)電話雜志上發(fā)表了一篇題為信息傳輸?shù)恼撐摹ＫJ(rèn)為

3、“信息是選擇的自由度”。 事隔20年， 另一位美國(guó)數(shù)學(xué)家香農(nóng) (C. E. Shannon) 在貝爾系統(tǒng)電話雜志發(fā)表了題為通信的數(shù)學(xué)理論的長(zhǎng)篇論文。他創(chuàng)立了信息論，但是卻沒(méi)有給出信息的確切定義他認(rèn)為“信息就是一種消息”。 美國(guó)數(shù)學(xué)家、控制論的 主要奠基人維納(Wiener）在1950年出版的控制論與社會(huì)一書(shū)中寫(xiě)到：“信息既不是物質(zhì)又不是能量，信息就是信息”。這句話起初受到批評(píng)和嘲笑。但正是這句話揭示了信息的特質(zhì)：即信息是獨(dú)立于物質(zhì)和能量之外存在于客觀世界的第三要素。 最高的層次的定義是最普遍的層次，也是無(wú)約束條件的層次，定義事物的“信息是該事物運(yùn)動(dòng)的狀態(tài)和狀態(tài)改變的方式”。我們把它叫做“本體論

4、”層次。在這個(gè)層次上定義的信息是最廣義的信息，使用范圍也最廣。 例如，引入一個(gè)最有實(shí)際意義的約束條件：認(rèn)識(shí)主體。信息定義就轉(zhuǎn)化為“認(rèn)識(shí)論”層次的信息定義。即：信息是認(rèn)識(shí)主體（生物或機(jī)器）所感知的或所表述的相應(yīng)事物的運(yùn)動(dòng)狀態(tài)及其變化方式（包括狀態(tài)及其變化方式的形式、含義和效用）。其中認(rèn)識(shí)主體所感知的東西是外部世界向認(rèn)識(shí)主體輸入的信息，而認(rèn)識(shí)主體所表述的東西則是其向外部世界輸出的信息。 全 信 息 同時(shí)考慮事物運(yùn)動(dòng)狀態(tài)及其變化方式的外在形式、內(nèi)在含義和效用價(jià)值的認(rèn)識(shí)論層次信息。 信息存在于自然界，也存在于人類社會(huì)，其本質(zhì)是運(yùn)動(dòng)和變化?？梢哉f(shuō)哪里有事物的運(yùn)動(dòng)和變化，哪里就會(huì)產(chǎn)生信息。 人類交換信息的

5、形式豐富多彩，使用的信息載體非常廣泛。概括起來(lái)，有語(yǔ)言、文字和電磁波。 信息必須依附于一定的物質(zhì)形式存在，這種運(yùn)載信息的物質(zhì)，稱為信息載體。 綜合起來(lái)，信息有以下主要特征： 信息來(lái)源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運(yùn)動(dòng)中產(chǎn)生出來(lái)，又可以脫離源物質(zhì)而相對(duì)獨(dú)立地存在。 信息來(lái)源于精神世界，但又不局限于精神領(lǐng)域。 12 信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別。 信息具有知識(shí)的本性，但又比知識(shí)的內(nèi)涵更廣泛。 信息可以被認(rèn)識(shí)主體獲取和利用。 345 根據(jù)上述特征和信息的基本定義，可以導(dǎo)出信息的一些重要性質(zhì)： 存在的普遍性 有序性相對(duì)性 可度量性 可擴(kuò)充性 可存儲(chǔ)、傳輸與攜帶性 信息在信息化程度越來(lái)

6、越高的社會(huì)中將起到越來(lái)越重要的作用，是比物質(zhì)和能量更為寶貴的資源，全面掌握信息的概念，正確、及時(shí)、有效地利用信息，能夠?yàn)槿祟悇?chuàng)造更多的財(cái)富。 可壓縮性 可擴(kuò)散性 可替代性 可共享性 時(shí)效性 信息的獨(dú)有性質(zhì)1.1 信息的一般概念1.3 信息論的起源、發(fā)展及研究?jī)?nèi)容1.2 信息的分類 按照信息的性質(zhì) 1語(yǔ)法語(yǔ)義語(yǔ)用 按照觀察的過(guò)程 實(shí)在先驗(yàn)實(shí)得 2客觀主觀 按照信息的地位 按照信息的作用有用無(wú)用干擾34真實(shí)虛假不定 按照信息的邏輯意義 按照信息的傳遞方向 前饋反饋56宇宙自然社會(huì)思維工業(yè)農(nóng)業(yè)軍事政治科技文化經(jīng)濟(jì)市場(chǎng)管理 按照信息的生成領(lǐng)域 7 按照信息的應(yīng)用部門 8語(yǔ)聲圖象文字?jǐn)?shù)據(jù)計(jì)算電磁語(yǔ)聲圖象

7、文字光學(xué)生物 按照信息的來(lái)源9 按照信息載體的性質(zhì) 10連續(xù)離散半連續(xù) 按照攜帶信息的信號(hào)的性質(zhì) 11 在眾多的分類原則和方法中，最重要的就是按照信息性質(zhì)的分類。 按照性質(zhì)的不同可以把信息劃分成語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息三個(gè)基本類型。其中最基本也是最抽象的類型是語(yǔ)法信息。也是迄今為止在理論上研究得最多的類型。 全信息語(yǔ)法信息語(yǔ)義信息語(yǔ)用信息離散信息 明晰信息 連續(xù)信息 模糊信息 語(yǔ)法信息考慮的是事物運(yùn)動(dòng)狀態(tài)和變化方式的外在形式 。 當(dāng)然，按照事物運(yùn)動(dòng)的方式，還可以把信息進(jìn)一步細(xì)分為概率信息、偶發(fā)信息、確定信息和模糊信息。 香農(nóng)信息論主要討論的是語(yǔ)法信息中的概率信息，本書(shū)也以概率信息為主要研究

8、對(duì)象。 1.1 信息的一般概念1.3 信息論的起源、發(fā)展及研究?jī)?nèi)容1.2 信息的分類 信息論自誕生到現(xiàn)在不過(guò)60年，在人類科學(xué)史上是相當(dāng)短暫的。但它的發(fā)展和對(duì)學(xué)術(shù)界及人類社會(huì)的影響是相當(dāng)廣泛和深刻的。信息作為一種資源，如何開(kāi)發(fā)、利用、共享，是人們普遍關(guān)心的問(wèn)題。 在人類歷史的長(zhǎng)河中，信息傳輸和傳播手段經(jīng)歷了五次重大變革：語(yǔ)言的產(chǎn)生。文字的產(chǎn)生。印刷術(shù)的發(fā)明。 電報(bào)、電話的發(fā)明。 計(jì)算機(jī)技術(shù)與通信技術(shù)相結(jié) 合，促進(jìn)了網(wǎng)絡(luò)通信的發(fā)展。123451924年，奈奎斯特（Harry Nyquist） (1889-1976)解釋了信號(hào)帶寬和信息速率之間的關(guān)系。 20世紀(jì)30年代，新的調(diào)制方式，如調(diào)頻、調(diào)相

9、、單邊帶調(diào)制、脈沖編碼調(diào)制和增量調(diào)制的出現(xiàn)，使人們對(duì)信息能量、帶寬和干擾的關(guān)系有了進(jìn)一步的認(rèn)識(shí)。 1936年，阿姆斯特朗（EdwinArmstrong)指出增大帶寬可以使抗 干擾能力加 強(qiáng)，并根據(jù) 這一思想提出了寬頻移的頻率調(diào)制方法。 1939年，達(dá)得利（Homer Dudley）發(fā) 明了帶通聲碼器，指出通 信所需帶寬至少同待傳送 消息的帶寬應(yīng)該一樣。聲碼器是最早的語(yǔ)音數(shù)據(jù)壓縮系統(tǒng)。這一時(shí)期還誕生了無(wú)線電廣播和電視廣播。 1928年，哈特萊（Hartley）首先提出了用對(duì)數(shù)度量信息的概念。 Hartley的工作給Shannon很大的啟示, 他在19411944年對(duì)通信和密碼進(jìn)行深入研究，用概率

10、論和數(shù)理統(tǒng)計(jì)的方法系統(tǒng)地討論了通信的基本問(wèn)題，得出了幾個(gè)重要而帶有普遍意義的結(jié)論。Shannon闡明通信系統(tǒng)傳遞的對(duì)象；提出了信息熵的概念；指出通信系統(tǒng)的中心問(wèn)題；指明了解決問(wèn)題的方法。1234 以上這些成果1948年以“通信的數(shù)學(xué)理論”（A mathematical theory of communication）為題公開(kāi)發(fā)表，標(biāo)志著信息論的正式誕生。 維納（Wiener）在研究火控系統(tǒng)和人體神經(jīng)系統(tǒng)時(shí)，提出了在干擾作用下的信息最佳濾波理論，成為信息論的一個(gè)重要分支。 50 年代，信息論在學(xué)術(shù)界引起了巨大反響。1951年，美國(guó)無(wú)線電工程師協(xié)會(huì)（IRE）成立了信息論組，并于1955年正式出版了

11、信息論匯刊。 1959年，香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理”（Coding theorems for a discrete source with a fidelity criterion）系統(tǒng)地提出了信息率失真理論（rate-distortion theory）。為信源壓縮編碼的研究奠定了理論基礎(chǔ)。 60 年代，信道編碼技術(shù)有了較大發(fā)展，使它成為信息論的又一重要分支。 1961年，香農(nóng)的重要論文“雙路通信信道”開(kāi)拓了多用戶信息理論的研究。 70年代以后，多用戶信息論成為中心研究課題之一。 后來(lái)，隨著通信規(guī)模的不斷擴(kuò)大，人們逐漸意識(shí)到信息安全是通信系統(tǒng)正常運(yùn)行的必要條件。于是，把密碼

12、學(xué)也歸類為信息論的分支。如今信息安全已是網(wǎng)絡(luò)通信和電子商務(wù)系統(tǒng)中不可缺少的重要環(huán)節(jié)。 人們對(duì)信息的認(rèn)識(shí)越來(lái)越深入，先后提出了加權(quán)熵、動(dòng)態(tài)熵等概念，建立在模糊數(shù)學(xué)基礎(chǔ)之上的模糊信息的研究也取得了一定的進(jìn)展。信息論不僅在通信、廣播、電視、雷達(dá)、導(dǎo)航、計(jì)算機(jī)、自動(dòng)控制、電子對(duì)抗等電子學(xué)領(lǐng)域得到了直接應(yīng)用，還廣泛地滲透到諸如醫(yī)學(xué)、生物學(xué)、心理學(xué)、神經(jīng)生理學(xué)等自然科學(xué)的各個(gè)方面，甚至滲透到語(yǔ)言學(xué)、美學(xué)等領(lǐng)域。 從60年代開(kāi)始，一些社會(huì)學(xué)家在研究社會(huì)問(wèn)題和社會(huì)現(xiàn)象時(shí)，先后提出了后工業(yè)社會(huì)和信息社會(huì)的概念，信息論開(kāi)始向經(jīng)濟(jì)學(xué)和社會(huì)科學(xué)領(lǐng)域滲透。1977年，美國(guó)經(jīng)濟(jì)學(xué)家馬克波拉特發(fā)表了長(zhǎng)達(dá)九卷的信息經(jīng)濟(jì)報(bào)告，

13、用信息論的基本概 念研究經(jīng)濟(jì)現(xiàn)象和社會(huì)現(xiàn)象， 將信息論的研究從自然科學(xué)領(lǐng) 域正式移植到經(jīng)濟(jì)學(xué)和社會(huì)科學(xué)領(lǐng)域。信息論迅速發(fā)展成為涉及范圍極廣的廣義信息論即信息科學(xué)。 信息論的研究對(duì)象是廣義通信系統(tǒng)。不僅電子的、光學(xué)的信號(hào)傳遞系統(tǒng)，任何系統(tǒng)，只要能夠抽象成通信系統(tǒng)模型，都可以用信息論研究，如神經(jīng)傳導(dǎo)系統(tǒng)、市場(chǎng)銷售系統(tǒng)等等。關(guān)于信息論的研究?jī)?nèi)容，一般有以下三種解釋： 主要研究信息的測(cè)度、信道容量、信息率失真函數(shù)，與這三個(gè)概念相對(duì)應(yīng)的香農(nóng)三定理以及信源和信道編碼。 信息論基礎(chǔ) 亦稱香農(nóng)信息論或狹義信息論。 1應(yīng)用近代概率統(tǒng)計(jì)方法研究信息的基本性質(zhì)及度量方法，研究信息傳輸、處理等一般規(guī)律的學(xué)科。香農(nóng)信息

14、論信源熵信道容量無(wú)失真信源編碼定理率失真函數(shù)信源編碼信道編碼限失真信源編碼定理 信道 編碼定理密碼 主要是研究信息傳輸和處理問(wèn)題。除了香農(nóng)基本理論之外，還包括噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、調(diào)制理論。后一部分內(nèi)容以美國(guó)科學(xué)家維納（NWiener）為代表。一般信息論 2一般信息論香農(nóng) 信息論噪聲理論調(diào)制 理論信號(hào)濾波預(yù)測(cè)理論統(tǒng)計(jì)檢測(cè)估計(jì)理論 雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法研究準(zhǔn)確或近似再現(xiàn)消息的問(wèn)題，都是通信系統(tǒng)的最優(yōu)化問(wèn)題。但他們之間有一個(gè)重要的區(qū)別。 維納研究的重點(diǎn)是在接收端。研究消息在傳輸過(guò)程中受到干擾時(shí)，在接收端如何把消息從干擾中提取出來(lái)，并建立了最佳過(guò)濾理論（維納濾波器）、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、噪聲理論等。 發(fā)送接收 香農(nóng)研究的對(duì)象是從信源到信宿的全過(guò)程，是收、發(fā)端聯(lián)合最優(yōu)化問(wèn)題，重點(diǎn)是編碼。為