陳運信息論與編碼第一章序論課件

第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函數第5章：信源編碼第6章：信道編碼第7章：密碼體制的安全性測度

C.E.Shannon：美國科學家，信息論創(chuàng)始人中文譯名：山農，香農，仙農，商農

信息科學和材料、能源科學一起被稱為當代文明的“三大支柱”。

一位美國科學家說過：“沒有物質的世界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界?！?/p>

花朵開放時的色彩是一種信息，它可以引來昆蟲為其授粉；

成熟的水果會產生香味，誘來動物，動物食后為其傳播種子，果香也是一種信息；

藥有苦味，讓人難以吞咽，藥味是一種信息；

聽老師講課可以得到許多知識，知識也是信息……。

色彩視覺果香嗅覺苦藥味覺知識聽覺

總之，信息處處存在，人的眼、耳、鼻、舌、身都能感知信息。

冷熱觸覺

信息就是情報

5

信息就是知識。

6

數學家認為“信息是使概率分布發(fā)生改變的東西”7

哲學家認為“信息是物質成分的意識成分按完全特殊的方式融合起來的產物”……。8

1928年，美國數學家哈特萊

(Hartley)在《貝爾系統(tǒng)電話雜志》上發(fā)表了一篇題為《信息傳輸》的論文。他認為“信息是選擇的自由度”。事隔20年，另一位美國數學家香農

(C.E.Shannon)

在《貝爾系統(tǒng)電話雜志》發(fā)表了題為《通信的數學理論》的長篇論文。他創(chuàng)立了信息論，但是卻沒有給出信息的確切定義他認為“信息就是一種消息”。

最高的層次的定義是最普遍的層次，也是無約束條件的層次，定義事物的“信息是該事物運動的狀態(tài)和狀態(tài)改變的方式”。我們把它叫做“本體論”層次。在這個層次上定義的信息是最廣義的信息，使用范圍也最廣。

例如，引入一個最有實際意義的約束條件：認識主體。信息定義就轉化為“認識論”層次的信息定義。即：信息是認識主體（生物或機器）所感知的或所表述的相應事物的運動狀態(tài)及其變化方式（包括狀態(tài)及其變化方式的形式、含義和效用）。其中認識主體所感知的東西是外部世界向認識主體輸入的信息，而認識主體所表述的東西則是其向外部世界輸出的信息。

全信息

同時考慮事物運動狀態(tài)及其變化方式的外在形式、內在含義和效用價值的認識論層次信息。

綜合起來，信息有以下主要特征：

信息來源于物質，又不是物質本身；它從物質的運動中產生出來，又可以脫離源物質而相對獨立地存在。

信息來源于精神世界，但又不局限于精神領域。

12

信息與能量息息相關，但又與能量有本質的區(qū)別。

信息具有知識的本性，但又比知識的內涵更廣泛。

信息可以被認識主體獲取和利用。

345

根據上述特征和信息的基本定義，可以導出信息的一些重要性質：

存在的普遍性

有序性相對性

可度量性

可擴充性

可存儲、傳輸與攜帶性

§1.1信息的一般概念§1.3信息論的起源、發(fā)展及研究內容§1.2信息的分類

按照信息的性質

1語法語義語用

按照觀察的過程

實在先驗實得

2客觀主觀

按照信息的地位

按照信息的作用有用無用干擾34宇宙自然社會思維工業(yè)農業(yè)軍事政治科技文化經濟市場管理

按照信息的生成領域

7

按照信息的應用部門

8語聲圖象文字數據計算電磁語聲圖象文字光學生物

按照信息的來源9

按照信息載體的性質

10全信息語法信息語義信息語用信息離散信息

明晰信息

連續(xù)信息

模糊信息

語法信息考慮的是事物運動狀態(tài)和變化方式的外在形式

。

當然，按照事物運動的方式，還可以把信息進一步細分為概率信息、偶發(fā)信息、確定信息和模糊信息。香農信息論主要討論的是語法信息中的概率信息，本書也以概率信息為主要研究對象?！?.1信息的一般概念§1.3信息論的起源、發(fā)展及研究內容§1.2信息的分類

信息論自誕生到現在不過60年，在人類科學史上是相當短暫的。但它的發(fā)展和對學術界及人類社會的影響是相當廣泛和深刻的。信息作為一種資源，如何開發(fā)、利用、共享，是人們普遍關心的問題。

在人類歷史的長河中，信息傳輸和傳播手段經歷了五次重大變革：語言的產生。文字的產生。印刷術的發(fā)明。電報、電話的發(fā)明。計算機技術與通信技術相結合，促進了網絡通信的發(fā)展。123451924年，奈奎斯特（HarryNyquist）

(1889-1976)解釋了信號帶寬和信息速率之間的關系。

20世紀30年代，新的調制方式，如調頻、調相、單邊帶調制、脈沖編碼調制和增量調制的出現，使人們對信息能量、帶寬和干擾的關系有了進一步的認識。

1936年，阿姆斯特朗（Edwin·Armstrong)指出增大帶寬可以使抗干擾能力加強，并根據這一思想提出了寬頻移的頻率調制方法。

1939年，達得利（HomerDudley）發(fā)

明了帶通聲碼器，指出通信所需帶寬至少同待傳送消息的帶寬應該一樣。聲碼器是最早的語音數據壓縮系統(tǒng)。這一時期還誕生了無線電廣播和電視廣播。

1928年，哈特萊（Hartley）首先提出了用對數度量信息的概念。Hartley的工作給Shannon很大的啟示,他在1941~1944年對通信和密碼進行深入研究，用概率論和數理統(tǒng)計的方法系統(tǒng)地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結論。Shannon闡明通信系統(tǒng)傳遞的對象；提出了信息熵的概念；指出通信系統(tǒng)的中心問題；指明了解決問題的方法。1234

以上這些成果1948年以“通信的數學理論”（Amathematicaltheoryofcommunication）為題公開發(fā)表，標志著信息論的正式誕生。

維納（Wiener）在研究火控系統(tǒng)和人體神經系統(tǒng)時，提出了在干擾作用下的信息最佳濾波理論，成為信息論的一個重要分支。

50年代，信息論在學術界引起了巨大反響。1951年，美國無線電工程師協(xié)會（IRE）成立了信息論組，并于1955年正式出版了信息論匯刊。

1959年，香農發(fā)表了“保真度準則下的離散信源編碼定理”（Codingtheoremsforadiscretesourcewithafidelitycriterion）系統(tǒng)地提出了信息率失真理論（rate-distortiontheory）。為信源壓縮編碼的研究奠定了理論基礎。

60年代，信道編碼技術有了較大發(fā)展，使它成為信息論的又一重要分支。

1961年，香農的重要論文“雙路通信信道”開拓了多用戶信息理論的研究。

70年代以后，多用戶信息論成為中心研究課題之一。

后來，隨著通信規(guī)模的不斷擴大，人們逐漸意識到信息安全是通信系統(tǒng)正常運行的必要條件。于是，把密碼學也歸類為信息論的分支。如今信息安全已是網絡通信和電子商務系統(tǒng)中不可缺少的重要環(huán)節(jié)。

人們對信息的認識越來越深入，先后提出了加權熵、動態(tài)熵等概念，建立在模糊數學基礎之上的模糊信息的研究也取得了一定的進展。信息論不僅在通信、廣播、電視、雷達、導航、計算機、自動控制、電子對抗等電子學領域得到了直接應用，還廣泛地滲透到諸如醫(yī)學、生物學、心理學、神經生理學等自然科學的各個方面，甚至滲透到語言學、美學等領域。

從60年代開始，一些社會學家在研究社會問題和社會現象時，先后提出了后工業(yè)社會和信息社會的概念，信息論開始向經濟學和社會科學領域滲透。1977年，美國經濟學家馬克·波拉特發(fā)表了長達九卷的《信息經濟》報告，用信息論的基本概念研究經濟現象和社會現象，將信息論的研究從自然科學領域正式移植到經濟學和社會科學領域。信息論迅速發(fā)展成為涉及范圍極廣的廣義信息論——即信息科學。

信息論的研究對象是廣義通信系統(tǒng)。不僅電子的、光學的信號傳遞系統(tǒng)，任何系統(tǒng)，只要能夠抽象成通信系統(tǒng)模型，都可以用信息論研究，如神經傳導系統(tǒng)、市場銷售系統(tǒng)等等。關于信息論的研究內容，一般有以下三種解釋：

主要研究信息的測度、信道容量、信息率失真函數，與這三個概念相對應的香農三定理以及信源和信道編碼。

信息論基礎

亦稱香農信息論或狹義信息論。

1應用近代概率統(tǒng)計方法研究信息的基本性質及度量方法，研究信息傳輸、處理等一般規(guī)律的學科。香農信息論信源熵信道容量無失真信源編碼定理率失真函數信源編碼信道編碼限失真信源編碼定理

信道編碼定理密碼

主要是研究信息傳輸和處理問題。除了香農基本理論之外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測與估計理論、調制理論。后一部分內容以美國科學家維納（N·Wiener）為代表。一般信息論

2一般信息論香農信息論噪聲理論調制理論信號濾波預測理論統(tǒng)計檢測估計理論

雖然維納和香農等人都是運用概率和統(tǒng)計數學的方法研究準確或近似再現消息的問題，都是通信系統(tǒng)的最優(yōu)化問題。但他們之間有一個重要的區(qū)別。

維納研究的重點是在接收端。研究消息在傳輸過程中受到干擾時，在接收端如何把消息從干擾中提取出來，并建立了最佳過濾理論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論等。

發(fā)送接收

香農研究的對象是從信源到信宿的全過程，是收、發(fā)端聯(lián)合最優(yōu)化問題，重點是編碼。為此，發(fā)展了信息測