信息論與編碼第一章

信息論與編碼第一章第1頁，課件共37頁，創(chuàng)作于2023年2月課程概況

信息論與編碼是一門應用概率論、數(shù)理統(tǒng)計和近代數(shù)學的方法來研究信息的度量、編碼和通信的科學；它的主要目的是提高信息系統(tǒng)的有效性和可靠性，最優(yōu)化；其主要內(nèi)容包括：信息的度量，信源與信道的模型與特點，信道容量、無失真信源編碼，有噪信道編碼、限失真信源編碼及糾錯編碼。2第2頁，課件共37頁，創(chuàng)作于2023年2月結(jié)合通信系統(tǒng)實際應用3課程特點

信息理論為中心，區(qū)別“信源編碼”與“信道編碼”概念和物理意義為主，數(shù)學推導盡量放到課外第3頁，課件共37頁，創(chuàng)作于2023年2月

學習目標掌握一定的科學思想方法(用信息論的思想和觀點)和怎樣描述4充分理解、熟練掌握教材的內(nèi)容熟練掌握基本的信息理論概念和定理。熟練掌握通信與信息工程中基本研究對象的數(shù)學描述。通過學習和習題練習，具備一定的解決問題分析問題的能力第4頁，課件共37頁，創(chuàng)作于2023年2月有關(guān)事項講課:（概念、方法、實際應用）自學:（數(shù)學推導、定理證明）考試：基本概念、基本計算、實際應用平時成績：上課情況+作業(yè)成績：考試成績+平時成績5第5頁，課件共37頁，創(chuàng)作于2023年2月主要參考書1．信息論—基礎(chǔ)理論與應用，傅祖蕓，

電子工業(yè)出版社，20052．信息論與編碼，陳運，電子工業(yè)出版

社，20103.信息理基礎(chǔ)，周蔭清，北京航空航天

大學出版社，20126第6頁，課件共37頁，創(chuàng)作于2023年2月信息論概述第一章1.1信息1.2信息論1.3信息論的形成與發(fā)展1.4信息論的主要研究成果第7頁，課件共37頁，創(chuàng)作于2023年2月81.1信息

什么是信息?信息是指各個事物運動的狀態(tài)及狀態(tài)

變化的方式。人們從來自對周圍世界的觀察得到的

數(shù)據(jù)中獲得信息。信息是抽象的意識或知識，它是看不

見、摸不到的。1.1.1信息的定義第8頁，課件共37頁，創(chuàng)作于2023年2月9信息的定義從以下三方面總結(jié)：自然信息：信息存在于自然界，也存在于人類社會，其本質(zhì)是運動和變化?？梢哉f哪里有事物的運動和變化，哪里就會產(chǎn)生信息。如種子發(fā)芽，破土而出；太陽東出西落；不同季節(jié)開不同的花；宇宙星辰的位置變化等，以上自然界的變化產(chǎn)生了信息。由此得知信息不是靜止的過程，只有運動、變化才能產(chǎn)生信息。當信息產(chǎn)生以后，由人們或其他動物獲取這個信息后，就會對這個信息進行記錄（或記為存儲），然后傳遞。第9頁，課件共37頁，創(chuàng)作于2023年2月10表征信息：用文字、符號、數(shù)據(jù)、語言、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來。

人們逐漸意識到信息的存在。對信息的認識隨著社會文明的程度的提高而不斷提高和深入。

最早對信息進行科學定義的，是哈特萊(R.V.L.Hartley)。他認為，發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式，并主張用所選擇的自由度來度量信息。美國科學家維納（N.Wiener）指出：美國數(shù)學家香濃事物運動狀態(tài)及其變化方式的外在形式，實際上研究的是語法信息?！靶畔⑹切畔ⅲ皇俏镔|(zhì)，也不是能量”。第10頁，課件共37頁，創(chuàng)作于2023年2月11概率信息：采用概率論的方法對信息統(tǒng)計特性的一種定量描述。從數(shù)學觀點出發(fā)研究香農(nóng)信息論，可以認為信息是對信息統(tǒng)計特性的一種定量描述。例如，有人告訴你一條消息，這條消息告訴了許多原來不知道的信內(nèi)容，也就是事件發(fā)生概率小，這條消息就很有意義，信息量就大；反之，如果這條消息告訴的是原來就已經(jīng)知道的新內(nèi)容，那么這條消息意義就不大，信息量就小。第11頁，課件共37頁，創(chuàng)作于2023年2月12信息、消息和信號香農(nóng)信息的定義

第12頁，課件共37頁，創(chuàng)作于2023年2月131.1.2信息的性質(zhì)在物質(zhì)世界中任何事物都處于永恒的運動和普遍的相互作用之中。只要有運動和相互作用的事物，就需要有能量，也就會產(chǎn)生各種各樣事物運動的狀態(tài)和方式，就產(chǎn)生了信息。信息是作為物質(zhì)存在方式和狀態(tài)的自身顯示，同樣也是相互作用的自身顯示。可見信息源于物質(zhì)世界本身，源于物質(zhì)世界的運動和相互作用之中，所以信息是普遍存在的。第13頁，課件共37頁，創(chuàng)作于2023年2月14信息有如下的重要性質(zhì)：：第14頁，課件共37頁，創(chuàng)作于2023年2月15第15頁，課件共37頁，創(chuàng)作于2023年2月16不確定性。信息是能使認識主第16頁，課件共37頁，創(chuàng)作于2023年2月171.2信息論1.2.1信息論研究的內(nèi)容

信息論是在信息可以量度的基礎(chǔ)上，研究有效地和可靠地傳遞信息的科學，它涉及信息量度、信息特性、信息傳輸速率、信道容量、干擾對信息傳輸?shù)挠绊懙确矫娴闹R。

目前，對信息論研究的內(nèi)容一般有以下三種理解：

狹義信息論一般信息論廣義信息論第17頁，課件共37頁，創(chuàng)作于2023年2月18狹義信息論：通過消息的傳遞，收信者知道了消息的具體內(nèi)容，原先的“不知”、“不確定”和“疑問”消除或部分消除了。因此，對收信者來說，消息的傳遞過程是一個從不知到知的過程，或是從知之甚少到知之甚多的過程。第18頁，課件共37頁，創(chuàng)作于2023年2月19以十月份北京地區(qū)天氣為例，

由此可見，“不確定性”與概率的大小存在著一定的聯(lián)系，“不確定性”應該是概率的某一函數(shù)；那么，“不確定性”的消除量(減

少量)，也就是狹義信息量。第19頁，課件共37頁，創(chuàng)作于2023年2月20一般信息論：

維納研究的重點是在接收端。研究一個信號(消息)如果在傳輸過程中被某些因素（如噪聲、非線性失真等）所干擾后，在接收端怎樣把它恢復、再現(xiàn)，從干擾中提取出來。

而香農(nóng)研究的對象則是從信源到信宿之間的全過程，是收、發(fā)段聯(lián)合最優(yōu)化問題，其重點是放在編碼。

只要在傳輸前后對消息進行適當?shù)木幋a和譯碼，就能保證在干擾的存在下，最佳的傳送和準確或近似的再現(xiàn)消息。第20頁，課件共37頁，創(chuàng)作于2023年2月21廣義信息論：

在本課程中，我們討論的范圍限于一般信息論之內(nèi)。以香農(nóng)提出信息理論為基礎(chǔ)，從研究通信系統(tǒng)傳輸?shù)膶嵸|(zhì)出發(fā)，討論信息的測度，信道容量及信息傳輸?shù)目煽啃缘闹R。第21頁，課件共37頁，創(chuàng)作于2023年2月1.2.2通信系統(tǒng)模型

從上節(jié)關(guān)于信息概念及性質(zhì)的討論中，我們已經(jīng)看到：信息具有共享性，可傳輸性，這就要通過系統(tǒng)將信息傳輸給接受者，各種系統(tǒng)如電報、電話、電視、廣播、遙控、雷達和導航等，雖然它們的形成和用途各不相同，但本質(zhì)是相同的，都是信息的傳輸系統(tǒng)。為了便于研究信息傳輸和處理的共同規(guī)律，我們將各種通信系統(tǒng)中具有共同特性的部分抽取出來，概括成一個統(tǒng)一的理論模型，如下圖所示。通常稱它為通信系統(tǒng)模型。第22頁，課件共37頁，創(chuàng)作于2023年2月23通信系統(tǒng)模型主要分成下列五個部分。

第23頁，課件共37頁，創(chuàng)作于2023年2月24編碼器可分為信源編碼器和信道編碼器信源編碼器的作用是把信源發(fā)出的消息變換成由二進制碼元(或多進制碼元)組成的代碼組,這種代碼組就是基帶信號；同時通過信源編碼可以壓縮信源的冗余度,以提高通信系統(tǒng)傳輸消息的效率。

信道編碼器的作用主要作用是提高信息傳送的可靠性。第24頁，課件共37頁，創(chuàng)作于2023年2月25信源譯碼器的作用是把信道譯碼器輸出的代碼組變換成信宿所需要的消息形式，它的作用相當于信源編碼器的逆過程。

信道譯碼器的作用具有檢錯或糾錯的功能,它能將落在其檢錯或糾錯范圍內(nèi)的錯傳碼元檢出或糾正,以提高傳輸消息的可靠性。

譯碼器可分為信源譯碼器和信道譯碼器第25頁，課件共37頁，創(chuàng)作于2023年2月261.3信息論的形成和發(fā)展

當法拉第于1820-1830年期間發(fā)現(xiàn)電磁感應的基本規(guī)律后，不久莫爾斯就建立起電報系統(tǒng)（1832-1835）。1876年，貝爾又發(fā)明了電話系統(tǒng)。1864年麥克斯韋預言了電磁波的存在，1888年赫茲用實驗證明了這一預言。接著1895年英國的馬可尼和俄國的波波夫就發(fā)明了無線電通信。20世紀初（1907），根據(jù)電子運動規(guī)則，福雷斯特發(fā)明了能把電磁波進行放大的電子管。。之后，很快出現(xiàn)了遠距離無線電通信系統(tǒng)。大功率超高頻電子管發(fā)明以后，電視系統(tǒng)就建立起來了（1925-1927）。第26頁，課件共37頁，創(chuàng)作于2023年2月27

接著，在20世紀30年代末和40年代初的第二次世界大戰(zhàn)初期，微波通信系統(tǒng)、微波雷達系統(tǒng)等就迅速發(fā)展起來。50年代后期發(fā)明了量子放大器。60年代初發(fā)明的激光技術(shù)，使人類進入了光纖通信的時代。

隨著工程技術(shù)的發(fā)展，有關(guān)理論問題的研究也逐漸深入。個可能的消息。他提出“定義信息量1832年莫爾斯電報系統(tǒng)中高效率編碼方法對后來香農(nóng)的編碼理論是有啟發(fā)的。1885年凱爾文曾經(jīng)研究過一條電纜的極限穿信率問題。第27頁，課件共37頁，創(chuàng)作于2023年2月281922年卡遜對調(diào)幅信號的頻譜結(jié)構(gòu)進行了研究，并明確了邊帶的概念。1924年奈奎斯特和屈夫繆勒分別獨立地指出，如果以一個確定的速度來傳輸電報信號，就需要一定的帶寬。證明了信號傳輸速率與信道帶寬成正比。1928年哈特萊發(fā)展了奈奎斯特的工作，并提出把消息考慮為代碼或單語的序列。在s個代碼中選N個碼即構(gòu)成1928年哈特萊發(fā)展了奈奎斯特的工作，并提出把消息考慮為代碼或單語的序列。。1936年阿姆斯特朗提出增加信號帶寬可以使抑制噪聲干擾的能力增強，并給出了調(diào)制指數(shù)大的調(diào)頻方式，使調(diào)頻實用化，出現(xiàn)了調(diào)頻通信裝置。1939年達德利發(fā)明了聲碼器。當時他提出的概念是通信所需要的帶寬至少應與所傳送的消息的帶寬相同。第28頁，課件共37頁，創(chuàng)作于2023年2月2920世紀40年代初期，由于軍事上的需要，維納在研究防空火炮的控制問題時，提出了“平穩(wěn)時間序列的外推，內(nèi)插與平滑及其工程應用”的論文。他把隨機過程和數(shù)理統(tǒng)計的觀點引入通信和控制系統(tǒng)中來，揭示了信息傳輸和處理過程的統(tǒng)計本質(zhì)。1938年6月和10月香農(nóng)在貝爾實驗室出版的著名的《貝爾系統(tǒng)技術(shù)》雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學理論”的文章。在這兩篇文章中，他用概率測度和數(shù)理統(tǒng)計的方法系統(tǒng)的討論了通信的基本問題，首先嚴格定義了信息的度量——熵的概念。第29頁，課件共37頁，創(chuàng)作于2023年2月301952年費諾給出并證明了費諾不等式，并給出了關(guān)于香農(nóng)信道編碼你定理的證明。1957年沃爾維夫茲采用了類似典型序列方法證明了信道編碼強逆定理。。1961年費諾又描述了分組碼中碼率、碼長和錯誤概率的關(guān)系，并提供了香農(nóng)信道編碼定理的充要性證明。1965年格拉格爾發(fā)展了費諾的證明結(jié)論并提供了一種簡明的證明方法。而科弗爾于1975年采用典型序列方法來證明。1972年阿莫托和布萊哈特分別發(fā)展了信道容量的迭代算法。1972年阿莫托和布萊哈特分別發(fā)展了信道容量的迭代算法。第30頁，課件共37頁，創(chuàng)作于2023年2月311972年阿莫托和布萊哈特分別發(fā)展了信道容量的迭代算法。1972年阿莫托和布萊哈特分別發(fā)展了信道容量的迭代算法。1972年阿莫托和布萊哈特分別發(fā)展了信道容量的迭代算法。

關(guān)于高斯信道是香農(nóng)在1948年原論文中首先分析和研究的。。1964年霍爾辛格發(fā)展了有色高斯噪聲信道容量的研究。1969年平斯克爾提出了具有反饋的非白噪聲高斯信道容量問題。科弗爾于1989年對平斯克爾的結(jié)論給出了簡潔的證明。香農(nóng)在1948年論文提出了無失真信源編碼定理，也給出了簡單的編碼方法（香農(nóng)編碼）。第31頁，課件共37頁，創(chuàng)作于2023年2月32麥克米倫于1956年首先證明了惟一可譯變長碼的克拉夫特不等式。關(guān)于無失真信源的編碼方法1952年費諾提出了一種費諾碼同年，霍夫曼首先構(gòu)造了一種霍夫曼編碼方法，并證明了它是最佳碼。20世紀70年代后期開始，人們把興趣放在與實際應用有關(guān)的信源編碼問題上。1968年前后，埃利斯發(fā)展了香農(nóng)-費諾碼，提出了算術(shù)編碼的初步思路。而里斯桑內(nèi)在1976年給出和發(fā)展了算術(shù)編碼。第32頁，課件共37頁，創(chuàng)作于2023年2月331982年他和蘭登一起將算術(shù)編碼系統(tǒng)化，并省去了乘法運算，更為簡化、易于實現(xiàn)關(guān)于通用信源編碼算法——LZ碼是于1977年由齊弗和蘭佩爾提出的。1978年他倆又提出了改進算法，而且齊弗也證明此方法可達到信源的熵值。1990年貝爾等在LZ算法基礎(chǔ)上又作了一系列變化和改進。LZ碼已廣泛應用于文本的數(shù)據(jù)壓縮中。第33頁，課件共37頁，創(chuàng)作于2023年2月34語音信號壓縮長途電話網(wǎng)標準1972年CCITTG.711標準中的64kbit/s，1995年CCITTG.723.1標準中的6.3kbit/s。移動通信中1989年GSM標準中語音編碼速率為13.2kbit/s1994年在為半碼速GSM研究的VSELP編碼算法中，碼速率為5.6kbit/s軍用通信美國NSA標準的速率在1975年已達2.4kbit/s目前在實驗室中已實現(xiàn)600bit/s的低速率語音編碼,特別是按音素識別與合成原理構(gòu)造的聲碼器其速率可低于100bit/s,已接近信息論指出的極限。1.4信息論的主要研究成果第34頁，課件共37頁，創(chuàng)作于2023年2月35圖像信號壓縮圖像信號的信息量特別巨大，這對圖像信號的傳輸及存儲都帶來極大的不便。1989年CCITT提出電視電話/會議電視的壓縮標準H.261,其壓縮比達到