PPT信息論與編碼-第1章緒論

課程概述

信息論與編碼以概率論與隨機(jī)過程為主要數(shù)學(xué)工具，用一系列具體的符號(碼)來表示抽象的信息，研究信息在存儲(chǔ)和傳遞過程中具有高效性和可靠性這兩大核心問題。本課程包括信息論基礎(chǔ)和編碼兩大部分。 2/3/20231第一次課學(xué)習(xí)方法 學(xué)習(xí)時(shí)把注意力集中到概念的理解上，不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。 注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。2/3/20232第一次課第一章緒論1.1信息的概念、性質(zhì)及度量1.2信息論研究的對象、目的和內(nèi)容1.3信息論的形成與發(fā)展2/3/20233第一次課1.1.1信息的重要性人類的生存與發(fā)展離不開信息結(jié)繩記事,契(qì)刻記事：最初期烽火告警、狼煙、擂鼓傳信、飛鴿傳書最早、快速、遠(yuǎn)距離語言和文字：最根本的工具造紙術(shù)和印刷術(shù)使文字成為信息傳遞有效工具郵政通信電報(bào)、電話和電視快速、便利、遠(yuǎn)距離網(wǎng)絡(luò)、手機(jī)

什么是信息？消息？2/3/20234第一次課1.1.2信息的定義（一）不同學(xué)科,從不同角度對信息這個(gè)概念有不同解釋新聞界,信息被普遍認(rèn)為是對事物運(yùn)動(dòng)狀態(tài)的陳述,是物與物、物與人、人與人之間的特征傳輸.而新聞則是信息的一種,是具有新聞價(jià)值的信息，如東航“返航事件”.哲學(xué)家從產(chǎn)生信息的客體來定義,認(rèn)為信息是事物本質(zhì)、特征、運(yùn)動(dòng)規(guī)律的反映.不同事物有不同本質(zhì)、特征、運(yùn)動(dòng)規(guī)律,人們就是通過事物發(fā)出的信息來認(rèn)識該事物,或區(qū)別于其它事物.圖書館學(xué)和情報(bào)學(xué)領(lǐng)域,信息定義為事物或記錄.美國學(xué)者巴克蘭德(Buckland)認(rèn)為,許多事物都可以是信息,如文本、圖片、錄音磁帶、博物館陳列品、自然物體、實(shí)驗(yàn)、事件等。但這一定義過于寬泛,未能將信息、信息載體和信息資源區(qū)分開來.2/3/20235第一次課1.1.2信息的定義（二）控制論專家維納(Wiener,右圖)的信息概念是從信息傳遞過程中,客體和接收主體之間相互作用定義的.他說,”信息既不是物質(zhì),又不是能量,信息就是信息.”根據(jù)維納的說法,信息和物質(zhì)、能量既有聯(lián)系又有區(qū)別物質(zhì)世界三大基礎(chǔ)：世界由物質(zhì)組成,能量是物質(zhì)運(yùn)動(dòng)的動(dòng)力,信息是人類了解自然及人類社會(huì)的憑據(jù);獨(dú)立性：信息不遵循質(zhì)量守恒定律,其性質(zhì)和內(nèi)容與物質(zhì)載體的變換無關(guān);信息也不服從能量守恒定律,信息可以共享而能量不能共享.依存關(guān)系：能量和信息源于物質(zhì);信息要以物質(zhì)為基礎(chǔ),也離不開能量;物質(zhì)運(yùn)動(dòng)的狀態(tài)和方式需要信息來表現(xiàn)和描述,能量的轉(zhuǎn)換與駕馭也同樣離不開信息.2/3/20236第一次課1.1.2信息的定義（三）1988年,鐘義信在《信息科學(xué)原理》中認(rèn)為,信息是事物運(yùn)動(dòng)的狀態(tài)與方式，是物質(zhì)的一種屬性?！笆挛铩狈褐敢磺锌赡艿难芯繉ο?包括外部世界的物質(zhì)客體,也包括主觀世界的精神現(xiàn)象;“運(yùn)動(dòng)”泛指一切意義上的變化,包括機(jī)械運(yùn)動(dòng)、化學(xué)運(yùn)動(dòng)、思維運(yùn)動(dòng)和社會(huì)運(yùn)動(dòng);“運(yùn)動(dòng)方式”是指事物運(yùn)動(dòng)在時(shí)間上所呈現(xiàn)的過程和規(guī)律;“運(yùn)動(dòng)狀態(tài)”則是事物運(yùn)動(dòng)在空間上所展示的形狀與態(tài)勢.2/3/20237第一次課1.1.2香農(nóng)信息的定義克勞德·艾爾伍德·香農(nóng)是美國數(shù)學(xué)家、信息論的創(chuàng)始人。密西根大學(xué)學(xué)士，麻省理工學(xué)院博士。香農(nóng)在1948年發(fā)表了一篇著名的論文，《通信的數(shù)學(xué)理論》。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對信息做了科學(xué)的定義，并進(jìn)行了定性和定量的分析。

克勞德·艾爾伍德·香農(nóng)(ClaudeElwoodShannon,1916-2001)2/3/20238第一次課1.1.2香農(nóng)信息的定義香農(nóng)將各種通信系統(tǒng)概括成如下框圖：2/3/20239第一次課1.1.2香農(nóng)信息的定義消息傳遞過程的特點(diǎn)：收信者在收到消息以前是不知道消息的具體內(nèi)容的。1)收信者存在著“不知”、“不確定”或“疑問”；收到消息以前，收信者在是不知道消息的具體內(nèi)容。即使收到消息，由于干擾的存在，收信者也不能判定所得到的消息是否正確和可靠。2)通過消息的傳遞，收信者知道了消息的具體內(nèi)容，消除或部分消除了原先的“不知”、“不確定”和“疑問”。2/3/202310第一次課1.1.2香農(nóng)信息的定義2/3/202311第一次課1.1.2香農(nóng)信息的定義因此，對收信者來說，消息的傳遞過程是從不知到知的過程；或是從知之甚少到知之甚多的過程；或是從不確定到部分確定或全部確定的過程。如果不具備這樣一個(gè)特點(diǎn)，那就根本不需要通信系統(tǒng)了。2/3/202312第一次課1.1.2香農(nóng)信息的定義所以，通信過程是一種消除不確定性的過程。不確定性的消除，就獲得了一部分信息。不確定性消除得越多，獲得的信息就越多。不確定性全部消除了，就獲得了全部的信息；若消除了部分不確定性，就獲得了部分信息；若不確定性沒有任何消除，就沒有獲得任何信息。由此可見，信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。這就是香農(nóng)信息的定義。2/3/202313第一次課1.1.3信息與消息的關(guān)系1、消息：表達(dá)客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài),如文字、語言、圖像等.2、信息與消息的關(guān)系：形式上傳輸消息，實(shí)質(zhì)上傳輸信息。消息具體，信息抽象。消息是表達(dá)信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來載荷。消息可能包含豐富的信息，也可能包含很少的信息。2/3/202314第一次課1.1.4信息與信號的關(guān)系1、信號：把消息變換成適合信道傳輸?shù)奈锢砹?，如光信號、電信號、聲信號和生物信號等?、信息與信號的關(guān)系：信號攜帶著消息，它是消息的運(yùn)載工具。信號是消息的表現(xiàn)形式，消息是信號的具體內(nèi)容。2/3/202315第一次課1.1.5香農(nóng)信息的度量根據(jù)香農(nóng)的有關(guān)信息的定義，信息如何度量？當(dāng)人們收到一封電報(bào)，或聽了廣播，或看了電視，到底得到了多少信息量呢？信息能否度量？信息量與不確定性消除的程度有關(guān)。那么，不確定性的大小能度量嗎？數(shù)學(xué)工具：數(shù)學(xué)上，不確定性就是隨機(jī)性，具有不確定性的事件就是隨機(jī)事件。因此可用概率論和隨機(jī)過程來測度不確定性的大小。從直觀概念來講，不確定性的大小可以直觀地看成是事先猜測某隨機(jī)事件是否發(fā)生的難易程度。2/3/202316第一次課1.1.5香農(nóng)信息的度量

而乙袋中取出紅球的概率小，不確定性大，故信息量大。從這個(gè)例子可以得出：不確定性的大小與可能發(fā)生的消息數(shù)目及各消息發(fā)生的概率有關(guān)。舉例說明不確定性的大小，如右圖甲袋中取出紅球的概率大，不確定性小，因此信息量小；2/3/202317第一次課1.1.5香農(nóng)信息的度量信息能否度量？信息量與不確定性消除的程度有關(guān)。那么，不確定性的大小能度量嗎？回答：某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各種狀態(tài)出現(xiàn)的概率大小有關(guān)。因此，不確定性的大小能夠度量?？梢姡畔⒁彩强梢詼y度的。2/3/202318第一次課1.1.3信息的基本性質(zhì)1、信息是無形的不同于物質(zhì)與能量，看不見、摸不著，不具有實(shí)體性2、信息是可共享的2.1信息共享是無限的，甲—〉乙—〉丙2.2信息共享的積極作用，加速人類社會(huì)的文明進(jìn)程2.3信息共享的安全性3、信息是無限的3.1資源,取之不盡、用之不竭的3.2時(shí)空上的可擴(kuò)展性，如天氣預(yù)報(bào)信息4、信息是可量度的，質(zhì)量和數(shù)量2/3/202319第一次課1.1.6香農(nóng)信息的度量（一）1、樣本空間X某事物所有可能出現(xiàn)的不同狀態(tài)(或不同消息)的集合。2、概率測度P對于每個(gè)可能選擇的消息指定一個(gè)概率。3、消息概率空間[X,P]：消息的樣本空間X和它的概率測度P。離散情況下概率空間為2/3/202320第一次課1.1.6信息的度量（二）4、自信息：接收端對發(fā)送端是否發(fā)送消息ai的不確定性,即5、條件自信息：接收端收到bj后,對發(fā)送端是否發(fā)送消息ai尚存在的不確定性,即6、互信息：收信者獲得的信息量,接收端收到消息bj后,已經(jīng)消除的不確定性,即2/3/202321第一次課1.1.7香農(nóng)概率信息定義的優(yōu)劣優(yōu)點(diǎn)：定義科學(xué)，有明確的數(shù)學(xué)模型；與日常用語中信息的含意是一致的；排除了日常用語中對信息的主觀含意。局限性：實(shí)際存在的某些事物運(yùn)動(dòng)狀態(tài)很難找到一個(gè)合適的概率模型(以經(jīng)典集合論為基礎(chǔ))；沒有考慮收信者的主觀特性和主觀意義；撇開了事物本身的具體含意、具體用途、重要程度和引起的后果等因素。2/3/202322第一次課第一章緒論1.1信息的概念、性質(zhì)及度量1.2信息論研究的對象、目的和內(nèi)容1.3信息論的形成與發(fā)展2/3/202323第一次課1.2.1研究對象：通信系統(tǒng)各種通信系統(tǒng)盡管形式和用途不同都是信息傳輸系統(tǒng)；為便于研究信息傳輸和處理的共同規(guī)律，將各種通信系統(tǒng)抽象成一個(gè)統(tǒng)一的理論模型，如圖1.1.2/3/202324第一次課1.2.1研究對象：通信系統(tǒng)通信系統(tǒng)模型主要分成以下五部分：1、信源：產(chǎn)生消息和消息序列的源。它可以是人、生物、機(jī)器或其他事物，人的大腦思維活動(dòng)也是一種信源；信源發(fā)出的消息有語音、圖像、文字等；信源的輸出是消息，消息是具體的，但它不是信息本身。它是事物各種運(yùn)動(dòng)狀態(tài)或存在狀態(tài)的集合，可能出現(xiàn)的狀態(tài)(即信源輸出的消息)是隨機(jī)的、不確定的，但又有一定的規(guī)律性。2/3/202325第一次課1.2.1研究對象：通信系統(tǒng)2、編碼器：將信源發(fā)出的消息變換成適合信道傳送的信號的設(shè)備，包括以下三個(gè)部分：信源編碼，為了提高信息傳輸?shù)男蕦π旁摧敵龅南⑦M(jìn)行適當(dāng)?shù)淖儞Q和處理，把信息變換成信號，又稱信源壓縮編碼；信道編碼，是為了提高信息傳輸?shù)目煽啃远鴮ο⑦M(jìn)行的變換和處理，又稱信道糾錯(cuò)編碼，如奇偶監(jiān)督碼、重復(fù)碼、線性分組碼等；保密編碼，是為保證信息的安全性和證實(shí)性。2/3/202326第一次課編碼的應(yīng)用的幾個(gè)例子：電報(bào)常用的莫爾斯碼就是按信息論的基本編碼原則設(shè)計(jì)出來的；在一些商品上面有一張由粗細(xì)條紋組成的標(biāo)簽，從這張標(biāo)簽可以得知該商品的生產(chǎn)廠家、生產(chǎn)日期和價(jià)格等信息，這些標(biāo)簽是利用條形碼設(shè)計(jì)出來的，非常方便，非常有用，應(yīng)用越來越普遍；計(jì)算機(jī)的運(yùn)算速度很高，要保證它幾乎不出差錯(cuò)，相當(dāng)于要求有100年的時(shí)間內(nèi)不得有一秒鐘的誤差，這就需要利用糾錯(cuò)碼來自動(dòng)地及時(shí)地糾正所發(fā)生的錯(cuò)誤；每出版一本書，都給定一個(gè)國際標(biāo)準(zhǔn)書號(ISBN)，大大方便圖書的銷售、編目和收藏工作。2/3/202327第一次課1.2.1研究對象：通信系統(tǒng)3、信道：通信系統(tǒng)中把載荷消息的信號從甲地傳輸?shù)揭业氐拿浇榛蛲ǖ?。?shí)際信道有明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等傳輸電磁波能量的信道；信道除傳送信號以外，還有存儲(chǔ)信號的作用，如磁帶、光盤或書寫通信方式；在信道中還存在噪聲和干擾。為分析方便，把干擾和噪聲都等效地折合成信道干擾，看成是由噪聲源產(chǎn)生。由于干擾或噪聲往往具有隨機(jī)性，所以信道特性可用概率空間描述。2/3/202328第一次課1.2.1研究對象：通信系統(tǒng)4、譯碼：就是把信道輸出的編碼信號（已迭加了干擾）進(jìn)行反變換，一般認(rèn)為這種變換是可逆的。從受干擾的信號中最大限度地提取出信源輸出消息的信息，并盡可能地復(fù)現(xiàn)信源的輸出。譯碼器也分成三種：信源譯碼器；信道譯碼器；解密譯碼器。2/3/202329第一次課1.2.1研究對象：通信系統(tǒng)5、信宿：是消息傳送過程中的接收者，即接收消息的人或機(jī)器。2/3/202330第一次課1.2.2研究目的研究概括性強(qiáng)的通信系統(tǒng)，其目的：要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行?、保密性和認(rèn)證性，使達(dá)到信息傳輸系統(tǒng)最優(yōu)化?？煽啃裕罕M可能不失真地再現(xiàn)信源發(fā)出的消息；有效性：用更短的時(shí)間和更少的設(shè)備來傳送信息，與可靠性易發(fā)生矛盾，需要統(tǒng)籌兼顧；保密性：傳送的消息只被預(yù)定的接收者獲取；認(rèn)證性：正確判斷所接收消息是預(yù)定發(fā)送者發(fā)送的。2/3/202331第一次課1.2.2研究目的根據(jù)信息傳輸?shù)囊蟛煌?，信息傳輸系統(tǒng)模型不是不變的。研究可靠性，把信源、信源編碼和加密編碼等效成一個(gè)信源，而將信宿、信源譯碼和解密譯碼等效成一信宿；研究有效性，只考慮信源與信宿之間的信源編(譯)碼，將其他部分看成無干擾信源；研究保密性和認(rèn)證性，將信源和信源編碼等效成一信源；將信道編碼、信道、噪聲源和信道譯碼等效成一無干擾信道；而將信源譯碼和信宿等效為一信宿。2/3/202332第一次課1.2.3研究內(nèi)容信息論研究的是關(guān)于這個(gè)通信系統(tǒng)的最根本、最本質(zhì)的問題。例如：①什么是信息？如何度量信息？②怎樣確定信源中含有多少信息量？③對于一個(gè)信道，它傳輸信息量的最高極限(信道容量)是多少？2/3/202333第一次課1.2.3研究內(nèi)容④為了能夠無失真的傳輸信源信息，對信源編碼時(shí)所需的最少的碼符號數(shù)是多少？(無失真信源編碼即香農(nóng)第一定理)⑤在有噪信道中有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯(cuò)誤概率幾乎為零？(有噪信道編碼即香農(nóng)第二定理)⑥如果對信源編碼時(shí)允許一定量的失真，所需的最少的碼符號數(shù)又是多少？(限失真信源編碼即香農(nóng)第三定理)2/3/202334第一次課1.2.3研究內(nèi)容信息論研究內(nèi)容的三種理解：1、狹義信息論A.信息的測度 B.信道容量C.信源和信道編碼理論2、一般信息論。主要也是研究信息傳輸和處理問題。A.香農(nóng)理論 B.噪聲理論C.信號濾波和預(yù)測 D.統(tǒng)計(jì)檢測與估計(jì)理論E.調(diào)制理論 F.信息處理理論3、廣義信息論。除了上述兩個(gè)方面內(nèi)容，還包括所有與信息有關(guān)的領(lǐng)域，如A.模式識別 B.計(jì)算機(jī)翻譯 C.心理學(xué)D.遺傳學(xué) E.神經(jīng)生理學(xué) F.語言學(xué)G.語義學(xué)2/3/202335第一次課1.2.3研究內(nèi)容綜上所述，信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的科學(xué)；它的主要目的是提高信息系統(tǒng)的可靠性和有效性，以便達(dá)到系統(tǒng)最優(yōu)化；它的主要內(nèi)容(或分支)包括香農(nóng)理論、編碼理論、維納理論、檢測和估計(jì)理論、信號設(shè)計(jì)和處理理論、調(diào)制理論、隨機(jī)噪聲理論和密碼學(xué)理論等。2/3/202336第一次課狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼2/3/202337第一次課1.2.3研究內(nèi)容除了香農(nóng)理論以外，后一部分內(nèi)容是以美國科學(xué)家維納(N.Wiener)為代表，其中最有貢獻(xiàn)的是維納和蘇聯(lián)科學(xué)家柯爾莫哥洛夫(А.Колмого?ров?)。維納(1894-1964)柯爾莫哥洛夫(1903-1987)2/3/202338第一次課1.2.3研究內(nèi)容雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法來研究準(zhǔn)確地或近視地再現(xiàn)消息的問題，都是為了使消息傳送和接收最優(yōu)化，但他們之間卻有一個(gè)重要的區(qū)別，見下表。2/3/202339第一次課1.2.3研究內(nèi)容維納理論香農(nóng)理論研究重點(diǎn)接收端編碼、收發(fā)聯(lián)合最優(yōu)化研究對象研究信號在傳輸過程中被那些因素干擾研究信號從信源到信宿之間傳輸?shù)娜^程研究內(nèi)容在接收端怎樣在干擾中提取、恢復(fù)、再現(xiàn)信號在傳輸前、后對消息進(jìn)行適當(dāng)?shù)木?譯)碼，就能保證干擾下最佳地傳送和再現(xiàn)消息提出理論最佳線性濾波理論(維納濾波器)、統(tǒng)計(jì)檢測與估計(jì)理論、噪聲理論信息測度理論、信道容量理論和編碼理論等2/3/202340第一次課第一章緒論1.1信息的概念、性質(zhì)及度量1.2信息論研究的對象、目的和內(nèi)容1.3信息論的形成與發(fā)展2/3/202341第一次課1.3.1電信系統(tǒng)的形成與發(fā)展一、有線通信系統(tǒng) 1831年英國法拉第(Faraday)發(fā)現(xiàn)電磁感應(yīng)的基本規(guī)律。1844年美國莫爾斯(Morse)建立起了電報(bào)系統(tǒng)(數(shù)據(jù))。1875年蘇格蘭青年亞歷山大.貝爾(Bell)發(fā)明了世界上第一臺(tái)電話機(jī)(語音)。2/3/202342第一次課二、無線電通信系統(tǒng)1864年英國麥克斯韋(Maxwell)預(yù)言了電磁波的存在.1888年德國赫茲(Hertz)用實(shí)驗(yàn)證明了電磁波存在這一預(yù)言.1895年意大利的馬可尼(Marconi)發(fā)明了無線電通信,通信距離近百米.1901年馬可尼成功地進(jìn)行了跨越大西洋的遠(yuǎn)距離無線電通信.1904年英國工程師弗萊明(Fleming)發(fā)明了真空二極管.具有更高的性能和靈敏度，大大提高了無線電通信的功能.1906年美國福雷斯特(Forest)制成了世界上第一只真空三極管.起到放大電信號的作用,大大提高了無線電通信的距離和可靠性.1925-1927,大功率超高頻電子管發(fā)明以后,電視系統(tǒng)(圖像)建立起來了.1925年蘇格蘭人貝爾德(Baird)和美國人斯福羅金(Zworykin)發(fā)明了電視系統(tǒng)（圖像）。前者稱做機(jī)械式，后者稱為電子式電視。2/3/202343第一次課三、微波通信系統(tǒng)（波長在0.1mm---1m）微波電子管是隨著微波波段的開發(fā)利用而發(fā)展起來的,它的應(yīng)用領(lǐng)域已擴(kuò)展到微波中繼通信、衛(wèi)星通信、地面電視廣播、衛(wèi)星電視廣播、導(dǎo)航、能量傳輸、工業(yè)和民用加熱、科學(xué)研究等方面.五十年代后期發(fā)明了量子放大器,微波放大的裝置,這種放大器是噪聲最低的一種微波放大器,而且工作穩(wěn)定、線性度好.2/3/202344第一次課四、光纖通信系統(tǒng)（波長在0.8μm---1.8μm）世界上第一臺(tái)激光器誕生于1960年,我國于1961年研制出第一臺(tái)激光器,使人類進(jìn)入了光纖通信的時(shí)代.1966年,英籍華人高錕最先提出用玻璃纖維進(jìn)行遠(yuǎn)距離激光通信的設(shè)想.1973年,美國康寧公司制成每千米傳輸損耗只有20分貝的光纖.同年,美國貝爾實(shí)驗(yàn)室研制出能在常溫下連續(xù)工作的半導(dǎo)體激光器.這兩項(xiàng)技術(shù)突破為光纖通信的實(shí)現(xiàn)鋪平了道路.1976年,美國在芝加哥兩個(gè)相距7千米的電話局間首次進(jìn)行了光纖通信試驗(yàn),實(shí)現(xiàn)了一根光纖能夠同時(shí)容納8000對人通話.2/3/202345第一次課1.3.2通信理論的發(fā)展一、信息理論1885年凱爾文(Kelvin)曾經(jīng)研究過一條電纜的極限傳信率問題。 1922年卡遜(Carson)研究了調(diào)幅信號頻譜結(jié)構(gòu)，提出了邊帶概念。 1924年奈奎斯特(Nyquist)和屈夫繆勒(Küpfmüller)解釋了信號帶寬和信息率之間的關(guān)系。 1928年哈特萊(Hartley)提出信息量等于可能消息數(shù)的對數(shù)。1936年阿姆斯特朗(Armstrong)提出在傳輸過程中增大帶寬可以增強(qiáng)抑制干擾的能力。1939年，瑞弗(Reeve)提出了具有強(qiáng)干擾能力的脈沖調(diào)制。上述理論工作的一個(gè)主要弱點(diǎn)：是把消息看成是一個(gè)確定性的過程，這與許多實(shí)際情況不相符合。所依靠的數(shù)學(xué)工具主要是經(jīng)典的傅里葉分析方法，這是有局限性的。

2/3/202346第一次課1945年萊斯(Rice)對噪聲進(jìn)行了全面研究總結(jié),抗干擾取代了抗失真。1948年香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學(xué)理論”的文章。香農(nóng)第一定理：變長無失真信源編碼定理香農(nóng)第二定理：有噪信道編碼定理195l年美國IRE成立了信息論組，1955年出版了匯刊。此間，范恩斯坦(Foinstein)等科學(xué)家論證和推廣了香農(nóng)理論。1959年香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理(香農(nóng)第三定理)”，系統(tǒng)地提出了信息率失真理論。1961年香農(nóng)論文“雙路通信信道”開拓了多用戶信息論研究。2/3/202347第一次課二、信號檢測與估計(jì)理論1942年維納(Wiener)建立了最少均方誤差準(zhǔn)則的維納濾波理論；1943年諾思(North)提出了最大輸出信噪比準(zhǔn)則的匹配濾波器理論。1946年科捷利尼科夫(Kotelnikov)提出了最大后驗(yàn)概率準(zhǔn)則(或稱最小錯(cuò)誤概率)的理想接收機(jī)。1950年伍德沃德(Woodword)將信息量的概念用于雷達(dá)信號檢測，提出一系列綜合最優(yōu)雷達(dá)系統(tǒng)的新概