PPT信息論與編碼-第1章緒論

課程概述

信息論與編碼以概率論與隨機(jī)過(guò)程為主要數(shù)學(xué)工具，用一系列具體的符號(hào)(碼)來(lái)表示抽象的信息，研究信息在存儲(chǔ)和傳遞過(guò)程中具有高效性和可靠性這兩大核心問(wèn)題。本課程包括信息論基礎(chǔ)和編碼兩大部分。 2/3/20231第一次課學(xué)習(xí)方法 學(xué)習(xí)時(shí)把注意力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。 注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來(lái)學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。2/3/20232第一次課第一章緒論1.1信息的概念、性質(zhì)及度量1.2信息論研究的對(duì)象、目的和內(nèi)容1.3信息論的形成與發(fā)展2/3/20233第一次課1.1.1信息的重要性人類的生存與發(fā)展離不開信息結(jié)繩記事,契(qì)刻記事：最初期烽火告警、狼煙、擂鼓傳信、飛鴿傳書最早、快速、遠(yuǎn)距離語(yǔ)言和文字：最根本的工具造紙術(shù)和印刷術(shù)使文字成為信息傳遞有效工具郵政通信電報(bào)、電話和電視快速、便利、遠(yuǎn)距離網(wǎng)絡(luò)、手機(jī)

什么是信息？消息？2/3/20234第一次課1.1.2信息的定義（一）不同學(xué)科,從不同角度對(duì)信息這個(gè)概念有不同解釋新聞界,信息被普遍認(rèn)為是對(duì)事物運(yùn)動(dòng)狀態(tài)的陳述,是物與物、物與人、人與人之間的特征傳輸.而新聞則是信息的一種,是具有新聞價(jià)值的信息，如東航“返航事件”.哲學(xué)家從產(chǎn)生信息的客體來(lái)定義,認(rèn)為信息是事物本質(zhì)、特征、運(yùn)動(dòng)規(guī)律的反映.不同事物有不同本質(zhì)、特征、運(yùn)動(dòng)規(guī)律,人們就是通過(guò)事物發(fā)出的信息來(lái)認(rèn)識(shí)該事物,或區(qū)別于其它事物.圖書館學(xué)和情報(bào)學(xué)領(lǐng)域,信息定義為事物或記錄.美國(guó)學(xué)者巴克蘭德(Buckland)認(rèn)為,許多事物都可以是信息,如文本、圖片、錄音磁帶、博物館陳列品、自然物體、實(shí)驗(yàn)、事件等。但這一定義過(guò)于寬泛,未能將信息、信息載體和信息資源區(qū)分開來(lái).2/3/20235第一次課1.1.2信息的定義（二）控制論專家維納(Wiener,右圖)的信息概念是從信息傳遞過(guò)程中,客體和接收主體之間相互作用定義的.他說(shuō),”信息既不是物質(zhì),又不是能量,信息就是信息.”根據(jù)維納的說(shuō)法,信息和物質(zhì)、能量既有聯(lián)系又有區(qū)別物質(zhì)世界三大基礎(chǔ)：世界由物質(zhì)組成,能量是物質(zhì)運(yùn)動(dòng)的動(dòng)力,信息是人類了解自然及人類社會(huì)的憑據(jù);獨(dú)立性：信息不遵循質(zhì)量守恒定律,其性質(zhì)和內(nèi)容與物質(zhì)載體的變換無(wú)關(guān);信息也不服從能量守恒定律,信息可以共享而能量不能共享.依存關(guān)系：能量和信息源于物質(zhì);信息要以物質(zhì)為基礎(chǔ),也離不開能量;物質(zhì)運(yùn)動(dòng)的狀態(tài)和方式需要信息來(lái)表現(xiàn)和描述,能量的轉(zhuǎn)換與駕馭也同樣離不開信息.2/3/20236第一次課1.1.2信息的定義（三）1988年,鐘義信在《信息科學(xué)原理》中認(rèn)為,信息是事物運(yùn)動(dòng)的狀態(tài)與方式，是物質(zhì)的一種屬性?！笆挛铩狈褐敢磺锌赡艿难芯繉?duì)象,包括外部世界的物質(zhì)客體,也包括主觀世界的精神現(xiàn)象;“運(yùn)動(dòng)”泛指一切意義上的變化,包括機(jī)械運(yùn)動(dòng)、化學(xué)運(yùn)動(dòng)、思維運(yùn)動(dòng)和社會(huì)運(yùn)動(dòng);“運(yùn)動(dòng)方式”是指事物運(yùn)動(dòng)在時(shí)間上所呈現(xiàn)的過(guò)程和規(guī)律;“運(yùn)動(dòng)狀態(tài)”則是事物運(yùn)動(dòng)在空間上所展示的形狀與態(tài)勢(shì).2/3/20237第一次課1.1.2香農(nóng)信息的定義克勞德·艾爾伍德·香農(nóng)是美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人。密西根大學(xué)學(xué)士，麻省理工學(xué)院博士。香農(nóng)在1948年發(fā)表了一篇著名的論文，《通信的數(shù)學(xué)理論》。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息做了科學(xué)的定義，并進(jìn)行了定性和定量的分析。

克勞德·艾爾伍德·香農(nóng)(ClaudeElwoodShannon,1916-2001)2/3/20238第一次課1.1.2香農(nóng)信息的定義香農(nóng)將各種通信系統(tǒng)概括成如下框圖：2/3/20239第一次課1.1.2香農(nóng)信息的定義消息傳遞過(guò)程的特點(diǎn)：收信者在收到消息以前是不知道消息的具體內(nèi)容的。1)收信者存在著“不知”、“不確定”或“疑問(wèn)”；收到消息以前，收信者在是不知道消息的具體內(nèi)容。即使收到消息，由于干擾的存在，收信者也不能判定所得到的消息是否正確和可靠。2)通過(guò)消息的傳遞，收信者知道了消息的具體內(nèi)容，消除或部分消除了原先的“不知”、“不確定”和“疑問(wèn)”。2/3/202310第一次課1.1.2香農(nóng)信息的定義2/3/202311第一次課1.1.2香農(nóng)信息的定義因此，對(duì)收信者來(lái)說(shuō)，消息的傳遞過(guò)程是從不知到知的過(guò)程；或是從知之甚少到知之甚多的過(guò)程；或是從不確定到部分確定或全部確定的過(guò)程。如果不具備這樣一個(gè)特點(diǎn)，那就根本不需要通信系統(tǒng)了。2/3/202312第一次課1.1.2香農(nóng)信息的定義所以，通信過(guò)程是一種消除不確定性的過(guò)程。不確定性的消除，就獲得了一部分信息。不確定性消除得越多，獲得的信息就越多。不確定性全部消除了，就獲得了全部的信息；若消除了部分不確定性，就獲得了部分信息；若不確定性沒(méi)有任何消除，就沒(méi)有獲得任何信息。由此可見(jiàn)，信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。這就是香農(nóng)信息的定義。2/3/202313第一次課1.1.3信息與消息的關(guān)系1、消息：表達(dá)客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài),如文字、語(yǔ)言、圖像等.2、信息與消息的關(guān)系：形式上傳輸消息，實(shí)質(zhì)上傳輸信息。消息具體，信息抽象。消息是表達(dá)信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來(lái)載荷。消息可能包含豐富的信息，也可能包含很少的信息。2/3/202314第一次課1.1.4信息與信號(hào)的關(guān)系1、信號(hào)：把消息變換成適合信道傳輸?shù)奈锢砹?，如光信?hào)、電信號(hào)、聲信號(hào)和生物信號(hào)等。2、信息與信號(hào)的關(guān)系：信號(hào)攜帶著消息，它是消息的運(yùn)載工具。信號(hào)是消息的表現(xiàn)形式，消息是信號(hào)的具體內(nèi)容。2/3/202315第一次課1.1.5香農(nóng)信息的度量根據(jù)香農(nóng)的有關(guān)信息的定義，信息如何度量？當(dāng)人們收到一封電報(bào)，或聽(tīng)了廣播，或看了電視，到底得到了多少信息量呢？信息能否度量？信息量與不確定性消除的程度有關(guān)。那么，不確定性的大小能度量嗎？數(shù)學(xué)工具：數(shù)學(xué)上，不確定性就是隨機(jī)性，具有不確定性的事件就是隨機(jī)事件。因此可用概率論和隨機(jī)過(guò)程來(lái)測(cè)度不確定性的大小。從直觀概念來(lái)講，不確定性的大小可以直觀地看成是事先猜測(cè)某隨機(jī)事件是否發(fā)生的難易程度。2/3/202316第一次課1.1.5香農(nóng)信息的度量

而乙袋中取出紅球的概率小，不確定性大，故信息量大。從這個(gè)例子可以得出：不確定性的大小與可能發(fā)生的消息數(shù)目及各消息發(fā)生的概率有關(guān)。舉例說(shuō)明不確定性的大小，如右圖甲袋中取出紅球的概率大，不確定性小，因此信息量?。?/3/202317第一次課1.1.5香農(nóng)信息的度量信息能否度量？信息量與不確定性消除的程度有關(guān)。那么，不確定性的大小能度量嗎？回答：某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各種狀態(tài)出現(xiàn)的概率大小有關(guān)。因此，不確定性的大小能夠度量?？梢?jiàn)，信息也是可以測(cè)度的。2/3/202318第一次課1.1.3信息的基本性質(zhì)1、信息是無(wú)形的不同于物質(zhì)與能量，看不見(jiàn)、摸不著，不具有實(shí)體性2、信息是可共享的2.1信息共享是無(wú)限的，甲—〉乙—〉丙2.2信息共享的積極作用，加速人類社會(huì)的文明進(jìn)程2.3信息共享的安全性3、信息是無(wú)限的3.1資源,取之不盡、用之不竭的3.2時(shí)空上的可擴(kuò)展性，如天氣預(yù)報(bào)信息4、信息是可量度的，質(zhì)量和數(shù)量2/3/202319第一次課1.1.6香農(nóng)信息的度量（一）1、樣本空間X某事物所有可能出現(xiàn)的不同狀態(tài)(或不同消息)的集合。2、概率測(cè)度P對(duì)于每個(gè)可能選擇的消息指定一個(gè)概率。3、消息概率空間[X,P]：消息的樣本空間X和它的概率測(cè)度P。離散情況下概率空間為2/3/202320第一次課1.1.6信息的度量（二）4、自信息：接收端對(duì)發(fā)送端是否發(fā)送消息ai的不確定性,即5、條件自信息：接收端收到bj后,對(duì)發(fā)送端是否發(fā)送消息ai尚存在的不確定性,即6、互信息：收信者獲得的信息量,接收端收到消息bj后,已經(jīng)消除的不確定性,即2/3/202321第一次課1.1.7香農(nóng)概率信息定義的優(yōu)劣優(yōu)點(diǎn)：定義科學(xué)，有明確的數(shù)學(xué)模型；與日常用語(yǔ)中信息的含意是一致的；排除了日常用語(yǔ)中對(duì)信息的主觀含意。局限性：實(shí)際存在的某些事物運(yùn)動(dòng)狀態(tài)很難找到一個(gè)合適的概率模型(以經(jīng)典集合論為基礎(chǔ))；沒(méi)有考慮收信者的主觀特性和主觀意義；撇開了事物本身的具體含意、具體用途、重要程度和引起的后果等因素。2/3/202322第一次課第一章緒論1.1信息的概念、性質(zhì)及度量1.2信息論研究的對(duì)象、目的和內(nèi)容1.3信息論的形成與發(fā)展2/3/202323第一次課1.2.1研究對(duì)象：通信系統(tǒng)各種通信系統(tǒng)盡管形式和用途不同都是信息傳輸系統(tǒng)；為便于研究信息傳輸和處理的共同規(guī)律，將各種通信系統(tǒng)抽象成一個(gè)統(tǒng)一的理論模型，如圖1.1.2/3/202324第一次課1.2.1研究對(duì)象：通信系統(tǒng)通信系統(tǒng)模型主要分成以下五部分：1、信源：產(chǎn)生消息和消息序列的源。它可以是人、生物、機(jī)器或其他事物，人的大腦思維活動(dòng)也是一種信源；信源發(fā)出的消息有語(yǔ)音、圖像、文字等；信源的輸出是消息，消息是具體的，但它不是信息本身。它是事物各種運(yùn)動(dòng)狀態(tài)或存在狀態(tài)的集合，可能出現(xiàn)的狀態(tài)(即信源輸出的消息)是隨機(jī)的、不確定的，但又有一定的規(guī)律性。2/3/202325第一次課1.2.1研究對(duì)象：通信系統(tǒng)2、編碼器：將信源發(fā)出的消息變換成適合信道傳送的信號(hào)的設(shè)備，包括以下三個(gè)部分：信源編碼，為了提高信息傳輸?shù)男蕦?duì)信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，把信息變換成信號(hào)，又稱信源壓縮編碼；信道編碼，是為了提高信息傳輸?shù)目煽啃远鴮?duì)消息進(jìn)行的變換和處理，又稱信道糾錯(cuò)編碼，如奇偶監(jiān)督碼、重復(fù)碼、線性分組碼等；保密編碼，是為保證信息的安全性和證實(shí)性。2/3/202326第一次課編碼的應(yīng)用的幾個(gè)例子：電報(bào)常用的莫爾斯碼就是按信息論的基本編碼原則設(shè)計(jì)出來(lái)的；在一些商品上面有一張由粗細(xì)條紋組成的標(biāo)簽，從這張標(biāo)簽可以得知該商品的生產(chǎn)廠家、生產(chǎn)日期和價(jià)格等信息，這些標(biāo)簽是利用條形碼設(shè)計(jì)出來(lái)的，非常方便，非常有用，應(yīng)用越來(lái)越普遍；計(jì)算機(jī)的運(yùn)算速度很高，要保證它幾乎不出差錯(cuò)，相當(dāng)于要求有100年的時(shí)間內(nèi)不得有一秒鐘的誤差，這就需要利用糾錯(cuò)碼來(lái)自動(dòng)地及時(shí)地糾正所發(fā)生的錯(cuò)誤；每出版一本書，都給定一個(gè)國(guó)際標(biāo)準(zhǔn)書號(hào)(ISBN)，大大方便圖書的銷售、編目和收藏工作。2/3/202327第一次課1.2.1研究對(duì)象：通信系統(tǒng)3、信道：通信系統(tǒng)中把載荷消息的信號(hào)從甲地傳輸?shù)揭业氐拿浇榛蛲ǖ馈?shí)際信道有明線、電纜、波導(dǎo)、光纖、無(wú)線電波傳播空間等傳輸電磁波能量的信道；信道除傳送信號(hào)以外，還有存儲(chǔ)信號(hào)的作用，如磁帶、光盤或書寫通信方式；在信道中還存在噪聲和干擾。為分析方便，把干擾和噪聲都等效地折合成信道干擾，看成是由噪聲源產(chǎn)生。由于干擾或噪聲往往具有隨機(jī)性，所以信道特性可用概率空間描述。2/3/202328第一次課1.2.1研究對(duì)象：通信系統(tǒng)4、譯碼：就是把信道輸出的編碼信號(hào)（已迭加了干擾）進(jìn)行反變換，一般認(rèn)為這種變換是可逆的。從受干擾的信號(hào)中最大限度地提取出信源輸出消息的信息，并盡可能地復(fù)現(xiàn)信源的輸出。譯碼器也分成三種：信源譯碼器；信道譯碼器；解密譯碼器。2/3/202329第一次課1.2.1研究對(duì)象：通信系統(tǒng)5、信宿：是消息傳送過(guò)程中的接收者，即接收消息的人或機(jī)器。2/3/202330第一次課1.2.2研究目的研究概括性強(qiáng)的通信系統(tǒng)，其目的：要找到信息傳輸過(guò)程的共同規(guī)律，以提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性，使達(dá)到信息傳輸系統(tǒng)最優(yōu)化。可靠性：盡可能不失真地再現(xiàn)信源發(fā)出的消息；有效性：用更短的時(shí)間和更少的設(shè)備來(lái)傳送信息，與可靠性易發(fā)生矛盾，需要統(tǒng)籌兼顧；保密性：傳送的消息只被預(yù)定的接收者獲??；認(rèn)證性：正確判斷所接收消息是預(yù)定發(fā)送者發(fā)送的。2/3/202331第一次課1.2.2研究目的根據(jù)信息傳輸?shù)囊蟛煌畔鬏斚到y(tǒng)模型不是不變的。研究可靠性，把信源、信源編碼和加密編碼等效成一個(gè)信源，而將信宿、信源譯碼和解密譯碼等效成一信宿；研究有效性，只考慮信源與信宿之間的信源編(譯)碼，將其他部分看成無(wú)干擾信源；研究保密性和認(rèn)證性，將信源和信源編碼等效成一信源；將信道編碼、信道、噪聲源和信道譯碼等效成一無(wú)干擾信道；而將信源譯碼和信宿等效為一信宿。2/3/202332第一次課1.2.3研究?jī)?nèi)容信息論研究的是關(guān)于這個(gè)通信系統(tǒng)的最根本、最本質(zhì)的問(wèn)題。例如：①什么是信息？如何度量信息？②怎樣確定信源中含有多少信息量？③對(duì)于一個(gè)信道，它傳輸信息量的最高極限(信道容量)是多少？2/3/202333第一次課1.2.3研究?jī)?nèi)容④為了能夠無(wú)失真的傳輸信源信息，對(duì)信源編碼時(shí)所需的最少的碼符號(hào)數(shù)是多少？(無(wú)失真信源編碼即香農(nóng)第一定理)⑤在有噪信道中有沒(méi)有可能以接近信道容量的信息傳輸率傳輸信息而錯(cuò)誤概率幾乎為零？(有噪信道編碼即香農(nóng)第二定理)⑥如果對(duì)信源編碼時(shí)允許一定量的失真，所需的最少的碼符號(hào)數(shù)又是多少？(限失真信源編碼即香農(nóng)第三定理)2/3/202334第一次課1.2.3研究?jī)?nèi)容信息論研究?jī)?nèi)容的三種理解：1、狹義信息論A.信息的測(cè)度 B.信道容量C.信源和信道編碼理論2、一般信息論。主要也是研究信息傳輸和處理問(wèn)題。A.香農(nóng)理論 B.噪聲理論C.信號(hào)濾波和預(yù)測(cè) D.統(tǒng)計(jì)檢測(cè)與估計(jì)理論E.調(diào)制理論 F.信息處理理論3、廣義信息論。除了上述兩個(gè)方面內(nèi)容，還包括所有與信息有關(guān)的領(lǐng)域，如A.模式識(shí)別 B.計(jì)算機(jī)翻譯 C.心理學(xué)D.遺傳學(xué) E.神經(jīng)生理學(xué) F.語(yǔ)言學(xué)G.語(yǔ)義學(xué)2/3/202335第一次課1.2.3研究?jī)?nèi)容綜上所述，信息論是一門應(yīng)用概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來(lái)研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的科學(xué)；它的主要目的是提高信息系統(tǒng)的可靠性和有效性，以便達(dá)到系統(tǒng)最優(yōu)化；它的主要內(nèi)容(或分支)包括香農(nóng)理論、編碼理論、維納理論、檢測(cè)和估計(jì)理論、信號(hào)設(shè)計(jì)和處理理論、調(diào)制理論、隨機(jī)噪聲理論和密碼學(xué)理論等。2/3/202336第一次課狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無(wú)失真編碼等長(zhǎng)編碼定理Shannon1948McMillan1953變長(zhǎng)編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼2/3/202337第一次課1.2.3研究?jī)?nèi)容除了香農(nóng)理論以外，后一部分內(nèi)容是以美國(guó)科學(xué)家維納(N.Wiener)為代表，其中最有貢獻(xiàn)的是維納和蘇聯(lián)科學(xué)家柯?tīng)柲缏宸?А.Колмого?ров?)。維納(1894-1964)柯?tīng)柲缏宸?1903-1987)2/3/202338第一次課1.2.3研究?jī)?nèi)容雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法來(lái)研究準(zhǔn)確地或近視地再現(xiàn)消息的問(wèn)題，都是為了使消息傳送和接收最優(yōu)化，但他們之間卻有一個(gè)重要的區(qū)別，見(jiàn)下表。2/3/202339第一次課1.2.3研究?jī)?nèi)容維納理論香農(nóng)理論研究重點(diǎn)接收端編碼、收發(fā)聯(lián)合最優(yōu)化研究對(duì)象研究信號(hào)在傳輸過(guò)程中被那些因素干擾研究信號(hào)從信源到信宿之間傳輸?shù)娜^(guò)程研究?jī)?nèi)容在接收端怎樣在干擾中提取、恢復(fù)、再現(xiàn)信號(hào)在傳輸前、后對(duì)消息進(jìn)行適當(dāng)?shù)木?譯)碼，就能保證干擾下最佳地傳送和再現(xiàn)消息提出理論最佳線性濾波理論(維納濾波器)、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、噪聲理論信息測(cè)度理論、信道容量理論和編碼理論等2/3/202340第一次課第一章緒論1.1信息的概念、性質(zhì)及度量1.2信息論研究的對(duì)象、目的和內(nèi)容1.3信息論的形成與發(fā)展2/3/202341第一次課1.3.1電信系統(tǒng)的形成與發(fā)展一、有線通信系統(tǒng) 1831年英國(guó)法拉第(Faraday)發(fā)現(xiàn)電磁感應(yīng)的基本規(guī)律。1844年美國(guó)莫爾斯(Morse)建立起了電報(bào)系統(tǒng)(數(shù)據(jù))。1875年蘇格蘭青年亞歷山大.貝爾(Bell)發(fā)明了世界上第一臺(tái)電話機(jī)(語(yǔ)音)。2/3/202342第一次課二、無(wú)線電通信系統(tǒng)1864年英國(guó)麥克斯韋(Maxwell)預(yù)言了電磁波的存在.1888年德國(guó)赫茲(Hertz)用實(shí)驗(yàn)證明了電磁波存在這一預(yù)言.1895年意大利的馬可尼(Marconi)發(fā)明了無(wú)線電通信,通信距離近百米.1901年馬可尼成功地進(jìn)行了跨越大西洋的遠(yuǎn)距離無(wú)線電通信.1904年英國(guó)工程師弗萊明(Fleming)發(fā)明了真空二極管.具有更高的性能和靈敏度，大大提高了無(wú)線電通信的功能.1906年美國(guó)福雷斯特(Forest)制成了世界上第一只真空三極管.起到放大電信號(hào)的作用,大大提高了無(wú)線電通信的距離和可靠性.1925-1927,大功率超高頻電子管發(fā)明以后,電視系統(tǒng)(圖像)建立起來(lái)了.1925年蘇格蘭人貝爾德(Baird)和美國(guó)人斯福羅金(Zworykin)發(fā)明了電視系統(tǒng)（圖像）。前者稱做機(jī)械式，后者稱為電子式電視。2/3/202343第一次課三、微波通信系統(tǒng)（波長(zhǎng)在0.1mm---1m）微波電子管是隨著微波波段的開發(fā)利用而發(fā)展起來(lái)的,它的應(yīng)用領(lǐng)域已擴(kuò)展到微波中繼通信、衛(wèi)星通信、地面電視廣播、衛(wèi)星電視廣播、導(dǎo)航、能量傳輸、工業(yè)和民用加熱、科學(xué)研究等方面.五十年代后期發(fā)明了量子放大器,微波放大的裝置,這種放大器是噪聲最低的一種微波放大器,而且工作穩(wěn)定、線性度好.2/3/202344第一次課四、光纖通信系統(tǒng)（波長(zhǎng)在0.8μm---1.8μm）世界上第一臺(tái)激光器誕生于1960年,我國(guó)于1961年研制出第一臺(tái)激光器,使人類進(jìn)入了光纖通信的時(shí)代.1966年,英籍華人高錕最先提出用玻璃纖維進(jìn)行遠(yuǎn)距離激光通信的設(shè)想.1973年,美國(guó)康寧公司制成每千米傳輸損耗只有20分貝的光纖.同年,美國(guó)貝爾實(shí)驗(yàn)室研制出能在常溫下連續(xù)工作的半導(dǎo)體激光器.這兩項(xiàng)技術(shù)突破為光纖通信的實(shí)現(xiàn)鋪平了道路.1976年,美國(guó)在芝加哥兩個(gè)相距7千米的電話局間首次進(jìn)行了光纖通信試驗(yàn),實(shí)現(xiàn)了一根光纖能夠同時(shí)容納8000對(duì)人通話.2/3/202345第一次課1.3.2通信理論的發(fā)展一、信息理論1885年凱爾文(Kelvin)曾經(jīng)研究過(guò)一條電纜的極限傳信率問(wèn)題。 1922年卡遜(Carson)研究了調(diào)幅信號(hào)頻譜結(jié)構(gòu)，提出了邊帶概念。 1924年奈奎斯特(Nyquist)和屈夫繆勒(Küpfmüller)解釋了信號(hào)帶寬和信息率之間的關(guān)系。 1928年哈特萊(Hartley)提出信息量等于可能消息數(shù)的對(duì)數(shù)。1936年阿姆斯特朗(Armstrong)提出在傳輸過(guò)程中增大帶寬可以增強(qiáng)抑制干擾的能力。1939年，瑞弗(Reeve)提出了具有強(qiáng)干擾能力的脈沖調(diào)制。上述理論工作的一個(gè)主要弱點(diǎn)：是把消息看成是一個(gè)確定性的過(guò)程，這與許多實(shí)際情況不相符合。所依靠的數(shù)學(xué)工具主要是經(jīng)典的傅里葉分析方法，這是有局限性的。

2/3/202346第一次課1945年萊斯(Rice)對(duì)噪聲進(jìn)行了全面研究總結(jié),抗干擾取代了抗失真。1948年香農(nóng)在貝爾系統(tǒng)技術(shù)雜志上發(fā)表了兩篇有關(guān)“通信的數(shù)學(xué)理論”的文章。香農(nóng)第一定理：變長(zhǎng)無(wú)失真信源編碼定理香農(nóng)第二定理：有噪信道編碼定理195l年美國(guó)IRE成立了信息論組，1955年出版了匯刊。此間，范恩斯坦(Foinstein)等科學(xué)家論證和推廣了香農(nóng)理論。1959年香農(nóng)發(fā)表了“保真度準(zhǔn)則下的離散信源編碼定理(香農(nóng)第三定理)”，系統(tǒng)地提出了信息率失真理論。1961年香農(nóng)論文“雙路通信信道”開拓了多用戶信息論研究。2/3/202347第一次課二、信號(hào)檢測(cè)與估計(jì)理論1942年維納(Wiener)建立了最少均方誤差準(zhǔn)則的維納濾波理論；1943年諾思(North)提出了最大輸出信噪比準(zhǔn)則的匹配濾波器理論。1946年科捷利尼科夫(Kotelnikov)提出了最大后驗(yàn)概率準(zhǔn)則(或稱最小錯(cuò)誤概率)的理想接收機(jī)。1950年伍德沃德(Woodword)將信息量的概念用于雷達(dá)信號(hào)檢測(cè)，提出一系列綜合最優(yōu)雷達(dá)系統(tǒng)的新概