信息論與編碼課件第一章

信息論與編碼課件第一章第一頁(yè)，共五十九頁(yè)，2022年，8月28日1開(kāi)篇寄語(yǔ)不要以為老師是什么潮人，因?yàn)樾畔⒄撌强菰锏?，因而也非常的干燥，老師怎么可能潮得起?lái)呢！中央電視臺(tái)李詠主持有一檔節(jié)目叫“非常6+1”，陳景潤(rùn)研究的哥德巴赫猜想被人稱(chēng)為“1+1”，其實(shí)信息論也可看作“2+3”。所以，這門(mén)課主要是要搞懂“2”和“3”！第二頁(yè)，共五十九頁(yè)，2022年，8月28日2FundamentalsofInformationTheory信息理論基礎(chǔ)第三頁(yè)，共五十九頁(yè)，2022年，8月28日3教師情況

教師：李紅蓮副教授博士電子信息工程系（2-513東）

E-mail:,第四頁(yè)，共五十九頁(yè)，2022年，8月28日4第五頁(yè)，共五十九頁(yè)，2022年，8月28日5授課、考試有關(guān)安排學(xué)時(shí)數(shù):

講課32學(xué)時(shí)實(shí)驗(yàn)8學(xué)時(shí)（10，14周周五9-12節(jié)?，計(jì)算中心）上課時(shí)間和地點(diǎn):

第1-4,6-16周一3、4節(jié)，1-四階第8周二1、2節(jié)，3-五階第六頁(yè)，共五十九頁(yè)，2022年，8月28日6考試時(shí)間：第17周左右考試成績(jī)計(jì)算：

作業(yè)+實(shí)驗(yàn)：30%；期末考試：開(kāi)卷70%；答疑時(shí)間：每周三第5、6節(jié)課（13:30-15:30）答疑地點(diǎn)：

2-513東第七頁(yè)，共五十九頁(yè)，2022年，8月28日7信息論基礎(chǔ)的重要性信息論是信息科學(xué)和技術(shù)的基本理論,是信息科學(xué)大廈的地基;沒(méi)有信息論的基礎(chǔ)，從事通信與信息領(lǐng)域的研究和創(chuàng)新是不可能的事情;總之,信息論是高層次信息技術(shù)人才必不可少的基礎(chǔ)知識(shí)。第八頁(yè)，共五十九頁(yè)，2022年，8月28日8

信息論基礎(chǔ)是通信和信息領(lǐng)域的專(zhuān)業(yè)基礎(chǔ)課程，只有學(xué)好這門(mén)課，才能學(xué)好后續(xù)課程、將來(lái)進(jìn)一步從事通信和信息領(lǐng)域的科研和創(chuàng)新。要珍惜這個(gè)良好的學(xué)習(xí)機(jī)會(huì)，認(rèn)真學(xué)習(xí)，逐漸培養(yǎng)科研能力，樹(shù)立完善的人格基礎(chǔ)，為將來(lái)的進(jìn)一步學(xué)習(xí)和科研奠定堅(jiān)實(shí)的基礎(chǔ)。信息論基礎(chǔ)的重要性第九頁(yè)，共五十九頁(yè)，2022年，8月28日9教學(xué)目標(biāo)充分理解、熟練掌握教材的內(nèi)容熟練掌握基本的信息理論概念和定理熟練掌握通信與信息工程中基本研究對(duì)象的數(shù)學(xué)描述通過(guò)學(xué)習(xí)和習(xí)題練習(xí)，具備一定的解決問(wèn)題分析問(wèn)題的能力掌握一定的科學(xué)思想方法(用信息論的思想和觀(guān)點(diǎn))第十頁(yè)，共五十九頁(yè)，2022年，8月28日10對(duì)學(xué)習(xí)者的要求三個(gè)重要環(huán)節(jié)課前預(yù)習(xí)課上認(rèn)真聽(tīng)講課后認(rèn)真復(fù)習(xí)消化、做作業(yè)經(jīng)常進(jìn)行階段復(fù)習(xí)掌握知識(shí)的竅訣：反復(fù)思維實(shí)踐第十一頁(yè)，共五十九頁(yè)，2022年，8月28日11其他約定不得遲到、早退、缺課，有事請(qǐng)假上課時(shí)請(qǐng)關(guān)閉手機(jī)（或調(diào)至振動(dòng)）作業(yè)不得用紙片信紙之類(lèi)，必須使用作業(yè)本遲交的作業(yè)及紙片做的作業(yè)恕不修改，只作記錄第十二頁(yè)，共五十九頁(yè)，2022年，8月28日12《信息理論基礎(chǔ)》的內(nèi)容信息論的基本問(wèn)題--信息與信道的度量無(wú)失真信源編碼定理--香農(nóng)第一定理信道編碼定理--香農(nóng)第二定理限失真信源編碼定理--香農(nóng)第三定理第十三頁(yè)，共五十九頁(yè)，2022年，8月28日13Shannon信息論的基本任務(wù)1948年shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論基礎(chǔ)基本任務(wù)是設(shè)計(jì)有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定量的消息第十四頁(yè)，共五十九頁(yè)，2022年，8月28日14

內(nèi)容安排

第一章緒論2學(xué)時(shí)第二章信源和熵8學(xué)時(shí)第三章信道及其容量6學(xué)時(shí)第四章離散信源的無(wú)失真編碼6學(xué)時(shí)第五章信道編碼4學(xué)時(shí)第六章限失真信源編碼4學(xué)時(shí)復(fù)習(xí)2學(xué)時(shí)第十五頁(yè)，共五十九頁(yè)，2022年，8月28日15第一章緒論一、信息的概念二、信息論產(chǎn)生背景三、信息論的發(fā)展簡(jiǎn)史四、信息論的應(yīng)用五、信息論研究的內(nèi)容六、參考書(shū)目第十六頁(yè)，共五十九頁(yè)，2022年，8月28日16在人類(lèi)的歷史長(zhǎng)河中，信息傳輸和傳播手段經(jīng)歷了五次變革：第一次變革：語(yǔ)言的產(chǎn)生第二次變革：文字的產(chǎn)生第三次變革：印刷術(shù)的發(fā)明第四次變革：電報(bào)、電話(huà)的發(fā)明第五次變革：計(jì)算機(jī)技術(shù)與通信技術(shù)相結(jié)合，促進(jìn)了網(wǎng)絡(luò)的發(fā)展。歷史回顧:信息傳輸方式的變遷第十七頁(yè)，共五十九頁(yè)，2022年，8月28日17歷史回顧:信息傳輸方式的變遷我國(guó)上古時(shí)期的“結(jié)繩記事”法，史書(shū)上有很多記載。漢朝鄭玄的《周易注》中記載：“古者無(wú)文字，結(jié)繩為約，事大，大結(jié)其繩，事小，小結(jié)其繩?！?/p>

第十八頁(yè)，共五十九頁(yè)，2022年，8月28日18

后來(lái)，文字的出現(xiàn)解決了這一問(wèn)題。自從造紙術(shù)和印刷術(shù)的發(fā)明，使文字成為信息記錄、儲(chǔ)存和傳遞的有效手段。歷史回顧:信息傳輸方式的變遷第十九頁(yè)，共五十九頁(yè)，2022年，8月28日19

特別是電報(bào)、電話(huà)和電視的發(fā)明，使信息傳送快速、便利，再次體現(xiàn)了信息加工和傳輸?shù)淖兏铩v史回顧:信息傳輸方式的變遷第二十頁(yè)，共五十九頁(yè)，2022年，8月28日20

電子計(jì)算機(jī)的迅速發(fā)展和廣泛應(yīng)用，尤其是個(gè)人微型計(jì)算機(jī)的普及，大大提高了人們處理加工信息、存儲(chǔ)信息及控制管理信息的能力。歷史回顧:信息傳輸方式的變遷第二十一頁(yè)，共五十九頁(yè)，2022年，8月28日21近年來(lái)，以計(jì)算機(jī)為主體的互聯(lián)網(wǎng)技術(shù)的興起和發(fā)展，以空前的威力推動(dòng)著人類(lèi)經(jīng)濟(jì)和社會(huì)高速發(fā)展，將人類(lèi)社會(huì)推入到高度化的信息時(shí)代。歷史回顧:信息傳輸方式的變遷第二十二頁(yè)，共五十九頁(yè)，2022年，8月28日22信息是信息論中最基本、最重要的概念，是一個(gè)既復(fù)雜又抽象的概念。信息概念十分廣泛，由于信息科學(xué)比起其他學(xué)科（如物理學(xué)、化學(xué)、數(shù)學(xué)）還很年輕，人類(lèi)對(duì)信息的認(rèn)識(shí)還很不夠。迄今為止，信息并沒(méi)有形成一個(gè)很完整的、系統(tǒng)的概念。不同的研究學(xué)派對(duì)信息的本質(zhì)及其定義還沒(méi)有形成統(tǒng)一的意見(jiàn)和認(rèn)識(shí)。

一、信息的概念第二十三頁(yè)，共五十九頁(yè)，2022年，8月28日23通俗的信息概念信息是一種消息。這是一種最普遍的概念，是目前社會(huì)上最流行的概念，這個(gè)概念好像使人一聽(tīng)就明白，但不準(zhǔn)確。確切地說(shuō)，這種概念把消息認(rèn)為是信息。信息消息，同一條消息有不同信息量。例如:某人收到一條消息包含許多原來(lái)不知道的新內(nèi)容信息量大包含許多原來(lái)已知道的舊內(nèi)容信息量小第二十四頁(yè)，共五十九頁(yè)，2022年，8月28日24廣義的信息概念物質(zhì)、能量和信息是構(gòu)成客觀(guān)世界三大要素，信息是物質(zhì)和能量在空間和時(shí)間中分布的不均勻程度。信息不是物質(zhì)，信息是事物的表征，是對(duì)物質(zhì)存在狀態(tài)和運(yùn)動(dòng)形式的一般描述。信息存在于任何事物之中，有物質(zhì)的地方就有信息，信息充滿(mǎn)物質(zhì)世界。信息本身看不見(jiàn)、摸不著，它必須依附于一定的物質(zhì)形式（如文字、聲波、電磁波等）。這種運(yùn)載信息的物質(zhì)稱(chēng)為信息的載體，一切物質(zhì)都有可能成為信息的載體。第二十五頁(yè)，共五十九頁(yè)，2022年，8月28日25概率信息的概念概率信息是由美國(guó)數(shù)學(xué)家香農(nóng)提出來(lái)的，故稱(chēng)香農(nóng)信息或狹義信息。是從不確定性

(Uncertainty)和概率測(cè)度出發(fā)定義信息的。香農(nóng)從信源具有隨機(jī)不確定度出發(fā)，為信源推出一個(gè)與統(tǒng)計(jì)力學(xué)的熵相似的函數(shù)，稱(chēng)為信息熵。信息熵是信源的信息選擇不確定度的測(cè)量，但它不等同于不確定度，而是為了消除一定的不確定度，必須獲得的、與此不確定度相等的信息量。

第二十六頁(yè)，共五十九頁(yè)，2022年，8月28日26信息的特征信息雖無(wú)確切定義，但是卻具有兩個(gè)明顯的特征：廣泛性與抽象性。廣泛性客觀(guān)世界充滿(mǎn)著信息人類(lèi)離不開(kāi)信息知識(shí)、書(shū)本是有用信息的積累抽象性

信息是組成客觀(guān)世界并促進(jìn)社會(huì)發(fā)展的最基本的三大要素之一。三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實(shí)體。能量是物質(zhì)運(yùn)動(dòng)的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀(guān)世界的主要?jiǎng)恿Α５诙唔?yè)，共五十九頁(yè)，2022年，8月28日27信息的重要性質(zhì)存在的普遍性；有序性；相對(duì)性；可度量性；可擴(kuò)充性；可存儲(chǔ)、傳輸與攜帶性；可壓縮性；可替代性；可擴(kuò)散性；可共享性；時(shí)效性。信息在信息化程度越來(lái)越高的社會(huì)中將起到越來(lái)越重要的作用，是比物質(zhì)和能量更為寶貴的財(cái)富。第二十八頁(yè)，共五十九頁(yè)，2022年，8月28日28信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒(méi)有信息就不能更好地利用物質(zhì)和能量，人類(lèi)利用信息和知識(shí)改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀(guān)存在的，它是人類(lèi)認(rèn)識(shí)、改造客觀(guān)世界的主要?jiǎng)恿?，是人?lèi)認(rèn)識(shí)客觀(guān)世界的更高層次。就狹義而言，在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。信息的重要性質(zhì)第二十九頁(yè)，共五十九頁(yè)，2022年，8月28日29信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。消息：(或稱(chēng)為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類(lèi)型：離散(數(shù)字)消息，是一組未知量，可用隨機(jī)序列來(lái)描述：U=(U1…Ul

…UL)連續(xù)(模擬)消息，也是未知量，它可用隨機(jī)過(guò)程來(lái)描述：U(t,ω)信息、消息、信號(hào)第三十頁(yè)，共五十九頁(yè)，2022年，8月28日30信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。理解：信息可以認(rèn)為是具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。而信號(hào)則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號(hào)形式(比如文字、語(yǔ)言、圖象等)來(lái)載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來(lái)定量描述。同樣，同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無(wú)與有、斷與通、低與高(電平)等等。

信息、消息、信號(hào)第三十一頁(yè)，共五十九頁(yè)，2022年，8月28日31信號(hào)信息、消息、信號(hào)消息信息信息蘊(yùn)含在消息中消息蘊(yùn)含在信號(hào)中信號(hào)中裝著消息消息中裝著信息第三十二頁(yè)，共五十九頁(yè)，2022年，8月28日什么是信息論它是四十年代末期，以客觀(guān)概率信息為研究對(duì)象，從通信的信息傳輸問(wèn)題中總結(jié)和開(kāi)拓出來(lái)的理論。主要研究的問(wèn)題：信源的描述，信息的定量度量、分析與計(jì)算信道的描述，信道傳輸?shù)亩慷攘?、分析與計(jì)算。信源、信道與通信系統(tǒng)之間的統(tǒng)計(jì)匹配，以及通信系統(tǒng)的優(yōu)化—Shannon的三個(gè)編碼定理。信息論誕生五十多年來(lái)，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新通信體制的源泉。第三十三頁(yè)，共五十九頁(yè)，2022年，8月28日331.信息的如何度量？2.需要解決的問(wèn)題：通信系統(tǒng)中信息傳輸?shù)男?。信息傳輸?shù)臏?zhǔn)確性問(wèn)題。噪聲干擾。頻率特性。本質(zhì)為：信息傳輸?shù)目煽啃耘c有效性問(wèn)題。二.信息論產(chǎn)生背景第三十四頁(yè)，共五十九頁(yè)，2022年，8月28日34信道信源信宿通信系統(tǒng)模型第三十五頁(yè)，共五十九頁(yè)，2022年，8月28日信源信道信宿編碼器譯碼器消息信號(hào)噪聲源干擾恢復(fù)的消息信號(hào)+干擾通信系統(tǒng)模型第三十六頁(yè)，共五十九頁(yè)，2022年，8月28日

信源：產(chǎn)生消息的源。消息可以是文字、語(yǔ)言、圖像等。

編碼器：將信源發(fā)出的消息變換成適于信道傳送的信號(hào)的設(shè)備。包含信源編碼器、糾錯(cuò)編碼器、調(diào)制器。

信道：把載荷消息的信號(hào)從發(fā)射端傳到接收端的媒質(zhì)或通道。狹義的實(shí)際信道有電纜、波導(dǎo)、光纖、無(wú)線(xiàn)電波傳播空間。通信系統(tǒng)模型第三十七頁(yè)，共五十九頁(yè)，2022年，8月28日37

干擾源：系統(tǒng)其他各部分產(chǎn)生的噪聲和干擾都等效成信道干擾，集中作用于信道。

譯碼器：編碼的逆變換。它的作用是從受干擾的信號(hào)中最大限度地提取出有關(guān)信源傳出消息的信息。

信宿：信息傳送過(guò)程中的接收者，即接收消息的人或物。通信系統(tǒng)模型第三十八頁(yè)，共五十九頁(yè)，2022年，8月28日38三.信息論發(fā)展簡(jiǎn)史電磁理論和電子學(xué)理論對(duì)通信理論技術(shù)發(fā)展起重要的促進(jìn)作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應(yīng)莫爾斯1832－1835建立電報(bào)系統(tǒng)。1876年Bell發(fā)明電話(huà)1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論1895年馬可尼發(fā)明了無(wú)線(xiàn)電通信微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時(shí)代第三十九頁(yè)，共五十九頁(yè)，2022年，8月28日39信息論發(fā)展簡(jiǎn)史1832年莫爾斯電碼對(duì)shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對(duì)調(diào)幅信號(hào)的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號(hào)傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對(duì)數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)第四十頁(yè)，共五十九頁(yè)，2022年，8月28日40信息論發(fā)展簡(jiǎn)史1948年shannon信息論奠基1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡(jiǎn)潔證明并描述了碼率，碼長(zhǎng)和錯(cuò)誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法第四十一頁(yè)，共五十九頁(yè)，2022年，8月28日41信息論發(fā)展簡(jiǎn)史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開(kāi)拓了網(wǎng)絡(luò)信息論的研究，目前是非?；钴S的研究領(lǐng)域。第四十二頁(yè)，共五十九頁(yè)，2022年，8月28日42語(yǔ)音信號(hào)壓縮（G.711,GSM,Vocoder）圖象信號(hào)的壓縮（JPEG,MPEG）計(jì)算機(jī)文件壓縮（compress,gzip）模擬話(huà)路中數(shù)據(jù)傳輸速率的提高降低信息傳輸所需的功率四、信息論的應(yīng)用第四十三頁(yè)，共五十九頁(yè)，2022年，8月28日43計(jì)算機(jī)網(wǎng)中數(shù)據(jù)傳輸可靠性的保證計(jì)算機(jī)中的容錯(cuò)問(wèn)題圖像信號(hào)的復(fù)原與重建模式分類(lèi)問(wèn)題與樹(shù)分類(lèi)器的設(shè)計(jì)其他（信息經(jīng)濟(jì)學(xué)、醫(yī)學(xué)、生物學(xué)、管理科學(xué)等）四、信息論的應(yīng)用第四十四頁(yè)，共五十九頁(yè)，2022年，8月28日44五.信息論的研究?jī)?nèi)容狹義信息論（經(jīng)典信息論）研究信息測(cè)度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問(wèn)題，除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)第四十五頁(yè)，共五十九頁(yè)，2022年，8月28日45狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無(wú)失真編碼等長(zhǎng)編碼定理Shannon1948McMillan1953變長(zhǎng)編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼第四十六頁(yè)，共五十九頁(yè)，2022年，8月28日46

信息——用來(lái)消除接收者某種認(rèn)識(shí)上不確定性的東西。信息論——研究信息的本質(zhì)、描述和度量方法以及傳輸和處理的基本原理的理論。信息科學(xué)——信息科學(xué)是研究信息規(guī)律和指導(dǎo)信息技術(shù)開(kāi)發(fā)及應(yīng)用的學(xué)問(wèn)。信息技術(shù)——運(yùn)用信息科學(xué)為經(jīng)濟(jì)和社會(huì)發(fā)展而共同協(xié)作組成的各種工具和規(guī)則體系。信息、材料、能源是現(xiàn)代科學(xué)的三大支柱。有關(guān)概念第四十七頁(yè)，共五十九頁(yè)，2022年，8月28日47

信息論的主要貢獻(xiàn)是：

（1）把統(tǒng)計(jì)信息定義為“用來(lái)消除信息接收者某種認(rèn)識(shí)上的不確定性的東西”，并給出了其度量公式--熵和互信息；（2）建立了一些重要的性能界：信源輸出的最大可能的信息量，滿(mǎn)足一定失真度的要求所必須傳遞的最小信息量，信道上的最大可能通過(guò)能力等；

（3）建立了一組重要的編碼定理，從理論上指明了為達(dá)到上述性能界限應(yīng)當(dāng)遵循的信息處理的方法和原則。這就不僅從定性方面而且也從定量方面深刻地揭示了信息傳遞和處理的規(guī)律，使通信的研究從經(jīng)驗(yàn)的階段轉(zhuǎn)變?yōu)榭茖W(xué)。第四十八頁(yè)，共五十九頁(yè)，2022年，8月28日48六.參考書(shū)目焦瑞莉，李紅蓮，冷俊敏，信息論基礎(chǔ)教程。機(jī)械工業(yè)出版社，2008年。周蔭清，信息理論基礎(chǔ)。北京航空航天大學(xué)出版社，2006年。曲煒等,信息論基礎(chǔ)及應(yīng)用。清華大學(xué)出版社，2005年。曹雪虹等，信息論與編碼，清華大學(xué)出版社，2004年。仇佩亮，信息論與編碼。高等教育出版社，2003年。朱雪龍，應(yīng)用信息論基礎(chǔ)。清華大學(xué)出版社，2004年。第四十九頁(yè)，共五十九頁(yè)，2022年，8月28日49ROBERTJ.MCELIECE，信息論與編碼理論。電子工業(yè)出版社，2003年。吳偉陵，信息處理與編碼。人民郵電出版社，2003年。陳運(yùn)等，信息論與編碼。電子工業(yè)出版社，2003年。呂鋒、王虹等，信息理論與編碼。人民郵電出版社，2004年。RANJANBOSE，信息論、編碼與密碼學(xué)。機(jī)械工業(yè)出版社，2003年。第五十頁(yè)，共五十九頁(yè)，2022年，8月28日50附.Shannon及其影響和貢獻(xiàn)

1.ShannonClaudeElwood1916年4月30日出生于美國(guó)密執(zhí)安州的加洛德。早年獲得了密執(zhí)安州大學(xué)的數(shù)學(xué)和電子工程學(xué)的學(xué)士學(xué)位。1940年獲得麻省理工學(xué)院博士學(xué)位。1941年至1972年間，在貝爾實(shí)驗(yàn)室工作。從1958年在麻省理工學(xué)院任教，至1978年退休。2001年2月24日在馬薩諸塞州的Medford因老年癡呆癥與世長(zhǎng)辭，享年84歲。第五十一頁(yè)，共五十九頁(yè)，2022年，8月28日512.貢獻(xiàn)奠定了大型數(shù)字計(jì)算機(jī)構(gòu)建的理論基礎(chǔ)。

1938年：《繼電器和開(kāi)關(guān)電路的符號(hào)分析》

首次用布爾代數(shù)進(jìn)行開(kāi)關(guān)電路分析，證明了布爾代數(shù)的邏輯運(yùn)算，可以通過(guò)繼電器電路來(lái)實(shí)現(xiàn)，給出了實(shí)現(xiàn)加，減，乘，除等運(yùn)算的電子電路的設(shè)計(jì)方法。這篇論文成為開(kāi)關(guān)電路理論的開(kāi)端。開(kāi)創(chuàng)了信息論。

1948年：《ThemathematicalTheoryofCommunication》1949年：《CommunicationinPresenceofNoise》第五十二頁(yè)，共五十九頁(yè)，2022年，8月28日52香農(nóng)的貢獻(xiàn)1948年發(fā)表“保密通信的信息理論”，首先用信息論的