香濃信息論完成版解析課件

香農(nóng)信息論的產(chǎn)生

1948年香農(nóng)《通信的數(shù)學(xué)理論》與《在噪聲中的通信》奠定了狹義信息論的基礎(chǔ)。這一理論認(rèn)為通訊就是信息傳輸、是將消息由發(fā)信者送給收信者的過程，因而給出了一般通信系統(tǒng)的模型。他還利用統(tǒng)計數(shù)字的方法，正確處理信息的形式和內(nèi)容的辯證關(guān)系，解決了信息量問題，給出了信息量的數(shù)學(xué)公式。香農(nóng)信息論的產(chǎn)生1948年香農(nóng)《通信的數(shù)學(xué)理論》與《在1香農(nóng)其人20世紀(jì)中葉，信息論、控制論、系統(tǒng)論等標(biāo)新立異的新理論相繼問世，有力地“晃動”著傳統(tǒng)的科學(xué)框架?？藙诘隆は戕r(nóng)是一位美國數(shù)學(xué)工程師，作為信息論的創(chuàng)始人，人們認(rèn)為他是20世紀(jì)最偉大的科學(xué)家之一。他在通信技術(shù)與工程方面的創(chuàng)造性工作，為計算機(jī)與遠(yuǎn)程通信奠定了堅實的理論基礎(chǔ)。人們尊崇香農(nóng)為信息論及數(shù)字通信時代的奠基之父。信息概念、“比特”香農(nóng)其人20世紀(jì)中葉，信息論、控制論、系統(tǒng)論等標(biāo)新立異的新理2克勞德·香農(nóng)(ClaudeElwoodShannon，1916-2001)1916年4月30日誕生于美國密西根州。父親是該鎮(zhèn)的法官，母親是鎮(zhèn)里的中學(xué)校長，香農(nóng)的祖父是一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機(jī)和許多農(nóng)業(yè)機(jī)械；此外，香農(nóng)的家庭與大發(fā)明家愛迪生還有遠(yuǎn)親關(guān)系。香農(nóng)其人—家庭背景

克勞德·香農(nóng)香農(nóng)其人—家庭背景32001年2月24日，香農(nóng)在馬薩諸塞州Medford辭世，享年85歲。貝爾實驗室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時代的奠基之父。香農(nóng)其人2001年2月24日，香農(nóng)在馬薩諸塞州Medford辭世，享41948年發(fā)表論文：《AMathematicalTheoryofCommunication》

“通信的根本問題是報文的再生，在某一點與另外選擇的一點上報文應(yīng)該精確地或者近似地重現(xiàn)”這篇論文建立了信息論這一學(xué)科，給出了通信系統(tǒng)的線性示意模型的新思想在這篇論文中，香農(nóng)首次引入“比特”(bit)一詞香農(nóng)其人—信息理論

1948年發(fā)表論文：香農(nóng)其人—信息理論5通信的數(shù)學(xué)理論是香農(nóng)在數(shù)學(xué)與工程研究上的頂峰。他把通信理論的解釋公式化，對最有效地傳輸信息的問題進(jìn)行了研究。后來，寫道：“信息理論可能像一個升空的氣球，其重要性超過了它的實際成就”香農(nóng)其人—信息理論通信的數(shù)學(xué)理論是香農(nóng)在數(shù)學(xué)與工程研究上的頂峰。他把通信理論的6香農(nóng)理論的重要特征是熵(entropy)的概念，他證明熵與信息內(nèi)容的不確定程度有等價關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念，可以把它理解為分子運動的混亂度。信息熵也有類似意義。香農(nóng)其人—信息理論熱能不能完全轉(zhuǎn)化為機(jī)械能，只能從高溫物體傳到低溫物體

香農(nóng)理論的重要特征是熵(entropy)的概念，他證明熵與信7

香農(nóng)公式

香農(nóng)在信息論中指出，如果信源的信息速率R小于或者等于信道容量C，那么，在理論上存在一種方法可使信源的輸出能夠以任意小的差錯概率通過信道傳輸。

該定理還指出：如果信息速率R>信道容量C，則不可能傳遞信息.s香農(nóng)提出并嚴(yán)格證明了“在被高斯白噪聲干擾的信道中，計算最大信息傳送速率C公式”：

C=Blog2(1+S/N)

式中：B是信道帶寬（赫茲），S是信號功率（瓦），N是噪聲功率（瓦）。

該式即為著名的香農(nóng)公式，顯然，信道容量與信道帶寬成正比，同時還取決于系統(tǒng)信噪比以及編碼技術(shù)種類。香農(nóng)公式香農(nóng)在信息論中指出，如果信源的信8為對香農(nóng)公式有確切的理解，我們準(zhǔn)備用工程觀點在數(shù)字信道上來闡明這個公式的正確性。在有擾信道中，傳輸每個符號需要一定幅值的脈沖。如果要傳送M個符號，可用M種不同幅度值的脈沖代表。為了提高傳送的脈沖的信息量，希望M增加。在傳輸?shù)男盘柟β适芟薜那闆r下，脈沖幅度取值的數(shù)目越多，則各種脈沖取值之間的量化分層間隔越小。當(dāng)脈沖取值間隔小到一定程度時，由于信道中噪聲的干擾，使接收端難以分辨出所發(fā)送的是哪一個幅度的脈沖，這將沒法獲取信息量。若信號功率為S(W)，信道中白色高斯噪聲的功率為N(W)，則它的均方根電壓值為N1/2。為了使信號幅度分層數(shù)（或稱量化取值數(shù)）最多而又能使接收端可分辨，則各取值之間的最小間隔應(yīng)大于等于N1/2。為對香農(nóng)公式有確切的理解，我們準(zhǔn)備用工程觀點在數(shù)字信道上來闡9而香農(nóng)最初的動機(jī)是把電話中的噪音除掉，他給出通信速率的上限，這個結(jié)論首先用在電話上，后來用到光纖，現(xiàn)在又用在無線通信上。我們今天能夠清晰地打越洋電話或衛(wèi)星電話，都與通信信道質(zhì)量的改善密切相關(guān)。

而香農(nóng)最初的動機(jī)是把電話中的噪音除掉，他給出通信速率的上限，10香農(nóng)的三個觀點：1）形式化假說

通信的基本問題是在消息的接收端精確或近似地復(fù)制發(fā)送端發(fā)出的消息。通信中消息的意義和效果與通信工程沒有關(guān)系。信息的兩種定義香農(nóng)的三個觀點：信息的兩種定義112）非決定論

一個實際的消息總是從可能發(fā)生的消息集合中選擇出來的；因此，系統(tǒng)必須對每種選擇都能工作。信息的兩種定義2）非決定論信息的兩種定義123）不確定性

人們只有在兩種情況下采用通信的需要：一是自己有某種形式的消息要告知對方，而估計對方“不知道”這個消息；二是自己有某種“疑問”要詢問對方，而估計對方能做出一定的解釋。信息的兩種定義3）不確定性信息的兩種定義13香農(nóng)的信息定義：信息是用來消除

不確定性的東西。信息的兩種定義信息的兩種定義14信息理論

信息論－統(tǒng)計信息理論四十年代末期C.E.Shannon，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結(jié)和開拓出來的理論。發(fā)展的觀點－－信息科學(xué)所不可缺少的理論基石什么是信息理論？信息理論

信息論－統(tǒng)計信息理論什么是信息理論？15信息論研究的對象、目的和內(nèi)容信息論對象—信息傳輸系統(tǒng)統(tǒng)一的通信系統(tǒng)模型信息論研究的對象、目的和內(nèi)容信息論對象—信息傳輸系統(tǒng)統(tǒng)一的通16信息論研究的對象、目的和內(nèi)容一、研究對象前面介紹的統(tǒng)一的通信系統(tǒng)模型。人們通過系統(tǒng)中消息的傳輸和處理來研究信息傳輸和處理的共同規(guī)律。二、研究目的找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃?、有效性、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化。由以上四個指標(biāo)所討論的系統(tǒng)優(yōu)化就構(gòu)成了最著名的C.E.Shannon三個編碼定理與一個密碼學(xué)基本定理。信息論研究的對象、目的和內(nèi)容一、研究對象由以上四個指標(biāo)所討17可靠性使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)于接收端。有效性經(jīng)濟(jì)性好，即用盡可能短的時間和盡可能少的設(shè)備來傳送—定數(shù)量的信息。保密性隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。認(rèn)證性接收者能正確判斷所接收的消息的正確性，驗證消息的完整性，而不是偽造的和被竄改的。有效性、可靠性、保密性和認(rèn)證性四者構(gòu)成現(xiàn)代通信系統(tǒng)對信息傳輸?shù)娜嬉?。信息論研究的對象、目的和?nèi)容可靠性使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不18對信息論的研究內(nèi)容一般有以下三種理解。狹義信息論（經(jīng)典信息論）：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱為香農(nóng)信息論。一般信息論（通信理論）：主要是研究信息傳輸和處理問題，除了香農(nóng)理論外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計理論、調(diào)制理論以及信息處理理論等。廣義信息論：廣義信息論不僅包括上述兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如模式識別、計算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等等。研究內(nèi)容研究內(nèi)容19信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計和近代代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的