信息論與編碼論文

1、電子測量論文論文題目:學(xué) 院:論文題目:學(xué) 院:年 級:專 業(yè):論最大熵原理及其應(yīng)用 電子工程學(xué)院2011 級電子信息工程姓 名:任課教師:2014年6月17日目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 目錄 2 HYPERLINK l bookmark4 o Current Document 摘要 3 HYPERLINK l bookmark6 o Current Document 引言 4 HYPERLINK l bookmark8 o Current Document 第一章 信息熵的概念 5 HYPERLINK l

2、 bookmark10 o Current Document 第二章 最大熵原理 6 HYPERLINK l bookmark12 o Current Document 第三章 最大熵原理的合理性 7 HYPERLINK l bookmark14 o Current Document 第四章 最大熵原理在實際中的應(yīng)用 8 HYPERLINK l bookmark16 o Current Document 最大熵原理在水文水資源科學(xué)中的應(yīng)用 9 HYPERLINK l bookmark18 o Current Document 最大熵原理在投資項目風(fēng)險分析中的應(yīng)用 10 HYPERLINK l

3、bookmark20 o Current Document 最大熵原理在地震重現(xiàn)關(guān)系上的應(yīng)用 11 HYPERLINK l bookmark22 o Current Document 最大熵原理在災(zāi)害損失分析中的應(yīng)用 11 HYPERLINK l bookmark24 o Current Document 結(jié)論 12 HYPERLINK l bookmark26 o Current Document 參考文獻(xiàn)： 12摘要熵是源于物理學(xué)的基本概念，后來Shannon在信息論中引入了信息熵的 概念，它在統(tǒng)計物理中的成功使人們對熵的理論和應(yīng)用有了廣泛和高度的重 視。最大熵原理是一種在實際問題中已得到

4、廣泛應(yīng)用的信息論方法。本文從 信息熵的概念出發(fā)，對最大熵原理做了簡要介紹，并論述了最大熵原理的合 理性，最后提及它在一些領(lǐng)域的應(yīng)用，通過在具體例子當(dāng)中應(yīng)用最大熵原理， 展示該原理的適用場合，以期對最大熵原理及其應(yīng)用有更深刻的理解。關(guān)鍵詞：熵；信息熵；最大熵原理；不適定性問題引言科學(xué)技術(shù)的發(fā)展使人類跨入了高度發(fā)展的信息化時代。在政治、軍事、經(jīng) 濟等各個領(lǐng)域，信息的重要性不言而喻，有關(guān)信息理論的研究正越來越受到重 視，信息論方法也逐漸被廣泛應(yīng)用于各個領(lǐng)域。信息論一般指的是香農(nóng)信息論，主要研究在信息可以度量的前提下如何有 效地、可靠地、安全地傳遞信息，涉及消息的信息量、消息的傳輸以及編碼問 題。19

5、48 年 C.E.Shannon 為解決通信工程中不確定信息的編碼和傳輸問題創(chuàng)立 信息論，提出信息的統(tǒng)計定義和信息熵、互信息概念，解決了信息的不確定性 度量問題，并在此基礎(chǔ)上對信息論的一系列理論和方法進(jìn)行了嚴(yán)格的推導(dǎo)和證 明，使以信息論為基礎(chǔ)的通信工程獲得了巨大的發(fā)展。信息論從它誕生的那時 起就吸引了眾多領(lǐng)域?qū)W者的注意，他們競相應(yīng)用信息論的概念和方法去理解和 解決本領(lǐng)域中的問題。近年來，以不確定性信息為研究對象的信息論理論和方 法在眾多領(lǐng)域得到了廣泛應(yīng)用，并取得了許多重要的研究成果。迄今為止，較 為成熟的研究成果有:A.N.Kolmogorov在1956年提出的關(guān)于信息量度定義的三 種方法概率

6、法，組合法，計算法； A.N.Kolmogorov 在 1968 年闡明并為 J.Chaitin 在 1987 年系統(tǒng)發(fā)展了的關(guān)于算法信息的理論。這些成果大大豐富了 信息理論的概念、方法和應(yīng)用范圍。在信息論中，最大熵的含義是最大的不確定性，它解決的一大類問題是在 先驗知識不充分的條件下進(jìn)行決策或推斷等。熵方法在譜估計、圖象濾波、圖 象重建、天文信號處理、專家系統(tǒng)等中都有廣泛的應(yīng)用。最大熵原理在實際問 題中的應(yīng)用近年來一直在不斷地發(fā)展。第一章 信息熵的概念信息熵是將熵概念成功地擴展到信息科學(xué)領(lǐng)域。熵是描述客觀事物無序性 的參數(shù)，它最早是由 R.Clausius 于 1865 年引入熱力學(xué)中的一個

7、物理概念，通 常稱之為熱力學(xué)熵。后來 L.Boltzmann 賦予熵統(tǒng)計意義上的解釋，稱之為統(tǒng)計 熱力學(xué)熵。1929 年，匈牙利科學(xué)家 Lszilard 首先提出了熵與信息不確定性的關(guān) 系，使信息科學(xué)引用熵的概念成為可能。1948年，貝爾實驗室的C. Shannon創(chuàng) 立了信息論，熵的概念有了新的解釋，香農(nóng)認(rèn)為信息是人們對事物了解的不確 定性的消除或減少 ，他把通訊過程中信源訊號的平均信息量稱為信息熵，現(xiàn)在 一般稱之為香農(nóng)熵，實現(xiàn)了信息熵的實際應(yīng)用，從此對信息熵的研究，隨著信 息科學(xué)的發(fā)展而得到不斷的發(fā)展。香農(nóng)將隨機變量X的信息熵定義為：H (X)=蘭 p log pnn n=1式中，p為X

8、= x的概率分布，n=1,2,，N；當(dāng)對數(shù)底數(shù)取2時，信息熵 nn的單位為bit/sign；取自然對數(shù)時，單位為nat/sign；取常用對數(shù)時，單位為 hart/sign。它代表了信源輸出后每個消息所提供的平均信息量，或信源輸出前 的平均不確定度。信息熵的定義使隨機變量的不確定性得到了量度，使信息論 得到了空前的發(fā)展。而且，信息熵具有的凸函數(shù)性質(zhì)使得它特別適合作為優(yōu)化問題中的目標(biāo)函 數(shù)，這同時也為信息論概念和方法在除通信領(lǐng)域以外的其他領(lǐng)域內(nèi)的應(yīng)用提供 了理論基礎(chǔ)，拓寬了信息論的應(yīng)用范圍。第二章 最大熵原理香農(nóng)提出的信息熵的概念很好地解決了隨機事件的不確定性程度的度量問 題，但沒有解決隨機事件的

9、概率是如何進(jìn)行分配的問題。設(shè)想有一個可觀測的 概率過程，其中的隨機變量X取離散值X，x，x，如果從觀測的結(jié)果知道1 2 n了這個隨機變量的均值、方差等特征值，怎樣才能確定它取各離散值的概率P，1P2， P 呢？在項目決策實際中，有些隨機事件不能直接計算其概率，也無法 P2知道其頻率，通常只能取得與該隨機事件（或隨機變量）有關(guān)的一個或幾個平均 值，從理論上講，對于給定的隨機變量，如何獲取最為合適的一個分布呢？1957年，E.T.Jaynes在“信息論與統(tǒng)計力學(xué)”一文中，提出一個選擇準(zhǔn)則:“當(dāng)根據(jù)部分信息進(jìn)行推理時，必須選擇這樣一組概率分配，它應(yīng)具有最大的 熵，并服從一切已知的信息。換言之，在只掌

10、握部分信息的情況下要對分布做 出推斷時，符合已知信息的概率分布可能不止一個，而我們應(yīng)該選取符合約束 條件但熵值取最大的概率分布，這是我們可以做出的唯一的不偏不倚的選擇， 任何其他的選擇都意味著我們添加了其他的約束或假設(shè)，這些約束或假設(shè)根據(jù)我們所掌握的信息是無法做出的。E.T.Jaynes建立的這一統(tǒng)計推理準(zhǔn)則，被稱為最大熵原理，或者極大熵準(zhǔn)則。它為我們?nèi)绾螐臐M足約束條件的諸多相容分 布中，挑選“最佳”、“最合理”的分布提供了一個選擇標(biāo)準(zhǔn)。盡管這個準(zhǔn)則在 性質(zhì)上也有主觀的一面，但卻是一個最“客觀”的主觀準(zhǔn)則。因為，我們知道， 熵定義的實際上是一個隨機變量的不確定性，熵最大的時候，說明隨機變量最

11、不確定，換句話說，也就是隨機變量最隨機，對其行為做準(zhǔn)確預(yù)測最困難。熵 值最大意味著添加的約束和假設(shè)最少，這時求出的分布是最自然、偏差最小的。第三章 最大熵原理的合理性最大熵方法對于構(gòu)造概率密度函數(shù)來說，是一種有價值的方法。按照極大 熵準(zhǔn)則，人們應(yīng)該挑選在一定約束下（常常是某些與隨機變量有關(guān)的平均值）使 得熵（或條件熵）能極大化的那種分布作為選定的分布。使用這個準(zhǔn)則，先驗信 息（已知數(shù)據(jù)）將構(gòu)成求極值的問題的約束條件。由最大熵準(zhǔn)則得到的概率分布 稱為最大熵分布。應(yīng)用最大熵準(zhǔn)則構(gòu)造先驗概率分布有如下優(yōu)點：首先，最大熵的解是最超 然的，即在數(shù)據(jù)不充分的情況下求解，解必須和己知的數(shù)據(jù)相吻合，而又必須

12、對未知的部分做出最少的假定；其次，根據(jù)熵集中原理，絕大部分可能狀態(tài)都 集中在最大熵狀態(tài)附近，因此，用最大熵法所做出的預(yù)測是相當(dāng)準(zhǔn)確的；第三 用最大熵法求得的解滿足一致性要求不確定性的測度（熵）與試驗步驟無關(guān)。 最大熵方法的這一寶貴性質(zhì)來源于推導(dǎo)熵函數(shù)的合成法則。用最大熵準(zhǔn)則設(shè)立先驗分布的理論根據(jù)由 S.A. Smith 從數(shù)學(xué)上進(jìn)行了證 明，其思路是把隨機性決策問題作為對策問題看待，即自然界選擇一狀態(tài)的分 布使期望損失極大，而決策人選擇一決策使此期望損失為極小，推導(dǎo)出在損失 函數(shù)的集為適合特定條件的理想集的情況，這個極小化極大解的確能導(dǎo)致一概 率分布適合最大熵準(zhǔn)則。第四章 最大熵原理在實際中的

13、應(yīng)用在數(shù)學(xué)、物理、工程技術(shù)及其它領(lǐng)域中，常常要根據(jù)測量的數(shù)據(jù)，所給的 條件或所作的假設(shè)求解。對于求解，通常關(guān)心三個問題：存在性、唯一性和穩(wěn) 定性。如果這三個要求中至少有一個不滿足，則認(rèn)為是“不適定性問題”，對于 此類問題，最大熵原理是有效方法之一。譬如，地球物理學(xué)中利用地震勘探法 確定地層構(gòu)造，射電天文學(xué)中利用無線電干涉儀獲取星空圖像，計算機層析術(shù) 中利用掃描投影數(shù)據(jù)構(gòu)造斷層圖像，語音識別和語音編碼中根據(jù)語音信號估計 聲道參數(shù)，圖像處理中對散焦或目標(biāo)位移造成的蛻化圖像進(jìn)行復(fù)原，雷達(dá)及聲 納中根據(jù)接收信號進(jìn)行功率譜估計，數(shù)字通信中對信道畸變帶來的符號間串?dāng)_ 進(jìn)行盲目均衡等不適定性問題的解決通常采

14、用基于最大熵原理的最大熵估計 法?！安贿m定問題”是求解時由于數(shù)據(jù)不完全或有噪聲，或兩者兼有，使掌握 的數(shù)據(jù)不足以推求該問題的確定解，其中包括所測得的數(shù)據(jù)求解時所給定的條 件或假設(shè)。在“不適定問題”的所有的可行（可能）解中，應(yīng)選其中熵值最大的 一個解。因為熵最大意味著對由于數(shù)據(jù)不足而作的人為假定 （人為添加信息）最 小，從而所獲得的解是最合乎自然、最為超然、偏差最小的。統(tǒng)計物理中一些 有名的分布已被證明都是在若干類似上述的約束條件下使熵或微分熵最大的分 布。例如，統(tǒng)計力學(xué)中氣體分子速度的分布是能量受約束下的最大熵分布，大 氣層空氣密度隨高度的分布是在平均勢能受約束下的最大熵分布等。從熵作為 不確

15、定程度的度量來看，此時的解包含的主觀成分最少，因而是最客觀的。自 1957 年 Jaynes 提出這一原理以來，這一原理先后在統(tǒng)計力學(xué)、統(tǒng)計學(xué)、運輸工 程、排隊論、計算機系統(tǒng)建模、系統(tǒng)仿真、生產(chǎn)決策、股市分析等領(lǐng)域得到應(yīng) 用，特別是在信號處理領(lǐng)域，最大熵原理成為譜估計或圖像復(fù)原中的主要方法。最大熵原理在水文水資源科學(xué)中的應(yīng)用水文水資源科學(xué)從本質(zhì)上看，是一門有關(guān)水信息（采集、傳輸、整理、分析、 研究）的學(xué)科?，F(xiàn)有的大量研究成果表明：最大熵原理在水系統(tǒng)頻率分析、水文 時間序列譜分析、水文水質(zhì)觀測站網(wǎng)的布設(shè)評估、水模型的研建評價、水文預(yù) 報與預(yù)測、水力學(xué)、河流地貌學(xué)、水利風(fēng)險分析及水環(huán)境工程等方面具

16、有廣泛 的應(yīng)用。在水系統(tǒng)中應(yīng)用最大熵原理最多的是水文頻率分析研究，推導(dǎo)水文隨機變 量的概率分布和參數(shù)估計兩個方面7。在水文頻率分析研究中，由于無法從概 率論理論直接推導(dǎo)出水文變量的先驗分布，一般只能是依據(jù)觀測數(shù)據(jù)，通過統(tǒng) 計來推求近似的后驗分布。然而水文變量現(xiàn)有的觀測數(shù)據(jù)十分有限，遠(yuǎn)不足以 推求概率分布。這是一個典型的不適定性問題。1972年，J.O.Sonuga首次將最 大熵原理應(yīng)用到水文頻率分析中，推導(dǎo)了基于有限數(shù)據(jù)的小偏差的正態(tài)分布以 進(jìn)行頻率分析，只需均值和標(biāo)準(zhǔn)差作為先驗信息。研究證明，基于最大熵原理 推導(dǎo)頻率分布，人為偏差最小，所得的結(jié)果最客觀，合乎自然。另一方面，由 于導(dǎo)出的分布僅

17、有的參數(shù)是以約束方程組形式表達(dá)，得出的分布的函數(shù)形式是 無限制的，也可對假定的有參概率分布函數(shù)根據(jù)樣本數(shù)據(jù)作參數(shù)估計，若考慮 到樣本數(shù)據(jù)所含的可觀的抽樣誤差，則參數(shù)估計仍舊適用最大熵原理的不適定 問題。另外，水文/氣象時間序列分析經(jīng)常遇到確定周期等問題，而譜分析方法具有低分辨率，選擇自相關(guān)函數(shù)最大時滯的主觀性不足。最大熵譜分析則具有頻譜短且光滑、分辨率高等獨特優(yōu)勢。1967年，J.P.Burg首次將最大熵原理用于 頻譜分析，利用信息論的觀點提出了外推方式：在觀察時間內(nèi)估計值等于觀察 值；在觀察時間之外的取值不做任何假定，即保持最隨機、最不確定性，也就 是使得熵為最大。從而得到一種新的非線性譜估

18、計法，即最大熵譜分析法。1980 年，A.R.Rao等比較了譜分析中的幾種新近發(fā)展的方法，表明最大熵譜分析方法 在水文時間序列的分析中是非常有效的?？傊?，在水文水資源科學(xué)領(lǐng)域中的許多問題，最大熵原理是一種前景看好 的解決問題的新途徑。最大熵原理在投資項目風(fēng)險分析中的應(yīng)用由于投資項目的未來與目前的預(yù)測不可能是完全一致的，因此對項目偏離 預(yù)期目標(biāo)的程度和發(fā)生偏離的概率的分析是十分必要的，也是投資人在項目決 策時最為關(guān)心的。通過對各種投資項目風(fēng)險分析技術(shù)的對比研究中得出結(jié)論， 只有概率分析法能夠直接用于定量描述各種風(fēng)險因素對投資項目評價指標(biāo)的影 響并得出評價指標(biāo)的概率分布。但由于受解析法與蒙特卡羅模

19、擬技術(shù)本身局限 的制約，其使用范圍以及使用效果受到一定影響。為了彌補概率分析方法在投 資項目風(fēng)險分析中的不足，結(jié)合前人對熵的研究成果，一種新的風(fēng)險分析方法 基于最大熵原理的投資項目風(fēng)險分析越來越受到人們的重視，研究證明該 風(fēng)險分析方法具有絕對的可行性和有效性。眾所周知，風(fēng)險是與不確定聯(lián)系在 一起的，由于信息熵是度量、處理、分析系統(tǒng)不確定性的一個有效工具，風(fēng)險 決策中又存在眾多不適定性問題，最大熵原理在風(fēng)險分析和風(fēng)險管理領(lǐng)域中的 應(yīng)用具有廣闊的天地。最大熵原理在地震重現(xiàn)關(guān)系上的應(yīng)用在地震危險性分析中,綜合以往地震發(fā)生的信息所用的最普通方法是建立 地震重現(xiàn)關(guān)系。這個關(guān)系把震源的某一參數(shù)（如震級或烈

20、度）與相應(yīng)的地震發(fā)生次數(shù)聯(lián) 系起來。比如說,已知某震源在過去五十年中地震發(fā)生的信息,要想歸納這信息, 最常用的方法就是建立其重現(xiàn)關(guān)系。最大熵原理首先可用于推導(dǎo)地震發(fā)生的時 間間隔的分布，其次通過計算各震級地震次數(shù)、累加地震次數(shù)以及概率密度函 數(shù)可以看出最大熵法都顯著地與實際數(shù)據(jù)吻合得很好，這一方法得到的重現(xiàn)關(guān) 系是與現(xiàn)有信息完全一致的，因而是偏差最小的。最大熵原理在災(zāi)害損失分析中的應(yīng)用災(zāi)害是一種隨機事件，它以最無序的方式在各地發(fā)生，意味著災(zāi)害熵達(dá)到 了最大值，因此可以用最大熵原理來確定一個地區(qū)一定時段內(nèi)災(zāi)害損失系列的 分布。研究結(jié)果表明，根據(jù)最大熵原理估計的災(zāi)害損失概念明確，便于應(yīng)用。 因為一個地區(qū)未來災(zāi)害的發(fā)生有其重復(fù)性，因而根據(jù)該區(qū)歷史災(zāi)害損失系列估