最大熵原理及其應(yīng)用

1、精選優(yōu)質(zhì)文檔-傾情為你奉上 論文名稱： 最大熵原理及其應(yīng)用 班 級(jí)： 13級(jí)通信工程班 專 業(yè)： 通信工程 學(xué) 號(hào)： 學(xué)生姓名： 指導(dǎo)老師： 時(shí) 間： 2015年 11月 8日 摘 要熵是源于物理學(xué)的基本概念，后來(lái)Shannon在信息論中引入了信息熵的概念，它在統(tǒng)計(jì)物理中的成功使人們對(duì)熵的理論和應(yīng)用有了廣泛和高度的重視。最大熵原理是一種在實(shí)際問(wèn)題中已得到廣泛應(yīng)用的信息論方法。本文從信息熵的概念出發(fā)，對(duì)最大熵原理做了簡(jiǎn)要介紹，并論述了最大熵原理的合理性，最后提及它在一些領(lǐng)域的應(yīng)用，通過(guò)在具體例子當(dāng)中應(yīng)用最大熵原理，展示該原理的適用場(chǎng)合，以期對(duì)最大熵原理及其應(yīng)用有更深刻的理解。關(guān)鍵詞：熵；信息熵；

2、最大熵原理；不適定性問(wèn)題引 言科學(xué)技術(shù)的發(fā)展使人類跨入了高度發(fā)展的信息化時(shí)代。在政治、軍事、經(jīng)濟(jì)等各個(gè)領(lǐng)域，信息的重要性不言而喻，有關(guān)信息理論的研究正越來(lái)越受到重視，信息論方法也逐漸被廣泛應(yīng)用于各個(gè)領(lǐng)域。信息論一般指的是香農(nóng)信息論，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地傳遞信息，涉及消息的信息量、消息的傳輸以及編碼問(wèn)題。1948年C.E.Shannon為解決通信工程中不確定信息的編碼和傳輸問(wèn)題創(chuàng)立信息論，提出信息的統(tǒng)計(jì)定義和信息熵、互信息概念，解決了信息的不確定性度量問(wèn)題，并在此基礎(chǔ)上對(duì)信息論的一系列理論和方法進(jìn)行了嚴(yán)格的推導(dǎo)和證明，使以信息論為基礎(chǔ)的通信工程獲得了巨大的發(fā)展

3、。信息論從它誕生的那時(shí)起就吸引了眾多領(lǐng)域?qū)W者的注意，他們競(jìng)相應(yīng)用信息論的概念和方法去理解和解決本領(lǐng)域中的問(wèn)題。近年來(lái)，以不確定性信息為研究對(duì)象的信息論理論和方法在眾多領(lǐng)域得到了廣泛應(yīng)用，并取得了許多重要的研究成果。迄今為止，較為成熟的研究成果有:A.N.Kolmogorov在1956年提出的關(guān)于信息量度定義的三種方法概率法，組合法，計(jì)算法；A.N.Kolmogorov在1968年闡明并為J.Chaitin在1987年系統(tǒng)發(fā)展了的關(guān)于算法信息的理論。這些成果大大豐富了信息理論的概念、方法和應(yīng)用范圍。在信息論中，最大熵的含義是最大的不確定性，它解決的一大類問(wèn)題是在先驗(yàn)知識(shí)不充分的條件下進(jìn)行決策或推

4、斷等。熵方法在譜估計(jì)、圖象濾波、圖象重建、天文信號(hào)處理、專家系統(tǒng)等中都有廣泛的應(yīng)用。最大熵原理在實(shí)際問(wèn)題中的應(yīng)用近年來(lái)一直在不斷地發(fā)展。1.信息熵的概念信息熵是將熵概念成功地?cái)U(kuò)展到信息科學(xué)領(lǐng)域。熵是描述客觀事物無(wú)序性的參數(shù)，它最早是由R.Clausius于1865年引入熱力學(xué)中的一個(gè)物理概念，通常稱之為熱力學(xué)熵。后來(lái)L.Boltzmann賦予熵統(tǒng)計(jì)意義上的解釋，稱之為統(tǒng)計(jì)熱力學(xué)熵。1929年，匈牙利科學(xué)家Lszilard首先提出了熵與信息不確定性的關(guān)系，使信息科學(xué)引用熵的概念成為可能。1948年，貝爾實(shí)驗(yàn)室的CShannon創(chuàng)立了信息論，熵的概念有了新的解釋，香農(nóng)認(rèn)為信息是人們對(duì)事物了解的不確

5、定性的消除或減少 ，他把通訊過(guò)程中信源訊號(hào)的平均信息量稱為信息熵，現(xiàn)在一般稱之為香農(nóng)熵，實(shí)現(xiàn)了信息熵的實(shí)際應(yīng)用，從此對(duì)信息熵的研究，隨著信息科學(xué)的發(fā)展而得到不斷的發(fā)展。香農(nóng)將隨機(jī)變量X的信息熵定義為： 式中，為的概率分布，n=1,2，N；當(dāng)對(duì)數(shù)底數(shù)取2時(shí)，信息熵的單位為bit/sign；取自然對(duì)數(shù)時(shí)，單位為nat/sign；取常用對(duì)數(shù)時(shí)，單位為hart/sign。它代表了信源輸出后每個(gè)消息所提供的平均信息量，或信源輸出前的平均不確定度。信息熵的定義使隨機(jī)變量的不確定性得到了量度，使信息論得到了空前的發(fā)展。而且，信息熵具有的凸函數(shù)性質(zhì)使得它特別適合作為優(yōu)化問(wèn)題中的目標(biāo)函數(shù)，這同時(shí)也為信息論概念和

6、方法在除通信領(lǐng)域以外的其他領(lǐng)域內(nèi)的應(yīng)用提供了理論基礎(chǔ)，拓寬了信息論的應(yīng)用范圍。2.最大熵原理香農(nóng)提出的信息熵的概念很好地解決了隨機(jī)事件的不確定性程度的度量問(wèn)題，但沒(méi)有解決隨機(jī)事件的概率是如何進(jìn)行分配的問(wèn)題。設(shè)想有一個(gè)可觀測(cè)的概率過(guò)程，其中的隨機(jī)變量取離散值，如果從觀測(cè)的結(jié)果知道了這個(gè)隨機(jī)變量的均值、方差等特征值，怎樣才能確定它取各離散值的概率，呢？在項(xiàng)目決策實(shí)際中，有些隨機(jī)事件不能直接計(jì)算其概率，也無(wú)法知道其頻率，通常只能取得與該隨機(jī)事件(或隨機(jī)變量)有關(guān)的一個(gè)或幾個(gè)平均值，從理論上講，對(duì)于給定的隨機(jī)變量，如何獲取最為合適的一個(gè)分布呢？1957年，E.T.Jaynes在“信息論與統(tǒng)計(jì)力學(xué)”一文

7、中，提出一個(gè)選擇準(zhǔn)則：“當(dāng)根據(jù)部分信息進(jìn)行推理時(shí)，必須選擇這樣一組概率分配，它應(yīng)具有最大的熵，并服從一切已知的信息。換言之，在只掌握部分信息的情況下要對(duì)分布做出推斷時(shí)，符合已知信息的概率分布可能不止一個(gè)，而我們應(yīng)該選取符合約束條件但熵值取最大的概率分布，這是我們可以做出的唯一的不偏不倚的選擇，任何其他的選擇都意味著我們添加了其他的約束或假設(shè)，這些約束或假設(shè)根據(jù)我們所掌握的信息是無(wú)法做出的。E.T.Jaynes建立的這一統(tǒng)計(jì)推理準(zhǔn)則，被稱為最大熵原理，或者極大熵準(zhǔn)則。它為我們?nèi)绾螐臐M足約束條件的諸多相容分布中，挑選“最佳”、“最合理”的分布提供了一個(gè)選擇標(biāo)準(zhǔn)。盡管這個(gè)準(zhǔn)則在性質(zhì)上也有主觀的一面，

8、但卻是一個(gè)最“客觀”的主觀準(zhǔn)則。因?yàn)?，我們知道，熵定義的實(shí)際上是一個(gè)隨機(jī)變量的不確定性，熵最大的時(shí)候，說(shuō)明隨機(jī)變量最不確定，換句話說(shuō)，也就是隨機(jī)變量最隨機(jī)，對(duì)其行為做準(zhǔn)確預(yù)測(cè)最困難。熵值最大意味著添加的約束和假設(shè)最少，這時(shí)求出的分布是最自然、偏差最小的。3.最大熵原理的合理性最大熵方法對(duì)于構(gòu)造概率密度函數(shù)來(lái)說(shuō)，是一種有價(jià)值的方法。按照極大熵準(zhǔn)則，人們應(yīng)該挑選在一定約束下(常常是某些與隨機(jī)變量有關(guān)的平均值)使得熵(或條件熵)能極大化的那種分布作為選定的分布。使用這個(gè)準(zhǔn)則，先驗(yàn)信息(已知數(shù)據(jù))將構(gòu)成求極值的問(wèn)題的約束條件。由最大熵準(zhǔn)則得到的概率分布稱為最大熵分布。應(yīng)用最大熵準(zhǔn)則構(gòu)造先驗(yàn)概率分布有如

9、下優(yōu)點(diǎn)：首先，最大熵的解是最超然的，即在數(shù)據(jù)不充分的情況下求解，解必須和己知的數(shù)據(jù)相吻合，而又必須對(duì)未知的部分做出最少的假定；其次，根據(jù)熵集中原理，絕大部分可能狀態(tài)都集中在最大熵狀態(tài)附近，因此，用最大熵法所做出的預(yù)測(cè)是相當(dāng)準(zhǔn)確的；第三，用最大熵法求得的解滿足一致性要求不確定性的測(cè)度(熵)與試驗(yàn)步驟無(wú)關(guān)。最大熵方法的這一寶貴性質(zhì)來(lái)源于推導(dǎo)熵函數(shù)的合成法則。用最大熵準(zhǔn)則設(shè)立先驗(yàn)分布的理論根據(jù)由S.A. Smith從數(shù)學(xué)上進(jìn)行了證明，其思路是把隨機(jī)性決策問(wèn)題作為對(duì)策問(wèn)題看待，即自然界選擇一狀態(tài)的分布使期望損失極大，而決策人選擇一決策使此期望損失為極小，推導(dǎo)出在損失函數(shù)的集為適合特定條件的理想集的情況

10、，這個(gè)極小化極大解的確能導(dǎo)致一概率分布適合最大熵準(zhǔn)則。4.最大熵原理在實(shí)際中的應(yīng)用在數(shù)學(xué)、物理、工程技術(shù)及其它領(lǐng)域中，常常要根據(jù)測(cè)量的數(shù)據(jù)，所給的條件或所作的假設(shè)求解。對(duì)于求解，通常關(guān)心三個(gè)問(wèn)題：存在性、唯一性和穩(wěn)定性。如果這三個(gè)要求中至少有一個(gè)不滿足，則認(rèn)為是“不適定性問(wèn)題”，對(duì)于此類問(wèn)題，最大熵原理是有效方法之一。譬如，地球物理學(xué)中利用地震勘探法確定地層構(gòu)造，射電天文學(xué)中利用無(wú)線電干涉儀獲取星空?qǐng)D像，計(jì)算機(jī)層析術(shù)中利用掃描投影數(shù)據(jù)構(gòu)造斷層圖像，語(yǔ)音識(shí)別和語(yǔ)音編碼中根據(jù)語(yǔ)音信號(hào)估計(jì)聲道參數(shù)，圖像處理中對(duì)散焦或目標(biāo)位移造成的蛻化圖像進(jìn)行復(fù)原，雷達(dá)及聲納中根據(jù)接收信號(hào)進(jìn)行功率譜估計(jì)，數(shù)字通信中對(duì)

11、信道畸變帶來(lái)的符號(hào)間串?dāng)_進(jìn)行盲目均衡等不適定性問(wèn)題的解決通常采用基于最大熵原理的最大熵估計(jì)法?！安贿m定問(wèn)題”是求解時(shí)由于數(shù)據(jù)不完全或有噪聲，或兩者兼有，使掌握的數(shù)據(jù)不足以推求該問(wèn)題的確定解，其中包括所測(cè)得的數(shù)據(jù)求解時(shí)所給定的條件或假設(shè)。在“不適定問(wèn)題”的所有的可行(可能)解中，應(yīng)選其中熵值最大的一個(gè)解。因?yàn)殪刈畲笠馕吨鴮?duì)由于數(shù)據(jù)不足而作的人為假定(人為添加信息)最小，從而所獲得的解是最合乎自然、最為超然、偏差最小的。統(tǒng)計(jì)物理中一些有名的分布已被證明都是在若干類似上述的約束條件下使熵或微分熵最大的分布。例如，統(tǒng)計(jì)力學(xué)中氣體分子速度的分布是能量受約束下的最大熵分布，大氣層空氣密度隨高度的分布是在平

12、均勢(shì)能受約束下的最大熵分布等。從熵作為不確定程度的度量來(lái)看，此時(shí)的解包含的主觀成分最少，因而是最客觀的。自1957年Jaynes提出這一原理以來(lái)，這一原理先后在統(tǒng)計(jì)力學(xué)、統(tǒng)計(jì)學(xué)、運(yùn)輸工程、排隊(duì)論、計(jì)算機(jī)系統(tǒng)建模、系統(tǒng)仿真、生產(chǎn)決策、股市分析等領(lǐng)域得到應(yīng)用，特別是在信號(hào)處理領(lǐng)域，最大熵原理成為譜估計(jì)或圖像復(fù)原中的主要方法。5.結(jié)論熵原本是分子熱力學(xué)的一個(gè)概念，是對(duì)在分子隨機(jī)運(yùn)動(dòng)下所處狀態(tài)的一種數(shù)量描述，以后被引用到信息論，衡量從隨機(jī)信號(hào)得到的信息量大小。早在20世紀(jì)著名物理學(xué)家愛因斯坦曾將熵理論的地位概述為：“熵理論，對(duì)于整個(gè)科學(xué)來(lái)說(shuō)是第一法則?！?隨著時(shí)間的推移，人們對(duì)熵理論認(rèn)識(shí)也在不斷深入。最大熵原理指出，當(dāng)我們需要對(duì)一個(gè)隨機(jī)事件的概率分布進(jìn)行預(yù)測(cè)時(shí)，我們的預(yù)測(cè)應(yīng)當(dāng)滿足全部已知的條件，而對(duì)未知的情況不要做任何主觀假設(shè)。（不做主觀假設(shè)這點(diǎn)很重要。）在這種情況下，概率分布最均勻，預(yù)測(cè)的風(fēng)險(xiǎn)最小。因?yàn)檫@時(shí)概率分布的信息熵最大，所以人們稱這種模型叫“最大熵模型”。我們常說(shuō)，不要把所有的雞蛋放在一個(gè)籃子里，其實(shí)就是最大熵原理的一個(gè)樸素的說(shuō)法，因?yàn)楫?dāng)我們遇到不確定性時(shí)，就要保留各種可能性?！白畲箪啬Ｐ?/p>