大學(xué)物理熱學(xué)

1、.1.2 * * 熵與信息簡介熵與信息簡介一一. 信息、信息價值評估信息、信息價值評估1. 信息信息 早年：早年： 信息信息 消息消息現(xiàn)代：現(xiàn)代： 信息信息 五官所感受的一切五官所感受的一切2. 信息價值評估信息價值評估 質(zhì)的差別質(zhì)的差別人類所有的文化知識人類所有的文化知識 量的不同量的不同例如，有名的短詩與無味的小說的比較。例如，有名的短詩與無味的小說的比較。.3對信息價值在質(zhì)的方面的評估有困難：對信息價值在質(zhì)的方面的評估有困難： 超出自然科學(xué)的范圍超出自然科學(xué)的范圍 尚無為大家接受的客觀準(zhǔn)則尚無為大家接受的客觀準(zhǔn)則目前采用電報局的辦法：目前采用電報局的辦法：只計字?jǐn)?shù)只計字?jǐn)?shù) 不問內(nèi)容不問內(nèi)

2、容當(dāng)代當(dāng)代“信息論信息論”的出發(fā)點：的出發(fā)點：只在信息只在信息量量的問題上下功夫的問題上下功夫.4二二. 信息量與信息熵信息量與信息熵1. 信息量信息量信息需要載體（信息需要載體（ 語言文字、音符、圖表語言文字、音符、圖表），），比較不同載體傳遞的信息量很困難。比較不同載體傳遞的信息量很困難。 1948年信息論的創(chuàng)始人年信息論的創(chuàng)始人 香農(nóng)香農(nóng)（Shannon）從概率的角度從概率的角度給出信息的定義：給出信息的定義：（1）信息的獲得意味著在各種可能性中）信息的獲得意味著在各種可能性中概概率分布的集中率分布的集中.5 若只知某人住某樓（若只知某人住某樓（50間房），則在每間間房），則在每間房找到

3、他的概率為多少房找到他的概率為多少? 若又知某人住三樓（若又知某人住三樓（10間房），間房）， 若又知某人住若又知某人住 301室，則在室，則在301找到他的概找到他的概在三樓的每間房找到他的概率為多少在三樓的每間房找到他的概率為多少?在其它樓層找到他的概率為多少在其它樓層找到他的概率為多少?則則率為多少率為多少? 在其它房找到他的概率為多少在其它房找到他的概率為多少?例如，在不同信息下，要去某樓找某人：例如，在不同信息下，要去某樓找某人：.6缺乏信息缺乏信息（情況不明）（情況不明）獲得了信息獲得了信息（情況進一步明了）（情況進一步明了） 概率分布分散概率分布分散 概率分布集中概率分布集中（2

4、）信息量的度量）信息量的度量1比特（比特（bit）。）。“黑和白黑和白” 、“有和無有和無”、 “二進制的二進制的 0 和和 1 ”中作出判斷。中作出判斷。在沒有信息的情況下，在沒有信息的情況下， 規(guī)定從兩種可能性中作出判斷所需信息量為規(guī)定從兩種可能性中作出判斷所需信息量為例如要在例如要在“是和否是和否”、的概率均為的概率均為 1/2，以上每種可能性出現(xiàn)以上每種可能性出現(xiàn)要作出判斷需要作出判斷需1bit信息量。信息量。.7 從從 4 種可能性中作出判斷所需信息量為種可能性中作出判斷所需信息量為2bit。例如甲持一張撲克牌讓乙猜是什么花色的例如甲持一張撲克牌讓乙猜是什么花色的?對乙的提問甲只能回

5、答對乙的提問甲只能回答“是是”和和“否否”，“是黑桃嗎？是黑桃嗎？”正確問法：正確問法：“是桃嗎？是桃嗎？” 所以，從所以，從 4 種可能性中作出判斷所需要的種可能性中作出判斷所需要的“是黑的嗎？是黑的嗎？”信息量為信息量為2 bit。 （為何不能這樣問？）（為何不能這樣問？）提問次數(shù)最少而能猜中的問法應(yīng)該如何？提問次數(shù)最少而能猜中的問法應(yīng)該如何？錯誤問法：錯誤問法：那么乙那么乙.8 從從 8 種可能性中作出判斷所需信息量為種可能性中作出判斷所需信息量為 3 bit。 從從 16 種可能性中作出判斷所需信息量為種可能性中作出判斷所需信息量為 4 bit。 從從 N 種可能性中作出判斷所需信息量

6、為種可能性中作出判斷所需信息量為 ： K = 1/ ln2 = 1.4427Nn2log 或或NKnln 作出判斷所需作出判斷所需 bit 數(shù)越大，數(shù)越大， 所缺信息量越多。所缺信息量越多。.9例題例題1. . 13個外觀相同的金幣，其中一個是假的，其余均個外觀相同的金幣，其中一個是假的，其余均相同，用一臺無砝碼天平，稱幾次可辯偽相同，用一臺無砝碼天平，稱幾次可辯偽? ?可能情況可能情況 26最大信息熵最大信息熵bit70. 426log2H每稱一次可能情況每稱一次可能情況 3每稱一次最大信息熵每稱一次最大信息熵bit58. 13log21H需稱次數(shù)需稱次數(shù))(397. 258. 170. 4

7、次解：解：.10例題例題2. 遺傳密碼問題遺傳密碼問題可能情況（氨基酸數(shù)）可能情況（氨基酸數(shù)） 20bit32. 420log2字符數(shù)（堿基數(shù)）字符數(shù)（堿基數(shù)） 4bit24log2密碼至少為三聯(lián)體密碼至少為三聯(lián)體216. 2232. 4 核酸：遺傳信息的攜帶者和傳遞者核酸：遺傳信息的攜帶者和傳遞者用用4種堿基編碼種堿基編碼20種氨基酸，每個密碼的最少字符數(shù)？種氨基酸，每個密碼的最少字符數(shù)？用用4個字符排列的遺傳語言個字符排列的遺傳語言脫氧核糖核酸脫氧核糖核酸 DNA核糖核酸核糖核酸 RNA.112. 信息熵信息熵（概率都相等），（概率都相等），這時作出完全的判斷所需要的比特數(shù)為：這時作出完全

8、的判斷所需要的比特數(shù)為：香農(nóng)香農(nóng)稱此稱此 S 為信息熵，為信息熵， 它意味著信息量的缺損。它意味著信息量的缺損。（1）在對）在對 N 種可能性完全無知的情況下，種可能性完全無知的情況下，只能假定每種可能性出現(xiàn)的概率只能假定每種可能性出現(xiàn)的概率 P 都為都為 1/N即即 P = 1/N ，NPlnln PKNKnlnln 記作記作PKSln .12（2）各可能性概率不等情況信息熵定義為：）各可能性概率不等情況信息熵定義為：iNiiPPKSln1 0若若 Pi = 1/N， 則過渡到各可能性等概率的情況。則過渡到各可能性等概率的情況。 “明天有雨明天有雨”，這給了，這給了1 bit 的信息的信息

9、“明天有明天有80概率下雨概率下雨”， P1 = 0.8（有雨）；（有雨）； P2 = 0.2（無雨）（無雨）信息熵信息熵例如天氣預(yù)報：例如天氣預(yù)報：i = 1,2：有兩種可能，有兩種可能，722. 0)lnln(2211 PPPPKS.13這比全部確定所需信息（這比全部確定所需信息（1bit）少）少 0.722 bit。該天氣預(yù)報所含信息量：該天氣預(yù)報所含信息量：I = 1 S = 0. 278 bit “明天有明天有90概率下雨概率下雨”，可算出：，可算出：S = 0.469 ，I = 1 S = 0. 531 bit所以所以信息熵信息熵 S 的減少意味著信息量的減少意味著信息量 I 的增

10、加。的增加。在一個過程中，在一個過程中，信息量的增量信息量的增量 I = S 信息可轉(zhuǎn)化為負熵信息可轉(zhuǎn)化為負熵 信息的負熵原理信息的負熵原理.143. 信息熵公式和玻爾茲曼熵公式信息熵公式和玻爾茲曼熵公式信息熵信息熵（K = 1/ln2 = 1.4427）或或信息熵單位：信息熵單位：bit玻氏熵玻氏熵（k = 1.38 10-23 J/K）玻氏熵單位：玻氏熵單位：J/K0ln PKSNKSln kSln 兩者相比：兩者相比： 1 bit = k ln2 （J/K）K = k.15“1 bit = k ln2 （J/K）” 的物理意義的物理意義 ：的熵必定減少的熵必定減少 k ln2 = 0.957 10-23（J/K），），這至少要消耗這至少要消耗kT ln2 = 0.693 kT（J）的能量。）的能量。例如例如 T = 300K ，