平均信息熵及其應用

1、平均信息熵及其應用,丁 勇 南京醫(yī)科大學數(shù)學教研室,信息能否度量 ？,物質、能量和信息是構成客觀世界的三大要素。 信息（information）是什么? 至今信息還沒有一個公認的定義 一般定義：常常把消息中有意義的內容稱為信息。,認識問題的過程： 當我們對一問題毫無了解時，對它的認識是不確定的，在對問題的了解過程中，通過各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來度量信息量的大小。,例：會堂有20排、每排20個座位。找一個人。 甲告訴消息：此人在第10排； 乙告訴消息：此人在第10排、第10座。,是否存在信息量的度量公式 ？,194

2、8年，美國數(shù)學家、信息論的創(chuàng)始人Shannon在題為“通訊的數(shù)學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。并應用概率論知識和邏輯方法推導出了信息量的計算公式,Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of information theory.,公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)； 公理2：信息量是有限值； 公理3：如果事件A和事件B的發(fā)生是相互獨立的，則獲知事件A和事件B將同時發(fā)生的信息量是單獨獲知兩事件發(fā)生的信息量之和。,設事件發(fā)生的概率為P，

3、 則滿足上述公理的信息量函數(shù)為,為應用方便，可取c=1，a=e，單位為奈特（nat）,信息量函數(shù) I= -lnp 如何體現(xiàn)不確定性的消除？,例：會堂有20排、每排20個座位。找一個人。 甲告訴消息(A)：此人在第10排； 乙告訴消息(B)：此人在第10排、第10座。,由信息量公式 I= -lnp 可知 I 是 p 的單調下降函數(shù),信息熵(entropy )的概念,設離散型隨機變量X的概率分布為 X的信息熵定義為“加權平均信息量”,信息熵的直觀意義,變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。 一個系統(tǒng)越是有序，信息熵就越低；反之，一個系統(tǒng)越是混亂，信息熵就越高。所以，信息

4、熵也可以說是系統(tǒng)有序化程度的一個度量。,X 甲贏 乙贏 P 0.9 0.1 H 0.325,X 甲贏 乙贏 P 0.5 0.5 H 0.693,熵的性質,連續(xù)非負性 對稱性 擴展性 可加性 極值性：,1948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門科學學科的誕生。 近年來，隨著計算機應用的發(fā)展和信息時代的來臨，信息論理論和應用的研究更顯示出其重要意義。,應用1：識別假幣,有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒有砝碼的天平用最少次數(shù)找出假幣？,每個硬幣可能是真，也可能是假， 且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為

5、ln24。,將硬幣分成3份，其中2部分在天平的兩邊。實驗結果有3種可能性：假幣在天平左邊、右邊、不在天平上。,當3種可能性概率相同時，熵最大，因此每次實驗提供的最大信息熵為ln3。設至少秤k次， k次實驗提供的信息熵最多為kln3, 有l(wèi)n24=kln3可得k至少為3。,應用2：熵與參數(shù)估計的似然函數(shù),應用3：群體遺傳學,A a,A a,由此可見，無論第一代基因型概率分布為何值，第二代基因型熵即達到最大,多對等位基因 也有相同的結論,A a B b,A a B b,HardyWeinberg 平衡 (HW平衡)定律,一個隨機交配的群體中，等位基因頻率保持不變，基因型頻率至多經(jīng)過一個世代也將保持

6、不變。,問題的提出,在信息論中，如何評價信源提供信息量的多少，是一個值得探討的問題。 現(xiàn)在用的是相對率的概念，是以信息熵與最大信息熵之比 作為依據(jù)的。 問題：該值多大才算提供較多的信息量？,問題的設想,提出平均信息熵作為評價依據(jù)。,在信息論中也是如此，當信源提供的信息量達到或超過平均信息熵時，可認為已提供了較多的信息。,以學習成績比較為例，眾所周知，成績好壞，除了與最高分比較，更多的是與平均成績比較，當某個學生的成績超過平均成績時，說明該生的成績較好，否則說明應該發(fā)奮努力了。,問題的解決,提出了平均信息熵的概念 推導了計算公式、性質 給出了應用：作為信源提供信息量多少的評價依據(jù)。,平均值概念的

7、推廣,平均信息熵的定義,平均信息熵公式,公式： 與調和級數(shù)有關,平均信息熵的性質,平均信息量至少 占最大值72%,平均信息熵的性質,C為歐拉常數(shù)，近似值約0.5772，已計算到了108,000,000位，目前還不知道它是有理數(shù)還是無理數(shù)。,平均信息熵的性質,平均信息熵的性質,隨機變量X的函數(shù)f(X)的平均信息熵： 當f為單調函數(shù)時，,平均信息熵的性質,等值面,等值面位于如下的多面體中：,其中p*為下式的解,平均信息熵的性質,等值面外的點組成一個凸集,應用1：食物營養(yǎng)價值的評價,食物中蛋白質的氨基酸種類多、組成復雜，營養(yǎng)豐富，對機體的生長發(fā)育有利，我們可根據(jù)蛋白質的氨基酸組成比率計算信息熵，并與

8、平均信息熵比較，作為評價營養(yǎng)價值的一個依據(jù),稻米中8種氨基酸營養(yǎng)當量X分布表 蘇氨酸 0.049 纈氨酸 0.120 蛋氨酸 0.113 異亮氨酸 0.113 亮氨酸 0.115 苯丙氨酸 0.134 賴氨酸 0.08 色氨酸 0.231 稻米中 大部分氨基酸可在人體內合成，但這8種氨基酸需從食物中攝取，可知稻米的營養(yǎng)價值是非常豐富的 。,王德仁，等施氮對稻米蛋白質、氨基酸含量的影響J植物營養(yǎng)與肥料學報2001，7（3）：353-6,應用：基因信息熵,根據(jù)四個堿基出現(xiàn)的概率，7個物種細胞色素C基因的信息熵如下表，由表可知，無論是高等生物還是低等生物，其信息熵都遠大于平均信息熵 Human 1.

9、9966 Chicken 1.9886 Yeast 1.9817 Rat 1.9699 Mouse 1.9599 Bovine 1.9582 D.melangaster 1.9529,LIMBACH,K.J. & WU, R. Isolation and characterization of two alleles of the chicken cytochrome c gene J. Nucl. Acid Res. 1983(11):8931-8941 NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M. et al. Isolation of a cDNA clonefor human cytochrome c:from a gt11 expression library J. Biochemical and Biophysical Research communications, 1987(145