平均信息熵及其應(yīng)用課件

信息能否度量？物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。信息（information）是什么?至今信息還沒(méi)有一個(gè)公認(rèn)的定義一般定義：常常把消息中有意義的內(nèi)容稱為信息。信息能否度量？物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。1認(rèn)識(shí)問(wèn)題的過(guò)程：當(dāng)我們對(duì)一問(wèn)題毫無(wú)了解時(shí)，對(duì)它的認(rèn)識(shí)是不確定的，在對(duì)問(wèn)題的了解過(guò)程中，通過(guò)各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來(lái)度量信息量的大小。例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。甲告訴消息：此人在第10排；乙告訴消息：此人在第10排、第10座。認(rèn)識(shí)問(wèn)題的過(guò)程：例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。2是否存在信息量的度量公式？1948年，美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人Shannon在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來(lái)消除隨機(jī)不定性的東西”。并應(yīng)用概率論知識(shí)和邏輯方法推導(dǎo)出了信息量的計(jì)算公式ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".是否存在信息量的度量公式？1948年，美國(guó)數(shù)學(xué)家、信息論的3公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)；公理2：信息量是有限值；公理3：如果事件A和事件B的發(fā)生是相互獨(dú)立的，則獲知事件A和事件B將同時(shí)發(fā)生的信息量是單獨(dú)獲知兩事件發(fā)生的信息量之和。設(shè)事件發(fā)生的概率為P，則滿足上述公理的信息量函數(shù)為為應(yīng)用方便，可取c=1，a=e，單位為奈特（nat）公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)；設(shè)事件發(fā)生的概率為P4信息量函數(shù)I=-lnp如何體現(xiàn)不確定性的消除？信息量函數(shù)I=-lnp如何體現(xiàn)不確定性的消除5例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。甲告訴消息(A)：此人在第10排；乙告訴消息(B)：此人在第10排、第10座。由信息量公式I=-lnp可知I是p的單調(diào)下降函數(shù)例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。由信息量公式I6信息熵(entropy

)的概念設(shè)離散型隨機(jī)變量X的概率分布為

X的信息熵定義為“加權(quán)平均信息量”

信息熵(entropy)的概念設(shè)離散型隨機(jī)變量X的概率分布7信息熵的直觀意義

變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

一個(gè)系統(tǒng)越是有序，信息熵就越低；反之，一個(gè)系統(tǒng)越是混亂，信息熵就越高。所以，信息熵也可以說(shuō)是系統(tǒng)有序化程度的一個(gè)度量。X甲贏乙贏P0.90.1H0.325X甲贏乙贏P0.50.5H0.693信息熵的直觀意義變量的不確定性越大，熵也就越大8熵的性質(zhì)連續(xù)非負(fù)性對(duì)稱性擴(kuò)展性可加性極值性：熵的性質(zhì)連續(xù)非負(fù)性91948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門(mén)科學(xué)學(xué)科的誕生。近年來(lái)，隨著計(jì)算機(jī)應(yīng)用的發(fā)展和信息時(shí)代的來(lái)臨，信息論理論和應(yīng)用的研究更顯示出其重要意義。1948年，Shannon提出了熵的概念，并以此作為信息的度10應(yīng)用1：識(shí)別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒(méi)有砝碼的天平用最少次數(shù)找出假幣？每個(gè)硬幣可能是真，也可能是假，且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為ln24。應(yīng)用1：識(shí)別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量11將硬幣分成3份，其中2部分在天平的兩邊。實(shí)驗(yàn)結(jié)果有3種可能性：假幣在天平左邊、右邊、不在天平上。當(dāng)3種可能性概率相同時(shí)，熵最大，因此每次實(shí)驗(yàn)提供的最大信息熵為ln3。設(shè)至少秤k次，k次實(shí)驗(yàn)提供的信息熵最多為kln3,有l(wèi)n24=kln3可得k至少為3。將硬幣分成3份，其中2部分在天平的兩邊。實(shí)驗(yàn)結(jié)果有3種可能性12應(yīng)用2：熵與參數(shù)估計(jì)的似然函數(shù)應(yīng)用2：熵與參數(shù)估計(jì)的似然函數(shù)13應(yīng)用3：群體遺傳學(xué)AaAa應(yīng)用3：群體遺傳學(xué)AA14平均信息熵及其應(yīng)用課件15由此可見(jiàn)，無(wú)論第一代基因型概率分布為何值，第二代基因型熵即達(dá)到最大

多對(duì)等位基因也有相同的結(jié)論AaBbAaBb由此可見(jiàn)，無(wú)論第一代基因型概率分布為何值，第二代基因型熵即達(dá)16Hardy–Weinberg平衡

(H–W平衡)定律一個(gè)隨機(jī)交配的群體中，等位基因頻率保持不變，基因型頻率至多經(jīng)過(guò)一個(gè)世代也將保持不變。Hardy–Weinberg平衡

(H–W平衡)定律17問(wèn)題的提出在信息論中，如何評(píng)價(jià)信源提供信息量的多少，是一個(gè)值得探討的問(wèn)題?，F(xiàn)在用的是相對(duì)率的概念，是以信息熵與最大信息熵之比作為依據(jù)的。問(wèn)題：該值多大才算提供較多的信息量？問(wèn)題的提出在信息論中，如何評(píng)價(jià)信源提供信息量的多少，是一個(gè)值18問(wèn)題的設(shè)想提出平均信息熵作為評(píng)價(jià)依據(jù)。在信息論中也是如此，當(dāng)信源提供的信息量達(dá)到或超過(guò)平均信息熵時(shí)，可認(rèn)為已提供了較多的信息。以學(xué)習(xí)成績(jī)比較為例，眾所周知，成績(jī)好壞，除了與最高分比較，更多的是與平均成績(jī)比較，當(dāng)某個(gè)學(xué)生的成績(jī)超過(guò)平均成績(jī)時(shí)，說(shuō)明該生的成績(jī)較好，否則說(shuō)明應(yīng)該發(fā)奮努力了。問(wèn)題的設(shè)想提出平均信息熵作為評(píng)價(jià)依據(jù)。在信息論中也是如此，當(dāng)19問(wèn)題的解決提出了平均信息熵的概念推導(dǎo)了計(jì)算公式、性質(zhì)給出了應(yīng)用：作為信源提供信息量多少的評(píng)價(jià)依據(jù)。

問(wèn)題的解決提出了平均信息熵的概念20平均值概念的推廣平均值概念的推廣21平均信息熵的定義平均信息熵的定義22平均信息熵及其應(yīng)用課件23平均信息熵及其應(yīng)用課件24平均信息熵公式公式：與調(diào)和級(jí)數(shù)有關(guān)n23456789100.50.831.081.281.451.591.721.831.93平均信息熵公式公式：n23456789100.50.831.25平均信息熵的性質(zhì)平均信息量至少占最大值72%平均信息熵的性質(zhì)平均信息量至少26平均信息熵的性質(zhì)C為歐拉常數(shù)，近似值約0.5772，已計(jì)算到了108,000,000位，目前還不知道它是有理數(shù)還是無(wú)理數(shù)。平均信息熵的性質(zhì)C為歐拉常數(shù)，近似值約0.5772，已計(jì)算到27平均信息熵的性質(zhì)平均信息熵的性質(zhì)28平均信息熵的性質(zhì)隨機(jī)變量X的函數(shù)f(X)的平均信息熵：

當(dāng)f為單調(diào)函數(shù)時(shí)，

平均信息熵的性質(zhì)隨機(jī)變量X的函數(shù)f(X)的平均信息熵：29平均信息熵的性質(zhì)等值面

等值面位于如下的多面體中：

其中p*為下式的解

平均信息熵的性質(zhì)等值面等值面位于如下的多面體中：其中p*30平均信息熵的性質(zhì)

等值面外的點(diǎn)組成一個(gè)凸集

平均信息熵的性質(zhì)等值面外的點(diǎn)組成一個(gè)凸集31平均信息熵及其應(yīng)用課件32應(yīng)用1：食物營(yíng)養(yǎng)價(jià)值的評(píng)價(jià)食物中蛋白質(zhì)的氨基酸種類多、組成復(fù)雜，營(yíng)養(yǎng)豐富，對(duì)機(jī)體的生長(zhǎng)發(fā)育有利，我們可根據(jù)蛋白質(zhì)的氨基酸組成比率計(jì)算信息熵，并與平均信息熵比較，作為評(píng)價(jià)營(yíng)養(yǎng)價(jià)值的一個(gè)依據(jù)

應(yīng)用1：食物營(yíng)養(yǎng)價(jià)值的評(píng)價(jià)食物中蛋白質(zhì)的氨基酸種類多、組成復(fù)33稻米中8種氨基酸營(yíng)養(yǎng)當(dāng)量X分布表

蘇氨酸0.049纈氨酸0.120蛋氨酸0.113異亮氨酸0.113亮氨酸0.115苯丙氨酸0.134賴氨酸0.08色氨酸0.231稻米中

大部分氨基酸可在人體內(nèi)合成，但這8種氨基酸需從食物中攝取，可知稻米的營(yíng)養(yǎng)價(jià)值是非常豐富的。王德仁，等．施氮對(duì)稻米蛋白質(zhì)、氨基酸含量的影響[J]．植物營(yíng)養(yǎng)與肥料學(xué)報(bào)．2001，7（3）：353-6

稻米中8種氨基酸營(yíng)養(yǎng)當(dāng)量X分布表王德仁，等．施氮對(duì)稻米蛋白34應(yīng)用：基因信息熵根據(jù)四個(gè)堿基出現(xiàn)的概率，7個(gè)物種細(xì)胞色素C基因的信息熵如下表，由表可知，無(wú)論是高等生物還是低等生物，其信息熵都遠(yuǎn)大于平均信息熵Human1.9966Chicken1.9886Yeast1.9817Rat1.9699Mouse1.9599Bovine1.9582D.melangaster1.9529

應(yīng)用：基因信息熵根據(jù)四個(gè)堿基出現(xiàn)的概率，7個(gè)物種細(xì)胞色素C基35LIMBACH,K.J.&WU,R.Isolationandcharacterizationoftwoallelesofthechickencytochromecgene[J].Nucl.AcidRes.1983(11):8931-8941NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M.etal.IsolationofacDNAcloneforhumancytochromec:fromagt11expressionlibrary[J].BiochemicalandBiophysicalResearchcommunications,1987(145):34-44LIMBACH,K.J.&WU,R.Isolatio36應(yīng)用：英文字母信息熵計(jì)算機(jī)鍵盤(pán)設(shè)計(jì)參考了英文字母在文章中出現(xiàn)的頻率，根據(jù)英文26個(gè)字母及空格出現(xiàn)的頻率，可求出其信息熵（bit）為

由此可知，大自然基因的“天書(shū)”信息量更豐富，比人類用英文字母寫(xiě)的文章更復(fù)雜，讀懂它任重而道遠(yuǎn)。

應(yīng)用：英文字母信息熵計(jì)算機(jī)鍵盤(pán)設(shè)計(jì)參考了英文字母在文章中出現(xiàn)37拋磚引玉如何將本問(wèn)題推廣到連續(xù)性隨機(jī)變量？拋磚引玉如何將本問(wèn)題推廣到連續(xù)性隨機(jī)變量？38信息能否度量？物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。信息（information）是什么?至今信息還沒(méi)有一個(gè)公認(rèn)的定義一般定義：常常把消息中有意義的內(nèi)容稱為信息。信息能否度量？物質(zhì)、能量和信息是構(gòu)成客觀世界的三大要素。39認(rèn)識(shí)問(wèn)題的過(guò)程：當(dāng)我們對(duì)一問(wèn)題毫無(wú)了解時(shí)，對(duì)它的認(rèn)識(shí)是不確定的，在對(duì)問(wèn)題的了解過(guò)程中，通過(guò)各種途徑獲得信息，逐漸消除了不確定性，獲得的信息越多，消除的不確定性也越多。我們可以用消除不確定性的多少來(lái)度量信息量的大小。例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。甲告訴消息：此人在第10排；乙告訴消息：此人在第10排、第10座。認(rèn)識(shí)問(wèn)題的過(guò)程：例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。40是否存在信息量的度量公式？1948年，美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人Shannon在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來(lái)消除隨機(jī)不定性的東西”。并應(yīng)用概率論知識(shí)和邏輯方法推導(dǎo)出了信息量的計(jì)算公式ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".是否存在信息量的度量公式？1948年，美國(guó)數(shù)學(xué)家、信息論的41公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)；公理2：信息量是有限值；公理3：如果事件A和事件B的發(fā)生是相互獨(dú)立的，則獲知事件A和事件B將同時(shí)發(fā)生的信息量是單獨(dú)獲知兩事件發(fā)生的信息量之和。設(shè)事件發(fā)生的概率為P，則滿足上述公理的信息量函數(shù)為為應(yīng)用方便，可取c=1，a=e，單位為奈特（nat）公理1：信息量是事件發(fā)生概率的連續(xù)函數(shù)；設(shè)事件發(fā)生的概率為P42信息量函數(shù)I=-lnp如何體現(xiàn)不確定性的消除？信息量函數(shù)I=-lnp如何體現(xiàn)不確定性的消除43例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。甲告訴消息(A)：此人在第10排；乙告訴消息(B)：此人在第10排、第10座。由信息量公式I=-lnp可知I是p的單調(diào)下降函數(shù)例：會(huì)堂有20排、每排20個(gè)座位。找一個(gè)人。由信息量公式I44信息熵(entropy

)的概念設(shè)離散型隨機(jī)變量X的概率分布為

X的信息熵定義為“加權(quán)平均信息量”

信息熵(entropy)的概念設(shè)離散型隨機(jī)變量X的概率分布45信息熵的直觀意義

變量的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

一個(gè)系統(tǒng)越是有序，信息熵就越低；反之，一個(gè)系統(tǒng)越是混亂，信息熵就越高。所以，信息熵也可以說(shuō)是系統(tǒng)有序化程度的一個(gè)度量。X甲贏乙贏P0.90.1H0.325X甲贏乙贏P0.50.5H0.693信息熵的直觀意義變量的不確定性越大，熵也就越大46熵的性質(zhì)連續(xù)非負(fù)性對(duì)稱性擴(kuò)展性可加性極值性：熵的性質(zhì)連續(xù)非負(fù)性471948年，Shannon提出了熵的概念，并以此作為信息的度量，宣告了信息論作為一門(mén)科學(xué)學(xué)科的誕生。近年來(lái)，隨著計(jì)算機(jī)應(yīng)用的發(fā)展和信息時(shí)代的來(lái)臨，信息論理論和應(yīng)用的研究更顯示出其重要意義。1948年，Shannon提出了熵的概念，并以此作為信息的度48應(yīng)用1：識(shí)別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量略有不同），如何用沒(méi)有砝碼的天平用最少次數(shù)找出假幣？每個(gè)硬幣可能是真，也可能是假，且假幣可能重一些，也可能輕一些，故共有24種可能，不確定性為ln24。應(yīng)用1：識(shí)別假幣有12枚外形相同的硬幣，其中一枚是假幣（重量49將硬幣分成3份，其中2部分在天平的兩邊。實(shí)驗(yàn)結(jié)果有3種可能性：假幣在天平左邊、右邊、不在天平上。當(dāng)3種可能性概率相同時(shí)，熵最大，因此每次實(shí)驗(yàn)提供的最大信息熵為ln3。設(shè)至少秤k次，k次實(shí)驗(yàn)提供的信息熵最多為kln3,有l(wèi)n24=kln3可得k至少為3。將硬幣分成3份，其中2部分在天平的兩邊。實(shí)驗(yàn)結(jié)果有3種可能性50應(yīng)用2：熵與參數(shù)估計(jì)的似然函數(shù)應(yīng)用2：熵與參數(shù)估計(jì)的似然函數(shù)51應(yīng)用3：群體遺傳學(xué)AaAa應(yīng)用3：群體遺傳學(xué)AA52平均信息熵及其應(yīng)用課件53由此可見(jiàn)，無(wú)論第一代基因型概率分布為何值，第二代基因型熵即達(dá)到最大

多對(duì)等位基因也有相同的結(jié)論AaBbAaBb由此可見(jiàn)，無(wú)論第一代基因型概率分布為何值，第二代基因型熵即達(dá)54Hardy–Weinberg平衡

(H–W平衡)定律一個(gè)隨機(jī)交配的群體中，等位基因頻率保持不變，基因型頻率至多經(jīng)過(guò)一個(gè)世代也將保持不變。Hardy–Weinberg平衡

(H–W平衡)定律55問(wèn)題的提出在信息論中，如何評(píng)價(jià)信源提供信息量的多少，是一個(gè)值得探討的問(wèn)題?，F(xiàn)在用的是相對(duì)率的概念，是以信息熵與最大信息熵之比作為依據(jù)的。問(wèn)題：該值多大才算提供較多的信息量？問(wèn)題的提出在信息論中，如何評(píng)價(jià)信源提供信息量的多少，是一個(gè)值56問(wèn)題的設(shè)想提出平均信息熵作為評(píng)價(jià)依據(jù)。在信息論中也是如此，當(dāng)信源提供的信息量達(dá)到或超過(guò)平均信息熵時(shí)，可認(rèn)為已提供了較多的信息。以學(xué)習(xí)成績(jī)比較為例，眾所周知，成績(jī)好壞，除了與最高分比較，更多的是與平均成績(jī)比較，當(dāng)某個(gè)學(xué)生的成績(jī)超過(guò)平均成績(jī)時(shí)，說(shuō)明該生的成績(jī)較好，否則說(shuō)明應(yīng)該發(fā)奮努力了。問(wèn)題的設(shè)想提出平均信息熵作為評(píng)價(jià)依據(jù)。在信息論中也是如此，當(dāng)57問(wèn)題的解決提出了平均信息熵的概念推導(dǎo)了計(jì)算公式、性質(zhì)給出了應(yīng)用：作為信源提供信息量多少的評(píng)價(jià)依據(jù)。

問(wèn)題的解決提出了平均信息熵的概念58平均值概念的推廣平均值概念的推廣59平均信息熵的定義平均信息熵的定義60平均信息熵及其應(yīng)用課件61平均信息熵及其應(yīng)用課件62平均信息熵公式公式：與調(diào)和級(jí)數(shù)有關(guān)n23456789100.50.831.081.281.451.591.721.831.93平均信息熵公式公式：n23456789100.50.831.63平均信息熵的性質(zhì)平均信息量至少占最大值72%平均信息熵的性質(zhì)平均信息量至少64平均信息熵的性質(zhì)C為歐拉常數(shù)，近似值約0.5772，已計(jì)算到了108,000,000位，目前還不知道它是有理數(shù)還是無(wú)理數(shù)。平均信息熵的性質(zhì)C為歐拉常數(shù)，近似值約0.5772，已計(jì)算到65平均信息熵的性質(zhì)平均信息熵的性質(zhì)66平均信息熵的性質(zhì)隨機(jī)變量X的函數(shù)f(X)的平均信息熵：

當(dāng)f為單調(diào)函數(shù)時(shí)，

平均信息熵的性質(zhì)隨機(jī)變量X的函數(shù)f(X)的平均信息熵：67平均信息熵的性質(zhì)等值面

等值面位于如下的多面體中：

其中p*為下式的解

平均信息熵的性質(zhì)等值面等值面位于如下的多面體中：其中p*68平均信息熵的性質(zhì)

等值面外的點(diǎn)組成一個(gè)凸集

平均信息熵的性質(zhì)等值面外的點(diǎn)組成一個(gè)凸集69平均信息熵及其應(yīng)用課件70應(yīng)用1：食物營(yíng)養(yǎng)價(jià)值的評(píng)價(jià)食物中蛋白質(zhì)的氨基酸種類多、組成復(fù)雜，營(yíng)養(yǎng)豐富，對(duì)機(jī)體的生長(zhǎng)發(fā)育有利，我們可根據(jù)蛋白質(zhì)的氨基酸組成比率計(jì)算信息熵，并與平均信息熵比較，作為評(píng)價(jià)營(yíng)養(yǎng)價(jià)值的一個(gè)依據(jù)

應(yīng)用1：食物營(yíng)養(yǎng)價(jià)值的評(píng)價(jià)食物中蛋白質(zhì)的氨基酸種類多、組成復(fù)71稻米中8種氨基酸營(yíng)養(yǎng)當(dāng)量X分布表

蘇氨酸0.049纈氨酸0.120蛋氨酸0.113異亮氨酸0.113亮氨酸0.115苯丙氨酸0.134賴氨酸0.08色氨酸0.231稻米中

大部分氨基酸可在人體內(nèi)合成，但這8種氨基酸需從食物中攝取，可知稻米的營(yíng)養(yǎng)價(jià)值是非常豐富的。王德仁，等．施氮對(duì)稻米蛋白質(zhì)、氨基酸含量的影響[J]．植物營(yíng)養(yǎng)與肥料學(xué)報(bào)．2001，7（3）：353-6

稻米中8種氨基酸營(yíng)養(yǎng)當(dāng)量X分布表