生活中的信息論

1、Wuhan University1生活中的信息論生活中的信息論武漢大學(xué) 電子信息學(xué)院吳靜Wuhan University2熵和漢語字典熵和漢語字典 每個(gè)漢字的信息熵每個(gè)漢字的信息熵l漢語常用字漢語常用字7000 7000 （1313比特比特）l考慮前考慮前 10% 10% 的漢字占文的漢字占文 本的本的95% 95% 以上以上 （8989比特比特）l考慮上下文相關(guān)性考慮上下文相關(guān)性 （5 5比特比特）獨(dú)立等概時(shí)最大Wuhan University3熵的冗余度和熵的冗余度和笑傲江湖笑傲江湖l117.2117.2萬字萬字( (586586萬比特萬比特) )l兩字節(jié)的國標(biāo)編碼存儲(chǔ)兩字節(jié)的國標(biāo)編碼存儲(chǔ)

2、 2.34MB2.34MBl壓縮編碼壓縮編碼 chm 1.05MBchm 1.05MB txt 1.88MB txt 1.88MB umd 1.21MB umd 1.21MB jar 0.332MB jar 0.332MB冗余度Wuhan University4漢語是最簡(jiǎn)潔的語言漢語是最簡(jiǎn)潔的語言不同語言的冗余度差別很大，而漢語不同語言的冗余度差別很大，而漢語在所有語言中冗余度是相對(duì)小的。在所有語言中冗余度是相對(duì)小的。Wuhan University5Google Google 的中英文自動(dòng)翻譯的中英文自動(dòng)翻譯 l統(tǒng)計(jì)語言模型統(tǒng)計(jì)語言模型 P(S) = P(w1)P(w2|w1)P(w3| w

3、1 w2)P(S) = P(w1)P(w2|w1)P(w3| w1 w2)P(wn|w1 w2P(wn|w1 w2wn-1)wn-1)P(S) = P(w1)P(w2|w1)P(w3|w2)P(S) = P(w1)P(w2|w1)P(w3|w2)P(wi|wi-1)P(wi|wi-1) P(wi|wi-1) = P(wi-1,wi)/ P (wi-1)P(wi|wi-1) = P(wi-1,wi)/ P (wi-1) Wuhan University6Google Google 的中英文自動(dòng)翻譯的中英文自動(dòng)翻譯 語言模型是為了用上下文預(yù)測(cè)當(dāng)前的文字，模語言模型是為了用上下文預(yù)測(cè)當(dāng)前的文字，模型

4、越好，預(yù)測(cè)得越準(zhǔn)，那么當(dāng)前文字的不確型越好，預(yù)測(cè)得越準(zhǔn)，那么當(dāng)前文字的不確定性就越小。定性就越小。 l信息熵可以直接用于衡量統(tǒng)計(jì)語言信息熵可以直接用于衡量統(tǒng)計(jì)語言模型的好壞。模型的好壞。 l賈里尼克賈里尼克 語言模型復(fù)雜度語言模型復(fù)雜度(Perplexity) (Perplexity) Wuhan University7李開復(fù)的李開復(fù)的 Sphinx Sphinx 語音識(shí)別系統(tǒng)語音識(shí)別系統(tǒng) l不用任何語言模型不用任何語言模型 復(fù)雜度為復(fù)雜度為997997 （句子中每個(gè)位置有（句子中每個(gè)位置有 997 997 個(gè)可能的單詞可以填入個(gè)可能的單詞可以填入 ）l只考慮前后詞的搭配不考慮搭配的概率只考慮

5、前后詞的搭配不考慮搭配的概率 復(fù)雜度為復(fù)雜度為 60 60 l考慮了搭配概率的二元語言模型考慮了搭配概率的二元語言模型 復(fù)雜度為復(fù)雜度為 20 20 Wuhan University8總統(tǒng)總統(tǒng)oror灌木叢灌木叢BushBush詞的二義性詞的二義性Wuhan University9互信息和詞的二義性互信息和詞的二義性l從大量文本中找出和總統(tǒng)布什一起出從大量文本中找出和總統(tǒng)布什一起出現(xiàn)的互信息最大的一些詞現(xiàn)的互信息最大的一些詞 總統(tǒng)、美國、國會(huì)、華盛頓總統(tǒng)、美國、國會(huì)、華盛頓 l找出和灌木叢一起出現(xiàn)的互信息最大找出和灌木叢一起出現(xiàn)的互信息最大的詞的詞 土壤、植物、野生土壤、植物、野生 l看看上下

6、文中哪類相關(guān)的詞多看看上下文中哪類相關(guān)的詞多 l不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也有關(guān)系，例如克林頓究竟指夫妻中的有關(guān)系，例如克林頓究竟指夫妻中的哪一位哪一位Wuhan University10衡量新聞價(jià)值衡量新聞價(jià)值 為什么人咬狗是新聞為什么人咬狗是新聞, , 而狗咬人不而狗咬人不是新聞？是新聞？ 傳播學(xué)和新聞學(xué)上一個(gè)古老的命題l前者的信息熵大前者的信息熵大l轉(zhuǎn)向效用信息研究轉(zhuǎn)向效用信息研究Wuhan University11韋小寶的色子韋小寶的色子l灌了鉛的色子，六點(diǎn)朝灌了鉛的色子，六點(diǎn)朝 上的概率是三分之一上的概率是三分之一 每個(gè)面朝上的概率是多少？每個(gè)面朝

7、上的概率是多少？ Wuhan University12最大熵原理和投資最大熵原理和投資l不要把所有的雞蛋放在一個(gè)不要把所有的雞蛋放在一個(gè)籃子里籃子里 減小投資風(fēng)險(xiǎn)減小投資風(fēng)險(xiǎn)Wuhan University13最大熵原理和投資最大熵原理和投資l達(dá)拉皮垂兄弟達(dá)拉皮垂兄弟改進(jìn)最大熵模改進(jìn)最大熵模型算法型算法 文藝復(fù)興技術(shù)公司文藝復(fù)興技術(shù)公司 ， 從該基金從該基金 1988 1988 年創(chuàng)立年創(chuàng)立 至今，它的凈回報(bào)率高至今，它的凈回報(bào)率高 達(dá)平均每年達(dá)平均每年 34%34%，遠(yuǎn)，遠(yuǎn) 遠(yuǎn)超過股神巴菲特的旗遠(yuǎn)超過股神巴菲特的旗 艦公司伯克夏哈撒韋艦公司伯克夏哈撒韋 。Wuhan University14熱力學(xué)的熵和信息熵?zé)崃W(xué)的熵和信息熵 熱力學(xué)中系統(tǒng)狀態(tài)總熱力學(xué)中系統(tǒng)狀態(tài)總是趨向于等概，熱熵是趨向于等概，熱熵總是趨向于增大?？偸勤呄蛴谠龃蟆uha