生活中的信息論

1、Wuhan University 1 生活中的信息論生活中的信息論 武漢大學 電子信息學院 吳靜 Wuhan University 2 熵和漢語字典熵和漢語字典 每個漢字的信息熵每個漢字的信息熵 l漢語常用字漢語常用字7000 7000 （1313比特比特） l考慮前考慮前 10% 10% 的漢字占文的漢字占文 本的本的95% 95% 以上以上 （8989比特比特） l考慮上下文相關(guān)性考慮上下文相關(guān)性 （5 5比特比特） 獨立等概 時最大 Wuhan University 3 熵的冗余度和熵的冗余度和笑傲江湖笑傲江湖 l117.2117.2萬字萬字( (586586萬比特萬比特) ) l兩字節(jié)

2、的國標編碼存儲兩字節(jié)的國標編碼存儲 2.34MB2.34MB l壓縮編碼壓縮編碼 chm 1.05MBchm 1.05MB txt 1.88MB txt 1.88MB umd 1.21MB umd 1.21MB jar 0.332MB jar 0.332MB 冗余度 Wuhan University 4 漢語是最簡潔的語言漢語是最簡潔的語言 不同語言的冗余度差別很大，而漢語不同語言的冗余度差別很大，而漢語 在所有語言中冗余度是相對小的。在所有語言中冗余度是相對小的。 Wuhan University 5 Google Google 的中英文自動翻譯的中英文自動翻譯 l統(tǒng)計語言模型統(tǒng)計語言模型

3、P(S) = P(w1)P(w2|w1)P(w3| w1 w2)P(S) = P(w1)P(w2|w1)P(w3| w1 w2)P(wn|w1 w2P(wn|w1 w2wn-1)wn-1) P(S) = P(w1)P(w2|w1)P(w3|w2)P(S) = P(w1)P(w2|w1)P(w3|w2)P(wi|wi-1)P(wi|wi-1) P(wi|wi-1) = P(wi-1,wi)/ P (wi-1)P(wi|wi-1) = P(wi-1,wi)/ P (wi-1) Wuhan University 6 Google Google 的中英文自動翻譯的中英文自動翻譯 語言模型是為了用上下文

4、預(yù)測當前的文字，模語言模型是為了用上下文預(yù)測當前的文字，模 型越好，預(yù)測得越準，那么當前文字的不確型越好，預(yù)測得越準，那么當前文字的不確 定性就越小。定性就越小。 l信息熵可以直接用于衡量統(tǒng)計語言信息熵可以直接用于衡量統(tǒng)計語言 模型的好壞。模型的好壞。 l賈里尼克賈里尼克 語言模型復(fù)雜度語言模型復(fù)雜度(Perplexity) (Perplexity) Wuhan University 7 李開復(fù)的李開復(fù)的 Sphinx Sphinx 語音識別系統(tǒng)語音識別系統(tǒng) l不用任何語言模型不用任何語言模型 復(fù)雜度為復(fù)雜度為997997 （句子中每個位置有（句子中每個位置有 997 997 個可能的單詞可以

5、填入個可能的單詞可以填入 ） l只考慮前后詞的搭配不考慮搭配的概率只考慮前后詞的搭配不考慮搭配的概率 復(fù)雜度為復(fù)雜度為 60 60 l考慮了搭配概率的二元語言模型考慮了搭配概率的二元語言模型 復(fù)雜度為復(fù)雜度為 20 20 Wuhan University 8 總統(tǒng)總統(tǒng)oror灌木叢灌木叢 BushBush詞的二義性詞的二義性 Wuhan University 9 互信息和詞的二義性互信息和詞的二義性 l從大量文本中找出和總統(tǒng)布什一起出從大量文本中找出和總統(tǒng)布什一起出 現(xiàn)的互信息最大的一些詞現(xiàn)的互信息最大的一些詞 總統(tǒng)、美國、國會、華盛頓總統(tǒng)、美國、國會、華盛頓 l找出和灌木叢一起出現(xiàn)的互信息最

6、大找出和灌木叢一起出現(xiàn)的互信息最大 的詞的詞 土壤、植物、野生土壤、植物、野生 l看看上下文中哪類相關(guān)的詞多看看上下文中哪類相關(guān)的詞多 l不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也不僅與上下文有關(guān)，與出現(xiàn)的環(huán)境也 有關(guān)系，例如克林頓究竟指夫妻中的有關(guān)系，例如克林頓究竟指夫妻中的 哪一位哪一位 Wuhan University 10 衡量新聞價值衡量新聞價值 為什么人咬狗是新聞為什么人咬狗是新聞, , 而狗咬人不而狗咬人不 是新聞？是新聞？ 傳播學和新聞學上一個古老的命題 l前者的信息熵大前者的信息熵大 l轉(zhuǎn)向效用信息研究轉(zhuǎn)向效用信息研究 Wuhan University 11 韋小寶的色子韋小寶的色子

7、l灌了鉛的色子，六點朝灌了鉛的色子，六點朝 上的概率是三分之一上的概率是三分之一 每個面朝上的概率是多少？每個面朝上的概率是多少？ Wuhan University 12 最大熵原理和投資最大熵原理和投資 l不要把所有的雞蛋放在一個不要把所有的雞蛋放在一個 籃子里籃子里 減小投資風險減小投資風險 Wuhan University 13 最大熵原理和投資最大熵原理和投資 l達拉皮垂兄弟達拉皮垂兄弟改進最大熵模改進最大熵模 型算法型算法 文藝復(fù)興技術(shù)公司文藝復(fù)興技術(shù)公司 ， 從該基金從該基金 1988 1988 年創(chuàng)立年創(chuàng)立 至今，它的凈回報率高至今，它的凈回報率高 達平均每年達平均每年 34%34%，遠，遠 遠超過股神巴菲特的旗遠超過股神巴菲特的旗 艦公司伯克夏哈撒韋艦公司伯克夏哈撒韋 。 Wuhan University 14 熱力學的熵和信息熵熱力學的熵和信息熵 熱力學中系統(tǒng)狀態(tài)總熱力學中系統(tǒng)狀態(tài)總 是趨向于等概，熱熵是趨向于等概，熱熵 總是趨向于增大?？偸勤呄蛴谠龃蟆?Wuhan U