信息熵的直觀理解

1、信息熵的直觀理解1引言：要理解信息熵，其實并不難，因為生活中無處不是信息熵的體現(xiàn)。比如，假設你是一個偽球迷，對各國家足球隊實力一點都不了解，問你冠軍 賽兩支隊伍誰可能奪冠。首先經過你腦海的是，這兩家國家隊可能實力相當，用 概率學的說法，即兩支球隊奪冠的概率都是50%，那么結果就像是擲硬幣，靠天 時地利人和，并無從考證一一我們設定這種情景為A。有一個足球評論員，對各足球對非常了解，然后告訴你此次冠軍賽實力相差 懸殊，德國隊近來年表現(xiàn)優(yōu)秀，主帥勒夫策略非凡，而另外一支隊伍已經有很多 屆沒有進入世界杯總決賽了；基于這些不完整信息，作為偽球迷的你，心理肯定 給德國隊奪冠加分，假設這個時候你心理的奪冠概

2、率變成了德國隊80%的奪冠率， 而另一支隊伍只剩20%的奪冠率一一我們設定這種情景為A+。我們知道，比賽的結果只有一個，冠軍也只有一支隊伍。結果出來了，有人 跑過來準備跟你說到底誰奪冠了，如果你只是在A情境下，這個奪冠信息對你 肯定很有誘惑力，因為你本來就無法判斷誰可能奪冠；如果你是在A+情境下， 這個奪冠信息對你來說多少有點失去新鮮，因為世界級的賽事，出差錯的可能性 不高，所以你會覺得你其實已經大概知道了結果，聽或不聽沒有太大意義。換種說法表述，晚上冠軍賽開戰(zhàn)，如果你身處情景A，你肯定比較好奇，勢 均力敵的雙方到底誰能奪冠；而如果你身處情景A+，你會覺得這是一場結果已 定的賽事，沒有太大興趣

3、。好的，舉了這么一個例子，你應該已經開始恍然大悟了，信息會改變你對事 物的未知度和好奇心，信息量越大，你對事物越了解，你對事物的好奇心也會降 低，因為你對事物的確定性越高。至此，為了抽象這個模型，聰明的香農總結出 了信息熵這個概念。信息熵用以表示一個事物的非確定性，如果該事物的非確定 性越高，你的好奇心越重，該事物的信息熵就越高。我們先拋出信息熵的公式2：為什么是這個表達式，我們慢慢表述。信息熵和熱力學熵對于熵（Entropy）的理解，學術討論早就已經上升到哲學的范疇，我們只 是從最基本的角度去直觀地理解這個概念。熵來源于熱力學，是由魯?shù)婪蚩藙?修斯提出的，用來表示任何一種能量在空間中分布的混

4、亂程度，能量分布得越混 亂，熵就越大。一個體系的能量達到完全均勻分布時，這個系統(tǒng)的熵就達到最大 值。怎么直觀地理解這個定義呢？比如一個熱力學體系內，有一個冰塊和一杯熱 水，二者在獨立的情況下，冰塊和熱水內部的分子狀態(tài)是有差別的，冰塊是固態(tài)， 分子主要是有限振動，而熱水中分子快速做布朗運動。也就說，在這個熱力學系 統(tǒng)中，有兩個隊伍存在，可以認為他們分別是有序的。如果把冰和熱水混合在一 起，冰融化，水溫會降低，最終他們的狀態(tài)達到了一致，都成了涼水（這個有前 提，不贅述）。至此，系統(tǒng)從兩個有序狀態(tài)轉向了無序狀態(tài)，熱力學系統(tǒng)就均勻 分布了，熵就增加了。這是一個最簡單的例子。但是，大家都知道，熵的來源是

5、熱力學第二定律，在熱力學第一定律闡述了 能量是守恒的樸素定理后，熱二的熵要表述的就是即使能量是守恒的，但是能量 引起的變化不一定是可以修復的。就好比冰化成了水，如果不引入外界系統(tǒng)做功， 水不可能再恢復到冰的狀態(tài)一一也就說，這不是一個可逆的過程一一有沒有像俗 語“說出去的話，像潑出去的水”?；仡櫄v史，這是一個偉大的論斷，解決了永動機是不可行的理論證明，探討了宇 宙的熵增加宿命，甚至上升到了哲學層面。好的，從熱力熵回到信息熵的理解。熵表述的是一種狀態(tài)，信息熵表述的就是事 物的信息狀態(tài)。事物的信息怎么定義呢？用我們最開始的例子解說，如果你確定一件事件的發(fā)生概率是100%，你認 為這件事情的信息量為0

6、 可不是嗎，既然都確定了，就沒有信息量了；相反， 如果你不確定這件事，你需要通過各種方式去了解，就說明這件事是有意義的， 是有信息量的。好的，你應該注意到了一個詞“確定”。是的，信息熵表述的就 是事物的不確定程度。一場勢均力敵的比賽結果的不確定性高于一場已經被看到 結果的比賽，多么符合直觀理解??！信息熵公式解析：從上面的直觀表述，我們發(fā)現(xiàn)信息熵其實可以有很直觀的表述，表征的是事物的 不確定性。繼續(xù)抽象，我們應該定量表述事物的不確定性呢？這就是信息熵的數(shù) 學表述了。我們知道，合理的數(shù)據(jù)定理都需要滿足數(shù)學自洽性驗證，我們已經知道確定的事 件表述為P(A)=100%，則熵為0；假設一件事情，只有兩種

7、可能，則概率分布 是P(A)和P(-A)，其熵表述為H = -pjlogj Pj +G-該式子對應的數(shù)據(jù)分布是可以發(fā)現(xiàn)，但P(A)=0.5的時候，也就是事件結果最難預測的時候，信息熵 是最大的，值達到1 這同樣是符合直覺判斷的。那么，為什么求熵的時候用的是對數(shù)log2呢？這個就得從香農提出的信息熵使用的場景說起，大家都知道，香農提出的信 息熵是用戶信息論的，而信息論主要解決的是通訊問題，所以說，信息熵是和計 算機通訊相關的理論。計算機的基本存儲單位是二進制位，即1bit每個bit只 有兩種表達一一0或1。如果一個事件有兩種可能性，且概率均等，都為50%， 那么需要用1bit表示；如果有4種可能，且概率均等，則用2bit表示一一你會 發(fā)現(xiàn)，1bitffl好就是我們上面證明的H的最大值。這樣