信息理論基礎2信息的統(tǒng)計度量課件

第2章信息的統(tǒng)計度量第2章2.1自信息量和條件自信息量2.2互信息量和條件互信息量2.3離散集的平均自信息量2.4離散集的平均互信息量2.5連續(xù)隨機變量的互信息量和相對熵2004-07-2912.1自信息量和條件自信息量2.1.1自信息量2.1.2條件自信息量2004-07-2922.1.1自信息量.1

今年冬天比夏天冷今年冬天比夏天熱兩則消息很正常，在我的有生之年年年如此啊廢話一般沒有任何信息是嗎？太不正常了，在我的有生之年我還沒遇到過老天爺發(fā)瘋了么：難道外星人來了？彗星撞地球了？我發(fā)瘋了么：我沒聽錯吧？我腦子有問題了么？你發(fā)瘋了吧：散布妖言？含有極其豐富的信息2004-07-2932.1.1自信息量.2信息量與消息的發(fā)生概率有關：越不可能的消息，包含的信息量越多；確定無疑的消息，包含的信息量為零有一個比較簡單的函數(shù)滿足上述特性：2004-07-2942.1.1自信息量.32004-07-2952.1.1自信息量.4定理2.1.1任意隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值？自信息量沒有單位2004-07-2962.1.1自信息量.5自信息量的單位2004-07-2972.1.1自信息量.6自信息量各單位之間的換算關系使用的公式2004-07-2982.1.1自信息量.7同理可得2004-07-2992.1.1自信息量.8定理2.1.2聯(lián)合自信息量定義為定理2.1.2是定理2.1.1的自然推廣2004-07-29102.1.1自信息量.9例2.1.1一信息源會發(fā)出4個符號：0、1、2、3、4。這4個符號出現(xiàn)的概率分別為：，同時各個符號的出現(xiàn)都是獨立的。求：下面這個消息的自信息量：2010201302130012032101003210100023102002010312032100120212004-07-29112.1.1自信息量.10此消息中0出現(xiàn)23次，1出現(xiàn)14次，2出現(xiàn)13次，3出現(xiàn)7次。由于出現(xiàn)是獨立的，因此出現(xiàn)此消息的概率為：此消息的自信息量為：2004-07-29122.1.2條件自信息量.1定理2.1.2自信息量定義的自然推廣2004-07-29132.1.2條件自信息量.2例2.1.2設在一正方形棋盤上共有64個方格，如果甲將一枚棋子隨意放在棋盤上的某一方格，且讓乙猜測棋子所在的位置。（1）將方格按照順序編號，令乙猜測棋子所在方格的序號（2）將方格按行和列編號，甲將棋子所在方格的行編號告訴乙之后，再令乙猜測棋子所在的列求：以上兩種情況所包含的信息量2004-07-29142.1.2條件自信息量.3解：2004-07-29152.2互信息量和條件互信息量2.2.1互信息量2.2.2互信息量的性質2.2.2條件互信息量內容2004-07-29162.2.1互信息量.1介紹幾個名詞符號消息消息的表現(xiàn)形式為符號，例如a,b,c,0,1,2等等通信系統(tǒng)中的符號消息由于通信系統(tǒng)中信宿（消息的接收者）并不知道信源（消息的發(fā)送者）發(fā)送的是哪一個消息，因此每個符號消息是一個隨機事件2004-07-29172.2.1互信息量.2先驗概率2004-07-29182.2.1互信息量.3后驗概率2004-07-29192.2.1互信息量.4解釋2004-07-29202.2.1互信息量.5理想信道（假設，不符合實際情況）2004-07-29212.2.1互信息量.62004-07-29222.2.1互信息量.72004-07-29232.2.1互信息量.8簡單的解決辦法2004-07-29242.2.1互信息量.9回到我們的例子2004-07-29252.2.1互信息量.10回顧整個過程2004-07-29262.2.1互信息量.112004-07-29272.2.1互信息量.122004-07-29282.2.1互信息量.13后驗概率不是0就是1，相同的是1，不相同的就是0。引入此概念有什么意思？2004-07-29292.2.1互信息量.142004-07-29302.2.1互信息量.15如果信道噪聲變?yōu)橄旅娴男问?004-07-29312.2.1互信息量.162004-07-29322.2.1互信息量.172004-07-29332.2.1互信息量.18對先驗概率和后驗概率有了一定了解，后面會具體講計算的問題2004-07-29342.2.1互信息量.19定義2.2.12004-07-29352.2.1互信息量.20初步分析互信息量2004-07-29362.2.1互信息量.21初步分析互信息量收到符號“1”時，信源發(fā)出的消息必為“1”，因此在這一條件之下，信源發(fā)出消息為“1”這一事件所包含的信息為“0”2004-07-29372.2.1互信息量.22初步分析互信息量收到符號“1”時，所獲得的信源發(fā)送消息為“1”的分布，仍為先驗概率，表明兩者之間有密切的關系2004-07-29382.2.1互信息量.23初步分析互信息量收到符號“1”時，信源發(fā)出的消息為“1”概率等于先驗概率，因此在這一條件之下，信源發(fā)出消息為“1”這一事件所包含的信息量為自信息量2004-07-29392.2.1互信息量.24初步分析互信息量收到符號“1”時，不能所獲得的信源發(fā)送消息為“1”的分布，表明兩者之間有獨立的關系2004-07-29402.2.2互信息量的性質.11.互信息量的互易性證明2004-07-29412.2.2互信息量的性質.21.互信息量的互易性2004-07-29422.2.2互信息量的性質.32.互信息量可為零2004-07-29432.2.2互信息量的性質.43.互信息量可正可負2004-07-29442.2.2互信息量的性質.5舉例解釋可負的原因2004-07-29452.2.2互信息量的性質.62004-07-29462.2.2互信息量的性質.72004-07-29472.2.2互信息量的性質.82004-07-29482.2.2互信息量的性質.9我們的問題2004-07-29492.2.2互信息量的性質.10從前面已經(jīng)知道y=0是不可能事件，那么x=0|y=0也是不可能事件2004-07-29502.2.2互信息量的性質.11因為信道噪聲太強大了，掩蓋了傳輸?shù)男盘枺盘柣儯邮盏降南⒉焕谂袛噍斎氲男畔⒗樱耗悴徽f我還明白，你越說我越糊涂2004-07-29512.2.2互信息量的性質.124.互信息量不能大于自信息量證明2004-07-29522.2.2互信息量的性質.134.互信息量不能大于自信息量2004-07-29532.2.2互信息量的性質.14例2.2.12004-07-29542.2.2互信息量的性質.15解2004-07-29552.2.2互信息量的性質.162004-07-29562.2.2互信息量的性質.172004-07-29572.2.3條件互信息量.1定義2.2.22004-07-29582.2.3條件互信息量.2進一步說明2004-07-29592.2.3條件互信息量.32004-07-29602.3離散集中的平均自信息量2.3.1平均自信息量（熵）2.3.2熵函數(shù)的數(shù)學特性2.3.3條件熵2.3.4聯(lián)合熵2.3.5各種熵的性質2.3.6加權熵2004-07-29612.3.1平均自信息量（熵）.1隨機變量自信息量無法衡量整個信源的信息測度引入平均自信息量：信息熵2004-07-29622.3.1平均自信息量（熵）.2定義2.3.12004-07-29632.3.1平均自信息量（熵）.3信息熵的單位取決于對數(shù)的底例子2004-07-29642.3.1平均自信息量（熵）.4例2.3.1－12004-07-29652.3.1平均自信息量（熵）.5解：2004-07-29662.3.1平均自信息量（熵）.6例2.3.1－2已知：一篇千字文，每字可從萬字表中任選，每篇千字文等概率出現(xiàn)求：一篇千字文可提供的平均信息量2004-07-29672.3.1平均自信息量（熵）.7解2004-07-29682.3.1平均自信息量（熵）.8例2.3.22004-07-29692.3.1平均自信息量（熵）.9解2004-07-29702.3.2熵函數(shù)的數(shù)學特性.12004-07-29712.3.2熵函數(shù)的數(shù)學特性.22004-07-29722.3.2熵函數(shù)的數(shù)學特性.3定義2.3.2上凸函數(shù)2004-07-29732.3.2熵函數(shù)的數(shù)學特性.4直觀解釋2004-07-29742.3.2熵函數(shù)的數(shù)學特性.5引理2.3.12004-07-29752.3.2熵函數(shù)的數(shù)學特性.6引理2.3.1的推廣2004-07-29762.3.2熵函數(shù)的數(shù)學特性.7引理2.3.1的推廣書上的結論有問題2004-07-29772.3.2熵函數(shù)的數(shù)學特性.81.熵的對稱性2004-07-29782.3.2熵函數(shù)的數(shù)學特性.9例子三個信源，概率空間分別為求：信息熵H(X),H(Y),H(Z)2004-07-29792.3.2熵函數(shù)的數(shù)學特性.10解2004-07-29802.3.2熵函數(shù)的數(shù)學特性.11對稱性的物理意義信息熵的對稱性說明熵僅與隨機變量的總體結構有關（例如，信源的信息熵僅與信源的總體結構有關）2004-07-29812.3.2熵函數(shù)的數(shù)學特性.12例：2.3.3已知：

A、B兩地的天氣情況如表。求：信息熵2004-07-29822.3.2熵函數(shù)的數(shù)學特性.13解2004-07-29832.3.2熵函數(shù)的數(shù)學特性.14信息熵沒有反映出關于冰雹的差別：信息熵的局限2004-07-29842.3.2熵函數(shù)的數(shù)學特性.152.熵的非負性證明2004-07-29852.3.2熵函數(shù)的數(shù)學特性.162004-07-29862.3.2熵函數(shù)的數(shù)學特性.173.熵的擴展性2004-07-29872.3.2熵函數(shù)的數(shù)學特性.18熵擴展性的含義如果兩個集合的唯一差別是一個概率接近于0的事件，那么兩個集合的熵是一樣的2004-07-29882.3.2熵函數(shù)的數(shù)學特性.194.熵的可加性2004-07-29892.3.2熵函數(shù)的數(shù)學特性.192個隨機變量的熵的定義形式2個隨機變量的聯(lián)合概率2004-07-29902.3.2熵函數(shù)的數(shù)學特性.202004-07-29912.3.2熵函數(shù)的數(shù)學特性.212004-07-29922.3.2熵函數(shù)的數(shù)學特性.22先看第一項2004-07-29932.3.2熵函數(shù)的數(shù)學特性.232004-07-29942.3.2熵函數(shù)的數(shù)學特性.24再看第二項2004-07-29952.3.2熵函數(shù)的數(shù)學特性.252004-07-29962.3.2熵函數(shù)的數(shù)學特性.264.熵的可加性的推論當二維隨機變量X、Y相互統(tǒng)計獨立時，有2004-07-29972.3.2熵函數(shù)的數(shù)學特性.27證明明確符號意義2004-07-29982.3.2熵函數(shù)的數(shù)學特性.28X,Y相互獨立2004-07-29992.3.2熵函數(shù)的數(shù)學特性.29與i無關12004-07-291002.3.2熵函數(shù)的數(shù)學特性.305.熵的極值性說明在離散的情況下，集合X中的各事件等概率發(fā)生時，熵達到極大值。n越大，熵值越大2004-07-291012.3.2熵函數(shù)的數(shù)學特性.31引理2.3.2引理2.3.32004-07-291022.3.2熵函數(shù)的數(shù)學特性.32證明根據(jù)引理2.3.32004-07-291032.3.2熵函數(shù)的數(shù)學特性.33例2004-07-291042.3.2熵函數(shù)的數(shù)學特性.346.確定性2004-07-291052.3.2熵函數(shù)的數(shù)學特性.357.上凸性證明2004-07-291062.3.2熵函數(shù)的數(shù)學特性.36乘積展開【】后乘1分子單獨提出分別取對數(shù)2004-07-291072.3.2熵函數(shù)的數(shù)學特性.37熵的表達式?2004-07-291082.3.2熵函數(shù)的數(shù)學特性.38引理2.3.32004-07-291092.3.3條件熵.1前述的信息熵:單個信源(概率空間)的不確定性的度量實際應用中,需要考慮兩個或者兩個以上的概率空間之間的相互關系,故要引入條件熵定義2.3.3條件熵2004-07-291102.3.3條件熵.2條件熵的數(shù)學表達式隨機變量2004-07-291112.3.3條件熵.3條件熵的例子出現(xiàn)的概率2004-07-291122.3.4聯(lián)合熵.1定義2.3.4聯(lián)合熵2004-07-291132.3.5各種熵的性質.11。聯(lián)合熵與信息熵、條件熵的關系或者聯(lián)合熵＝X的熵＋在X的條件下的條件熵H（Y|X）或者聯(lián)合熵＝Y的熵＋在Y的條件下的條件熵H（X|Y）2004-07-291142.3.5各種熵的性質.2性質1的推論性質1的推論2004-07-291152.3.5各種熵的性質.3性質1的推廣舉例2004-07-291162.3.5各種熵的性質.42。聯(lián)合熵與信息熵的關系證明2004-07-291172.3.5各種熵的性質.52004-07-291182.3.5各種熵的性質.6根據(jù)引理2.3.32004-07-291192.3.5各種熵的性質.7推論1：等式成立的條件是X與Y統(tǒng)計獨立證明2004-07-291202.3.5各種熵的性質.8推論2當X,Y取自同一符號集時，有證明當X,Y取自同一符號集時，有2004-07-291212.3.5各種熵的性質.9推論3等式成立的條件是相互統(tǒng)計獨立2004-07-291222.3.5各種熵的性質.103。條件熵與信息熵的關系證明由圖可知：f(x)為上凸函數(shù)2004-07-291232.3.5各種熵的性質.112004-07-291242.3.5各種熵的性質.12等式成立的條件：X,Y相互獨立2004-07-291252.3.5各種熵的性質.13例2.3.42004-07-291262.3.5各種熵的性質.14解先驗概率2004-07-291272.3.5各種熵的性質.15信息熵2004-07-291282.3.5各種熵的性質.16聯(lián)合熵2004-07-291292.3.5各種熵的性質.17條件熵2004-07-291302.3.5各種熵的性質.18條件熵2004-07-291312.3.5各種熵的性質.192004-07-291322.3.6加權熵.1上海和南京兩地的信息熵相等2004-07-291332.3.6加權熵.2設有隨機變量X，引入事件的權重之后，概率空間為：2004-07-291342.3.6加權熵.3定義2.3.52004-07-291352.4離散集的平均互信息量2.4.1平均條件互信息量2.4.2平均互信息量2.4.3平均互信息量的性質2004-07-291362.4.1平均條件互信息量.1定義2.4.12004-07-291372.4.1平均條件互信息量.2互信息量平均互信息量平均條件互信息量2004-07-291382.4.1平均條件互信息量.3表達式2004-07-291392.4.1平均條件互信息量.4定理2.4.1證明2004-07-291402.4.1平均條件互信息量.5符合物理意義：當兩者獨立時，不可能從一個的發(fā)生，獲得另外一個隨機變量的信息2004-07-291412.4.2平均互信息量定理2.4.2平均互信息量2004-07-291422.4.3平均互信息量.11.非負性證明底轉換x2004-07-291432.4.3平均互信息量.22.互易性證明從集Y中獲得的X的信息量＝從集X中獲得的Y的信息量2004-07-291442.4.3平均互信息量.33.平均互信息量和各類熵的關系（1）與熵、條件熵的關系證明信息熵條件熵2004-07-291452.4.3平均互信息量.4（2）與熵、聯(lián)合熵的關系證明2004-07-291462.4.3平均互信息量.5回顧各種熵之間的關系聯(lián)合熵信息熵條件熵平均互信息量2004-07-291472.4.3平均互信息量.6回顧各種熵之間的關系信息熵條件熵平均互信息量2004-07-291482.4.3平均互信息量.72004-07-291492.4.3平均互信息量.84.極值性證明2004-07-291502.4.3平均互信息量.94.凸函數(shù)性證明同信息熵的證明2004-07-291512.5連續(xù)隨機變量的互信息和相對熵描述連續(xù)隨機變量統(tǒng)計特征的量2004-07-291522.5.1連續(xù)隨機變量的互信息.1定義2.5.1連續(xù)隨機變量的互信息概率之比概率之比概率密度之比2004-07-291532.5.1連續(xù)隨機變量的互信息.2定義2.5.2連續(xù)隨機變量的平均互信息平均的概念2004-07-291542.5.1連續(xù)隨機變量的互信息.3連續(xù)隨機變量平均互信息的性質1.非負性2.對稱性2004-07-291552.5.1連續(xù)隨機變量的互信息.4例2.5.1解歸一化相關函數(shù)X的均方差Y的均方差X的均值Y的均值2004-07-291562.5.1連續(xù)隨機變量的互信息.5X和Y的邊緣分布函數(shù)為：2004-07-291572.5.1連續(xù)隨機變量的互信息.6結果分析歸一化相關函數(shù)（歸一化相關系數(shù)）2004-07-291582.5.2連續(xù)隨機變量的信息熵.1回顧離散隨機變量的信息熵：信息熵的數(shù)學期望引出連續(xù)隨機變量的信息熵：2004-07-291592.5.2連續(xù)隨機變量的信息熵.22004-07-291602.5.2連續(xù)隨機變量的信息熵.3分析2004-07-291612.5.2連續(xù)隨機變量的信息熵.40不能確定為有限數(shù)相對熵，微分熵，熵2004-07-291622.5.2連續(xù)隨機變量的信息熵.5例2.5.2解2004-07-291632.5.2連續(xù)隨機變量的信息熵.6聯(lián)合熵條件熵2004-07-291642.5.2連續(xù)隨機變量的信息熵.7連續(xù)變量各種熵之間的關系2004-07-291652.5.2連續(xù)隨機變量的信息熵.8例證明2004-07-291662.5.2連續(xù)隨機變量的信息熵.92004-07-291672.5.2連續(xù)隨機變量的信息熵.102004-07-291682.5.2連續(xù)隨機變量的信息熵.112004-07-291692.5.2連續(xù)隨機變量的信息熵.12類似有2004-07-29170習題.1習題12004-07-29171習題.1習題1題解女孩中身高>1米6的大學生2004-07-29172習題.1習題1題解2004-07-29173習題.1習題1題解2004-07-29174習題.2習題22004-07-29175習題.2習題2題解2004-07-29176習題.2習題2題解2004-07-29177習題.2習題2題解2004-07-29178習題.2習題2題解2004-07-29179習題.2習題2題解2004-07-29180習題.3習題32004-07-29181習