第二章 信息的統(tǒng)計度量

第二章信息的統(tǒng)計度量第1頁，課件共51頁，創(chuàng)作于2023年2月第一節(jié)自信息量與條件自信息量自信息量與條件自信息量通過一定的過程或手段,對隨機信息源進行了解,從信息源獲得信息.獲得信息的同時減少了不確定性,信息源所包含的信息與隨機信源存在的不確定性有關(guān).問題:隨機事件包含信息,那么信息的多少稱為信息量,如何度量呢?2.1.1自信息定義2.1.1任意隨機事件所包含的信息多少稱為自信息量,定義為該事件發(fā)生概率的對數(shù)的負值.第2頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量其中:1)2)I(ai)非負?{{若事件集合X中的事件的自信息：

★本書(以及通信理論中)當(dāng)中,如無特殊說明,信息量的單位均默認為比特.第3頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量例2.1.1甲袋中有n個不同阻值的電阻，從中隨機取出一個，猜測所取得的是何種阻值的困難程度是多少？解：這相當(dāng)于求事件的不確定性事件等概例2.1.2甲袋中有n(n+1)/2個不同阻值的電阻，其中1Ω的1個，2Ω的2個，……，nΩ的n個，從中隨機取出一個，求“取出阻值為i（0≤i≤n）的電阻”所獲得的信息量。解：“取出阻值為i的電阻”的概率是多少？第4頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量定義2.1.2二維聯(lián)合集XY上的元素()的聯(lián)合自信息量為:式中:為積事件,為積事件或者元素的二維聯(lián)合概率.其中:第5頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量例2.1.3箱中有90個紅球，10個白球，現(xiàn)從箱中隨機取出兩個球；求:(1)事件“兩個球中有紅、白球各一個”的不確定性；(2)事件“兩個球都是白球”所提供的信息量；(3)事件“兩個球都是白球”和“兩個球都是紅球”的發(fā)生，哪個事件更難猜測？解:三種情況都是求聯(lián)合自信息，分別設(shè)為，其中x為紅球數(shù)，y為白球數(shù)(1)第6頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量(2)事件“兩個球都是白球”所提供的信息量；(3)事件“兩個球都是白球”和“兩個球都是紅球”的發(fā)生，哪個事件更難猜測？因為,所以事件”倆個都是白球”的可能性更小,其發(fā)生更難猜測.第7頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量2.1.2條件自信息量(隨機變量)定義2.1.3二維聯(lián)合集XY中,對事件xi和yj,事件xi在事件yj給定的條件下的條件自信息量為:簡記同樣p(x|y)要滿足非負和歸一化條件,可以證明,無條件的自信息量總比條件的自信息量大,即:第8頁，課件共51頁，創(chuàng)作于2023年2月自信息量與條件自信息量例2.1.4箱中有90個紅球，10個白球，現(xiàn)從箱中隨機取出兩個球，現(xiàn)從箱中先拿出一球，再拿出一球，求(1)事件“在第一個是紅球，第二個是白球”的不確定性；(2)事件“在第一個是紅球，第二個是紅球”的不確定性；(3)事件“在第一個是白球，第二個是白球”的不確定性；(4)事件“在第一個是白球，第二個是紅球”的不確定性。解:設(shè)x表示紅球事件,y表示白球事件:(1)p(y|x)=10/99→I(y|x)=-logp(y|x)=-log(10/99)=3.3074(比特)(2)p(y|x)=89/99→I(y|x)=-logp(y|x)=-log(89/99)=0.1536(比特)(3)p(y|x)=9/99→I(y|x)=-logp(y|x)=-log(9/99)=?(4)p(y|x)=90/99→I(y|x)=-logp(y|x)=-log(90/99)=?第9頁，課件共51頁，創(chuàng)作于2023年2月例2.1.5有8×8=64個方格,甲將一棋子放入方格中,求讓乙猜順序號的困難程度：1）方格按順序編號,讓乙猜測棋子所在的方格序號;2）方格按行和列編號,且告訴乙方格的行號,讓乙猜測棋子所在的方格序號.自信息量與條件自信息量解：1）多少種可能性？642）多少種可能性？8第10頁，課件共51頁，創(chuàng)作于2023年2月互信息量與條件互信息量第二節(jié)互信息量與條件互信息量互信息是指倆個不同的事件XY相互從對方能夠獲得信息,把這類信息稱為互信息,大小稱為互信息量.其大小與倆事件之間的聯(lián)系有關(guān),如果倆者之間聯(lián)系越大,及相關(guān)性越大,則互信息量越大,反之越小,如果倆者相互獨立,則互信息量為零,這種情況可以解釋成為,當(dāng)倆者沒有任何聯(lián)系時,不可能從對方那里獲得任何信息.這種度量方式也用于其他學(xué)科里用來代替事件的相關(guān)性.互信息量是從通信過程當(dāng)中定義出來的.第11頁，課件共51頁，創(chuàng)作于2023年2月互信息量與條件互信息量上圖所示為簡化的通信系統(tǒng)模型圖,其中假設(shè)發(fā)送端(信源)為離散符號集合X,接受端(信宿)為離散符號集合Y.現(xiàn)代通信系統(tǒng)一般為數(shù)字雙工通信模型.第12頁，課件共51頁，創(chuàng)作于2023年2月互信息量與條件互信息量2.2.1互信息量定義2.2.1倆個離散隨機事件集X與Y,對事件yj的出現(xiàn)給出關(guān)于xi的信息量(或者說xi從yj中獲得了信息量),定義為互信息量.其定義式為:第13頁，課件共51頁，創(chuàng)作于2023年2月例2.2.1e表示“降雨”，f表示“空中有烏云”，且P(e)=0.125，P(e|f)=0.8.互信息量與條件互信息量解：求：1）“降雨”的自信息2）“空中有烏云”條件下“降雨”的自信息3）“無雨”的自信息4）“空中有烏云”條件下“無雨”的自信息5）“降雨”與“空中有烏云”的互信息6）“無雨”與“空中有烏云”的互信息1)3bit2)0.322bit3)0.193bit4)2.322bit5)2.678bit6)-2.129bit第14頁，課件共51頁，創(chuàng)作于2023年2月互信息量與條件互信息量2.2.2互信息量的性質(zhì)互信息量具有下述的性質(zhì)1互信息量的互易性x與y的互信息等于x的自信息減去在y條件下x的自信息。I(x)表示x的不確定性，I(x|y)表示在y發(fā)生條件下x的不確定性；因此I(x；y)表示當(dāng)y發(fā)生后x不確定性的變化。這種變化，反映了由y發(fā)生所得到的關(guān)于x的信息量第15頁，課件共51頁，創(chuàng)作于2023年2月互信息量與條件互信息量證明:第16頁，課件共51頁，創(chuàng)作于2023年2月互信息量與條件互信息量2當(dāng)事件x,y統(tǒng)計獨立時,互信息為0,即I(x;y)=0;3互信息可正可負;4任何兩事件之間的互信息不可能大于其中任一事件的自信息.證明:第17頁，課件共51頁，創(chuàng)作于2023年2月2.2.3條件互信息定義2.2.2設(shè)聯(lián)合集XYZ，在給定z∈Z條件下x(∈X)與y(∈Y)之間的互信息定義為：互信息量與條件互信息量

除條件外，條件互信息的含義與互信息的含義與性質(zhì)都相同.第18頁，課件共51頁，創(chuàng)作于2023年2月聯(lián)合集XYZ上還存在x與yz之間的互信息量,其定義式為:進一步表示為:互信息量與條件互信息量可見一對事件yz出現(xiàn)后所提供的關(guān)于x的信息量I(x;yz),等于事件y出現(xiàn)后提供的有關(guān)x的信息量I(x;y)加上給定事件y的條件下再出現(xiàn)事件z所提供的關(guān)于x的信息量.第19頁，課件共51頁，創(chuàng)作于2023年2月第三節(jié)離散集的平均自信息量離散集的平均自信息量現(xiàn)代通信技術(shù)是數(shù)字通信技術(shù),在通信的信源部分是用離散符號集合來表示的.通信的實質(zhì)是傳輸交換信息,信息的多少取決于信源,本節(jié)主要探討離散符號集合的信息度量.2.3.1平均自信息量(信源熵)通常離散信息源的離散符號集合用下面所示的符號集合和概率空間描述:第20頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量定義2.3.1離散信源符號集合X上,隨機變量I(xi)的數(shù)學(xué)期望定義為平均自信息量.用H(X)表示,也稱為信息(源)熵.信源熵的的單位是哈特\比特\奈特/(信源)符號,如果對數(shù)符號的底數(shù)取2的話,單位是比特/符號.這也是最常用的單位符號,本書中如無特別強調(diào),都采用此符號.例2.3.1一個信源X的符號集為{0，1}，其中“0”符號出現(xiàn)的概率為p，求信源的熵?解：出現(xiàn)“1”的概率是多少？（1-p）那么：第21頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量例2.3.2一電視屏幕的格點數(shù)為500×600=300000,每點有10個灰度等級,若每幅畫面等概率出現(xiàn),求每幅畫面平均所包含的信息量?解：可能的畫面數(shù)是多少？代入公式：第22頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量例2.3.3A、B兩城市天氣情況概率分布如下表：晴陰雨A城0.80.150.05B城0.40.30.3問哪個城市的天氣具有更大的不確定性？解:A、

B城市天氣情況的平均不確定性如下:所以，B城市的天氣具有更大的不確定性。第23頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量例2．3．4有甲、乙兩箱球，甲箱中有紅球50、白球20、黑球30；乙箱中有紅球90、白球10?，F(xiàn)做從兩箱中分別隨機取一球的實驗，問從哪箱中取球的結(jié)果隨機性更大？。解:設(shè)甲、乙分別用AB代表所以，從甲箱中取球的結(jié)果隨機性更大。第24頁，課件共51頁，創(chuàng)作于2023年2月2.3.2熵函數(shù)的性質(zhì)熵函數(shù)具有如下性質(zhì),對稱性、非負性、擴展性、可加性、極值性、確定性、上凸性等。我們先看一個定義：定義2.3.2設(shè)f(X)=f(x1,x2,…,xn)為一多元函數(shù).若對于任意一個小于1的正數(shù)a(0<a<1)以及函數(shù)f(X)定義域內(nèi)的任意倆個矢量X1,X2有:

f[aX1+(1-a)X2]≥af(X1)+(1-a)f(X2)則稱f(X)為定義域上的上凸函數(shù)(Cap型函數(shù)).若:

f[aX1+(1-a)X2]＞af(X1)+(1-a)f(X2)則稱f(X)為定義域上的嚴格上凸函數(shù).反之:離散集的平均自信息量第25頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量若:f[aX1+(1-a)X2]≤af(X1)+(1-a)f(X2)則稱f(X)為定義域上的下凸函數(shù)(Cup型函數(shù)).若:f[aX1+(1-a)X2]＜af(X1)+(1-a)f(X2)則稱f(X)為定義域上的嚴格下凸函數(shù).證明:本定義的證明相對比較復(fù)雜,我們只對f(x)為實連續(xù)函數(shù),x為隨機變量的情況進行證明.在區(qū)間[x1x2]上取值x,且x1≤x≤x2,令:a=x2-x/x2-x1則1-a=x-x1/x2-x1∴x=ax1+(1-a)x2∴f(x)=f[ax1+(1-a)x2]第26頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量如右圖所示,只需要求出h(x)的值,就可以得出我們想要的結(jié)論:h(x)=f(x1)+△x再由相似三角形定理有:上凸下凸第27頁，課件共51頁，創(chuàng)作于2023年2月引理2.3.1若f(x)是定義在[a、b]上的實值連續(xù)上凸函數(shù),則對于任意一組x1,x2,…,xq∈[a、b]和任意一組非負實數(shù)λ1,λ2,…λq且滿足:離散集的平均自信息量則有:稱此為詹森不等式此引理的證明比較簡單,用數(shù)學(xué)歸納法即可證明,這是一個在本課程里很重要的引理,我們對它做一個簡單的推廣:也可以簡寫成:第28頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量1對稱性概率空間當(dāng)中,P=[p1,p2,…,pr]中各概率分量的次序任意變更時,其熵值不變.2非負性當(dāng)且僅當(dāng)概率空間中有一個符號的概率為”1”,其他所有概率為”0”時,等號成立.或者說成確定概率空間的熵為”0”.第29頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量3擴展性這個性質(zhì)的含義是,若符號集合X有q個事件,如果將這個符號集合擴展成為有q+1個事件的符號集合,這第(q+1)個事件可以看作是在第q個事件分離出來的概率為ε→0的事件,這樣擴展后的集合的熵值不會發(fā)生變化.或者說,一個事件集合中如果某事件的概率和其它事件概率相比很小時,它對整個集合熵值的影響可以忽略不計.第30頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量4可加性隨機變量X、Y構(gòu)成聯(lián)合事件集合XY,則二維隨機變量（X,Y）的熵等于其中一個變量X(或者Y)的無條件熵加上一個變量Y(或者X)給定時的另一個變量X(或者Y)的條件熵.或者:多變量時:當(dāng)各個變量相互獨立時有:第31頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量證明:聯(lián)合集概率空間為:其中:

第32頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量第33頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量5極值性離散集的熵值具有最大值:利用前面的詹森公式可以很簡單的證明這個性質(zhì):條件(1)(2)λk為非負實數(shù)(3)f(x)為上凸函數(shù).第34頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量即可得:當(dāng)且僅當(dāng)每個事件等概率出現(xiàn)時等號成立.6確定性

當(dāng)事件集合中只有一個事件為必然事件,其余全為不可能事件,則此時事件集合的熵為零.第35頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量7上凸性H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的嚴格的上凸函數(shù)證明:設(shè)是倆個概率矢量,且取0<a<1,則:第36頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量第四節(jié)離散集的其它熵及其關(guān)系2.4.1條件熵定義2.4.1聯(lián)合集XY上,條件自信息I(yj|xi)的概率加權(quán)平均值定義為條件熵值.定義式如下:第37頁，課件共51頁，創(chuàng)作于2023年2月2.4.2聯(lián)合熵(或稱共熵)定義2.4.2聯(lián)合集XY上,每對元素xiyj的自信息量的統(tǒng)計平均(加權(quán)平均)定義為聯(lián)合熵.定義式如下:2.4.3各種熵值的關(guān)系1聯(lián)合熵與信息熵、條件熵的關(guān)系離散集的平均自信息量當(dāng)各個變量相互獨立時有:第38頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量2聯(lián)合熵與信息熵的關(guān)系第39頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量可以得出:推論:3條件熵與信息熵的關(guān)系(見P28-31例2.3.4)

熵的不增原理(條件熵不大于信息熵)證明思路：試證明H(Y)-H(Y|X)≥0推論:聯(lián)合熵不大于各信息熵的和：第40頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量第五節(jié)離散集的平均互信息量互信息是通信問題中一個很重要的概念,通信(特別是數(shù)字通信)系統(tǒng)的輸入和輸出都可以看作離散符號集合,輸入與輸出之間的關(guān)聯(lián)程度用互信息來衡量.聯(lián)合集XY={xiyj;xi∈X,yj∈Y,i=1,2,···m;j=1,2,···,n}二維聯(lián)合概率為p(xiyj),且第41頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量2.5.1平均互信息量定義2.5.1互信息在XY聯(lián)合空間上的統(tǒng)計平均值定義為平均互信息量.定義式如下:其中:或者:第42頁，課件共51頁，創(chuàng)作于2023年2月簡單說明:離散集的平均自信息量從通信的角度來看這個定義式,其中H(X)由概率p(xi)得出,可以看作是通信信源的不確定性,H(X|Y)由條件概率p(xi|yj)得出,可以看作是通信后在知道輸出信號集合Y的情況下對信源X仍存在的不確定性,倆這之差就是通信過程中平均每個符號所獲得的不確定性.第43頁，課件共51頁，創(chuàng)作于2023年2月離散集的平均自信息量2.5.2平均互信息量的性質(zhì)1非負性當(dāng)且僅當(dāng)X與Y統(tǒng)計獨立時,等號成立,因為統(tǒng)計獨立時,倆這之