第二章 信息的統(tǒng)計(jì)度量

第二章信息的統(tǒng)計(jì)度量第1頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月第一節(jié)自信息量與條件自信息量自信息量與條件自信息量通過(guò)一定的過(guò)程或手段,對(duì)隨機(jī)信息源進(jìn)行了解,從信息源獲得信息.獲得信息的同時(shí)減少了不確定性,信息源所包含的信息與隨機(jī)信源存在的不確定性有關(guān).問(wèn)題:隨機(jī)事件包含信息,那么信息的多少稱為信息量,如何度量呢?2.1.1自信息定義2.1.1任意隨機(jī)事件所包含的信息多少稱為自信息量,定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值.第2頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量其中:1)2)I(ai)非負(fù)?{{若事件集合X中的事件的自信息：

★本書(以及通信理論中)當(dāng)中,如無(wú)特殊說(shuō)明,信息量的單位均默認(rèn)為比特.第3頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量例2.1.1甲袋中有n個(gè)不同阻值的電阻，從中隨機(jī)取出一個(gè)，猜測(cè)所取得的是何種阻值的困難程度是多少？解：這相當(dāng)于求事件的不確定性事件等概例2.1.2甲袋中有n(n+1)/2個(gè)不同阻值的電阻，其中1Ω的1個(gè)，2Ω的2個(gè)，……，nΩ的n個(gè)，從中隨機(jī)取出一個(gè)，求“取出阻值為i（0≤i≤n）的電阻”所獲得的信息量。解：“取出阻值為i的電阻”的概率是多少？第4頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量定義2.1.2二維聯(lián)合集XY上的元素()的聯(lián)合自信息量為:式中:為積事件,為積事件或者元素的二維聯(lián)合概率.其中:第5頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量例2.1.3箱中有90個(gè)紅球，10個(gè)白球，現(xiàn)從箱中隨機(jī)取出兩個(gè)球；求:(1)事件“兩個(gè)球中有紅、白球各一個(gè)”的不確定性；(2)事件“兩個(gè)球都是白球”所提供的信息量；(3)事件“兩個(gè)球都是白球”和“兩個(gè)球都是紅球”的發(fā)生，哪個(gè)事件更難猜測(cè)？解:三種情況都是求聯(lián)合自信息，分別設(shè)為，其中x為紅球數(shù)，y為白球數(shù)(1)第6頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量(2)事件“兩個(gè)球都是白球”所提供的信息量；(3)事件“兩個(gè)球都是白球”和“兩個(gè)球都是紅球”的發(fā)生，哪個(gè)事件更難猜測(cè)？因?yàn)?所以事件”倆個(gè)都是白球”的可能性更小,其發(fā)生更難猜測(cè).第7頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量2.1.2條件自信息量(隨機(jī)變量)定義2.1.3二維聯(lián)合集XY中,對(duì)事件xi和yj,事件xi在事件yj給定的條件下的條件自信息量為:簡(jiǎn)記同樣p(x|y)要滿足非負(fù)和歸一化條件,可以證明,無(wú)條件的自信息量總比條件的自信息量大,即:第8頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月自信息量與條件自信息量例2.1.4箱中有90個(gè)紅球，10個(gè)白球，現(xiàn)從箱中隨機(jī)取出兩個(gè)球，現(xiàn)從箱中先拿出一球，再拿出一球，求(1)事件“在第一個(gè)是紅球，第二個(gè)是白球”的不確定性；(2)事件“在第一個(gè)是紅球，第二個(gè)是紅球”的不確定性；(3)事件“在第一個(gè)是白球，第二個(gè)是白球”的不確定性；(4)事件“在第一個(gè)是白球，第二個(gè)是紅球”的不確定性。解:設(shè)x表示紅球事件,y表示白球事件:(1)p(y|x)=10/99→I(y|x)=-logp(y|x)=-log(10/99)=3.3074(比特)(2)p(y|x)=89/99→I(y|x)=-logp(y|x)=-log(89/99)=0.1536(比特)(3)p(y|x)=9/99→I(y|x)=-logp(y|x)=-log(9/99)=?(4)p(y|x)=90/99→I(y|x)=-logp(y|x)=-log(90/99)=?第9頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月例2.1.5有8×8=64個(gè)方格,甲將一棋子放入方格中,求讓乙猜順序號(hào)的困難程度：1）方格按順序編號(hào),讓乙猜測(cè)棋子所在的方格序號(hào);2）方格按行和列編號(hào),且告訴乙方格的行號(hào),讓乙猜測(cè)棋子所在的方格序號(hào).自信息量與條件自信息量解：1）多少種可能性？642）多少種可能性？8第10頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月互信息量與條件互信息量第二節(jié)互信息量與條件互信息量互信息是指?jìng)z個(gè)不同的事件XY相互從對(duì)方能夠獲得信息,把這類信息稱為互信息,大小稱為互信息量.其大小與倆事件之間的聯(lián)系有關(guān),如果倆者之間聯(lián)系越大,及相關(guān)性越大,則互信息量越大,反之越小,如果倆者相互獨(dú)立,則互信息量為零,這種情況可以解釋成為,當(dāng)倆者沒(méi)有任何聯(lián)系時(shí),不可能從對(duì)方那里獲得任何信息.這種度量方式也用于其他學(xué)科里用來(lái)代替事件的相關(guān)性.互信息量是從通信過(guò)程當(dāng)中定義出來(lái)的.第11頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月互信息量與條件互信息量上圖所示為簡(jiǎn)化的通信系統(tǒng)模型圖,其中假設(shè)發(fā)送端(信源)為離散符號(hào)集合X,接受端(信宿)為離散符號(hào)集合Y.現(xiàn)代通信系統(tǒng)一般為數(shù)字雙工通信模型.第12頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月互信息量與條件互信息量2.2.1互信息量定義2.2.1倆個(gè)離散隨機(jī)事件集X與Y,對(duì)事件yj的出現(xiàn)給出關(guān)于xi的信息量(或者說(shuō)xi從yj中獲得了信息量),定義為互信息量.其定義式為:第13頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月例2.2.1e表示“降雨”，f表示“空中有烏云”，且P(e)=0.125，P(e|f)=0.8.互信息量與條件互信息量解：求：1）“降雨”的自信息2）“空中有烏云”條件下“降雨”的自信息3）“無(wú)雨”的自信息4）“空中有烏云”條件下“無(wú)雨”的自信息5）“降雨”與“空中有烏云”的互信息6）“無(wú)雨”與“空中有烏云”的互信息1)3bit2)0.322bit3)0.193bit4)2.322bit5)2.678bit6)-2.129bit第14頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月互信息量與條件互信息量2.2.2互信息量的性質(zhì)互信息量具有下述的性質(zhì)1互信息量的互易性x與y的互信息等于x的自信息減去在y條件下x的自信息。I(x)表示x的不確定性，I(x|y)表示在y發(fā)生條件下x的不確定性；因此I(x；y)表示當(dāng)y發(fā)生后x不確定性的變化。這種變化，反映了由y發(fā)生所得到的關(guān)于x的信息量第15頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月互信息量與條件互信息量證明:第16頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月互信息量與條件互信息量2當(dāng)事件x,y統(tǒng)計(jì)獨(dú)立時(shí),互信息為0,即I(x;y)=0;3互信息可正可負(fù);4任何兩事件之間的互信息不可能大于其中任一事件的自信息.證明:第17頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月2.2.3條件互信息定義2.2.2設(shè)聯(lián)合集XYZ，在給定z∈Z條件下x(∈X)與y(∈Y)之間的互信息定義為：互信息量與條件互信息量

除條件外，條件互信息的含義與互信息的含義與性質(zhì)都相同.第18頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月聯(lián)合集XYZ上還存在x與yz之間的互信息量,其定義式為:進(jìn)一步表示為:互信息量與條件互信息量可見(jiàn)一對(duì)事件yz出現(xiàn)后所提供的關(guān)于x的信息量I(x;yz),等于事件y出現(xiàn)后提供的有關(guān)x的信息量I(x;y)加上給定事件y的條件下再出現(xiàn)事件z所提供的關(guān)于x的信息量.第19頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月第三節(jié)離散集的平均自信息量離散集的平均自信息量現(xiàn)代通信技術(shù)是數(shù)字通信技術(shù),在通信的信源部分是用離散符號(hào)集合來(lái)表示的.通信的實(shí)質(zhì)是傳輸交換信息,信息的多少取決于信源,本節(jié)主要探討離散符號(hào)集合的信息度量.2.3.1平均自信息量(信源熵)通常離散信息源的離散符號(hào)集合用下面所示的符號(hào)集合和概率空間描述:第20頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量定義2.3.1離散信源符號(hào)集合X上,隨機(jī)變量I(xi)的數(shù)學(xué)期望定義為平均自信息量.用H(X)表示,也稱為信息(源)熵.信源熵的的單位是哈特\比特\奈特/(信源)符號(hào),如果對(duì)數(shù)符號(hào)的底數(shù)取2的話,單位是比特/符號(hào).這也是最常用的單位符號(hào),本書中如無(wú)特別強(qiáng)調(diào),都采用此符號(hào).例2.3.1一個(gè)信源X的符號(hào)集為{0，1}，其中“0”符號(hào)出現(xiàn)的概率為p，求信源的熵?解：出現(xiàn)“1”的概率是多少？（1-p）那么：第21頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量例2.3.2一電視屏幕的格點(diǎn)數(shù)為500×600=300000,每點(diǎn)有10個(gè)灰度等級(jí),若每幅畫面等概率出現(xiàn),求每幅畫面平均所包含的信息量?解：可能的畫面數(shù)是多少？代入公式：第22頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量例2.3.3A、B兩城市天氣情況概率分布如下表：晴陰雨A城0.80.150.05B城0.40.30.3問(wèn)哪個(gè)城市的天氣具有更大的不確定性？解:A、

B城市天氣情況的平均不確定性如下:所以，B城市的天氣具有更大的不確定性。第23頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量例2．3．4有甲、乙兩箱球，甲箱中有紅球50、白球20、黑球30；乙箱中有紅球90、白球10。現(xiàn)做從兩箱中分別隨機(jī)取一球的實(shí)驗(yàn)，問(wèn)從哪箱中取球的結(jié)果隨機(jī)性更大？。解:設(shè)甲、乙分別用AB代表所以，從甲箱中取球的結(jié)果隨機(jī)性更大。第24頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月2.3.2熵函數(shù)的性質(zhì)熵函數(shù)具有如下性質(zhì),對(duì)稱性、非負(fù)性、擴(kuò)展性、可加性、極值性、確定性、上凸性等。我們先看一個(gè)定義：定義2.3.2設(shè)f(X)=f(x1,x2,…,xn)為一多元函數(shù).若對(duì)于任意一個(gè)小于1的正數(shù)a(0<a<1)以及函數(shù)f(X)定義域內(nèi)的任意倆個(gè)矢量X1,X2有:

f[aX1+(1-a)X2]≥af(X1)+(1-a)f(X2)則稱f(X)為定義域上的上凸函數(shù)(Cap型函數(shù)).若:

f[aX1+(1-a)X2]＞af(X1)+(1-a)f(X2)則稱f(X)為定義域上的嚴(yán)格上凸函數(shù).反之:離散集的平均自信息量第25頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量若:f[aX1+(1-a)X2]≤af(X1)+(1-a)f(X2)則稱f(X)為定義域上的下凸函數(shù)(Cup型函數(shù)).若:f[aX1+(1-a)X2]＜af(X1)+(1-a)f(X2)則稱f(X)為定義域上的嚴(yán)格下凸函數(shù).證明:本定義的證明相對(duì)比較復(fù)雜,我們只對(duì)f(x)為實(shí)連續(xù)函數(shù),x為隨機(jī)變量的情況進(jìn)行證明.在區(qū)間[x1x2]上取值x,且x1≤x≤x2,令:a=x2-x/x2-x1則1-a=x-x1/x2-x1∴x=ax1+(1-a)x2∴f(x)=f[ax1+(1-a)x2]第26頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量如右圖所示,只需要求出h(x)的值,就可以得出我們想要的結(jié)論:h(x)=f(x1)+△x再由相似三角形定理有:上凸下凸第27頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月引理2.3.1若f(x)是定義在[a、b]上的實(shí)值連續(xù)上凸函數(shù),則對(duì)于任意一組x1,x2,…,xq∈[a、b]和任意一組非負(fù)實(shí)數(shù)λ1,λ2,…λq且滿足:離散集的平均自信息量則有:稱此為詹森不等式此引理的證明比較簡(jiǎn)單,用數(shù)學(xué)歸納法即可證明,這是一個(gè)在本課程里很重要的引理,我們對(duì)它做一個(gè)簡(jiǎn)單的推廣:也可以簡(jiǎn)寫成:第28頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量1對(duì)稱性概率空間當(dāng)中,P=[p1,p2,…,pr]中各概率分量的次序任意變更時(shí),其熵值不變.2非負(fù)性當(dāng)且僅當(dāng)概率空間中有一個(gè)符號(hào)的概率為”1”,其他所有概率為”0”時(shí),等號(hào)成立.或者說(shuō)成確定概率空間的熵為”0”.第29頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量3擴(kuò)展性這個(gè)性質(zhì)的含義是,若符號(hào)集合X有q個(gè)事件,如果將這個(gè)符號(hào)集合擴(kuò)展成為有q+1個(gè)事件的符號(hào)集合,這第(q+1)個(gè)事件可以看作是在第q個(gè)事件分離出來(lái)的概率為ε→0的事件,這樣擴(kuò)展后的集合的熵值不會(huì)發(fā)生變化.或者說(shuō),一個(gè)事件集合中如果某事件的概率和其它事件概率相比很小時(shí),它對(duì)整個(gè)集合熵值的影響可以忽略不計(jì).第30頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量4可加性隨機(jī)變量X、Y構(gòu)成聯(lián)合事件集合XY,則二維隨機(jī)變量（X,Y）的熵等于其中一個(gè)變量X(或者Y)的無(wú)條件熵加上一個(gè)變量Y(或者X)給定時(shí)的另一個(gè)變量X(或者Y)的條件熵.或者:多變量時(shí):當(dāng)各個(gè)變量相互獨(dú)立時(shí)有:第31頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量證明:聯(lián)合集概率空間為:其中:

第32頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量第33頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量5極值性離散集的熵值具有最大值:利用前面的詹森公式可以很簡(jiǎn)單的證明這個(gè)性質(zhì):條件(1)(2)λk為非負(fù)實(shí)數(shù)(3)f(x)為上凸函數(shù).第34頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量即可得:當(dāng)且僅當(dāng)每個(gè)事件等概率出現(xiàn)時(shí)等號(hào)成立.6確定性

當(dāng)事件集合中只有一個(gè)事件為必然事件,其余全為不可能事件,則此時(shí)事件集合的熵為零.第35頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量7上凸性H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的嚴(yán)格的上凸函數(shù)證明:設(shè)是倆個(gè)概率矢量,且取0<a<1,則:第36頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量第四節(jié)離散集的其它熵及其關(guān)系2.4.1條件熵定義2.4.1聯(lián)合集XY上,條件自信息I(yj|xi)的概率加權(quán)平均值定義為條件熵值.定義式如下:第37頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月2.4.2聯(lián)合熵(或稱共熵)定義2.4.2聯(lián)合集XY上,每對(duì)元素xiyj的自信息量的統(tǒng)計(jì)平均(加權(quán)平均)定義為聯(lián)合熵.定義式如下:2.4.3各種熵值的關(guān)系1聯(lián)合熵與信息熵、條件熵的關(guān)系離散集的平均自信息量當(dāng)各個(gè)變量相互獨(dú)立時(shí)有:第38頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量2聯(lián)合熵與信息熵的關(guān)系第39頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量可以得出:推論:3條件熵與信息熵的關(guān)系(見(jiàn)P28-31例2.3.4)

熵的不增原理(條件熵不大于信息熵)證明思路：試證明H(Y)-H(Y|X)≥0推論:聯(lián)合熵不大于各信息熵的和：第40頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量第五節(jié)離散集的平均互信息量互信息是通信問(wèn)題中一個(gè)很重要的概念,通信(特別是數(shù)字通信)系統(tǒng)的輸入和輸出都可以看作離散符號(hào)集合,輸入與輸出之間的關(guān)聯(lián)程度用互信息來(lái)衡量.聯(lián)合集XY={xiyj;xi∈X,yj∈Y,i=1,2,···m;j=1,2,···,n}二維聯(lián)合概率為p(xiyj),且第41頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量2.5.1平均互信息量定義2.5.1互信息在XY聯(lián)合空間上的統(tǒng)計(jì)平均值定義為平均互信息量.定義式如下:其中:或者:第42頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月簡(jiǎn)單說(shuō)明:離散集的平均自信息量從通信的角度來(lái)看這個(gè)定義式,其中H(X)由概率p(xi)得出,可以看作是通信信源的不確定性,H(X|Y)由條件概率p(xi|yj)得出,可以看作是通信后在知道輸出信號(hào)集合Y的情況下對(duì)信源X仍存在的不確定性,倆這之差就是通信過(guò)程中平均每個(gè)符號(hào)所獲得的不確定性.第43頁(yè)，課件共51頁(yè)，創(chuàng)作于2023年2月離散集的平均自信息量2.5.2平均互信息量的性質(zhì)1非負(fù)性當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí),等號(hào)成立,因?yàn)榻y(tǒng)計(jì)獨(dú)立時(shí),倆這之