一級(jí)上冊(cè)語(yǔ)文課件-漢語(yǔ)拼音-ai-ei-u-i-部編版

第2章

離散信息的度量

授課教師：許文俊

第2章

通信系統(tǒng)模型：信源、編碼器、信道、譯碼器、信宿通信系統(tǒng)三項(xiàng)性能指標(biāo)：傳輸?shù)挠行?、傳輸?shù)目煽啃?、傳輸?shù)陌踩孕畔⒌娜齻€(gè)基本層次：語(yǔ)法信息、語(yǔ)義信息、語(yǔ)用信息上章內(nèi)容復(fù)習(xí)！注意：香農(nóng)信息論所研究的信息為語(yǔ)法信息中的概率信息通信系統(tǒng)模型：信源、編碼器、信道、譯碼器、信宿上章內(nèi)容復(fù)習(xí)！本章知識(shí)結(jié)構(gòu)離散信息的度量單個(gè)事件信息度量事件集平均信息度量自信息條件自信息聯(lián)合自信息互信息條件互信息熵條件熵聯(lián)合熵平均互信息平均條件互信息67811345912本章知識(shí)結(jié)構(gòu)離散信息的度量單個(gè)事件信息度量事件集平均信息度量§2.1自信息和互信息

★自信息自信息聯(lián)合自信息條件自信息★互信息互信息互信息的性質(zhì)條件互信息§2.1自信息和互信息★自信息★互信息§2.1.1自信息★事件集合

X

中的事件的自信息：簡(jiǎn)記其中：1）2）？對(duì)數(shù)的底數(shù)大于1§2.1.1自信息★事件集合X中的事件{{關(guān)于對(duì)數(shù)底的選取

證明使用最常用{{關(guān)于對(duì)數(shù)底的選取證明使用最常用本書(shū)符號(hào)的約定

概率論與隨機(jī)過(guò)程本書(shū)符號(hào)的約定概率論與隨機(jī)過(guò)程§2.1.1自信息★自信息為隨機(jī)變量

★自信息的含義包含兩方面：

§2.1.1自信息★自信息為隨機(jī)變量★自信息的含義包含兩2.1例箱中有90個(gè)紅球

，10個(gè)白球

?，F(xiàn)從箱中隨機(jī)地取出一個(gè)球。求：（1）事件“取出一個(gè)紅球”的不確定性；（2）事件“取出一個(gè)白球”所提供的信息量；（3）事件“取出一個(gè)紅球”與“取出一個(gè)白球”的發(fā)生，哪個(gè)更難猜測(cè)？2.1例箱中有90個(gè)紅球，10個(gè)白球。現(xiàn)從箱中隨機(jī)地（1）設(shè)

表示“取出一個(gè)紅球

”的事件，則故事件

的不確定性為：

比特（2）設(shè)

表示“取出一個(gè)白球

”的事件，則故事件

所提供的信息量為：

比特（3）因?yàn)?/p>

，所以事件“取出一個(gè)白球

”的發(fā)生更難猜測(cè)。解：（1）設(shè)表示“取出一個(gè)紅球”的事件，則解：聯(lián)合自信息★事件集合XY

中的事件的自信息：簡(jiǎn)記其中：1）

要滿(mǎn)足非負(fù)和歸一化條件聯(lián)合概率空間歸一化把xy看成單一事件聯(lián)合自信息與自信息含義相同聯(lián)合自信息★事件集合XY中的事件2.1(續(xù))例箱中球不變，現(xiàn)從箱中隨機(jī)取出兩個(gè)球。求：（1）事件“兩個(gè)球中有紅、白球各一個(gè)

”的不確定性；（2）事件“兩個(gè)球都是白球

”所提供的信息量；（3）事件“兩個(gè)球都是白球”和“兩個(gè)球都是紅球”的發(fā)生，哪個(gè)事件更難猜測(cè)？2.1(續(xù))例箱中球不變，現(xiàn)從箱中隨機(jī)取出兩個(gè)球。求：三種情況都是求聯(lián)合自信息。設(shè)x為紅球數(shù)，y為白球數(shù)。解：(1)比特(2)比特(3)比特因?yàn)?，所以事件“兩個(gè)球都是白球”的發(fā)生更難猜測(cè)。三種情況都是求聯(lián)合自信息。設(shè)x為紅球數(shù)，y為白球數(shù)。解：(條件自信息簡(jiǎn)記

要滿(mǎn)足非負(fù)和歸一化條件★事件

給定，事件的自信息：x概率空間歸一化把x|y看成單一事件條件自信息與自信息含義相同條件自信息簡(jiǎn)記要滿(mǎn)足非負(fù)和歸一化條件★事件★條件自信息的含義包含兩方面：

★自信息、條件自信息和聯(lián)合自信息之間的關(guān)系

I(xy)=I(x)+I(y|x)=I(y)+I(x|y)？如何理解條件自信息★條件自信息的含義包含兩方面：★自信息、條件自信息和聯(lián)合自2.1(續(xù))例箱中球不變，現(xiàn)從箱中先拿出一球，再拿出一球，求：（1）事件“在第一個(gè)球是紅球

條件下，第二個(gè)球是白球

”的不確定性；（2）事件“在第一個(gè)球是紅球

條件下，第二個(gè)球是紅球

”所提供的信息量。2.1(續(xù))例箱中球不變，現(xiàn)從箱中先拿出一球，再拿出一球，求這兩種情況都是求條件自信息，設(shè)r表示紅球

，w表示白球

。解：(1)比特(2)比特這兩種情況都是求條件自信息，設(shè)r表示紅球，w表示白球2.2例有8×8=64個(gè)方格，甲將一棋子放入方格中，讓乙猜：1）將方格按順序編號(hào)，讓乙猜順序號(hào)的困難程度為何？2）將方格按行和列編號(hào)，當(dāng)甲告訴乙方格的行號(hào)后，讓乙猜列順序號(hào)的困難程度為何？解：兩種情況下的不確定性1)I(xy)=log264=6bit2)I(x|y)=-log2

p(x|y)=-log2(1/8)=3bit2.2例有8×8=64個(gè)方格，甲將一棋子放入方格中，讓乙猜：§2.1.2互信息★互信息★互信息的性質(zhì)★條件互信息§2.1.2互信息★互信息★互信息的性質(zhì)★條件互信息互信息簡(jiǎn)記通過(guò)計(jì)算★離散隨機(jī)事件

之間的互信息：或I(x;y)與

I(x|y),I(xy)的區(qū)別？互信息簡(jiǎn)記通過(guò)計(jì)算★離散隨機(jī)事件互信息的性質(zhì)★互易性★當(dāng)事件x，y統(tǒng)計(jì)獨(dú)立時(shí)，互信息為0，即I(x;y)=0★互信息可正可負(fù)★任何兩事件之間的互信息不可能大于其中任一事件的自信息如何理解？互信息的性質(zhì)★互易性★當(dāng)事件x，y統(tǒng)計(jì)獨(dú)立時(shí)，互信息為0設(shè)e表示“降雨”，f表示“空中有烏云”，且P(e)=0.125，P(e|f)=0.8求：1）“降雨”的自信息2）“空中有烏云”條件下“降雨”的自信息3）“無(wú)雨”的自信息4）“空中有烏云”條件下“無(wú)雨”的自信息5）“降雨”與“空中有烏云”的互信息6）“無(wú)雨”與“空中有烏云”的互信息2.3例設(shè)e表示“降雨”，f表示“空中有烏云”，且分別求自信息、條件自信息及互信息。解：1)I(e)=-log0.125=3bit2)I(e|f)=-log0.8=0.322bit3)I()=-log0.875=0.193bit4)I(|f)=-log0.2=2.322bit5)I(e;f)=3-0.322=2.678bit6)I(;f)=0.193-2.322=-2.129bit分別求自信息、條件自信息及互信息。解：1)I(e)=-條件互信息

除條件外，條件互信息的含義與互信息的含義與性質(zhì)都相同★設(shè)聯(lián)合集XYZ，在給定z∈Z條件下x(∈X)與y(∈Y)之間的互信息定義為：條件互信息除條件外，條件互信息的含義與互信息的含義與§2.2信息熵★信息熵的定義與計(jì)算★條件熵與聯(lián)合熵★熵的基本性質(zhì)§2.2信息熵★信息熵的定義與計(jì)算★條件熵與聯(lián)合熵★熵的

I(x)為事件x的自信息

表示對(duì)隨機(jī)變量x用p(x)來(lái)進(jìn)行取平均運(yùn)算

熵的單位為比特（奈特）／信源符號(hào)信息熵的定義與計(jì)算★離散信源X的熵定義為自信息的平均值,記為H(X)I(x)為事件x的自信息信息熵的定義與計(jì)算★離散信源X★信源輸出前

信源的平均不確定性★信源輸出后

一個(gè)信源符號(hào)所提供的平均信息量★表示信源隨機(jī)性大?。篐(X)大的，隨機(jī)性大★信源輸出后，不確定性就解除

解除信源不確定性所需信息量信息熵H(X)的含義★信源輸出前信源的平均不確定性★信源輸出后一個(gè)信一電視屏幕的格點(diǎn)數(shù)為500×600=300000，每點(diǎn)有10個(gè)灰度等級(jí)，若每幅畫(huà)面等概率出現(xiàn)，求每幅畫(huà)面平均所包含的信息量2.4例解：可能的畫(huà)面數(shù)是多少？代入公式：如果人眼每秒鐘至少需要24幅畫(huà)面才會(huì)沒(méi)有跳動(dòng)感，那么電視傳輸速率至少為多少？一電視屏幕的格點(diǎn)數(shù)為500×600=300000，每點(diǎn)有102.5例A、B兩城市天氣情況概率分布如下表：晴陰雨A城市0．80．150．05B城市0．40．30．3問(wèn)哪個(gè)城市的天氣具有更大的不確定性？2.5例A、B兩城市天氣情況概率分布如下表：晴陰雨A城市0．所以，B城市的天氣具有更大的不確定性。解：所以，B城市的天氣具有更大的不確定性。解：2.6例有甲、乙兩箱球，甲箱中有紅球50、白球20、黑球30；乙箱中有紅球90、白球10。現(xiàn)做從兩箱中分別隨機(jī)取一球的實(shí)驗(yàn)，問(wèn)從哪箱中取球的結(jié)果隨機(jī)性更大？解：設(shè)A、B分別代表甲、乙兩箱，則所以，從甲箱中取球的結(jié)果隨機(jī)性更大。2.6例有甲、乙兩箱球，甲箱中有紅球50、白球20、黑球30信息熵的計(jì)算★定理2.1離散信源的熵等于所對(duì)應(yīng)的有根概率樹(shù)上所有節(jié)點(diǎn)(包括根節(jié)點(diǎn)，不包括葉)的分支熵用該節(jié)點(diǎn)概率加權(quán)的和，即其中，q(ui)為節(jié)點(diǎn)ui的概率，H(ui)為節(jié)點(diǎn)ui的分支熵。信息熵的計(jì)算★定理2.1離散信源的熵等于所對(duì)應(yīng)的有根概率樹(shù)2.6例2.6例條件熵★條件熵：聯(lián)合集XY上，條件自信息I(y|x)的平均值條件熵★條件熵：聯(lián)合集XY上，條件自信息I(y|x)的平均2.7例隨機(jī)變量X和Y，符號(hào)集均為{0，1}解：

求H(Y|X)2.7例隨機(jī)變量X和Y，符號(hào)集均為{0，1}解：求H(Y|聯(lián)合熵★聯(lián)合熵：聯(lián)合集XY上，對(duì)聯(lián)合自信息I(xy)的平均值聯(lián)合熵★聯(lián)合熵：聯(lián)合集XY上，對(duì)聯(lián)合自信息I(xy)的平均2.7(續(xù))例由已知條件可得XY的聯(lián)合概率分布，如下表所示解：

求H(XY)Yp(xy)01X0102.7(續(xù))例由已知條件可得XY的聯(lián)合概率分布，如下表所示解熵的基本性質(zhì)★凸函數(shù)★信息散度★熵的基本性質(zhì)★各類(lèi)熵的關(guān)系★熵函數(shù)的唯一性熵的基本性質(zhì)★凸函數(shù)★信息散度★熵的基本性質(zhì)★各類(lèi)熵凸函數(shù){下面我們來(lái)定義凸函數(shù)LOOK一下凸函數(shù){下面我們來(lái)定義凸函數(shù)LOOK一下★對(duì)于α(0≤α≤1)及任意兩矢量x1,x2，有f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2)上凸函數(shù)(cap)x1x2若當(dāng)且僅當(dāng)x1=x2或α=0,1時(shí)等式成立嚴(yán)格上凸函數(shù)★對(duì)于α(0≤α≤1)及任意兩矢量x1,x2，有f[αx1+(1-α)x2]≤αf(x1)+(1-α)f(x2)下凸函數(shù)(cup)x1x2若當(dāng)且僅當(dāng)x1=x2或α=0,1時(shí)等式成立嚴(yán)格下凸函數(shù)★對(duì)于α(0≤α≤1)及任意兩矢量x1,x2，有上凸函數(shù)★定理：f(x)是區(qū)間上的實(shí)值連續(xù)嚴(yán)格上凸函數(shù)任意一組x1,x2,…,xq

λ1,λ2,…,λq，∑λk=1{當(dāng)且僅當(dāng)x1=x2=…=xq或λk=1（1≦k≦q）且λj=0（j≠k）時(shí)，等式成立Jenson不等式★定理：f(x)是區(qū)間上的實(shí)值連續(xù)嚴(yán)格上凸函數(shù)任意一組x證

利用數(shù)學(xué)歸納法。根據(jù)上凸函數(shù)的定義有

f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2) 其中0<α<1，即q=2時(shí)成立。 今假定q=n

成立。現(xiàn)考慮q=n+1的情況

設(shè),令 ,則 ,

證利用數(shù)學(xué)歸納法。根據(jù)上凸函數(shù)的定義有當(dāng)且僅當(dāng)x1=x2=…=xq或λk=1（1≦k≦q）且λj=0（j≠k）時(shí)，等式成立。當(dāng)且僅當(dāng)x1=x2=…=xq或λk=1（1≦k≦q）且λj★特別地，當(dāng)xk為離散信源符號(hào)的取值，λk為相應(yīng)的概率，f(x)為對(duì)數(shù)函數(shù)時(shí)，有★對(duì)于一般的凸函數(shù)有★特別地，當(dāng)xk為離散信源符號(hào)的取值，λk為相應(yīng)的概率，f1）在某區(qū)間的二階導(dǎo)數(shù)小于0，則在此區(qū)間內(nèi)為嚴(yán)格上凸函數(shù)。2）利用Jenson不等式★上凸函數(shù)的判定方法1）在某區(qū)間的二階導(dǎo)數(shù)小于0，則在此區(qū)間內(nèi)為嚴(yán)格上凸函數(shù)?！锵旅娼榻B另一個(gè)有用的不等式對(duì)于任意x，有：這是怎么得來(lái)的？{①x=1為穩(wěn)定點(diǎn)②x=1時(shí)，2階導(dǎo)數(shù)小于0x=1處有極大值y換成x下面介紹另一個(gè)有用的不等式對(duì)于任意x，有：這是怎么得來(lái)的？{信息散度★P和Q為定義在同一概率空間的兩個(gè)概率測(cè)度，則P相對(duì)于Q的散度：上式中，概率分布的維數(shù)不限，可以是一維，也可以是多維。信息散度★P和Q為定義在同一概率空間的兩個(gè)概率測(cè)度，則P相★定理：如果在一個(gè)共同的有限字母表的概率空間上給定的兩個(gè)概率測(cè)度P(x)和Q(x)當(dāng)且僅當(dāng)對(duì)所有x,P(x)=Q(x)時(shí),等式成立★定理：如果在一個(gè)共同的有限字母表的概率空間上給定的兩個(gè)概熵的基本性質(zhì)(1)★對(duì)稱(chēng)性：★非負(fù)性：★擴(kuò)展性：★可加性：p=(p1,p2,…,pn)中，各分量的次序可以任意改變自信息非負(fù)，熵為自信息的平均熵非負(fù)即：小概率事件對(duì)熵的影響很小，可以忽略H(XY)=H(X)+H(Y|X)H(X1X2…XN)=H(X1)+H(X2|X1)+…+H(XN|X1…XN-1)復(fù)合事件集合的不確定性為各個(gè)分事件集合的不確定性的和熵的基本性質(zhì)(1)★對(duì)稱(chēng)性：★非負(fù)性：★擴(kuò)展性：★找找假幣在哪里?一次稱(chēng)重的信息量為log3k次：klog3

3log3=log27>log24

熵的鏈原則舉例（12金幣問(wèn)題）找假幣在哪里?一次稱(chēng)重的信息量為log33log3=log2★極值性：熵的基本性質(zhì)(2)定理2.4.3(離散最大熵定理)對(duì)于離散隨機(jī)變量集合，當(dāng)集合中的事件等概率發(fā)生時(shí)，熵達(dá)到最大值證設(shè)隨機(jī)變量集合有n個(gè)符號(hào)，概率分布為P(x)；Q(x)為等概率分布，即Q(x)=1/n。根據(jù)散度不等式有★極值性：熵的基本性質(zhì)(2)定理2.4.3(離散最★確定性：★上凸性：熵的基本性質(zhì)(3)H(1,0)=H(1,0,0)=…=H(1,0,…0)=0。當(dāng)隨機(jī)變量集合中任一事件概率為1時(shí)，熵為0H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的嚴(yán)格的上凸函數(shù)★確定性：★上凸性：熵的基本性質(zhì)(3)H(1,0)=各類(lèi)熵的關(guān)系★條件熵不大于信息熵：定理

（熵的不增原理）在信息處理過(guò)程中，條件越多，熵越小。各類(lèi)熵的關(guān)系★條件熵不大于信息熵：定理（熵的不增原理）各類(lèi)熵的關(guān)系★聯(lián)合熵不大于單個(gè)信息熵的和：證明思路：熵的可加性

{★聯(lián)合熵與信息熵、條件熵的關(guān)系

H(XY)=H(X)+H(Y|X)

各類(lèi)熵的關(guān)系★聯(lián)合熵不大于單個(gè)信息熵的和：證明思路：熵的可熵函數(shù)的唯一性★是概率的連續(xù)函數(shù)★信源符號(hào)等概率時(shí)是n（信源符號(hào)數(shù)）的增函數(shù)★可加性如果要求熵函數(shù)滿(mǎn)足以下條件：那么，熵函數(shù)的表示是唯一的。熵函數(shù)的唯一性★是概率的連續(xù)函數(shù)★信源符號(hào)等概率時(shí)是n（§2.3平均互信息★平均互信息的定義★平均互信息的性質(zhì)★平均條件互信息§2.3平均互信息★平均互信息的定義★平均互信息的性集合與事件之間的互信息★集合X與事件y=bj之間的互信息：由事件y=bj提供的關(guān)于集合X的平均條件互信息（用條件概率平均）定理

I(X；y)≧0，

僅當(dāng)y與所有x獨(dú)立時(shí)，等式成立。

證根據(jù)散度的定義，有

僅當(dāng)對(duì)所有x，p(x)=p(x/y)時(shí)，等式成立,證畢。集合與事件之間的互信息★集合X與事件y=bj之間的互信息：平均互信息★集合X、Y之間的平均互信息：平均互信息★集合X、Y之間的平均互信息：平均互信息與熵的關(guān)系★I(X;Y)=H(X)-H(X|Y)★I(X;Y)=H(Y)-H(Y|X)★I(X;Y)=H(X)+H(Y)-H(XY)

平均互信息與熵的關(guān)系★I(X;Y)=H(X)-H(X|平均互信息的性質(zhì)★非負(fù)性：定理

：I(X;Y)≥0僅當(dāng)X，Y獨(dú)立時(shí)，等式成立證明思路：★互易性(對(duì)稱(chēng)性)：★凸函數(shù)性平均互信息的性質(zhì)★非負(fù)性：定理：I(X;Y★定理：

I(X;Y)為概率分布p(x)的上凸函數(shù)。證明思路：★定理：證明思路：二元信源X輸出符號(hào)為{0,1}，PX(0)=ω，條件概率分別為PY|X(0|0)=PY|X(1|1)=1-p，PY|X(1|0)=PY|X(0|1