數(shù)據(jù)處理中信息的變化教學(xué)提綱課件

數(shù)據(jù)處理中信息的變化..而且(2){又由I(X;YZ)＝I(X;Y)＋I(xiàn)(X;Z/Y)

和I(X;YZ)＝I(X;ZY)＝I(X;Z)＋I(xiàn)(X;Y/Z)

得:I(X;Z)=I(X;Y)＋I(xiàn)(X;Z/Y)-I(X;Y/Z)綜合(1)、(2)得：I(X;Z)I(X;Y)將I(YZ;X)＝I(Y;X)＋I(xiàn)(Z;X/Y)中的X代替Y、Y代替Z、Z代替X得I(XY;Z)＝I(X;Z)＋I(xiàn)(Y;Z/X)（＊）再將式（＊）右邊的X和Y互換得：I(XY;Z)＝I(Y;Z)＋I(xiàn)(X;Z/Y)（＊＊）7/29/20232由式（＊）和（＊＊）得：I(X;Z)＋I(xiàn)(Y;Z/X)=I(Y;Z)＋I(xiàn)(X;Z/Y)所以，有I(X;Z)=I(Y;Z)＋I(xiàn)(X;Z/Y)-I(Y;Z/X)I(X;Z)I(Y;Z)■綜合(1)、(2)得：證畢。

結(jié)論：數(shù)據(jù)處理過程中只會(huì)失掉一些信息，絕不會(huì)創(chuàng)造出新的信息，所謂信息不增性。

7/29/20233非負(fù)性H（X）＝H（x1，x2，…，xn）>=0其中：等號(hào)只有在n=1時(shí)成立。證明：

（1）因?yàn)?，且在熵函?shù)中，對(duì)數(shù)的底總是取大于1的數(shù)，則logp(xi)〈=0，-logp(xi)>=0，（i=1,2,…,n）,

所以

2.2.5熵函數(shù)的代數(shù)性質(zhì)7/29/20234在熵函數(shù)中，當(dāng)n=1時(shí),p(x1)=1,logp(x1)=0,

H(X)=H(x1)=p(x1)logp(x1)=0證畢。說明：

（i）這就是熵函數(shù)的非負(fù)性。表明，從總體平均意義上講，信源在發(fā)送符號(hào)以前，總是存在一定的不確定性；在發(fā)送符號(hào)后，總可以提供一定的信息量。（ii）從數(shù)學(xué)角度上看，信息熵具有非負(fù)性的關(guān)鍵，在于信息函數(shù)中對(duì)數(shù)的底取大于1的數(shù)。熵的非負(fù)性并非必要條件。這種非負(fù)性對(duì)于離散信源的信息熵是合適的，但對(duì)于連續(xù)信源來講，在相對(duì)熵的概念下，就可能出現(xiàn)負(fù)值。7/29/202352．對(duì)稱性

熵函數(shù)所有變?cè)樞蚩梢匀我饣Q，而熵函數(shù)的值不變。即H（x1，x2，…，xn）＝H（x2，x1，…，xn）＝H（xn，x1，…，x2）＝…因?yàn)殪睾瘮?shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)，例如下列信源的熵都是相等的：

7/29/20236證明：由根據(jù)加法交換律，熵函數(shù)所有變?cè)樞蚩梢匀我饣Q，而熵函數(shù)的值不變。說明(1)熵函數(shù)的對(duì)稱性表明,信源的信息熵只與信源的概率空間的總體結(jié)構(gòu)有關(guān),而與各概率分量和各信源符號(hào)的對(duì)應(yīng)關(guān)系,乃至各信源符號(hào)本身無關(guān).(2)概率空間的總體結(jié)構(gòu)(概率分量數(shù)n)相同的信源,不論其信源符號(hào)是否相同,也不論其概率分量與信源符號(hào)的對(duì)應(yīng)關(guān)系是否一致,其信源的信息熵均相等.7/29/20237分析概率分量數(shù)都等于3,概率空間都是由1/2,1/3,1/6這三個(gè)分量構(gòu)成。由于這三個(gè)信源的概率空間的總體結(jié)構(gòu)相同,所以他們的信息熵相等.即H(1/3,1/2,1/6)=H(1/3,1/6,1/2)=H(1/2,1/3,1/6)=1.4592比特/信源符號(hào)7/29/202383.確定性若信源X的概率空間中任意一概率分量等于1時(shí),其它所有概率分量均等于零,即

則信源X的信息熵一定等于0,即H(x)=H(0,0,…,1,…,0)=-{0log0+0log0+…+1log1+…+0log0}=07/29/20239說明當(dāng)信源任意一個(gè)符號(hào)幾乎必然出現(xiàn)時(shí),其它符號(hào)幾乎不可能出現(xiàn),這個(gè)信源是一個(gè)確知信源.在發(fā)符號(hào)前,不存在不確定性;在發(fā)符號(hào)后,不提供任何信息量.當(dāng)任意一個(gè)概率分量等于1時(shí),才能使信源信息熵等于0.7/29/2023104．香農(nóng)輔助定理

對(duì)于任意兩個(gè)n維概率矢量P=（p1，p2，…，pn）和Q=（q1，q2，…，qn），如下不等式成立:該式表明，對(duì)任意概率分布pi，它對(duì)其他概率分布qi的自信息量-logqi取數(shù)學(xué)期望時(shí)，必不小于pi本身的熵。等號(hào)僅當(dāng)P=Q時(shí)成立。

7/29/2023115．最大離散信源熵定理

給定離散無記憶信源輸出n個(gè)不同的信息符號(hào)，離散信源的n個(gè)概率分量p1,p2,…,pn,當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)（即pi＝l／n）熵最大。H（X）<=H(1/n,1/n,…,1/n)=logn

7/29/202312證明:按條件極值的數(shù)學(xué)求解方法，做輔助函數(shù)（約束條件)F(p1,p2,…pn)=H(p1,p2,…,pr)+λ[∑pi–1]=-∑pi㏒pi+λ[∑pi–1]

其中，λ為待定常數(shù)，對(duì)輔助函數(shù)F(p1,p2,…pn)中的n個(gè)變量pi（i=1,2,…,n）分別求偏導(dǎo)，并置之為零，得n個(gè)穩(wěn)定點(diǎn)方程-（1+㏒pi）+λ=0（i=1,2,…,n）

7/29/202313由穩(wěn)定點(diǎn)方程可解得pi=2(λ-1)

（i=1,2,…,n）

將上式代入約束方程，有

∑pi=∑2(λ-1)=n?2(λ-1)=1

即得

2(λ-1)=1/n解得使熵函數(shù)H(p1,p2,…pn)取得條件極大值，即熵函數(shù)H(p1,p2,…pn)的最大值的信源符號(hào)xi（i=1,2,…,n）相應(yīng)的概率分布pi=1/n

7/29/202314由此，求得熵函數(shù)的最大值H0(p1,p2,…pn)=H(1/n,1/n,…,1/n)=–∑1/n㏒1/n=㏒n在一般情況下，離散信源的熵函數(shù)不會(huì)超過上式所示的最大值，即有H(p1,p2,…pn)≤㏒n

7/29/2023156．條件熵小于無條件熵

條件熵小于信源熵：H(X/Y)<=H(X)。當(dāng)且僅當(dāng)X和Y相互獨(dú)立時(shí)，p(x/y)＝p(x)，取等號(hào)。

證明:由I（X;Y）＝H（X）一H（X／Y）知I（X;Y）>=0,所以,H（X）一H（X／Y）>=0H（X）>=H（X／Y）7/29/202316兩個(gè)條件下的條件熵小于一個(gè)條件下的條件熵：H（Z／XY）<=H（Z／Y）。當(dāng)且僅當(dāng)p(z/xy)=p(z/y)時(shí)取等號(hào)。證明:由I(Z;Y)=H(Z)-H(Z/Y)所以I(Z/Y;X)=H(Z/Y)-H(Z/YX)又有I(Z/Y;X)≥0所以H(Z)-H(Z/XY)≥0H(Z/XY)<=H(Z/Y)

7/29/202317聯(lián)合熵小于信源熵之和：H(XY)H（X）+H（Y）。當(dāng)且僅當(dāng)兩個(gè)集合相互獨(dú)立時(shí)取等號(hào)，此時(shí)可得聯(lián)合熵的最大值，即H（XY）max=H（X）+H（Y）。7/29/202318證明:

由H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）

有2H（XY）＝H（X）＋H（Y）+H（Y／X）＋H（X／Y）(i)

由I（X；Y）＝H（X）一H（X／Y）I（Y；X）=H（Y）一H（Y／X）I（Y；X）=I（X；Y）

有

2I（X；Y）=H（X）＋H（Y）-H（Y／X）-H（X／Y）(ii)7/29/202319由(i)和(ii)知:

2H（XY）+2I（X；Y）＝2H（X）＋2H（Y）所以I（X；Y）＝H（X）＋H（Y)-H（XY）又I（X；Y）>=0所以H（X）＋H（Y）>=H（XY）

7/29/202320互信息量與熵之間的關(guān)系圖H(X/Y)H(Y/X)I(X;Y)H(X)H(Y)H(XY)7/29/202321H（XY）=H（X）＋H（Y/X）=H（Y）＋H（X／Y）H（X）H（X／Y），H（Y）H（Y／X）I（X；Y）=H（X）-H（X／Y）=H（Y）-H（Y／X）=H（X）＋H（Y）H（XY）H（XY）H（X）＋H（Y）如果X與Y互相獨(dú)立，則I（X；Y）＝0

此時(shí)：H（XY）＝H（X）+H（Y）H（X）＝H（X／Y）H（Y）＝H（Y／X）從圖中可得到如下關(guān)系7/29/202322例2－2－6

二進(jìn)制通信系統(tǒng)用符號(hào)“0”和“1”，由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表示下列事件：u0:發(fā)出一個(gè)“0”；u1：發(fā)出一個(gè)“1”；v0：收到一個(gè)“0”；v1：收到一個(gè)“1”。

7/29/202323給定下列概率：p（u0）=1/2,p（v0／u0）＝3/4，p（v0／u1）＝1/2，求（1）已知發(fā)出一個(gè)“0”，收到符號(hào)后得到的信息量；（2）已知發(fā)出的符號(hào)，收到符號(hào)后得到的信息量；（3）知道發(fā)出的和收到的符號(hào)能得到的信息量；（4）已知收到的符號(hào)，被告知發(fā)出的符號(hào)得到的信息量。7/29/202324解：設(shè)U={u0,u1},V={v0,v1},（1）先求出p(v1/u0)=1–p(v0/u0)=1/4

所以

H(V/u0)=–p(v0/u0)log2p(v0/u0)–p(v1/u0)log2p(v1/u0)=H(1/4,3/4)=0.82比特/符號(hào)7/29/202325（2）聯(lián)合概率p（u0v0）＝p（v0/u0）p（u0）＝3/8，

同理可得p（u0v1）＝p（v1/u0）p（u0）=1／8，p（u1v0）=p（v0/u1）p（u1）=1／4，p（u1v1）＝p（v1/u1）p（u1）=1／47/29/202326H（V／U）==0.91比特/符號(hào)7/29/202327（3）解法1：

H（UV）=

=-p(u0v0)log2p(u0v0)-p(u0v1)log2p(u0v1)-p(u1v0)log2p(u1v0)-p(u1v1)log2p(u1v1)=1.91比特/符號(hào)7/29/202328解法2：

因?yàn)閜（u0）=p（u1）=1/2，

所以H(U)=-p（u0)log2p（u0）-p（u1)log2p（u1）=1比特/符號(hào)H（UV）＝H（U）＋H（V／U）=1＋0.91＝1.91比特/符號(hào)

7/29/202329(4）可求出p(v0)=p(u0v0)+p(u1v0)=3/8+1/4=5/8p(v1)=p(u0v1)+p(u1v1)=1/8+1/4=3/8H（V）=H（3/8，5/8）=0.96比特/符號(hào)H（UV）=H（V）+H（U/V）H（U/V）=H（UV）-H（V）=1.91-0.96=0.95比特/符號(hào)

7/29/202330第三講2002年4月29日7/29/202331條件熵定義在給定Y（即各個(gè)yj）條件下，X集合的條件熵H（X/Y）定義為H（X/Y）在給定X（即各個(gè)xi）條件下，Y集合的條件熵H（Y/X）定義為H（Y/X）回顧第二講7/29/202332聯(lián)合熵定義聯(lián)合熵是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值。定義為H（XY）回顧第二講7/29/202333回顧第二講什么叫互信息量?什么叫平均互信息量?I（xi;yj）=log

7/29/202334數(shù)據(jù)處理定理如何描述?

當(dāng)消息通過多級(jí)處理器時(shí)，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。7/29/202335熵函數(shù)的代數(shù)性質(zhì):1.非負(fù)性2.對(duì)稱性H（x1，x2，…，xn）＝H（x2，x1，…，xn）＝H（xn，x1，…，x2）＝…H（X）＝H（x1，x2，…，xn）≥07/29/2023363.確定性H(x)=H(0,0,…,1,…,0)=-{0log0+0log0+…+1log1+…+0log0}=04.

香農(nóng)輔助定理7/29/2023375.最大熵定理

6.

條件熵小于無條件熵7/29/202338今天所講內(nèi)容如下7/29/2023392.3.1連續(xù)信源的熵

什么叫連續(xù)信源熵?

分析如下:

假設(shè)x［a,b］，令△x＝(b-a)／n，xi［a＋(i-1)△x,a＋i△x]，px(x)為連續(xù)變量X的概率密度函數(shù)，則利用中值定理,X取xi的概率是:第三節(jié)連續(xù)信源的熵和互信息7/29/202340根據(jù)離散信源熵的定義，則當(dāng)n時(shí)，即時(shí)，由積分定義得7/29/202341上式的第一項(xiàng)具有離散信源熵的形式，是定值，第二項(xiàng)為無窮大。因此,連續(xù)信源熵(也叫相對(duì)熵)定義為:7/29/202342說明:為什么連續(xù)信源的不確定度為無窮大?雖然連續(xù)信源熵與離散信源熵具有相同的形式，但其意義不同。連續(xù)信源的不確定度應(yīng)為無窮大，這是因?yàn)檫B續(xù)信源可以假設(shè)是一個(gè)不可數(shù)的無限多個(gè)幅度值的信源，需要無限多個(gè)二進(jìn)制比特來表示，因而它的熵為無窮大(絕對(duì)熵)。但采用上式來定義連續(xù)信源的熵是因?yàn)樵趯?shí)際問題中，常遇到的是熵之間的差，如互信息量，只要兩者逼近時(shí)所取的△x一致，上式中第二項(xiàng)無窮大量是抵消的。

7/29/202343

0123x1/2Px(x)（a）信源輸出信號(hào)概率密度例2-3-1已知信源概率密度，求連續(xù)熵？由圖（a）得

7/29/202344

0123456x1/4Px(x)（b）信源輸出信號(hào)被放大2倍后概率密度由圖（b）得

7/29/202345說明：

圖（b）是圖（a）的放大，計(jì)算結(jié)果表明信息量增加了，這是荒謬的。因?yàn)檫@兩種情況的絕對(duì)熵是不會(huì)變的，這是由無窮大項(xiàng)所造成的，圖（b）比（a）大了1比特。因此Hc（X）給出的熵有相對(duì)意義，而不是絕對(duì)值。

7/29/202346連續(xù)信源聯(lián)合相對(duì)熵連續(xù)信源條件相對(duì)熵

7/29/2023472.互信息量

Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc(X/Y)I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X/Y)＝Hc(X)＋Hc(Y)-Hc(XY)＝Hc(Y)-Hc(Y/X)7/29/2023482.3.2連續(xù)信源最大相對(duì)熵定理

問題:在連續(xù)信源中，當(dāng)概率密度函數(shù)滿足什么條件時(shí)才能使連續(xù)信源相對(duì)熵最大？

7/29/202349峰值功率受限的最大相對(duì)熵定理

對(duì)于定義域?yàn)橛邢薜碾S機(jī)矢量X，當(dāng)它是均勻分布時(shí)，其熵最大。證明:已知變量X的幅度取值限制在[a,b]，則由，有，對(duì)于由拉格郎日乘數(shù)法知7/29/202350令

∵∵有7/29/202351當(dāng)任意符合平均分布條件時(shí)，信源達(dá)到最大熵。

∴7/29/202352限平均功率最大相對(duì)熵定理

對(duì)于相關(guān)矩陣一定的隨機(jī)矢量X，當(dāng)它是正態(tài)分布時(shí)具有最大相對(duì)熵。

定理：對(duì)于單維連續(xù)信源X來說，在取值區(qū)間[a,b]（或R)內(nèi)，若有這樣一個(gè)概率密度函數(shù)

對(duì)另一個(gè)滿足同樣約束條件的概率密度函數(shù)

，如有則這個(gè)概率密度函數(shù)就是使單維連續(xù)信源X的相對(duì)熵達(dá)到最大值的概率密度函數(shù)，其最大相對(duì)熵是：7/29/202353證明:設(shè)：連續(xù)信源X在整個(gè)實(shí)數(shù)軸R:（-∞，∞）取值，其平均功率限定為P(均值固定為m)。若是滿足平均功率限定條件（均值固定為m）的除了正態(tài)分布的概率密度函數(shù)以外的任一概率密度函數(shù)，即有

7/29/202354

若把連續(xù)信源X在取值區(qū)間（-∞，∞）內(nèi)滿足平均功率限定條件（均值固定為m）的正態(tài)分布的概率密度函數(shù)記為,則有=1（4）

=m（5）

=P（6）

7/29/202355

符合約束條件（4）和（5）及（6）式的正態(tài)分布的概率密度函數(shù)其中：m為數(shù)學(xué)期望，是方差

7/29/202356

（7）

由于平均功率P是限定值（均值固定為m），所以方差也是限定值

7/29/202357由(1),(2),和(3)及(4)式可有

7/29/20