信息論與編碼-第3講-信源及其信息量2-平均互信息

第1頁2024/4/14第二章信源及其信息量本章重點：信源的統(tǒng)計特性和數(shù)學(xué)模型、各類信源的信息測度—熵及其性質(zhì)。2.1單符號離散信源2.2多符號離散平穩(wěn)信源2.3連續(xù)信源2.4離散無失真信源編碼定理2.5小結(jié)ElectronicsEngineeringDepartment,XXXXXxxXxxx第2頁2024/4/142.1單符號離散信源2.1.1單符號離散信源的數(shù)學(xué)模型2.1.2信息量和信息熵2.1.3熵的基本性質(zhì)和定理2.1.4平均互信息量2.1.5

各種熵之間的關(guān)系第3頁2024/4/142.1.4平均互信息量

將信道的發(fā)送和接收端分別看成是兩個“信源”，則兩者之間的統(tǒng)計依賴關(guān)系（信道輸入和輸出之間）描述了信道的特性。(1)互信息量和條件互信息量(2)平均互信息量的定義(3)平均互信息量的物理含義(4)平均互信息量的性質(zhì)2.1單符號離散信源第4頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量②互信息的性質(zhì)③條件互信息量2.1單符號離散信源第5頁2024/4/14(1)互信息量和條件互信息量①互信息量互信息量定義：最簡單的通信系統(tǒng)模型：

X—信源發(fā)出的離散消息集合

Y—信宿收到的離散消息集合信源通過有干擾的信道發(fā)出消息傳遞給信宿；信宿事先不知道某一時刻發(fā)出的是哪一個消息，所以每個消息是隨機事件的一個結(jié)果。2.1.4平均互信息量2.1單符號離散信源第6頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量定義：信源X、信宿Y的數(shù)學(xué)模型為：2.1單符號離散信源第7頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量定義：先驗概率：信源發(fā)出消息xi的概率p(xi)。后驗概率：信宿收到y(tǒng)j后推測信源發(fā)出xi的概率：

p(xi/yj)2.1單符號離散信源第8頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量定義：互信息量：yj對xi的互信息量定義為后驗概率與先驗概率比值的對數(shù)。2.1單符號離散信源第9頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量舉例某地二月份天氣構(gòu)成的信源為：

收到消息y1：“今天不是晴天”

收到y(tǒng)1后：p(x1/y1)=0，p(x2/y1)=1/2

p(x3/y1)=1/4，p(x4/y1)=1/42.1單符號離散信源第10頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量舉例計算y1與各種天氣之間的互信息量對天氣x1，不必再考慮對天氣x2，對天氣x3,

對天氣x4，2.1單符號離散信源第11頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量舉例

結(jié)果表明從y1分別得到了x2，x3，x4各1比特的信息量；或者說y1

使x2，x3，x4的不確定度各減少量1比特。2.1單符號離散信源第12頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量的三種不同表達式

觀察者站在輸出端自信息量：對yj一無所知的情況下xi存在的不確定度；條件自信息量：已知yj

的條件下xi

仍然存在的不確定度；互信息量：兩個不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信息量。2.1單符號離散信源第13頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量的三種不同表達式

觀察者站在輸入端

觀察者得知輸入端發(fā)出xi前、后對輸出端出現(xiàn)yj的不確定度的差。2.1單符號離散信源第14頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量的三種不同表達式

觀察者站在通信系統(tǒng)總體立場上通信前：輸入隨機變量X和輸出隨機變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計獨立；

p(xiyj)=p(xi)p(yj)

先驗不確定度：2.1單符號離散信源第15頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量的三種不同表達式

觀察者站在通信系統(tǒng)總體立場上通信后：輸入隨機變量X和輸出隨機變量Y之間由信道的統(tǒng)計特性相聯(lián)系，其聯(lián)合概率密度：

p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/

yj)

后驗不確定度：2.1單符號離散信源第16頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量①互信息量互信息量的三種不同表達式

觀察者站在通信系統(tǒng)總體立場上通信后的互信息量，等于前后不確定度的差：這三種表達式實際上是等效的，在實際應(yīng)用中可根據(jù)具體情況選用一種較為方便的表達式。2.1單符號離散信源第17頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量②互信息的性質(zhì)Ⅰ.對稱性I(xi;yj)=I(yj;xi)

推導(dǎo)過程：2.1單符號離散信源第18頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量②互信息的性質(zhì)Ⅰ.對稱性互信息量的對稱性表明：兩個隨機事件的可能結(jié)果xi和yj之間的統(tǒng)計約束程度；從yj得到的關(guān)于xi的信息量I(xi;yj)與從xi得到的關(guān)于yj的信息量I(yj;xi)是一樣的，只是觀察的角度不同而已。2.1單符號離散信源第19頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量②互信息的性質(zhì)Ⅱ.相互獨立時的X和Y

這時：p(xiyj)=p(xi)p(yj)

互信息量為：表明xi和yj之間不存在統(tǒng)計約束關(guān)系，從yj得不到關(guān)于的xi任何信息，反之亦然。2.1單符號離散信源第20頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量②互信息的性質(zhì)Ⅲ.

互信息量可為正值或負(fù)值當(dāng)后驗概率大于先驗概率時，互信息量為正。當(dāng)后驗概率小于先驗概率時，互信息量為負(fù)。當(dāng)后驗概率與先驗概率相等時，互信息量為零。這就是兩個隨機事件相互獨立的情況。2.1單符號離散信源第21頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量②互信息的性質(zhì)Ⅲ.互信息量可為正值或負(fù)值舉例

bj：“閃電”事件，ai：各種與天氣有關(guān)的事件

a1：“打雷”事件，I(a1/bj)=0，I(a1;bj)=I(a1)>0

（閃電必打雷）

a2：“下雨”事件，I(a2;bj)>0

，I(a2/bj)<I(a2)（為下雨提供了一些信息量）

a3：“霧天”事件，I(a3;bj)=0，I(a3/bj)=I(a3)（閃電與霧無關(guān)）

a4：“飛機正點起飛”事件，I(a4/bj)>I(a4)，I(a4;bj)<02.1單符號離散信源第22頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量②互信息的性質(zhì)Ⅲ.互信息量可為正值或負(fù)值舉例

飛機能否正點起飛是一種不確定性，而天氣情況常常是這個不確定性的重要因素，閃電的出現(xiàn)增加了這種不確定性。2.1單符號離散信源第23頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量③條件互信息量消息xi與消息對

yjzk

之間的互信息量：條件互信息量定義：在給定zk條件下，xi與yj之間的互信息量。2.1單符號離散信源第24頁2024/4/142.1.4平均互信息量(1)互信息量和條件互信息量③條件互信息量

xi與yjzk

的互信息量：上式表明：一個聯(lián)合事件yjzk發(fā)生后所提供的有關(guān)xi的信息量

I(xi;yjzk)，等于zk發(fā)生后提供的有關(guān)xi的信息量I(xi;zk)與給定zk條件下再出現(xiàn)yj后所提供的有關(guān)xi的信息量I(xi;yj/zk)之和。2.1單符號離散信源第25頁2024/4/142.1.4平均互信息量(2)平均互信息量的定義互信息量I(xi;yj)

是定量研究信息流通問題的重要基礎(chǔ)。它是一個隨機變量，不能從整體上作為信道中信息流通的測度。2.1單符號離散信源第26頁2024/4/142.1.4平均互信息量(2)平均互信息量的定義平均互信息量定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計平均值（簡稱平均互信息/平均交互信息量/交互熵）。Y對X的平均互信息量：I(X;Y)X對Y的平均互信息：I(Y;X)2.1單符號離散信源第27頁2024/4/142.1.4平均互信息量(2)平均互信息量的定義平均互信息的第三種定義平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機性，成為一個確定的量。2.1單符號離散信源第28頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義①觀察者站在輸出端②觀察者站在輸入端③觀察者站在通信系統(tǒng)總體立場上2.1單符號離散信源第29頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義①觀察者站在輸出端H(X/Y)—信道疑義度/損失熵。Y關(guān)于X的后驗不確定度。表示收到變量Y后，對隨機變量X仍然存在的不確定度。代表了在信道中損失的信息。2.1單符號離散信源第30頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義①觀察者站在輸出端H(X)—X的先驗不確定度/無條件熵。I(X;Y)—收到Y(jié)前、后關(guān)于X的不確定度減少的量。從Y獲得的關(guān)于X的平均信息量。2.1單符號離散信源第31頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義①觀察者站在輸出端2.1單符號離散信源第32頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義②觀察者站在輸入端H(Y/X)—噪聲熵：表示發(fā)出隨機變量X后，對隨機變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲，發(fā)送端和接收端必存在確定的對應(yīng)關(guān)系，發(fā)出X后必能確定對應(yīng)的Y，而現(xiàn)在不能完全確定對應(yīng)的Y，這顯然是由信道噪聲所引起的。I(Y;X)—發(fā)出X前、后關(guān)于Y的先驗不確定度減少的量。2.1單符號離散信源第33頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義①觀察者站在輸出端2.1單符號離散信源第34頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義③觀察者站在通信系統(tǒng)總體立場上H(XY)—聯(lián)合熵：表示輸入隨機變量X，經(jīng)信道傳輸?shù)竭_信宿，輸出隨機變量Y。即收、發(fā)雙方通信后，整個系統(tǒng)仍然存在的不確定度。2.1單符號離散信源第35頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義③觀察者站在通信系統(tǒng)總體立場上I(X;Y)—通信前、后整個系統(tǒng)不確定度減少量。在通信前把X和Y看成兩個相互獨立的隨機變量，整個系統(tǒng)的先驗不確定度為X和Y的聯(lián)合熵H(X)+H(Y)；通信后把信道兩端出現(xiàn)X和Y看成是由信道的傳遞統(tǒng)計特性聯(lián)系起來的、具有一定統(tǒng)計關(guān)聯(lián)關(guān)系的兩個隨機變量，這時整個系統(tǒng)的后驗不確定度由H(XY)描述。2.1單符號離散信源第36頁2024/4/142.1.4平均互信息量(3)平均互信息量的物理含義結(jié)論以上三種不同的角度說明：從一個事件獲得另一個事件的平均互信息需要消除不確定度，一旦消除了不確定度，就獲得了信息。2.1單符號離散信源第37頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)①對稱性②非負(fù)性③極值性④凸函數(shù)性⑤數(shù)據(jù)處理定理2.1單符號離散信源第38頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)①對稱性I(X;Y)=I(Y;X)[證明]：根據(jù)互信息量的對稱性I(xi;yj)=I(yj;xi)結(jié)論：由Y提取到的關(guān)于X的信息量與從X中提取到的關(guān)于Y的信息量是一樣的。I(X;Y)和I(Y;X)只是觀察者的立足點不同。2.1單符號離散信源第39頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)②非負(fù)性自然對數(shù)性質(zhì)：lnx≤x－1，x>0，當(dāng)且僅當(dāng)x=1時取等號。2.1單符號離散信源第40頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)②非負(fù)性I(X;Y)≥02.1單符號離散信源第41頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)②非負(fù)性I(X;Y)≥0

當(dāng)且僅當(dāng)X和Y相互獨立，即：p(xiyj)=p(xi)p(yj)，

I(X;Y)=0

式中：

結(jié)論：平均互信息量不是從兩個具體消息出發(fā)，而是從隨機變量X和Y的整體角度出發(fā)，并在平均意義上觀察問題，所以平均互信息量不會出現(xiàn)負(fù)值。從一個事件提取關(guān)于另一個事件的信息，最壞的情況是0，不會由于知道了一個事件，反而使另一個事件的不確定度增加。2.1單符號離散信源第42頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)②非負(fù)性舉例

設(shè)閃電是B

系統(tǒng)中發(fā)生的一個事件。打雷，下雨，下霧和飛機正點起飛是系統(tǒng)

A中的事件。

閃電的發(fā)生給“正點起飛”帶來負(fù)信息，使其不確定性更大了；對其它事件，比如對“打雷”事件會消除全部不確定性；對“下雨”也通過了正信息，減少了不確定性?？傮w平均來說，閃電的發(fā)生，給系統(tǒng)

A提供了有利于解除不確定性的信息，故I(A;閃電)>0。2.1單符號離散信源第43頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)③極值性I(X;Y)≤H(X)I(Y;X)≤H(Y)[證明]：由于：I(X;Y)=H(X)－H(X/Y)≥0，I(Y;X)=H(Y)－H(Y/X)≥0,

H(Y/X)≥0，H(X/Y)≥0,

所以：I(X;Y)≤H(X)，I(Y;X)≤H(Y)從一個事件提取關(guān)于另一個事件的信息量，至多是另一個事件的熵那么多，不會超過另一個事件自身所含的信息量。2.1單符號離散信源第44頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)③極值性I(X;Y)≤H(X)I(Y;X)≤H(Y)[證明]：由于：I(X;Y)=H(X)－H(X/Y)≥0，I(Y;X)=H(Y)－H(Y/X)≥0,

H(Y/X)≥0，H(X/Y)≥0,

所以：I(X;Y)≤H(X)，I(Y;X)≤H(Y)當(dāng)X和Y是一一對應(yīng)關(guān)系時：I(X;Y)=H(X)，這時H(X/Y)=0。從一個事件可以充分獲得關(guān)于另一個事件的信息，從平均意義上來說，代表信源的信息量可全部通過信道。2.1單符號離散信源第45頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)③極值性I(X;Y)≤H(X)I(Y;X)≤H(Y)[證明]：由于：I(X;Y)=H(X)－H(X/Y)≥0，I(Y;X)=H(Y)－H(Y/X)≥0,

H(Y/X)≥0，H(X/Y)≥0,

所以：I(X;Y)≤H(X)，I(Y;X)≤H(Y)當(dāng)X和Y相互獨立時：H(X/Y)=H(X)，I(Y;X)=0。從一個事件不能得到另一個事件的任何信息，這等效于信道中斷的情況。2.1單符號離散信源第46頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性平均互信息量的數(shù)學(xué)特性：平均互信息量是p(xi)和p(yj/xi)的函數(shù)，即：

I(X;Y)=f[p(xi),p(yj/xi)]2.1單符號離散信源第47頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性平均互信息量的數(shù)學(xué)特性：若固定信道，調(diào)整信源，則平均互信息量I(X;Y)是p(xi)的函數(shù)，即I(X;Y)=f[p(xi)]；若固定信源，調(diào)整信道，則平均互信息量I(X;Y)是p(yj/xi)的函數(shù)，即I(X;Y)=f[p(yj/xi)]。2.1單符號離散信源第48頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性平均互信息量I(X;Y)是輸入信源概率分布p(xi)的上凸函數(shù)。上凸函數(shù)：同一信源集合{x1,x2,…,xn}，對應(yīng)兩個不同的概率分布p1(xi)和p2(xi)（i=1,2,…,n），若有小于1的正數(shù)0<α<1，使不等式：

f[αp1(xi)+(1－α)p2(xi)]≥αf[p1(xi)]+(1－α)f[p2(xi)]

成立，則稱函數(shù)f為p(xi)的上凸函數(shù)。如果式中僅有大于號成立，則稱f為嚴(yán)格的上凸函數(shù)。2.1單符號離散信源第49頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性平均互信息量I(X;Y)是輸入信源概率分布p(xi)的上凸函數(shù)。上凸函數(shù)：

I[αp1(xi)+(1－α)p2(xi)]≥αI[p1(xi)]+(1－α)I[p2(xi)]2.1單符號離散信源第50頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性平均互信息量I(X;Y)是輸入轉(zhuǎn)移概率分布p(yj/xi)的下凸函數(shù)。

下凸函數(shù)：I[αp1(yj/xi)+(1－α)p2(yj/xi)]≤αI[p1(yj/xi)]+(1－α)I[p2(yj/xi)]2.1單符號離散信源第51頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性舉例2.1單符號離散信源[例2.1.6]：設(shè)二進制對稱信道的輸入概率空間為：轉(zhuǎn)移概率如圖2.1.8所示。第52頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性舉例由信道決定的條件熵：2.1單符號離散信源第53頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性結(jié)論1當(dāng)q不變（固定信道特性）時，可得I(X;Y)隨輸入概率分布p變化的曲線，如圖2.1.9所示；二進制對稱信道特性固定后，輸入呈等概率分布時，平均而言在接收端可獲得最大信息量。2.1單符號離散信源第54頁2024/4/142.1.4平均互信息量(4)平均互信息量的性質(zhì)④凸函數(shù)性結(jié)論2當(dāng)固定信源特性

p時，I(X;Y)