信息論編碼例題

1、u 平均互信息的物理意義（1）Y對X的平均互信息* Y對X的平均互信息是對Y一無所知的情況下，X的先驗不定度與收到Y(jié)后關(guān)于X的后驗不定度之差，即收到Y(jié)前、后關(guān)于X的不確定度減少的量。 H(X/Y)表示收到隨機變量Y后，對隨機變量X仍然存在的不確定度，這是Y關(guān)于X的后驗不定度，通常稱它為信道疑義度或損失熵(代表了在信道中損失的信息)(2)X對Y的平均互信息* X對Y的平均互信息是Y的先驗不定度與發(fā)出X后關(guān)于Y的后驗不定度之差，即發(fā)X前、后關(guān)于Y的不確定度減少的量。H(Y/X)表示發(fā)出隨機變量X后，對隨機變量Y仍然存在的平均不確定度，常被稱為噪聲熵。(3) Y對X的平均互信息* 信道兩端隨機變量X

2、，Y之間的平均互信息量等于通信前、后整個系統(tǒng)不確定度減少的量。聯(lián)合熵表示輸入隨機變量X，經(jīng)信道傳輸?shù)竭_信宿，輸出隨機變量Y，即收發(fā)雙方通信后，整個系統(tǒng)仍然存在的不確定度。如果在通信前，我們把X，Y看成是兩個獨立的隨機變量，那么通信前，整個系統(tǒng)的先驗不定度即X和Y的聯(lián)合熵等于H(X)+H(Y)；通信后，我們把信道兩端同時出現(xiàn)X和Y看成是由信道的傳遞統(tǒng)計特性聯(lián)系起來的具有一定統(tǒng)計關(guān)聯(lián)關(guān)系的兩個隨機變量，這時整個系統(tǒng)的后驗不定度由H(XY)描述。例2.1.5將已知信源接到下圖所示的信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY)。 0.98

3、 0.02 0.2 0.8 解：（1）由求出各聯(lián)合概率： （2）由得到Y(jié)集各消息概率：（3）由，得到X的各后驗概率： 同樣可推出（4） =0.98(比特/符號)= 1.43（比特/符號）（5）平均互信息（6）疑義度（7）噪聲熵u 平均互信息的性質(zhì)-非負性先前考慮兩個具體消息之間的互信息量時，可能出現(xiàn)負值。而平均互信息量不是從兩個具體消息出發(fā)，而是從隨機變量X和Y的整體角度出發(fā)，并在平均意義上觀察問題，所以平均互信息量不會出現(xiàn)負值。當(dāng)且僅當(dāng)X和Y相互獨立時，等號成立。u 凸函數(shù)性顯然平均互信息是信源概率分布和表示輸入輸出之間關(guān)系的條件概率或稱信道傳遞概率分布的函數(shù)。若固定信道，調(diào)整信源：若固定信

4、源，調(diào)整信道：(1)平均互信息是輸入信源概率分布的上凸函數(shù) 所謂上凸函數(shù)，是指同一信源集合,對應(yīng)兩個不同的概率分布和,若有小于1的正數(shù),使不等式成立,則稱函數(shù)為的上凸函數(shù)。 令，因是和的線性組合，構(gòu)成一個新的概率分布（參見上節(jié)熵的上凸性的證明）。當(dāng)固定信道特性為時，由確定的平均互信息為根據(jù)熵的極值性有代入上式有僅當(dāng)=時，等號成立，一般情況下(2)平均互信息是信道轉(zhuǎn)移概率的下凸函數(shù) 固定信源，通過調(diào)整信道而得；即有兩個不同的信道特性和將信道兩端的輸入和輸出即X和Y聯(lián)系起來，如果用小于1的正數(shù)對和進行線性組合，得到信道特性：。所謂下凸函數(shù)即證法二：互信息I(U;V)是的上凸（凸）函數(shù)；是的下凸（凸

5、）函數(shù)。證明：為了證明方便，我們將互信息改寫為：當(dāng)條件概率不變時，這時，設(shè)：，即為與內(nèi)插值，其中，這時有所以要證明是的上凸函數(shù)，只需證：（按上凸函數(shù)定義），即： E f E f上凸性得證。再證下凸性，這時，可認為為不變值，則同理，可設(shè)：，而要證下凸性，只需證，即： E f E f下凸性亦得證。例2.1.6設(shè)二進制對稱信道的輸入概率空間為X 0 ,1P(x) p,1-p 信道轉(zhuǎn)移概率如下圖 0 q 0 1-q 1-q 1 1 q由信道特性決定的條件熵： 由可求得 平均互信息量 (1)在式（1）中，當(dāng)不變即固定信道特性時，可得隨輸入概率變化的曲線，如下圖所示。由圖可見，二進制對稱信道特性固定后，輸

6、入呈等概率分布時，平均而言在接收端可獲得最大信息量。 1-H(q) 0 0.5 1 p在式（1）中，當(dāng)固定信源特性時，平均互信息量就是信道特性的函數(shù)，其隨變化的曲線如下圖所示。由圖可見，當(dāng)二進制對稱信道特性=時，信道輸出端獲得信息量最小，即等于0。說明信源的全部信息都損失在信道中了。這是一種最差的信道。 H(p) 0 0.5 1 qu 數(shù)據(jù)處理定理信息不增性原理：在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。信道I信道III信道II X Y Z W 證明：假設(shè)Y條件下X與Z獨立證明：對式求數(shù)學(xué)期望得到與之間的平均互信息量和已知條件下，和之間的條件平均互信息量 （1）其中 （2）其

7、中。 式（1）減去（2）得到 (3)同理可得 (4)因為已假設(shè)在條件下與相互獨立，故有=0，由式(4)得 (5)(5)代入式(3)考慮到為非負量，則有同理可得結(jié)論：兩級串聯(lián)信道輸入與輸出消息之間的平均互信息量既不會超過第I級信道輸入與輸出之間的平均互信息量，也不會超過第II級信道輸入與輸出之間的平均互信息量。數(shù)據(jù)處理定理說明-當(dāng)對信號、數(shù)據(jù)或消息進行多級處理時，每處理一次，就有可能損失一部分信息，也就是說數(shù)據(jù)處理會把信號、數(shù)據(jù)或消息變成更有用的形式，但是決不會創(chuàng)造出新的信息。此即信息不增原理。如果我們想通過Y盡可能多地獲得關(guān)于X的消息，也就是想增加互信息量，必須付出代價。思考？至此，我們已討論了熵H(U)、H(V)，條件熵H(U/V)、H(V/U)，聯(lián)合熵H(U,V)以及互信息I(U;V)，它們之間可以用下列形象、直觀圖形表示： H(U,V)H(U/V) I(U;V) H(V/U) H(U) H(V) 作業(yè)二習(xí)題5.證明平穩(wěn)信源有，并說明等式成立的條件。（pp71 2.16）習(xí)題6.證明（pp71 2.17）習(xí)題7.設(shè)有一個信源，它產(chǎn)生0、1序列的消息。它在任意時間而且不論以前發(fā)生過什么符號，均按P（0）=0.4,P(1)=0.6的概率發(fā)出信號。（1） 試問這個信源是否平穩(wěn)的？（2） 試計算及。（3） 試