2.2平均互信息量.doc

2.2平均互信息量現(xiàn)在來一般地研究平均互信息量。2.2.1平均互信息量的定義定義互信息量在聯(lián)合概率空間中的統(tǒng)計平均值作為平均互信息量：(2.2.1)考慮到條件概率與聯(lián)合概率之間的關(guān)系式：容易推出：(2.2.3) 2.2.2平均互信息量的物理意義可以從三個不同的角度觀察平均互信息。（1）由式（2.2.3）得：（2）由式（2.2.2）得：（3）由式（2.2.3）得 例2.2.1仍以例2.1.5為例，驗證式（2.2.4），（2.2.5），（2.2.6）的正確性。u 平均互信息的物理意義（1）Y對X的平均互信息* Y對X的平均互信息是對Y一無所知的情況下，X的先驗不定度與收到Y(jié)后關(guān)于X的后驗不定度之差，即收到Y(jié)前、后關(guān)于X的不確定度減少的量。 H(X/Y)表示收到隨機變量Y后，對隨機變量X仍然存在的不確定度，這是Y關(guān)于X的后驗不定度，通常稱它為信道疑義度或損失熵(代表了在信道中損失的信息)(2)X對Y的平均互信息* X對Y的平均互信息是Y的先驗不定度與發(fā)出X后關(guān)于Y的后驗不定度之差，即發(fā)X前、后關(guān)于Y的不確定度減少的量。H(Y/X)表示發(fā)出隨機變量X后，對隨機變量Y仍然存在的平均不確定度，常被稱為噪聲熵。(3) Y對X的平均互信息* 信道兩端隨機變量X，Y之間的平均互信息量等于通信前、后整個系統(tǒng)不確定度減少的量。聯(lián)合熵表示輸入隨機變量X，經(jīng)信道傳輸?shù)竭_信宿，輸出隨機變量Y，即收發(fā)雙方通信后，整個系統(tǒng)仍然存在的不確定度。如果在通信前，我們把X，Y看成是兩個獨立的隨機變量，那么通信前，整個系統(tǒng)的先驗不定度即X和Y的聯(lián)合熵等于H(X)+H(Y)；通信后，我們把信道兩端同時出現(xiàn)X和Y看成是由信道的傳遞統(tǒng)計特性聯(lián)系起來的具有一定統(tǒng)計關(guān)聯(lián)關(guān)系的兩個隨機變量，這時整個系統(tǒng)的后驗不定度由H(XY)描述。例將已知信源接到下圖所示的信道上，求在該信道上傳輸?shù)钠骄バ畔⒘縄(X;Y)、疑義度H(X/Y)、噪聲熵H(Y/X)和聯(lián)合熵H(XY)。 0.98 0.02 0.2 0.8 解：（1）由求出各聯(lián)合概率： （2）由得到Y(jié)集各消息概率：（3）由，得到X的各后驗概率： 同樣可推出（4） =0.98(比特/符號)= 1.43（比特/符號）（5）平均互信息（6）疑義度（7）噪聲熵例設(shè)二進制對稱信道的輸入概率空間為，信道轉(zhuǎn)移概率如下圖 0 q 0 1-q 1-q 1 1 q由信道特性決定的條件熵： 由可求得 平均互信息量 (1)在式（1）中，當(dāng)不變即固定信道特性時，可得隨輸入概率變化的曲線，如下圖所示。由圖可見，二進制對稱信道特性固定后，輸入呈等概率分布時，平均而言在接收端可獲得最大信息量。 1-H(q) 0 0.5 1 p在式（1）中，當(dāng)固定信源特性時，平均互信息量就是信道特性的函數(shù)，其隨變化的曲線如下圖所示。由圖可見，當(dāng)二進制對稱信道特性=時，信道輸出端獲得信息量最小，即等于0。說明信源的全部信息都損失在信道中了。這是一種最差的信道。 H(p) 0 0.5 1 q2.2.3平均互信息量的性質(zhì)這里只是羅列出平均互信息量的所有性質(zhì)，并加以簡要說明。1對稱性2非負性3極值