信息論第二章信息的度量

關(guān)于信息論第二章信息的度量第一頁，共八十八頁，2022年，8月28日內(nèi)容提要：根據(jù)香農(nóng)對(duì)于信息的定義，信息是一個(gè)系統(tǒng)不確定性的度量，尤其在通信系統(tǒng)中，研究的是信息的處理、傳輸和存儲(chǔ)，所以對(duì)于信息的定量計(jì)算是非常重要的。本章主要從通信系統(tǒng)模型入手，研究離散情況下各種信息的描述方法及定量計(jì)算，討論它們的性質(zhì)和相互關(guān)系。第2章信息的度量第二頁，共八十八頁，2022年，8月28日2.1自信息量和互信息量

一個(gè)事件的自信息量就是對(duì)其不確定性的度量?；バ畔⒘縿t表明了兩個(gè)隨機(jī)事件的相互約束程度。

對(duì)于隨機(jī)事件集X={x1，x2，…，xi，…，xI}中的隨機(jī)事件xi，其出現(xiàn)概率記為q(xi)，將兩個(gè)事件xi,yj同時(shí)出現(xiàn)的概率記為p(xiyj)，則q(xi)，p(xiyj)應(yīng)滿足：相應(yīng)的條件概率為第三頁，共八十八頁，2022年，8月28日信息量直觀的定義為：收到某消息獲得的信息量=不確定性減少的量將某事件發(fā)生所得到的信息量記為I(x)，I(x)應(yīng)該是該事件發(fā)生的概率的函數(shù)，即I(x)=f[q(x)]2．1．1自信息量和條件自信息量第四頁，共八十八頁，2022年，8月28日自信息量

聯(lián)合自信息量條件自信息量信息量第五頁，共八十八頁，2022年，8月28日1．自信息量

直觀地看，自信息量的定義應(yīng)滿足以下四點(diǎn)：a.I(x)應(yīng)該是q(x)的單調(diào)遞減函數(shù)：概率小的事件一旦發(fā)生賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量??；b.信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各事件自信息量之和；c.當(dāng)q(x)=1時(shí)，I(x)=0：表示確定事件發(fā)生得不到任何信息；

d.當(dāng)q(x)=0時(shí)，I(x)→∞：表示不可能事件一旦發(fā)生，信息量將無窮大。

第六頁，共八十八頁，2022年，8月28日綜合上述條件，將自信息量定義為:

(2-1)

自信息量的單位與log函數(shù)所選用的對(duì)數(shù)底數(shù)有關(guān)，如底數(shù)分別取2、e、10，則自信息量單位分別為：比特、奈特、哈特第七頁，共八十八頁，2022年，8月28日一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元(0,1)所包含的自信息量為1bit。第八頁，共八十八頁，2022年，8月28日【例2.3】若盒中有6個(gè)電阻，阻值為1Ω、2Ω、3Ω的分別為2個(gè)、1個(gè)、3個(gè)，將從盒子中取出阻值為iΩ的電阻記為事件（i=1，2，3），則事件集X={x1,

x2,x3}，其概率分布計(jì)算出各事件的自信息量列表2-1如下：消息xi

x1

x2

x3

概率分布q(xi)

1/3

1/6

1/2

自信息量I(xi)

log3

log6

log2

第九頁，共八十八頁，2022年，8月28日自信息量具有下列性質(zhì): 圖2.1 對(duì)數(shù)曲線1是非負(fù)值。第十頁，共八十八頁，2022年，8月28日23的單調(diào)遞減函數(shù)。4自信息量第十一頁，共八十八頁，2022年，8月28日自信息量I(xi)代表兩種含義：1.事件xi發(fā)生以前，表示事件發(fā)生的先驗(yàn)不確定性2.當(dāng)事件xi發(fā)生以后，表示事件xi所能提供的最大信息量（在無噪情況下）第十二頁，共八十八頁，2022年，8月28日二維聯(lián)合集XY上元素xi

yj的聯(lián)合自信息量I(xi

yj)定義為：(2-3)

2.聯(lián)合自信息量其中),,2,1;,,2,1(1)(0mjnibapjiLL==￡￡第十三頁，共八十八頁，2022年，8月28日3.條件自信息量在已知事件yj條件下,隨機(jī)事件xi發(fā)生的概率為條件概率φ(xi︱yj),條件自信息量定義為：

(2-5)代入式自信息量的公式就有第十四頁，共八十八頁，2022年，8月28日

聯(lián)合自信息量和條件自信息也滿足非負(fù)和單調(diào)遞減性，同時(shí)，它們也都是隨機(jī)變量。自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系式：4.聯(lián)合自信息量和條件自信息量間的關(guān)系第十五頁，共八十八頁，2022年，8月28日【例2.6】某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每個(gè)單元住有12戶，甲要到該住宅區(qū)找他的朋友乙，若：1.

甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？

2.

甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶號(hào)：（1）甲找到乙這一事件是二維聯(lián)合集XY上的等概分布，這一事件提供給甲的信息量為

I(xiyj)=-log

p(xiyj)

=

log60=5.907（比特）

（2）在二維聯(lián)合集XY上的條件分布概率為，這一事件提供給甲的信息量為條件自信息量I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

第十六頁，共八十八頁，2022年，8月28日1.互信息量信源符號(hào)X={x1，x2，…，xI}

，xi∈{a1,a2,…,ak}，i=1,...,I。信宿方接收到符號(hào)Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。圖2－1簡(jiǎn)單的通信模型{x1，x2，…xI}{y1，y2，…yJ}信源符號(hào)集{a1,a2,…,ak}信源

{b1,b2,…,bD}信宿符號(hào)集干擾信道信宿2．1．2互信息量和條件互信息量第十七頁，共八十八頁，2022年，8月28日事件xi是否發(fā)生具有不確定性，用I(xi)度量。接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi︱yj)度量。觀察事件前后，這兩者之差就是通信過程中所獲得的信息量，用I(xi;yj)表示：。注：式（2-6）的I(xi；yj)

和式（2-3）的I(xiyj)的區(qū)別在于：前者是事件xi∈X和事件yj∈Y之間的互信息量，后者是二維空間XY

上元素xiyj的自信息量。稱(2-6)式為事件xi和事件yj之間的互信息量。（2-6）第十八頁，共八十八頁，2022年，8月28日根據(jù)概率互換公式p(xi

yj)=p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj)

互信息量I(xi;yj)有多種表達(dá)形式:

(2-7)

(2-8)第十九頁，共八十八頁，2022年，8月28日先驗(yàn)不定度（聯(lián)合自信息量）發(fā)送接收物理解釋：通信前第二十頁，共八十八頁，2022年，8月28日后驗(yàn)不定度

通信后發(fā)送接收第二十一頁，共八十八頁，2022年，8月28日

這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差第二十二頁，共八十八頁，2022年，8月28日將事件互信息量的概念推廣至多維空間： 在三維XYZ聯(lián)合集中，有：

I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)（2-9）

類似，在N維U1U2…UN聯(lián)合空間,有：I(u1;u2u3…uN)=I(u1;u2)+I(u1;u3︱u2)+…

+I(u1;ui︱u2…ui-1)+…+I(u1;uN︱u2…uN-1) （2-10）

第二十三頁，共八十八頁，2022年，8月28日三維XYZ聯(lián)合集中，在給定條件zk的情況下,

xi

,yj的互信息量I(xi;yj︱zk)定義為：

（2-11）2．條件互信息量第二十四頁，共八十八頁，2022年，8月28日3．互信息量的性質(zhì)

（1）互易性————對(duì)稱性

I(xi;yj)=I(yj;xi)(2-12)

（2）可加性：第二十五頁，共八十八頁，2022年，8月28日（4）互信息量I(xi;yj)可以是正數(shù)，也可以是負(fù)數(shù)。

（3）當(dāng)xi

,yj統(tǒng)計(jì)獨(dú)立時(shí)，互信息量I(xi;yj)=0及條件互信息量（5）兩個(gè)事件的互信息量不大于單個(gè)事件的自信息量，即有： （2-13）

第二十六頁，共八十八頁，2022年，8月28日【例2.8】信源包含7個(gè)消息x0,x1,x2,x3,x4,x5,x6

信源編碼器將其對(duì)應(yīng)編成7個(gè)三位二進(jìn)制數(shù)000，001,…,110。各消息的先驗(yàn)概率已知，在接收過程中，每收到一個(gè)數(shù)字，各消息的后驗(yàn)概率都相應(yīng)地發(fā)生變化?？紤]在接受100三個(gè)數(shù)字的過程中，各后驗(yàn)概率的變化，計(jì)算信息量I(x4;100)。信源消息碼字消息先驗(yàn)概率消息后驗(yàn)概率收到1后收到10后收到100后x0

0001/16000x1

0011/16000x2

0101/16000x3

0111/16000x4

1001/22/34/51x5

1011/81/61/50x61101/81/600表2-4為7個(gè)三位二進(jìn)制數(shù)對(duì)應(yīng)的各種概率。第二十七頁，共八十八頁，2022年，8月28日根據(jù)給定的先驗(yàn)概率，可算出： P(x4︱100)=1第二十八頁，共八十八頁，2022年，8月28日將各種后驗(yàn)概率的計(jì)算結(jié)果列于表2-3中，再根據(jù)式（2-10）計(jì)算出互信息量：I(x4;100)=I(x4;1)+I(x4;0︱1)+I(x4;0︱10)

(比特)

也可直接計(jì)算出：(比特)第二十九頁，共八十八頁，2022年，8月28日2．2離散集的平均自信息量

信源熵熵條件熵聯(lián)合熵第三十頁，共八十八頁，2022年，8月28日2．2離散集的平均自信息量

1．平均自信息量(熵)無記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值），即平均自信息量H(X)定義為：

（2-15

）

H(X)的表達(dá)式與統(tǒng)計(jì)物理學(xué)中的熱熵具有相類似的形式，在概念上二者也有相同之處，故借用熵這個(gè)詞把H(X)稱為集合X的信息熵，簡(jiǎn)稱熵。

第三十一頁，共八十八頁，2022年，8月28日【例2.9】計(jì)算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.99－0.01log0.01=0.08

比特/符號(hào)（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1比特/符號(hào)（3）信源三:等概信源熵H(X3)=-4×0.25log0.25=log4=2

比特/符號(hào)第三十二頁，共八十八頁，2022年，8月28日(5)

信源五：一般情況下，二元信源的概率分布為熵H(X)=–δlogδ-（1-δ）log（1-δ）記H2(δ)=–δlogδ-（1-δ）log（1-δ）H2(δ)與δ的關(guān)系如圖2-2所示。（4）信源四：信源為確定事件熵H(X4)=-0log0–1log1=0

計(jì)算結(jié)果說明確定事件的熵為零

H2(δ)

00.51δ圖2-2H2(δ)與δ關(guān)系第三十三頁，共八十八頁，2022年，8月28日信源熵與信息量的比較信源的平均不確定度消除不定度得到信息與信源是否輸出無關(guān)接收后才得到信息確定值一般為隨機(jī)量有限值可為無窮大

熵信息量信源熵和平均自信息量?jī)烧咴跀?shù)值上是相等的，但含義并不相同第三十四頁，共八十八頁，2022年，8月28日總括起來，信源熵有三種物理含義：信源熵H(X)表示信源輸出后，離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前，信源的平均不確定度。信源熵H(X)反映了變量X的隨機(jī)性。123第三十五頁，共八十八頁，2022年，8月28日2．平均條件自信息量(條件熵)（2-16）若事件xi

yj的聯(lián)合分布概率為p(xi

yj)，給定yj條件下事件xi的條件自信息量為I(xi︱yj)，則H(X︱Y)定義為：第三十六頁，共八十八頁，2022年，8月28日當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p(xiyj)=q(xi)ω(yj)，φ(xi︱yj)=q(xi)，則（2-17）

從通信角度來看：若將X={x1，x2，…，xi，…}視為信源輸出符號(hào)；

Y={y1，y2，…，yj，…}視為信宿接收符號(hào)；I(xi︱yj)可看作信宿收到y(tǒng)j后，關(guān)于發(fā)送的是否為xi仍然存在的疑義度（不確定性），則反映了經(jīng)過通信后，信宿符號(hào)yj（j=1,2,…）關(guān)于信源符號(hào)xi（i=1,2,…）的平均不確定性。第三十七頁，共八十八頁，2022年，8月28日類似，若給定xi條件下事件yj的條件自信息量為I(yj︱xi)，則H(Y︱X)定義為

（2-18）當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p(xiyj)=q(xi)ω(yj)，，則（2-19）存在以下兩種極端情況：

（1）對(duì)于無噪信道H(X︱Y)=0

（2）在強(qiáng)噪聲情況下，收到的Y與X毫不相干，可視為統(tǒng)計(jì)獨(dú)立，H(X︱Y)=H(X)

第三十八頁，共八十八頁，2022年，8月28日（2）對(duì)于強(qiáng)噪信道，有H(Y︱X)=H(Y)。（1）

對(duì)于無擾信道，有H(Y︱X)=0。從通信角度來看，H(Y︱X)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱H(Y︱X)為噪聲熵（散布度）。存在以下兩種極端情況：第三十九頁，共八十八頁，2022年，8月28日由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式H(XY)=H(X)+H(Y︱X)=H(Y)+H(X︱Y)

（2－21）H(X

Y)=H(X)+H(Y)

(2-22)上式反映了信息的可加性。當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有3．聯(lián)合熵聯(lián)合熵H(XY)是定義在二維空間XY上，對(duì)元素xiyj的自信息量的統(tǒng)計(jì)平均值，若記事件xi

yj出現(xiàn)的概率為p(xiyj)，其自信息量為I(xiyj)，則聯(lián)合熵H(X

Y)定義為

（2-20）

第四十頁，共八十八頁，2022年，8月28日1．凸集合與凸函數(shù)簡(jiǎn)單介紹凸集和凸函數(shù)的概念。定義2.1

是n維實(shí)矢量空間集合R中任意兩個(gè)n維矢量，對(duì)實(shí)數(shù)θ，0θ1，有

θα+（1-θ）β∈R則稱R為凸集合。

2．2．2熵函數(shù)的性質(zhì)第四十一頁，共八十八頁，2022年，8月28日?qǐng)D2－3一維和二維凸集合的例子凸集合非凸集合從幾何上來看，若α，β是集合R中的任意兩點(diǎn)，θα+（1-θ）β表示這兩點(diǎn)間的連線，若該連線也在集合R中，則稱為R凸集。下面給出了幾個(gè)凸集和非凸集合的例子。第四十二頁，共八十八頁，2022年，8月28日定義2.2設(shè)f(x)=f(x1,x2,…,xn)為一個(gè)n元函數(shù)，若對(duì)任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0θ1，有θf(x1)+（1-θ）f(x2)

f[θx1+（1-θ）x2](2-23)x0x1

θx1+(1-θ)x2

x2

圖2-4一元∩型凸函數(shù)f(x1)θf(x1)+(1-θ)f(x2)

f[θx1+(1-θ)x2]

f(x)f(x2)則稱f(x)為定義域上的∩型凸函數(shù)。一元∩型凸函數(shù)可用圖2-4所示的幾何圖形表示。第四十三頁，共八十八頁，2022年，8月28日定義2.3設(shè)f(x)=f(x1,x2,…,xn)為一個(gè)n元函數(shù)，若對(duì)任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0θ1，有f[θx1

+（1-θ）x2]θf(x1)+（1-θ）f(x2)(2-24)圖2-5一元∪型凸函數(shù)x1

θx1+(1-θ)x2

x2

x

f(x1)f[θx1+(1-θ)x2θf(x1)+(1-θ)f(x2)f(x)

f(x2)則稱f(x)為定義域上的∪型凸函數(shù)，一元∪型凸函數(shù)可用圖2-5所示的幾何圖形表示。第四十四頁，共八十八頁，2022年，8月28日2．極大離散熵定理

設(shè)信源的消息個(gè)數(shù)為M，則H(X)

logM，等號(hào)當(dāng)且僅當(dāng)信源X中各消息等概時(shí)成立，即各消息等概分布時(shí)，信源熵最大。證明方法一：利用不等式logx

x

-1等號(hào)在x=1時(shí)成立（見圖2-6）

圖2-6logx

x–1關(guān)系曲線x-1logx10x第四十五頁，共八十八頁，2022年，8月28日上面兩種證明方法是信息論中經(jīng)常用到的證明方法

證明方法二：利用logx的∩型凸函數(shù)性質(zhì)=log1=0

證畢H(X)-logM第四十六頁，共八十八頁，2022年，8月28日3．熵函數(shù)的性質(zhì)（1）對(duì)稱性集合X={x1，x2，…，xN}中的各元素x1，x2，…，xN任意改變其順序時(shí)，熵只和分布（概率）有關(guān)，不關(guān)心某個(gè)具體事件對(duì)應(yīng)哪個(gè)概率。例如和的熵是相等的。第四十七頁，共八十八頁，2022年，8月28日（4）擴(kuò)展性：離散事件集，增加一個(gè)不可能事件xN+1后，得到集合，δ→0，則兩個(gè)集合的熵相等

（2）非負(fù)性：H(X)0（3）確定性：在集合X=(x1，x2，…，xN)中，若有一個(gè)事件是必然事件，則其余事件必為不可能事件，即該集合的概率分布為

第四十八頁，共八十八頁，2022年，8月28日（5）可加性：集合X={x1，x2，…，xi，xi+1，…，xN}的概率分布為：則下式成立：H(X)=H(x1，x2，…，xi，xi+1，…，xN)

（2-25）（6）條件熵小于等于無條件熵即：H(X︱Y)

H(X)

X,Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。第四十九頁，共八十八頁，2022年，8月28日（7）聯(lián)合熵大于等于獨(dú)立事件的熵，小于等于兩獨(dú)立事件熵之和，即： （2-26）

H(XY)

H(X)+H(Y)（2-27）第五十頁，共八十八頁，2022年，8月28日2．3離散集的平均互信息量1．平均互信息量定義xi∈X和yj∈

Y之間的互信息量為I(xi;yj)，在集合X上對(duì)I(xi;yj)進(jìn)行概率加權(quán)統(tǒng)計(jì)平均，可得I(X;yj)為：

2．3．1平均互信息量

（2-28）第五十一頁，共八十八頁，2022年，8月28日再將式（2-28）對(duì)集合Y進(jìn)行統(tǒng)計(jì)平均，就可以得到平均互信息量

（2-30）當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，I(xi;yj)=0，從而I(X;Y)=0

第五十二頁，共八十八頁，2022年，8月28日【例2.14】二元等概信源，通過信道轉(zhuǎn)移概率為的信道傳輸，信宿接收符號(hào)Y={y0,y1}，計(jì)算信源與信宿間的平均互信息量I（X；Y）。

（1）

先根據(jù)計(jì)算出（2）

由計(jì)算后驗(yàn)概率第五十三頁，共八十八頁，2022年，8月28日（3）計(jì)算各消息之間的互信息量I(xi;yj)

（比特）

（比特）（比特）

（比特）

第五十四頁，共八十八頁，2022年，8月28日（4）

計(jì)算平均互信息量

（比特）

第五十五頁，共八十八頁，2022年，8月28日對(duì)上式在三維空間XYZ上求概率加權(quán)平均值，就得到平均條件互信息量

（2-31）式中p(xi

yj

zk)滿足2．平均條件互信息量

平均條件互信息量I(X;Y︱Z)是在聯(lián)合概率空間{XYZ，p(xyz)}上定義的物理量。由式（2-11）知道

第五十六頁，共八十八頁，2022年，8月28日1．平均互信息量的性質(zhì)2．3．2平均互信息量的性質(zhì)

(1)

非負(fù)性：（2-32）

(2)

互易性： I(X;Y)=I(Y;X) （2-33）

由的對(duì)稱性可得到。

(3)第五十七頁，共八十八頁，2022年，8月28日I(X;Y)=H（X）-H（X︱Y）(2-35)I(X;Y)=H（Y）-H（Y︱X）(2-36) I(X;Y)=H(X)+H(Y)-H(XY)(2-37)

)2．平均互信息量與信源熵、條件熵的關(guān)系2-7維拉圖它們之間的關(guān)系可以用維拉圖表示第五十八頁，共八十八頁，2022年，8月28日設(shè)X為發(fā)送消息符號(hào)集，Y為接收符號(hào)集，H(X)是輸入集的平均不確定性,H（X︱Y）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過程中得到的關(guān)于X,Y的平均互信息量。對(duì)于無擾信道，I(X;Y)=H(X)。對(duì)于強(qiáng)噪信道，I(X;Y)=0。從通信的角度來討論平均互信息量I(X;Y)的物理意義由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意義第五十九頁，共八十八頁，2022年，8月28日對(duì)于無擾信道，有I(X;Y)=H(X)=H(Y)。對(duì)于強(qiáng)噪信道，有H（Y︱X）=H（Y），則I(X;Y)=0。H(Y)是觀察到Y(jié)所獲得的信息量，H（Y︱X）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性，二者之差I(lǐng)(X;Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意義第六十頁，共八十八頁，2022年，8月28日通信前，隨機(jī)變量X和隨機(jī)變量Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+H(Y)，通信后，整個(gè)系統(tǒng)的后驗(yàn)不確定性為H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信過程中不確定性減少的量，也就是通信過程中獲得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意義第六十一頁，共八十八頁，2022年，8月28日【例2.15】已知信源消息集為X={0,1},接收符號(hào)集為Y={0,1}，通過有擾信道傳輸，其傳輸特性如圖2-8所示，這是一個(gè)二進(jìn)制對(duì)稱信道BSC。已知先驗(yàn)概率,計(jì)算平均互信息量I(X;Y)及各種熵。

01-ε

0

11-ε1圖2-8二進(jìn)制對(duì)稱信道εε記q(x)為信源輸入概率； ω(y)為信宿輸出概率； p(y︱x)為信道轉(zhuǎn)移概率； φ(x︱y)為后驗(yàn)概率。第六十二頁，共八十八頁，2022年，8月28日（1）由圖2-8得，先算出p(xiyj)=

q(xi)p(yj︱xi)

（2）計(jì)算得：

第六十三頁，共八十八頁，2022年，8月28日

（3）

計(jì)算后驗(yàn)概率，得：

（4）計(jì)算各種熵及平均互信息量：信源熵

信宿熵

聯(lián)合熵

=-2×0.5(1-ε)log0.5(1-ε)-2×0.5εlog0.5ε

=log2-(1-ε)log(1-ε)-εlogε=log2+H

2(ε)式中：第六十四頁，共八十八頁，2022年，8月28日散布度=-p(00)logp(0︱0)-p(01)logp(1︱0)-p(10)logp(0︱1)-p(11)logp(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)可疑度

=-p(00)logφ(0︱0)-p(01)logφ(0︱1)-p(10)logφ(1︱0)-p(11)logφ(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)平均互信息量I(X;Y)=H(X)+H(Y)-H(XY)=log2+H

2(ε)

第六十五頁，共八十八頁，2022年，8月28日研究通信問題，主要研究的是信源和信道，它們的統(tǒng)計(jì)特性可以分別用消息先驗(yàn)概率q(x)及信道轉(zhuǎn)移概率p(y︱x)來描述，而平均互信息量I(X;Y)是經(jīng)過一次通信后信宿所獲得的信息。由式（2-30）知道，平均互信息量定義為：

（2-38）2．3．3有關(guān)平均互信息量的兩條定理上式說明I(X;Y)是信源分布概率q(x)和信道轉(zhuǎn)移概率p(y︱x)的函數(shù)，下面兩條定理闡明了I(X;Y)與q(x)和p(y︱x)之間的關(guān)系。第六十六頁，共八十八頁，2022年，8月28日定理2.1當(dāng)信道給定，即信道轉(zhuǎn)移概率p(y︱x)固定，平均互信息量I(X;Y)是信源概率分布q(x)的∩型凸函數(shù)。兩個(gè)信源分布q1(x)和q2(x)，分別對(duì)應(yīng)平均互信息量I1(X;Y)和I2(X;Y)，記概率分布q(x)=θq1(x)+(1-θ)q2(x)（式中0θ1），對(duì)應(yīng)平均互信息量I(X;Y)，若I(X;Y)是∩型凸函數(shù)，則應(yīng)滿足：

θI1(X;Y)+(1-θ)I2(X;Y)

I(X;Y)（2-39）式(2-39)表示：函數(shù)的均值小于等于均值的函數(shù)，見圖2-9

圖2-9函數(shù)的均值均值的函數(shù)q1θq1+(1-θ)q2

q2

q(x)θI(q1)+(1-θ)I(q2I[q(x)]I[θq1+(1-θ)q2]第六十七頁，共八十八頁，2022年，8月28日定理2.1說明，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對(duì)于每一個(gè)固定信道，一定存在一種信源（一種分布）q(x)，使輸出端獲得的信息量最大。【例2.16】二進(jìn)制對(duì)稱信道BSC如圖2-10所示，輸入符號(hào)集X={x1,x2}={0,1}，輸出符號(hào)集Y={y1,y2}={0,1}，信道轉(zhuǎn)移概率矩陣

，信源分布為：，計(jì)算平均互信

息量I(X;Y)=H（Y）-H（Y︱X）

01-ε

0

11-ε1圖2-10二進(jìn)制對(duì)稱信道εε第六十八頁，共八十八頁，2022年，8月28日先由算出：ω(0)=q(0)p(0︱0)+q(1)p(0︱1)=δ(1-ε)+(1-δ)εω(1)==1-ω(0)

再計(jì)算熵和條件熵 =

H2[δ(1-ε)+(1-δ)ε]=-(1-ε)log(1-ε)-εlogε=H2(ε)第六十九頁，共八十八頁，2022年，8月28日則平均互信息量I(X;Y)=H（Y)-H（Y︱X）=

H2[δ(1-ε)+(1-δ)ε]-H2(ε)

當(dāng)信道固定，即

為恒值，則I(X;Y)是δ的∩函數(shù)，其曲線如下圖2-11所示。當(dāng)δ=0.5時(shí),I(X;Y)取得極大值，其值為log2-H2(ε),這種情況對(duì)應(yīng)等概分布,信源的平均不確定性最大. 當(dāng)δ=0或1時(shí)，這是確定信源的情況，通信得不到任何信息，即I(X;Y)=0。

圖2-11ε為恒值時(shí)的I(X;Y)曲線00.51δlog2-H2(ε)I(X;Y)第七十頁，共八十八頁，2022年，8月28日定理2.2當(dāng)信源給定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道轉(zhuǎn)移概率p(y︱x)的∪型凸函數(shù)。在信源固定的情況下，如果給定兩個(gè)信道轉(zhuǎn)移概率p1(y︱x)和p2(y︱x)，它們分別對(duì)應(yīng)平均互信息量I1(X;Y)和I2(X;Y)，記信道轉(zhuǎn)移概率p(y︱x)=θp1(y︱x)+(1-θ)p2(y︱x)(式中（0θ

1），對(duì)應(yīng)平均互信息量I

(X;Y)，若I

(X;Y)是p(y︱x)的∪型凸函數(shù)，則應(yīng)滿足：

I(X;Y)θI1(X;Y)+(1-θ)I2(X;Y) （2-40）第七十一頁，共八十八頁，2022年，8月28日定理2.2說明，信源固定以后，用不同的信道來傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的?？梢姡瑢?duì)每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。式(2-40)表示：均值的函數(shù)小于等于函數(shù)的均值，如圖2-12所示。圖2-12函數(shù)的均值均值的函數(shù)p1θp1+(1-θ)p2

p2

I[θp1+(1-θ)p2]

θI(p1)+(1-θ)I(p2)

第七十二頁，共八十八頁，2022年，8月28日XYXY各種熵之間的關(guān)系第七十三頁，共八十八頁，2022年，8月28日XYXY第七十四頁，共八十八頁，2022年，8月28日XY第七十五頁，共八十八頁，2022年，8月28日第七十六頁，共八十八頁，2022年，8月28日2．4

N維擴(kuò)展信源的熵和平均互信息量信源輸出序列為x=x1…

xi…

xN，xi∈{a0,a1,…,ak-1}，記x=x1x2…

xN的概率分布為q(x)，則信源熵為

(2-41)2．4．1N維擴(kuò)展信源的熵下面分兩種情況來考慮：1．信源離散無記憶

按式(2-41)可計(jì)算出該信源的熵：

（2－42）第七十七頁，共八十八頁，2022年，8月28日根據(jù)熵的性質(zhì):條件熵小于等于無條件熵，即有 （2-45）2．信源離散有記憶信源輸出序列x=x1x2…

xN的概率為p(x)=p(x1)p(x2︱x1)p(x3︱x1x2)…p(xN︱x1x2…xN

-1)，相應(yīng)可以計(jì)算出其信源熵H(X)=H(X1)+H(X2︱X1)+H(X3︱X1X2)+…+H(XN︱X1X2…XN-1)記為：

（2-44）熵的鏈規(guī)則第七十八頁，共八十八頁，2022年，8月28日將式(2-45)代入式(2-44)得：