信息論第二章信息的度量

關(guān)于信息論第二章信息的度量第1頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三內(nèi)容提要：根據(jù)香農(nóng)對(duì)于信息的定義，信息是一個(gè)系統(tǒng)不確定性的度量，尤其在通信系統(tǒng)中，研究的是信息的處理、傳輸和存儲(chǔ)，所以對(duì)于信息的定量計(jì)算是非常重要的。本章主要從通信系統(tǒng)模型入手，研究離散情況下各種信息的描述方法及定量計(jì)算，討論它們的性質(zhì)和相互關(guān)系。第2章信息的度量第2頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2.1自信息量和互信息量

一個(gè)事件的自信息量就是對(duì)其不確定性的度量?；バ畔⒘縿t表明了兩個(gè)隨機(jī)事件的相互約束程度。

對(duì)于隨機(jī)事件集X={x1，x2，…，xi，…，xI}中的隨機(jī)事件xi，其出現(xiàn)概率記為q(xi)，將兩個(gè)事件xi,yj同時(shí)出現(xiàn)的概率記為p(xiyj)，則q(xi)，p(xiyj)應(yīng)滿(mǎn)足：相應(yīng)的條件概率為第3頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三信息量直觀的定義為：收到某消息獲得的信息量=不確定性減少的量將某事件發(fā)生所得到的信息量記為I(x)，I(x)應(yīng)該是該事件發(fā)生的概率的函數(shù)，即I(x)=f[q(x)]2．1．1自信息量和條件自信息量第4頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三自信息量

聯(lián)合自信息量條件自信息量信息量第5頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三1．自信息量

直觀地看，自信息量的定義應(yīng)滿(mǎn)足以下四點(diǎn)：a.I(x)應(yīng)該是q(x)的單調(diào)遞減函數(shù)：概率小的事件一旦發(fā)生賦予的信息量大，概率大的事件如果發(fā)生則賦予的信息量小；b.信息量應(yīng)具有可加性：對(duì)于兩個(gè)獨(dú)立事件，其信息量應(yīng)等于各事件自信息量之和；c.當(dāng)q(x)=1時(shí)，I(x)=0：表示確定事件發(fā)生得不到任何信息；

d.當(dāng)q(x)=0時(shí)，I(x)→∞：表示不可能事件一旦發(fā)生，信息量將無(wú)窮大。

第6頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三綜合上述條件，將自信息量定義為:

(2-1)

自信息量的單位與log函數(shù)所選用的對(duì)數(shù)底數(shù)有關(guān)，如底數(shù)分別取2、e、10，則自信息量單位分別為：比特、奈特、哈特第7頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元(0,1)所包含的自信息量為1bit。第8頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三【例2.3】若盒中有6個(gè)電阻，阻值為1Ω、2Ω、3Ω的分別為2個(gè)、1個(gè)、3個(gè)，將從盒子中取出阻值為iΩ的電阻記為事件（i=1，2，3），則事件集X={x1,

x2,x3}，其概率分布計(jì)算出各事件的自信息量列表2-1如下：消息xi

x1

x2

x3

概率分布q(xi)

1/3

1/6

1/2

自信息量I(xi)

log3

log6

log2

第9頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三自信息量具有下列性質(zhì): 圖2.1 對(duì)數(shù)曲線(xiàn)1是非負(fù)值。第10頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三23的單調(diào)遞減函數(shù)。4自信息量第11頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三自信息量I(xi)代表兩種含義：1.事件xi發(fā)生以前，表示事件發(fā)生的先驗(yàn)不確定性2.當(dāng)事件xi發(fā)生以后，表示事件xi所能提供的最大信息量（在無(wú)噪情況下）第12頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三二維聯(lián)合集XY上元素xi

yj的聯(lián)合自信息量I(xi

yj)定義為：(2-3)

2.聯(lián)合自信息量其中),,2,1;,,2,1(1)(0mjnibapjiLL==￡￡第13頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三3.條件自信息量在已知事件yj條件下,隨機(jī)事件xi發(fā)生的概率為條件概率φ(xi︱yj),條件自信息量定義為：

(2-5)代入式自信息量的公式就有第14頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三

聯(lián)合自信息量和條件自信息也滿(mǎn)足非負(fù)和單調(diào)遞減性，同時(shí)，它們也都是隨機(jī)變量。自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系式：4.聯(lián)合自信息量和條件自信息量間的關(guān)系第15頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三【例2.6】某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每個(gè)單元住有12戶(hù)，甲要到該住宅區(qū)找他的朋友乙，若：1.

甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？

2.

甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶(hù)號(hào)：（1）甲找到乙這一事件是二維聯(lián)合集XY上的等概分布，這一事件提供給甲的信息量為

I(xiyj)=-log

p(xiyj)

=

log60=5.907（比特）

（2）在二維聯(lián)合集XY上的條件分布概率為，這一事件提供給甲的信息量為條件自信息量I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

第16頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三1.互信息量信源符號(hào)X={x1，x2，…，xI}

，xi∈{a1,a2,…,ak}，i=1,...,I。信宿方接收到符號(hào)Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。圖2－1簡(jiǎn)單的通信模型{x1，x2，…xI}{y1，y2，…yJ}信源符號(hào)集{a1,a2,…,ak}信源

{b1,b2,…,bD}信宿符號(hào)集干擾信道信宿2．1．2互信息量和條件互信息量第17頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三事件xi是否發(fā)生具有不確定性，用I(xi)度量。接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi︱yj)度量。觀察事件前后，這兩者之差就是通信過(guò)程中所獲得的信息量，用I(xi;yj)表示：。注：式（2-6）的I(xi；yj)

和式（2-3）的I(xiyj)的區(qū)別在于：前者是事件xi∈X和事件yj∈Y之間的互信息量，后者是二維空間XY

上元素xiyj的自信息量。稱(chēng)(2-6)式為事件xi和事件yj之間的互信息量。（2-6）第18頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三根據(jù)概率互換公式p(xi

yj)=p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj)

互信息量I(xi;yj)有多種表達(dá)形式:

(2-7)

(2-8)第19頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三先驗(yàn)不定度（聯(lián)合自信息量）發(fā)送接收物理解釋?zhuān)和ㄐ徘暗?0頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三后驗(yàn)不定度

通信后發(fā)送接收第21頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三

這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差第22頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三將事件互信息量的概念推廣至多維空間： 在三維XYZ聯(lián)合集中，有：

I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)（2-9）

類(lèi)似，在N維U1U2…UN聯(lián)合空間,有：I(u1;u2u3…uN)=I(u1;u2)+I(u1;u3︱u2)+…

+I(u1;ui︱u2…ui-1)+…+I(u1;uN︱u2…uN-1) （2-10）

第23頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三三維XYZ聯(lián)合集中，在給定條件zk的情況下,

xi

,yj的互信息量I(xi;yj︱zk)定義為：

（2-11）2．條件互信息量第24頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三3．互信息量的性質(zhì)

（1）互易性————對(duì)稱(chēng)性

I(xi;yj)=I(yj;xi)(2-12)

（2）可加性：第25頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（4）互信息量I(xi;yj)可以是正數(shù)，也可以是負(fù)數(shù)。

（3）當(dāng)xi

,yj統(tǒng)計(jì)獨(dú)立時(shí)，互信息量I(xi;yj)=0及條件互信息量（5）兩個(gè)事件的互信息量不大于單個(gè)事件的自信息量，即有： （2-13）

第26頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三【例2.8】信源包含7個(gè)消息x0,x1,x2,x3,x4,x5,x6

信源編碼器將其對(duì)應(yīng)編成7個(gè)三位二進(jìn)制數(shù)000，001,…,110。各消息的先驗(yàn)概率已知，在接收過(guò)程中，每收到一個(gè)數(shù)字，各消息的后驗(yàn)概率都相應(yīng)地發(fā)生變化?？紤]在接受100三個(gè)數(shù)字的過(guò)程中，各后驗(yàn)概率的變化，計(jì)算信息量I(x4;100)。信源消息碼字消息先驗(yàn)概率消息后驗(yàn)概率收到1后收到10后收到100后x0

0001/16000x1

0011/16000x2

0101/16000x3

0111/16000x4

1001/22/34/51x5

1011/81/61/50x61101/81/600表2-4為7個(gè)三位二進(jìn)制數(shù)對(duì)應(yīng)的各種概率。第27頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三根據(jù)給定的先驗(yàn)概率，可算出： P(x4︱100)=1第28頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三將各種后驗(yàn)概率的計(jì)算結(jié)果列于表2-3中，再根據(jù)式（2-10）計(jì)算出互信息量：I(x4;100)=I(x4;1)+I(x4;0︱1)+I(x4;0︱10)

(比特)

也可直接計(jì)算出：(比特)第29頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2．2離散集的平均自信息量

信源熵熵條件熵聯(lián)合熵第30頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2．2離散集的平均自信息量

1．平均自信息量(熵)無(wú)記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值），即平均自信息量H(X)定義為：

（2-15

）

H(X)的表達(dá)式與統(tǒng)計(jì)物理學(xué)中的熱熵具有相類(lèi)似的形式，在概念上二者也有相同之處，故借用熵這個(gè)詞把H(X)稱(chēng)為集合X的信息熵，簡(jiǎn)稱(chēng)熵。

第31頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三【例2.9】計(jì)算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.99－0.01log0.01=0.08

比特/符號(hào)（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1比特/符號(hào)（3）信源三:等概信源熵H(X3)=-4×0.25log0.25=log4=2

比特/符號(hào)第32頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三(5)

信源五：一般情況下，二元信源的概率分布為熵H(X)=–δlogδ-（1-δ）log（1-δ）記H2(δ)=–δlogδ-（1-δ）log（1-δ）H2(δ)與δ的關(guān)系如圖2-2所示。（4）信源四：信源為確定事件熵H(X4)=-0log0–1log1=0

計(jì)算結(jié)果說(shuō)明確定事件的熵為零

H2(δ)

00.51δ圖2-2H2(δ)與δ關(guān)系第33頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三信源熵與信息量的比較信源的平均不確定度消除不定度得到信息與信源是否輸出無(wú)關(guān)接收后才得到信息確定值一般為隨機(jī)量有限值可為無(wú)窮大

熵信息量信源熵和平均自信息量?jī)烧咴跀?shù)值上是相等的，但含義并不相同第34頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三總括起來(lái)，信源熵有三種物理含義：信源熵H(X)表示信源輸出后，離散消息所提供的平均信息量。信源熵H(X)表示信源輸出前，信源的平均不確定度。信源熵H(X)反映了變量X的隨機(jī)性。123第35頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2．平均條件自信息量(條件熵)（2-16）若事件xi

yj的聯(lián)合分布概率為p(xi

yj)，給定yj條件下事件xi的條件自信息量為I(xi︱yj)，則H(X︱Y)定義為：第36頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p(xiyj)=q(xi)ω(yj)，φ(xi︱yj)=q(xi)，則（2-17）

從通信角度來(lái)看：若將X={x1，x2，…，xi，…}視為信源輸出符號(hào)；

Y={y1，y2，…，yj，…}視為信宿接收符號(hào)；I(xi︱yj)可看作信宿收到y(tǒng)j后，關(guān)于發(fā)送的是否為xi仍然存在的疑義度（不確定性），則反映了經(jīng)過(guò)通信后，信宿符號(hào)yj（j=1,2,…）關(guān)于信源符號(hào)xi（i=1,2,…）的平均不確定性。第37頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三類(lèi)似，若給定xi條件下事件yj的條件自信息量為I(yj︱xi)，則H(Y︱X)定義為

（2-18）當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有p(xiyj)=q(xi)ω(yj)，，則（2-19）存在以下兩種極端情況：

（1）對(duì)于無(wú)噪信道H(X︱Y)=0

（2）在強(qiáng)噪聲情況下，收到的Y與X毫不相干，可視為統(tǒng)計(jì)獨(dú)立，H(X︱Y)=H(X)

第38頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（2）對(duì)于強(qiáng)噪信道，有H(Y︱X)=H(Y)。（1）

對(duì)于無(wú)擾信道，有H(Y︱X)=0。從通信角度來(lái)看，H(Y︱X)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱(chēng)H(Y︱X)為噪聲熵（散布度）。存在以下兩種極端情況：第39頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三由熵、條件熵、聯(lián)合熵的定義式可導(dǎo)出三者的關(guān)系式H(XY)=H(X)+H(Y︱X)=H(Y)+H(X︱Y)

（2－21）H(X

Y)=H(X)+H(Y)

(2-22)上式反映了信息的可加性。當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，有3．聯(lián)合熵聯(lián)合熵H(XY)是定義在二維空間XY上，對(duì)元素xiyj的自信息量的統(tǒng)計(jì)平均值，若記事件xi

yj出現(xiàn)的概率為p(xiyj)，其自信息量為I(xiyj)，則聯(lián)合熵H(X

Y)定義為

（2-20）

第40頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三1．凸集合與凸函數(shù)簡(jiǎn)單介紹凸集和凸函數(shù)的概念。定義2.1

是n維實(shí)矢量空間集合R中任意兩個(gè)n維矢量，對(duì)實(shí)數(shù)θ，0θ1，有

θα+（1-θ）β∈R則稱(chēng)R為凸集合。

2．2．2熵函數(shù)的性質(zhì)第41頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三圖2－3一維和二維凸集合的例子凸集合非凸集合從幾何上來(lái)看，若α，β是集合R中的任意兩點(diǎn)，θα+（1-θ）β表示這兩點(diǎn)間的連線(xiàn)，若該連線(xiàn)也在集合R中，則稱(chēng)為R凸集。下面給出了幾個(gè)凸集和非凸集合的例子。第42頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三定義2.2設(shè)f(x)=f(x1,x2,…,xn)為一個(gè)n元函數(shù)，若對(duì)任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0θ1，有θf(wàn)(x1)+（1-θ）f(x2)

f[θx1+（1-θ）x2](2-23)x0x1

θx1+(1-θ)x2

x2

圖2-4一元∩型凸函數(shù)f(x1)θf(wàn)(x1)+(1-θ)f(x2)

f[θx1+(1-θ)x2]

f(x)f(x2)則稱(chēng)f(x)為定義域上的∩型凸函數(shù)。一元∩型凸函數(shù)可用圖2-4所示的幾何圖形表示。第43頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三定義2.3設(shè)f(x)=f(x1,x2,…,xn)為一個(gè)n元函數(shù)，若對(duì)任意f(x1),f(x2)∈f(x)，任意正數(shù)θ，0θ1，有f[θx1

+（1-θ）x2]θf(wàn)(x1)+（1-θ）f(x2)(2-24)圖2-5一元∪型凸函數(shù)x1

θx1+(1-θ)x2

x2

x

f(x1)f[θx1+(1-θ)x2θf(wàn)(x1)+(1-θ)f(x2)f(x)

f(x2)則稱(chēng)f(x)為定義域上的∪型凸函數(shù)，一元∪型凸函數(shù)可用圖2-5所示的幾何圖形表示。第44頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2．極大離散熵定理

設(shè)信源的消息個(gè)數(shù)為M，則H(X)

logM，等號(hào)當(dāng)且僅當(dāng)信源X中各消息等概時(shí)成立，即各消息等概分布時(shí)，信源熵最大。證明方法一：利用不等式logx

x

-1等號(hào)在x=1時(shí)成立（見(jiàn)圖2-6）

圖2-6logx

x–1關(guān)系曲線(xiàn)x-1logx10x第45頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三上面兩種證明方法是信息論中經(jīng)常用到的證明方法

證明方法二：利用logx的∩型凸函數(shù)性質(zhì)=log1=0

證畢H(X)-logM第46頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三3．熵函數(shù)的性質(zhì)（1）對(duì)稱(chēng)性集合X={x1，x2，…，xN}中的各元素x1，x2，…，xN任意改變其順序時(shí)，熵只和分布（概率）有關(guān)，不關(guān)心某個(gè)具體事件對(duì)應(yīng)哪個(gè)概率。例如和的熵是相等的。第47頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（4）擴(kuò)展性：離散事件集，增加一個(gè)不可能事件xN+1后，得到集合，δ→0，則兩個(gè)集合的熵相等

（2）非負(fù)性：H(X)0（3）確定性：在集合X=(x1，x2，…，xN)中，若有一個(gè)事件是必然事件，則其余事件必為不可能事件，即該集合的概率分布為

第48頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（5）可加性：集合X={x1，x2，…，xi，xi+1，…，xN}的概率分布為：則下式成立：H(X)=H(x1，x2，…，xi，xi+1，…，xN)

（2-25）（6）條件熵小于等于無(wú)條件熵即：H(X︱Y)

H(X)

X,Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立。第49頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（7）聯(lián)合熵大于等于獨(dú)立事件的熵，小于等于兩獨(dú)立事件熵之和，即： （2-26）

H(XY)

H(X)+H(Y)（2-27）第50頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2．3離散集的平均互信息量1．平均互信息量定義xi∈X和yj∈

Y之間的互信息量為I(xi;yj)，在集合X上對(duì)I(xi;yj)進(jìn)行概率加權(quán)統(tǒng)計(jì)平均，可得I(X;yj)為：

2．3．1平均互信息量

（2-28）第51頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三再將式（2-28）對(duì)集合Y進(jìn)行統(tǒng)計(jì)平均，就可以得到平均互信息量

（2-30）當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，I(xi;yj)=0，從而I(X;Y)=0

第52頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三【例2.14】二元等概信源，通過(guò)信道轉(zhuǎn)移概率為的信道傳輸，信宿接收符號(hào)Y={y0,y1}，計(jì)算信源與信宿間的平均互信息量I（X；Y）。

（1）

先根據(jù)計(jì)算出（2）

由計(jì)算后驗(yàn)概率第53頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（3）計(jì)算各消息之間的互信息量I(xi;yj)

（比特）

（比特）（比特）

（比特）

第54頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（4）

計(jì)算平均互信息量

（比特）

第55頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三對(duì)上式在三維空間XYZ上求概率加權(quán)平均值，就得到平均條件互信息量

（2-31）式中p(xi

yj

zk)滿(mǎn)足2．平均條件互信息量

平均條件互信息量I(X;Y︱Z)是在聯(lián)合概率空間{XYZ，p(xyz)}上定義的物理量。由式（2-11）知道

第56頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三1．平均互信息量的性質(zhì)2．3．2平均互信息量的性質(zhì)

(1)

非負(fù)性：（2-32）

(2)

互易性： I(X;Y)=I(Y;X) （2-33）

由的對(duì)稱(chēng)性可得到。

(3)第57頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三I(X;Y)=H（X）-H（X︱Y）(2-35)I(X;Y)=H（Y）-H（Y︱X）(2-36) I(X;Y)=H(X)+H(Y)-H(XY)(2-37)

)2．平均互信息量與信源熵、條件熵的關(guān)系2-7維拉圖它們之間的關(guān)系可以用維拉圖表示第58頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三設(shè)X為發(fā)送消息符號(hào)集，Y為接收符號(hào)集，H(X)是輸入集的平均不確定性,H（X︱Y）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過(guò)程中得到的關(guān)于X,Y的平均互信息量。對(duì)于無(wú)擾信道，I(X;Y)=H(X)。對(duì)于強(qiáng)噪信道，I(X;Y)=0。從通信的角度來(lái)討論平均互信息量I(X;Y)的物理意義由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意義第59頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三對(duì)于無(wú)擾信道，有I(X;Y)=H(X)=H(Y)。對(duì)于強(qiáng)噪信道，有H（Y︱X）=H（Y），則I(X;Y)=0。H(Y)是觀察到Y(jié)所獲得的信息量，H（Y︱X）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性，二者之差I(lǐng)(X;Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意義第60頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三通信前，隨機(jī)變量X和隨機(jī)變量Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+H(Y)，通信后，整個(gè)系統(tǒng)的后驗(yàn)不確定性為H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信過(guò)程中不確定性減少的量，也就是通信過(guò)程中獲得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意義第61頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三【例2.15】已知信源消息集為X={0,1},接收符號(hào)集為Y={0,1}，通過(guò)有擾信道傳輸，其傳輸特性如圖2-8所示，這是一個(gè)二進(jìn)制對(duì)稱(chēng)信道BSC。已知先驗(yàn)概率,計(jì)算平均互信息量I(X;Y)及各種熵。

01-ε

0

11-ε1圖2-8二進(jìn)制對(duì)稱(chēng)信道εε記q(x)為信源輸入概率； ω(y)為信宿輸出概率； p(y︱x)為信道轉(zhuǎn)移概率； φ(x︱y)為后驗(yàn)概率。第62頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三（1）由圖2-8得，先算出p(xiyj)=

q(xi)p(yj︱xi)

（2）計(jì)算得：

第63頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三

（3）

計(jì)算后驗(yàn)概率，得：

（4）計(jì)算各種熵及平均互信息量：信源熵

信宿熵

聯(lián)合熵

=-2×0.5(1-ε)log0.5(1-ε)-2×0.5εlog0.5ε

=log2-(1-ε)log(1-ε)-εlogε=log2+H

2(ε)式中：第64頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三散布度=-p(00)logp(0︱0)-p(01)logp(1︱0)-p(10)logp(0︱1)-p(11)logp(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)可疑度

=-p(00)logφ(0︱0)-p(01)logφ(0︱1)-p(10)logφ(1︱0)-p(11)logφ(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)平均互信息量I(X;Y)=H(X)+H(Y)-H(XY)=log2+H

2(ε)

第65頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三研究通信問(wèn)題，主要研究的是信源和信道，它們的統(tǒng)計(jì)特性可以分別用消息先驗(yàn)概率q(x)及信道轉(zhuǎn)移概率p(y︱x)來(lái)描述，而平均互信息量I(X;Y)是經(jīng)過(guò)一次通信后信宿所獲得的信息。由式（2-30）知道，平均互信息量定義為：

（2-38）2．3．3有關(guān)平均互信息量的兩條定理上式說(shuō)明I(X;Y)是信源分布概率q(x)和信道轉(zhuǎn)移概率p(y︱x)的函數(shù)，下面兩條定理闡明了I(X;Y)與q(x)和p(y︱x)之間的關(guān)系。第66頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三定理2.1當(dāng)信道給定，即信道轉(zhuǎn)移概率p(y︱x)固定，平均互信息量I(X;Y)是信源概率分布q(x)的∩型凸函數(shù)。兩個(gè)信源分布q1(x)和q2(x)，分別對(duì)應(yīng)平均互信息量I1(X;Y)和I2(X;Y)，記概率分布q(x)=θq1(x)+(1-θ)q2(x)（式中0θ1），對(duì)應(yīng)平均互信息量I(X;Y)，若I(X;Y)是∩型凸函數(shù)，則應(yīng)滿(mǎn)足：

θI1(X;Y)+(1-θ)I2(X;Y)

I(X;Y)（2-39）式(2-39)表示：函數(shù)的均值小于等于均值的函數(shù)，見(jiàn)圖2-9

圖2-9函數(shù)的均值均值的函數(shù)q1θq1+(1-θ)q2

q2

q(x)θI(q1)+(1-θ)I(q2I[q(x)]I[θq1+(1-θ)q2]第67頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三定理2.1說(shuō)明，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對(duì)于每一個(gè)固定信道，一定存在一種信源（一種分布）q(x)，使輸出端獲得的信息量最大?！纠?.16】二進(jìn)制對(duì)稱(chēng)信道BSC如圖2-10所示，輸入符號(hào)集X={x1,x2}={0,1}，輸出符號(hào)集Y={y1,y2}={0,1}，信道轉(zhuǎn)移概率矩陣

，信源分布為：，計(jì)算平均互信

息量I(X;Y)=H（Y）-H（Y︱X）

01-ε

0

11-ε1圖2-10二進(jìn)制對(duì)稱(chēng)信道εε第68頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三先由算出：ω(0)=q(0)p(0︱0)+q(1)p(0︱1)=δ(1-ε)+(1-δ)εω(1)==1-ω(0)

再計(jì)算熵和條件熵 =

H2[δ(1-ε)+(1-δ)ε]=-(1-ε)log(1-ε)-εlogε=H2(ε)第69頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三則平均互信息量I(X;Y)=H（Y)-H（Y︱X）=

H2[δ(1-ε)+(1-δ)ε]-H2(ε)

當(dāng)信道固定，即

為恒值，則I(X;Y)是δ的∩函數(shù)，其曲線(xiàn)如下圖2-11所示。當(dāng)δ=0.5時(shí),I(X;Y)取得極大值，其值為log2-H2(ε),這種情況對(duì)應(yīng)等概分布,信源的平均不確定性最大. 當(dāng)δ=0或1時(shí)，這是確定信源的情況，通信得不到任何信息，即I(X;Y)=0。

圖2-11ε為恒值時(shí)的I(X;Y)曲線(xiàn)00.51δlog2-H2(ε)I(X;Y)第70頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三定理2.2當(dāng)信源給定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道轉(zhuǎn)移概率p(y︱x)的∪型凸函數(shù)。在信源固定的情況下，如果給定兩個(gè)信道轉(zhuǎn)移概率p1(y︱x)和p2(y︱x)，它們分別對(duì)應(yīng)平均互信息量I1(X;Y)和I2(X;Y)，記信道轉(zhuǎn)移概率p(y︱x)=θp1(y︱x)+(1-θ)p2(y︱x)(式中（0θ

1），對(duì)應(yīng)平均互信息量I

(X;Y)，若I

(X;Y)是p(y︱x)的∪型凸函數(shù)，則應(yīng)滿(mǎn)足：

I(X;Y)θI1(X;Y)+(1-θ)I2(X;Y) （2-40）第71頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三定理2.2說(shuō)明，信源固定以后，用不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的?？梢?jiàn)，對(duì)每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。式(2-40)表示：均值的函數(shù)小于等于函數(shù)的均值，如圖2-12所示。圖2-12函數(shù)的均值均值的函數(shù)p1θp1+(1-θ)p2

p2

I[θp1+(1-θ)p2]

θI(p1)+(1-θ)I(p2)

第72頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三XYXY各種熵之間的關(guān)系第73頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三XYXY第74頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三XY第75頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三第76頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三2．4

N維擴(kuò)展信源的熵和平均互信息量信源輸出序列為x=x1…

xi…

xN，xi∈{a0,a1,…,ak-1}，記x=x1x2…

xN的概率分布為q(x)，則信源熵為

(2-41)2．4．1N維擴(kuò)展信源的熵下面分兩種情況來(lái)考慮：1．信源離散無(wú)記憶

按式(2-41)可計(jì)算出該信源的熵：

（2－42）第77頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三根據(jù)熵的性質(zhì):條件熵小于等于無(wú)條件熵，即有 （2-45）2．信源離散有記憶信源輸出序列x=x1x2…

xN的概率為p(x)=p(x1)p(x2︱x1)p(x3︱x1x2)…p(xN︱x1x2…xN

-1)，相應(yīng)可以計(jì)算出其信源熵H(X)=H(X1)+H(X2︱X1)+H(X3︱X1X2)+…+H(XN︱X1X2…XN-1)記為：

（2-44）熵的鏈規(guī)則第78頁(yè)，講稿共88頁(yè)，2023年5月2日，星期三將式(2-45)代入式(2-44)得：