信息論與編碼曹雪虹張宗橙第二版課后習(xí)題答案

信息論及編碼-曹雪虹張宗橙(第二版)課后習(xí)題答案

第二章

人「AA-A-i-iP(U\IUl)=1/2P(U1\U\\=\I2

2.1一個(gè)馬爾可夫信源有3個(gè)符號(hào)I),轉(zhuǎn)移概率為：?17

p(?31wi)=0p(u\|?2)=1/3p(ui\u2)=0p(w31W2)=2/3p｛u\|?3)=1/3

，，，，J

P(〃2|〃3)=2/3,p(，3|W=0,畫出狀態(tài)圖并求出各符號(hào)穩(wěn)態(tài)概札

解：狀態(tài)圖如下

狀態(tài)轉(zhuǎn)移矩陣為：

設(shè)狀態(tài)U,5,5穩(wěn)定后的概率分別為W”W,、K

-W}+-W2+-Wi==仍

233"1=10

一

2295

■:%

23-一

25

-W2=Wi6

一

WP=W3少3-

心+%2+〃3=:1得心+仍+仍=125

由

2.2由符號(hào)集｛0,1｝組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：=0.8,P(°HD=0.2,

p(l100)=02,P("ll)=0.8,M0⑼)=0.5,。⑼10)=0,5,刈°1)=。.5,。⑴1°)=0.5。

畫出狀態(tài)圖，并計(jì)算各狀態(tài)的穩(wěn)態(tài)概率。

P(O|OO)=/?(OO|OO)=O.8p(0101)=X10101)=0.5

用牛：

0.80.200、

000.50.5

p

0.50.500

000.20.8

于是可以列出轉(zhuǎn)移概率矩陣：7

狀態(tài)圖為：

設(shè)各狀態(tài)00,01,10,11的穩(wěn)態(tài)分布概率為K,WIM.W,有

W\=—

14

0.8億+0.5%=%%2=」

7

0.2粕+0.5%=仍

0.5仍+0.2%4=%Wi=-

WP=W7

40.5匹2+0.8%4=%4

WA=—

粕+%2+%3+%4=1

./=1得計(jì)算得到14

2.3同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6,求:

(1)“3和5同時(shí)出現(xiàn)“這事件的自信息；

(2)“兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息；

(3)兩個(gè)點(diǎn)數(shù)的各種組合(無序)對(duì)的熠和平均信息量；

(4)兩個(gè)點(diǎn)數(shù)之和(即2,3,…，12構(gòu)成的子集)的熠;

(5)兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。

解：

(1)

⑵

⑶

兩個(gè)點(diǎn)數(shù)的排列如下：

111213141516

212223242526

3

414243444546

5

616263646566

共有21種組合：

111

—X——.......

其中11,22,33,44,55,66的概率是6636

,111

2x—x—二—

其他15個(gè)組合的概率是6618

(4)

參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下:

2678910U

一-1

1515111112

=---1--

一--

6912

一-36363611836

"(X)=-Ep(x,)logP(Xj)

cl,1.1,1,1,1,1,15,51,1

2x—log—+2x—log—+2x—log—+2x—log—+2nx——log—+—log-

36361818121299363666

=3.274bit/symbol

⑸

2-4

2.5居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高

160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多

少信息量？

解：

設(shè)隨機(jī)變量X代表女孩子學(xué)歷

XX,(是大學(xué)生)感(不是大學(xué)生)

P(X)0.250.75

設(shè)隨機(jī)變量Y代表女孩子身高

Yy,(身高＞160cm)y?(身高＜160cm)

P(Y)0.50.5

已知：在女大學(xué)生中有75%是身高160厘米以上的

即：PUJxJ=0.75bit

求：身高160厘米以上的某女孩是大學(xué)生的信息量

/(X|/必)=一logMM/必)=Tog二I_-=-log—————=1.415hit

即：。(必)0.5

2.6擲兩顆骰子，當(dāng)其向上的面的小圓點(diǎn)之和是3時(shí)，該消息包含的信息量是多少？當(dāng)小圓點(diǎn)之和是7時(shí),

該消息所包含的信息量又是多少？

解：

Mx)=ML2)+p(2,l)=上

1)因圓點(diǎn)之和為3的概率18

該消息自信息量/(X)=TogP(x)=log18=4.1706”

2)因圓點(diǎn)之和為7的概率

該消息自信息量/(X)=T°gP(x)=log6=2.5856/7

'X、XI=0X2=1X3=2X4=3]

2.7設(shè)有-離散無記憶信源，其概率空間為(PJ(3/81/41/41/8)

(1)求每個(gè)符號(hào)的自信息量

(2)信源發(fā)出一消息符號(hào)序列為｛202120130213001203210110321010021032

011223210｝,求該序列的自信息量和平均每個(gè)符號(hào)攜帶的信息量

1Q

/(Xi)=log2-----=log2—=1.415bit

解：P(M3

同理可以求得/("2)=2b”,/(X3)=2bit,I(xj)=3bit

因?yàn)樾旁礋o記憶，所以此消息序列的信息量就等于該序列中各個(gè)符號(hào)的信息量之和

就有:1=14/(xi)+13/(x2)+12/(x3)+6/(x4)=87.8\bit

平均每個(gè)符號(hào)攜帶的信息量為45bit/符號(hào)

2.8試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？

解：

四進(jìn)制脈沖可以表示4個(gè)不同的消息,，例如：｛0,1,2,3)

八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：｛0,1,2,3,4,5,6,7｝

二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：｛0,1)

假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：

四進(jìn)制脈沖的平均信息量H(XJ=log"=log4=2bit/symbol

八進(jìn)制脈沖的平均信息量〃（丫2）=log"=log8=3bit/symbol

二進(jìn)制脈沖的平均信息量“（X。）=唾〃=皿2=1bit/symhol

所以:

四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。

2-9“一”用三個(gè)脈沖“?"用一個(gè)脈沖

(1)l(?)=Log(4)=2

一Log(4)+—Log|-|=0.811

⑵H=4"4

(1)|tog(3)+|Log(|)=0.918

410

⑵p(黑/黑)=14P泊/黑)=14

11410

Io+一0.381

H(Y/黑)=1414

5

⑶P(黑/白)=14P(白/白)=14

5T39,

—Log—+—Log0.94

H(Y/白)=1414

52

(4)P(黑)=15P(白)=3

1,…2,

-E電+-Log0.918

H(Y)=33

2.11有一個(gè)可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1,…，38的數(shù)字標(biāo)示，其中有兩份涂綠色,

18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。

（1）如果僅對(duì)顏色感興趣，則計(jì)算平均不確定度

（2）如果僅對(duì)顏色和數(shù)字感興趣，則計(jì)算平均不確定度

（3）如果顏色已知時(shí),則計(jì)算條件烯

解：令X表示指針指向某一數(shù)字，則*={1,2,38}

Y衣示指針指向某種顏色，則Y={1綠色，紅色，黑色}

Y是X的函數(shù)，由題意可知P（X'%）=P（x'）

-1

Wrr/)v、=XVM"t)\l1og—1—=2—log3—8+c2x1—81log3—8=1..24

月曲/符號(hào)

(I)P(yj)3823818

H(X,Y)="(X)=log238=5.25符號(hào)

(3)H(X|Y)=H(X,H(Y)=5.25-1.24=4.01爪/符號(hào)

兩個(gè)實(shí)驗(yàn)X和Y,X=HX?xJ,Y=M%yj,l聯(lián)合概率'(孫”’)

2.12切為

（1）如果有人告訴你X和Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？

（2）如果有人告訴你Y的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？

（3）在已知Y實(shí)驗(yàn)結(jié)果的情況下，告訴你X的實(shí)驗(yàn)結(jié)果，你得到的平均信息量是多少？

解：聯(lián)合概率夕（用力）為

Y

yiy2y：；

X〃(x,y)=Zp(x,,以)bg2J

Tp(x，,％)

Xi7/241/240

72411

=2x—log2—+4x—log224+—log24

x21/241/41/24

01/247/24

xs=2.3bit/符號(hào)

x概率分布

XX]X2x：.

P8/248/248/24H(y)=3x-log23=1.58

3bit/符號(hào)

H(XIy)=H(X,X)-H(Y)=2.3-1.58

=0.72bit/符號(hào)

Yyiy2y3

P8/248/248/24

2.13有兩個(gè)二元隨機(jī)變量A?和丫,它們的聯(lián)合概率為

YXx尸0x2=l

y,=o1/83/8

3/81/8

y2=i

并定義另一隨機(jī)變量Z=XV(一般乘積)，試計(jì)算：

(1)H(X),H(Y),H(Z),H(XZ),〃儂和?⑵；

(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),和

⑶/優(yōu)〃I(X:Z),I(Y:Z),I(X:Y/Z),/化加和/(X2/W。

解：

(1)

z=力7的概率分布如下：

(2)

(3)

2-14

(1)

79

+02360311

⑵*i￡l：!(X；Y)=p(yO)l(X;yO)+p(y1)l(X;y1)=?°頡^=

0.311

方法2:

2-15

(\8、

p(bl)=p(b2)=；

P(j/i)=\81-S

2.16黑白傳真機(jī)的消息元只有黑色和白色兩種,即*=｛黑，白｝,一般氣象圖上，黑色的出現(xiàn)概率P（黑）

=0.3,白色出現(xiàn)的概率p（白）=0.7.

（1）假設(shè)黑白消息視為前后無關(guān)，求信源燧H（X）,并畫出該信源的香農(nóng)線圖

（2）實(shí)際上各個(gè)元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P（白I白）=0.9143,P（黑|白）=0.0857,P（白|黑）

=0.2,P（黑I黑）=0.8,求這個(gè)--階馬爾可夫信源的信源燧，并畫出該信源的香農(nóng)線圖。

（3）比較兩種信源燧的大小，并說明原因。

H(X)=0.3log2—+0.7log2—=0.8813

解：⑴37bit/符號(hào)

P（黑I白）=P（黑）

P（白I白）=P（白）

P（黑I黑）=P（黑）

P（白I黑）=P（白）

（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒€(wěn)的（P（白）=0.7不隨時(shí)間變化，P（黑）=0.3不隨時(shí)

間變化）

=0.512bit/符號(hào)

2.17每幀電視圖像可以認(rèn)為是由310'個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素乂取128個(gè)不

同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)

漢字中選出1000個(gè)漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字

匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像,廣播員在口述中至少需要多少漢字？

解：

1）

2）

3）

p（x）=-Ae~A^

2.20給定語音信號(hào)樣值X的概率密度為2一00<%<+8）,求比（刈，并證明它小于同

樣方差的正態(tài)變量的連續(xù)焙。

解：

1

x2+y2<r2

P(x,y)=

0其他

2.24連續(xù)隨機(jī)變量乃和y的聯(lián)合概率密度為:,求，⑴，H（Y）,

切和I(X；Y)O

logsinxdx=--log2

。22

(提示：°2)

解：

2.25某一無記憶信源的符號(hào)集為{0,1},已知戶=1/4,P(l)=3/4。

(1)求符號(hào)的平均焙；

(2)有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列(例如有"個(gè)“0”和(100-加個(gè)“1”)的自信息量

的表達(dá)式；

(3)計(jì)算(2)中序列的列。

wT?

(1\

/!

(2X

/I

(3X

/I

2-26

1

11

--J)ri_￡J.1

44

4428888

31

*113

po-一J1111

Io

105310L515Io

1J11111

<%

66>P(i)=P(ij)=<36石3636

4-Log(8)+2—Log(10)+2—Log(15)+3—Log(36)+—Log(12)=3.415

H(IJ)=310153612

A

2.29有一個(gè)一階平穩(wěn)馬爾可夫鏈XL,…,名,…各xr取值于集合={"""203},已知起始概率

P(X^8=l/2,p2=p3=l/4,轉(zhuǎn)移概率如下圖所示

j123

11/21/41/4

22/301/3

32/31/30

(1)求(XI，X2,X3)的聯(lián)合端和平均符號(hào)燧

(2)求這個(gè)鏈的極限平均符號(hào)嫡

(3)求和它們說對(duì)應(yīng)的冗余度

解：⑴

-log-log-—log—=l.5bit/

2&24444

x?X2的聯(lián)合概率分布為

123%的概率分布為

P(X1,X2,)

那么

11/41/81/8=1.209bit/符號(hào)

XX的聯(lián)合概率分布為

21/601/12

31/61/120

123

14/245/245/24

123

P(X2iX3j)

17/247/487/48

25/3605/12

35/365/120

那么

=1.26bit/符號(hào)

H(Xi,X2,^3)=1.5+1.209+1.26=3.9696〃/符號(hào)

3969

Xi)==1.323b“

所以平均符號(hào)搞3/符號(hào)

(\1、

24

2

P0

3

21

0

(2)設(shè)a?包,a,穩(wěn)定后的概率分布分別為Wl,W2,W3,轉(zhuǎn)移概率距陣為337

122

-W\+-Wi+-Wi=\W\^-

2337

少2=2

-W\+-Wi=W2

4314

WP=WW\+Wi+W3=\

W^—

14

由得到計(jì)算得到

又滿足不可約性和非周期性

_3A111321

"我乃=Z%以%I=-//(-,-,-)+2x—H(0)=1.25bit

i\/14

=/符號(hào)

1.5+1.209

1.355677

⑶=bg3=1.58b"/符號(hào)Hi=\.5bit/符號(hào)2/符號(hào)

2-30

<2J、

33

(1)求平穩(wěn)概率P(j/i)=1l0，

解方程組

4

嚴(yán)2,1

⑺

得到

⑵H(S/s1)=|Log(|)+|Log(3)=0.918

信源野為:

2-31

P(j/i)=\22/解方程組Wl+W2+W3=1得到Wl=W2=0,W3=4

2.32一階馬爾可夫信源的狀態(tài)圖如圖2—13所示，信源X的符號(hào)集為(0,1,2)。

(1)求信源平穩(wěn)后的概率分布P(0),P(l),P(2)

(2)求此信源的燧

(3)近似認(rèn)為此信源為無記憶時(shí)，符號(hào)的概率分布為平穩(wěn)分布。求近似信源的炳H(X)并及48進(jìn)行比較

1-。p/2p/2

PpHl-pp/2

p/2p/2

解:根據(jù)香農(nóng)線圖，列出轉(zhuǎn)移概率距陣l-p

令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為Wl,W2,W3

(\-p)W\+^Wi+^W3=W\w=-

3

-?^粕+(l-p)%2+^■憶=%W=-

WP=W3

3W\+Wz+W3=\

W=-

3

」=1得到-計(jì)算得到

由齊次遍歷可得

"(X)=log3=1.586/7/符號(hào)由最大燃定理可知"MX)存在極大值

或者也可以通過下面的方法得出存在極大值:

P11Pr1P,

---------------1------------------G0A.+X--------=1

2(1—p)22(1—p)又所以2(l—p)L」當(dāng)值/3時(shí)2(1一必

0<p<2/3時(shí)前2(1-p)

陰8(不).pn

2/3<p〈l時(shí)EMBEDEquation.DSMT4dP2(1-p)

所以當(dāng)p=2/3時(shí)"“(X)存在極大值,且"MX)max=1.58bit/符號(hào)

所以

2-33

(1)

解方程組：

得p(0)=p6=p(2)=W

(2)

(3)

當(dāng)p=0或p=l時(shí)信源熠為0

練習(xí)題：有一離散無記憶信源，其輸出為Xe{0」，2},相應(yīng)的概率為

po=l/4,pi=l/4,p2=l/2,設(shè)計(jì)兩個(gè)獨(dú)立的實(shí)驗(yàn)去觀察它，其結(jié)果分別為

yie{0,l},y2e{0,l})已知條件概率:

P(y,|x)01

011

101

21/21/2

P(y2|x)01

010

110

201

(1)求/(X；H)和/(X；Y2),并判斷哪一個(gè)實(shí)驗(yàn)好些

⑵求/(X；y>2),并計(jì)算做Y,和匕兩個(gè)實(shí)驗(yàn)比做匕和匕中的一個(gè)實(shí)驗(yàn)可多得多少關(guān)于X的信息

(3)求"X；711⑸和/(X；Yi|Ki),并解釋它們的含義

解：(1)由題意可知

Y,01

X

01/40

101/4

21/41/4

01

Y2

X

01/4