信息與編碼習(xí)題答案

本文格式為Word版，下載可任意編輯——信息與編碼習(xí)題答案二章-信息量和熵習(xí)題解

2.1莫爾斯電報(bào)系統(tǒng)中，若采用點(diǎn)長(zhǎng)為0.2s，1劃長(zhǎng)為0.4s，且點(diǎn)和劃出現(xiàn)的概率分別為2/3和1/3，試求它的信息速率(bits/s)。

214?0.2??0.4?秒3315231每個(gè)符號(hào)的熵為?log??log3?0.9183比特/符號(hào)

32315所以，信息速率為0.9183??3.444比特/秒

4解:平均每個(gè)符號(hào)長(zhǎng)為:

2.2一個(gè)8元編碼系統(tǒng)，其碼長(zhǎng)為3，每個(gè)碼字的第一個(gè)符號(hào)都一致(用于同步)，若每秒產(chǎn)生1000個(gè)碼字，試求其信息速率(bits／s)。

解:同步信號(hào)均一致不含信息,其余認(rèn)為等概,每個(gè)碼字的信息量為3*2=6比特；

所以，信息速率為6?1000?6000比特/秒

2.3擲一對(duì)無(wú)偏的骰子，若告訴你得到的總的點(diǎn)數(shù)為：(a)7；(b)12。

試問(wèn)各得到了多少信息量?

6366所以，得到的信息量為log2(比特)?2.585361(b)一對(duì)骰子總點(diǎn)數(shù)為12的概率是

361所以，得到的信息量為log2?5.17比特

36解:(a)一對(duì)骰子總點(diǎn)數(shù)為7的概率是

2.4經(jīng)過(guò)充分洗牌后的一付撲克(含52張牌)，試問(wèn)：

(a)任何一種特定排列所給出的信息量是多少?

(b)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不一致時(shí)得到多少信息量?

解:(a)任一特定排列的概率為

1,52!1?225.58比特52!所以，給出的信息量為?log213!?413413?13(b)從中任取13張牌,所給出的點(diǎn)數(shù)都不一致的概率為13A52C521

13C52所以，得到的信息量為log213?13.21比特.

42.5設(shè)有一個(gè)非均勻骰子，若其任一面出現(xiàn)的概率與該面上的點(diǎn)數(shù)成正比，試求各點(diǎn)

出現(xiàn)時(shí)所給出的信息量，并求擲一次平均得到的信息量。

解:易證每次出現(xiàn)i點(diǎn)的概率為

I(x?i)??log2i,所以21i,i?1,2,3,4,5,621I(x?1)?4.392比特I(x?2)?3.392比特I(x?3)?2.807比特I(x?4)?2.392比特I(x?5)?2.070比特I(x?6)?1.807比特H(X)???i?16

iilog2?2.398比特21212.6園丁植樹一行，若有3棵白楊、4棵白樺和5棵梧桐。設(shè)這12棵樹可隨機(jī)地排列，

且每一種排列都是等可能的。若告訴你沒有兩棵梧桐樹相鄰時(shí)，你得到了多少關(guān)于樹的排列的信息?

解:可能有的排列總數(shù)為

12!?27720

3!4!5!沒有兩棵梧桐樹相鄰的排列數(shù)可如下圖求得，

YXYXYXYXYXYXYXY

圖中X表示白楊或白樺，它有????種排法，Y表示梧桐樹可以栽種的位置，它有????種排法，

所以共有??5??*??3??=1960種排法保證沒有兩棵梧桐樹相鄰，

????因此若告訴你沒有兩棵梧桐樹相鄰時(shí)，得到關(guān)于樹排列的信息為

?7??3??8??5??8??7?log227720?log21960=3.822比特

2.7某校入學(xué)考試中有1/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來(lái)自本市，而落榜考生中有10％來(lái)自本市，所有本市的考生都學(xué)過(guò)英語(yǔ)，而外地落榜考生中以及被錄取的外地考生中都有40%學(xué)過(guò)英語(yǔ)。

(a)當(dāng)己知考生來(lái)自本市時(shí)，給出多少關(guān)于考生是否被錄取的信息?

2

(b)當(dāng)已知考生學(xué)過(guò)英語(yǔ)時(shí)，給出多少有關(guān)考生是否被錄取的信息?

(c)以x表示是否落榜，y表示是否為本市學(xué)生，z表示是否學(xué)過(guò)英語(yǔ)，x、y和z

取值為0或1。試求H(X)，H(Y|X)，H(Z|YZ)。

解:X=0表示未錄取，X=1表示錄??；

Y=0表示本市，Y=1表示外地；

Z=0表示學(xué)過(guò)英語(yǔ)，Z=1表示未學(xué)過(guò)英語(yǔ)，由此得

31p(x?0)?,p(x?1)?,44p(y?0)?p(x?0)p(y?0x?0)?p(x?1)p(y?0x?1)31111?????,41042514p(y?1)?1??,

55p(z?0)?p(y?0)p(z?0y?0)?p(y?1)p(z?0y?1)144013???,55100251312p(z?1)?1??,2525?

(a)p(x?0y?0)?p(y?0x?0)p(x?0)/p(y?0)?1313?/?104581115p(x?1y?0)?p(y?0x?1)p(x?1)/p(y?0)??/?2458p(x?0y?0)p(x?1y?0)I(X;y?0)?p(x?0y?0)log2?p(x?1y?0)log2

p(x?0)p(x?1)3535?log28?log28381844?0.4512比特3

(b)p(x?0z?0)?(p(z?0y?0,x?0)p(y?0x?0)?p(z?0y?1,x?0)p(y?1x?0))p(x?0)/p(z?0)19431369?(??)?/?101010425104p(x?1z?0)?(p(z?0y?0,x?1)p(y?0x?1)?p(z?0y?1,x?1)p(y?1x?1))p(x?1)/p(z?0)11211335?(??)?/?225425104I(X;z?0)?p(x?0z?0)log2p(x?0z?0)p(x?0)69356935?log2104?log21043104110444?0.02698比特?p(x?1z?0)log2p(x?1z?0)p(x?1)(c)H(X)?341log2?log24?0.8113比特434H(YX)?p(x?0)p(y?0x?0)log2p(y?0x?0)?p(x?0)p(y?1x?0)log2p(y?1x?0)p(x?1)p(y?0x?1)log2p(y?0x?1)?p(x?1)p(y?1x?1)log2p(y?1x?1)3139101111??log210??log2??log22??log2241041094242?0.6017比特

2.8在A、B兩組人中進(jìn)行民意測(cè)驗(yàn)，組A中的人有50%講真話(T)，30%講假話(F)，20%拒絕回復(fù)(R)。而組B中有30%講真話，50%講假話和20%拒絕回復(fù)。設(shè)選A組進(jìn)行測(cè)驗(yàn)的概率為p，若以I(p)表示給定T、F或R條件下得到的有關(guān)消息來(lái)自組A或組B的平均信息量，試求I(p)的最大值。

解:令X??A,B?,Y??T,F,R?，則

4

P(T)?P(TA)P(A)?P(TB)P(B)?0.5p?0.3?(1?p)?0.3?0.2p同理P(F)?0.5?0.2p,P(R)?0.2I(p)?I(X;Y)?H(Y)?H(YX)??(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)?0.2log20.2?(0.5plog22?0.3plog210?0.2plog25?0.3(1?p)log210?0.5(1?p)log22?330.2(1?p)log25)?0.3log20.3?0.5log20.5?(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)令I(lǐng)'(p)?0.2log2(0.5?0.2p)?0,得p?0.50.3?0.2p?I(p)max?I(p)p?0.5?0.03645比特

2.9隨機(jī)擲三顆骰子，以X表示第一顆骰子拋擲的結(jié)果，以Y表示第一和其次顆骰子拋擲的點(diǎn)數(shù)之和，以Z表示三顆骰子的點(diǎn)數(shù)之和。試求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。

解:令X=X1,Y=X1+X2,Z=X1+X2+X3,

H(X1)=H(X2)=H(X3)=log26比特H(X)=H(X1)=log26=2.585比特H(Y)=H(X2+X3)

=

2(12363364365361log236?log2?log2?log2?log2)?log26363623633643656=3.2744比特

H(Z)=H(X1+X2+X3)

?2(1321662161021615216log2216?log2?log2?log2?log2216216321662161021615212162521627216log2?log2?log2)216212162521627=3.5993比特所以

H(Z/Y)=H(X3)=2.585比特

H(Z/X)=H(X2+X3)=3.2744比特

H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特

H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特

5

2.12計(jì)算習(xí)題2.9中的I(Y；Z)，I(X；Z)，I(XY；Z)，I(Y；Z|X)和I(X；Z|Y)。

解:

I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特

I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=0

2.10設(shè)有一個(gè)系統(tǒng)傳送10個(gè)數(shù)字：0,1,?,9。奇數(shù)在傳送時(shí)以0.5的概率錯(cuò)成另外

的奇數(shù)，而其它數(shù)字總能正確接收。試求收到一個(gè)數(shù)字平均得到的信息量。

解:設(shè)系統(tǒng)輸出10個(gè)數(shù)字X等概,接收數(shù)字為Y,

191顯然w(j)??Q(i)p(ji)?，H(Y)=log10p(ji)??10i?110i?0H(Y/X)????p(x,y)log2p(yx)???p(x,y)log2p(yx)yx?偶yx?奇9?0??p(x)p(xx)log2p(xx)?i?奇y?x,奇x?奇??p(x)p(yx)log2p(yx)

1111??log22?5?4???log28102108?1比特?5?所以I(X;Y)=log210?1?2.3219比特

2.11令{ul,u2,?,u8}為一等概消息集，各消息相應(yīng)被編成下述二元碼字:

ul=0000，u2=0011，u3=0101，u4=0110u5=1001，u6=1010，u7=1100，u8=1111通過(guò)轉(zhuǎn)移概率為p的BSC傳送。試求

(a)接收的第一個(gè)數(shù)字0與ul之間的互信息量。(b)接收的前二個(gè)數(shù)字00與ul之間的互信息量。(c)接收的前三個(gè)數(shù)字000與ul之間酌互信息量。(d)接收的前四個(gè)數(shù)字0000與ul之間的互信息量。

解:（a）接收前一個(gè)數(shù)字為0的概率w(0)??q(ui)p(0ui)?i?0812

I(u1;0)?log2p(0u1)1?p?log21?1?log2(1?p)w(0)2bits

6

（b）同理w(00)??q(u)p(00u)?iii?0814

p(00u1)(1?p)2I(u1;00)?log2?log2?2?2log2(1?p)1w(00)4（c）同理w(000)?bits

?q(u)p(000u)?iii?0818

p(000u1)(1?p)3I(u1;000)?log2?log2?3?3log2(1?p)1w(000)8bits

（d）同理w(0000)??q(u)p(0000u)?iii?0818((1?p)6?6p2(1?p)2?p4)

p(0000u1)(1?p)4I(u1;0000)?log2?log21w(0000)((1?p)6?6p2(1?p)2?p4)8?log28

2.13令X、Y、Z是概率空間，試證明下述關(guān)系式成立。

(a)H(YZ|X)≤H(Y|X)＋H(Z|X)，給出等號(hào)成立的條件。(b)H(YZ|X)=H(Y|X)＋H(Z|XY)。

(c)H(Z|XY)≤H(Z|X)，給出等號(hào)成立的條件。

(1?p)(1?p)6?6p2(1?p)2?p44

bits解:(b)

H(YZ/X)????p(xyz)logxyz1p(yz/x)1p(y/x)p(z/xy)11????p(xyz)logp(y/x)p(z/xy)xyz

????p(xyz)logxyz????p(xyz)logxyz?H(Y/X)?H(Z/XY)(c)

H(Z/XY)???p(xy)?p(z/xy)logxyz1p(z/xy)1（由其次基本不等式）p(z/x)???p(xy)?p(z/xy)logxyz?H(Z/X)或

7

H(Z/XY)?H(Z/X)???p(xy)?p(z/xy)logxyz1p(z/xy)???p(xy)?p(z/xy)logxyz1p(z/x)（由第一基本

???p(xy)?p(z/xy)logxyzp(z/x)p(z/xy)p(z/x)?1)p(z/xy)???p(xy)?p(z/xy)loge?(xyz?0不等式）

所以H(Z/XY)?H(Z/X)，

等號(hào)成立的條件為p(z/xy)?p(z/x),對(duì)所有x?X,y?Y,z?Z,即在給定X條件

下Y與Z相互獨(dú)立。

(a)

H(Y/X)?H(Z/X)?H(Y/X)?H(Z/XY)?H(YZ/X)

等號(hào)成立的條件為p(z/xy)?p(z/x),對(duì)所有x?X,y?Y,z?Z,即在給定X條件

下Y與Z相互獨(dú)立。

2.14對(duì)于任意概率事件集X、Y、Z，證明下述三角不等式成立。

H(X|Y)＋H(Y|Z)≥H(X|Z)

H(X|Y)/H(XY)＋H(Y|Z)/H(YZ)≥H(X|Z)/H(XZ)

解:(a)H(X/Y)?H(Y/Z)?H(X/YZ)?H(Y/Z)?H(XY/Z)?H(X/Z)

(b)

8

H(X/Y)H(Y/Z)H(X/Y)H(Y/Z)???H(XY)H(YZ)H(Y)?H(X/Y)H(Y)?H(Z/Y)H(X/Y)H(Y/Z)??H(Y)?H(X/Y)?H(Z/Y)H(Y)?H(Z/Y)?H(X/Y)H(X/Y)?H(Y/Z)?H(Y)?H(X/Y)?H(Z/Y)H(X/Y)?H(Y/Z)?H(YZ)?H(X/Y)H(X/Y)?H(Y/Z)?H(X/Y)?H(Y/Z)?H(Z)?H(X/Y)?H(Y/Z)?H(X/Z)?0,H(Z)?0H(X/Y)H(Y/Z)??H(XY)H(YZ)H(X/Y)?H(Y/Z)H(X/Y)?H(Y/Z)?H(Z)H(X/Z)?H(X/Z)?H(Z)H(X/Z)?H(XZ)?注：?a1?a2?0,b?0?a1b?a2b?a1b?a1a2?a2b?a1a2?

a1a2?a1?ba2?b2.15令d(X，Y)=H(X|Y)＋H(Y|X)為X和Y的信息距離，令ρ(X，Y)=[H(X|Y)＋H(Y|X)]/H(XY)

為X和Y的信息距離系數(shù)。試證明有關(guān)距離的三個(gè)公理：d(X，X)=0d(X，Y)≥0

d(X，Y)=d(Y，X)

d(X，Y)＋d(Y，Z)≥d(X，Z)

解:(a)

d(X,X)?H(X/X)?H(X/X)?0d(X,Y)?H(X