信息與編碼習(xí)題答案

本文格式為Word版，下載可任意編輯——信息與編碼習(xí)題答案二章-信息量和熵習(xí)題解

2.1莫爾斯電報(bào)系統(tǒng)中，若采用點(diǎn)長為0.2s，1劃長為0.4s，且點(diǎn)和劃出現(xiàn)的概率分別為2/3和1/3，試求它的信息速率(bits/s)。

214?0.2??0.4?秒3315231每個(gè)符號(hào)的熵為?log??log3?0.9183比特/符號(hào)

32315所以，信息速率為0.9183??3.444比特/秒

4解:平均每個(gè)符號(hào)長為:

2.2一個(gè)8元編碼系統(tǒng)，其碼長為3，每個(gè)碼字的第一個(gè)符號(hào)都一致(用于同步)，若每秒產(chǎn)生1000個(gè)碼字，試求其信息速率(bits／s)。

解:同步信號(hào)均一致不含信息,其余認(rèn)為等概,每個(gè)碼字的信息量為3*2=6比特；

所以，信息速率為6?1000?6000比特/秒

2.3擲一對無偏的骰子，若告訴你得到的總的點(diǎn)數(shù)為：(a)7；(b)12。

試問各得到了多少信息量?

6366所以，得到的信息量為log2(比特)?2.585361(b)一對骰子總點(diǎn)數(shù)為12的概率是

361所以，得到的信息量為log2?5.17比特

36解:(a)一對骰子總點(diǎn)數(shù)為7的概率是

2.4經(jīng)過充分洗牌后的一付撲克(含52張牌)，試問：

(a)任何一種特定排列所給出的信息量是多少?

(b)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不一致時(shí)得到多少信息量?

解:(a)任一特定排列的概率為

1,52!1?225.58比特52!所以，給出的信息量為?log213!?413413?13(b)從中任取13張牌,所給出的點(diǎn)數(shù)都不一致的概率為13A52C521

13C52所以，得到的信息量為log213?13.21比特.

42.5設(shè)有一個(gè)非均勻骰子，若其任一面出現(xiàn)的概率與該面上的點(diǎn)數(shù)成正比，試求各點(diǎn)

出現(xiàn)時(shí)所給出的信息量，并求擲一次平均得到的信息量。

解:易證每次出現(xiàn)i點(diǎn)的概率為

I(x?i)??log2i,所以21i,i?1,2,3,4,5,621I(x?1)?4.392比特I(x?2)?3.392比特I(x?3)?2.807比特I(x?4)?2.392比特I(x?5)?2.070比特I(x?6)?1.807比特H(X)???i?16

iilog2?2.398比特21212.6園丁植樹一行，若有3棵白楊、4棵白樺和5棵梧桐。設(shè)這12棵樹可隨機(jī)地排列，

且每一種排列都是等可能的。若告訴你沒有兩棵梧桐樹相鄰時(shí)，你得到了多少關(guān)于樹的排列的信息?

解:可能有的排列總數(shù)為

12!?27720

3!4!5!沒有兩棵梧桐樹相鄰的排列數(shù)可如下圖求得，

YXYXYXYXYXYXYXY

圖中X表示白楊或白樺，它有????種排法，Y表示梧桐樹可以栽種的位置，它有????種排法，

所以共有??5??*??3??=1960種排法保證沒有兩棵梧桐樹相鄰，

????因此若告訴你沒有兩棵梧桐樹相鄰時(shí)，得到關(guān)于樹排列的信息為

?7??3??8??5??8??7?log227720?log21960=3.822比特

2.7某校入學(xué)考試中有1/4考生被錄取，3/4考生未被錄取。被錄取的考生中有50%來自本市，而落榜考生中有10％來自本市，所有本市的考生都學(xué)過英語，而外地落榜考生中以及被錄取的外地考生中都有40%學(xué)過英語。

(a)當(dāng)己知考生來自本市時(shí)，給出多少關(guān)于考生是否被錄取的信息?

2

(b)當(dāng)已知考生學(xué)過英語時(shí)，給出多少有關(guān)考生是否被錄取的信息?

(c)以x表示是否落榜，y表示是否為本市學(xué)生，z表示是否學(xué)過英語，x、y和z

取值為0或1。試求H(X)，H(Y|X)，H(Z|YZ)。

解:X=0表示未錄取，X=1表示錄?。?/p>

Y=0表示本市，Y=1表示外地；

Z=0表示學(xué)過英語，Z=1表示未學(xué)過英語，由此得

31p(x?0)?,p(x?1)?,44p(y?0)?p(x?0)p(y?0x?0)?p(x?1)p(y?0x?1)31111?????,41042514p(y?1)?1??,

55p(z?0)?p(y?0)p(z?0y?0)?p(y?1)p(z?0y?1)144013???,55100251312p(z?1)?1??,2525?

(a)p(x?0y?0)?p(y?0x?0)p(x?0)/p(y?0)?1313?/?104581115p(x?1y?0)?p(y?0x?1)p(x?1)/p(y?0)??/?2458p(x?0y?0)p(x?1y?0)I(X;y?0)?p(x?0y?0)log2?p(x?1y?0)log2

p(x?0)p(x?1)3535?log28?log28381844?0.4512比特3

(b)p(x?0z?0)?(p(z?0y?0,x?0)p(y?0x?0)?p(z?0y?1,x?0)p(y?1x?0))p(x?0)/p(z?0)19431369?(??)?/?101010425104p(x?1z?0)?(p(z?0y?0,x?1)p(y?0x?1)?p(z?0y?1,x?1)p(y?1x?1))p(x?1)/p(z?0)11211335?(??)?/?225425104I(X;z?0)?p(x?0z?0)log2p(x?0z?0)p(x?0)69356935?log2104?log21043104110444?0.02698比特?p(x?1z?0)log2p(x?1z?0)p(x?1)(c)H(X)?341log2?log24?0.8113比特434H(YX)?p(x?0)p(y?0x?0)log2p(y?0x?0)?p(x?0)p(y?1x?0)log2p(y?1x?0)p(x?1)p(y?0x?1)log2p(y?0x?1)?p(x?1)p(y?1x?1)log2p(y?1x?1)3139101111??log210??log2??log22??log2241041094242?0.6017比特

2.8在A、B兩組人中進(jìn)行民意測驗(yàn)，組A中的人有50%講真話(T)，30%講假話(F)，20%拒絕回復(fù)(R)。而組B中有30%講真話，50%講假話和20%拒絕回復(fù)。設(shè)選A組進(jìn)行測驗(yàn)的概率為p，若以I(p)表示給定T、F或R條件下得到的有關(guān)消息來自組A或組B的平均信息量，試求I(p)的最大值。

解:令X??A,B?,Y??T,F,R?，則

4

P(T)?P(TA)P(A)?P(TB)P(B)?0.5p?0.3?(1?p)?0.3?0.2p同理P(F)?0.5?0.2p,P(R)?0.2I(p)?I(X;Y)?H(Y)?H(YX)??(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)?0.2log20.2?(0.5plog22?0.3plog210?0.2plog25?0.3(1?p)log210?0.5(1?p)log22?330.2(1?p)log25)?0.3log20.3?0.5log20.5?(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)令I(lǐng)'(p)?0.2log2(0.5?0.2p)?0,得p?0.50.3?0.2p?I(p)max?I(p)p?0.5?0.03645比特

2.9隨機(jī)擲三顆骰子，以X表示第一顆骰子拋擲的結(jié)果，以Y表示第一和其次顆骰子拋擲的點(diǎn)數(shù)之和，以Z表示三顆骰子的點(diǎn)數(shù)之和。試求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。

解:令X=X1,Y=X1+X2,Z=X1+X2+X3,

H(X1)=H(X2)=H(X3)=log26比特H(X)=H(X1)=log26=2.585比特H(Y)=H(X2+X3)

=

2(12363364365361log236?log2?log2?log2?log2)?log26363623633643656=3.2744比特

H(Z)=H(X1+X2+X3)

?2(1321662161021615216log2216?log2?log2?log2?log2216216321662161021615212162521627216log2?log2?log2)216212162521627=3.5993比特所以

H(Z/Y)=H(