第二篇信源熵習(xí)題答案 1

1、試問四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？解：四進(jìn)制脈沖能夠表示4個(gè)不同的消息,例如：(0,1,2,3)八進(jìn)制脈沖能夠表示8個(gè)不同的消息，例如：0,1,2,3,4,5,6,7)二進(jìn)制脈沖能夠表示2個(gè)不同的消息，例如：0,1假設(shè)每一個(gè)消息的發(fā)出都是等概率的，那么：四進(jìn)制脈沖的平均信息量H(XJ=logn=log4=2bit!symbol八進(jìn)制脈沖的平均信息量H(X1)=log/?=log8=3bit!symbol二進(jìn)制脈沖的平均信息量H(Xo)=log/?=log2=1bit/symbol因此：四進(jìn)制、八進(jìn)制脈沖所含信息量別離是二進(jìn)制脈沖信息量的2儕和3倍。一副充分洗亂了的牌(含52

2、張牌)，試問(1)任一特定排列所給出的信息量是多少？(2)假設(shè)從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能取得多少信息量？解：(1) 52張牌共有52!種排列方式，假設(shè)每種排列方式顯現(xiàn)是等概率的那么所給出的信息量是:I(xf)=-log/Xx；)=Iog52!=225.581bit(2) 52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下：4,3(內(nèi))=尸C52413/(2)=-log”(匹)="logIT=13.208bitC52居住某地域的女小孩有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占總數(shù)的一半。假設(shè)咱們得知“身高

3、160厘米以上的某女孩是大學(xué)生”的消息，問取得多少信息量？解：設(shè)隨機(jī)變量X代表女小孩學(xué)歷XX/(是大學(xué)生)A-2(不是大學(xué)生)P(x)yi （身高 160cm）設(shè)隨機(jī)變量Y代表女小孩身高Yyi(身高160cm)P(Y)己知：在女大學(xué)生中有75%是身高160厘米以上的即：p(%/X)=0.75)7求：身高160厘米以上的某女孩是大學(xué)生的信息量nnrz,X】/、1P(M)P(»/Xi)i0.25x0.75一即：I(芭/H)=-log/?(xl/y1)=-log-=-log-=A5bitp(yj0.5設(shè)離散無經(jīng)歷信源X=卜=°=10=2=3其發(fā)出的信息為(202032),求P(X

4、)3/81/41/41/8一(1)此消息的自信息量是多少？(2)此消息中平均每符號(hào)攜帶的信息量是多少？解：(1)此消息總共有14個(gè)0、13個(gè)一、12個(gè)二、6個(gè)3,因此此消息發(fā)出的概率是：此消息的信息量是：/=log=87,811bit(2)此消息中平均每符號(hào)攜帶的信息量是：/=87.811/45=1.951hit從大量統(tǒng)計(jì)資料明白，男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為%,若是你問一名男士:“你是不是是色盲？”他的回答可能是“是?？赡苁恰胺穸栠@兩個(gè)回答中各含多少信息量，平均每一個(gè)回答中含有多少信息量？若是問一名女士，那么答案中含有的平均自信息量是多少？解：男士：P(Xy)=7%/(4)=

5、-logp(xY)=-log0.07=3.837bit(Xm)=93%/(xv)=-Iog/?(xv)=-log0.93=0.105hit2H(X)=一£pg)logp(x)=-(0.071og0.07+0.9310go.93)=0.366bit/synihoii女士：2H(X)=/?(a;)logp(xt)=-(0.0051og0.005+0.9951og0.995)=0.045bit!symbol設(shè)信源,求那個(gè)信源的烯，并說明什么緣故H(X)>Iog6不知足信源煙的極值性。解：H(X)=一2(蒼)logP(%r)=-(0.2log0.2+0.191og0.19+0.181o

6、g0.18+0.171og0.17+0.161og0.16+0.171og0.17)=2.657hit/symbolH(X)>log?6=2.585不知足極值性的緣故是:)=1.07>10同時(shí)擲出兩個(gè)正常的骰子，也確實(shí)是各面呈現(xiàn)的概率都為1/6,求: (4) 解: (1)“3和5同時(shí)顯現(xiàn)”這事件的自信息；“兩個(gè)1同時(shí)顯現(xiàn)”這事件的自信息；兩個(gè)點(diǎn)數(shù)的各類組合(無序)對(duì)的燧或平均信息量；兩個(gè)點(diǎn)數(shù)之和(即2,3,，12組成的子集)的炳;兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。z11111P(A；)=X+X=666618/(xr)=-log(為)=-log=4.170bit18/XA；)=lx

7、i=r6636Z(x.)=-log/?(xz)=-logy-=5.170bit36(3)兩個(gè)點(diǎn)數(shù)的排列如下:111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合:其中 11, 22, 33,44, 55, 66的概率是!6其他15個(gè)組合的概率是2x1 =6 6 181 1x = 一6 361111H(X)=p(x.)log/?(x.)=-6xlog+15xlog=4337bit/symbol/y36361o18(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，能夠得出兩個(gè)點(diǎn)數(shù)求和的概率散布如下:51-971

8、-601-211-1191-9”（X）=-工（玉）log（七）= 3.274 bit!symbol,、11-11/?(X-)=Xxl1=z6636/(七)=-log(xj=-log，=1.710bit3o證明：H(X,XZ.Xn)WH(Xf)+H(X2)+H(XJO證明：H(XiX2.X)=H(Xl)+H(X2/Xi)+H(Xi/XX2)+.+H(XJXiX2.Xn_i)Z(X2;X,)>0=H(X)NH(XJX)Z(X3;X1X2)>0=>/7(X3)>/(X3/X1X2)I(XN;XiX2.Xil_i)>0=H(Xn)NH(Xn/XKXQ.H(XX2.JCn)

9、<H(Xl)+H(X1)+H(Xi)+.+H(Xn)證明：h（x3/xmWH（X，X,）,并說明當(dāng)兒的先是馬氏鏈時(shí)等式成立。證明：/7(X3/XlX2)-H(X3/X1)="XZEPC"陰3)logP($3/馬2)+ZZP(X，43)logP(%3/馬)fli2i3ilB="ZEE(/為2%)logP(%3/X丙2)+ZZZ(/和3)logP(%3/冏)rli2i3ilili3= ZZZP(XME3)10g/I il iipCWm)(""2)il il i3-1log2SEEp($.內(nèi)2)P(%/與)一ZZZp”42%)log?eVrli

10、li3ililB7=0rlil2>(知/勺)-11哂©L/3J/./7(X3/XiX2)</7(X3/X1)當(dāng)（%/%）-1=OS寸等式成立（蒼3,"2）="（%/）=（%/）=（/七2）（答3/%）=（七3/羽）（%內(nèi)2）=>P（X"）（專/1）（/）=（蒼丙2%）=（為2/劉）（占3九%）=（%2%/），等式成立的條件懸卜X2,X聶馬氏鏈對(duì)某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個(gè)狀態(tài)，調(diào)查結(jié)果得聯(lián)合顯現(xiàn)的相對(duì)頻度如下：L冷12晴1暖8 忙L冷27 雨I暖 15 閑冷5 雨假設(shè)把這些頻度看做概率測(cè)度，求：（

11、D忙閑的無條件焙；（2）天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件熠；（3）從天氣狀態(tài)和氣溫狀態(tài)取得的關(guān)于忙閑的信息。解：（1）依照忙閑的頻率，取得忙閑的概率散布如下：Xp（x）為忙< 63,103與閑、 40 > 103.二(63634040、,"(X)=-Z(M)log(K)=J-lo77+777；loS77=口964biHsymbolJ1vJJ1J31KxJ1VXJ/（2）設(shè)忙閑為隨機(jī)變量x,天氣狀態(tài)為隨機(jī)變量匕氣溫狀態(tài)為隨機(jī)變量z"(xyz)=-zZZp(匕)“)iog(xH4)，1k(12,1281827、27161161103"1031031031

12、03103103103881515551212A+log+log+log+log103103103103103103103103；=2.836bit!symbolH(YZ)=-工Zp(y3)logp(X4)jk(20120231233213228128=-log+102+102+1021103103103"103103103103"103；=1.977bitIsymbolH(X/YZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bit/symbol（3）I(X;YZ)=H(X)-H(X/YZ)=0.964-0.859=0.159bit/symbol有兩個(gè)二

13、元隨機(jī)變量才和匕它們的聯(lián)合概率為xfOX2二1y尸01/83/8y2=13/81/8并概念另一隨機(jī)變量2=彳丫(一樣乘積)，試計(jì)算：7 x)z x)z 12 3 (X /(X /(XH(X),H(Y),H(Z)fH(XZ),和，夕力；H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),和斤;KX;Y)f/(X;Z),KY;Z)fMX;Y/Z),/化/和/%2/次(I)131P(X)=P(須X)+/ax,y2)=-+-=-ooZ311p(4)=P(Z)1)+P(&)'2)=$+$=7ooZH(X)=-WP(xjlogp(Xj)=1b

14、it!symboli131P(Ji)=P(xy1)+p(x2y)=-+-=-ooZ311P(乃)=P(M>,2)+/Xx2y2)=-+-=-oo2H(r)=一ZP(yi)logp(y)=Ibit/symboljz=xy的概率散布如下：Z1pi=0z?=1=71,LP(Z)Jii2(J711AH(Z)=-ZP)log-+-log-=0.544bit!symbolk8"88"8;億)loqiiL<s/jiq11+1 =x f f(")c/ 丐O(2%')dZZZ- =(ZAX)/7Q,=("%”/=(“)d=(z2zXzx)d+(I2S&

15、lt;Sv)0=(12H)dQ-=(<zx)d=(»Kzx)d£=(z2li(zx)d+(12(zx)dQQ7-=-=2Vx)d一(2)d=Czxd£II(»*”/=(»%/)"+(»*)</g/1=(K1x)d=(2<x)d(Vx)d=(12Vx)d+(DWx)d0=(24%)0=(VWx)d0=(VKLt)”埼中£$©90/1=軻。:+部佇+彳凱由一二次必而心次必之之一:)IvvIIy=(2)j=(J2s<y/(Z2S<)6/+(32,A)6/=(r2X/，=G0-；=(

16、M(”“2”)d(12S<)J+(I2,A)J=(12)J9()=(*)="£)</0=(4"(Z2KM+(2K)"=(X)"rg8gg乙Z)r7r',。夕1($/490獷1=-SoI-+-§oI-+-§ol-=(zx)JgOI(*2-x)JXZ-=(ZX)Hl匕匕IIJo=(z2)d=(r2c.V)J(z2zx)d+(z2lx)d=(z2)dQQ-=CQ=(12,x)f/一(l2)d=(l2zx)d£L(,2)J+(,2,r)J=(12X/g()=(Lt)d=(DLy)”0=(9x)d(z2l

17、x)d+(f2k)c/=(lx)d11333311(XY)=(xp)log、(內(nèi)匕)=log-+-log+log+log=1.811bit/symbolij188888888,H(X/Y)=H(XY)-H(X)=1.811-1=0.811bit/symbolH(Y/X)=H(XY)-H(X)=1.S1-1=0.811bit/symbolH(X/Z)=H(XZ)-H(Z)=1.406-0.544=0.862bitIsymbolH(Z/X)=/7(XZ)-H(X)=1.406-1=0.406bit/symbol(y/Z)="(yz)-”(z)=1.406-0.544=0862加"

18、;sy5加/H(Z/y)=H(YZ)-H(Y)=1.406-1=0.406bit/symbolH(X/YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbolH(YIXZ)=H(XYZ)-/7(XZ)=1.811-1.406=0.405bit/symbol/7(z/xr)=/7(xrz)-77(xr)=1.811-1.811=0bit/symbol(3)IXY)=H(X)-/7(X/r)=l-0.811=0.189bit/symbolI(XyZ)=H(X)-H(X/Z)=-0.S62=QA3Sbit/symbol/(y；Z)="(y)-(y/Z)=1-

19、0.862=0.138symbol/(X；r/Z)=H(X/Z)-H(X/rZ)=0.862-0.405=0.457bitIsymbol/(y；Z/X)=H(r/X)-H(r/XZ)=0.862-0.405=0.457bit/symbolZ(X;Z/r)=W(X/r)-H(X/yZ)=0.811-0.405=0.406bit/symbol有兩個(gè)隨機(jī)變量彳和匕其和為z=r(一樣加法)，假設(shè)彳和r彼此獨(dú)立，求證：h(x)WH(Z),H(Y)WH(Z)O證明：-Z=X+Y/、，、J，"%)Gf°Gf)史丫(Z/X)=-ZZP(x4)logp(z3x)=-ZP(X)=-ZpG)(力

20、)l°g2P(力)=H(Y)iLi.vH(Z)>/7(Z/X):.H(Z)>H(Y)同理可得(Z)N”(X)c設(shè)有一個(gè)信源，它產(chǎn)生0,1序列的信息。它在任意時(shí)刻而且不論以前發(fā)生過什么符號(hào)，均按p(0)=,P(1)二的概率發(fā)出符號(hào)。(1)試問那個(gè)信源是不是是平穩(wěn)的？試計(jì)算“ZH(X3/X,Xz)及Hm(3)試計(jì)算/的并寫出/信源中可能有的所有符號(hào)。解：(1)那個(gè)信源是平穩(wěn)無經(jīng)歷信源。因?yàn)橛羞@些詞語：“它在任意時(shí)刻而且不論以前發(fā)生過什么符號(hào)”H(X2)=2”(X)=2x(0.41og0.4+0.61og0.6)=l.942/7/w/?o/H(XJX,X2)=H(XJ=-/?(

21、x/)log/?(xf.)=-(0.41og0.4+0.61og0.6)=0.971bit!symboliHb=limH(XJXX,XQ=H(Xy)=0.91bit/symbolN->8H(X4)=4H(X)=-4x(0.41og0.4+0.61og0.6)=3.884X，的所有符號(hào)：00000001001000110100010101100111100010011010101111001 10111 101111設(shè)X=X1X2Xn是平穩(wěn)離散有經(jīng)歷信源，試證明：H(XX”.Xn)=H(X)+H(XJX)+H(XJXXD+.+H(Xn/XX”.Xnt)。證明：H(XXXn)=NZZp(二%

22、.演)1。8p(=4%)4H%=-ZZZ(天工4)i°g(%)(/毛)(/%.百人)=N£2p(%g%)叫(五)-ZZ(九凡,演)iogp(%/%)nL%J4hL5_一ZZ2(七凡,旗)10gp(%J人-Q>2%=Np(%)iog(七)一XXp(%q)i°g(%/%)a>i>>一ZXZ(%&)1。g(/天“小)i|：2%=H(Xl)+H(X2/Xi)+H(X3/XlX2)+.+H(XN/XiX2.XN)某一無經(jīng)歷信源的符號(hào)集為0,1,已知夕=1/4,P(1)=3/4o(1)求符號(hào)的平均煙；(2)有100個(gè)符號(hào)組成的序列，求某一特定序

23、列(例如有勿個(gè)“0”和(100-而個(gè)"1”)的自信息量的表達(dá)式；(3)計(jì)算中序列的烯。解：(1)/1133H(X)=22P(x,)l°gP(xi=4+44=0811bit!symbol（Y"（3y0°-川3100-陽p七uk/（七）=-logP*,）=Tog4K）0=41.5+1.5857zhit（3）H（X100）=10（W（X）=1OOx0.811=81.1bit/synibol一階馬爾可夫信源的狀態(tài)圖如以下圖所示。信源彳的符號(hào)集為0,1,2。(1)求平穩(wěn)后信源的概率散布；(2)求信源的焙體。解：（1）P（q）=（修）（6/q）+p（e2）p（eje

24、< P（e2）=p（e2）p（e2/e2）+.P（S）=/色）+P（5）p（eJeJ（6）=（6|）+（62）< &）=（七）+（63）（%）=（63）+（6|）（勺）=（62）=（63）<（6）+（七）+（63）=1p（q）=l/3< Pg）=1/3p（%）=1/3P（再）=（6）P（M/q）+P（e2）p（K/s）=p（c）+p（七）=（p+p）/3=l/3<P（W）=P（4）P（x2/e2）+p（q）p（x2/e3）=p-p（e2）+pp（q）=（p+）/3=1/3（3）=PG），。%?。?p（e）（&/）=p"（q）+p,p（q）

25、=（p+p）/3=1/3XIf0121_P（X）J1/31/31/3；“8=ZZ(4)P(q/4)logp(4/6)ii=-1P(4/4)log(。/G)+：p(ejq)log(G/6)+；"(4/4)bg(6/6)+"(6/6)log(/g)+；P(6/%)logp(G/s)+；p(e3/6)logp(6/e2)wXwZ+:“(6/6)logp(et/e3)+p(e2/6)logp(e2/e3)+p(e3/e3)logp(e3/e、)wZ-1-111-11-=-_plog/7+-/?logP+;,plog/2+-/?logP+7plog/7+-/?logp333333=-

26、(/?log/?+/?log/?)bitIsymbol黑白氣象圖的消息只有黑色和白色兩種，即信源后黑，白。設(shè)黑色顯現(xiàn)的概率為P寓二，白色顯現(xiàn)的概率為/Y仞=o(D假設(shè)圖上黑白消息顯現(xiàn)前后沒有關(guān)聯(lián)，求烯；(2)假設(shè)消息前后有關(guān)聯(lián)，其依托關(guān)系為ZY白/粉二，P(黑/白)二，P(白/黑)二，P(黑/黑)二，求此一階馬爾可夫信源的炳為；(3)別離求上述兩種信源的剩余度，比較，和死的大小，并說明其物理含義。解：(1)H(X)=一Z(七)logP(Xj)=-(0.3log0.3+0.71og0.7)=0.881hit/symbolip ""二。sP(4)=P(G)P(4/修)+“(s)

27、(4/6)<PM=P(e2)P(e2/<?2)+P(ei)P(e2/ei)p(el)=0.8p(el)+0.1p(e2)p(e2)=0.9p(e2)4-0.2p(et)p(e2)=2p(e1)<p(ei)+(g)=lP)="3MQ=2/3H2=H8=P(q)p(ej/eJTogp(ej/q)1122-x0.81og0.8+x0.21og0.2+x0.1logO.1+x0.91og0.9=0.553bit!symbol"。-"x_log2-().881_9%Holog2=44.7%HHg_log2-0.553H°=12H(X)>H2

28、(X)表示的物理含義是：無經(jīng)歷信源的不確信度大與有經(jīng)歷信源的不確信度，有經(jīng)歷信源的結(jié)構(gòu)化信息較多,能夠進(jìn)行較大程度的緊縮。每幀電視圖像能夠以為是由3X10$個(gè)像素組成的，所有像素均是獨(dú)立轉(zhuǎn)變，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概顯現(xiàn)，問每幀圖像含有多少信息量？假設(shè)有一個(gè)廣播員，在約10000個(gè)漢字當(dāng)選出1000個(gè)漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率散布，并彼此無依托）？假設(shè)要適當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？解：1）H（X）=log/?=logl28=7bit!symbol（X'v）=N（X）=3x105

29、x7=2.1x106bit/symbol2）H(X)=log/?=logl0000=13.288bit/symbolH(Xn)=NH(X)=1OOOx13.288=13288bit/symbol3)H(Xn)H(X)2.1xl0613.288=158037給定聲音樣值X的概率密度為拉普拉斯散布=,求比（X）,并證明它小于一樣方差的正態(tài)變量的持續(xù)熠。解：”(.(X)=-1p(x)logp(x)"x=-匚p(x)log；kz"dx=-logjp(x)dx-1p(x)loge/X'(lx=logy-白/77oge7X'(lx=log-y£Ae/Aoe/A

30、dx其中：£*及一"oge/ldx=logC(J")='log?產(chǎn)-'"(logeq)=_(4)log?e=log,22e：.He(X)=log+log,e=logbit!symbol?=E(X)=p(x)x"x=；灰-/""、=jxdx'：j'(一y)d(_y)=/AeAVydy=AeA)ydyr+81-/1,，？=Ae/Axdx+-axdx=0Jo2J。2cr2=e(x-in)2=E()=J：(x)x2dxQ"X'x2dx=Xex2clx=-工= rXx2de- =-(e

31、x2 - Cedx2 = Ce-dx2 =2Cexdx.乩(X 正態(tài))=：log2 心 = log,晟 > Hc(X) = log 斗 2AX持續(xù)隨機(jī)變量彳和y的聯(lián)合概率密度為：p(x,y)=加工 0/一，求H(X),H(Y),H(XYZ)其他和KX;Y)O£7t(提示：£2log,sinxdx=-log22)o2解:p(x)=(-r < x < r)乩(X)=p(x)logp(x)dx2V廠x-P(x)og；dxJ-m-=一pOOlog-dx-fPWlogVr2-x2dxJ-，k2=logjp(x)logVr2-x'dx,用,，<11=lo

32、g-logr+1-log2e22=log2加,一一log2ebit/symbol2其中：/7(x)loe-Jr1-x1dxLr，封二WlogFdx一冗廣=IVr2-x2logVr2-xdx布.-Jo-.4r。令x=rcosO-lTrsinlogrsinOcl(rcosO)4r。,>=7廠sin'eiogrsina/6k%=j；sin26logrsinOdd=j2sin2OQrdO+sin2glogsin&/e4行l(wèi)cos26c4行1cos26.皿C=logrJj4。+-logsinft/2r-2r-2r-2r-=logr£2dO-logr£2cos28

33、/6+£2logsinOclO-，cos26logsinOclOn2/f2n=logrlogrf2t/sin20+(-log2)-cos261oesin3/6)Jo42一萬川2j=logr-1-£2cos28logsinOdO11i=logr-l+log2e2其中：2-cos28logsinOcl01二=j；logsinGelsin20£7t£Jsin26logsin喟-2sin20dlogsin01i4c.ccCosglo%e，八-2sin6cos。nJ。sin02.4=一丁。g?”)-一I%*cos2OclOl+cos267na021JdO-log2

34、ejjcqsIOcIO1£=-log2e-log2esin2喟=-1log2p(y)=J：言p仆三產(chǎn)(-r-y-r)p(y)=(x)HC(Y)=HC(X)=log2-log,fbit/synibol2”,(XY)=-JJp(xy)ogp(xy)dxdyR=-jjp(xy)o-dxdy=og/JJp(xy)dxdyR=Iog2加2bit/symbolIe(X;Y)=He(X)+Hc(Y)-Hc(XY)=21og2-log2e-logr-=log2-log2bit/symbol設(shè)X=X|X?X,v是/v維高斯散布的持續(xù)信源,且,X：,，的方不同離是，,巧3它們之間的相關(guān)系數(shù)P(X,X)=0(i,_/=