北郵信息論200806級期中考試試題及答案

1、3+4=7分，每錯一個碼字扣0.5分）blank”北京郵電大學(xué)06級信息論期中考試試題答案（2008.11.15）姓名班級學(xué)號分數(shù)注意：要求將試卷和答題紙一起上交一、（25分）已知基于字符表“blank”，B,I,M,O,的一段文本如下：OTTOSMOPSTOBTMITOTTOSMOPBISOTTOMOPPOT（其中的blank表示空格）（1）統(tǒng)計文本中出現(xiàn)各字符的頻度，并近似看作各字符的概率進行二元Huffman編碼，給出每個字符對應(yīng)的碼字（要求：碼長方差最小）；（9分）（2）求平均碼長及碼長方差；（4+4=8分）（3）求編碼速率和編碼效率。（4+4=8分）解：（1）首先計算字母表中的字符在

2、文本中出現(xiàn)的頻度：（2分）字符blanl”BIMOPST頻度822411441045Huffman編碼:碼字00100101100110011111101111（2）平均碼長及碼長方差為：l2(1110)/453(84)/454(4422)/452.8碼元/信源符號(4分)2pl2iii4分)l21122/451022/45832/45432/452442/452242/452.820.6933）編碼速率Rllog22.8比特/信源符號（4分）編碼效率H(X)Llog22.75322.898.32%(4分)二、（25分）一馬氏源具有狀態(tài)集合1,2,.N,，狀態(tài)轉(zhuǎn)移圖如下圖所示pq其中p0,q0

3、,pq1。（1）當(dāng)N=3時，寫出狀態(tài)轉(zhuǎn)移概率矩陣，并求平穩(wěn)分布。（3+6=9分）（2）對任意N值，寫出狀態(tài)轉(zhuǎn)移概率矩陣，并求平穩(wěn)分布。（3+6=9分）（3）對任意N值，求馬氏源的符號熵。（7分）（1）N=3,狀態(tài)轉(zhuǎn)移概率矩陣為:得平穩(wěn)分布為:q21p2pqq2(1P)21pp2pqp2pqq2p(1p)1pp2各1分共3分）p2p2pqq2p21pp2qp0q0p（3分）0qpqp0由12q03p123(3分)0qp1213以及1（2+1=3分）（2）對任意N,狀態(tài)轉(zhuǎn)移概率概率矩陣如下:qp00.00q0p0.000q0p.0000q0.00（3分）0000.0p0000.qp該馬氏源處于平穩(wěn)

4、分布時，有:qp00.00q0p0.000q0p.00.00q0.00123N1N0000.0p0000.qpNi1得:pii-1qpi-1qP,得：q2，N），從而有:i1111N因此，平穩(wěn)分布為:i1（1），（i1，N）（3分）i1N所以有:3）由于馬氏源狀態(tài)轉(zhuǎn)移概率矩陣的每行都相等hh.hH（p），（4分）12N從而對任意N,有HH（p）（3分）三、（25分）x和z為獨立同分布的連續(xù)隨機變量，且都在區(qū)間-1/2,1/上服從均勻分布，隨機變量y二x+z。（1）求連續(xù)隨機變量集合Z的差熵h（Z）;（5分）證明：h(Y|X)=h(Z)；提示：y)(7分)11z求連續(xù)隨機變量Y的概率密度函數(shù)；(

5、提示：兩個獨立隨機變量之和的概率密度為這兩個隨機變量概率密度的卷積)(3分)求連續(xù)隨機變量集合Y的差熵h(Y);(5分)求I(X;Y)。(5分)解：h(Z)=0bit;(5分)由提示：TOC o 1-5 h zx10 x HYPERLINK l bookmark8 o Current Document y11z有：h(XY)=h(XZ)+logdet1h(XZ)11(3分)又由Z與X獨立，從而：h(XY)=h(X)+h(Y|X)=h(XZ)=h(X)+h(Z|X)=h(X)+h(Z)(3分)可得:h(Y|X)=h(Z)(1分)f(y)y11y0y10y1(3分)(用圖形卷積或分區(qū)域積分的方法均

6、給分)(4)h(Y)=-0(y+1)ln(y+1)dy-1(-y+1)ln(y-+1)dy-10TOC o 1-5 h z11112吐lntdt2t2lntJt2_dt(5分)021o2t01nat2或l/2loge=0.722bitI(X;Y)=h(Y)-h(Y|X)=h(Y)-h(Z)二或/Wt)ge=0.722bi5l分)四、(25分)在某地區(qū)籃球聯(lián)賽的每個賽季，最終只有A、B兩球隊進入決賽爭奪冠軍。決賽采用7場4勝制，首先贏得4場勝利的球隊獲得冠軍，并結(jié)束比賽。把產(chǎn)生冠軍的事件x用A、B兩隊各場次的比賽結(jié)果表示，作為信源X產(chǎn)生的隨機事件，例如：AAAA表示事件“A隊勝前4場獲得冠軍”A

7、BBAAA，表示事件“A隊在第1、4、5、6場取勝獲得冠軍而B隊在第2、3場取勝)”假設(shè)兩球隊在每場比賽中的取勝機會均等，每場比賽只有“A勝”或“B勝”兩種結(jié)果，并且各場比賽的結(jié)果是彼此獨立的。（1）寫出信源x的所有事件及其相應(yīng)的概率；（5分）（2）求信源的熵H（X）;（5分）（3）求事件“兩隊打滿7場”所提供的信息量；（5分）（4）列出A隊前三場都失利的所有情況，求“A隊前三場都失利”所提供的信息量；（5分）（5）求事件“A隊在前三場都失利的條件下又取得冠軍”所提供的信息量？（5分）解（1）A隊獲冠軍的事件數(shù)和相應(yīng)的概率如下表：（4分）事件數(shù)目單事件的概率概率的和賽4場獲冠軍11/161/1

8、6(AAAA)賽5場獲冠軍（前441/321/8場B勝1場）賽6場獲冠軍（前5101/645/32場B勝2場）賽7場獲冠軍（前6201/1285/32場B勝3場）總概率1/2同理得到相同的B隊獲冠軍的事件數(shù)和相應(yīng)的概率分布。（1分）2）信源X的熵：H（X）2令叫疋4）3210（-l）log6420（_L）log（128）（3分）186/325.8125比特（1+1=2分）（3）“兩隊打滿7場”事件數(shù)為40，（1分）所求概率為40（1/128）5/16，（1分）事件“兩隊打滿7場”所提供的信息量：Ilog（5/16）1.6781比特（3分）124）A隊在前三場都失利情況下的所有事件與概率：（每概率0.5分共2分）事件概率結(jié)果BBBB1/16B取得冠軍BBBAB1/32B取得冠軍BBBAAB1/64B取得冠軍BBBAAAB1/128B取得冠軍1/128A取得