信息論與編碼理論1(B卷答案)(共6頁)

1、精選優(yōu)質文檔-傾情為你奉上2011-2012 信息論與編碼理論1 B卷答案一、 單項選擇題（每題3分，總計15分） 1當?shù)诪闀r，熵的單位為（ C ）。A 奈特 B 哈特 C 奈特/符號 D 哈特/符號2下列關系式中( B )正確。 A B C D 3下列（ D ）陳述是正確的。A Shannon編碼是最優(yōu)碼 B LZ編碼是異字頭碼 C Huffman編碼可以不需要知道信源的分布 D 典型序列的數(shù)目不一定比非典型的多4下列數(shù)組中（ A ）不滿足二個字母上的Kraft不等式。A (1，1，1) B (2,2,2,2) C (3,3,3) D （4，4，4） 5下列（ D ）是只對輸出對稱的。A B

2、 C D 二、填空題（每空2分，總計20分）1若二元離散無記憶中，則當給出比特的信源序列，其中有個，則其自信息為比特，整個序列的熵為比特/符號.2若某離散信道信道轉移概率矩陣為，則其信道容量為比特/符號；轉移概率矩陣為，則其信道容量為比特/符號。3. 兩個相同的BSC做級聯(lián)信道，其信道轉移矩陣分別為 ， 則級聯(lián)信道的信道轉移矩陣為，無窮多個級聯(lián)后的矩陣為。4若一個信道的輸入熵為比特/符號，輸出熵為比特/符號，比特/符號，則3.2比特/符號，散布度為0.6比特/符號。5在二元LZ 編碼中，若信源有個，某段信源序列共有個字典，則碼長。6存在元唯一可譯碼，其平均碼長必小于。三、判斷題（每題2分，總計

3、10分）1. 概率小的事件自信息大 （ ）2. 若一個碼字集合中的碼字長度滿足Kraft不等式 ，則其必為逗點碼。 （ ）3. 若碼字都被配置在樹的葉子節(jié)點處，則這種碼一定是異字頭碼。（ ）4. 平均互信息是下凸函數(shù)。（ ）5. 算數(shù)編碼需要知道信源的分布。 （）四、計算題（55分）1）（15分）設隨機變量的聯(lián)合概率分布如下： 01010 。分別求。解: 的分布率為01則比特/符號.的分布率為01則比特/符號. 01010=,= =0,= =比特/符號.01 =1,=0 =0,=1則=0比特/符號.2）（20分）若離散無記憶信源的概率分布為 分別構造二元，三元Huffman編碼（要求碼長方差最

4、小，但不需求出），Shannon編碼，F(xiàn)ano編碼，Shannon-Fano-Elias編碼。 并求中二元Huffman編碼的編碼效率。（只列出式子即可）解:對信源按概率從大到小排序, ,建立碼樹則有二元Huffman編碼: 要進行三元Huffman編碼,則需要添加一個空信源,成為,建立碼樹則有三元Huffman編碼: Shannon編碼如下:信源碼長累加概率碼字200020.40130.710140.91110 Fano編碼如下:信源概率第1次分組第2次分組第3次分組碼字0.4000.310100.1101100.11111 Shannon-Fano-Elias編碼信源概率 二元碼字0.10.10.0550.00001000010.20.30.240.00010.30.60.4530.0110110.410.830.110110 二元Huffman編碼的平均碼長為=1.9 編碼效率為3）（20分）若離散無記憶信道的信道轉移矩陣為，用兩種方法求該信道容量。