信息論部分習題參考解答

1、=精選公文范文，管理類，工作總結(jié)類，工作計劃類文檔，歡迎閱讀下載=信息論部分習題參考解答2-1 同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率都是1/6，求： “3和5同時出現(xiàn)” 這事件的自信息量。 “兩個1同時出現(xiàn)” 這事件的自信息量。 兩個點數(shù)的各種組合的熵或平均信息量。 兩個點數(shù)之和的熵。 兩個點數(shù)中至少有一個是1的自信息。 解： 設X為3和5同時出現(xiàn)這一事件，則P=1/18，因此I(X)?log2p(x)?log218? (比特) 設兩個1同時出現(xiàn)這一事件為X，則P=1/36，因此I(X)?log2p(x)?log236? (比特) (3 ) “兩個相同點數(shù)出現(xiàn)”這一事件的概率為1/36,

2、其他事件的概率為1/18,則 H(X)? 615log236?log218?(比特/組合) 3618111111log236?log218?(?)log212?(?)log29?36181836181811136111(?)log2?2?(?)log26?(比特/兩個點數(shù)之和)1818365181818H(X)? 兩個點數(shù)至少有一個為1的概率為P= 11/36I(X)?log211? 362-6設有一離散無記憶信源，其概率空間為 ?X?x1?0x2?1x3?2x4?3?P?3/81/41/41/8? 該信源發(fā)出的信息符號序列為，求： 此信息的自信息量是多少？ 在此信息中平均每個符號攜帶的信息量

3、是多少？ 解：無記憶性，可得 I?14I(0)?13I(1)?12(2)?6I(3)? H?I/45? 2-9在一個袋中放有5個黑球、10個白球，以摸一個球為一次實驗，摸出的球不再放進去。求： 一次實驗包括的不確定度。 第一次實驗X摸出的是黑球，第二次實驗Y給出的不確定度； 第一次實驗X摸出的是白球，第二次實驗Y給出的不確定度； 第二次實驗Y包含的不確定度。 123log23?log2? 3324141014?log2?log2?H1441410514914?log2?log2? H14514912?H?H? H33?解：H2-11兩個試驗X和Y，X?x1,x2,x3?聯(lián)合概率p(xiyj)?

4、pij已,Y?y1,y2,y3?，給出， 如果有人告訴你X和Y的試驗結(jié)果，你得到的平均信息量是多少？ 如果有人告訴你Y的試驗結(jié)果，你得到的平均信息量是多少？ 在已知Y試驗結(jié)果的情況下，告訴你X的試驗結(jié)果，你得到的平均信息量是多少？ ?p11?p21?p?31 解： p12p22p32p13?7/241/240?p23?1/241/41/24? ?p33?1/247/24?0?72411log2?2?log24?4log224?2. 247424111?log23?log23?log23? 333?H?H(XY)?H(Y)? 2-12有兩個二元隨機變量X和Y，他們的聯(lián)合概率如表所示，并定義另一隨

5、機變量Z=XY。試計算： (1) H，H，H，H，H和H。 2 (2) H，H，H，H，H，H，H H和H。 (3) I，I，I，I，I和I。 X Y 0 1 0 1/8 3/8 1 3/8 1/8 解： P2）?P?P?2 H?12log122?2log22?1 (比特/符號) H?1比特/符號 2H?p(zi)log2p(zi)i?1? ?7818log27?8log28? 表得H?(1log3828?8log823)?2? H?比特/符號 H?比特/符號 H?比特/符號 H?H(XY)?H(Y)?1? H?H(XY)?H(X)?1? H?H(XZ)?H(Z)? H?H(XZ)?H(X)?

6、1? H? 3 H? H?H(XYZ)?H(YZ)?H(XYZ)?H(XY)? ?H(X)?H(X/Y)?1?(3) I I?H(X)?H(X/Z)?1? I?H(Y)?H(Y/Z)?1? I?I(X;YZ)?I(X;Z) ?H(X)?H(X/YZ)?I(X;Z)?1?I(Y;ZX)?I(Y;Z)?H(Y)?H(Y/ZX)?I(Y;Z)?1? 2-13一個信源發(fā)出二重符號序列消息，其中第一個符號i 可以是A，B，C中的任一個，第二個符號j可以是D，E，F(xiàn)，G中的任一個。已知各個P和P值列成如下表。求這個信源的熵）。 P D PE F G A 1/2 1/4 1/4 1/4 1/4 B 1/3

7、3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6 ?解：H111log22?log23?log26? 2364 H?p(i)p(j/i)log2p(j/i)i?0j?0231110111011?(log24)?4?log2?(log25)?2?log2?log26?log22810315103361211?log26?log26?(比特/符號序列)3636 H?IJ?H?H?log23?log25?log23 32303602-14在一個二進制信道中，信源消息集X=0，1，且p(1)=p(0)，信宿的消息集Y=0，1，信道傳輸概率p(1/0)=1/4,p(0/1)

8、=1/8。求： 在接收端收到y(tǒng)=0后。所提供的關于傳輸信息x的平均互信息量I。 該情況所能提供的平均互信息量I。 解： 0?X?P?=?1?21?1? ?2?3?4信道轉(zhuǎn)移概率矩陣為(p(yj|xi)?1?8? 7?8?143/401/41/817/810p(xi,yj)?p(yj|xi)p(xi)得 ?(X,Y)?1?1638? 7?16?1? 9?16?18?0關于y的邊際分布為Y?7?166?7p(xi|yj)?得信道逆向轉(zhuǎn)移概率矩陣(p(xi|yj)?1p(yj)?7p(xi,yj)29? 7?9?所以 5 ?p(xi/0)log2i?01p(xi/0)61212?log2?log2?

9、(xi)7777 ?p(yj)p(xi/yj)log2i,jp(xi/yj)p(xi)? 2-24某一無記憶信源的符號集為0，1，已知p0?1/4,p1?3/4。 求符號的平均熵。 有100個符號構(gòu)成的序列，求某一特定序列個“1”）的自信息量的表達式。 計算中的序列的熵。 ?解：H134log24?log2? 44313p(x?m)?()m()100?m 44I(X)?200?100log23?mlog23?(比特)于該信源是無記憶的符號集，所以H哪些碼是非延長碼？ 100）?100H?100?816 所有唯一可譯碼的平均碼長和編碼效率。 符號 概率 C1 000 C2 0 C3 C4 0 C

10、5 C6 u1 1/2 0 1 01 u2 u3 1/4 001 01 10 10 000 001 1/16 010 011 110 1101 001 100 u4 u5 u6 1/16 011 0111 1110 1100 010 101 1/16 100 01111 11110 1001 110 110 1/16 101 011111 111110 1111 110 111 解：根據(jù)kraft不等式，C5中可譯碼 ?2?ki?2?1?5?2?3?i?169>1，所以C5不是唯一8C1，C2，C3，C4，C6中C4不是唯一可譯碼。例如1001010，有2譯碼方式 u2u1u2u2和u5

11、u1u2，所以C4不是唯一可譯的，C1，C2，C3，C6是唯一可譯碼。 根據(jù)即時碼定義，即時碼又叫非前綴碼，C2中u1是其它碼的前綴，故C2不是7 即時碼。因此C1， C3，C6是即時碼。 C1：平均碼長k1平均信息率 ?3 K1?k1log2m?k1?3 111H?X?log22?log24?4?log216? 2416H(X)2?% 3K1?C2：k2? 11117?1?2? 24168?H(X)2?17?% k28 C3：k3?178?H(X)2?% 17k38C6：k6?111?2?3?3?4? 2416?H(X)2?80% 3-5某信源有8個符號?u1?u8?，概率分別為1/2，1/

12、4，1/8，1/16，1/32，1/64，1/128，1/128，編成這樣的碼：000，001，010，011，100，101，110，111。求 信源的符號熵H； 出現(xiàn)一個“1”或一個“0”的概率； 這種碼的編碼效率； 相應的香農(nóng)碼和費諾碼； 該碼的編碼效率。 11111解： H?log22?log24?log28?log216?log2322481632 ?11log264?(log2128)?2?(比特/符號)641281121211121111? 243831633236431283 (0)?p(1)?1p(?0)?H(X)?66% 3Klog221香農(nóng)碼： 信源消息符號ui 符號概率

13、累加概率p(ui) pi ?log2p(ui)? 碼字 碼字長度 u1 1/2 0 1 0 1 9 u2 u3 1/4 1/2 2 10 2 1/8 3/4 3 110 3 u4 u5 u6 u7 u8 1/16 7/8 4 1110 4 1/32 15/16 5 11110 5 1/64 31/32 6 111110 6 1/128 63/64 7 1111110 7 1/128 127/128 7 1111111 7 ?2?3?4?5?6?7?2248163264128log221?1費諾碼： 10 U1U2U3U4U5U6U701U2U3U4U5U6U7U101U3U4U5U6U7UU2

14、01U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8 費諾碼為：0 10 110 1110 11110 111110 1111110 1111111 同樣?H(X)?1 K3-7已知符號集合?x1,x2,x3?為無限離散集合，它們的出現(xiàn)概率分別為p(x1)?1/2，p(x2)?1/4，p(x3)?1/8，p(xi)?1/2i,?。 用香農(nóng)編碼方法寫出各個符號的碼字。 計算碼子的平均信息傳輸率。 計算信源編碼效率。 解：香農(nóng)編碼如表 11 信源消息符號xi 符號概率累加概率p(xi) pi ?log2p(xi)? 碼字 碼字長度 x1 1/2 0

15、1 0 1 x2 ? 1/4 1/2 2 10 2 ? ? ? ? ? xi 1/2 i2i?1?1 2i?1? i 11?110 ?i?1個i ? (2)? ? ? ? 111ilog2?log4?log2222iH(X)42R?2?1(比特/碼元)?K?p(xi)kii?1 (3) k?1 ? HL(X)HL(X)HL(X)HL(X)?1 Kklog2mk?1k3-8某信源有6個符號，概率分別為3/8，1/6，1/8，1/8，1/8，1/12，試求三進碼元的費諾碼，并求出編碼效率。 解：費諾碼編碼過程 12 信源消息符號xi 符號概率p(xi) 第一次分組 第二次分組 碼字 碼字長度 x1

16、 3/8 0 0 1 x2 x3 1/6 1 0 10 2 1/8 1 1 11 2 x4 x5 x6 1/8 2 0 20 2 1/8 2 1 21 2 1/12 2 2 22 2 38111p(x)logp(x)?log?log6?(log8)?3?log212?Li2i222836812i ? H?L=1 平均碼長 k?13p(x)k?求該信源符號熵H(X)。 用哈夫曼編碼成二元變長碼，計算其編碼效率。 解： 6iH? 11? 01 故碼字分別為11，10，00，010，0111，0110 k?(?)?2?3?(?)?4?(比特/符號) ?14 HL(X)?% 3-11 信源符號X有6種字母，效率為。 求符號熵 H(X) 用香農(nóng)編碼編成二進制變長碼，計算其編碼效率。 用費諾編碼編程二進制變長碼，計算其編碼效率。 用哈夫曼編碼編程二進制變長碼，計算其編碼效率。 用哈夫曼編碼編程三進制變長碼，計算其編碼效率。 若用單個信源符號來編定長二進制碼，要求能不出差錯的譯碼，求所需要的每符號的平均信息率和編碼效率。 解： 6 Hi1111? ? 信源消息符號xi