信息論部分習(xí)題參考解答(共11頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上信息論部分習(xí)題參考解答2-1 同時(shí)擲兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都是1/6，求： “3和5同時(shí)出現(xiàn)” 這事件的自信息量。 “兩個(gè)1同時(shí)出現(xiàn)” 這事件的自信息量。 兩個(gè)點(diǎn)數(shù)的各種組合的熵或平均信息量。 兩個(gè)點(diǎn)數(shù)之和的熵。 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息。 解： 設(shè)X為3和5同時(shí)出現(xiàn)這一事件，則P=1/18，因此I(X)?log2p(x)?log218? (比特) 設(shè)兩個(gè)1同時(shí)出現(xiàn)這一事件為X，則P=1/36，因此I(X)?log2p(x)?log236? (比特) (3 ) “兩個(gè)相同點(diǎn)數(shù)出現(xiàn)”這一事件的概率為1/36,其他事件的概率為1/18,則 H(X)?

2、 615log236?log218?(比特/組合) log236?log218?(?)log212?(?)log29?(?)log2?2?(?)log26?(比特/兩個(gè)點(diǎn)數(shù)之和)18H(X)? 兩個(gè)點(diǎn)數(shù)至少有一個(gè)為1的概率為P= 11/36I(X)?log211? 362-6設(shè)有一離散無記憶信源，其概率空間為 ?X?x1?0x2?1x3?2x4?3?P?3/81/41/41/8? 該信源發(fā)出的信息符號序列為，求： 此信息的自信息量是多少？ 在此信息中平均每個(gè)符號攜帶的信息量是多少？ 解：無記憶性，可得 I?14I(0)?13I(1)?12(2)?6I(3)? H?I/45? 2-9在一個(gè)袋中放

3、有5個(gè)黑球、10個(gè)白球，以摸一個(gè)球?yàn)橐淮螌?shí)驗(yàn)，摸出的球不再放進(jìn)去。求： 一次實(shí)驗(yàn)包括的不確定度。 第一次實(shí)驗(yàn)X摸出的是黑球，第二次實(shí)驗(yàn)Y給出的不確定度； 第一次實(shí)驗(yàn)X摸出的是白球，第二次實(shí)驗(yàn)Y給出的不確定度； 第二次實(shí)驗(yàn)Y包含的不確定度。 123log23?log2? ?log2?log2?H14?log2?log2? H?H?H? H33?解：H2-11兩個(gè)試驗(yàn)X和Y，X?x1,x2,x3?聯(lián)合概率p(xiyj)?pij已,Y?y1,y2,y3?，給出， 如果有人告訴你X和Y的試驗(yàn)結(jié)果，你得到的平均信息量是多少？ 如果有人告訴你Y的試驗(yàn)結(jié)果，你得到的平均信息量是多少？ 在已知Y試驗(yàn)結(jié)果的情況

4、下，告訴你X的試驗(yàn)結(jié)果，你得到的平均信息量是多少？ ?p11?p21?p?31 解： p12p22p32p13?7/241/240?p23?1/241/41/24? ?p33?1/247/24?0?72411log2?2?log24?4log224?2. ?log23?log23?log23? 333?H?H(XY)?H(Y)? 2-12有兩個(gè)二元隨機(jī)變量X和Y，他們的聯(lián)合概率如表所示，并定義另一隨機(jī)變量Z=XY。試計(jì)算： (1) H，H，H，H，H和H。 2 (2) H，H，H，H，H，H，H H和H。 (3) I，I，I，I，I和I。 X Y 0 1 0 1/8 3/8 1 3/8 1/8

5、 解： P2）?P?P?2 H?12log122?2log22?1 (比特/符號) H?1比特/符號 2H?p(zi)log2p(zi)i?1? ?7818log27?8log28? 表得H?(1log3828?8log823)?2? H?比特/符號 H?比特/符號 H?比特/符號 H?H(XY)?H(Y)?1? H?H(XY)?H(X)?1? H?H(XZ)?H(Z)? H?H(XZ)?H(X)?1? H? 3 H? H?H(XYZ)?H(YZ)?H(XYZ)?H(XY)? ?H(X)?H(X/Y)?1?(3) I I?H(X)?H(X/Z)?1? I?H(Y)?H(Y/Z)?1? I?I(

6、X;YZ)?I(X;Z) ?H(X)?H(X/YZ)?I(X;Z)?1?I(Y;ZX)?I(Y;Z)?H(Y)?H(Y/ZX)?I(Y;Z)?1? 2-13一個(gè)信源發(fā)出二重符號序列消息，其中第一個(gè)符號i 可以是A，B，C中的任一個(gè)，第二個(gè)符號j可以是D，E，F(xiàn)，G中的任一個(gè)。已知各個(gè)P和P值列成如下表。求這個(gè)信源的熵）。 P D PE F G A 1/2 1/4 1/4 1/4 1/4 B 1/3 3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6 ?解：H111log22?log23?log26? 2364 H?p(i)p(j/i)log2p(j/i)i?0j?1

7、1?(log24)?4?log2?(log25)?2?log2?log26?log?log26?log26?(比特/符號序列)3636 H?IJ?H?H?log23?log25?log23 -14在一個(gè)二進(jìn)制信道中，信源消息集X=0，1，且p(1)=p(0)，信宿的消息集Y=0，1，信道傳輸概率p(1/0)=1/4,p(0/1)=1/8。求： 在接收端收到y(tǒng)=0后。所提供的關(guān)于傳輸信息x的平均互信息量I。 該情況所能提供的平均互信息量I。 解： 0?X?P?=?1?21?1? ?2?3?4信道轉(zhuǎn)移概率矩陣為(p(yj|xi)?1?8? 7?8?143/401/41/817/810p(xi,yj

8、)?p(yj|xi)p(xi)得 ?(X,Y)?1?1638? 7?16?1? 9?16?18?0關(guān)于y的邊際分布為Y?7?166?7p(xi|yj)?得信道逆向轉(zhuǎn)移概率矩陣(p(xi|yj)?1p(yj)?7p(xi,yj)29? 7?9?所以 5 ?p(xi/0)log2i?01p(xi/0)61212?log2?log2?(xi)7777 ?p(yj)p(xi/yj)log2i,jp(xi/yj)p(xi)? 2-24某一無記憶信源的符號集為0，1，已知p0?1/4,p1?3/4。 求符號的平均熵。 有100個(gè)符號構(gòu)成的序列，求某一特定序列個(gè)“1”）的自信息量的表達(dá)式。 計(jì)算中的序列的熵

9、。 ?解：H134log24?log2? 44313p(x?m)?()m()100?m 44I(X)?200?100log23?mlog23?(比特)于該信源是無記憶的符號集，所以H哪些碼是非延長碼？ 100）?100H?100?816 所有唯一可譯碼的平均碼長和編碼效率。 符號 概率 C1 000 C2 0 C3 C4 0 C5 C6 u1 1/2 0 1 01 u2 u3 1/4 001 01 10 10 000 001 1/16 010 011 110 1101 001 100 u4 u5 u6 1/16 011 0111 1110 1100 010 101 1/16 100 01111

10、 11110 1001 110 110 1/16 101 1111 110 111 解：根據(jù)kraft不等式，C5中可譯碼 ?2?ki?2?1?5?2?3?i?169>1，所以C5不是唯一8C1，C2，C3，C4，C6中C4不是唯一可譯碼。例如，有2譯碼方式 u2u1u2u2和u5u1u2，所以C4不是唯一可譯的，C1，C2，C3，C6是唯一可譯碼。 根據(jù)即時(shí)碼定義，即時(shí)碼又叫非前綴碼，C2中u1是其它碼的前綴，故C2不是7 即時(shí)碼。因此C1， C3，C6是即時(shí)碼。 C1：平均碼長k1平均信息率 ?3 K1?k1log2m?k1?3 111H?X?log22?log24?4?log216

11、? 2416H(X)2?% 3K1?C2：k2? 11117?1?2? 24168?H(X)2?17?% k28 C3：k3?178?H(X)2?% 17k38C6：k6?111?2?3?3?4? 2416?H(X)2?80% 3-5某信源有8個(gè)符號?u1?u8?，概率分別為1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，編成這樣的碼：000，001，010，011，100，101，110，111。求 信源的符號熵H； 出現(xiàn)一個(gè)“1”或一個(gè)“0”的概率； 這種碼的編碼效率； 相應(yīng)的香農(nóng)碼和費(fèi)諾碼； 該碼的編碼效率。 11111解： H?log22?log24?lo

12、g28?log216?log ?11log264?(log2128)?2?(比特/符號)? (0)?p(1)?1p(?0)?H(X)?66% 3Klog221香農(nóng)碼： 信源消息符號ui 符號概率累加概率p(ui) pi ?log2p(ui)? 碼字 碼字長度 u1 1/2 0 1 0 1 9 u2 u3 1/4 1/2 2 10 2 1/8 3/4 3 110 3 u4 u5 u6 u7 u8 1/16 7/8 4 1110 4 1/32 15/16 5 11110 5 1/64 31/32 6 6 1/128 63/64 7 7 1/128 127/128 7 7 ?2?3?4?5?6?7?

13、28log221?1費(fèi)諾碼： 10 U1U2U3U4U5U6U701U2U3U4U5U6U7U101U3U4U5U6U7UU201U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8 費(fèi)諾碼為：0 10 110 1110 11110 同樣?H(X)?1 K3-7已知符號集合?x1,x2,x3?為無限離散集合，它們的出現(xiàn)概率分別為p(x1)?1/2，p(x2)?1/4，p(x3)?1/8，p(xi)?1/2i,?。 用香農(nóng)編碼方法寫出各個(gè)符號的碼字。 計(jì)算碼子的平均信息傳輸率。 計(jì)算信源編碼效率。 解：香農(nóng)編碼如表 11 信源消息符號xi 符號概率累加

14、概率p(xi) pi ?log2p(xi)? 碼字 碼字長度 x1 1/2 0 1 0 1 x2 ? 1/4 1/2 2 10 2 ? ? ? ? ? xi 1/2 i2i?1?1 2i?1? i 11?110 ?i?1個(gè)i ? (2)? ? ? ? 111ilog2?log4?log2222iH(X)42R?2?1(比特/碼元)?K?p(xi)kii?1 (3) k?1 ? HL(X)HL(X)HL(X)HL(X)?1 Kklog2mk?1k3-8某信源有6個(gè)符號，概率分別為3/8，1/6，1/8，1/8，1/8，1/12，試求三進(jìn)碼元的費(fèi)諾碼，并求出編碼效率。 解：費(fèi)諾碼編碼過程 12 信

15、源消息符號xi 符號概率p(xi) 第一次分組 第二次分組 碼字 碼字長度 x1 3/8 0 0 1 x2 x3 1/6 1 0 10 2 1/8 1 1 11 2 x4 x5 x6 1/8 2 0 20 2 1/8 2 1 21 2 1/12 2 2 22 2 38111p(x)logp(x)?log?log6?(log8)?3?log212?Li2ii ? H?L=1 平均碼長 k?13p(x)k?求該信源符號熵H(X)。 用哈夫曼編碼成二元變長碼，計(jì)算其編碼效率。 解： 6iH? 11? 01 故碼字分別為11，10，00，010，0111，0110 k?(?)?2?3?(?)?4?(比特/符號) ?14 HL(X)?% 3-11 信源符號X有6種字母，效率為。 求符號熵 H(X) 用香農(nóng)編碼編成二進(jìn)制變長碼，計(jì)算其編碼效率。 用費(fèi)諾編碼編程二進(jìn)制變長碼，計(jì)算其編碼效率。 用哈夫曼編碼編程二進(jìn)制變長碼，計(jì)算其編碼效率。 用哈夫曼編碼編程三進(jìn)制變長碼，計(jì)算其編碼效率。 若用單個(gè)信源符號來編定長二進(jìn)制碼，要求能不出差錯(cuò)的譯碼，求所需要的每符號的平均信息率和編碼效率。 解： 6 Hi111