【精選】信息論與編碼(第二版)習(xí)題答案,陳運(yùn),主編

1、信息論與編碼(第二版)習(xí)題答案,陳運(yùn),主編 篇一：信息論與編碼復(fù)習(xí)材料重點(diǎn) 陳運(yùn) 第二版 2.3 居住某地區(qū)的女小孩有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占總數(shù)的一半。假設(shè)我們得知“身高160厘米以上的某女孩是大學(xué)生”的音訊，征詢獲得多少信息量？ 解： 設(shè)隨機(jī)變量x代表女小孩學(xué)歷 x p(x) x1（是大學(xué)生） x2（不是大學(xué)生） 設(shè)隨機(jī)變量y代表女小孩身高 y p(y) y1（身高160cm） y2（身高lt;160cm） 已經(jīng)明白：在女大學(xué)生中有75%是身高160厘米以上的 即：p(y1/x1)?0.75 bit 求：身高160厘米以上

2、的某女孩是大學(xué)生的信息量 即：i(x1/y1)?logp(x1/y1)?log p(x1)p(y1/x1) p(y1) ?log ?1.415 bit 2.4 設(shè)離散無經(jīng)歷信源? ?x1?0? ?p(x)?3/8? x x2?1x3?21/4 1/4 x4?3? ?，其發(fā)出的信息1/8? (2) 此音訊中平均每符號攜帶的信息量是多少？ 解： (1) 此音訊總共有14個(gè)0、13個(gè)1、12個(gè)2、6個(gè)3，因而此音訊發(fā)出的概率是： ?3?p? ?8? 14 ?1?4? 25 ?1? ?8? 6 此音訊的信息量是：i?logp?87.811 bit 2.5 從大量統(tǒng)計(jì)材料明白，男性中紅綠色盲的發(fā)病率為7

3、%，女性發(fā)病率為0.5%，假設(shè)你征詢一位男士：“你是否是色盲？”他的答復(fù)可能是“是”，可能是“否”，征詢這兩個(gè)答復(fù)中各含多少信息量，平均每個(gè)答復(fù)中含有多少信息量？假設(shè)征詢一位女士，那么中含有的平均自信息量是多少？ 解： 男士：p(xy)?7% i(xy)?logp(xy)?log0.07?3.837 bitp(xn)?93% i(xn)?logp(xn)?log0.93?0.105 bit 2 h(x)?p(xi)logp(xi)?(0.07log0.07?0.93log0.93)?0.366 bit/symbol i 女士： 2 h(x)?p(xi)logp(xi)?(0.005log0.0

4、05?0.995log0.995)?0.045 bit/symbol i 2.7 同時(shí)擲出兩個(gè)正常的骰子，也確實(shí)是各面呈現(xiàn)的概率都為1/6，求： (1) “3和5同時(shí)出現(xiàn)”這事件的自信息； (2) “兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息； (3) 兩個(gè)點(diǎn)數(shù)的各種組合（無序）對的熵和平均信息量； (4) 兩個(gè)點(diǎn)數(shù)之和（即2, 3, ? , 12構(gòu)成的子集）的熵； (5) 兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。 解： (1) p(xi)? 16?16?16?16?118 118 ?4.170 bit i(xi)?logp(xi)?log (2) p(xi)? 16?16?136 136 ?5.170 bi

5、t i(xi)?logp(xi)?log (3) 兩個(gè)點(diǎn)數(shù)的陳列如下： 11 12 13 14 21 31 41 51 61 22 32 42 52 62 23 33 43 53 63 24 34 44 54 64 15 25 35 45 55 65 16 26 36 46 56 66 共有21種組合： 其中11，22，33，44，55，66的概率是 16?16?136 其他15個(gè)組合的概率是2? 16 ? 16 ? 118 1111? h(x)?p(xi)logp(xi)?6?log?15?log?4.337 bit/symbol 36361818?i (4) 參考上面的兩個(gè)點(diǎn)數(shù)的陳列，能夠

6、得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下： ?x? ?p(x 2?1)? ?36 i 3118 4112 519 6536 716 8536 91011912 1111812?1?36? h(x)?p(xi)logp(xi) ?2?log?2?log?2?log?2?log?2?log?log? (5) p(xi)? 16?16?11? 1136 1136 ?1.710 bit i(xi)?logp(xi)?log 2.10 對某城市進(jìn)展交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷 暖兩個(gè)狀態(tài)，調(diào)查結(jié)果得結(jié)合出現(xiàn)的相對頻度如下： 冷 12 晴 晴 冷 8 暖 8 忙 冷 27 雨 雨 閑 暖 1

7、5 冷 5 暖 16 暖 12 假設(shè)把這些頻度看作概率測度，求： (1) 忙閑的無條件熵； (2) 天氣狀態(tài)和氣溫狀態(tài)已經(jīng)明白時(shí)忙閑的條件熵； (3) 從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。 解： (1) 按照忙閑的頻率，得到忙閑的概率分布如下：?x? ?p(x ?x忙?1?63)? ?103 2 x2閑? ?40?103? 634040?63 h(x)?p(xi)logp(xi)?log?log?0.964 bit/symbol i 設(shè)忙閑為隨機(jī)變量x，天氣狀態(tài)為隨機(jī)變量y，氣溫狀態(tài)為隨機(jī)變量z h(xyz)? ? p(xiyjzk)logp(xiyjzk) i j k ?12 103

8、? 81515103 log 8103 ?103 log 103 ?5103 log 512103 ?103 log 12? 103? ?2.836 bit/symbol h(yz)? ? p(yjzk)logp(yjzk) j k ?20 log20232332322828?103103?103log103?103log103?103log103? ? ?1.977 bit/symbol h(x/yz)?h(xyz)?h(yz)?2.836?1.977?0.859 bit/symbol (3) i(x;yz)?h(x)?h(x/yz)?0.964?0.859?0.159 bit/symbol

9、 2.11有兩個(gè)二元隨機(jī)變量x和y，它們的結(jié)合概率為并定義另一隨機(jī)變量z = xy（一般乘積），試計(jì)算： (1) h(x), h(y), h(z), h(xz), h(yz)和h(xyz)； (2) h(x/y), h(y/x), h(x/z), h(z/x), h(y/z), h(z/y), h(x/yz), h(y/xz)和h(z/xy)； (3) i(x;y), i(x;z), i(y;z), i(x;y/z), i(y;z/x)和i(x;z/y)。 解： (1)p(x1)?p(x1y1)?p(x1y2)?p(x2)?p(x2y1)?p(x2y2)? 18 ? 3818 ? 1212 3

10、8 ? h(x)?p(xi)logp(xi)?1 bit/symbol i p(y1)?p(x1y1)?p(x2y1)?p(y2)?p(x1y2)?p(x2y2)? 18 ? 3818 ? 1212 38 ? h(y)?p(yj)logp(yj)?1 bit/symbol j z = xy的概率分布如下： ?z?0 ?z?1?7p(z)?8 ? 2 z2?1? ?1?8? 711?7 h(z)?p(zk)?log?log?0.544 bit/symbol 888?8k p(x1)?p(x1z1)?p(x1z2)p(x1z2)?0 p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p

11、(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?h(xz)? i 78 ?0.5? 38 18 ? k 13311?1 p(xizk)logp(xizk)?log?log?log?1.406 bit/symbol 28888?2篇二：信息論與編碼_陳運(yùn)主編_無水印完好版答案 2.1 試征詢四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？ 解： 四進(jìn)制脈沖能夠表示 4 個(gè)不同的音訊，例如：0, 1, 2, 3 八進(jìn)制脈 沖能夠表示 8 個(gè)不同的音訊，例如：0, 1, 2, 3, 4, 5, 6, 7 二進(jìn)制脈 沖能夠

12、表示 2 個(gè)不同的音訊，例如：0, 1 假設(shè)每個(gè)音訊的發(fā)出都 是等概率的，那么： 四進(jìn)制脈沖的平均信息量 h ( x1 ) = log n = log 4 = 2 bit / symbol 八進(jìn)制脈沖的平均信息量 h ( x 2 ) = log n = log8 = 3 bit / symbol 二進(jìn)制脈沖的平均信息量 h ( x 0 ) = log n = log 2 = 1 bit / symbol 因而： 四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的 2 倍和 3 倍。 2.2 居住某地區(qū)的女小孩有 25%是大學(xué)生，在女大學(xué)生中有 75%是身高 160 厘米以上的，而女 小孩中身

13、高 160 厘米以上的占總數(shù)的一半。假設(shè)我們得知“身高 160 厘米以上的某女孩是大 學(xué)生”的音訊，征詢獲得多少信息量？ 解： 設(shè)隨機(jī)變量 x 代表女小孩學(xué)歷 x p(x) x1（是大學(xué)生） 0.25 x2（不是大學(xué)生） 設(shè)隨機(jī)變量 y 代表女小孩身高 y y1（身高160cm） p(y) 0.5 y2（身高lt;160cm） 已經(jīng)明白：在女大學(xué)生中有 75%是身高 160 厘米以上的 即： p( y1 / x1 ) = 0.75 bit 求：身高 160 厘米以上的某女孩是大學(xué)生的信息量 / y ) = ? log p( x/ y ) = ? 即： i ( x1 1 1 1 p( x1 )

14、p( y1 / x1 ) 0.25 × 0.75 = ? = 1.415 bit p( y1 ) 0.52.3 一副充分洗亂了的牌（含 52 張牌），試征詢 (1) 任一特定陳列所給出的信息量是多少？ (2) 假設(shè)從中抽取 13 張牌，所給出的點(diǎn)數(shù)都不一樣能得到多少信息量？ 解： (1) 52 張牌共有 52！種陳列方式，假設(shè)每種陳列方式出現(xiàn)是等概率的那么所給出的信息量是： p( xi ) = 1 52! i ( xi ) = ? log p( xi ) = log 52!= 225.581 bit (2) 52 張牌共有 4 種花色、13 種點(diǎn)數(shù)，抽取 13 張點(diǎn)數(shù)不同的牌的概率如

15、下： · 1 · p( xi ) = 4 13 c 52 13 413 i ( xi ) = ? log p( xi ) = ? 13 = 13.208 bit c 52 x = 1 x = 2 x = 3? ? x ? ?x 1 = 02 3 4 2.4 設(shè)離散無經(jīng)歷信源 ?= ? ? ，其發(fā)出的信息為 ? 1/ 8 ? ?p( x )? ? 3 / 8 1/ 4 1/ 4 (2) 此音訊中平均每符號攜帶的信息量是多少？ 解： (1) 此音訊總共有 14 個(gè) 0、13 個(gè) 1、12 個(gè) 2、6 個(gè) 3，因而此音訊發(fā)出的概率是： 6 14 25 3 ? ? 1 ? ? 1

16、? ?p = ?×? × ? ? 8 ? ? 4 ? ? 8 ? 此音訊的信息量是： i = ? log p = 87.811 bit (2) 此音訊中平均每符號攜帶的信息量是： i / n = 87.811/ 45 = 1.951 bit 2.5 從大量統(tǒng)計(jì)材料明白，男性中紅綠色盲的發(fā)病率為 7%，女性發(fā)病率為 0.5%，假設(shè)你征詢一 位男士：“你是否是色盲？”他的答復(fù)可能是“是”，可能是“否”，征詢這兩個(gè)答復(fù)中各含多少 信息量，平均每個(gè)答復(fù)中含有多少信息量？假設(shè)征詢一位女士，那么答案中含有的平均自信息量 是多少？ 解： 男士： p( xy ) = 7% i ( xy )

17、 = ? log p( xy ) = ? log 0.07 = 3.837 bit p( xn ) = 93% i ( xn ) = ? log p( xn ) = ? log 0.93 = 0.105 bit h ( x ) = ? 女士： p( x) log p( x) = ?(0.07 log 0.07 + 0.93log 0.93) = 0.366 bit / symbol i i i 2 h ( x ) = ? p( x) log p( x) = ?(0.005 log 0.005 + 0.995 log 0.995) = 0.045 bit / symbol i i i 2x ?

18、? x x x x x x ?1 2 3 4 56 2.6 設(shè)信源 ? = ? ，求這個(gè)信源的熵，并解釋為什么 ? ?p( x )? ?0.2 0.19 0.18 0.17 0.16 0.17? h(x) log6 不滿足信源熵的極值性。 解： · 2 ·h ( x ) = ? p( x) log p( x) i i i 6 = ?(0.2 log 0.2 + 0.19 log 0.19 + 0.18 log 0.18 + 0.17 log 0.17 + 0.16 log 0.16 + 0.17 log 0.17) = 2.657 bit / symbol 不滿足極值性的緣

19、故是 6 p( xi ) = 1.07 1 。 i 2.7 證明：h(x3/x1x2) h(x3/x1)，并說明當(dāng)x1, x2, x3是馬氏鏈時(shí)等式成立。 證明： h ( x 3 / x1 x 2 ) ? h ( x 3 / x1 ) = ? p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 xi 2 ) + p( xi1 xi 3 ) log p( xi 3 / xi1 ) i1 i 2 i 3 i1 i 3 = ? p( xi1 xi 2 xi 3 ) log p( xi 3 / xi1 xi 2 ) + p( xi1 xi 2 xi 3 ) log p( xi 3

20、 / xi1 ) i1 i 2 i 3 i1 i 2 i 3 =p( x x x ) p( xi 3 / xi1 ) i1i 2i 3 i1 i 2 i 3 p( xi 3 / xi1 xi 2 ) p( x ? p( x i1xi 3 / xi1 ) ? i 2xi 3 )?1? log2 e i1 i 2 i 3 ? p( xi3 / x i1x i 2 ) ? ? ? 1 i 2 i 3 p( x? = ?i1 xi 2 ) p( xi 3 / xi1 ) ? p( xi1 xi 2 xi 3 ) ? log2 e i i1 i 2 i 3 ? = ? ? p( x? ? ? i1 xi

21、 2 ) i1 i 2? p( xi 3 / xi1 )? ? ?1? log2 e i 3 ? = 0 h ( x 3 / x1 x 2 ) h ( x 3 / x1 ) 當(dāng)p( xi 3 / xi1 ) p( x?1 = 0時(shí)等式等等 i 3 / xi1 xi 2 ) ? p( xi 3 / xi1 ) = p( xi 3 / xi1 xi 2 ) ? p( xi1 xi 2 ) p( xi 3 / xi1 ) = p( xi 3 / xi1 xi 2 ) p( xi1 xi 2 ) ? p( xi1 ) p( xi 2 / xi1 ) p( xi 3 / xi1 ) = p( xi1 x

22、i 2 xi 3 ) ? p( xi 2 / xi1 ) p( xi 3 / xi1 ) = p( xi 2 xi 3 / xi1 ) 等式等等的等等是x1 , x 2 , x 3是馬 _氏鏈 2.8 證明：h(x1x2 。 xn) h(x1) + h(x2) + + h(xn)。 證明： h ( x 1 x 2 .x n ) = h ( x 1 ) + h ( x 2 / x 1 ) + h ( x 3 / x 1 x 2 ) + . + h ( x n / x 1 x 2 .x n?1 ) i ( x 2 ; x 1 ) 0 i ( x 3 ; x 1 x 2 ) 0 . · 3

23、 · ? h ( x 2 ) h ( x 2 / x 1 ) ? h ( x 3 ) h ( x 3 / x 1 x 2 ) · 4 ·i ( x n ; x 1 x 2 .x n?1 ) 0 ? h ( x n ) h ( x n / x 1 x 2 .x n?1 ) h ( x 1 x 2 .x n ) h ( x 1 ) + h ( x 2 ) + h ( x 3 ) + . + h ( x n ) 2.9 設(shè)有一個(gè)信源，它產(chǎn)生 0，1 序列的信息。它在任意時(shí)間而且不管往常發(fā)生過什么符號， 均按 p(0) = 0.4，p(1) = 0.6 的概率發(fā)出符號。

24、(1) 試征詢這個(gè)信源是否是平穩(wěn)的？ (2) 試計(jì)算h(x2),并寫出 h(x 3 /x 12xx )及 (3) 試計(jì)算h(xh；44信源中可能有的所有符號。 解： (1) 這個(gè)信源是平穩(wěn)無經(jīng)歷信源。由于有這些詞語：“它在任意時(shí)間而且不論以前發(fā)生過什么符號” (2) h ( x 2 ) = 2h ( x ) = ?2 × (0.4 log 0.4 + 0.6 log 0.6) = 1.942 bit / symbol h ( x 3 / x 1 x 2 ) = h ( x 3 ) = ? p( xi ) log p( xi ) = ?(0.4 log 0.4 + 0.6 log 0.

25、6) = 0.971 bit / symbol i h = n lim ? h ( x n / x 1 x 2 .x n ?1 ) = h ( x n ) = 0.971 bit / symbol (3) h ( x 4 ) = 4h ( x ) = ?4 × (0.4 log 0.4 + 0.6 log 0.6) = 3.884 bit / symbol x 4的所有符號： 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11112.10 一階馬爾可夫信源的狀態(tài)圖如以下列圖所示。信

26、源 x 的符號集為0, 1, 2。(1) 求平穩(wěn)后信源的概率分布； (2) 求信源的熵h。 解： (1) 5 · ·篇三：信息論與編碼課后習(xí)題答案 1 有一個(gè)馬爾可夫信源，已經(jīng)明白p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，試畫出該信源的香農(nóng)線圖，并求出信源熵。 解：該信源的香農(nóng)線圖為： 2/3 (x1) 1(x2) 在計(jì)算信源熵之前，先用轉(zhuǎn)移概率求穩(wěn)定狀態(tài)下二個(gè)狀態(tài)x1和 x2 的概率p(x1)和p(x2) 立方程：p(x1)?p(x1x1)p(x1)+p(x1x2)p(x2) =2 p(x1)?p(x2) p(x2)?

27、p(x2x1)p(x1)+p(x2x2)p(x2) = 3p(x1)?0p(x2)p(x1)?p(x2)=1 得p(x1)?馬爾可夫信源熵h = ? 3 4 p(x2)?1 4 ?p(x)?p(x i i j j 3 2設(shè)有一個(gè)無經(jīng)歷信源發(fā)出符號a和b，已經(jīng)明白p(a)?1。求： 4.p(b)?4 計(jì)算該信源熵； 設(shè)該信源改為發(fā)出二重符號序列音訊的信源，采納費(fèi)諾編碼方法，求其平均信息傳輸速率； 又設(shè)該信源改為發(fā)三重序列音訊的信源，采納霍夫曼編碼方法，求其平均信息傳輸速率。 解：h(x)? ?p(x)logp(x) =0.812 bit/符號 i i x 發(fā)出二重符號序列音訊的信源,發(fā)出四種音訊的概率分別為 33p(ab)? p(aa)?4?4?164?4?16 339p(bb)?3 p(ba)?34?4?164?4?16 用費(fèi)諾編碼方法 代碼組 bi bb 01 ba 10 2 ab 110 3 aa 111 3 2 無經(jīng)歷信源 h(x)?2h(x)?