信息論與編碼理論習(xí)題答案姜楠王健編著清華大學(xué)

1、第1章緒論1.1 信源、編碼器、信道、干擾、譯碼器、信宿1.2 香農(nóng)1.3 通信系統(tǒng)模型1.4 信號(hào)是消息的表現(xiàn)形式，是物理的，比如電信號(hào)、光信號(hào)等。消息是信息的載荷者，是 信號(hào)的具體內(nèi)容，不是物理的，但是又比較具體，例如語言、文字、符號(hào)、圖片等。信 息包含在消息中，是通信系統(tǒng)中被傳送的對(duì)象，消息被人的大腦所理解就形成了信息。1.5 略第2章信息的統(tǒng)計(jì)度量2.1 少2.2 y的出現(xiàn)有助于肯定 x的出現(xiàn)、y的出現(xiàn)有助于否定 x的出現(xiàn)、x和y相互獨(dú)立2.3 FTTTF2.4 2.12 比特設(shè)其發(fā)2.5 依題意，題中的過程可分為兩步，一是取出一枚硬幣恰好是重量不同的那一枚，生的概率為5,由于每枚硬幣

2、被取出的概率是相同的，所以P1181所需要的信息量I A log p16.34 bit二是確定它比其他硬幣是重還是輕，設(shè)其發(fā)生的概率為p2 ,則P2總的概率所需要的信息量P1P21811162I log p log162 7.34 bit2.6設(shè)A表示“大學(xué)生”這一事件,B表示“身高1.60m以上”這一事件，則P A 0.25 p B 0.5p B| A 0.75P A|Bp ABp A p B| AP B0.75 0.250.50.3752.72.8I A | B log - P四進(jìn)制波形所含的信息量為log 4四進(jìn)制波形所含信息量為二進(jìn)制的1AJB2 bit2倍,1log 1.42 bit

3、0.375,八進(jìn)制波形所含信息量為log 8 3 bit，故八進(jìn)制波形所含信息量為二進(jìn)制的3倍。10g2 p bit10g3 P bit3 I 2 log2 3 1.585故以3為底的信息單位是比特的1.585 倍。2.92.10(2)小圓點(diǎn)數(shù)之和為 7的情況有 出現(xiàn)的概率為P76136 6故包含的信息量為10g P71log 2.585 bit62.11對(duì)于男性，是紅綠色盲的概率記作7% ,不是紅綠色盲的概率記作P a2(1) J、 Z (2) E (3) X(1)兩粒骰子向上面的小圓點(diǎn)數(shù)之和為3時(shí)有(1,2)和(2, 1)兩種可能性，總的組合數(shù)為c6 c6 36 ,則圓點(diǎn)數(shù)之和為 3出現(xiàn)的

4、概率為21P336 18故包含的信息量為1log P3log 4.17 bit18(1,6), (6, 1), (2, 5), (5, 2), (3, 4), (4, 3),則圓點(diǎn)數(shù)之和為 7這兩種情況各含的信息量為I a1log1 P ai,100 log73.83 bitI a2log1 p a2,100 log 一0.105 bit93平均每個(gè)回答中含有的信息量為H A P a110g 1 P a1P a2 log 1 Pa2100933.83 0.1051000.366bit對(duì)于女性，是紅綠色盲的概率記作0.5% ,不是紅綠色盲的概率記作P b299.5% ,則平均每個(gè)回答中含有的信息

5、量為p bi log510000.045,1000log5bit1 P b1995 .log1000P b2 log 1 P b21000995所以HA H B2.12 天平有3種狀態(tài)，即平衡，左重，左輕，所以每稱一次消除的不確定性為10g3, 12個(gè)11一.球中的不等重球(可較輕，也可較重)的不確定性為：10g 一？_10g 24,因?yàn)?2 231og31og24，所以3次測(cè)量可以找出該球。2.13 (1)當(dāng)最后3場(chǎng)比賽麥克勝的次數(shù)比大衛(wèi)多時(shí)，麥克最終才能勝，因此P勝 P麥克勝3場(chǎng)？ P大衛(wèi)勝少于3場(chǎng)+P麥克勝2場(chǎng)？ P大衛(wèi)勝少于2場(chǎng)P麥克勝1場(chǎng)？ P大衛(wèi)勝0場(chǎng)173431228888886

6、4同理2222 22 20P 負(fù) 一,P 平 1 一 一 一6464 64 64麥克最終比賽結(jié)果的嫡為22 22 20222222222020H ,logloglog -64 64 646464646464642220log 64 2 一 log 22 一 log 206464442064.4594 4.321964646 3.0659 1.35061.5835比特/結(jié)果因?yàn)閯佟⒇?fù)、平這 3種結(jié)果接近等概，所以該隨機(jī)變量的嫡接近最大嫡。(2)假定大衛(wèi)最后 3場(chǎng)比賽全部獲勝，那么麥克也必須全部獲勝最后3場(chǎng)比賽最終才能得平，否則就是負(fù)。麥克3場(chǎng)比賽全部獲勝的可能性是2 I X;Z 0 ,所以 1/

7、8,因此在假定大衛(wèi)最后 3場(chǎng)比賽全部獲勝的情況下麥克的最終比賽結(jié)果的條件嫡是3 7 log 7 0.5436 比特/結(jié)果k2.14 (1)假定一個(gè)家庭里有 k個(gè)女孩，1個(gè)男孩，相應(yīng)的概率是 0.5 ?0.5,因此女孩的平均數(shù)是0.5k0.5k 1 ,女孩的平均數(shù)和男孩的平均數(shù)相等。k 1 H X0.5i log 0.5i 2i 12.15 (1)根據(jù)題意，可以得到：P E PF0.0p U0.95 口1.0 p E 0.5p F由式可以得到：p F 1.92p E將式代入式得到:p E 0.9 p U由于p E , p F ,p U的取值必須在0到1之間，由式和式可以得到p E的取值范圍在0.

8、9至IJ 0.95之間。(2)就業(yè)情況的嫡為1H p E log p E1p F log p F1p U log p U1.9 2p Elog11.9 2p E0.9 log它在p E的取值范圍內(nèi)的曲線如圖所示。(3)當(dāng) p E 0.9081 時(shí)，H0.4823達(dá)至U最大值，這時(shí) p F 0.0838, p U 0.0081。Y表示氣象臺(tái)預(yù)報(bào)的天氣情況，Z表示總是預(yù)報(bào)不2.16 假設(shè)X表示當(dāng)?shù)氐膶?shí)際天氣情況, 下雨的天氣情況。0.696比特/符號(hào)I X;Yxylogp xyx,y10810glog 16 log 16165 13 163 11wlog7T16 160.0906比特/'符

9、號(hào)16 1616 1616 16X和Z是相互獨(dú)立的兩個(gè)隨機(jī)變量，即I X;Y I X;Z ,H X |Z H X |Y因此氣象臺(tái)的預(yù)報(bào)準(zhǔn)確率雖然比總是預(yù)報(bào)不下雨低，但還是傳遞了一些信息，消除了一些不確定性。2.17 由互信息量的定義,p x 山I x; yjlogP Xi因?yàn)閜 X | yj 1 ,則有I K；yj,P xi | yjlogP XlogP XiI Xi同理，因?yàn)閜 yj | x 1 ,則有I yj ;xip yj |Xiilog log I yjp yjp yj2.18 (1)根據(jù)嫡的極值性，當(dāng)隨機(jī)變量等概分布時(shí)，隨機(jī)變量的嫡最大。有7個(gè)可能取值的隨機(jī)變量的最大嫡為log 7,

10、隨機(jī)變量X不是等概分布，所以 H Xlog 7。(2)根據(jù)嫡的遞增性，H X2 2 2 2 221一 一 H -,10 10 10 10 10102H102log 5。1 110g1010(3)p x log p x 3 log 10106 log10 log 2 3.322 0.6 102.722比特/符號(hào)2244P y log P y 3 log log - 1010 1010log10log 2 log 410103.322 0.6 0.8 1.922比特/符號(hào)(4)因?yàn)殡S機(jī)變量Y是X的函數(shù)，所以H X/Y 0比特/符號(hào)H X Y H XY H Y H X HY/XH Y 0.8比特/符

11、號(hào)2.19假定Pi為最大的概率。根據(jù)嫡函數(shù)的性質(zhì)，如果,11111 一 1只有一種可能：。如果12 8 8 8 84PiPi ,則嫡小于2;如果Pi ,，則221-,則有無數(shù)個(gè)解，其中之一為20.375,0.25, 0.25, 0.97859, 0.027141 ；如果 p11 ，一一-,則沒有解。42922.20 95361721722.2110gb5361721722 .a33 10gz第3章離散信源1.1 P(X2)1.2 51.3 11.4 21.5 (1) 87.81bit(2) 1.95bit2.6 Hmax(X)=12.7 (1)消息符合的平均嫡H X(2)自信息量為I X ml

12、og4(3) (2)中的嫡為H X3.8因?yàn)檫呇胤植糽og 33-log- 0.81 bit444100 m log- 200100 m log31I100m1 log31003pa P &ajj 1條件分布概率 p aj |ai p agj ./p ai如下:p aj |aa01209/111/80aj12/113/42/9201/87/9所以信息嫡:pai 10gp ai 1.542 biti 1條件嫡：33H X2X1p aiSj log p aj |a 0.87 bit/符號(hào)i 1 j 1聯(lián)合嫡：33H X1,X2p aiaj log p aiaj 2.41 bit/二個(gè)符號(hào)i

13、 1 j 1或H X3X2 H X1 H X2IX11.542 0.87 2.412 bit/二個(gè)符號(hào)可知H X2IX1 H X解釋：(1)信源的條件嫡H X2IX1比信源嫡H X少0.672bit/符號(hào)。這是由符號(hào)之間的相互依存性造成的。(2)聯(lián)合嫡H Xi，X2表示平均每?jī)蓚€(gè)信源符號(hào)所攜帶的信息量。平均每一個(gè)信源符號(hào)所攜帶的信息量近似為1H2 X -H Xi,X21.205 bit/符號(hào)2因此H2 X H X原因：略去了 X1X2和X2X3之間的依賴性。3.9由定義，信源的嫡6H X p ai logp ai0.2log 0.2 0.19log 0.19 0.18log 0.18i 10.

14、17log 0.17 0.16log 0.16 0.17log 0.17log 6.282.64 log 6信源的概率分布要求滿足p ai 1,而此題中 pa 1.07 1。即各種可能發(fā)生的情況下，概率之和大于“ 1”。在實(shí)際情況下這是不可能發(fā)生的。3.10由題意可知，聯(lián)合概率分布為X'-Y10101/40101/421/41/4"X'一一丫工0101/4011/40201/2Y的分布為所以由于所以，第二個(gè)實(shí)驗(yàn)好。3.11由定義Yi01p(y1)1/21/2Y201p(y2)1/21/2H Y1H Y21 bitHY1| Xpxy110gpy1 | x0.5 bitx

15、yHY2| XPxy210gpy2 |x0 bitxy2IX;丫HYHY1 |X0.5 bitIX;Y2HY2 HY2|X1.0 bitI X;Y1I X;Y22H X2 H X2,X1 H X1 +H X2IX1 H X2|X1由于一階馬爾科夫信源之間的相關(guān)性，導(dǎo)致嫡減小。3.12 (1) 一階馬爾可夫過程的狀態(tài)轉(zhuǎn)移圖如圖所示。布為w W,W2,W3 ,根據(jù)-,設(shè)狀態(tài)的平穩(wěn)分3一階馬爾可夫過程共有 3種狀態(tài)，每個(gè)狀態(tài)轉(zhuǎn)移到其他狀態(tài)的概率均為111“，WiW2W3333111WWiW2W3333111W-W13-W233W3W1w2W31可得 W 1/ 3,1/3,1/3 ,3種狀態(tài)等概率分布

16、。一階馬爾可夫信源嫡為信源剩余度為(2)二階馬爾可夫信源有二階馬爾可夫信源嫡為9種狀態(tài)H011.585比特/符號(hào)H2log 3(狀態(tài)轉(zhuǎn)移圖略)，1111111同樣列方程組求得狀態(tài)的平穩(wěn)分布為1 19,9,9,9,9,9,9,9,91H 3 910g 391.585比特/符號(hào)信源剩余度為由于在上述兩種情況下,3個(gè)符號(hào)均為等概率分布，所以信源剩余度都等于0。3.13 (1)由題中條件，該信源是離散無記憶信源，對(duì)任意i1,i2,L iN和h 0,x1 , x2,L xN0,1p Xi1 X1,Xi2x2,L XiNxN,NNN,0.4 也0log 3 0.61p X1 h X1, X i2 h X2

17、 ,L X iN h XN其中Ni為Xi,X2,L Xn中0的個(gè)數(shù)。故該信源是平穩(wěn)的。(2)由離散無記憶信源的擴(kuò)展信源的性質(zhì)lim Hn X lim HN XN|X1X2LXN1H X 0.971 bit(3)H X4 4H X 4? 0.4log0.4 0.6log0.63.884 bit可能發(fā)出的符號(hào)有 0000, 0001, 0010, 0011, 0100, 0101 , 0110, 0111, 1000, 1001, 1010,1011, 1100, 1101, 1110, 1111。3.14狀態(tài)轉(zhuǎn)移矩陣7 2P29 92 13 3故該馬爾科夫信源是遍歷的。設(shè)w wW2WP W23W

18、1 W2W1W1W211-W1W23求得W23414所以信源嫡為2H X p S H X |S i 1狀態(tài)轉(zhuǎn)移圖略。3.15 (1)狀態(tài)轉(zhuǎn)移矩陣3H 2,143 3131-H1,00.9180 0.688bit/符號(hào)444p E 2p 2則有p 0p 0Tp 1 P p 1p 2 p 2p p p22p - pp - 22p p R p 22可得一 一 p p 一p 0 pp 0 p 1 p 2 22ppp 1p 0pp 1p 222ppp 2p 0 p 1pp 222整理得(2)信源的嫡其中狀態(tài)極限概率H q S H akSS.Iq Siq Sj P Si |SjSjppp 0 pp 0 p

19、 1 p 2 22, p c _, p -p 1 p 0 pp 1 p 222p 2 p 0 p 1 pp 222整理得1p 0 p 1 p 2 一 3所以，此信源的嫡H q S H ak |SisiElogZ 2 p1 -11-plog 二3 pplog 4 p2 plog- p(3)信源無記憶，符號(hào)的概率分布等于平穩(wěn)分布。所以1H X p aI logp aip 0 logp 1 log- p 1log1.58 bit經(jīng)比較，可得到 H H X。(4) 一階馬爾科夫信源的極值pp ppH 1 p log 1 p log log log3 22 22當(dāng)且僅當(dāng)p - , p 1時(shí)成立。 33當(dāng)

20、p 0時(shí)，H0；1 1當(dāng) p 1 時(shí)，H -log_2 1 bit2 23.16 (1)狀態(tài)轉(zhuǎn)移矩陣p0pPpp00pp由p0p0Tp1Ppip2p2解得p。祁0Rd5pp1pp1p0 p1 p2 1整理得，平穩(wěn)后信源的概率分布1p0Plp2 一3(2)求信源嫡H 。先求狀態(tài)極限概率q 0 q0pq1pq20q 1 q00q1pq 2 Pq 2 q0pq10q 2 P又因?yàn)閝 S 1 S可得q 0 q 1 q 2-3信源的嫡q S H ak I SS_ 113 p log 3p,1 plog- p1,1plog- plog- p p(3)求p 0或p 1時(shí)的Hlimp 0_1plog- p1

21、plog- plimp 03p log e 0p 1時(shí)，即p 0limp 0_1plog- p1 plog- plimp 03p log e 0信源嫡表示的是信源的平均不確定性。此題中p1表明某一狀態(tài)轉(zhuǎn)化到另一狀態(tài)的情況一定發(fā)生或一定不發(fā)生，即是確定事件,平均不確定性為零，即信源的嫡為零。3.17可知消息的極大嫡Ho 10g2bit,此信源的極限嫡為H1由冗余度計(jì)算公式得log 11log 440.811 bit0.81110.1893.18 (1)由一步轉(zhuǎn)移概率矩陣與二步轉(zhuǎn)移概率矩陣的公式P2(2)設(shè)平穩(wěn)狀態(tài) W W1 ,W2,W3W1求解得穩(wěn)態(tài)后的概率分布W2W3pq2q2qpq2pqpq

22、2p2ppq,馬爾可夫信源性質(zhì)知qWpWpW2qW2qW4pW3WW2W3W1W2W3 12qd21 p ppqZ21 p p2p3.19設(shè)狀態(tài)空間S= a,b,c ,符號(hào)空間X a, b, cX2X2b|X1X2 c| X1X2a|X1X2b|X1X2 c|X1X2a|X1X2b|X1X2c|X1步轉(zhuǎn)移概率矩陣1313121313121313狀態(tài)轉(zhuǎn)移圖由馬爾可夫信源性質(zhì)有設(shè)平穩(wěn)狀態(tài)W W,W2,W3 ,WP1 -W1 31 -W1 311 -W2 31 -W2 311-W3 W121-W3 W2可得馬爾可夫鏈只與前一個(gè)符號(hào)有關(guān)，則有W1-W2W3WiW28381P Sii 1P ak I &

23、#167; log1P ak I §3113 - log -833113 log 33112 log 221.435 bit3.20 消息元的聯(lián)合概率是p白，白 p白I白p黑，白 p黑|白 p白，黑 p白|黑n里 里 n里I里p 八X 5 八Xp 八':| 八Xp 白 0.7 0.9143 0.64p 白0.7 0.0857 0.06p 黑0.2 0.3 0.06p 黑 0.3 0.8 0.24求得一階馬爾可夫信源的不確定性為H X |X 0.64log 0.91430.512 bit0.06log0.08570.06log 0.2 0.24log 0.83.21 組成的字如

24、下:這種簡(jiǎn)單語言平均每個(gè)碼字的長(zhǎng)度為115則平均每個(gè)字符攜帶的信息量為5152315381510g1538 151.542 bit所以，其冗余度為1.542log30.0273.22 擲n次錢幣就使其正面向上的概率為則有1n 121lognn 2 bitn 1 2第4章離散信道4.1(1)無損信道1/2 1/200(3)001/2 1/2(4)(2)14.2假設(shè)輸入符號(hào)X取值4道20,1 , r 2 ；輸出符號(hào) Y bi ,b20,1 ,s 2。且p > a1 p,p b2 a2 p,p b2 & p, p b a?p。其中，p表示單個(gè)符號(hào)的無差錯(cuò)傳輸概率，p表示單個(gè)符號(hào)傳輸?shù)腻e(cuò)

25、誤概率。信道轉(zhuǎn)移關(guān)系如圖所示。則傳遞概率為pb1a1p 00 1Pppb2 a2p111p Ppb2 a1p01ppbi a2p1 0p并且 22p bj a p bj %1j 1j 1則信道傳遞矩陣為P 1 p p4.3 信道如圖所示1-0其轉(zhuǎn)移矩陣為這是一個(gè)準(zhǔn)對(duì)稱信道，信道容量為C log 2 H 1 log 1log 21比特/符號(hào)4.4按定理log sH P1, P2,L , ps,1111log 4 H ，一，, -3 3 6 61111-log - - log 一33 3311-log 6611-log-660.0817(bit/符號(hào))解釋:(1)此信道每個(gè)符號(hào)平均能夠傳輸?shù)淖畲笮?/p>

26、息為0.0817bit。(2)只有當(dāng)信道輸入符號(hào)是等概率分布才能達(dá)到這個(gè)最大值。4.5 信道傳遞矩陣為11112 6 6 616161116 2 6又知所以有故平均互信息量Px A Px BPx CPy APy b1.79(bit)pY C1 Px D4Py DP X P yj 為 log p yj Xi XYI X;Y H Y H Y X2 1.79 0.21(bit)4.6 (1)三元對(duì)稱理想(無噪聲)信道的信道模型如圖所示。111._. 3334.7 由圖可知信道1、2的信道矩陣分別為 pi333,P21c1-0 -22它們串聯(lián)后構(gòu)成一個(gè)馬爾科夫鏈，根據(jù)馬氏鏈的性質(zhì)，串聯(lián)后總的信道矩陣為

27、11110 04.8傳遞矩陣為PP1P23 3 3110 22111333111263PY|x5/6 1/63/ 4 1/4(1)輸入信源符號(hào)的概率分布可以寫成行向量形式，即PX0.6 0.4由信道傳遞矩陣和輸入信源符號(hào)概率向量，求得輸出符號(hào)概率分布為PY巳 Py|x5/6 1/60.6 0.40.8 0.23/4 1/4輸入符號(hào)和輸出符號(hào)的聯(lián)合概率分布為0.605/61/ 60.50.1PxY00.43/41/40.30.1(2)I X1I x2Xi；yiXi；y2X2；yiX2；y2(3)信源X和信源Y的信息嫡2p X i i2p yj ilog plog plog-loglogXiX2y

28、i Xip yip V2 Xi log p V2p yi X2 logp yip y2 X2 logy2(4)信道疑義度0.510g 560.7i5(bit)噪聲嫡(5)平均互信息X;Ylog 0.6 0.737(bit)log 0.4 1.322(bit).5/6 log 0.8,i/6 log 0.210gB0.8i/4log 一 0.20.059(bit)0.269(bit)0.09(bit)0.322(bit)4.9根據(jù)公式I X;YXiyj0.i0.97X,Y0.6log 0.6 0.4log 0.40.8log 0.8 0.2log 0.2Xiyj log pi log-60.3X

29、,Y0.97(bit)0.722(bit)yj Xi0.ii log 一40.7i5 0.722 0.963(bit)H X Y 0.97 0.963 0.007(bit)X,Y求互信息量,yjlog p Xlog p yjp Xi yj log p x yj故應(yīng)求p x , p y , pXy 。(i)求聯(lián)合概率(2)(3)求后驗(yàn)概率求嫡px)y0pxp y0 x00.50.98 0.49px)y1px0p y1 七0.50.02 0.01p為丫0pxp y0為0.50.2 0.1p為山pxp y x0.50.8 0.4py。pXxy0p劭丫0pxy00.49 0.10.59py1pxy1p

30、w px型0.01 0.40.41求邊沿概率Xpx0V。pX0y0py0pX1y0pX1y0 .pV。px0y1p%py1pX1y1pX1y1 .py10.410.40.410.490590.10.590.010.8310.1690.0240.976X,YXiyjX0.49log 0.49X;Y Hlog plog Pp xyjlogY0.01log 0.01H Y H0.5log 0.5 0.5log 0.50.59log 0.59 0.41log0.41 0.93P Xiyj0.1log 0.1 0.4log 0.4 1.34(bit)X,Y0.93 1.34 0.59(bit)4.10信

31、道傳輸矩陣如下:0PYX0可以看出這是一個(gè)對(duì)稱信道,4.11先求輸入端須傳輸?shù)男畔⒘?212L 4,那么信道容量為C log11L H -2 20 0Llog Lp yj xlog p yjj 1log 4C 1 112 log -1(bit)22Xi1114000 -log 2 p 111H(X) 14000 log 2 p 014000 bit再求輸出端10s內(nèi)傳出的信息量。要求信道傳出的信息量，必須先求信道容量。由110.98 0.02PY|X220.02 0.981一 020.98 0.020.49 0.0110.02 0.980.01 0.4902所以H Xlog 2 1 bitH

32、Ylog 2 1 bitH Y |Xp 為丫上 log p yj |xiX Y0.49 log 0.98 0.01 log 0.020.14 bitC max I X;Y H Y H Y|Xp x1 0.140.86 bit信道容量為0.86bit ,對(duì)信道而言10s內(nèi)共傳輸?shù)姆?hào)數(shù)為15000個(gè)。所以輸出端傳出的信息 量為0.86 15000 12900bit 14000bit ,顯然10s內(nèi)傳出端無法得到輸入序列的全部信息。4.12 (1)信道為準(zhǔn)對(duì)稱信道，輸入等概率分布時(shí)達(dá)到信道容量，即 G I X;Y。設(shè)輸入為1p aip a2 一計(jì)算輸出得所以2，1c ，p bip b21 2 ,

33、p b32C1 I X;Y H Y H Y X1 2,2H H 2 H p2logp log pp log PC2 I X;Y。(2)信道仍為準(zhǔn)對(duì)稱信道，輸入等概率分布時(shí)達(dá)到信道容量，即設(shè)輸入為aip a2計(jì)算輸出得p bip b2b3p b4所以C2 I X;Y2H2H比較兩信道容量,2 logp loglog2 log 24.13依題意，阻值的概率空間為功率的概率空間C2 Cilog 2R 2kXi0.7iP _W8yi0.64C15kX20.31W 4y20.36由題意知p %為 0.8, p y2 X10.2，再設(shè)p y2 xp,則FY0.64 0.36p y X p y2 X1p X

34、1p X2p y1 X2p y2 x20.8 0.2_0.7 0.3_0.56 0.3 p 0.14 0.3pp p由 0.56 0.3p 0.64，得0.84p 3150.8 0.2PYx_41115 15H Y H 0.64,0.360.943(bit)0.756(bit)4 11H Y X 0.7 H 0.8,0.20.3 H ,15 15所以I X;Y H Y H YX 0.943 0.756 0.187(bit)通過測(cè)阻值可以得到關(guān)于瓦數(shù)的平均信息量為0.187bit。0 0 04.14 (1) XCiY ,由信道傳輸矩陣Py,x1102 20 0 1得到信道輸入與輸出的聯(lián)合分布矩陣

35、為1與信道的傳輸符號(hào)的概率分布00PXY1400014014140有邊緣概率輸出符號(hào)嫡為1111Pf 88 4 2H Y p yj log p yjY1111-log - -log - 88 881111-log - - log -44 221.75(bit)條件嫡為H Y Xp xiyj log p yj xX Y1111111log1 log1 log log log1 0.25(bit)4482 82 40010001022C1PZ|XI X;Y H Y H Y X1.75 0.25 1.5(bit)PY|X PZYPxzPzlogZ1.11.1-log - -log -8888zxP

36、Zl11log 22121 log 44I X;Z1.1log 821.1log 82H ZX1.75(bit)XiZ log p Z| x0.25(bit)1.75 0.25 1.5(bit)顯然 I X;Y I X;Z 。4.15 (1)由信道1的轉(zhuǎn)移概率矩陣可知其為對(duì)稱信道 所以C1 log 4 H因?yàn)镠 X log 4 2 C1所以有信息嫡損失，信道有噪聲。(2)由信道2的轉(zhuǎn)移概率矩陣可知其為準(zhǔn)對(duì)稱信道，輸入為等概分布時(shí)達(dá)到信道容量。令 此時(shí)的輸出分布為1q q2 Lq8一8所以C2HH Y| X10g8因?yàn)閘og 4 C2所以信道2無噪聲。4.16 因?yàn)槭嵌獙?duì)稱信道，根據(jù)信源概率分

37、布:信道傳輸I率：p b11al p b2 |a2 1, p 0 | a2 p b21al得到輸出符號(hào)概率分布卜 人 1p bip b22根據(jù)互信息量的定義，有p bi |a11I a1;b1I b1;a1loglog log 2 1p b11/2p b2 1alI a也 I b2；alog log log 2p b21/ 24.17 (1)這是一個(gè)錯(cuò)誤傳遞概率為0.08的二元對(duì)稱信道，它的信道容量為一11C 1 0.0810g 0.9210g 0.5978比特0.080.92(2)每次顧客點(diǎn)菜時(shí)提供的信息為11H(X) 0.1log 0.9log 0.469比特(3) 息。0.10.9由于需

38、要傳遞的信息量小于信道容量，因此在這個(gè)信道上可以正確傳遞顧客點(diǎn)菜的信第5章連續(xù)信源和連續(xù)信道5.1略H X 1 e |x ln 1 e |x dx221 e 'x ln1 ln x dx2 25.2 221 ln ln 122e , ln之奈特5.3 略5.4 略第6章無失真信源編碼6.1 16.2 信源序列6.3 (1)唯一可譯碼有：A, B , C。La(2)即時(shí)碼有：A, C1/2 1/4 1/16 1/16 1/16 1/163 3(碼元/ 信息符號(hào))同理得LbLc"(碼元/信息符號(hào))817(碼元/信息符號(hào))86.4 1.xx, xz, y, zz, xyz(1)此碼

39、的碼長(zhǎng)滿足 Kraft-McMillan 不等式：111113393119丁FT7-333333272727272727(2)根據(jù)碼樹圖可知，此碼是即時(shí)碼；(3)由于此碼是即時(shí)碼，所以它也是唯一可譯碼。2.000,10,00,11(1)此碼滿足 Kraft-McMillan 不等式:11111222 22228888(2)此碼不是即時(shí)碼，因?yàn)榇a字00是碼字000的前綴;(3)此碼不是唯一可譯碼，因?yàn)榇a符號(hào)序列000000可以譯碼為00, 00, 00,也可以譯碼為 000, 000。3. 100,101,0,11(1)此碼滿足 Kraft-McMillan 不等式：1111114 2 83-3

40、2 1222288888(2)根據(jù)碼樹圖可知，此碼是即時(shí)碼；(3)由于此碼是即時(shí)碼，所以它也是唯一可譯碼。4. 01,100,011,00,111,1010,1011,1101(1)此碼不滿足 Kraft-McMillan 不等式：1 11111114224211117 2 2 222 222 16 16 16 16 16 16 16 1616(2)因?yàn)椴粷M足 Kraft-McMillan 不等式，所以此碼不是即時(shí)碼；(3)因?yàn)椴粷M足Kraft-McMillan不等式，所以此碼不是唯一可以碼。5. 01 , 111, 011, 00, 010, 110(1)此碼不滿足 Kraft-McMill

41、an 不等式：111111211211823323312222228888888(2)此碼不是即時(shí)碼，因?yàn)榇a字 01是碼字011的前綴；(3)此碼是唯一可譯碼。根據(jù)唯一可譯碼判決準(zhǔn)則，我們構(gòu)造以下的尾隨后綴序列:C 01,111,011,00,010,110Fo1,0F111,10,1,0F211,10,1,01 36.5（1） H SH -,-0.811（bit/信源符號(hào)）4 413 p 0 =p A-，p 1p B -44（3）對(duì)二重延長(zhǎng)消息采用費(fèi)諾方法編碼，結(jié)果為BB: 0BA:10 AB :110AA:111平均碼長(zhǎng)：-1 41一一 L 一 訊 1.6875 0.844(碼兀/信源符號(hào)

42、)N i 12BBB :1 BBA : 001BAB :010BAA : 00000平均信息傳輸速率H SR -L碼元0和1的概率分別為 0.961（bit/碼元符號(hào)）0.844p 093131231616216332p 1目12_2191621631632(4)對(duì)三重延長(zhǎng)消息采用霍夫曼方法編碼,結(jié)果為ABB: 011 ABA : 00001 AAB :00010AAA:00011平均碼長(zhǎng)：-1 81L -pJi 2.46875 0.823（碼兀 /信源符號(hào)）N i 13平均信息傳輸速率H S 0.811一/R - 0.985（bit/碼兀符號(hào)）L 0.83 碼元0和1的概率分別為n n929

43、2913343413117p 064364364364645645645320p 127919192313112203646436436436456456453206.6 由香農(nóng)第一定理知H S 工 LN H Slog r N N log r顯然當(dāng)N 時(shí)LnH SN log r此時(shí)的信息傳輸率為logr log r編碼后原信源變換成一個(gè)新的信源xpix2 LxrP2 LPr新信源的信道容量C logr ,且在輸入信源等概率時(shí)達(dá)到此容量。H S, logr知，經(jīng)過霍夫曼編碼后，信心傳輸率達(dá)到信道容量, logr很難推出此時(shí)的信源趨于等概分布，即Pi = - Or6.7 (1)至少需要二位二進(jìn)制碼元來發(fā)送4個(gè)等概發(fā)生的信息晴一一00,云一一01,雨一一10,霧一一11(2)4個(gè)消息的概率恰好是 2的負(fù)整數(shù)次哥，根據(jù) b logp得2位，云3位，雨3位，霧1位(3)采用霍夫曼方法得霧一一0,晴一一10,云一一110,雨一一111它們的平均碼長(zhǎng)分別為：1第一