(信息論)第二、三章習(xí)題參考答案

第二章習(xí)題參考答案2-1解：同時(shí)擲兩個(gè)正常的骰子，這兩個(gè)事件是相互獨(dú)立的，所以兩骰子面朝上點(diǎn)數(shù)的狀態(tài)共有6×6＝36種，其中任一狀態(tài)的分布都是等概的，出現(xiàn)的概率為1/36。(1)設(shè)“3和5同時(shí)出現(xiàn)”為事件A，則A的發(fā)生有兩種情況：甲3乙5，甲5乙3。因此事件A發(fā)生的概率為p(A)=(1/36)*2=1/18故事件A的自信息量為I(A)=－log2p(A)=log218=4.17bit(2)設(shè)“兩個(gè)1同時(shí)出現(xiàn)”為事件B，則B的發(fā)生只有一種情況：甲1乙1。因此事件B發(fā)生的概率為p(B)=1/36故事件B的自信息量為I(B)=－log2p(B)=log236=5.17bit(3)兩個(gè)點(diǎn)數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566因?yàn)楦鞣N組合無(wú)序，所以共有21種組合：其中11，22，33，44，55，66的概率是其他15個(gè)組合的概率是(4)參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布：(5)“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”的組合數(shù)共有11種。2-2解：(1)紅色球x1和白色球x2的概率分布為(2)紅色球x1和白色球x2的概率分布為(3)四種球的概率分布為，2-5解：骰子一共有六面，某一骰子扔得某一點(diǎn)數(shù)面朝上的概率是相等的，均為1/6。兩骰子面朝上點(diǎn)數(shù)的狀態(tài)共有36種，其中任一狀態(tài)出現(xiàn)都是等概率的，出現(xiàn)概率為1/36。(1)設(shè)“面朝上點(diǎn)數(shù)之和為3”是事件A，點(diǎn)數(shù)之和為3的有兩種(1+2，2+1)，故有I(A)=－log2p(A)=4.17比特(2)設(shè)“面朝上點(diǎn)數(shù)之和為7”是事件B，點(diǎn)數(shù)之和為7的有6種(1+6，2+5，3+4，4+3，5+2，6+1)，故有I(A)=－log2p(B)=2.58比特2-9解：設(shè)第一次摸出的是黑球的事件為x1，第一次摸出的是白球的事件為x2，第二次摸出的是黑球的事件為y1，第二次摸出的是白球的事件為y2。(1)若摸出的球?yàn)楹谇颍瑒t若摸出的球?yàn)榘浊?，則∴(2)若第二次實(shí)驗(yàn)摸出的是黑球，則若第二次實(shí)驗(yàn)摸出的是白球，則∴(3)若第二次實(shí)驗(yàn)摸出的是黑球，則若第二次實(shí)驗(yàn)摸出的是白球，則∴(4)又，∴2-14解：設(shè)x0—0，x1—1，y0—0，y1—1，則由已知得，，，∴，由全概率公式得，由貝葉斯公式得由得(2)2-20解：(1)(2)(3)因?yàn)槭蔷鶆蚍植?，[a,b]不同，導(dǎo)致概率密度函數(shù)不同，所以信源熵不同。2-27解：(1)由符號(hào)條件概率得如下狀態(tài)轉(zhuǎn)移圖01010011100/0.50/0.81/0.21/0.51/0.81/0.20/0.51/0.5由狀態(tài)轉(zhuǎn)移圖得狀態(tài)轉(zhuǎn)移概率矩陣由得2-33解：(1)其中(2)當(dāng)p=0或p=1時(shí)H(X)=0。必然事件和完全不可能事件的熵均為0，不包含任何信息。第三章習(xí)題參考答案3-1解：(1)判斷唯一可譯碼的方法：①先用克勞夫特不等式判定是否滿足該不等式；②若滿足再利用碼樹，看碼字是否都位于葉子結(jié)點(diǎn)上。如果在葉節(jié)點(diǎn)上則一定是唯一可譯碼，如果不在葉節(jié)點(diǎn)上則只能用唯一可譯碼的定義來(lái)判斷是不是。其中C1,C2,C3,C6都是唯一可譯碼。對(duì)于碼C2和C4都滿足craft不等式。但是不滿足碼樹的條件。就只能舉例來(lái)判斷。對(duì)C5：，不滿足該不等式。所以C5不是唯一可譯碼。(2)判斷即時(shí)碼方法：定義：即時(shí)碼接收端收到一個(gè)完整的碼字后，就能立即譯碼。特點(diǎn)：碼集任何一個(gè)碼不能是其他碼的前綴，即時(shí)碼必定是唯一可譯碼,唯一可譯碼不一定是即時(shí)碼。其中C1,C3,C6都是即時(shí)碼。對(duì)C2：“0”是“01”的前綴，……，所以C2不是即時(shí)碼。由平均碼長(zhǎng)得3-7解：(1)信源消息的概率分布呈等比級(jí)數(shù)，按香農(nóng)編碼方法，其碼長(zhǎng)集合為自然數(shù)數(shù)列1,2,3,···,i,···；對(duì)應(yīng)的編碼分別為：0,10,110,···,111…110(i–1個(gè)1),···。(2)先求熵和平均碼長(zhǎng)，二者的比值即信息傳輸速率(3)編碼效率：h=1=100%3-11解：(1)(2)香農(nóng)編碼如下表所示：符號(hào)xi符號(hào)p(xi)累加Pi-log2p(xi)碼長(zhǎng)ki碼字x10.3201.63200x20.220.322.173010x30.180.542.463100x40.160.722.633101x50.080.883.6241110x60.040.964.61511110（3）費(fèi)諾編成二進(jìn)變長(zhǎng)制碼，符號(hào)xi符號(hào)p(xi)第一次分組第二次分組第三次分組第四次分組碼字碼長(zhǎng)kix10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.04111114（4）huffman編碼符號(hào)xi符號(hào)p(xi)編碼過(guò)程碼字碼長(zhǎng)kix1111100.12010.280.320.220.18100.320.40.28100.60.410002x20.22102x30.18112x40.160103x50.0801104x60.0401114（5）huffman三進(jìn)制符號(hào)xi符號(hào)p(xi)編碼過(guò)程00碼字碼長(zhǎng)kix10.320112100.180.220.320.282100.680.320112100.180.220.320.282100.680.3211x2