(信息論)第二、三章習(xí)題參考答案

第二章習(xí)題參考答案2-1解：同時擲兩個正常的骰子，這兩個事件是相互獨立的，所以兩骰子面朝上點數(shù)的狀態(tài)共有6×6＝36種，其中任一狀態(tài)的分布都是等概的，出現(xiàn)的概率為1/36。(1)設(shè)“3和5同時出現(xiàn)”為事件A，則A的發(fā)生有兩種情況：甲3乙5，甲5乙3。因此事件A發(fā)生的概率為p(A)=(1/36)*2=1/18故事件A的自信息量為I(A)=－log2p(A)=log218=4.17bit(2)設(shè)“兩個1同時出現(xiàn)”為事件B，則B的發(fā)生只有一種情況：甲1乙1。因此事件B發(fā)生的概率為p(B)=1/36故事件B的自信息量為I(B)=－log2p(B)=log236=5.17bit(3)兩個點數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566因為各種組合無序，所以共有21種組合：其中11，22，33，44，55，66的概率是其他15個組合的概率是(4)參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布：(5)“兩個點數(shù)中至少有一個是1”的組合數(shù)共有11種。2-2解：(1)紅色球x1和白色球x2的概率分布為(2)紅色球x1和白色球x2的概率分布為(3)四種球的概率分布為，2-5解：骰子一共有六面，某一骰子扔得某一點數(shù)面朝上的概率是相等的，均為1/6。兩骰子面朝上點數(shù)的狀態(tài)共有36種，其中任一狀態(tài)出現(xiàn)都是等概率的，出現(xiàn)概率為1/36。(1)設(shè)“面朝上點數(shù)之和為3”是事件A，點數(shù)之和為3的有兩種(1+2，2+1)，故有I(A)=－log2p(A)=4.17比特(2)設(shè)“面朝上點數(shù)之和為7”是事件B，點數(shù)之和為7的有6種(1+6，2+5，3+4，4+3，5+2，6+1)，故有I(A)=－log2p(B)=2.58比特2-9解：設(shè)第一次摸出的是黑球的事件為x1，第一次摸出的是白球的事件為x2，第二次摸出的是黑球的事件為y1，第二次摸出的是白球的事件為y2。(1)若摸出的球為黑球，則若摸出的球為白球，則∴(2)若第二次實驗摸出的是黑球，則若第二次實驗摸出的是白球，則∴(3)若第二次實驗摸出的是黑球，則若第二次實驗摸出的是白球，則∴(4)又，∴2-14解：設(shè)x0—0，x1—1，y0—0，y1—1，則由已知得，，，∴，由全概率公式得，由貝葉斯公式得由得(2)2-20解：(1)(2)(3)因為是均勻分布，[a,b]不同，導(dǎo)致概率密度函數(shù)不同，所以信源熵不同。2-27解：(1)由符號條件概率得如下狀態(tài)轉(zhuǎn)移圖01010011100/0.50/0.81/0.21/0.51/0.81/0.20/0.51/0.5由狀態(tài)轉(zhuǎn)移圖得狀態(tài)轉(zhuǎn)移概率矩陣由得2-33解：(1)其中(2)當(dāng)p=0或p=1時H(X)=0。必然事件和完全不可能事件的熵均為0，不包含任何信息。第三章習(xí)題參考答案3-1解：(1)判斷唯一可譯碼的方法：①先用克勞夫特不等式判定是否滿足該不等式；②若滿足再利用碼樹，看碼字是否都位于葉子結(jié)點上。如果在葉節(jié)點上則一定是唯一可譯碼，如果不在葉節(jié)點上則只能用唯一可譯碼的定義來判斷是不是。其中C1,C2,C3,C6都是唯一可譯碼。對于碼C2和C4都滿足craft不等式。但是不滿足碼樹的條件。就只能舉例來判斷。對C5：，不滿足該不等式。所以C5不是唯一可譯碼。(2)判斷即時碼方法：定義：即時碼接收端收到一個完整的碼字后，就能立即譯碼。特點：碼集任何一個碼不能是其他碼的前綴，即時碼必定是唯一可譯碼,唯一可譯碼不一定是即時碼。其中C1,C3,C6都是即時碼。對C2：“0”是“01”的前綴，……，所以C2不是即時碼。由平均碼長得3-7解：(1)信源消息的概率分布呈等比級數(shù)，按香農(nóng)編碼方法，其碼長集合為自然數(shù)數(shù)列1,2,3,···,i,···；對應(yīng)的編碼分別為：0,10,110,···,111…110(i–1個1),···。(2)先求熵和平均碼長，二者的比值即信息傳輸速率(3)編碼效率：h=1=100%3-11解：(1)(2)香農(nóng)編碼如下表所示：符號xi符號p(xi)累加Pi-log2p(xi)碼長ki碼字x10.3201.63200x20.220.322.173010x30.180.542.463100x40.160.722.633101x50.080.883.6241110x60.040.964.61511110（3）費諾編成二進變長制碼，符號xi符號p(xi)第一次分組第二次分組第三次分組第四次分組碼字碼長kix10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.04111114（4）huffman編碼符號xi符號p(xi)編碼過程碼字碼長kix1111100.12010.280.320.220.18100.320.40.28100.60.410002x20.22102x30.18112x40.160103x50.0801104x60.0401114（5）huffman三進制符號xi符號p(xi)編碼過程00碼字碼長kix10.320112100.180.220.320.282100.680.320112100.180.220.320.282100.680.3211x2