信息論第二章答案

1、2.3 同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：(1) “3和5同時出現(xiàn)”這事件的自信息；(2) “兩個1同時出現(xiàn)”這事件的自信息；(3) 兩個點數(shù)的各種組合（無序）對的熵和平均信息量；(4) 兩個點數(shù)之和（即2, 3, , 12構(gòu)成的子集）的熵；(5) 兩個點數(shù)中至少有一個是1的自信息量。解：(1)(2)(3)兩個點數(shù)的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21種組合：其中11，22，33，44，55，66的概率是其他15個組合的概率是(4)參考上面的兩

2、個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下：(5)2-4 2.6 擲兩顆骰子，當(dāng)其向上的面的小圓點之和是3時，該消息包含的信息量是多少？當(dāng)小圓點之和是7時，該消息所包含的信息量又是多少？解：1）因圓點之和為3的概率該消息自信息量2）因圓點之和為7的概率該消息自信息量2.7 設(shè)有一離散無記憶信源，其概率空間為 （1）求每個符號的自信息量 （2）信源發(fā)出一消息符號序列為202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求該序列的自信息量和平均每個符號攜帶的信息量解：同理可以求得因為信源無記憶，所以此消息序列的信息量就等于該

3、序列中各個符號的信息量之和就有：平均每個符號攜帶的信息量為bit/符號2-9 “” 用三個脈沖 “”用一個脈沖(1) I()= I()(2) H= 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2.11 有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。（1）如果僅對顏色感興趣，則計算平均不確定度（2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度（3）如果顏色已知時，

4、則計算條件熵解：令X表示指針指向某一數(shù)字，則X=1,2,.,38 Y表示指針指向某一種顏色，則Y=l綠色，紅色，黑色 Y是X的函數(shù)，由題意可知（1）bit/符號（2）bit/符號（3）bit/符號2.12 兩個實驗X和Y，X=x1 x2 x3,Y=y1 y2 y3,l聯(lián)合概率為（1） 如果有人告訴你X和Y的實驗結(jié)果，你得到的平均信息量是多少？（2） 如果有人告訴你Y的實驗結(jié)果，你得到的平均信息量是多少？（3） 在已知Y實驗結(jié)果的情況下，告訴你X的實驗結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率為 YXy1y2y3 x17/241/240 x21/241/41/24 x301/247/24 =2

5、.3bit/符號X概率分布Xx1x2x3P8/248/248/24bit/符號 Y概率分布是 =0.72bit/符號Yy1y2y3P8/248/248/242.13 有兩個二元隨機變量X和Y，它們的聯(lián)合概率為Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定義另一隨機變量Z = XY（一般乘積），試計算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15P(j/i)= 192.20 給定語音信號樣值X的概率密度為,求