信息論基礎(chǔ)及答案

1、信息論基礎(chǔ)試卷答案、填空題(共 25分，每空1分)1、連續(xù)信源的絕對(duì)嫡為無窮大。(或 p x lg p x dx lim 1g )2、離散無記憶信源在進(jìn)行無失真變長(zhǎng)信源編碼時(shí)，編碼效率最大可以達(dá)到1。3、無記憶信源是指信源先后發(fā)生的符號(hào)彼此統(tǒng)計(jì)獨(dú)立。4、離散無記憶信源在進(jìn)行無失真變長(zhǎng)編碼時(shí)，碼字長(zhǎng)度是變化的。根據(jù)信源符號(hào)的統(tǒng)計(jì)特性，對(duì)概率大的符號(hào)用短 碼,對(duì)概率小的符號(hào)用長(zhǎng) 碼,這樣平均碼長(zhǎng)就可以降低，從而提高有效性(傳輸速率或編碼效率)。5、為了提高系統(tǒng)的有效性可以采用一信源編碼，為話系統(tǒng)的可靠性可以采用信道編碼。6、八進(jìn)制信源的最小嫡為0,最大嫡為 3bit/符號(hào)。7、若連續(xù)信源輸出信號(hào)的

2、平均功率為1瓦特，則輸出信號(hào)幅度的概率密度函數(shù)為_21-高斯分布(或X： N 0,1或J=e 2 )時(shí)，信源具有最大嫡，其值為0.6155hart(或 1.625bit 或 11g 2 e)o8、即時(shí)碼是指任一碼字都不是其它碼字的前綴9、無失真信源編碼定理指出平均碼長(zhǎng)的理論極限值為信源嫡(或Hr(S)或H-s-),此lg r時(shí)編碼效率為 編碼后的信息傳輸率為lgr bit/碼元 。10、一個(gè)事件發(fā)生的概率為0.125,則自信息量為 3bit/符號(hào)。11、信源的剩余度主要來自兩個(gè)方面，一是 信源符號(hào)間的相關(guān)性,二 是信源符號(hào)概率分布的不均勻性。12、m階馬爾可夫信源的記憶長(zhǎng)度為m+1,信源可以有

3、qm 個(gè)不同的狀態(tài)。13、同時(shí)扔出一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為 2”所獲得的信息量為 lg36=5.17 比特，當(dāng)?shù)弥娉宵c(diǎn)數(shù)之和為8 ”所獲得的信息量為lg36/5=2.85比特。14.在下面空格中選擇填入的數(shù)學(xué)符號(hào)“=, , 或H(XY)=H(Y)+H(X I Y) W H(Y)+H(X)二、（5分）已知信源的概率密度函數(shù)為b a0 其他,計(jì)算信源的相對(duì)嫡。b1Hc x p x lgdx3 分a p xlg b a bit/自由度2 分三、（10分）一個(gè)平均功率受限的連續(xù)信道，信道帶寬為1MHz,信道噪聲為高斯白噪聲。已知信道上的信號(hào)與噪聲的平均功率比值為20，計(jì)算該信

4、道的信道容量。（2）如果信道上的信號(hào)與噪聲的平均功率比值降為10,要達(dá)到相同的信道容量，信道帶寬應(yīng)為多少？（3）如果信道帶寬降為 0.5MHz ,要達(dá)到相同的信道容量，信道上的信號(hào)與噪聲的平均功 率比值應(yīng)為多少？1) c 10lg 1 SNr -3分4.39 106 b/s-1 分2) 10clg 1SNR1.27 106 Hz-3 分c w3) SNR 21 =4403 分四、（16 分）已知信源共 7個(gè)符號(hào)消息，其概率空間為3536s70.150.100.013132s3s40.20.170.20.17試用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼。并計(jì)算信源嫡、平均碼長(zhǎng)、編碼后的信息傳輸率、編碼信息率

5、和編碼效率。要求寫出詳細(xì)的編碼過程和計(jì)算過程。01 S1 0.2-0.20.261 0.341 0.400 S3 0.2111 S2 0.1720.2- 0.170.20.2110 S4 0.17-0.170.17101 S5 0.15 0.150.17 1001 S60.100.11 -1000 S70.010.26 勺 0.210.2,0.340.260.4 log2 r0.9632.71 位-2 分7H sPilog 2 P 2.61bit/ 符號(hào)2 分i 1R log 2 r 2.71bit/碼字2 分H sR 0.963 bit/碼元2分五、（16分）設(shè)一個(gè)離散無記憶信源的概率空間為

6、Xa1a2P x 0.50.5它們通過干擾信道, 示。信道輸出端的接收符號(hào)集為Y =b1,b2,已知信源傳輸概率如下圖所X1 0.020.98Y10.2XZX2JY20.8試計(jì)算：(1)信源X中事件X1和X2分別含有的自信息量；(2分)(2)收到y(tǒng)j(j=1,2)后，獲得的關(guān)于xi的信息量；(2分)信源X的信息嫡；(2分)(4)條件嫡 H(YI xi), H(YI X2); (2 分)(5)共商H(XY)、信道疑義度 H(X I Y)和噪聲嫡H(YI X); (6分)(6)收到消息Y后獲得的關(guān)于信源 X的平均信息量。(2分)P(x,y)YiY2Xl0.44 0.01為0.1 0.4(1)I(x

7、1)=-log0.5=1bit1 分I(x2)=-log0.5=1bit1 分(2)I(x1；y1)=lg0.831/0.5(或=lg0.98/0.59)=0.7331 分I(x1；y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.381 分(3)H(x)=H(0.5,0.5)=1bit/ 符號(hào)2 分(4)H(y | x1)=H(0.98,0.02)=0.142bit/ 符號(hào)-1 分H(y | x2)=H(0.8,0.2)=0.722bit/ 符號(hào)-1分(5)H(y)=H(0.59,0.41)=0.977H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/

8、 二符號(hào) 2 分H(x | y)=H(xy)-H(y)=0.455bit/ 符號(hào)2分H(y | x)=H(xy)-H(x)=1.432-1=0.432bit/ 符號(hào)-2分(6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符號(hào)2分 六、(12分)設(shè)某信道的傳遞矩陣為(1)若輸入符號(hào) Rx1)=P(x2)=1/4 , P(x3)=1/2 ,求 H(X I Y)和 I(X;Y)。(2)計(jì)算該信道的信道容量，并說明達(dá)到信道容量的最佳輸入概率分布。寫出公式2分p yiH(X | 丫尸p(xyj)log p Xi yj , I(X;Y尸H(X)-H(X | Y)p X p y1 X =

9、1/3 ,同理：p(y2)=7/24 , p(y3)=3/8X計(jì)算過程4分p Xixi yip yi xip yi同理：p(Xi I y2)=2/7 , p(Xi | y3)=i/9p(X2 Iyi)=i/8 ,p(X2Iy2)=3/7 ,p(X2Iy3)=2/3p(X3 |yi)=i/2 ,p(X3|y2)=2/7 ,p(X3|y3)=2/3H(X)=-2 x(i/4)log(i/4)-(i/2)log(i/2)=i.5 bit/symbol -最終答案2分H(X I Y)=p( X)p y X log p X y i.383bit/symbolX YI(X;Y)=H(X)-H(X I Y)

10、=0.ii7 bit/symbol(2)對(duì)稱離散信道C=logS-H(p的行矢量)-判斷公式3分=log3-H(i/2,i/3,i/6) = 0.i26bit/symbol-答案 i 分輸入等概時(shí)，達(dá)到信道容量。-說明2分0,i,初始概率大小為七、(i6分)有一個(gè)二元二階馬爾可夫信源，其信源符號(hào)集為P(0)=i/3 , P(i)=2/3。條件概率定為P(0 I 00)= P(i I ii)=0.8P(i I 00)= P(0 I ii)=0.2P(0 I 0i)= P(0 I i0)= P(i I 0i)= P(i I i0)=0.5(i)畫出該信源的狀態(tài)轉(zhuǎn)移圖。(2)計(jì)算達(dá)到穩(wěn)定狀態(tài)的極限概率。(3)該馬爾可夫信源的極限嫡H”。(4)計(jì)算達(dá)到穩(wěn)定后符號(hào)0和i的概率分布。解：0:0.81:0.84 分ur(2) p Ei. Ei0.80.200000.50.50.50.500000.2 0.8P(Ei)=0.8P(Ei)+0.5P(E3)P(E2)=0.2P(Ei)+0.5P(E3)P(E3)=0.5P(E2)+0.2P(E4)P(E4)=0.5P(E2)+0.8P(E