信息論試題5(精.選)

1、題號(hào)-一-二二三四五六七總分得分評(píng)卷人一、填空題（共 25分，每空1分）1、 連續(xù)信源的絕對(duì)熵為 。2、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí)，編碼效率最大可以達(dá)到。3、 無(wú)記憶信源是指。4、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí)，碼字長(zhǎng)度是變化的。根據(jù)信源符號(hào)的統(tǒng)計(jì)特性，對(duì)概率大的符號(hào)用 碼，對(duì)概率小的符號(hào)用 碼，這樣平均碼長(zhǎng)就可以降低，從而提高 。5、 為了提高系統(tǒng)的有效性可以采用 ，為了提高系統(tǒng)的可靠性可以采用。6、 八進(jìn)制信源的最小熵為 ，最大熵為 。7、 若連續(xù)信源輸出信號(hào)的平均功率為1瓦特，貝U輸出信號(hào)幅度的概率密度函數(shù)為時(shí)，信源具有最大熵，其值 為。8、 即時(shí)碼是指 。9、

2、無(wú)失真信源編碼定理指出平均碼長(zhǎng)的理論極限值為 ，此時(shí)編碼效率為，編碼后的信息傳輸率為 。10、 一個(gè)事件發(fā)生概率為0.125，則自信息量為 。11、 信源的剩余度主要來(lái)自?xún)蓚€(gè)方面，一是 ，12、 m階馬爾可夫信源的記憶長(zhǎng)度為 ，信源可以有 個(gè)不同的狀態(tài)。13、 同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”所獲得的信息量為比特，當(dāng)?shù)弥懊娉宵c(diǎn)數(shù)之和為8”所獲得的信息量為 比特。14、在下面空格中選擇填入數(shù)學(xué)符號(hào)”或H XYH Y H X |Y H Y H X、（5分）已知信源的概率密度函數(shù)為P(x)a x b b a0 其他計(jì)算信源的相對(duì)熵。三、（10分）一個(gè)平均功率受限的連續(xù)信道

3、，信道帶寬為1MHz信道噪聲為高斯白噪聲。（ 1 ）已知信道上的信號(hào)與噪聲的平均功率比值為20，計(jì)算該信道的信道容量。（2）如果信道上的信號(hào)與噪聲的平均功率比值降為1 0 ，要達(dá)到相同的信道容量，信道帶寬應(yīng)為多少？（ 3）如果信道帶寬降為0.5MHz,要達(dá)到相冋的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)為多少？四、( 16 分)一個(gè)離散無(wú)記憶信源x1 x2 x3 x4 x5x6P(x) 1/8 1/8 1/8 1/8 1/4 1/41) 求 H(X) 和冗余度；2) 編成 Fano 碼，計(jì)算編碼效率；3) 編成 Huffman 碼，計(jì)算編碼效率五、(1 6分)設(shè)一個(gè)離散無(wú)記憶信源的概率空間

4、為_(kāi)0. 5 0. 5J它們通過(guò)干擾信道，信道輸出端的接收符號(hào)集為 Y b,b2 ,已知信道傳輸概率如下圖 所示。0- 8試計(jì)算：(1) 信源X中事件捲和X2分別含有的自信息量；(2分)(2) 收到信息yj(j 1,2)后，獲得的關(guān)于X,的信息量；(2分)(3) 信源X的信息熵；(2分)(4) 條件熵 H Y | x, , H Y | x2 ； (2 分)(5) 共熵H (XY)、信道疑義度H(X |Y)和噪聲熵H(Y|X) ； (6分)(6) 收到消息丫后獲得的關(guān)于信源 X的平均信息量。(2分)word.六、(12分)設(shè)某信道的傳遞矩陣為"111"23厲111P =623

5、111_362(1)若輸入符號(hào) P & P X21/4, P X31/2，求 H(X|Y)和 l(X;Y)。(2) 計(jì)算該信道的信道容量，并說(shuō)明達(dá)到信道容量的最佳輸入概率分布。七、(16分)有一個(gè)二元二階馬爾可夫信源，其信源符號(hào)集為0,1，初始概率大小為12P(0)，P(1) 。條件概率定為33P(0|00)P(1|11)0.8P(1|00)P(0|11)0.2P(0|01)P(0|10)P(1|01)P(1|10)0.5(1) 畫(huà)出該信源的狀態(tài)轉(zhuǎn)移圖。(2) 計(jì)算達(dá)到穩(wěn)定后狀態(tài)的極限概率。(3) 該馬爾可夫信源的極限熵 H 。(4) 計(jì)算達(dá)到穩(wěn)定后符號(hào) 0和1的概率分布。信息論基礎(chǔ)試

6、卷答案一、填空題(共 25分，每空1分)1、 連續(xù)信源的絕對(duì)熵為無(wú)窮大。(或 p x lg p x dx lim Ig )2、 離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)信源編碼時(shí)，編碼效率最大可以達(dá)到_J3、 無(wú)記憶信源是指信源先后發(fā)生的符號(hào)彼此統(tǒng)計(jì)獨(dú)立4、離散無(wú)記憶信源在進(jìn)行無(wú)失真變長(zhǎng)編碼時(shí)，碼字長(zhǎng)度是變化的。根據(jù)信源符號(hào)的統(tǒng)計(jì)特性，對(duì)概率大的符號(hào)用 短 碼，對(duì)概率小的符號(hào)用 長(zhǎng) 碼，這樣平均 碼長(zhǎng)就可以降低，從而提高 有效性(傳輸速率或編碼效率)。5、為了提高系統(tǒng)的有效性可以采用信源編碼，為了提高系統(tǒng)的可靠性可以米用信道編碼6、 八進(jìn)制信源的最小熵為0 ，最大熵為 3bit/符號(hào)7、 若連續(xù)信源輸出

7、信號(hào)的平均功率為1瓦特，則輸出信號(hào)幅度的概率密度函數(shù)為高斯分布（或x： N 0,1或）時(shí)，信源具有最大熵，其值為0.6155hart( 或 1.625bit 或 lg 2 e)。28、即時(shí)碼是指任一碼字都不是其它碼字的前綴9、無(wú)失真信源編碼定理指出平均碼長(zhǎng)的理論極限值為信源熵（或H（S）或），此時(shí)編碼效率為_(kāi)J，編碼后的信息傳輸率為lg r bit/ 碼元 。lg r10、 一個(gè)事件發(fā)生的概率為0.125，則自信息量為3bit/ 符號(hào)。11、 信源的剩余度主要來(lái)自?xún)蓚€(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)概率分布的不均勻性。12、 m階馬爾可夫信源的記憶長(zhǎng)度為m+1 ，信源可以有 q m個(gè)

8、不同的狀態(tài)。13、 同時(shí)扔出一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”所獲得的信息量為Ig36=5.17比特，當(dāng)?shù)弥懊娉宵c(diǎn)數(shù)之和為8”所獲得的信息量為 lg36/5=2.85比特。14. 在下面空格中選擇填入的數(shù)學(xué)符號(hào)“=H(XY) = H(Y)+H(X I Y) W H(Y)+H(X)x b，計(jì)算信源的相對(duì)熵。- a a其他二、 (5分)已知信源的概率密度函數(shù)為p xb 1Hc x p x Ig dx3 分ap xIg b a bit/自由度2分三、(10分)一個(gè)平均功率受限的連續(xù)信道，信道帶寬為1MHz信道噪聲為高斯白噪聲。(1) 已知信道上的信號(hào)與噪聲的平均功率比值為20，計(jì)

9、算該信道的信道容量。(2) 如果信道上的信號(hào)與噪聲的平均功率比值降為10，要達(dá)到相同的信道容量，信道帶寬應(yīng)為多少？(3) 如果信道帶寬降為 0.5MHz,要達(dá)到相同的信道容量，信道上的信號(hào)與噪聲的平均功率比值應(yīng)為多少？1) c 10lg 1 Snr -3 分64.39 10 b/s-1 分2) 10C1.27 1 06 Hz-3 分lg 1 Snr3) Snr 2c w 1 =440-3 分四、(16分)已知信源共7個(gè)符號(hào)消息，其概率空間為SS1S2S3S4S5S3S7Px 0.20.170.20.170.150.100.01試用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼。并計(jì)算信源熵、平均碼長(zhǎng)、編碼后的信

10、息傳輸率、編碼信息率和編碼效率。要求寫(xiě)出詳細(xì)的編碼過(guò)程和計(jì)算過(guò)程。2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.01-0.2”0.26-0.20.2-0.17-0.170.17> 0.150.11 -& 0.3410.40.20.20.170.26 0.2-0.6 -n1.0' 0.34 -n30.40.266 分7LiR2.71 位-2 分i 17H s Rlog2R 2.61bit/符號(hào)2 分i 1R Iog22.71 bit/碼字2 分H

11、slog2 r0.9632 分R0.963 bit/碼元2 分五、（16分）設(shè)一個(gè)離散無(wú)記憶信源的概率空間為X玄丄a?P x 0.50.5Y=b 1,b2，已知信源傳輸概率如下圖它們通過(guò)干擾信道，信道輸出端的接收符號(hào)集為 所示。0.98試計(jì)算：(1)信源X中事件X1和X2分別含有的自信息量；(2分) 收到y(tǒng)j(j =1,2)后，獲得的關(guān)于xi的信息量；(2分)信源X的信息熵；(2分)(4) 條件熵 H(YI xi) , HYI X2) ； (2 分) 共商HXY、信道疑義度 H(XI Y)和噪聲熵HYI X) ； (6分)(6)收到消息Y后獲得的關(guān)于信源X的平均信息量。(2分)P(x,y)Y1

12、丫2X10.44 0.01X20.1 0.4(1)I(x i)=-log0.5=1bit1分I(x 2)=-log0.5=1bit1分(2) I(x 1；y 1)Tg0.831/0.5(或 Tg0.98/0.59)=0.7331I(x1；y 2)Tg0.024/0.5(或 Tg0.02/0.41)=-4.381分分(3)H(x) H(0.5,0.5) 1bit/符號(hào)-2分(4)H(y | X1)=H(0.98,0.02)=0.142bit/符-號(hào)-1分H(y | X2)=H(0.8,0.2)=0.722bit/符號(hào)1 分(5)H(y)=H(0.59,0.41)=0.977H(xy)=H(0.4

13、9,0.01,0.1,0.4)=1.432bit/二符號(hào)-2分H(x | y)=H(xy)-H(y)=0.455bit/符號(hào)2分H(y | x)=H(xy)-H(x)=1.432-1=0.432bit/符號(hào)-2 分 l(x;y)=H(x)+H(y)-H(xy)=0.545bit/符號(hào)2 分六、(12分)設(shè)某信道的傳遞矩陣為(1)若輸入符號(hào)P(x 1)= F(x 2)=1/4 ,Rx3)=1/2，求 H(XI Y 和 I (X Y»。(2)計(jì)算該信道的信道容量，并說(shuō)明達(dá)到信道容量的最佳輸入概率分布。(1)-寫(xiě)出公式2分H(x| Y)=p(yj)log p 為 yj , l(X;Y)=H

14、(X)-H(X I Y)i jp %p X p yi X =1/3，同理：p(y2)=7/24, p(y3)=3/8X 計(jì)算過(guò)程4分p X1p X1 p yjx11 13 3y14 21 8p y1同理：p(x 1 I y2)=2/7 , p(x1 Iys)=1/9p(x2 Iy1)=1/8 , p(x2 I y2)=3/7,p(x2y3)=2/3P(X3 Iy1)=1/2 , p(x3 I y2)=2/7,p(x3ys)=2/3H(X)=-2 x (1/4)log(1/4)-(1/2)log(1/2)=1.5 bit/symbol-最終答案2分H(X I Y)=p(x)p y x log p

15、 x y 1.383bit/symbolX YI(X;Y)=H(X)-H( X I Y)沁 0.117 bit/symbol(2)對(duì)稱(chēng)離散信道C=logS-H(p的行矢量)判斷公式3分=log3-H(1/2,1/3,1/6)0.126bit/symbol- 答案 1 分輸入等概時(shí)，達(dá)到信道容量。-說(shuō)明2分七、(16分)有一個(gè)二兀二階馬爾可夫信源，其信源符號(hào)集為0,1，初始概率大小為P(0)=1/3,P(1)=2/3。條件概率定為P(0 I00)=P(1I 11)=0.8P(1 I00)=P(0I 11)=0.2P(0 I 01)= P(0 I10)=P(1I 01)= P(1I 10)=0.5(1) 畫(huà)出該信源的狀態(tài)轉(zhuǎn)移圖。(2) 計(jì)算達(dá)到穩(wěn)定狀態(tài)的極限概率。(3) 該馬爾可夫信源的極限熵Hko(4) 計(jì)算達(dá)到穩(wěn)定后符號(hào) 0和1的概率分布。解：1:0.5匸110:0.2 (1:0.84分0.80.200p匕.E000.50.50.50.500000.20.80:0.8P(Ei)=0.8P(E i)+0.5P(E 3)P(E2)=0.2P(E i)+0.5P(