信息論與編碼試卷及答案

1、、概念簡(jiǎn)答題（每題5分，共40分） 二、1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？平均自信息為：表示信源的平均不確定度，表示平均每個(gè)信源消息所提供的信息量。中（不），一】平均互信息：表示從 丫獲得的關(guān)于每個(gè)X的平均信息量；表示發(fā) X前后丫的平均不確定性減少的量；表示 通信前后整個(gè)系統(tǒng)不確定性減少的量。1（尤 丫）= -之尸（砂,）1空trp*漢西）.簡(jiǎn)述最大離散燧定理。對(duì)于一個(gè)有 m個(gè)符號(hào)的離散信源，其最大燧是多少？最大離散燧定理為：離散無記憶信源，等概率分布時(shí)燧最大。最大婿值為 :- ,.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說明平均互信息與信源的概率分布、信道的

2、傳遞概率間分別是什么關(guān)系？信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。 信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的n型凸函數(shù)，是信道傳遞概率的u型凸函數(shù)。.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、丫、z組成一個(gè)馬爾可夫鏈，且有 *了；）,乂*）-3）。說明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。.寫出香農(nóng)公式，并說明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。香農(nóng)公式為P1 + bit s叫郎） ,它是

3、高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。pP101= 30 dB =1000.、.由或取 得叩 ，則a-5。儂式1 + 1。0）79836施注區(qū)2包Q.解釋無失真變長(zhǎng)信源編碼定理。只要七1匹酬，當(dāng)n足夠長(zhǎng)時(shí)，一定存在一種無失真編碼。.解釋有噪信道編碼定理。答：當(dāng)R0時(shí)率失真函數(shù)的 口由 和口由?答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。11.2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0,所以有、綜合題（每題10分，共60分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為 0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖

4、上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求婿；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為:F旬目尸祟伯）= 0山黑）=02,尸（黑/黑）=。石，求其嫡/答：D信源模型為=黑序白,0. 30. 72 尸）5 廣1,23F儒）= 得L工尸（內(nèi)）log?尸（q） = 0 881加/符號(hào)F（%） =2）產(chǎn)（型*2）由&）+%=12.二元對(duì)稱信道如右圖。H.X） = ZE產(chǎn)（/*（% /%）kg二產(chǎn)4 /%） = 0.5533 加”符號(hào)31Fl。）尸（IL,3.1）若4,4 ,求咫片）和4.2)求該信道的信道容量和最佳輸入分布。答：1?。婚T；號(hào)= 0.0616瓦紐符號(hào)2) c=0 032 符節(jié),最佳輸入概率分布為

5、等概率分布。3.信源空間為與三 % % S6 叼埼0.2 0,1 0 1 005 0.05 0 05 0.054.試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。答：1)二元碼的碼字依序?yàn)椋?0, 11, 010, 011, 1010,1011, 1000, 1001。丁57” 4 =2一6她/符號(hào)如y啊平均碼長(zhǎng)r,編碼效率= 0.972）三元碼的碼字依序?yàn)椋?, 00, 02, 20, 21, 22, 010,011。平均碼長(zhǎng)G乩符q編碼效率%= 09364.設(shè)有一離散信道，其信道傳遞矩陣為F6)= :尸)=!?&)=?，并設(shè)i,試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則

6、，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。答：D最小似然譯碼準(zhǔn)則下，有11242）最大錯(cuò)誤概率準(zhǔn)則下，有100001110100010000100010000100015.已知一（8, 5）線性分組碼的生成矩陣為00001111求：1）輸入為全00011和10100時(shí)該碼的碼字；2）最小碼距。答：1）輸入為00011時(shí)，碼字為00011110;輸入為10100時(shí)，碼字為10100101。2).設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s ,在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜NO=5X 10 6mw/Hz。試求：. （1）無差錯(cuò)傳輸需要的最小輸入功率是多少？. （2）此時(shí)輸入信號(hào)的最大連續(xù)燧是多少？寫

7、出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。衣4已=印1儂式1十.答：1）無錯(cuò)傳輸時(shí)，有5 6x10* =4x1031o1(H-ZT10即.-11則一12.2）在片如.,-5i自由度13對(duì)應(yīng)的輸入概率密度函數(shù)為 -_P（X）= ,EV0.206X10-32）最大錯(cuò)誤概率準(zhǔn)則下，有5.答：1）輸入為00011時(shí)，碼字為00011110;輸入為10100時(shí)，碼字為101001012）-1氏4C = /1屈式 1 + 6.答：1）無錯(cuò)傳輸時(shí)，有M印P HYPERLINK l bookmark71 o Current Document 56x103 = 4x10%助（1 +口4即則.,2）在,-0 032S.川發(fā)

8、式2還好=一54囪自由度戶U.U溶例時(shí)，最大婿pM對(duì)應(yīng)的輸入概率密度函數(shù)為e tJjos56-T1V0206xl0-3三、(59居住在某地區(qū)的女孩中有25%是大學(xué)生.在女大學(xué)生中有75%是身高1.6米以上的, 而女孩中身高16米以上的占總數(shù)的一半.仔：如我們得知“身高1.6米以上的某生.的消息，問獲得多少信息量？解：設(shè)A衣示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件,則P(A)-0. 25 p(B)-0.5 p(BlA)-0. 75(2分)故 p(A B)=p(AB)/p(B)=p(A)p(B A)/p(B)=0. 75*0. 25/0. 5=0. 37512分)I (A B)=-

9、log0. 375=1. 42bit (1 分)西、(59證明：平均互值息量同信息為之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明：/(X；y)=3?Krj)log/4) TOC o 1-5 h z VVp(x,)=-ZEgg (：)一 ZZ (EE)sgk， 分) HYPERLINK l bookmark106 o Current Document TTL十J= /(x)_/(x|r)同理 HYPERLINK l bookmark111 o Current Document /(x；r)=/(r)-/(r|x)0分)則/(r|x)=/(r)-/(x：y)因?yàn)?(xr)=/(x)+/

10、(rx) (i 分)故/(xr) = (x)+ /(r)-/(x；r)(i分)/(x；r)=/(x)+/(r)-/(xr)、（18）.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為。3,門色出現(xiàn)的概率為0.7.給出這個(gè)只仃兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型. 假設(shè)圖上黑白消息出現(xiàn)前后沒仃關(guān)聯(lián)，求嫡（X）；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為 尸白/白）9產(chǎn)的/黑） 0.2.尸（黑/黑） 0.8求其病式X）.3）分別求上述兩種信源的冗余度，比較它們的大小并說明其物理意義.解：1）信源模型為卜】=黑4/白（1分）0.30.72HQC） - 2尸1密尸）= 0.881加7符號(hào)2）由

11、題意可知該信源為一階馬爾科夫信源.由產(chǎn)（4）=尸（%）尸（%/叼），L2尸0】）”（31（2分）（2分）（4分）得極限狀態(tài)概率產(chǎn)間=1產(chǎn)（黑）=;12分）耳式=-產(chǎn))產(chǎn)(%/)10g2產(chǎn)(以/=0.5533期符號(hào)G分)i-1 /-I3)（1分）（1分）%八說明：當(dāng)信源的符號(hào)之間有依賴時(shí)，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號(hào)依賴關(guān)系的強(qiáng)弱，兀余度越大，依賴關(guān)系就越大。（2分）六、（180 .信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫XX3X5/6必F(X)j| 0.2 0.19 0.18 0.17 0.15 0.1 0.01及碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過程）信源

12、消息 符號(hào)勺符號(hào)概 率（%）累加概 率P,.-logp()碼字長(zhǎng) 度L碼字0.2002.323000出0.190.22.393001%0.180.392.473011%0.170.572.56310050.150.742.74310160.100.893.3241110(1-0.010.996.6471111110一工= (4)/, =3.14= 0.8310. 200. 190. 180. 170. 150. 200. 190. 180. 170. 150. 26/ 0.20/ 0. 190. 18多 0. 170. 10r/ 011上0. 01_7L=2.72碼元/符號(hào)=外。L 2.72比特/符號(hào)信源符號(hào)勺概率P（g）碼字W,碼長(zhǎng)L勺().201020.19112。30.180003勺0.170013%().15()1030.1001104a.0.01011140 0 0 1 1 1九、（189 設(shè)一線性分組碼具有一致監(jiān)督矩陣 =oiiooi10 10 11.1）求此分組碼n=2k=。共有多少碼字？2）求此分組碼的生成矩陣G.3）寫出此分組碼的所有碼字.4）若按收到碼字（101001）,求出伴隨式并給出翻譯結(jié)果.解：1） nWk=3,共有8個(gè)碼字.（3分）2）設(shè)碼字W = （CCGGC）由L=o/得（3分）c2ccQ = o c4ec3c0 = 0 a =0令