(完整版)信息論與編碼試卷及答案

1、一、概念簡(jiǎn)答題（每題概念簡(jiǎn)答題（每題 5 5 分，共分，共 4040 分）分）1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？平均自信息為：表示信源的平均不確定度，表示平均每個(gè)信源消息所提供的信息量。平均互信息：表示從 Y 獲得的關(guān)于每個(gè) X 的平均信息量；表示發(fā) X 前后 Y 的平均不確定性減少的量；表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有 m 個(gè)符號(hào)的離散信源，其最大熵是多少?最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。最大熵值為3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么

2、關(guān)系？信息傳輸率 R 指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的 Q 型凸函數(shù)，是信道傳遞概率的 U 型凸函數(shù)。4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出 X、Y、Z 組成一個(gè)馬爾可夫鏈，且有。說明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。5.寫出香農(nóng)公式，并說明其物理意義。當(dāng)信道帶寬為 5000Hz，信噪比為 30dB 時(shí)求信道容量。香農(nóng)公式為由得，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，

3、其值取決于信噪比和帶寬。，則6._ 解釋無失真變長(zhǎng)信源編碼定理。,當(dāng) N 足夠長(zhǎng)時(shí)，一定存在一種無失真編碼。7.解釋有噪信道編碼定理。答：當(dāng) R0 時(shí)率失真函數(shù)的?答.1）保真度準(zhǔn)則為.平均失真度不大干允許的失直度。2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè) 0,所以有，而二、綜合題（每題二、綜合題（每題 1010 分，共分，共 6060 分）分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為 0.3，白色出現(xiàn)的概率為 0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源 X 的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，求其熵答：1）信源模型為2/

4、31/32/3心=0戸=02.二元對(duì)稱信道如右圖。1）若，求2）求該信道的信道容量和最佳輸入分布。，最佳輸入概率分布為等概率分布。答：1)2)3.信源空間為試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。答：1）二元碼的碼字依序?yàn)椋?0，11，010，011，1010，1011，1000，1001。，編碼效率平均碼長(zhǎng)2）三元碼的碼字依序?yàn)椋?，00，02，20，21，22，010，011。平均碼長(zhǎng)，編碼效率4.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。，試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則答：1）最小似然譯碼準(zhǔn)則下，有2）最大錯(cuò)誤概率準(zhǔn)則下，有

5、4.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)答：1）輸入為 00011 時(shí)，碼字為 00011110；輸入為 10100 時(shí)，碼字為 10100101。5.已知一（8，5）線性分組碼的生成矩陣為求：1）輸入為全 00011 和 10100 時(shí)該碼的碼字；2）最小碼距。2）6.設(shè)某一信號(hào)的信息傳輸率為 5.6kbit/s,在帶寬為 4kHz 的高斯信道中傳輸，噪聲功率譜N0=5X106mw/Hz。試求：（1）無差錯(cuò)傳輸需要的最小輸入功率是多少？（2）此時(shí)輸入信號(hào)的最大連續(xù)熵是多少？寫出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。7.答：1）無錯(cuò)傳輸時(shí)，有2）在時(shí)，最大熵對(duì)應(yīng)的輸入概率密度函數(shù)為2）最大錯(cuò)誤概率準(zhǔn)

6、則下，有6.答：1）無錯(cuò)傳輸時(shí)，有2）在時(shí)，最大熵對(duì)應(yīng)的輸入概率密度函數(shù)為/(x；r)=ii(x)+/(r)-“(xY)(1分)(59古住在某地區(qū)的女孩中有 25%是大學(xué)牛.在女大學(xué)牛中有 75%是身高 1.6米以卜的.而女孩中身高 1.6 米以上的占總數(shù)的一半。假如我們得知身高 L6米以卜的杲女孩是大學(xué)牛”附消息.問獲得名少信 M?解：設(shè) A 表示“大學(xué)生”這爭(zhēng)件，B 衣示欄身高 160 以上”這坯件，則P(A)=O.25p(B=0.5oLB|A)=0.75(2 分故 p(AB=p(AB)/p(B)=p(A)p(B|A)/p(B)=O.75*0.25/0.5=0.375(2 分)I(AIBi

7、-logO.375=1.42bit(1 分)卩1h(59III：!)：平均互信息量同信息爛之間滿足I(X;Y)=H(X)+H(Y)-H(XY)證明:/()=目妁，皿弊一牙石(w)log嗆)-召石M)log嗆刀)=(X)一沖)同理(1分)/(r|x)=/(r)-/(x-y)因?yàn)楣蔎J(XY)=(x)十/(r)-/(x；r)(2 分)(AT)=(x)+/(yX)(1分/L.（18，）黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為 0.3,白色出現(xiàn)的概率為 0.7。紿出這個(gè)只有兩個(gè)符號(hào)的信源 X 的數(shù)學(xué)模臥假設(shè)圖上黑白消息出現(xiàn)和后沒自關(guān)聯(lián)，求爛（X）：2）假設(shè)黑白消息岀現(xiàn)前后有關(guān)聯(lián)

8、.其依賴關(guān)系為戸白/白）畸/黑）72.R黑/黑）=0.8,衲爛“）。3）分別求匕述兩神信源的冗余度.比較它們的大小并說明其物理意.義.解：1）信源模型為巧二白（1 分）0.30.7H（曲八P（aJlog2P0）=O881泅符號(hào)（2 分）i-12）由題意可知該信源為一階馬爾科夫信源.由P（黑/白） =0（2分）（4分）得極限狀態(tài)撫率P）冷P（黑）氣禺(X)=-log2P(勺仏)=0.5533bit/符號(hào)j-1-1：3 分）3)心一心卄人 10 影（1 分）（1分）2丫說明：當(dāng)信源的符號(hào)之間有依賴時(shí).信源輸出消息的不確定性減弱.而信源冗余度正是反映信源符號(hào)依賴關(guān)系的強(qiáng)弱，冗余反越大，依賴關(guān)系就越大

9、。（2分）六.（180信源空間為曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過程）.信源消息符號(hào)坷符號(hào)概率累加概率 P,P,logp(q)碼字長(zhǎng)度 k k碼字0.2002.323000“20.190.22.3930010.180.392.4730110.170.572.5631000.150.742.743101“60.100.893.3241110a70.010.996.6471111110Z=3.141-1刁七“A40.20.190.180.170.15人6大70.10.01,試分別構(gòu)造二元香農(nóng)碼和二元霍夫2.613J4=0.831xP(X)1）求此分組碼共有多少碼字？2）求此分組碼的生成矩

10、陣G：3）寫岀此分組碼的所有碼字。4）若接收到碼字C101001）,求出伴隨式并給出翻譯結(jié)果 n解：1）n=6Jc=3,共有8個(gè)碼字。（3分）2）設(shè)碼字亠GGGGg）由得qqc=0c4ec5sc0二oc5c3二00-200.200.260.350.190.190.180.170.150.103,0.39O610.26350.20牛0.19丄0.260.01AJ7信源符號(hào)你概率（）碼字碼長(zhǎng) h h0.20102a20.191120.1800030.1700130.150103他uu01104a.0.0101114（3分）0.180.11J0.170.150.200.190.180.39住羋-出“96L2.72比特/符號(hào)二工P（a）l嚴(yán)2.72000九、（18）設(shè)一線性分組碼具有一致監(jiān)督矩陣=011101111001011令監(jiān)督位為（GGCJ,則有c2=c5ec3c;=c.c4Co=c4ec.10011o010