《信息論編碼》模擬試題二及參考答案

1、優(yōu)秀學(xué)習(xí)資料歡迎下載一、概念簡答題（每題5 分，共 40 分）1. 什么是平均自信息量與平均互信息，比較一下這兩個概念的異同？2. 簡述最大離散熵定理。對于一個有 m個符號的離散信源，其最大熵是多少？3. 解釋信息傳輸率、 信道容量、最佳輸入分布的概念， 說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4. 對于一個一般的通信系統(tǒng)， 試給出其系統(tǒng)模型框圖， 并結(jié)合此圖， 解釋數(shù)據(jù)處理定理。5. 寫出香農(nóng)公式，并說明其物理意義。當(dāng)信道帶寬為 5000Hz，信噪比為 30dB時求信道容量。6. 解釋無失真變長信源編碼定理。7. 解釋有噪信道編碼定理。8. 什么是保真度準(zhǔn)則？對二元信

2、源，其失真矩陣，求 a>0 時率失真函數(shù)的和？二、綜合題（每題10 分，共 60 分）1. 黑白氣象傳真圖的消息只有黑色和白色兩種，求：1） 黑色出現(xiàn)的概率為0.3 ，白色出現(xiàn)的概率為0.7 。給出這個只有兩個符號的信源 X 的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；2） 假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，求其熵，；2. 二元對稱信道如圖。1）若，求和；2）求該信道的信道容量和最佳輸入分布。優(yōu)秀學(xué)習(xí)資料歡迎下載3. 信源空間為試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長和編碼效率。4. 設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則

3、確定譯碼規(guī)則， 并計(jì)算相應(yīng)的平均錯誤概率。5. 已知一（ 8，5）線性分組碼的生成矩陣為。求： 1）輸入為全 00011 和 10100 時該碼的碼字； 2）最小碼距。6. 設(shè)某一信號的信息傳輸率為 5.6kbit/s ，在帶寬為 4kHz 的高斯信道中傳輸，噪聲功率譜 NO=5×10 6mw/Hz。試求：（ 1）無差錯傳輸需要的最小輸入功率是多少？（ 2）此時輸入信號的最大連續(xù)熵是多少？寫出對應(yīng)的輸入概率密度函數(shù)的形式。模擬試題二答案一、概念簡答題（每題5 分，共 40 分）1. 答：平均自信息為表示信源的平均不確定度，也表示平均每個信源消息所提供的信息量。平均互信息表示從 Y 獲

4、得的關(guān)于每個 X 的平均信息量，也表示發(fā) X 前后 Y 的平均不確定性減少的量，還表示通信前后整個系統(tǒng)不確定性減少的量。2. 答：最大離散熵定理為：離散無記憶信源，等概率分布時熵最大。最大熵值為。優(yōu)秀學(xué)習(xí)資料歡迎下載3. 答：信息傳輸率 R 指信道中平均每個符號所能傳送的信息量。 信道容量是一個信道所能達(dá)到的最大信息傳輸率。 信息傳輸率達(dá)到信道容量時所對應(yīng)的輸入概率分布稱為最佳輸入概率分布。平均互信息是信源概率分布的型凸函數(shù)，是信道傳遞概率的U 型凸函數(shù)。4. 答：通信系統(tǒng)模型如下：數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z 組成一個馬爾可夫鏈，且有，。說明經(jīng)數(shù)據(jù)處理后，一般只會增加信息的損

5、失。5. 答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時間內(nèi)的信道容量，其值取決于信噪比和帶寬。由得，則6. 答：只要，當(dāng) N足夠長時，一定存在一種無失真編碼。7. 答：當(dāng) RC 時，只要碼長足夠長，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯誤概率無窮小。8. 答： 1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。2）因?yàn)槭д婢仃囍忻啃卸加幸粋€0，所以有，而。二、綜合題（每題10 分，共 60 分）1. 答： 1）信源模型為優(yōu)秀學(xué)習(xí)資料歡迎下載2）由得則2. 答： 1）2），最佳輸入概率分布為等概率分布。3. 答：1）二元碼的碼字依序?yàn)椋?10， 11，010，011， 1010，1011，1000，1001。平均碼長2）三元碼的碼字依序?yàn)椋海幋a效率1，00，02， 20，21，22，010， 011。平均碼長，編碼效率4. 答： 1）最小似然譯碼準(zhǔn)則下，有，2）最大錯誤概率準(zhǔn)則下，有，5. 答：1）輸入為 00011 時，碼字