《信息論編碼》模擬試習(xí)題二及參考答案

1、一、概念簡(jiǎn)答題（每題5分，共40分）1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？2.簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是多少？3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說(shuō)明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。5.寫(xiě)出香農(nóng)公式，并說(shuō)明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。6.解釋無(wú)失真變長(zhǎng)信源編碼定理。7.解釋有噪信道編碼定理。8.什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求a0時(shí)率失真函數(shù)的和二、綜合題（每題10

2、分，共60分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1） 黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；2） 假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系為：，求其熵 ；2.二元對(duì)稱(chēng)信道如圖。1）若，求和； 2）求該信道的信道容量和最佳輸入分布。3.信源空間為試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。4.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。5.已知一（8，5）線(xiàn)性分組碼的生成矩陣為。求：1）輸入為全00011和

3、10100時(shí)該碼的碼字；2）最小碼距。6.設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s，在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜NO=5106mw/Hz。試求：（1）無(wú)差錯(cuò)傳輸需要的最小輸入功率是多少（2）此時(shí)輸入信號(hào)的最大連續(xù)熵是多少寫(xiě)出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。模擬試題二答案一、概念簡(jiǎn)答題（每題5分，共40分）1.答：平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2.答：最大離散熵定理為：離散無(wú)記憶信源，等概率分布時(shí)熵最大。最大熵

4、值為。3.答：信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱(chēng)為最佳輸入概率分布。平均互信息是信源概率分布的型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。4.答：通信系統(tǒng)模型如下：數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個(gè)馬爾可夫鏈，且有，。說(shuō)明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。5.答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。由得，則6.答：只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。7.答：當(dāng)RC時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。8.答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有，而。二、綜合題（每題10分，共60分）1.答：1）信源模型為2）由得則2.答：1） 2），最佳輸入概率分布為等概率分布。3.答：1）二元碼的碼字依序?yàn)椋?0，11，010，011，1010，1011，1000，1001。平均碼長(zhǎng)，編碼效率2）三元碼的碼字依序?yàn)椋?，00，02，20，21，22，010，011。平均碼長(zhǎng)，編碼效率4.答：1）最小似然譯碼準(zhǔn)則下，有，2）最大錯(cuò)誤概率準(zhǔn)則下，有，5.答：