信息論與編碼期末考試題全套

1、（一）一、判斷題共 10 小題，滿(mǎn)分 20 分.1. 當(dāng)隨機(jī)變量和相互獨(dú)立時(shí)，條件熵等于信源熵. （ ）2. 由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集. （ ）3.一般情況下，用變長(zhǎng)編碼得到的平均碼長(zhǎng)比定長(zhǎng)編碼大得多. （ ）4. 只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信. （ ）5. 各碼字的長(zhǎng)度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件. （）6. 連續(xù)信源和離散信源的熵都具有非負(fù)性. （ ）7. 信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確 定性就越小，獲得的信

2、息量就越小.8. 漢明碼是一種線(xiàn)性分組碼.（ ）9. 率失真函數(shù)的最小值是.（ ）10.必然事件和不可能事件的自信息量都是.（ ）二、填空題共 6 小題，滿(mǎn)分 20 分.1、碼的檢、糾錯(cuò)能力取決于.2、信源編碼的目的是；信道編碼的目的是.3、把信息組原封不動(dòng)地搬到碼字前位的碼就叫做  .4、香農(nóng)信息論中的三大極限定理是、.5、設(shè)信道的輸入及輸出隨機(jī)序列分別為和，則成立的 條件 .6、對(duì)于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是.7、某二元信源，其失真矩陣，則該信源的= .三、本題共 4 小題，滿(mǎn)分 50 分.1、某信源發(fā)送端有2種

3、符號(hào),；接收端有3種符號(hào)，轉(zhuǎn)移概率矩陣為.（1） 計(jì)算接收端的平均不確定度；（2） 計(jì)算由于噪聲產(chǎn)生的不確定度；（3） 計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右圖所示， 信源的符號(hào)集為.（1）求信源平穩(wěn)后的概率分布； （2）求此信源的熵； （3）近似地認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為平 穩(wěn)分布.求近似信源的熵并及進(jìn)行比較. 4、設(shè)二元線(xiàn)性分組碼的生成矩陣為.（1）給出該碼的一致校驗(yàn)矩陣，寫(xiě)出所有的陪集首和及之相對(duì)應(yīng)的伴隨式； （2）若接收矢量，試計(jì)算出其對(duì)應(yīng)的伴隨式并按照最小距離譯碼準(zhǔn)則 試著對(duì)其譯碼.（二）一、填空題（共15分，每空1分）1、信源編碼的主要目的

4、是，信道編碼的主要目的是。2、信源的剩余度主要來(lái)自?xún)蓚€(gè)方面，一是，二是。3、三進(jìn)制信源的最小熵為，最大熵為。4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為 。5、當(dāng)時(shí)，信源及信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為和。7、根據(jù)是否允許失真，信源編碼可分為和 。8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）H(X)+H(X/Y)H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y) 0, H(Y/X)0,I(X

5、;Y) H(X)。三、（16分）已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）（2）計(jì)算平均碼長(zhǎng);（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）四、（10分）某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（5分）五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。(1) 畫(huà)出狀態(tài)轉(zhuǎn)移圖。(4分)(2) 計(jì)算穩(wěn)態(tài)概率。(4分)(3) 計(jì)算馬爾可夫信源的極限熵。(4分)(4) 計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。(4分)六、設(shè)

6、有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。七、(16分)設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算(1) (2) (3) (4) ;八、(10分)設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。(1) 計(jì)算信源中事件包含的自信息量；(2) 計(jì)算信源的信息熵；(3) 計(jì)算信道疑義度；(4) 計(jì)算噪聲熵；(5) 計(jì)算收到消息后獲得的平均互信息量。信息論基礎(chǔ)2參考答案一、填空題（共15分，每空1分）1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源

7、的剩余度主要來(lái)自?xún)蓚€(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源及信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H

8、(X)+H(X/Y)=H(Y)+H(X)。（2）（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。三、（16分）已知信源（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）（2）計(jì)算平均碼長(zhǎng);（4分）（3）計(jì)算編碼信息率;（2分）（4）計(jì)算編碼后信息傳輸率;（2分）（5）計(jì)算編碼效率。（2分）（1） 編碼結(jié)果為：（2）（3）（4）其中，（5）評(píng)分：其他正確的編碼方案：1，要求為即時(shí)碼 2，平均碼長(zhǎng)最短四、（10分）某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1

9、/2、1/8。如果符號(hào)的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（5分）（1）五、(16分)一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為(1) 畫(huà)出狀態(tài)轉(zhuǎn)移圖。(4分)(2) 計(jì)算穩(wěn)態(tài)概率。(4分)(3) 計(jì)算馬爾可夫信源的極限熵。(4分)(4) 計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。(4分)解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩(wěn)態(tài)下：對(duì)應(yīng)的剩余度為六、設(shè)有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。解：信道傳輸矩陣如下可以看出這是一個(gè)對(duì)稱(chēng)信道，L=4,那么信道容量為七、(16分)設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。定義另一個(gè)二元隨機(jī)變量Z=XY

10、(一般乘積)。試計(jì)算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3)(4) 八、(10分)設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。(6) 計(jì)算信源中事件包含的自信息量；(7) 計(jì)算信源的信息熵；(8) 計(jì)算信道疑義度；(9) 計(jì)算噪聲熵；(10) 計(jì)算收到消息后獲得的平均互信息量。解：(1) (2) (3)轉(zhuǎn)移概率：x yy1y2x15/61/6x23/41/4聯(lián)合分布：x yy1y2x12/312/154/5x13/201/201/549/6011/601/5(5)(三)一、 選擇題（共10分，每小題2

11、分）1、有一離散無(wú)記憶信源X，其概率空間為，則其無(wú)記憶二次擴(kuò)展信源的熵H(X2)=( )A、1.75比特/符號(hào)； B、3.5比特/符號(hào)；C、9比特/符號(hào)； D、18比特/符號(hào)。2、 信道轉(zhuǎn)移矩陣為其中兩兩不相等，則該信道為3、 A、一一對(duì)應(yīng)的無(wú)噪信道B、具有并歸性能的無(wú)噪信道C、對(duì)稱(chēng)信道D、具有擴(kuò)展性能的無(wú)噪信道3、設(shè)信道容量為C，下列說(shuō)法正確的是：（ ）A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、條件熵一定不大于C4、在串聯(lián)系統(tǒng)中，有效信息量的值（ ）A、趨于變大B、趨于變小C、不變D、不確定 5、若BSC信道的差錯(cuò)率為P，則其信道容量為：（ ）A、 B、 C

12、、 D、二、 填空題（20分，每空2分）1、 (7,4)線(xiàn)性分組碼中，接受端收到分組R的位數(shù)為_(kāi)，伴隨式S可能的值有_種,差錯(cuò)圖案e的長(zhǎng)度為，系統(tǒng)生成矩陣Gs為_(kāi)行的矩陣，系統(tǒng)校驗(yàn)矩陣Hs為_(kāi)行的矩陣，Gs和Hs滿(mǎn)足的關(guān)系式是。2、 香農(nóng)編碼中,概率為的信源符號(hào)xi對(duì)應(yīng)的碼字Ci的長(zhǎng)度Ki應(yīng)滿(mǎn)足不等式。3、設(shè)有一個(gè)信道，其信道矩陣為 ，則它是信道（填對(duì)稱(chēng)，準(zhǔn)對(duì)稱(chēng)），其信道容量是比特/信道符號(hào)。三、（20分），通過(guò)一個(gè)干擾信道，接受符號(hào)集為，信道轉(zhuǎn)移矩陣為試求（1）H(X),H(Y),H(XY);（7分）(2) H(Y|X),H(X|Y);（5分） (3) I(Y;X)。（3分）(4)該信道的容

13、量C（3分）（5）當(dāng)平均互信息量達(dá)到信道容量時(shí)，接收端Y的熵H（Y）。（2分） 計(jì)算結(jié)果保留小數(shù)點(diǎn)后2位,單位為比特/符號(hào)。4、 （9分）簡(jiǎn)述平均互信息量的物理意義，并寫(xiě)出應(yīng)公式。六、（10分）設(shè)有離散無(wú)記憶信源，其概率分布如下：對(duì)其進(jìn)行費(fèi)諾編碼，寫(xiě)出編碼過(guò)程，求出信源熵、平均碼長(zhǎng)和編碼效率。七、信道編碼（21分）現(xiàn)有生成矩陣1. 求對(duì)應(yīng)的系統(tǒng)校驗(yàn)矩陣Hs。（2分） 2求該碼字集合的最小碼字距離d、最大檢錯(cuò)能力 、最大糾錯(cuò)能力t max 。（3分）2. 填寫(xiě)下面的es表 （8分）es4. 現(xiàn)有接收序列為，求糾錯(cuò)譯碼輸出。（4分）5. 畫(huà)出該碼的編碼電路 （4分）(四)4、 簡(jiǎn)答題（共20 分，

14、每題10分1. 利用公式介紹無(wú)條件熵、條件熵、聯(lián)合熵和平均互信息量之間的關(guān)系。2. 簡(jiǎn)單介紹哈夫曼編碼的步驟5、 計(jì)算題（共40 分）1 某信源含有三個(gè)消息，概率分別為p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩陣為。求Dmax、Dmin和R (Dmax)。（10分）2 設(shè)對(duì)稱(chēng)離散信道矩陣為，求信道容量C。（10分）3 有一穩(wěn)態(tài)馬爾可夫信源，已知轉(zhuǎn)移概率為p(S1/ S1)=2/3，p(S1/ S2)=1。求：(1) 畫(huà)出狀態(tài)轉(zhuǎn)移圖和狀態(tài)轉(zhuǎn)移概率矩陣。(2) 求出各狀態(tài)的穩(wěn)態(tài)概率。(3) 求出信源的極限熵。（20分）（五）一、（11）填空題（1） 1948年，美國(guó)數(shù)學(xué)家 香農(nóng)

15、發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。（2） 必然事件的自信息是 0 。（3） 離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍 。（4） 對(duì)于離散無(wú)記憶信源，當(dāng)信源熵有最大值時(shí)，滿(mǎn)足條件為_(kāi)信源符號(hào)等概分布_。（5） 對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法惟一的是 香農(nóng)編碼 。（6） 已知某線(xiàn)性分組碼的最小漢明距離為3，那么這組碼最多能檢測(cè)出_2_個(gè)碼元錯(cuò)誤，最多能糾正_1_個(gè)碼元錯(cuò)誤。（7） 設(shè)有一離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R_小于_C（大于、小于或者等于）， 則存在一種編碼，當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意

16、小。（8） 平均錯(cuò)誤概率不僅及信道本身的統(tǒng)計(jì)特性有關(guān)，還及_譯碼規(guī)則_和_編碼方法_有關(guān)二、（9¢）判斷題 （1） 信息就是一種消息。 （ ´ ）（2） 信息論研究的主要問(wèn)題是在通信系統(tǒng)設(shè)計(jì)中如何實(shí)現(xiàn)信息傳輸、存儲(chǔ)和處理的有效性和可靠性。 （ Ö ）（3） 概率大的事件自信息量大。 （ ´ ）（4） 互信息量可正、可負(fù)亦可為零。 （ Ö ）（5） 信源剩余度用來(lái)衡量信源的相關(guān)性程度，信源剩余度大說(shuō)明信源符號(hào)間的依賴(lài)關(guān)系較小。 （ ´ ） （6） 對(duì)于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。 （ Ö ） （7）

17、非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。 （ ´ ）（8） 信源變長(zhǎng)編碼的核心問(wèn)題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。 （ Ö ）（9）信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù). ( ´ )五、（18）.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1） 黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；3）分別求上述兩種信源的冗余度，比較它們的大小并說(shuō)明其物理意義。解：1）信源模型為（1分） （2分）2）由題意可知該信源為一階馬爾科夫信源。（2

18、分）由4分）得極限狀態(tài)概率（2分） 3分）（1分）。說(shuō)明：當(dāng)信源的符號(hào)之間有依賴(lài)時(shí)，信源輸出消息的不確定性減弱。而信源冗余度正是反映信源符號(hào)依賴(lài)關(guān)系的強(qiáng)弱，冗余度越大，依賴(lài)關(guān)系就越大。（2分）六、（18）.信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過(guò)程）。2）（3分）最大后驗(yàn)概率準(zhǔn)則下，有，八（10¢）.二元對(duì)稱(chēng)信道如圖。1）若，求、和；2）求該信道的信道容量。解：1）共6分2），（3分）此時(shí)輸入概率分布為等概率分布。（1分）九、（18¢）設(shè)一線(xiàn)性分組碼具有一致監(jiān)督矩陣1）求此分組碼n=?,k=?共有多少碼字？2）求此分組碼的生成矩

19、陣G。3）寫(xiě)出此分組碼的所有碼字。4）若接收到碼字（101001），求出伴隨式并給出翻譯結(jié)果。解：1）n=6,k=3,共有8個(gè)碼字。（3分）2）設(shè)碼字由得（3分）令監(jiān)督位為，則有（3分）生成矩陣為（2分）3）所有碼字為000000，001101，010011，011110，100110，101011，110101，111000。（4分）4）由得，（2分）該碼字在第5位發(fā)生錯(cuò)誤，（101001）糾正為（101011），即譯碼為（101001）（1分）（六）一、概念簡(jiǎn)答題（每題5分，共40分）1.什么是平均自信息量及平均互信息，比較一下這兩個(gè)概念的異同？2.簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的

20、離散信源，其最大熵是多少？3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說(shuō)明平均互信息及信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。5.寫(xiě)出香農(nóng)公式，并說(shuō)明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。6.解釋無(wú)失真變長(zhǎng)信源編碼定理。7.解釋有噪信道編碼定理。8.什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求a>0時(shí)率失真函數(shù)的和？二、綜合題（每題10分，共60分）1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1） 黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；2） 假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴(lài)關(guān)系