信息論與編碼考試題(附答案版)

1、1.按發(fā)出符號(hào)之間的關(guān)系來(lái)分，信源可以分為（有記憶信源）和（無(wú)記憶信源）3.對(duì)于有記憶離散序列信源，需引入（條件熵）描述信源發(fā)出的符號(hào)序列內(nèi)各個(gè)符號(hào)之間的統(tǒng)計(jì)關(guān)聯(lián)特性3.連續(xù)信源X,平均功率被限定為P （2 25.信源冗余度產(chǎn)生的原因包括（信源符號(hào)之間的相關(guān)性）和（信源符號(hào)分布的不均勻7.香農(nóng)信息極限的含義是（當(dāng)帶寬不受限制時(shí)，傳送 1bit 信息，信噪比最低只需9.對(duì)于限失真信源編碼，保證D 11.算術(shù)編碼是（非）分組碼。12.游程編碼是（無(wú)）失真信源編碼。13.線性分組碼的（校驗(yàn)矩陣）就是該碼空間的對(duì)偶空間的生成矩陣。14.若（n，k）線性分組碼為MDC 15.完備碼的特點(diǎn)是（圍繞 2 個(gè)

2、碼字、漢明矩 d=（d -1）/2的球都是不相交的每一kt （對(duì)）1、信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。（對(duì)）2、信息就是信息，既不是物質(zhì)也不是能量。（錯(cuò)）3、馬爾可夫信源是離散無(wú)記憶信源。（錯(cuò)）4、不可約的馬爾可夫鏈一定是遍歷的。（對(duì)）5、單符號(hào)連續(xù)信源的絕對(duì)熵為無(wú)窮大。（錯(cuò)）6、序列信源的極限熵是這樣定義的：H(X)=H(XL|X1,X2,XL-1)。（對(duì)）7、平均互信息量I(X;Y)是接收端所獲取的關(guān)于發(fā)送端信源X 的信息量。（對(duì)）8、信源X,經(jīng)過(guò)處理后，輸出為Y，H(Y)小于H(X),說(shuō)明信息不增。（對(duì)）9、如果一個(gè)消息包含的符號(hào)比表達(dá)這個(gè)消息所需要的符號(hào)多，那么該消息存在冗

3、余度。 X,輸出為（錯(cuò)）11、非高斯噪聲信道的信道容量比高斯噪聲信道的信道容量小。（對(duì)）12、信息率失真函數(shù)具有單調(diào)遞減性。（錯(cuò)）13、異前綴碼不能及時(shí)可譯。（對(duì)）14、用碼樹(shù)構(gòu)造的一定是及時(shí)碼。（對(duì)）15、香農(nóng)編碼壓縮了符號(hào)相關(guān)造成的冗余。（對(duì)）16、有失真信源編碼指的是保真度準(zhǔn)則下的信源編碼。（對(duì)）17、變長(zhǎng)無(wú)失真信源編碼比定長(zhǎng)編碼的編碼效率高。（錯(cuò)）18、香農(nóng)編碼是最佳編碼。（錯(cuò)）20、卷積碼的序列距離決定了其檢錯(cuò)和糾錯(cuò)能力。信息、消息、信號(hào)的定義是什么？三者的關(guān)系是什么？答：定義：信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。消息是指包含信息的語(yǔ)言、文字和圖像。信號(hào)是消息的物理體現(xiàn)。三者

4、的關(guān)系：消息包含信息，是信息的載體，但不是物理性的。信號(hào)是信息的載體，是物理性的。 什么樣的馬爾可夫鏈?zhǔn)潜闅v的？答：有限狀態(tài)的，具有不可約束性，具有非周期性 簡(jiǎn)述離散信源的最大熵定理。 M熵最大。 簡(jiǎn)述信息率失真函數(shù)的物理意義。答：對(duì)于給定信源，在平均失真不超過(guò)失真限度D 的條件下，信息率容許壓縮的最小值為 敘述變長(zhǎng)信源編碼定理。答： 在變長(zhǎng)編碼中，碼長(zhǎng)K 是變化的，可根據(jù)信源各個(gè)符號(hào)的統(tǒng)計(jì)特性，對(duì)概率大的符號(hào)用短碼，而對(duì)概率小的符號(hào)可用較長(zhǎng)的碼，這樣大量信源符號(hào)編成碼后，平均每個(gè)信源符號(hào)所需的輸出符號(hào)數(shù)就可以降低，從而提高編碼效率。 惟一可譯碼存在的充要條件是什么？答： 什么是差錯(cuò)圖樣？有哪

5、些差錯(cuò)圖樣類(lèi)型？答：收、發(fā)碼之“差”為差錯(cuò)圖樣，隨機(jī)差錯(cuò)，突發(fā)差錯(cuò)。 什么是本原多項(xiàng)式？答：二元域 m 次本原多項(xiàng)式是一個(gè) m 次即約多項(xiàng)式，能被它整除的最簡(jiǎn)首一多項(xiàng)式x +1的次數(shù)滿足條件n2 -1nm 對(duì)于信道編碼，有哪兩種譯碼算法？簡(jiǎn)述之。答：最優(yōu)譯碼：在已知r 的條件下找出可能性最大的發(fā)碼作為譯碼估值。最大似然譯碼：在已知r 的條件下使先驗(yàn)概率最大的譯碼算法。 為什么說(shuō)BSC 信道的最小距離譯碼就是最大似然譯碼？答：當(dāng)逐位比較發(fā)碼的收碼時(shí)，僅存在兩種可能性：相同或不同。如果r 中有 d 個(gè)碼元，并與c 的碼元不同，則r 與c 的漢明距離是 越大，似然函數(shù) ）iii越小。 什么是完備碼？

6、舉出兩種完備碼的例子。答：把滿足方程的二元（n，k）線性分組碼稱(chēng)為完備碼漢明碼、高萊碼 寫(xiě)出卷積碼的解析表達(dá)式 。說(shuō)明為什么稱(chēng)之為卷積碼？答：任何時(shí)刻i的輸出碼字可用數(shù)學(xué)式表示為上式可視為無(wú)限長(zhǎng)矩陣序列m 與有限長(zhǎng)矩陣G 的卷積運(yùn)算m *Giiii的來(lái)歷。設(shè)在一只布袋中裝有100 紅色球和白色球各50個(gè)，從中隨機(jī)取出一個(gè)球，問(wèn)猜測(cè)其顏色需要的信息量是多少？（2）若紅色球99 個(gè)，白色球1個(gè)，從中隨機(jī)取出一個(gè)球，猜測(cè)其顏色需要的信息量又是多少？ 某信道為強(qiáng)對(duì)稱(chēng)信道（即均勻信道）輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)均為m，正確的傳輸概率為1,錯(cuò)誤概率為被對(duì)稱(chēng)的均勻分給m1 個(gè)輸出符號(hào) ，試寫(xiě)出轉(zhuǎn)移概率矩陣及其信道容量的表達(dá)式。 一個(gè)平均功率受限的連續(xù)信道，其通頻帶為1MHZ,信道上存在白色高斯噪聲。（1）已知信道上的信號(hào)和噪聲的平均功率比值 為10 ，求該信道的信道容量。（2）信道上的信號(hào)和噪聲的平均功率比值降為 5，要達(dá)到相同的信道容量，信道的通頻帶應(yīng)為多大？（3）若信道通頻帶減少為0.5MHZ, 信道上的信號(hào)和噪聲的平均功率比值應(yīng)為多大？（4設(shè)有離散無(wú)記憶信源P(X)=0.37,0.25,0.18,0.10,0.07,0.03, 10 采用定長(zhǎng)二元碼要達(dá)到（2）中的哈夫曼編碼效率，問(wèn)需要多少個(gè)信源符號(hào)連在一起編？最