2023年西安郵電大學(xué)信息論與編碼復(fù)習(xí)題

一、選擇題(共15題）1、有一離散無(wú)記憶信源X，其概率空間為,則其無(wú)記憶二次擴(kuò)展信源的熵H(Ｘ2)=(Ｂ）A、1．７5比特/符號(hào)；Ｂ、3.5比特／符號(hào);C、9比特/符號(hào)；D、１8比特／符號(hào)。2、信道轉(zhuǎn)移矩陣為，其中兩兩不相等，則該信道為DＡ、一一相應(yīng)的無(wú)噪信道Ｂ、具有并歸性能的無(wú)噪信道Ｃ、對(duì)稱(chēng)信道D、具有擴(kuò)展性能的無(wú)噪信道3、設(shè)信道容量為C，下列說(shuō)法對(duì)的的是：(A)A、互信息量一定不大于ＣＢ、交互熵一定不小于ＣC、有效信息量一定不大于CD、條件熵一定不大于C4、在串聯(lián)系統(tǒng)中,有效信息量的值（B）Ａ、趨于變大B、趨于變小C、不變Ｄ、不擬定５、若BSC信道的差錯(cuò)率為P，則其信道容量為:（C)Ａ、B、Ｃ、Ｄ、6、設(shè)信道輸入為xm，輸出為y，若譯碼準(zhǔn)則是當(dāng)P(y｜xm’)≥Ｐ(y|ｘm),對(duì)所有ｍ≠m’時(shí)，將y判為m’，則稱(chēng)該準(zhǔn)則為(D）Ａ最大后驗(yàn)概率譯碼準(zhǔn)則B最小錯(cuò)誤概率準(zhǔn)則Ｃ最大相關(guān)譯碼準(zhǔn)則D最大似然譯碼準(zhǔn)則7、線性分組碼不具有的性質(zhì)是（C)A任意多個(gè)碼字的線性組合仍是碼字B最小漢明距離等于最小非０重量Ｃ最小漢明距離為3Ｄ任一碼字和其校驗(yàn)矩陣的乘積cmHT=08.條件熵H（Ｘ∣Y）CH（X)。（A）小于（B)大于(Ｃ)小于等于（D）大于等于９．聯(lián)合熵C。(A）小于（Ｂ）大于(C)小于等于（Ｄ)大于等于10.相對(duì)熵總是D。(A）為正（Ｂ）為負(fù)(C）非正（D)非負(fù)11.B是最佳碼。(A）Fａno編碼(Ｂ）Huffman編碼（C)Shａnnon編碼(D)算術(shù)編碼12.字母表為∑＝｛0，1｝,情況下的Shannon編碼碼長(zhǎng)為B。(Ａ)（Ｂ）(C)(D）13.字母表為∑={0,1}，情況下的Shannon－Fano-Elｉas編碼碼長(zhǎng)為A。(Ａ)(B)（C)(D)１4.譯碼錯(cuò)誤概率最小的譯碼為B。(Ａ)最大似然譯碼（B)最大后驗(yàn)概率譯碼(C)最小距離譯碼(Ｄ)擇多譯碼15.下列D不屬于距離空間的公理。(Ａ)非負(fù)性(B)對(duì)稱(chēng)性(C)三角不等式(D)反對(duì)稱(chēng)性二、填空題（共29題）1、（7,4)線性分組碼中,接受端收到分組R的位數(shù)為_(kāi)7___,隨著式S也許的值有＿＿_(dá)_8種，差錯(cuò)圖案e的長(zhǎng)度為７,系統(tǒng)生成矩陣Gs為＿_(dá)４*７＿_(dá)行的矩陣,系統(tǒng)校驗(yàn)矩陣Hs為_(kāi)___3＊７行的矩陣,Ｇs和Hs滿足的關(guān)系式是。一張１02４×5１2像素的16位彩色BMＰ圖像能包含的最大信息量為。3、香農(nóng)編碼中,概率為的信源符號(hào)xi相應(yīng)的碼字Ｃｉ的長(zhǎng)度Ki應(yīng)滿足不等式。4、設(shè)有一個(gè)信道,其信道矩陣為,則它是信道（填對(duì)稱(chēng)，準(zhǔn)對(duì)稱(chēng))，其信道容量是比特／信道符號(hào)。1948年,美國(guó)數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文,從而創(chuàng)建了信息論。必然事件的自信息是0。離散平穩(wěn)無(wú)記憶信源Ｘ的N次擴(kuò)展信源的熵等于離散信源X的熵的Ｎ倍。對(duì)于離散無(wú)記憶信源,當(dāng)信源熵有最大值時(shí)，滿足條件為_(kāi)_信源符號(hào)等概分布_。若一離散無(wú)記憶信源的信源熵H（Ｘ)等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為3。對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法惟一的是香農(nóng)編碼。已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測(cè)出＿2＿_(dá)__＿_(dá)＿個(gè)碼元錯(cuò)誤，最多能糾正___1__個(gè)碼元錯(cuò)誤。設(shè)有一離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R_＿小于___Ｃ(大于、小于或者等于）,則存在一種編碼,當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意小。平均錯(cuò)誤概率不僅與信道自身的記錄特性有關(guān),還與___譯碼規(guī)則_____＿_(dá)_____和___編碼方法___有關(guān)14、必然事件的自信息量是__＿_(dá)＿_(dá)_＿,不也許事件的自信息量是_＿_(dá)____＿_(dá)。１5、一信源有五種符號(hào){ａ，b，c，ｄ,ｅ}，先驗(yàn)概率分別為Pa=０.５,Pb＝0.２5，Ｐc=0.１2５，Pd=Pe=0.0６２５。符號(hào)“a”的自信息量為_(kāi)_＿_(dá)___＿bit,此信源的熵為_(kāi)______＿ｂit／符號(hào)。16、如某線性分組碼的最小漢明距ｄmin=6，最多能糾正___＿＿＿個(gè)隨機(jī)錯(cuò)。１7、平均互信息量I(X;Y）與信源熵和條件熵之間的關(guān)系是＿_(dá)＿_(dá)＿_(dá)__________。1８、克勞夫特不等式是唯一可譯碼__＿_(dá)____＿的充要條件。｛０0,01,10，１1}是否是唯一可譯碼?_＿_(dá)＿_(dá)＿_(dá)＿_(dá)。1９、在Shaｎnon信息論中,最重要的概念是20、通信系統(tǒng)一般由５個(gè)部分組成。2１、字母表為∑＝{0,1｝,且取值空間χ=｛ａ,ｂ,c，ｄ,e｝下的概率分布為Ｐ(a)=0.2,P（b)=０．５，P（c)=0．1,P(ｄ)=０.1,Ｐ(e)=0．1則Ｃ(χ)的一種可行的Huffmａn編碼是。唯一可譯碼的碼長(zhǎng)必須滿足。23、二元無(wú)噪信道的信道轉(zhuǎn)移矩陣為。?24、二元對(duì)稱(chēng)信道的信道轉(zhuǎn)移矩陣為。25、二元?jiǎng)h除信道的信道轉(zhuǎn)移矩陣為。27、信道轉(zhuǎn)移矩陣為p（y｜ｘ）=時(shí),該信道的容量為。２8、信道轉(zhuǎn)移矩陣為0.60.20.20.20.20.60.60.20.20.20.20.6P(ｙ|ｘ）=時(shí),該信道的容量為。29、（2nR，n）碼的碼率為。三、判斷題（共15題)1信息就是一種消息。()2信息論研究的重要問(wèn)題是在通信系統(tǒng)設(shè)計(jì)中如何實(shí)現(xiàn)信息傳輸、存儲(chǔ)和解決的有效性和可靠性。（)3概率大的事件自信息量大。()４互信息量可正、可負(fù)亦可為零。（)5信源剩余度用來(lái)衡量信源的相關(guān)性限度,信源剩余度大說(shuō)明信源符號(hào)間的依賴(lài)關(guān)系較小。(）６對(duì)于固定的信源分布,平均互信息量是信道傳遞概率的下凸函數(shù)。()７非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。(）8信源變長(zhǎng)編碼的核心問(wèn)題是尋找緊致碼(或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。（)９信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù).()10校驗(yàn)矩陣的各行是線性無(wú)關(guān)的。（)11冗余度是表征信源信息率多余限度的物理量,它描述的是信源的剩余。（)12當(dāng)信道固定期,平均互信息是信源分布的∪型凸函數(shù)。()1３互信息Ｉ(X;Ｙ)與信息熵H(Ｙ)的關(guān)系為:I(X;Y）≤Ｈ(Y)。（）1４信道容量隨信源概率分布的變化而變化。（)1５一個(gè)唯一可譯碼成為即時(shí)碼的充要條件是其中任何一個(gè)碼字都不是其它碼字的前綴。（）三、計(jì)算題(共6題)【2．5】設(shè)離散無(wú)記憶信源=其發(fā)生的消息為()，求：此消息的自信息是多少？在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少?【３．1】設(shè)信源通過(guò)一干擾信道,接受符號(hào)為Ｙ=,信道傳遞概率如圖3.2所示，求(1)信源X中事件和分別具有的自信息。(2)收到消息(J=１，2）后，獲得的關(guān)于(i=1,2)信息量。(３）信源X和信源Y的信息墑。（４)信道疑義度H(X︱Y）和噪聲熵H（Y︱X)。(5)接受到信息Y后獲得的平均互信息。5設(shè)二元對(duì)稱(chēng)信道的傳遞矩陣為(1）若P（０）=3/4,P(1)=1/4,求H(X),H(X︱Y)，H(Ｙ︱X）和Ｉ(X;Y);(2)求該信道的信道容量及其達(dá)成信道容量時(shí)的輸入概率分布。【5.22】有兩個(gè)信源X和Y如下：分別用霍夫曼碼編成二元變長(zhǎng)唯一可譯碼,并計(jì)算編碼效率。分別用香農(nóng)編碼法編成二元變長(zhǎng)唯一可譯碼,并計(jì)算編碼效率(即選取是大于或等于的整數(shù))。分別用費(fèi)諾編碼方法編成二元變長(zhǎng)唯一可譯碼，并計(jì)算編碼效率。從Ｘ,Y兩種不同信源來(lái)比較這三種編碼方法的優(yōu)缺陷。【５.12】求概率分布為信