信息論與編碼填空題 新

1、在無(wú)失真的信源中，信源輸出由_H(X)來(lái)度量；在有失真的信源中，信源輸出由R ( D )來(lái) 度 量 。要使通信系統(tǒng)做到傳輸信息有效、可靠和保密，必須首先上源編碼，然后_加 密編碼，再信道編碼，最后送入信道。帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式，也就是有名的 香農(nóng)公式是C = Wlog(l+ SNR)；當(dāng)歸一化信道容量C/W趨近于零時(shí)，也即信道完全 喪失了通信能力，此時(shí)E/N為-1.6 dB，我們將它稱(chēng)作香農(nóng)限，是一切編碼方式b 0所能達(dá)到的理論極限。保密系統(tǒng)的密鑰量越小，密鑰熵H(K)就越止，其密文中含有的關(guān)于明文的信 息量I (M； C)就越大。已知n=7的循環(huán)碼g(x

2、)二x4 + x2 + x +1，則信息位長(zhǎng)度k為3 ,校驗(yàn)多項(xiàng)式h(x) = x3 + x + 1 _。設(shè)輸入符號(hào)表為X=0，1，輸出符號(hào)表為Y=0，1。輸入信號(hào)的概率分布為p= （1/2，1/2），失真函數(shù)為 d（0，0） = d（1，1） = 0 d（0，1） =2，d（1，0） = 1，則D = 0 ，R(D ) = 1bit/symbol，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) =minminD =maxD =max0.5 ，R（D ）=max匕，相應(yīng)的編碼器轉(zhuǎn)移概率矩陣p(y/x) =0p已知用戶A的RSA公開(kāi)密鑰（e,n） = （3,55）, p = 5, q = 11,則Q （n

3、） =40 ，他的秘密密鑰(d,n) = (27,55)。若用戶B向用戶A發(fā)送m=2的加密消息，貝U該加密后的消息為8。1 .設(shè)X的取值受限于有限區(qū)間a,b,則X服從均勻 分布時(shí)，其熵達(dá)到最大; 如X的均值為卩，方差受限為b 2,則X服從高斯分布時(shí)，其熵達(dá)到最大。信息論不等式：對(duì)于任意實(shí)數(shù)z0，有Inz z -1，當(dāng)且僅當(dāng)z二1時(shí)等式成立。3設(shè)信源為 X=0，1，P (0) =1/8，則信源的熵為 l/81og 8 + 7/8log (7/8)比特/ 22符號(hào)，如信源發(fā)出由m個(gè)“0”和(100-m)個(gè)“1”構(gòu)成的序列，序列的自信息量為mlog 8 + (100 m)log (7/8)比特/符號(hào)

4、2 2 離散對(duì)稱(chēng)信道輸入等概率時(shí)，輸出為概分布。 根據(jù)碼字所含的碼元的個(gè)數(shù)，編碼可分為丄長(zhǎng)編碼和 變長(zhǎng) 編碼。U _U _uuuuuu=.123456P0.37 0.25 0.18 0.10 0.07 0.031- U11設(shè)DMS為用二元符號(hào)表X二x二0,x二1對(duì)其進(jìn)行定長(zhǎng)編碼，若所編的碼為000, 001，010, 011，100, 101，1 2則編碼器輸出碼元的一維概率P(x )二0.747, P(x )二 0.2531 2 在現(xiàn)代通信系統(tǒng)中，信源編碼主要用于解決信息傳輸中的 有效性，信道編碼 主要用于解決信息傳輸中的可靠性，加密編碼主要用于解決信息傳輸中的安全性 。離散信源Xxxxx1

5、234離散信源Xxxxx1234p( x)1/2 1/4 1/8 1/82.，則信源的熵為1.75bi t/符號(hào)3對(duì)稱(chēng)DMC信道的輸入符號(hào)數(shù)為n，輸出符號(hào)數(shù)為m，信道轉(zhuǎn)移概率矩陣為Pi，則該信道的容量為c = log m + 土 pj log pj 豆采用m進(jìn)制編碼的碼字長(zhǎng)度為Ki,碼字個(gè)數(shù)為n,則克勞夫特不等式為肌-k. 0，有Inz z -1，當(dāng)且僅當(dāng)z = 1時(shí)等式成立。3設(shè)信源為 X=0, 1, P (0) =1/8,則信源的熵為 1/8log 8 + 7/8log (7/8)比特/2 2符號(hào)，如信源發(fā)出由m個(gè)“0”和(100-m)個(gè)“1”構(gòu)成的序列，序列的自信息量為mlog 8 +

6、(100 - m)log (7/8)比特/符號(hào)2 2離散對(duì)稱(chēng)信道輸入等概率時(shí)，輸出為 等概 分布。根據(jù)碼字所含的碼元的個(gè)數(shù)，編碼可分為長(zhǎng) 編碼和 變長(zhǎng) 編碼。U _U _uuuuuu=.123456P0.37 0.25 0.18 0.10 0.07 0.031- U11設(shè)DMS為用二元符號(hào)表X二x二0,x二1對(duì)其進(jìn)行定長(zhǎng)編碼，若所編的碼為000, 001, 010, 011, 100, 101,1 2信息的基本概念在于它的 不確定性按照信源發(fā)出的消息在時(shí)間和幅度上的分布情況，可將信源分成離散 信源和 連續(xù)信源兩大類(lèi)。一個(gè)隨機(jī)事件的 自信息量 定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值。按樹(shù)圖法構(gòu)成的碼一定滿足

7、即時(shí)碼_的定義。有擾離散信道編碼定理_稱(chēng)為香農(nóng)第二極限定理。糾錯(cuò)碼的檢、糾錯(cuò)能力是指檢測(cè)、糾正錯(cuò)誤碼元的數(shù)目信道一般指?jìng)鬏斝畔⒌奈锢砻浇?，分?有線 信道和 無(wú)線 信道。信源編碼的主要目的是 提高通信系統(tǒng)的有效性設(shè)信源X包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為_(kāi)1/4_時(shí)，信、源熵達(dá)到最大值，為_(kāi)2_,此時(shí)各個(gè)消息的自信息量為_(kāi)2 _。如某線性分組碼的最小漢明距dmin=4，貝U該碼最多能檢測(cè)出_3_個(gè)隨機(jī)錯(cuò),最多能糾正_1個(gè)隨機(jī)錯(cuò)?？藙诜蛱夭坏仁绞俏ㄒ豢勺g碼_存在_的充要條件。平均互信息量I(X;Y)與信源熵和條件熵之間的關(guān)系是_(X;Y)=H(X)-H(X/Y)_。_信源提高

8、通信的有效性，_信道目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性。信源編碼的目的是提高通信的 有效性，信道編碼的目的是提高通信的 可靠性，加密編碼的目的是保證通信的安全性 。設(shè)信源X包含8個(gè)不同離散消息，當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率為1/8_時(shí)，信源熵達(dá)到最大值，為_(kāi)3。自信息量表征信源中各個(gè)符號(hào)的不確定度，信源符號(hào)的概率越大，其自信息量越_小。信源的冗余度來(lái)自?xún)蓚€(gè)方面，一是信源符號(hào)之間的相關(guān)性，二是信源符號(hào)分布的不均勻性_。最大后驗(yàn)概率譯碼指的是 譯碼器要在已知r的條件下找出可能性最大的發(fā)碼作為譯碼估值，即令 =maxP( |r)。常用的檢糾錯(cuò)方法有_前向糾錯(cuò)_、反饋重發(fā)和混合

9、糾錯(cuò)三種。1.給定x條件下隨機(jī)事件y所包含的不確定度和條件自信息量p(y /x), (Dijj i數(shù)量上不等，單位不同C.數(shù)量上不等，單位不同C.數(shù)量上相等，單位不同數(shù)量上不等，單位相同D.數(shù)量上相等，單位相同2.條件熵和無(wú)條件熵的關(guān)系是:2.條件熵和無(wú)條件熵的關(guān)系是:C)B. H(Y/X)H(Y)D. H(Y/X)2H(Y)D)B在樹(shù)枝上安排碼字D.在終端節(jié)點(diǎn)上安排碼字C)B.非奇異碼是唯一可譯碼D.非奇異碼不是唯一可譯碼B)B.完備性H(Y/X)VH(Y)H(Y/X)WH(Y)根據(jù)樹(shù)圖法構(gòu)成規(guī)則，在樹(shù)根上安排碼字C在中間節(jié)點(diǎn)上安排碼字下列說(shuō)法正確的是：奇異碼是唯一可譯碼C.非奇異碼不一定是

10、唯一可譯碼下面哪一項(xiàng)不屬于熵的性質(zhì)：非負(fù)性1.下面表達(dá)式中正確的是（A ）。A. S A. S p(y / x )二 1j ijC. S p(X , y ) = (y )i j j j工 p(y / x ) = 1j ii工 p(x , y ) = q(x )i jiiA .H(U)B.0C.I(U; V)A .H(U)B.0C.I(U; V)D.沒(méi)有下限彩色電視顯像管的屏幕上有5X105個(gè)像兀，設(shè)每個(gè)像兀有64種彩色度，每種彩 度又有16種不同的亮度層次，如果所有的彩色品種和亮度層次的組合均以等概率出 現(xiàn)，并且各個(gè)組合之間相互獨(dú)立。每秒傳送25幀圖像所需要的信道容量（C ）A. 50?106

11、B. 75?106C. 125?106D. 250?106已知某無(wú)記憶三符號(hào)信源a,b,c等概分布，接收端為二符號(hào)集，其失真矩陣為1 2d= 1 1 ,則信源的最大平均失真度d 為（D ） max2 1A. 1/3B. 2/3C. 3/3D. 4/3線性分組碼不具有的性質(zhì)是（C ）任意多個(gè)碼字的線性組合仍是碼字最小漢明距離等于最小非0重量最小漢明距離為3任一碼字和其校驗(yàn)矩陣的乘積c Ht=0m糾錯(cuò)編碼中，下列哪種措施不能減小差錯(cuò)概率（D ）。A.增大信道容量 B.增大碼長(zhǎng)C.減小碼率D.減小帶寬一珍珠養(yǎng)殖場(chǎng)收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相 同但重量?jī)H有微小差異的假珠

12、換掉1顆。一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假 珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說(shuō)他用天平最多6次 能找出，結(jié)果確是如此，這一事件給出的信息量（A ）。A. 0bi tB. log6bi tC. 6bi tD. log240b it下列陳述中，不正確的是（D ）。離散無(wú)記憶信道中，H （Y）是輸入概率向量的凸函數(shù)滿足格拉夫特不等式的碼字為惟一可譯碼一般地說(shuō)，線性碼的最小距離越大，意味著任意碼字間的差別越大，則碼的檢錯(cuò)、糾錯(cuò)能力越強(qiáng)滿足格拉夫特不等式的信源是惟一可譯碼一個(gè)隨即變量x的概率密度函數(shù)P（x） = x/2,0 x2V，則信源的相對(duì)熵為（C ）。A . 0.5bit

13、B. 0.72bi tC. 1bitD. 1.44b it下列離散信源，熵最大的是（D ）。A. H（1/3,1/3,1/3）；B. H（1/2,1/2）；H（0.9,0.1）；D. H（1/2,1/4,1/& 1/8）下列不屬于消息的是（B ）A.文字B.信號(hào)A.文字B.信號(hào)C.圖像D.語(yǔ)言為提高通信系統(tǒng)傳輸消息有效性，信源編碼采用的方法是（A ）。A.壓縮信源的冗余度B.在信息比特中適當(dāng)加入冗余比特A.壓縮信源的冗余度B.在信息比特中適當(dāng)加入冗余比特C.研究碼的生成矩陣D.對(duì)多組信息進(jìn)行交織處理最大似然譯碼等價(jià)于最大后驗(yàn)概率譯碼的條件是（D ）。B.無(wú)錯(cuò)編碼C.無(wú)擾信道B.無(wú)錯(cuò)編碼C.無(wú)擾

14、信道消息先驗(yàn)等概下列說(shuō)法正確的是（C ）。等重碼是線性碼碼的生成矩陣唯一碼的最小漢明距離等于碼的最小非0重量線性分組碼中包含一個(gè)全0碼字二進(jìn)制通信系統(tǒng)使用符號(hào)0和1,由于存在失真，傳輸時(shí)會(huì)產(chǎn)生誤碼，用符號(hào)表 示下列事件，u0:個(gè)0發(fā)出 u1:個(gè)1發(fā)出 v0 :個(gè)0收到 v1: 個(gè)1收到則已知收到的符號(hào)，被告知發(fā)出的符號(hào)能得到的信息量是（A ）。A. H（U/V）B. H（V/U）C. H（U,V）D. H（UV）同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6,若點(diǎn)數(shù)之和為12,則得 到的自信息為（B ）。A. log36bitB. log36bitC. log （11/36）bit D. l

15、og(ll/36)bit下列組合中不屬于即時(shí)碼的是(A )。A. 0，01，011 B. 0, 10，110 C. 00, 10，11 D. 1，01，00 111010 已知某(6, 3)線性分組碼的生成矩陣G二110001，則不用計(jì)算就可判斷出下011101列碼中不是該碼集里的碼是(D )。A. 000000B. 110001C. 011101D. 111111一個(gè)隨即變量x的概率密度函數(shù)P(x)= x /2，0 x2V，則信源的相對(duì)熵為 (C )。A. 0.5b it/符號(hào)B. 0.72bi t/符號(hào) C. 1bi t/符號(hào)D. 1.44bi t/符號(hào)設(shè)有一個(gè)無(wú)記憶信源發(fā)出符號(hào)A和B,已

16、知p(A)二十,p(B)二孑，發(fā)出二重符號(hào)序列44消息的信源，無(wú)記憶信源熵H(X2)為(A )。A.0.81bi t/二重符號(hào) B.1.62b it/二 重符號(hào)C.0.93 bit/ 二重符號(hào)D .1.86bit/二重符號(hào)6、只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。7、當(dāng)RVC時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。8、在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到 形式、含義和效用 三個(gè)方 面的因素。9、1948年，美國(guó)數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而 創(chuàng)立了信息論。按照信息的性質(zhì)，可以把信息分成 語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息。

17、 按照信息的地位，可以把信息分成 客觀信息和主觀信息。人們研究信息論的目的 是為了高效、可靠、安全 地交換和利用各種各樣的信息。信息的 可度量性 是建 立信息論的基礎(chǔ)。統(tǒng)計(jì)度量 是信息度量最常用的方法。熵 是香農(nóng)信息論最基本最 重要的概念。事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生 概率的對(duì)數(shù) 來(lái)描述的。10、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用隨機(jī)矢量描述。11、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱(chēng)為自信息量，定義為其發(fā)生概 率對(duì)數(shù)的負(fù)值。12、自信息量的單位一般有 比特、奈特和哈特。13、必然事件的自信息是0。14、不可能事件的自信息量是g。15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合

18、自信息量等于 兩個(gè)自信息量之和。16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與 輸出消息之間的平均互信息量趨于變小。17、離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。18、離散平穩(wěn)有記憶信源的極限熵，Hy 工H(Xn /XiX2A Xn丿。19、對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個(gè)不同的狀態(tài)。20、一維連續(xù)隨即變量X在a, b區(qū)間內(nèi)均勻分布時(shí)，其信源熵為log2 (b-a)log 2兀 eP21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，He(X)= 22。22、對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時(shí)連續(xù)信源熵具有最 大值

19、。23、對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時(shí)，信源熵有最大值。24、對(duì)于均值為0,平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限 定值P和信源的熵功率P之比。25、若一離散無(wú)記憶信源的信源熵H (X)等于2.5,對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn) TOC o 1-5 h z 制編碼，則編碼長(zhǎng)度至少為3。m -ki 0, m是X的數(shù)學(xué)期望，則X的信源熵Hc(X)二log2me。30、一副充分洗亂的撲克牌(52張)，從中任意抽取1張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則其信源熵為lg25231、根據(jù)輸入輸出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連 續(xù)信道。32

20、、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道稱(chēng)為無(wú)記憶信 道。33、具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道的信道容量C二log2n 。34、強(qiáng)對(duì)稱(chēng)信道的信道容量C= log2n-Hni。35、對(duì)稱(chēng)信道的信道容量C二log2m-Hmi。36、對(duì)于離散無(wú)記憶信道和信源的N次擴(kuò)展，其信道容量CN= NC 。 c37、對(duì)于N個(gè)對(duì)立并聯(lián)信道，其信道容量CN = k=1 k 。38、多用戶信道的信道容量用多維空間的一個(gè)區(qū)域的界限來(lái)表示。39、多用戶信道可以分成幾種最基本的類(lèi)型：多址接入信道、廣播信道 和相關(guān)信 源信道。40、廣播信道是只有一個(gè)輸入端和多個(gè)輸出端 的信道。41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表

21、現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱(chēng)為 加性連續(xù)信道。1Plog （1 + 亠）42、高斯加性信道的信道容量C二22Pn。43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無(wú)失真?zhèn)鬟f信息的條件 是信息率小于信道容量。1/2 1/244、信道矩陣!_ 00 代表的信道的信道容量。=1 。1 01 045、信道矩陣L0 1J代表的信道的信道容量C二1。46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸 速率 Ct二 9 kHz 。47、對(duì)于具有歸并性能的無(wú)燥信道，達(dá)到信道容量的條件是p （yj） =l/m）。_1 0_48、信道矩陣】代表的信道，若每分鐘可以傳遞6*

22、105個(gè)符號(hào)，則該信道的最 大信息傳輸速率Ct二10kHz。49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。50、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的 極小值。51、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的 不確定性就 越大，獲得的信息量就越小。52、信源的消息通過(guò)信道傳輸后的誤差或失真越大道傳輸消息所需的信息率 也越53、單符號(hào)的失真度或失真函數(shù)d (xi, yj)表示信源發(fā)出一個(gè)符號(hào)xi,信宿再現(xiàn) yj所引起的誤差或失真。；o i 二 j54、漢明失真函數(shù)d (xi, yj)=【1 i豐j 。55、平方誤差失真函數(shù)d (

23、xi, yj)= (yj- xi)2。56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d (xi, yj)在X和Y的聯(lián)合概率 空間P (XY)中的統(tǒng)計(jì)平均值。57、如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。58、如果規(guī)定平均失真度D不能超過(guò)某一限定的值D,即：D D。我們把萬(wàn) D稱(chēng) 為保真度準(zhǔn)則。59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶N次擴(kuò)展信道的平均失真度是單符號(hào) 信源通過(guò)單符號(hào)信道的平均失真度的N倍。60、 試驗(yàn)信道的集合用PD來(lái)表示，則PD= by./七)：DD;i二1,2，A，仏j =1,2,A，m。61、信息率失真函數(shù)，簡(jiǎn)稱(chēng)為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的最

24、小 值。62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素。63、平均失真度的上限D(zhuǎn)max取Dj： j=1, 2, , m中的 最小值。64、率失真函數(shù)對(duì)允許的平均失真度是單調(diào)遞減和連續(xù)的。65、對(duì)于離散無(wú)記憶信源的率失真函數(shù)的最大值是log2n66、當(dāng)失真度大于平均失真度的上限時(shí)Dmax時(shí)，率失真函數(shù)R （D）二0。67、連續(xù)信源67、連續(xù)信源X的率失真函數(shù)R（D）=Infp(y / x) e PD68、當(dāng)D n 2時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為R（D）=1 1 b 22log2 萬(wàn)69、保真度準(zhǔn)則下的信源編碼定理的條件是 信源的信息率R大于率失真函數(shù)R（D）。X =10 110 a70、某二元信源_ P( X)_1/2 1/2J其失真矩陣d二a 0，則該信源的Dmax= a/2。X =10 110 a71、某二元信源_ P( X)_1/2 1/2J其失真