信息論總復(fù)習(xí)

1、-,.1,12.2.C=maxI(X;Y)=log2m-Hmi=10g2251gg-lg-)10g210=0.082bit/symbol第一章作業(yè)題1.設(shè)二元對稱信道的傳遞矩陣為-211331 213 3.(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(XY);(2)求該信道的信道容量及其達(dá)到信道容量時的輸入概率分布；解：(1)_3311H(X)=一“p(xi)=一(一log2-,一log2)=0.811bit/symboli4444h(y/x)=4'p(x)p(yj/x)10gp(yj/為)322311111122=-(lglglglg)log

2、210433433433433=0.918bit/symbol3211p(y)-p(x1y1)-p(x2y1)-p(x1)p(y1/x1)-p(X2)p(y1/X2)=0.583343433112_p(y2)刊“).py2)T(為加(丫2/月).p(x2)p(y2/X2)=:-=0.41674343H(Y)-p(yj)-(0.5833log20.58330.4167log20.4167)=0.980bit/symbolI(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)H(X/Y)=H(X)-H(Y)H(Y/X)=0.811-0.9800.918=0.749bit/symbol2)1p

3、(x)=-22.設(shè)有一批電阻，按阻值分70溢2KQ,30溢5KQ;按瓦分64溢0.125皿其余是0.25WA現(xiàn)已知2KQ阻值的電阻中80溢0.125W,問通過測量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少？解：對本題建立數(shù)學(xué)模型如下：/阻值_卜1=2KCx2=%C；"麴1y1=1/8y2=1/4；p（X）J-,0.70.3；p（Y）0.640.36；Hx/Xi）=。&血保）=0.2求：I（X;Y）以下是求解過程：I(X;Y)=H(X)H(X/Y)=0.811-0.749=0.062bit/symbolp(x1y1)=p(x1)p(y1/x1)=0.70.8=0.56p(x1y2

4、)=p(x1)p(y2/x1)=0.70.2=0.14P(yi)=p(xi%),p(x2yj.p(x2yi)=p(yi)p(xiyi)=0.640.56=0.08p(y2)=p(xiy2)-p(x2y2).p&y?)=p(yz)-p(xiy2)=0.36-0.i4=0.22H(X)=p(xi)=-0.7log20.70.310g20.3=0.88ibit/symboliH(Y)p(yj)=-0.64log20.640.3610g20.36)=0.943bit/symbolH(XY)=4'p(xyj)10gp(yj)=-0.56log20.560.14log20.140.08lo

5、g20.080.22log20.22=1.638bit/symbolI(X;Y)=H(X)H(Y)H(XY)=0.8810.9431.638=0.186bit/symbol1JJjP=36361111.6363111236P=111623111,362j3.試求以下各信道矩陣代表的信道的容量:00101000P=(2)00010100-一110P=000000010100101解：(1)這個信道是無噪無損信道：C=log2n=log24=2bit/symbol(2)這個信道是無噪有損信道C=log2m=log23=1.585bit/symbol(3)這個信道是對稱的離散信道-1111C=log

6、4-H(一，-，一)=0.0817(bit/symbol)3636(4)這個信道是對稱的離散信道-111C=log3-H(-,-)=0.126(bit/symbol)2364.有一個二元對稱信道，其信道矩陣為0.980.02_0.020.98設(shè)該信源以1500二元符號/秒的速度傳輸輸入符號。現(xiàn)有一消息序列共有14000個二元符號，并設(shè)P(0)=P(1)=1/2,問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳遞完？解：信道容量計(jì)算如下：C=maxI(X;Y)-maxH(Y)-H(Y/X)-1-HmaX(Y)-Hmi=logz2(0.9810g20.980.0210g20.02)=

7、0.859bit/symbol也就是說每輸入一個信道符號，接收到的信息量是0.859比特。已知信源輸入1500二元符號/秒，那么每秒鐘接收到的信息量是：I1=1500symbol/s0.859bit/symbol=1288bit/s現(xiàn)在需要傳送的符號序列有14000個二元符號，并設(shè)P(0)=P(1)=1/2,可以計(jì)算出這個符號序列的信息量是I-14000(0.510g20.50.510g20.5)=14000bit要求10秒鐘傳完，也就是說每秒鐘傳輸?shù)男畔⒘渴?400bit/s,超過了信道每秒鐘傳輸?shù)哪芰?1288bit/s)。所以10秒內(nèi)不能將消息序列無失真的傳遞完。第一章作業(yè)題1.試說明信

8、息、消息和信號三者的聯(lián)系與區(qū)別.A.區(qū)別：(1).概念：信息是事物運(yùn)動狀態(tài)或存在方式的不確定性描述；消息是指能被人的感覺器官所感知的事物運(yùn)動狀態(tài)或存在方式的表現(xiàn)形式；信號是消息的物理表現(xiàn)形式；(2).信息是抽象的概念，消息是具體的概念，而信號則是物理性的概念B.聯(lián)系：消息中包含信息，是信息的載體，信息是消息中隱含的本質(zhì)內(nèi)容；信號是消息的表現(xiàn)形式，消息是信號的具體內(nèi)容；信號是信息的物理載體，消息是信號中攜帶的內(nèi)容?2.從你的實(shí)際生活中列舉出三種不同類型的通信系統(tǒng)模型，并說明它們各自包括的主要功能模塊及其作用.答案很多。第二章作業(yè)題1.一副充分洗亂了的牌(含52張牌)，試問(1)任一特定排列所給出

9、的信息量是多少？(2)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能得到多少信息量？解：(1)52張牌共有52!種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的，則任一特定排列所給出的信息量是：,、1.p(Xi)=；I(Xi)=logp(Xi)=log52!=225.581bit52!(2)52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下：一、413P(X)=不C52一,/、,413I(為)=logp(x)=log=13.208bitC522 .從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%女性發(fā)病率為0.5%,如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，

10、問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？解：男士：P(Xy)=7%I(xy)=-logp(xY)=-log0.07=3.837bitP(Xn)-93%I(xn)=-logp(xN)=-log0.93=0.105bit2H(X)P(Xi)logp(Xi)二-(0.07log0.070.93log0.93)=0.366bit/symbol女士：2H(X)-P(xJ10gp(xj-(0.00510g0.0050.995log0.995)=0.045bit/symbolYy1(身高>160cm)y2(身高<160cm)P

11、(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：p(y1/X1)=0.75求：身高160厘米以上的某女孩是大學(xué)生的信息量I(x/y尸70gpj/y)即：二_logp(X1)p(y1/X1)p(w)0.250.75二-log=1.415bit0.5第6章信道編碼概述習(xí)題答案3 .居住某地區(qū)的女孩子有25溢大學(xué)生，在女大學(xué)生中有75%!身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機(jī)變量X代表女孩子學(xué)歷Xxi(是大學(xué)生)Fx2(不是大學(xué)生)P(X)0.250.75設(shè)隨機(jī)變量

12、Y代表女孩子身高1.計(jì)算碼長n=5的二元重復(fù)碼的平均譯碼錯誤概率。假設(shè)無記憶二元對稱信道錯誤傳遞概率為p。此碼能檢測出多少位錯誤？又能糾正多少位錯誤？如令p=0.01,平均譯碼錯誤概率是多大？解：碼長n=5的二元重復(fù)碼是(00000,11111),碼間最短距離為5,dmin=5=e+1e=4可以檢測出小于等于4位以下的錯誤。dmin=5=2X2+1=2t+1t=2可以糾正2位及2位以下的錯誤。1124111由于<一2422 .設(shè)有一個離散無記憶信道，其信道矩陣為可以看出最佳譯碼為最小錯誤概率譯碼，平均錯誤概率為1/21/31/61/61/21/3.-1/31/61/2_3 .將M個消息編

13、成長為n的二元數(shù)字序列，此特定的1124M個二元序列從2n個可選擇的序列中獨(dú)立地等概率地選出。設(shè)采用最大似然譯若信源概率分布為p(xi)=1/2,p(X2)=p(X3)=1/4,求最佳譯碼時的平均錯誤譯碼概率。碼規(guī)則譯碼,碼概率。求在圖6-8中(a)、(b)、(c)三種信道下的平均錯誤譯Pe=C5P5C；p4(1-p)C；p3(1-p)2,:p=0.01_5.Pe=0.9810(a)(b)(c)解:極大似然譯碼規(guī)則譯碼時，由轉(zhuǎn)移概率矩陣可知：第一列中1 _,1,第三列中一為轉(zhuǎn)移概率的最大值，所以平均錯誤概率為:2 21111111111PE=-()()()二2364364362最小錯誤概率譯碼

14、，輸入x與輸出y的聯(lián)合概率分布為：11,4612,1工24,8,12111解:圖6-8(1)由圖可知，其轉(zhuǎn)移概率矩陣為:三個信道產(chǎn)PI!p1-p一Ll2,24,8j該信道任意一個序列譯碼錯誤概率為:11c1p=1-(1-b)(1崛(2)n+1-(1-p)(1勒C(2)n+.+1-(1-p)(1-p)Q2)n一個序列錯誤譯碼的概率為:11cp=1-(1-p)n%)n+1-(1-p)n%)n+.+1-(1-p)nC：(g)n平均譯碼錯誤概率為:pe=mn'|1-(1-p)n=m22n1-(1-p)n(2)由圖可知，其轉(zhuǎn)移概率矩陣為:10p1-p任意一個序列譯碼錯誤的概率為:1np=1-(1

15、-p)口叫"蟲n-1-11nc；(2)n+.+1-(1-p)0C：(g)n=1-(1-p)n平均譯碼錯誤概率為:Pe=MX2n1-(1-p)n:2丁_1-(1-p)n4.某一個信道輸入X的符號集為0,1/2,1,輸出丫的符號集為0,1,信道矩陣為11/201/2現(xiàn)有4個消息的信源通過該信道傳輸，設(shè)每個消息等概出現(xiàn)。若對信源進(jìn)行編碼，選用的碼為C=(0,0,1/2,1/2),(0,1,1/2,1/2),(1,0,1/2,1/2),(1,1,1/2,1/2)。譯碼規(guī)則為平均譯碼錯誤概率為:MFE=M-2n1-(2p)n=M-_2；2n1-(2-P)n一2,解:(3)由圖可知，其轉(zhuǎn)移概率矩

16、陣為:1-pp0op1-p.(1)求信息傳輸率；log41Rbit/符號n2y3,y46(01)000000000001一00004111444(2)求平均錯誤譯碼概率。根據(jù)信道的傳輸特性，可知可以輸出24=16種序列，可以分成4個子集,分別為：11“1=(0022)一(00y3y4)11“2=(0122)一(01y3y4)11“3=(1022)一(10y3y4)11“4二(1122)一(11y3y4)傳輸信道如下所示：(00(0100000001001000110100010101100111100010011010101111001101111011111111一一一一0000000044

17、44ccc-1111c000004444100000000一411、譯碼規(guī)則為：f(y1,y2,y3,y4)=(y1,y2,萬，5)每個碼字引起錯誤的概率：pe=2p(P|%)Mp(f(P#%)=0i=1、r2、3、4所以Pe="P(:i)Pe=0C11(1022)(11第7章線性分組碼習(xí)題答案1.已知一個(5,3)線性碼C的生成矩陣為:11001G=0110100111-(1)求系統(tǒng)生成矩陣；(2)列出C的信息位與系統(tǒng)碼字的映射關(guān)系；(3)求其最小Hamming距離，并說明其檢錯、糾錯能力；(4)求校驗(yàn)矩陣H;(5)列出譯碼表，求收到r=11101時的譯碼步驟與譯碼結(jié)果。解：(1)

18、線性碼C的生成矩陣經(jīng)如下行變換：10-01001001100110011100111111將第2、3加到第1行八J0-0110將第3加到第2行13011_A。011101111011010111(5)消息序列m=000,001,010,011,100,101,110,111,由c=mGs得碼字序列C0=00000,C1=00111,C2=01010,C3=01101,C4=10011,C5=10100,C6=11001,C7=1111001111000000011110101001101100111010011001111101000010111110101110100011001000100

19、10111001000011110001000101110111110010001101100000100110010110110010010101011100011111則譯碼表如下:當(dāng)接收到r=(11101)時，查找碼表發(fā)現(xiàn)它所在的列的子集頭為(01101),所以將它譯為C=01101O得到線性碼C的系統(tǒng)生成矩陣為11Gs-01(2)碼字c=(C0，C1,，Cn)的編碼函數(shù)為c=f(m)=m0100111m1b10101m202.設(shè)(7,3)線性碼的生成矩陣如下0101010G=00101111001101-(1)求系統(tǒng)生成矩陣；(2)求校驗(yàn)矩陣；(3)求最小漢明距離；(4)列出伴隨式表。

20、解：(1)生成矩陣G經(jīng)如下行變換由GIn_k，Ak(n_k)LHAk(n_k)，In_k,得校驗(yàn)矩陣為110101H=011J011000010000100001(3)由于校驗(yàn)矩陣H的任意兩列線性無關(guān)，3列則線性相關(guān)，所以最小漢明距離d=3o(4)(7,3)線性碼的消息序列m=000,001,010,011,100,101,110,111,由c=mGs得碼字序列：Co=0000000,C1=0010111,C2=0101010,C3=0111101,C4=1001101,C5=1011010,C6=1100111,C7=1110000o又因伴隨式有24=16種組合，差錯001101010101

21、1001100交換第1、3亍.1*1100001101010111101010圖樣為1的有”=7種，差錯圖樣為2的有1，712J=21種，而由HrT=HeT,-10011011-100110110010111交換第2、3亍01010100101010-0010111-得到系統(tǒng)生成矩陣：則計(jì)算陪集首的伴隨式，構(gòu)造伴隨表如下:1001101GS=01010100010111_伴隨式陪集首伴隨式陪000000000000101100100011011000000100110001001010010000011110011000011100100001100000110010000001000111001001000100000010010110100001001000000100011001010000010000001011000001101【13.已知一個(6,3)線性碼C的生成矩陣為:(1)(2)(3)解：一。寫出它所對應(yīng)的監(jiān)督矩陣求消息M=(101)的碼字；rHT=101010LH；若收到碼字為101010,計(jì)算伴隨式，并求最有可能的發(fā)送碼字。(1)線性碼C的生成矩陣G就是其系統(tǒng)生成矩陣Gs,所以其監(jiān)督矩陣直接得出:一10