信息論總復(fù)習(共12頁)

1、第一章作業(yè)題1. 設(shè)二元對稱信道的傳遞(chund)矩陣為(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求該信道(xn do)的信道容量及其達到信道容量時的輸入概率分布；解：(1)2) 2. 設(shè)有一批電阻(dinz)，按阻值分70%是2K，30%是5 K；按瓦分64%是0.125W，其余是0.25W。現(xiàn)已知2 K阻值的電阻中80%是0.125W，問通過測量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少？解：對本題建立數(shù)學(xué)模型如下：以下是求解過程：3. 試求以下(yxi)各信道矩陣代表的信道的容量： 解：(1) 這個(zh g

2、e)信道是無噪無損(w sn)信道：(2) 這個信道是無噪有損信道(3) 這個信道是對稱的離散信道(4) 這個信道是對稱的離散信道4. 有一個二元對稱信道，其信道矩陣為設(shè)該信源以1500二元符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二元符號，并設(shè)P(0) = P(1) = 1/2，問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳遞完？解：信道容量計算(j sun)如下：也就是說每輸入一個(y )信道符號，接收到的信息量是0.859比特(b t)。已知信源輸入1500二元符號/秒，那么每秒鐘接收到的信息量是：現(xiàn)在需要傳送的符號序列有14000個二元符號，并設(shè)P(0)

3、 = P(1) = 1/2，可以計算出這個符號序列的信息量是要求10秒鐘傳完，也就是說每秒鐘傳輸?shù)男畔⒘渴?400bit/s，超過了信道每秒鐘傳輸?shù)哪芰Γ?288 bit/s）。所以10秒內(nèi)不能將消息序列無失真的傳遞完。第一章作業(yè)題1. 試說明信息、消息和信號三者的聯(lián)系與區(qū)別.A. 區(qū)別：(1).概念: 信息是事物運動狀態(tài)或存在方式的不確定性描述；消息是指能被人的感覺器官所感知的事物運動狀態(tài)或存在方式的表現(xiàn)形式；信號是消息的物理表現(xiàn)形式；(2). 信息是抽象的概念，消息是具體的概念，而信號則是物理性的概念聯(lián)系：消息中包含信息，是信息的載體，信息是消息中隱含的本質(zhì)內(nèi)容；信號是消息的表現(xiàn)形式，消息

4、是信號的具體內(nèi)容；信號是信息的物理載體，消息是信號中攜帶的內(nèi)容 2. 從你的實際生活中列舉出三種不同類型的通信系統(tǒng)模型，并說明它們各自包括的主要功能模塊及其作用. 答案很多。第二章作業(yè)題1. 一副充分洗亂了的牌（含52張牌），試問(1) 任一特定排列所給出的信息量是多少？(2) 若從中抽取13張牌，所給出的點數(shù)都不相同能得到多少信息量？解： (1) 52張牌共有52！種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的，則任一特定排列所給出的信息量是：； (2) 52張牌共有4種花色、13種點數(shù)，抽取13張點數(shù)不同的牌的概率如下：2. 從大量統(tǒng)計資料知道，男性(nnxng)中紅綠色盲的發(fā)病率為7%，女性

5、發(fā)病率為0.5%，如果你問一位男士：“你是否是色盲(smng)？”他的回答(hud)可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？解： 男士：女士：3. 居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？解：設(shè)隨機變量X代表女孩子學(xué)歷Xx1（是大學(xué)生）x2（不是大學(xué)生）P(X)0.250.75設(shè)隨機變量Y代表女孩子身高Yy1（身高160cm）y2（身高16

6、0cm）P(Y)0.50.5已知：在女大學(xué)生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學(xué)生的信息量即：第6章 信道編碼概述 習題(xt)答案(d n)1計算(j sun)碼長n=5的二元重復(fù)碼的平均譯碼錯誤概率。假設(shè)無記憶二元對稱信道錯誤傳遞概率為p。此碼能檢測出多少位錯誤？又能糾正多少位錯誤？如令p =0.01,平均譯碼錯誤概率是多大？解：碼長n=5的二元重復(fù)碼是（00000，11111），碼間最短距離為5，dmin=5=e+1 e=4 可以檢測出小于等于4位以下的錯誤。dmin=5=22+1=2t+1 t=2 可以糾正2位及2位以下的錯誤。設(shè)有一個離散無記憶信道

7、，其信道矩陣為若信源概率分布為p(x1)=1/2，p(x2)=p(x3)=1/4，求最佳譯碼時的平均錯誤譯碼概率。解：極大似然譯碼規(guī)則譯碼時，由轉(zhuǎn)移概率矩陣可知：第一列中，第二列中，第三列中為轉(zhuǎn)移概率的最大值，所以平均錯誤概率為：最小錯誤概率譯碼，輸入x與輸出y的聯(lián)合概率分布為：由于可以看出最佳譯碼為最小錯誤概率譯碼，平均錯誤概率為將M個消息編成長為n的二元數(shù)字序列，此特定的M個二元序列從2n個可選擇的序列中獨立地等概率地選出。設(shè)采用最大似然譯碼規(guī)則譯碼，求在圖6-8中(a)、(b)、(c)三種信道下的平均錯誤譯碼概率。(a)pp1 p001 p111001 p11p(b)E1 p001 p1

8、1 pp(c)圖6-8 三個信道(xn do)解：（1）由圖可知，其轉(zhuǎn)移(zhuny)概率矩陣為：該信道任意(rny)一個序列譯碼錯誤概率為：平均譯碼錯誤概率為：（2）由圖可知，其轉(zhuǎn)移概率矩陣為：任意一個序列譯碼錯誤的概率為：平均譯碼錯誤概率為：（3）由圖可知，其轉(zhuǎn)移概率矩陣為：一個序列錯誤譯碼的概率為：平均譯碼錯誤概率為：4某一個(y )信道輸入X的符號(fho)集為0, 1/2, 1，輸出Y的符號集為0, 1，信道(xn do)矩陣為現(xiàn)有4個消息的信源通過該信道傳輸，設(shè)每個消息等概出現(xiàn)。若對信源進行編碼，選用的碼為C=(0, 0, 1/2, 1/2)，(0, 1, 1/2, 1/2)，(1

9、, 0, 1/2, 1/2)，(1,1, 1/2, 1/2) 。譯碼規(guī)則為解：(1) 求信息傳輸率； bit/符號(2) 求平均錯誤譯碼概率。 根據(jù)信道的傳輸特性，可知可以輸出24=16種序列，可以分成4個子集，分別為： 傳輸信道如下所示： 譯碼規(guī)則(guz)為：每個碼字引起錯誤(cuw)的概率： i=1、2、3、4所以(suy) 第7章 線性分組碼習題答案1. 已知一個(5, 3)線性碼C的生成矩陣為：（1）求系統(tǒng)生成矩陣；（2）列出C的信息位與系統(tǒng)碼字的映射關(guān)系；（3）求其最小Hamming距離，并說明其檢錯、糾錯能力；（4）求校驗矩陣H；（5）列出譯碼表，求收到r=11101時的譯碼步驟

10、與譯碼結(jié)果。解：（1）線性碼C的生成矩陣經(jīng)如下行變換：得到(d do)線性碼C的系統(tǒng)生成矩陣為（2）碼字的編碼(bin m)函數(shù)為生成(shn chn)了的8個碼字如下信息元系統(tǒng)碼字0000000000100111010010100110110110010011101101001101100111111110(3) 最小漢明距離d=2，所以可檢1個錯，但不能糾錯。(4) 由，得校驗矩陣(5) 消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得碼字序列c0=00000, c1=00111,c2=01010, c3=01101,c4=10011, c5=1

11、0100,c6=11001, c7=11110則譯碼表如下：0000000111010100110110011101001100111110100001011111010111010001100100010010111001000011110001000101110111110010001101100000100110010110110010010101011100011111當接收到r =(11101)時，查找碼表發(fā)現(xiàn)它所在的列的子集頭為(01101)，所以將它譯為c=01101。2設(shè)（7, 3）線性碼的生成矩陣如下（1）求系統(tǒng)生成矩陣；（2）求校驗矩陣；（3）求最小漢明距離；（4）列出伴隨

12、式表。解：（1）生成矩陣G經(jīng)如下行變換得到(d do)系統(tǒng)生成矩陣：（2）由，得校驗(xio yn)矩陣為（3）由于(yuy)校驗矩陣H的任意兩列線性無關(guān)，3列則線性相關(guān)，所以最小漢明距離d=3。（4）（7, 3）線性碼的消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得碼字序列：c0=0000000，c1=0010111，c2=0101010，c3=0111101，c4=1001101，c5=1011010，c6=1100111，c7=1110000。又因伴隨式有24=16種組合，差錯圖樣為1的有，差錯圖樣為2的有，而由，則計算陪集首的伴隨式，構(gòu)造伴

13、隨表如下：伴隨式陪集首伴隨式陪集首000000000000101100100011011000000100110001001010010000011110011000011100100001100000110010000001000111001001000100000010010110100001001000000100011001010000010000001011000001103已知一個(6, 3)線性碼C的生成矩陣為：（1） 寫出它所對應(yīng)的監(jiān)督矩陣H；（2） 求消息(xio xi)M=(101)的碼字；（3） 若收到碼字為101010，計算伴隨(bn su)式，并求最有可能的發(fā)送碼字。

14、解：（1）線性碼C的生成(shn chn)矩陣G就是其系統(tǒng)生成矩陣GS，所以其監(jiān)督矩陣H直接得出：（2）消息M=(m0,m1,m2)=(101)，則碼字c為：（3）收到碼字r=(101010)，則伴隨式又（6, 3）線性碼的消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得碼字序列：c0=000000，c1=001110，c2=010011，c3=011101，c4=100101，c5=101011，c6=110110，c7=111000。伴隨式有23=8種情況，則計算伴隨式得到伴隨表如下：伴隨式陪集首000000000101100000011010000110001000100000100010000010001000001111100010伴隨式（001）對應(yīng)陪集首為（000001），而c=r+e，則由收到的碼字r=(101010)，最有可能發(fā)送的碼字c為：c=（101011）。4設(shè)(6, 3)線性碼的信息元序列為x1x2x3，它滿足如下監(jiān)督方程組（1）求校驗矩陣，并校驗10110是否為一個碼字； （2）求生成矩陣，并由信息碼元序列101生成一個碼字。解：（1）由監(jiān)督方程直接得監(jiān)督矩陣(j zhn)即校驗矩陣為：因為收到的序列(xli)10110為5位，而由（6,