信息論與編碼期末考試題學(xué)生復(fù)習(xí)

1、信息論基礎(chǔ)參考答案相對(duì)嫡h x62 f x log f x dx一、填空題1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來(lái)自兩個(gè)方面， 一是信源符號(hào)間的相關(guān)性， 二是信源符 號(hào)的統(tǒng)計(jì)不均勻性。3、三進(jìn)制信源的最小嫡為0,最大嫡=2bit/自由度該信源的絕對(duì)嫡為無(wú)窮大。 三、已知信源(1)為 10g 23 bit/ 符號(hào)。4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源嫡(或Hr(S)。H(S)/logr=5、當(dāng)R=C或(信道剩余度為 0)時(shí), 信源與信道達(dá)到匹配。6、根據(jù)信道特性是否隨時(shí)間變化，信 道可以分為恒參信道和隨參信道。7、根據(jù)是否允許失真，信

2、源編碼可分 為無(wú)失真信源編碼和限失真信源編碼。8、若連續(xù)信源輸出信號(hào)的平均功率為2,則輸出信號(hào)幅度的概率密度是高 斯分布或正態(tài)分布s1s2 s3 s4 35 s60.2 0.2 0.2 0.2 0.1 0.1用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；(6分)(2)計(jì)算平均碼長(zhǎng)L; (4分)(3)計(jì)算編碼信息率R ; (2分)(4)計(jì)算編碼后信息傳輸率 R; (2分)(5)計(jì)算編碼效率。(2 分)(1)SiS2S3S4S50.20.20.20.20.11.0乂21f x -e 2時(shí)，信源具有最大2S60.1編碼結(jié)果為:嫡，其值為值110g 2 e 2 o29、在下面空格中選擇填入數(shù)學(xué)符號(hào)(1)當(dāng)X和Y相互

3、獨(dú)立時(shí), 三H(X)+H(X/Y)=H(Y)+H(X)。(2H (XYSiS2S3S4S5S60001100101110111H2 XH3 XH X1X22H X1X2X33i 0.40.6 32.6碼”號(hào)(3)假設(shè)信道輸入用 X表示，信道輸(3)L 10g r=2.6 bj%號(hào)四、某信源輸出A、B C、D E五種符 號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)， 出現(xiàn)概率分 別為 1/8、1/8、1/8、1/2、1/8。如果 符號(hào)的碼元寬度為 0.5 s。計(jì)算：(1)信息傳輸速率 R。(2)將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳 輸，噪聲的單邊功率譜密度為n。10 6WHz。試計(jì)算正確傳

4、輸這些數(shù)據(jù)最少需要的發(fā)送功率 解：P。Rt1061 H X H Xt11log 41210g3一 log22 log2bit2 bit05s2 106log22H XY81 210g1 一 log 21一 log 2106 bpsP610226W五、一個(gè)一階馬爾可夫信源,概率為610轉(zhuǎn)移PS|S 3 Ps21s 3尸隹(2)畫(huà)出狀態(tài)轉(zhuǎn)移圖。計(jì)算穩(wěn)態(tài)概率。計(jì)算馬爾可夫信源的極限嫡。出用Y表示。在無(wú)噪有損信道中，H(X/Y)0, H(Y/X)=0,IIX;Y)0時(shí)率失真函數(shù)的冷血和。皿火?M 印和 IsX；Y ；2）求該信道的悟道容2/31/3再（三n.幻13加褊最，（101001）糾正為（101

5、011）,即H X |Y0.749bit /#f 為（101001）（1 分）2）,此項(xiàng)t網(wǎng)聚分漏朗管室分布。（六）為二1解：1）共6分上 ，-0,0616九、設(shè)一線性分組碼真有一致監(jiān)督矩 TOC o 1-5 h z 0 0 0 11 1陣 H0 1100 110 10111）求此分組碼 門=?k=?共有多少碼字？2）求此分組碼的生成矩陣Go3）寫(xiě)出此分組碼的所有碼字。4）若接收到碼字（101001）,求出伴隨 式并給出翻譯結(jié)果。解：1） n=6,k=3,共有8個(gè)碼字。（3分）3）所有碼字為 000000,001101,010011,011110, 100110 , 101011 , 1101

6、01 ,111000O （4分）4）由 STHRT 得S 101 , （2分） 該碼字在第5位發(fā)生一、概念簡(jiǎn)答題.什么是平均自信息量與平均互信息， 比較一下這兩個(gè)概念的異同？.簡(jiǎn)述最大離散嫡定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大嫡是多少？.解釋信息傳輸率、信道容量、最佳輸 入分布的概念，說(shuō)明平均互信息與信源 的概率分布、信道的傳遞概率間分別是 什么關(guān)系？二、綜合題1.黑白氣象傳真圖的消息只有黑色和 白色兩種，求：1） 黑色出現(xiàn)的概率為 0.3,白色出現(xiàn) 的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào) 的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求嫡；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)

7、系為：F句白） 0.9,尸黑面7.1產(chǎn)旬黑。一 2HCT 0T 得C2C4C5C3C5 c4c3c2GC0 由CiCo 0C3Co0CiCo 0 （3分）.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其 系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù) 處理定理。.寫(xiě)出香農(nóng)公式，并說(shuō)明其物理意義。 當(dāng)信道帶寬為5000Hz，信噪比為30dB 時(shí)求信道容量。1）若,求雙和3）|；2）求該信道的信道容量和最佳輸入分 布。嶗俱廠同，求其嫡但式用；2.二元對(duì)稱信道如圖。3.信源空間為平均互信息,它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的占1 S2 5 S4 J *6 S10.4 0.2 0.1 0,1 005 0.05 005,試分別

8、構(gòu)造二元和三元霍夫曼碼，計(jì) 算其平均碼長(zhǎng)和編碼效率。JT 制i.l /J表示從丫獲得的關(guān)于每個(gè)X的平均信息量， 也表不發(fā)X前后Y的平均不確定性減少的量,信道容量，其值取決于信噪比和帶寬。10g_-30 dB -1000由 隊(duì)取得肌獷 ，則Ct =5000kga（l+ 1000） = 49836 bitk還表示通信前后整個(gè)系統(tǒng)不確定性減少的二 L 2 3 6FS戶!.2 6 2 53 6 1,并設(shè)試分別按4.設(shè)有一離散信道，其信道傳遞矩陣為2.答：最大離散燧定理為：離散無(wú)記憶信源, 等概率分布時(shí)燧最大。L 6.答：只要部,當(dāng)N足夠長(zhǎng)時(shí),一定存在一種無(wú)失真編碼。、綜合題數(shù)據(jù)處理定理為：串聯(lián)信道的輸

9、入輸出 X、丫、Z組成一個(gè)馬爾可夫鏈，且有產(chǎn)(%) 工尸(%)產(chǎn)3/4上產(chǎn)+P 1-1,2最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn) 則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò) 誤概率。5.5.已知一（8, 5）線性分組碼的生成1M 皿 111100D1D0D010DQ10 COOWOD1Ell。求：1）輸入為全 00011和10100時(shí)該 碼的碼字；2）最小碼距。6.設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s ,在帶寬為4kHz的高斯信道 中傳輸，噪聲功率譜NO=5 10-6mw/Hz 試求：（1）無(wú)差錯(cuò)傳輸需要的最小輸入功率是多少？（2）此時(shí)輸入信號(hào)的最大連續(xù)嫡是多 少？寫(xiě)出對(duì)應(yīng)的輸入概率密度函數(shù)的 形式。

10、答案一、概念簡(jiǎn)答題1.答：平均自信息為丹（幻-工尹（西）1速尸j-i表不信源的平均不確定度，也表不平均每個(gè) 信源消息所提供的信息量。最大嫡值為“皿雙一1電陽(yáng)o.答：信息傳輸率R指信道中平均每個(gè)符號(hào) 所能傳送的信息量。信道容量是一個(gè)信道所 能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到 信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳 輸入概率分布。平均互信息是信源概率分布的n型凸函 數(shù)，是信道傳遞概率的 U型凸函數(shù)。.答：通信系統(tǒng)模型如下：MK工）-冷、2J。說(shuō)明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。5.答：香農(nóng)公式為.答：當(dāng)R如果信源和失真度一定，則平均失真度 是信道統(tǒng)計(jì)特性的函數(shù)。58、如果規(guī)定平均失真度

11、D不能超過(guò)某一限定的值D,即：D D。我們把D D稱 為保真度準(zhǔn)則。59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記 憶N次擴(kuò)展信道的平均失真度是單符號(hào)信源 通過(guò)單符號(hào)信道的平均失真度的 N 倍。60、試驗(yàn)信道的集合用PD來(lái)表示，則 PD =p(yj/xi):5 D;i 1,2, ,n,j 1,2,61、信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的最魚(yú)_62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素。63、平均失真度的上限 Dmx取D:j=1,2, , m中的最小值。64、率失真函數(shù)對(duì)允許的平均失真度是單調(diào) 遞減和連續(xù)的。65、對(duì)于離散無(wú)記憶信源的率失真函數(shù)的最

12、 大值是10g 2n 。66、當(dāng)失真度大于平均失真度的上限時(shí)時(shí)，率失真函數(shù)R (D) = 0 oDmax67、連續(xù)信源X的率失真函數(shù)R (D)InfI(X;Y)p(y/x)Pd68、當(dāng)度下R(D)2時(shí)，高斯信源在均方差失真 信息率失真函數(shù)21 210g70、某二元信源P(X)1/21/2其失真矩陣D=a/2 。,則該信源的Dmax=71、某二元信源P(X)1/21/2其失真矩陣D=,則該信源的D min =69、保真度準(zhǔn)則下的信源編碼定理的條件是 信源的信息率 R大于率失真函數(shù) R(D)。72、某二元信源P(X)1/2 1/20 a其失真矩陣D= a 0，則該信源的R (D) =1-H (D/

13、a)。73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和安全編碼。74、信源編碼的目的是：提高通信的有效性。75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。一76、連續(xù)信源或模擬信號(hào)的信源編碼的理論 基礎(chǔ)是限失真信源編碼定理。77、在香農(nóng)編碼中，第i個(gè)碼字的長(zhǎng)度ki和p(xi) 之 間 看log2 P(xi) ki 1 log2 p(x )關(guān) 系。78、對(duì) 信,mXx1x2x3P(X)1/4 1/4 1/8進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為源x4xs1/8 1/161 o79、對(duì)具有8個(gè)消息的單符號(hào)離散無(wú)記憶信 源進(jìn)行4進(jìn)制哈夫曼編碼時(shí)，為使平均碼

14、長(zhǎng) 最短，應(yīng)增加2個(gè)概率為0的消息。80、對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼, 編碼方法惟一的是香農(nóng)編碼。81、對(duì)于二元序列111111111111其相應(yīng)的游 程序列是23652457 。82、設(shè)無(wú)記憶二元序列中，“0”和“1”的概 率分別是P0和P1,則“ 0”游程長(zhǎng)度L (0)的概率為PL(0) P0 P1 o83、游程序列的燧等于原二元序列的燧。84、若“0”游程的哈夫嗎編碼效率為ri 0,“1” 游程的哈夫嗎編碼效率為11 ,且T 0 T 1對(duì)應(yīng)的二元序列的編碼效率為7,則三者的關(guān)系是 0 185、在實(shí)際的游程編碼過(guò)程中，對(duì)長(zhǎng)碼一般采取截?cái)嗵幚淼姆椒ā?6、“0”游程和“ 1”游程可以

15、分別進(jìn)行哈夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù)，但C竺必須不同。而、在多符號(hào)的消息序列中，大量的重復(fù)出 現(xiàn)的，只起占時(shí)作用的符號(hào)稱為冗余位。88、“冗余變換”即：將一個(gè)冗余序列轉(zhuǎn)換成 一個(gè)二元序列和一個(gè)縮短了的多元序列。89、L-D編碼是一種分幀傳送冗余位序列的方 法。90、L-D編碼適合于冗余位較多或較少的情況。91、信道編碼的最終目的是提高信號(hào)傳輸?shù)?可靠性。92、狹義的信道編碼即：檢、糾錯(cuò)編碼。93、BSC信道即：無(wú)記憶二講制對(duì)稱信道。94、n位重復(fù)碼的編碼效率是1/n 。95、等重碼可以檢驗(yàn)全部的奇數(shù)位錯(cuò)和部分 的偶數(shù)位錯(cuò)。96、任意兩個(gè)碼字之間的最小漢明距離有稱min d (c, c)

16、為碼的最小距dmin ,貝1J dmin= c c1。97、若糾錯(cuò)碼的最小距離為dmin,則可以糾正d 1min任意小于等于t= 4個(gè)差錯(cuò)。98、若檢錯(cuò)碼的最小距離為 dmin,則可以檢測(cè) 出任意小于等于l= dmin-1個(gè)差錯(cuò)。99、線性分組碼是同時(shí)具有分組特性和線性特性的糾錯(cuò)碼。礪循環(huán)碼即是采用循環(huán)移位特性界定的一類線性分組碼。三、判斷(50道)1、必然事件和不可能事件的自信息量都是0 O錯(cuò)2、自信息量是p(Xi)的單調(diào)遞減函數(shù)。對(duì)3、單符號(hào)離散信源的自信息和信源:W都具 有非負(fù)性。對(duì)4、單符號(hào)離散信源的自信息和信源燧都是 一個(gè)確定值。錯(cuò)5、單符號(hào)離散信源的聯(lián)合自信息量和條件 自信息量都是

17、非負(fù)的和單調(diào)遞減的。對(duì)6、自信息量、條件自信息量和聯(lián)合自信息 量之間有如下關(guān)系：I (Xi yj) I(x) I(yjx) I(yj)對(duì)7、自信息量、條件自信息量和互信息量之間有如下關(guān)系：I (xi; yj) I (Xi) I (Xi / yj)I (yj)對(duì)8、當(dāng)隨即變量X和丫相互獨(dú)立時(shí)，條件婿 等于信源燧。對(duì)9、當(dāng)隨即變量X和丫相互獨(dú)立時(shí)，I (X;Y) =H (X)。錯(cuò)10、信源燧具有嚴(yán)格的下凸性。錯(cuò)11、平均互信息量I (X; Y)對(duì)于信源概率 分布p (Xi)和條件概率分布p (yj/Xi)都具有 凸函數(shù)性。對(duì)12、m階馬爾可夫信源和消息長(zhǎng)度為 m的有 記憶信源，其所含符號(hào)的依賴關(guān)系

18、相同。錯(cuò)13、利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率 來(lái)求m階馬爾可夫信源的極限婿。對(duì)14、N維統(tǒng)計(jì)獨(dú)立均勻分布連續(xù)信源的婿是N維區(qū)域體積的對(duì)數(shù)。對(duì)15、一維高斯分布的連續(xù)信源，其信源燧只與其均值和方差有關(guān)。錯(cuò)16、連續(xù)信源和離散信源的燧都具有非負(fù)性。錯(cuò)17、連續(xù)信源和離散信源都具有可加性。對(duì)18、連續(xù)信源和離散信源的平均互信息都具 有非負(fù)性。對(duì)19、定長(zhǎng)編碼的效率一般小于不定長(zhǎng)編碼的 效率。對(duì)20、若對(duì)一離散信源(婿為 H (X)進(jìn)行二 進(jìn)制無(wú)失真編碼，設(shè)定長(zhǎng)碼子長(zhǎng)度為 K,變長(zhǎng)碼子平均長(zhǎng)度為 K , 一般K K。錯(cuò)21、信道容量C是I (X; Y)關(guān)于p (Xi)的 條件極大值。對(duì)22、離散無(wú)

19、噪信道的信道容量等于log2n,其中n是信源X的消息個(gè)數(shù)。錯(cuò)1一、,p(yj)23、對(duì)于準(zhǔn)對(duì)稱信道，當(dāng)m時(shí)，可達(dá)到信道容量C。錯(cuò)24、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái) 代表。對(duì)25、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái) 代表，但信道的信息率可以用一個(gè)數(shù)來(lái)表示。錯(cuò)26、高斯加性信道的信道容量只與信道的信噪有關(guān)。對(duì)27、信道無(wú)失真?zhèn)鬟f信息的條件是信息率小 于信道容量。對(duì)28、最大信息傳輸速率，即：選擇某一信源 的概率分布(p (Xi),使信道所能傳送的信 息率的最大值。錯(cuò)29、對(duì)于具有歸并性能的無(wú)燥信道，當(dāng)信源 等概率分布時(shí)(p (Xi) =1/n),達(dá)到信道容量。錯(cuò)30、求解率失真函數(shù)的問(wèn)題，即

20、：在給定失 真度的情況下，求信息率的極小值。對(duì)31、信源的消息通過(guò)信道傳輸后的誤差或失 真越大，信宿收到消息后對(duì)信源存在的不確 定性就越小，獲得的信息量就越小。錯(cuò)32/ 當(dāng) p (Xi)、p (yj/Xi)和 d (Xi, yj)給定(X4即如失真度是一個(gè)隨即變量。錯(cuò)33、率失真函數(shù)對(duì)允許的平均失真度具有上 凸性。對(duì)34、率失真函數(shù)沒(méi)有最大值。錯(cuò)I (y5、/資為真函數(shù)的最小值是 0。對(duì)36、率失真函數(shù)的值與信源的輸入概率無(wú)關(guān)。錯(cuò)37、信源編碼是提高通信有效性為目的的編碼。對(duì)38、信源編碼通常是通過(guò)壓縮信源的冗余度 來(lái)實(shí)現(xiàn)的。對(duì)39、離散信源或數(shù)字信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。錯(cuò)40、一般情況下，哈夫曼編碼的效率大于香 農(nóng)編碼和費(fèi)諾編碼。對(duì)41、在編m (m2)進(jìn)制的哈夫曼碼時(shí)，要考慮是否需要增加概率為 0的碼字，以使平均 碼長(zhǎng)最短。對(duì)42、游程序列的燧(“0”游程序列的燧與“1” 游程序列的燧的和)大于等于原二元序列的:W。錯(cuò)43、在游程編碼過(guò)程中，“0”游程和“ 1”游 程應(yīng)分別編