信息論1試卷與答案

1、一、概念簡(jiǎn)答題（每題5分，共40分1. 什么是平均自信息最與平均互信息，比較一下這兩個(gè)概念的異同？= -»（再）1。呂鞏西）答：平均自信息為I表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。（x,y）=-空$（軌）噸里¥孕平均互信息j E鞏仍表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還 表示通信前后整個(gè)系統(tǒng)不確定性減少的量。2. 簡(jiǎn)述最大離散墻定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大埔是多少？答：故大離散爛定理為：離散無記憶信源，等概率分布時(shí)爛最人。最犬爛值為=10g2o3. 解釋信息傳輸率、信道容最、最佳輸入分布的概念，

2、說明平均互信息與信源的 概率分布、信道的傳遞概率間分別是什么關(guān)系？答：信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息最。信道容最是一個(gè)信道所能達(dá)到 的最大信息傳輸率。信息傳輸率達(dá)到信道容呈時(shí)所對(duì)應(yīng)的輸入概率分布稱為繪佳輸入概率分 布。平均互信息是信源槪率分布的門型凸函數(shù)，是信道傳遞槪率的U型凸嗨數(shù)。4. 對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處 理定理。答：通信系統(tǒng)模型如下：數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個(gè)馬爾可夫鏈，且有“x；z）x（x；r）, ;（z；z）<z（y；z）。說明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。5. 寫出香農(nóng)公式，并說

3、明其物理意義。當(dāng)信道帶寬為5000Hz,信噪比為30dB時(shí) 求信道容量。C, =lim =爐1塔2 1 + 香農(nóng)公式為bills它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容最.其值取決于信噪比和帶寬。h1C，lg = 30 dB 得顧則 C廠 50。01昭2（1 + 1000）=49836 bit/s6. 解釋無失真變長(zhǎng)信源編碼定理。瓦上F（X）.答：只要Llo創(chuàng)加，當(dāng)n足夠長(zhǎng)時(shí)，一定存在一種無失真編碼。7 解釋有噪信道編碼定理。答：當(dāng)R<C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率 無窮小。 U 0 10 a8什么是保真盛準(zhǔn)則？對(duì)二兀信源衛(wèi)3B81 一少1 D

4、-,英失真矩陣a 0求a>0時(shí)率失真函數(shù)的°込和2啦?答：1）保宜度準(zhǔn)則為：平均失真度不大于允許的失貞度。n = a2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0,所以有4址 卩，而 D曲=min（l- oj）a,a）ao二.綜合題（每題10分，共60分）1黑白'（象傳貞圖的消息只冇黑色和白色兩種.求:1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為07。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù) 學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒右關(guān)聯(lián)，求爛刃（*兒2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：尸血，白）=0 9, P（黑/白）0.1,黑）=0.2,尸（黑j黑）=o求其爛雖（X）:2:元對(duì)稱信道

5、如圖。0131I若P蔦,旳蔦，求陀0和3。2）求該信道的信道容量和繪佳輸入分布。0.4 0.2 0.1 0.1 0.05 0.050.05 0.053.信源空間為試分別構(gòu)造二元和三元霍夫曼碼.計(jì)算其平均碼長(zhǎng)和編碼效率。4.設(shè)有一離散信道,其信道傳遞矩陣為U23 612 3£ 26 2心）=I PG） £pg丄并設(shè)仁試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則.并計(jì)算相應(yīng)的平均錯(cuò)誤概率。100001110100010000100010000100015.已知一（8. 5）線性分組碼的生成矩陣為00001111求：1）輸入為全00011和10100時(shí)該碼的碼字：2）最

6、小碼距。6.設(shè)某一信號(hào)的信息傳輸率為5. 6kbit/s,在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜 N0=5X10-6mw/Hzo 試求：（1）無差錯(cuò)傳輸需要的最小輸入功率是多少？（2）此時(shí)輸入倍號(hào)的最人連續(xù)墻足多少？寫出対應(yīng)的輸入概率密度函數(shù)的形式。概念簡(jiǎn)答題（每題5分.共40分1.2.3. 答；信息傳輸率R指信逍中平均毎個(gè)符號(hào)所能傳送的信息呈。信逍容雖圧一個(gè)信道所能達(dá)到的懾大信息 傳輸率.信息傳輸率達(dá)到信道容戢時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布.平均互值息足信源概率分布的門型凸函數(shù).圧信道傳遞概率的U型凸函數(shù)。7答：當(dāng)R<C時(shí)，只要碼長(zhǎng)足夠長(zhǎng).一定能找到種編碼方法和譯碼規(guī)

7、則，使譯碼借渓槪率無窮小。二.綜合題（每題10分.共60分）8.5答：1）輸入為00011時(shí)，碼字為00011110：輸入為10100時(shí).碼字為10100101 o色二黑二白1. 答：i）信源模型為L(zhǎng) 0,3°-7.2-藝玖再）1碣2P-0.881拠/符號(hào)P（aJ = 丫尸（勺）戸（年 /勺.），i = 1,22）山I%"'®"2 2-召號(hào)尸©）尸（勺./同）畑2尸（勺/?。?0.55332.答：I）0.8113 勿符號(hào)2（-, 7）=0.0616 尿 / 符號(hào)2）0°82勿符號(hào)，最佳輸入概率分布為等概率分布.3答：1）二元碼

8、的碼字依序?yàn)椋?0, 11, 010. 011, 1010, 1011, 1000, 1001.平均円長(zhǎng)“ f編碼效率巾7972）三元碼的碼字依序?yàn)椋?. 00. 02. 20. 21. 22. 010, 01K平均碼長(zhǎng)厶"7旳/符兀編碼效率."3 09364答:1）瑕小似然譯碼準(zhǔn)則F.有）7$（2）72 尸=衛(wèi)2）最大借謀概率準(zhǔn)則下，冇"x29 f 24<C = log2（U-）6答:1）無錯(cuò)傳輸時(shí).有弘*即5.6X10? =4如畑（1+55二的）則P20.0328 硼2> = 0.0328叫"大嚴(yán)-長(zhǎng)心處皿沏自由度卩（X）二對(duì)應(yīng)的輸入概率

9、密度函數(shù)為10.206xl0-3CL0656 刑5答：1）輸入為00011時(shí)，碼字為00011110：輸入為10100時(shí).碼字為10100101 o5答：1）輸入為00011時(shí)，碼字為00011110：輸入為10100時(shí).碼字為10100101 o信息論習(xí)題集一. 名詞解釋（每詞2分）（25道）1、“本體論”的信息（P3）認(rèn)識(shí)論”信息（P3）3、離散信源（11）4、白信息呈（12） S、離散平穩(wěn)無記憶信源（49）6、馬爾可夫信（58）7. 信源冗余度（66> 8、連續(xù)信源（68） 9、信道容嵐（95）10.強(qiáng)對(duì)稱信道（99）11.對(duì)稱信道（101-102） 12、多符號(hào)離散信道（109）

10、13、連續(xù)信道（124）14、平均失翼度（136）15、實(shí)驗(yàn)信道（138）16.率失貞函數(shù)（139）17、信息價(jià)值率（163）18、游程序列（181）19、游程變換（181）20、LD編碼（184）.21.冗余變換（184）22. BSC 借道(189)23.碼的鼓小距離（193） 24.線性分組碼（195）25、循環(huán)碼（213）二. 填空（每空1分）（100道）1、在認(rèn)識(shí)論層次上研究信息的時(shí)候.必皴同時(shí)考慮到 形式、會(huì)義和效川三個(gè)方面的因秦。2、1948年.美國(guó)數(shù)學(xué)家站J發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文.從而創(chuàng)立了信息論。3、按照信息的性質(zhì).可以把信息分成語法信息、語義信息和語用信息-

11、4、按照信息的地位.可以把信息分成客觀信息和主觀信息°5、人們研究信息論的11的是為了高效、町靠、安全地交換和利用各種各樣的信息。6、信息的町度戢性是建立信息論的基礎(chǔ)7、統(tǒng)計(jì)度就是信息度呈晟常用的方法.8、嫡足香農(nóng)信息論啟基本燄重耍的概念。9、爭(zhēng)物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生概率的對(duì)數(shù)來描述的。10、單符號(hào)離散信源一般用隨機(jī)變戢描述而多符號(hào)離散信源一般用蘆機(jī)矢戢描述.個(gè)隨機(jī)車件發(fā)生某一結(jié)果后所帶來的匚息山爐川匚息冰.丄乂為k發(fā)生概宰對(duì)數(shù)的負(fù)值-12、fi信息雖的單位一般有比特、奈特和哈特。13、必然帀件的fl信息是0 14、不可能事件的門信息雖爬 8 °15、兩個(gè)相互獨(dú)立的隨

12、機(jī)變雖的聯(lián)合自信息雖等于兩個(gè)門信息戢之和。16、數(shù)據(jù)處理定理：半消息經(jīng)過多級(jí)處理后.隨著處理器數(shù)目的増多.輸入消息與輸出消息之間的平均互 信息星趙丁變小o17、離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的焰等于離散信源X的爛的衛(wèi)笆°18、離散平穗仃記憶仃源的極限墻H嚴(yán)輒H(Xn/X冬XQ19、對(duì)于n元m階馬爾可夫信源.其狀態(tài)空間共有 申 個(gè)不同的狀態(tài)。20. 一維連續(xù)隨即變戢X在a. b區(qū)間內(nèi)均勻分布時(shí).瓦信源燒為lo胚(ba)log2eP21、平均功率為P的高斯分布的連續(xù)信源.其信源埔，H< (X) =2 o22、對(duì)于限蜂值功率的N維連續(xù)信源.當(dāng)概率密度 均勻分侑時(shí)連續(xù)信源箱具冇最大

13、值.23、對(duì)丁限平均功率的維連續(xù)信源.當(dāng)概率密度島斯分布時(shí).信源炯冇鼓大値。24、對(duì)丁均值為0,平均功率受限的連續(xù)信源信源的冗余度決定丁平均功率的限定值P和信源的埼功率P Z比o忘耳一離散無記憶信源的信源埔H (X)等于2.5,對(duì)信源進(jìn)行等長(zhǎng)的無失貞二進(jìn)制編碼則編碼長(zhǎng)度至 少為3-工n嚴(yán)<126、m元長(zhǎng)度為也1=1 2, -n的異前呂碼存在的充耍條件出：一】-27、若把擲骰子的結(jié)果作為一離散信源.則其信源焰為1。更6 °28、同時(shí)擲兩個(gè)正常的骰子.各面呈現(xiàn)的槪率都為1/6.則勺和5同時(shí)出現(xiàn)”這件事的自信息量是Ifig遲 (H2 log?3)o1 - p(x) = e m29、若

14、維隨即變雖X的取値區(qū)間於0. 8,其概率密度函數(shù)為Bl ,其中：XAO. m於x的數(shù)學(xué)期望，則X的信源爛He (X) = log2 me。30、一副充分洗亂的撲克牌(52張).從中任意抽取1張，然疔放回.若把這一過程看作離散無記憶信源.則梵信源埔為l°g? 52 31、根據(jù)輸入輸出信號(hào)的特點(diǎn).可將信道分成離散信道、連繳信道、半離散或半連續(xù)仃道。32、信道的輸出僅與信道當(dāng)前輸入有關(guān).而與過去輸入無關(guān)的信道稱為無記憶信道。33、具有一一對(duì)應(yīng)關(guān)系的無噪信道的信逍容MC= log2n .34、謝對(duì)稱涪道的信道容雖C= Iog2n-Hn, e'35、對(duì)稱信道的信逍容尿C_lo如開。36

15、、對(duì)于離散無記憶信道和信源的N次擴(kuò)展.其信逍容呆滂 NC N工537、對(duì)于N個(gè)對(duì)立并聯(lián)信逍.其信逍容雖Cn= El -38、參用戶牯道的信道容呈用等維空間的5b區(qū)域的界限來衣示。39、多用戶信道可以分成幾種最基本的類型：筆址接入信道、廣播信道和相關(guān)信源信道。40、廣播信道足只有一個(gè)輸入端和多個(gè)輸出端 的信逍.41、片信道的噪聲對(duì)輸入的擾作用衣現(xiàn)為噪聲和輸入的線性疊加時(shí).此佇迫能為加性連續(xù)信道°gl0g2(l+ 孑)42、高斯加性信道的信道容C=ZFN 。43、信道編碼定理足一個(gè)理想編碼的存在杵定理，即：信道無失貞傳遞信息的條件兄信息率小于信道容戢1/2 1/2 0_44、信道矩陣L

16、°°1代表的信道的信道容1 o'1 045、信道矩陣L° 1代表的信逍的信道容量C=J_46、高斯加性噪聲信道中.信逍帶寬3kHz,信噪比為7,則該信道的最大信息傳輸速率G二丄上生_47、對(duì)丁具有歸并性能的無燥信道.達(dá)到信道容呈的條件出卩（y） =l/m） o1 048、信道矩陣L° 1代表的信道，若每分鐘可以傳遞610個(gè)符號(hào)，則該信道的熾大信息傳輸速率Ct= 10kHz ,49、信息率失直理論也雖化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)爪縮的理論基礎(chǔ)。50、求解率失真因數(shù)的問題.即：在給定失貞度的情況人 求信息率的極小值。51、信源的消息通過信逍傳輸后的誤

17、花或失苴越大.信宿收到消息后對(duì)信源存在的不確定件就越大，獲 得的信息雖就越小.52、信源的消息通過信道傳輸后的誤基或失貞越大逍傳輸消息所需的信息率衛(wèi)込。53、單符號(hào)的失貞度或失貞函數(shù)d （心力）表示信源發(fā)出一個(gè)符號(hào)信宿再現(xiàn)門所引起的謀罡或失貞o i= j54、漢明失貞函數(shù)d（X., Yj） = I1 1工.55、平方誤基失翼函數(shù)d （xXt yj） =（VyXi）2o56、平均失貞度定義為失貞扁數(shù)的數(shù)學(xué)期囊一即d （環(huán) 力）在X和Y的 聯(lián)合概率空間P（XY）中 的統(tǒng) 計(jì)平均值.57、如果信源和失真度一定.則平均失貞度X信道統(tǒng)計(jì)特性的函數(shù)。58. 如果規(guī)定平均失貞度D不能超過某一限定的值D即：D

18、 <DO我們把D <D稱為保貞度準(zhǔn)則=59、離散無記憶N次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的平均失其度是單符號(hào)信源通過單符號(hào)信道的平均失貞度的衛(wèi)倍60、6K62.63、64.65.66、式驗(yàn)佶道的集合用來衣示，則Pr=p&j /兀)：D SD;i = 1,2,n, j =1,2,m信息率失貞函數(shù).簡(jiǎn)稱為率失貞函數(shù).即：試驗(yàn)信道中的平均互信息磧的最小值平均夫貞段的卜限取D的條件是燦矩陣的毎彳亍至少冇個(gè)冬元素° 平均失翼度的上限 埜取D” j=l> 2，m中的 愎4、值°率失克函數(shù)對(duì)允許的軸失貞度是單調(diào)遞減和連續(xù)的 對(duì)丁離散無記憶信源的率失直函數(shù)的最

19、大值巴low 當(dāng)失賓度人丁平均失真度的上限時(shí) 險(xiǎn)時(shí)率失貞祐數(shù)R （D）=67、連續(xù)信源X的率失翼西數(shù)R （D）=Illfp(y/x)ePDI(X;Y)1 CT2 r10gr 68、當(dāng)D Sb時(shí).高斯信源在均方差失真度下的信息率失真說數(shù)為R（D）= 2- D69、保真度準(zhǔn)則下的信源編碼定理的條件是j®源的值軽星大理去2R（D） MBXf°70、某二元信源P(X)=V1/2OBX071、某二元信源P(X) «1/2X072、某二元信源P(X) <1/211/2J其失貞矩陣D=:1/2J其失真矩陣D=0 aa 00 aa 010 a1/2J其失真矩陣D=|?0，則

20、該信源的汕尸血O，則該信源的1=0_ O則該信源的R（D）= lH（D/a）73、皎照不同的編碼目的.編碼可以分為決；巾足信源編碼、信道編碼和安全編碼o74、信源編碼的目的是：提島通信的有效性°75、_般惜況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼76、連續(xù)信源或模擬信乃的信源編碼的理論基礎(chǔ)楚礙失貞fH源編碼宦理77、在香農(nóng)編碼中.第1個(gè)碼字的長(zhǎng)度匕和p （卸之間有一 1昭2 P（兀）<1 一 1昭2 P（兀）關(guān)系。78、對(duì)信源LP（X）.1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16進(jìn)行二進(jìn)制費(fèi)諾編碼.氏編碼效率為1 79、對(duì)具有8

21、個(gè)消息的單符號(hào)育散無記憶信源進(jìn)行4進(jìn)制盼夫曼編碼時(shí).為使Y門長(zhǎng)最短，應(yīng)增加2個(gè)概率為0的消息。80、對(duì)丁香農(nóng)編碼、費(fèi)諾編碼和嗆夫曼編碼.編碼方法惟-的足香農(nóng)編碼°81、對(duì)于二元序列 0011100000011111001111000001111111 > 其相應(yīng)的游程序列是 23652457 52. 設(shè)無記憶二元序列中 “0”和“1"的概率分別兄po和Pi.則“0”游程長(zhǎng)度L (0)的概率為PL(O)=卩嚴(yán)日A83.游程序列的埔等干嘖二元序列的杯S4.若“廣游程的哈夫嗎編碼效率為嘰 “V游程的哈夫嗎編碼效率為Hn0>ni對(duì)應(yīng)的二元序列的 編碼效率為八，則三者的關(guān)

22、系旦 匹85、在實(shí)際的游程編碼過程中.碾碼一般荊X截?cái)?處理的方法.36. "0"游程和“1”游程可以分別進(jìn)行嗆夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù).但_。碼 必須不同87.在篡符號(hào)的消息序列中.興雖的重父出現(xiàn)的.只起占時(shí)作用的符號(hào)稱為冗余位°53. “兀余變換”即：將一個(gè)冗余序列轉(zhuǎn)換成一個(gè)二元序列和一個(gè)縮短了的多元序列.S9. LD編碼足一種 分幀傳送冗余位序列的方法.90. LD編碼適合于冗余位一較篡或較少的惜況°91. 信道編碼的鼓終忖的是提高信號(hào)傳輸?shù)念啃?#176;92. 挾義的信道編碼即：檢、糾諸編碼93. BSC信逍無記憶二進(jìn)制對(duì)稱倍道&#

23、176;94. n位重復(fù)碼的編碼效率出_l/n 95. 等瑯碼可以檢驗(yàn) 全部的奇數(shù)位錯(cuò)和部分的偶數(shù)位錯(cuò)mill d(c,cf)96. 任盤兩個(gè)碼字Z間的鼓小漢明距離右稱為碼的鼓小距也則cU= c卅o97、若糾錯(cuò)碼的最小距離為則可以糾正任總小于等于忖L 厶 個(gè)筮錯(cuò)98、苦檢借碼的最小距離為則可以檢測(cè)出任意小丁等丁1二肛1個(gè)簽錯(cuò)99、線性分組碼也同時(shí)具有分組待性和線性特性的糾錯(cuò)碼。100、循環(huán)碼即是采用 循壞移位持件界定 的一類線性分組碼。三. 判斷(毎題1分)(50道)1、必然事件和不可能事件的門信息雖都是0。錯(cuò)2、向信息戢是P(人)的單調(diào)遞減函數(shù)。對(duì)3、單符號(hào)離散信源的門信息和信源燒都具冇非負(fù)

24、性對(duì)4、單符號(hào)離散信源的門涪息和涪源墻都是一個(gè)確泄值。錯(cuò)5>單符號(hào)離散信源的聯(lián)合白信息就和條件白信息吊都是非負(fù)的和單調(diào)遞減的對(duì)6、自信息量條件自信息戢和聯(lián)介fl信息雖之間有如下關(guān)系：I(xiyJ) = l(x1) + l(yJ /%) = 1(為)+ 1(兀/為)對(duì)7、白信息戢、條件白信息戢和互信息戢之間有如下關(guān)系：I(xi;yJ) = I(xi)-I(xi/yJ) = I(yJ)-I(yJ/xi)對(duì)8、當(dāng)隨即變星X和Y相互獨(dú)立時(shí)，條件焰等于信源焰。對(duì)9、當(dāng)隨即變戢X和Y相互獨(dú)立時(shí) I(X： Y) =H (X) 錯(cuò)10、信源爛具冇嚴(yán)格的下凸性.諸11、平均互信息雖I (X： Y)對(duì)丁百源

25、概率分布p(%和條件概率分布p(VA)都具有凸函數(shù)性。 對(duì)12、m階馬爾町夫信源和消息長(zhǎng)度為m的有記憶信源，其所侖符號(hào)的依賴關(guān)系相同。 錯(cuò)13、利用狀態(tài)極限概率和狀念一步轉(zhuǎn)移概率來求m階馬爾可夫信源的極限爛。對(duì)14、N維統(tǒng)計(jì)獨(dú)立均勻分布連續(xù)信源的埼也N維區(qū)域體積的對(duì)數(shù)。對(duì)15、一維高斯分布的連續(xù)信源.其倍源爛只與其均值和方蟄有關(guān)。錯(cuò)16、連續(xù)信源和離散信源的埔都具有非負(fù)性.錯(cuò)17、連續(xù)信源和離散信源都具有可加性。對(duì)18、連續(xù)信源和離散侶源的平均互涪息都具右非負(fù)性。 對(duì)19、定長(zhǎng)編碼的效率一般小于不定長(zhǎng)編碼的效率.對(duì)20、苦對(duì)一離散信源(埔為H (X)進(jìn)行二進(jìn)制無失克編碼，設(shè)定長(zhǎng)碼子長(zhǎng)度為K.變

26、長(zhǎng)碼子平均長(zhǎng)度為K. 一般 K>K.錯(cuò)21、信道容雖C定1 (X： Y)關(guān)丁 p (益)的條件極大值。對(duì)22、離散無噪信道的佶道容雖等丁山助口，其中n是信源X的消息個(gè)數(shù)°錯(cuò)p（yj = 23、對(duì)于準(zhǔn)對(duì)稱信道.當(dāng)m時(shí).可達(dá)到信道容戢C。錯(cuò)24、參用戶信道的信道容雖不能用一個(gè)數(shù)來代表。對(duì)25、多用戶信道的信道容雖不能用一個(gè)數(shù)來代表.但信逍的佶息率町以用一個(gè)數(shù)來表示。錯(cuò)26、高斯加性信道的信道容戢只與信道的信噪有關(guān).對(duì)27、信道無失真?zhèn)鬟f信息的條件足信息率小于信逍容量.對(duì)28、放人信息傳輸速率即：選擇某一信源的概率分布（p（禺）使信道所能傳送的信息率的鼓犬值。借29、對(duì)于具有歸并性能

27、的無燥信道.當(dāng)信源等概率分布時(shí)（p （益）=l/n）.達(dá)到信道容雖。錯(cuò)30、求解率失克函數(shù)的問題.即：在給定失貞度的惜況下.求信息率的極小伉對(duì)3K信源的消息通過信逍傳輸后的謀墊或失貞越大.信宿收到消息后對(duì)信源存在的不確定性就越小，獲得 的信息雖就越小。借32、半p （x,）、p （y/Xl）和d （和Yj）給定后.平均失真度是一個(gè)隨即變戢。錯(cuò)33、率失武函數(shù)對(duì)允許的平均失真度具有上凸性。對(duì)34、率失翼函數(shù)沒有燄大值。錯(cuò)35、率失真函數(shù)的最小值是0 .對(duì)36、率失貞函數(shù)的值與信源的輸入概率無關(guān) fff37、信源編碼足捉高通信有效性為的的編碼。對(duì)38、信源編碼通常址通過壓縮信源的冗余度來實(shí)現(xiàn)的。對(duì)

28、39、離散信源或數(shù)字信號(hào)的信源編碼的理論基礎(chǔ)是限失氏信源編碼定理。錯(cuò)40、一般情況下哈夫曼編碼的效率大丁否農(nóng)編碼和費(fèi)諾編碼。對(duì)41、在編m （m>2）進(jìn)制的哈夫曼碼時(shí).娶考退是否需姿增加概率為0的碼字.以使平均碼長(zhǎng)鼓短。對(duì)42、游程序列的埔（“（T游程序列的炳與ur游程序列的埼的和）大于等于原二元序列的埔。錯(cuò)43、在游程編碼過程中.“（T游程和“1”游程應(yīng)分別編碼.因此.它們的碼字不能重復(fù)。錯(cuò)44、LD編碼適合于冗余位較等和較少的惜況.否則.不但不能斥縮碼率.反而使其擴(kuò)張。對(duì)45、挾義的信道編碼既是指：信道的檢、糾錯(cuò)編碼.對(duì)46、對(duì)TBSC信道.信道編碼應(yīng)當(dāng)於一對(duì)一的徧碼，因此，消息m的

29、長(zhǎng)度等于碼字c的長(zhǎng)度錯(cuò)47、等重碼和奇（偶校驗(yàn)碼都可以檢出全部的奇數(shù)位錯(cuò)。對(duì)48、漢明碼是一種線性分組碼。對(duì)49、循環(huán)碼也足一種線性分組碼對(duì)50、卷枳碼足-種特殊的線性分組碼。借四、簡(jiǎn)答（毎題4分）（20道）1、信息的主要特征有哪些？ （4）2、信息的重要性質(zhì)有哪些？ （4）3、簡(jiǎn)述幾種信息分類的準(zhǔn)則和方法.（5）4、信息論研究的內(nèi)容主要有哪嶼？ （8）5、簡(jiǎn)述自信息的性質(zhì).（13）6、簡(jiǎn)述信源焰的裁本件質(zhì)e （23）7、簡(jiǎn)述信源埔.條件埔、聯(lián)合埔和交互埔之間的關(guān)系.（48）8、信道的分類方法冇哪些？ （93-94）9、簡(jiǎn)述-般離散信道容雖的計(jì)算步驟。（107）10、簡(jiǎn)述多用戶信道的分類.（1

30、15-116）11、簡(jiǎn)述信道編碼定理.（128）12、簡(jiǎn)述率失氏函數(shù)的性質(zhì) （140-145）13、簡(jiǎn)述求解一般離散信源率失真因數(shù)的步驟.（146-149）14、試比較信道容戢與信息率失負(fù)函數(shù)。（164）15、簡(jiǎn)述編碼的分累及各種編碼的目的。（168）16、簡(jiǎn)述費(fèi)諾編碼的編碼步驟。（170）17、簡(jiǎn)述二元哈夫曼編碼的編碼步驟.（173）18、簡(jiǎn)述廣義的信道編碼的分類及并類編碼的作用.（188）19、簡(jiǎn)述線性分組碼的性質(zhì)。（196）20、簡(jiǎn)述循環(huán)碼的系統(tǒng)碼構(gòu)造過程。（221）信息論與編碼”試題2007級(jí)碩士研究生2008年6月14日一、基本概念題（閉卷部分，每題4分共40分。1小時(shí)內(nèi)完成并交卷）

31、1. 試證明n維隨機(jī)變最的共埔，不人于它們各自的爛之和。證明：即證明H的兀,/)述H(X,)1-1因?yàn)? WI (X, Y) = H(X) - H(X/Y),所以 H(X/Y) <H(X)O由共爛的定義和爛的鏈接準(zhǔn)則,有H(X1,X2)= H(Xi)+H(X2/Xi) <H(X1) + H(X?)H(X b X 2> X a) = H(X !)+ H(X 2, X 3/ X D=H(Xi>H(X2/Xi)+H(X3/X2,Xi)< H(Xi4-H(X2) +H(X3) nnH(XpX2>.-,Xn)= S H(X】/X_i，S H(Xx)i - 1i - 1

32、證畢。2. 請(qǐng)給出信源編碼器的主要任務(wù)以及對(duì)信源編碼的基本要求。解：信源編碼器的主要任務(wù)是 完成輸入消息集合與輸出代碼集合之間的映射。對(duì)信源編碼有如下基本要求：(1) 選擇合適的信道基本符號(hào)，以使映射后的代碼適應(yīng)信道。例如，Ascn碼選用了 16進(jìn)制數(shù)。(2) 尋求一種方法，把信源發(fā)出的消息變換成相應(yīng)的代碼組。這種方法就是編碼，變 換成的代碼就是碼字。(3) 編碼應(yīng)使消息集合與代碼組集合中的元素一一對(duì)應(yīng)。3. 請(qǐng)給出平均碼長(zhǎng)界定定理及其物理意義。解：平均碼長(zhǎng)界定定理：若一個(gè)離散無記憶信源 X,具有爛H(X)，對(duì)其編碼用D種基本符號(hào)，則總町以找到一種無失貞信源編碼，構(gòu)成單 義可譯碼，使其平均碼長(zhǎng)

33、滿足旦輕+ 1logD logD平均碼長(zhǎng)界定定理的物理意義：編碼所追求的，是在單義可譯前提下尋求盡可能小的平均碼長(zhǎng)。平均碼長(zhǎng)界定定理指出， 平均碼長(zhǎng)的下界值©辺=聖0。對(duì)給定仁源空間PCX)的離散仁源，其«JH(X)是確logD定的數(shù)值，如果信道基本符號(hào)也是確定的，即D也是給定的，則也就定了。這意味著, 如果不改變信源的統(tǒng)計(jì)特性，減小6的潛力，到了其卜界值也就到了極限了。因此，如果要 進(jìn)一步提高編碼效率，必須對(duì)信源本身進(jìn)行研究，例如改變信源本身的統(tǒng)計(jì)特性，対其進(jìn)行 擴(kuò)展。4. 請(qǐng)給出連續(xù)信源分別為均勻分布、高斯分布和指數(shù)分布時(shí)信源的相對(duì)爛。解：(1)均勻分 布連續(xù)信源的相對(duì)

34、爛為h(x) = -f p(x)log p(x)dx= log(b-a)(2)高斯分布連續(xù)信源X的相對(duì)爛為li(x) = 一L p(x)ln p(x)clxJyP(x)lnJ：p(x)ln=hi yjlna2 +°2<r=-111(2 71 <T")+ 2 2中間步驟可以省略=ln(2n er3)+ In e2 2=-ln(2 7ie<72)(3)指數(shù)分布連續(xù)信源X的相對(duì)爛為coh(x) = - | p(x)ln p(x)dx 0co訂0In8_ M8 X=Ina - |c a dx + xc a dx a 0 a 0=hi a + In e=In a e

35、中間步驟可以省略5.請(qǐng)給出失貞換數(shù)、平均失真度、保真度準(zhǔn)則、信息率失真函數(shù)的定義。解：失真函數(shù)定義: 對(duì)于有失真的借息傳輸系統(tǒng)，對(duì)應(yīng)于每一對(duì)(a. bj) (n= 1, 2, .r；尸1, 2, .» s),定義一個(gè) 非負(fù)實(shí)值函數(shù)d(a】,bj AO(i =l,2,-r； j =l,2, s)表示信源發(fā)出符號(hào)a而經(jīng)信道傳輸后再現(xiàn)成信道輸出符號(hào)集合中的©所引起的誤差或失真, 稱之為気和§之間的失真函數(shù)(Distortion Fiuiction),簡(jiǎn)寫為山。平均失真度定義：若信源和信宿的消息集合分別為X:aba3, . ,ar和Y 5,b, 其概率分別為P(aJ和P(

36、bj)(i=l,2,r; j=l,2,s),信道的轉(zhuǎn)移概率為P©/aJ，失真 函數(shù)為d (ax, b)則稱隨機(jī)變色X和Y的聯(lián)合槪率P (a® )對(duì)失真函數(shù)d (ab bj的統(tǒng)計(jì)平均值 為該通信系統(tǒng)的平均失真度3。保真度準(zhǔn)則定義：從平均的意義上來說，信道每傳送一個(gè)符兮所引起的平均失真，不能 超過某一給定的限定值D,即要求D<D,稱這種對(duì)于失頁的限制*件為?？硕葴?zhǔn)則。信息率失真西數(shù)定義：用給定的失真D為自變最來描述的信息傳輸速率，稱為信息率 失真函數(shù)，用R(D)表示。6試證明(n,k)循壞碼的生成多項(xiàng)式g(x)是才+1的因式。證明：將生成多項(xiàng)式g(x)乘以x得Xg(x)

37、= g(k) (x) + q(x)(xn +1)由于Xkg(x)次數(shù)為n.故I.式中q(x) = 1,而g(k)(x)是g (x)循壞左移k次所得，它是g(x) 的倍式，設(shè) g(k) (x) = u(x)g(x)» 故有 xn4-l = xk+u(x)g(x)= f(x)g(x)證畢。7. 請(qǐng)給出域的定義并說明集合0, 1,2可否構(gòu)成域及其理由。解：域的定義：非空元素集合F,若在F中定義了加和乘兩種運(yùn)算，且滿足(1) F關(guān)于加法構(gòu)成Abel群，其加法恒元記為0：(2) F中非零元素全體對(duì)乘法構(gòu)成Abel群，其乘法恒元記為1：(3) 加法和乘法間有如下分配律：a(b+c)=ab+ac&

38、#187; (b+c)a=ba+ca,則稱F是一個(gè)域?；蛘哒f，域是一個(gè)可換的、有單位元的、非零元素有逆元的環(huán)。集合0, 1, 2可以構(gòu)成域。對(duì)該集介中的元素定義模3加和模3乘這兩種運(yùn)算，完全符 合域必須滿足的3個(gè)條件。8. 請(qǐng)給出本原多項(xiàng)式的定義，并用一個(gè)實(shí)例來說明它的性質(zhì)。解:本原筆項(xiàng)式的定義:若m次既約等項(xiàng)式p(x)除盡的亡+1的最小正整數(shù)n滿足n=2m-l, 稱p(x)為本原多項(xiàng)式。用實(shí)例來說明本原多項(xiàng)式有如下性質(zhì)：1) 本原多項(xiàng)式一定是既約的(因?yàn)樗怯眉燃s多項(xiàng)式來定義的)，但既約多項(xiàng)式不一定 是本原的。例如：4次既約多項(xiàng)式J+x+1能除盡嚴(yán)+1,但除不盡任何1 <n<15

39、的卍+1,所以£ +X+1是本原的：但同樣是4次既約多項(xiàng)式xW+r+x+l,能除盡嚴(yán)+1,但也能除盡7+1, 所以f+f+W+x+l是既約的但不是本原的。2) 對(duì)于給定的m,可能有不止一個(gè)m次本原多項(xiàng)式。 例如，対于m=5, 7+疋+ 1是本原多項(xiàng)式，P+F+l也是。9試說明(11,k)循環(huán)碼對(duì)突發(fā)錯(cuò)謀的檢測(cè)能力。解：(1) (n,k)循環(huán)碼能檢測(cè)長(zhǎng)為n-k或更短的任何突發(fā)錯(cuò)誤，包括首尾相接突發(fā)錯(cuò) 誤。(2) (n,k)循環(huán)碼對(duì)n-k+1位長(zhǎng)的突發(fā)錯(cuò)誤不能彼檢出所占的概率最大是2-(n-k+1)o(3) 如果1>n-k+l,則(n,k)循壞碼不能檢測(cè)長(zhǎng)為1的突發(fā)錯(cuò)誤所占的比值為

40、2一5- k)因此，循環(huán)碼檢測(cè)突發(fā)錯(cuò)誤非常有效。10請(qǐng)給出最佳自由距離卷積碼的定義并簡(jiǎn)要說明如何獲得貝有最佳自由距離的卷積碼。解：最佳自由距離卷枳碼的定義：對(duì)于相同的碼率R和相同的電路復(fù)雜性(存儲(chǔ)單元總 數(shù)m等)的各種卷積碼，使得口由距離4敲人的編碼稱為最佳自由距離(OFD, OptunalFree Distance)碼。為了得到各種OFD碼，通常采用計(jì)算機(jī)搜索的方法，即對(duì)于給定的存儲(chǔ)單元總數(shù)m所 有可能的卷積碼編碼器，首先排除惡性卷枳碼，然后對(duì)應(yīng)每一町能的卷積碼編碼器求其自由 距離df,逐一比較得到自由距離垠人者即為A1佳自由距離卷積碼編碼器。二、綜合題(開卷部分，每題10分，共60分.閉卷

41、部分交卷后方可參閱參考資料)1. 某通信系統(tǒng)的信源輸出僅有2個(gè)符號(hào)a、b,擬釆用Lempel-Ziv編碼后送信道傳輸， 若某次通值需傳輸?shù)姆?hào)序列為"aaaaaaa bbbbbbb aaaaaaaa bbbbbbb a b aaaaaa bbbbbbb aaaaaaaaaaaaaaaaab.請(qǐng)給出其Lempel-Ziv編碼結(jié)果并簡(jiǎn)要說明該編碼的性能。編碼結(jié)果編碼包<0>7,b><lAa><15>15>b><15>14>a><l,15,b>內(nèi)容aaaaaaa b bbbbbb a aaaaaaaa

42、aaaaaaabaaaaaaab bbbbbba baaaaaabbbbbbba a碼段符號(hào)數(shù)87161516如果把a(bǔ)、b看作為1、0,對(duì)編碼結(jié)果(即每個(gè)編碼包)可以用4+4+l=9-bit表示，傳 輸該序列用5個(gè)編碼包即45-bit,而該序列62-bit,因此該編碼起到壓縮作用。2. 若題1信源符合a、b的出現(xiàn)概率分別為0.9和0 1,擬對(duì)其采用3重?cái)U(kuò)展后再進(jìn)行 霍夫曼編碼，請(qǐng)給出編碼過程及結(jié)果，并求該種信源編碼的效率。解：aaa： 0 729 aab： 0 081 aba： 0 081 abb： 0.009 baa： 0 081 bab： 0 009 bba：0 009 bbb： 0 00

43、1設(shè)aaa、aab, bbb分別為xi, x：, xp,按照概率大小依此排列，有X1X2X3X5X4X6X7真體編碼過程、結(jié)果、編碼效率一略。3為了在有噪信道中獲得可靠的通信，擬對(duì)題2的霍夫曼編碼結(jié)果再進(jìn)行信道編碼， 若1E夫曼編碼的輸出序列為aabb baaa baba bbaa bbba abbb abab »試給出采用戈萊碼(23, 12)編碼的第一個(gè)碼字；如果信道編碼不是采用戈萊碼而是采用縮短的BCH(120, 78)編 碼，試給出構(gòu)造該種編碼的生成多項(xiàng)式的方法以及縮短的方法，分析其糾錯(cuò)和檢錯(cuò)能力，簡(jiǎn) 述其編碼和譯碼過程。解：(1)對(duì)戈菜碼(23, 12)采用生成多項(xiàng)式為g(

44、x) = x11+ °+ /+ A x4 + r+1,即 110C01110101令 a = l, b=0,則要編碼的序列為 1100 0111 0101 0011 0001 1000 1010 ；由于戈萊 碼是非本原BCH碼，其編碼規(guī)則與BCH碼相同，現(xiàn)采用系統(tǒng)碼，第一個(gè)碼字的編碼過程 如下：110001110101 0000000000011000111010100000000000因此第一個(gè)戈萊碼碼字為110001110101 00000000000,即監(jiān)督位為全0 (11位)。(2)縮短的BCH (120, 78)原碼為BCH ( 127, 85),構(gòu)造該種編碼的生成多項(xiàng)式， 可以由g(x)=LCM0i(x)+02(x)+ 03(x)x&+ +02t(x)對(duì)于本題127 = 27加刃是GFQ7)上的元素小的最小多項(xiàng)式.求出少、少、L的最小 第項(xiàng)