信息論小題測試題

1、第一章自我測試題一、填空題在認(rèn)識論層次上研究信息的時候，必須同時考慮到形式、和 三個方面的因素。如果從隨機(jī)不確定性的角度來定義信息，信息是用以消除的東西。信源編碼的結(jié)果是冗余；而信道編碼的手段是冗余。年，香農(nóng)發(fā)表了著名的論文，標(biāo)志著信息論誕生。信息商品是一種特殊商品，它有性、性、性和知識創(chuàng)造性等特征。二、判斷題信息傳輸系統(tǒng)模型表明，噪聲僅僅來源于信道（）本體論層次信息表明，信息不依賴于人而存在（）信道編碼與譯碼是一對可逆變換（）1976年，論文密碼學(xué)的新方向的發(fā)表，標(biāo)志著保密通信研究的開始（）基因組序列信息的提取和分析是生物信息學(xué)的研究內(nèi)容之一（）三、選擇題下列表述中，屬于從隨機(jī)不確定性的角度

2、來定義信息的信息是數(shù)據(jù)信息是集合之間的變異度信息是控制的指令信息是收信者事先不知道的報道是最高層次的信息認(rèn)識論本體論價值論唯物論下列不屬于狹義信息論的是信息的測度信源編碼信道容量計(jì)算機(jī)翻譯下列不屬于信息論的研究內(nèi)容的是信息的產(chǎn)生信道傳輸能力文字的統(tǒng)計(jì)特性抗干擾編碼下列關(guān)于信息論發(fā)展歷史描述不正確的是偶然性、熵函數(shù)引進(jìn)物理學(xué)為信息論的產(chǎn)生提供了理論前提。1952年，香農(nóng)發(fā)展了信道容量的迭代算法哈特萊用消息可能數(shù)目的對數(shù)來度量消息中所含有的信息量，為香農(nóng)創(chuàng)立信息論提 供了思路。1959年，香農(nóng)首先提出率失真函數(shù)和率失真信源編碼定理，才發(fā)展成為信息率失 真編碼理論。四、簡答題給定愛因斯坦質(zhì)能方程Em

3、c2,試說明該方程所傳達(dá)的語法信息、語義信息和語 =A用信息。第一章自我測試題參考答案一、填空題語義，語用隨機(jī)不確定性減小，增加1948，通信的數(shù)學(xué)理論保存性，共享性，老化可能性二、判斷題X； 2.；3.X；4.X；5.三、選擇題1. D； 2. B； 3. D； 4. A； 5. B四、簡答題語法信息：就是該方程中各個字母、符號的排列形式。語義信息：E為所產(chǎn)生的能量，m為質(zhì)量的變化，c2為光速的平方，表示左右在量值上相等。綜合起來就是，質(zhì)量的微小變化可以產(chǎn)生巨大的能量。語用信息:該方程可以啟發(fā)主體在一定條件下，通過物質(zhì)質(zhì)量的變化來產(chǎn)生巨大的能量， 如果讓能量緩慢釋放出來，可以得到核能；如果讓

4、能量瞬間釋放出來，可借以制造核彈。第二章測試題一、填空題N階平穩(wěn)信源的N維分布函數(shù)與 無關(guān)。 在對信源進(jìn)行觀察之前，對認(rèn)識主體來說，信源存 不確定性，觀察之后， 信源還存在 不確定性。 聯(lián)合符號(土,七)的不確定性，等于 的不確定性加上 的不確定性。4.256個亮度值構(gòu)成的信源，其熵值最大為比特。5.無條件熵 條件熵，條件多的熵 條件少的熵。(填大于或小于)二、判斷題對于DMS，長度為3的符號串的平均不確定是單個符號平均不確定的3倍。()信源內(nèi)部的關(guān)聯(lián)性，會提高熵值。()馬爾科夫信源符號的輸出不僅與當(dāng)前的信源狀態(tài)有關(guān)，而且還與以前的狀態(tài)有關(guān)。()信息含量效率越高，信源的冗余度也越高。()與離散

5、熵相同，微分熵也是非負(fù)的。()三、選擇題下列物理量，不滿足非負(fù)性的是()H(X); B. I(X;Y); C. I(氣;y .); D. H(YX ) 連續(xù)型隨機(jī)變量的取值受限，那么該隨機(jī)變量服從時，微分熵最大。高斯分布；B.泊松分布；C,均勻分布；D,指數(shù)分布下列說法中，不正確的熵功率P VP，其中P為連續(xù)隨即變量X的平均功率1熵功率P = e2h(x)，其中h(X)是X的微分熵2neC.若X平均功率為P,但不是高斯分布，則龍(X) Inx 2nePD. X的平均功率為P時(均值非零)，則X得最大熵為h(X) = log(2neP下列表達(dá)式不正確的是I(x , y ) = I(x ) +1(

6、y |x ) = I(y ) +1(x |y ) k jkj kjk、 jB I (u ; u u ) I (u ; u ) +1 (u ; u u )12 31312 3C. H (XY) = H (X) + H (Yx ) = H (Y) + H (XY)D. H(XY) H(X)下列關(guān)于馬爾科夫信源的敘述中，不正確的是某一時刻信源符號的輸出只與當(dāng)時的信源狀態(tài)有關(guān)，而與之前的狀態(tài)無關(guān)信源狀態(tài)只由當(dāng)前輸出符號和前一時刻信源狀態(tài)唯一確定一般馬爾科夫信源的信息熵是其平均符號熵的極限值M階馬爾科夫信源的極限熵等于m+1階條件熵第二章測試題答案一、填空題時間的起點(diǎn)先驗(yàn)，后驗(yàn)關(guān)于輸入xk，干擾引入(或

7、者：關(guān)于輸出ydd，觀察到y(tǒng).后還剩余)8大于，小于二、判斷題1. V； 2. X； 3. X； 4. X； 5.X三、選擇題1. C；2. C；3. C；4. B；5. D第三章自我測試題一、填空題有記憶信道的當(dāng)前輸出不僅與 輸入有關(guān)，還與 輸入有關(guān)。既代表，又代表，因此，通常把H(X I Y)稱為信道的或如果信道給定，那么I(,區(qū))是輸入概率PX的 凸函數(shù)。如果信源給定，1.2.3.4.5.那么I (PX, PY | X)是轉(zhuǎn)移概率PYX的 凸函數(shù)。衡量一個信息傳遞系統(tǒng)的好壞有兩個主要指標(biāo)。其一，;其二，。使得給定信道的輸入分布，稱為最佳輸入(概率)分布，記為PX二、判斷題信道容量C不僅與

8、信道轉(zhuǎn)移概率有關(guān)，也與信道的輸入分布有關(guān)。()噪聲熵為0的信道稱為確定信道。()離散對稱信道輸入等概率分布時，輸出未必也等概率分布。()一般DMC達(dá)到信道容量的充要條件為信源符號的偏互信息均等于信道容量。() 信道是DMC的充要條件是序列符號對之間的轉(zhuǎn)移概率等于各個時刻單個符號對 轉(zhuǎn)移概率之連乘。()三、選擇題 1.若信道和信源均無記憶，以下結(jié)論不成立的是I(X;Y) = El(XY)_ _ k=1I(X;Y) = NI(X;Y)I (X; Y)幻氣 Y)k=1CN = NC關(guān)于兩個獨(dú)立信道Q1、Q2串聯(lián)，下列說法不正確的是3.4.5.A.B.串聯(lián)信道的信道容量與組成串聯(lián)信道的各分信道的信道容

9、量存在精確的定量關(guān)系 數(shù)據(jù)處理過程中，隨著數(shù)據(jù)的不斷處理，從處理后的數(shù)據(jù)中所得的原始信息會愈來 愈少串聯(lián)信道的轉(zhuǎn)移概率矩陣是各單元信道的轉(zhuǎn)移概率矩陣之積X組成一個馬爾可夫鏈C.D.信源的輸出與信道的輸入匹配的目的不包括A.符號匹配；B.信息匹配；C,功率匹配；D.降低信道剩余度以下關(guān)于連續(xù)信道的說法中，不正確的是連續(xù)信道是時間離散、幅值連續(xù)的信道連續(xù)信道的統(tǒng)計(jì)特性由轉(zhuǎn)移概率分布函數(shù)描述加性噪聲信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù)對于無記憶加性噪聲信道，若輸入信號服從高斯分布，且噪聲的平均功率受限，則A.B.C.D.服從高斯分布的噪聲使信道平均互信息量達(dá)到最小r已知香農(nóng)公式C(P ) =

10、 Blog 1 +SA.B.C.D.1V J在信噪比不變的前提下，增大頻帶，可增大信道容量頻帶不變時，增大信噪比即可增大信道容量C在PS增大很多之后，繼續(xù)增大信號功率來實(shí)現(xiàn)信道容量的增大是一個有效途徑 用擴(kuò)頻方法來增大信道容量，其作用是有限的第三章自測題參考答案，不能得出的結(jié)論是.2.一、填空題1、當(dāng)前時刻的，以前的2、收到輸出Y后對輸入X還存有的疑義，信道在傳輸過程中的信息損失，疑義度，損 失熵3、上，下4、數(shù)量(速度)指標(biāo)：信息(傳輸)率R，即信道中平均每個符號傳遞的信息量，質(zhì)量指標(biāo)：平均差錯率P，即對信道輸出符號進(jìn)行譯碼的平均錯誤概率。e5、I(X;Y)達(dá)到最大值(即信道容量C)二、判斷

11、題1、x； 2、； 3、x； 4、； 5、三、選擇題1、C； 2、A； 3、C； 4、B； 5、C第四章測驗(yàn)題一、填空題無失真編碼只對信源的 進(jìn)行壓縮，而不會改變信源的熵，又稱冗余度壓縮編碼。無失真信源編碼的作用可歸納為(1) ； (2) 無失真信源編碼器的熵為H(U) =2.35bit /符號；則編碼后的熵H W) =bit /碼字；若平均碼長為2.6比特/碼字，則H(X)=，信息率R=，I =， 冗余度7 c =。的碼稱為奇異碼對于一個碼，若，則稱該碼為惟一可譯碼二、判斷題對于一個碼，若每個碼字都與惟一的一個信源符號相對應(yīng)，則該碼為惟一可譯碼。()定長非奇異碼肯定是惟一可譯碼。()非續(xù)長碼

12、中任一碼字都不是其他碼字的前綴。()非續(xù)長碼必滿足Kraft不等式。()一個碼是惟一可譯碼的充要條件是滿足Kraft不等式。()三、選擇題關(guān)于定長編碼，以下說法不正確的是無失真定長編碼要求可用的碼字?jǐn)?shù)不少于擴(kuò)展信源的符號數(shù)無失真r進(jìn)制定長碼碼長不得低于信源r進(jìn)制符號熵信源序列的分組長度N增大可以提高編碼效率。.引入失真不可能提高定長碼的編碼效率關(guān)于變長編碼，以下說法不正確的是無失真r進(jìn)制變長碼碼長不得低于信源r進(jìn)制符號熵變長編碼時，隨著信源序列長度N的增大，編碼效率提高。變長碼要求各個碼字的長度互不相同變長碼的編碼效率高于定長碼下述編碼中 可能是任何概率分布對應(yīng)的Huffman0, 10, 1

13、100, 01, 10, 11001, 10001, 011, 100, 101關(guān)于無失真信源編碼，以下說法不正確的是。有效的信源編碼可使輸出碼元概率均勻化霍夫曼編碼過程中，可能造成碼字不惟一，但平均碼長是相同的，因而編碼效率是 相同香農(nóng)編碼不能保證碼字具有非續(xù)長性費(fèi)諾編碼按照“概率大碼長小、概率小碼長大”來決定碼長下列說法不正確的是算術(shù)編碼的碼長與該序列的累計(jì)概率有關(guān)Huffman碼無法對只含2個符號的信源進(jìn)行壓縮游程編碼的效率取決于信源符號的重復(fù)率算術(shù)編碼可以對只含2個符號的信源序列進(jìn)行壓縮字典編碼通過把信源符號序列映射為位置序號達(dá)到壓縮編碼的目的第四章測驗(yàn)題參考答案一、填空題冗余度符號變

14、換；冗余度壓縮2.35； 0.9038 比特/碼元；0.9038 比特/碼元；90.38%, 9.62%含相同碼字的由該碼的碼字組成的任意有限長碼字序列都能恢復(fù)成惟一的信源符號序列二、判斷題X； 2. V； 3. V； 4. V； 5. X三、選擇題D； 2.C； 3.A； 4.D； 5.A第五章測驗(yàn)題一、填空題信息傳遞系統(tǒng)的基本功能是在系統(tǒng)輸出端準(zhǔn)確地再現(xiàn)系統(tǒng)輸入端發(fā)送的信息。但是會受到客觀限制，首先 受 的限制；其次，由于 的干擾，不可避免。衡量信息傳輸速度大小的指標(biāo)是信道的信息（傳輸）率R，其最 大值就是，衡量信息傳輸可靠性的指標(biāo)。為了降低平均差錯率，可先對消息 再送入信道傳送，這種為降

15、低 而進(jìn)行的編碼稱為信道編碼。信道輸出r它與信道輸入X既有聯(lián)系又有區(qū)別，聯(lián)系的程度和區(qū)別的大小取決于 或者說取決于。5.信道譯碼函數(shù)F是從 到 的映射:其含義是將 譯為。譯碼函數(shù)又稱。判斷題譯碼規(guī)則取決于信道，一個信道的譯碼規(guī)則是唯一的。（）在信道輸出端接收到符號七時，按譯碼規(guī)則F%）=. A將*，jj = ae A將b譯為a，則平均譯碼錯誤j）的加權(quán)平均值。（）3.bj譯為.*，若此時信道輸入剛好是a *，則稱為譯碼正確。（） 若按譯碼規(guī)則f b）=概率是p（x=% * y=b4.最“好”的譯碼規(guī)則必然使Pe最小。（）最大后驗(yàn)概率譯碼規(guī)則是最佳譯碼規(guī)則。（）選擇題譯碼規(guī)則不能由 確定后驗(yàn)概率

16、 B.聯(lián)合概率 C.轉(zhuǎn)移概率 D.邊緣概率假設(shè)P勺）=0.4,信道線圖如下圖所示，相應(yīng)的最佳譯碼規(guī)則為f JF1 )=匕f JF2(bi)= a2A. i: IF(b )= a B. i: IF (b )= a121222C. F 忠1 了 aiD. F :昨 1)=七1 F ( )= a 1 F ( )- a 、322、421下列說法不正確的是信道輸入等概時，極大似然譯碼規(guī)則也是最佳的最大后驗(yàn)概率條件可無條件等價成最大聯(lián)合概率條件當(dāng)信源統(tǒng)計(jì)特性未知的時候，可以使用極大似然譯碼規(guī)則作為譯碼規(guī)則應(yīng)用極大似然譯碼規(guī)則總可以確定譯碼的平均差錯率關(guān)于重復(fù)N次編碼，說法不正確的是oN越大，信息傳輸率越高

17、“重復(fù)N次”是定長碼采用擇多譯碼策略能減低平均差錯率對信源U的2元符號串進(jìn)行編碼，取碼長為N = 3，則可供選擇的碼字有4個八 2信息率R = 3共有4X8 = 32種不同的編碼方法。繼續(xù)增加消息個數(shù)，可以降低平均差錯率第五章測驗(yàn)題參考答案一、填空題傳輸速度信道容量信道噪聲傳輸錯誤信道容量平均差錯率編碼平均差錯率噪聲N的影響情況信道的統(tǒng)計(jì)特性輸出符號集合B輸入符號集合A接收符號七e B某個輸入符號氣e A譯碼 規(guī)則二、判斷題1. X； 2. X； 3. X； 4. X； 5. V三、選擇題1、D 2、C 3、D 4、A 5、B第六章測驗(yàn)題一、填空題源編碼實(shí)質(zhì)上是對信源進(jìn)行信息處理，無失真信源編

18、碼只是信息處理的方法之一，除此之外，還可對信源進(jìn)行 編碼。無失真編碼對應(yīng)于無損確定信道，有失真編碼對應(yīng)于 信道。有失真編碼的 受限，所以又稱為限失真編碼；編碼后的 得到壓縮，因此屬熵壓縮編碼。滿足的信道稱為D允許（試驗(yàn)）信道。所有D允許信道的轉(zhuǎn)移概率組成一個集合BD , BD中任都與一個D允許信道（編碼器）對應(yīng)，在BD中尋求一個PvU （即尋求一個）使 最小，這個最小值 稱為信息率失真函數(shù)，簡稱為率失真函數(shù)，記為R（D） 二、判斷題1、失真函數(shù)一定要保證非負(fù)。（）2、當(dāng)信源和信道（編碼器）均無記憶時，N長符號序列的平均失真度等于單符號平均 失真度的N倍。（）3、R（D）是保真度準(zhǔn)則（D DB. D = DD D下列說法不正確的。R(D)是