信息論小題測(cè)試題

1、第一章自我測(cè)試題一、填空題在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到形式、和 三個(gè)方面的因素。如果從隨機(jī)不確定性的角度來(lái)定義信息，信息是用以消除的東西。信源編碼的結(jié)果是冗余；而信道編碼的手段是冗余。年，香農(nóng)發(fā)表了著名的論文，標(biāo)志著信息論誕生。信息商品是一種特殊商品，它有性、性、性和知識(shí)創(chuàng)造性等特征。二、判斷題信息傳輸系統(tǒng)模型表明，噪聲僅僅來(lái)源于信道（）本體論層次信息表明，信息不依賴于人而存在（）信道編碼與譯碼是一對(duì)可逆變換（）1976年，論文密碼學(xué)的新方向的發(fā)表，標(biāo)志著保密通信研究的開始（）基因組序列信息的提取和分析是生物信息學(xué)的研究?jī)?nèi)容之一（）三、選擇題下列表述中，屬于從隨機(jī)不確定性的角度

2、來(lái)定義信息的信息是數(shù)據(jù)信息是集合之間的變異度信息是控制的指令信息是收信者事先不知道的報(bào)道是最高層次的信息認(rèn)識(shí)論本體論價(jià)值論唯物論下列不屬于狹義信息論的是信息的測(cè)度信源編碼信道容量計(jì)算機(jī)翻譯下列不屬于信息論的研究?jī)?nèi)容的是信息的產(chǎn)生信道傳輸能力文字的統(tǒng)計(jì)特性抗干擾編碼下列關(guān)于信息論發(fā)展歷史描述不正確的是偶然性、熵函數(shù)引進(jìn)物理學(xué)為信息論的產(chǎn)生提供了理論前提。1952年，香農(nóng)發(fā)展了信道容量的迭代算法哈特萊用消息可能數(shù)目的對(duì)數(shù)來(lái)度量消息中所含有的信息量，為香農(nóng)創(chuàng)立信息論提 供了思路。1959年，香農(nóng)首先提出率失真函數(shù)和率失真信源編碼定理，才發(fā)展成為信息率失 真編碼理論。四、簡(jiǎn)答題給定愛因斯坦質(zhì)能方程Em

3、c2,試說明該方程所傳達(dá)的語(yǔ)法信息、語(yǔ)義信息和語(yǔ) =A用信息。第一章自我測(cè)試題參考答案一、填空題語(yǔ)義，語(yǔ)用隨機(jī)不確定性減小，增加1948，通信的數(shù)學(xué)理論保存性，共享性，老化可能性二、判斷題X； 2.；3.X；4.X；5.三、選擇題1. D； 2. B； 3. D； 4. A； 5. B四、簡(jiǎn)答題語(yǔ)法信息：就是該方程中各個(gè)字母、符號(hào)的排列形式。語(yǔ)義信息：E為所產(chǎn)生的能量，m為質(zhì)量的變化，c2為光速的平方，表示左右在量值上相等。綜合起來(lái)就是，質(zhì)量的微小變化可以產(chǎn)生巨大的能量。語(yǔ)用信息:該方程可以啟發(fā)主體在一定條件下，通過物質(zhì)質(zhì)量的變化來(lái)產(chǎn)生巨大的能量， 如果讓能量緩慢釋放出來(lái)，可以得到核能；如果讓

4、能量瞬間釋放出來(lái)，可借以制造核彈。第二章測(cè)試題一、填空題N階平穩(wěn)信源的N維分布函數(shù)與 無(wú)關(guān)。 在對(duì)信源進(jìn)行觀察之前，對(duì)認(rèn)識(shí)主體來(lái)說，信源存 不確定性，觀察之后， 信源還存在 不確定性。 聯(lián)合符號(hào)(土,七)的不確定性，等于 的不確定性加上 的不確定性。4.256個(gè)亮度值構(gòu)成的信源，其熵值最大為比特。5.無(wú)條件熵 條件熵，條件多的熵 條件少的熵。(填大于或小于)二、判斷題對(duì)于DMS，長(zhǎng)度為3的符號(hào)串的平均不確定是單個(gè)符號(hào)平均不確定的3倍。()信源內(nèi)部的關(guān)聯(lián)性，會(huì)提高熵值。()馬爾科夫信源符號(hào)的輸出不僅與當(dāng)前的信源狀態(tài)有關(guān)，而且還與以前的狀態(tài)有關(guān)。()信息含量效率越高，信源的冗余度也越高。()與離散

5、熵相同，微分熵也是非負(fù)的。()三、選擇題下列物理量，不滿足非負(fù)性的是()H(X); B. I(X;Y); C. I(氣;y .); D. H(YX ) 連續(xù)型隨機(jī)變量的取值受限，那么該隨機(jī)變量服從時(shí)，微分熵最大。高斯分布；B.泊松分布；C,均勻分布；D,指數(shù)分布下列說法中，不正確的熵功率P VP，其中P為連續(xù)隨即變量X的平均功率1熵功率P = e2h(x)，其中h(X)是X的微分熵2neC.若X平均功率為P,但不是高斯分布，則龍(X) Inx 2nePD. X的平均功率為P時(shí)(均值非零)，則X得最大熵為h(X) = log(2neP下列表達(dá)式不正確的是I(x , y ) = I(x ) +1(

6、y |x ) = I(y ) +1(x |y ) k jkj kjk、 jB I (u ; u u ) I (u ; u ) +1 (u ; u u )12 31312 3C. H (XY) = H (X) + H (Yx ) = H (Y) + H (XY)D. H(XY) H(X)下列關(guān)于馬爾科夫信源的敘述中，不正確的是某一時(shí)刻信源符號(hào)的輸出只與當(dāng)時(shí)的信源狀態(tài)有關(guān)，而與之前的狀態(tài)無(wú)關(guān)信源狀態(tài)只由當(dāng)前輸出符號(hào)和前一時(shí)刻信源狀態(tài)唯一確定一般馬爾科夫信源的信息熵是其平均符號(hào)熵的極限值M階馬爾科夫信源的極限熵等于m+1階條件熵第二章測(cè)試題答案一、填空題時(shí)間的起點(diǎn)先驗(yàn)，后驗(yàn)關(guān)于輸入xk，干擾引入(或

7、者：關(guān)于輸出ydd，觀察到y(tǒng).后還剩余)8大于，小于二、判斷題1. V； 2. X； 3. X； 4. X； 5.X三、選擇題1. C；2. C；3. C；4. B；5. D第三章自我測(cè)試題一、填空題有記憶信道的當(dāng)前輸出不僅與 輸入有關(guān)，還與 輸入有關(guān)。既代表，又代表，因此，通常把H(X I Y)稱為信道的或如果信道給定，那么I(,區(qū))是輸入概率PX的 凸函數(shù)。如果信源給定，1.2.3.4.5.那么I (PX, PY | X)是轉(zhuǎn)移概率PYX的 凸函數(shù)。衡量一個(gè)信息傳遞系統(tǒng)的好壞有兩個(gè)主要指標(biāo)。其一，;其二，。使得給定信道的輸入分布，稱為最佳輸入(概率)分布，記為PX二、判斷題信道容量C不僅與

8、信道轉(zhuǎn)移概率有關(guān)，也與信道的輸入分布有關(guān)。()噪聲熵為0的信道稱為確定信道。()離散對(duì)稱信道輸入等概率分布時(shí)，輸出未必也等概率分布。()一般DMC達(dá)到信道容量的充要條件為信源符號(hào)的偏互信息均等于信道容量。() 信道是DMC的充要條件是序列符號(hào)對(duì)之間的轉(zhuǎn)移概率等于各個(gè)時(shí)刻單個(gè)符號(hào)對(duì) 轉(zhuǎn)移概率之連乘。()三、選擇題 1.若信道和信源均無(wú)記憶，以下結(jié)論不成立的是I(X;Y) = El(XY)_ _ k=1I(X;Y) = NI(X;Y)I (X; Y)幻氣 Y)k=1CN = NC關(guān)于兩個(gè)獨(dú)立信道Q1、Q2串聯(lián)，下列說法不正確的是3.4.5.A.B.串聯(lián)信道的信道容量與組成串聯(lián)信道的各分信道的信道容

9、量存在精確的定量關(guān)系 數(shù)據(jù)處理過程中，隨著數(shù)據(jù)的不斷處理，從處理后的數(shù)據(jù)中所得的原始信息會(huì)愈來(lái) 愈少串聯(lián)信道的轉(zhuǎn)移概率矩陣是各單元信道的轉(zhuǎn)移概率矩陣之積X組成一個(gè)馬爾可夫鏈C.D.信源的輸出與信道的輸入匹配的目的不包括A.符號(hào)匹配；B.信息匹配；C,功率匹配；D.降低信道剩余度以下關(guān)于連續(xù)信道的說法中，不正確的是連續(xù)信道是時(shí)間離散、幅值連續(xù)的信道連續(xù)信道的統(tǒng)計(jì)特性由轉(zhuǎn)移概率分布函數(shù)描述加性噪聲信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的概率密度函數(shù)對(duì)于無(wú)記憶加性噪聲信道，若輸入信號(hào)服從高斯分布，且噪聲的平均功率受限，則A.B.C.D.服從高斯分布的噪聲使信道平均互信息量達(dá)到最小r已知香農(nóng)公式C(P ) =

10、 Blog 1 +SA.B.C.D.1V J在信噪比不變的前提下，增大頻帶，可增大信道容量頻帶不變時(shí)，增大信噪比即可增大信道容量C在PS增大很多之后，繼續(xù)增大信號(hào)功率來(lái)實(shí)現(xiàn)信道容量的增大是一個(gè)有效途徑 用擴(kuò)頻方法來(lái)增大信道容量，其作用是有限的第三章自測(cè)題參考答案，不能得出的結(jié)論是.2.一、填空題1、當(dāng)前時(shí)刻的，以前的2、收到輸出Y后對(duì)輸入X還存有的疑義，信道在傳輸過程中的信息損失，疑義度，損 失熵3、上，下4、數(shù)量(速度)指標(biāo)：信息(傳輸)率R，即信道中平均每個(gè)符號(hào)傳遞的信息量，質(zhì)量指標(biāo)：平均差錯(cuò)率P，即對(duì)信道輸出符號(hào)進(jìn)行譯碼的平均錯(cuò)誤概率。e5、I(X;Y)達(dá)到最大值(即信道容量C)二、判斷

11、題1、x； 2、； 3、x； 4、； 5、三、選擇題1、C； 2、A； 3、C； 4、B； 5、C第四章測(cè)驗(yàn)題一、填空題無(wú)失真編碼只對(duì)信源的 進(jìn)行壓縮，而不會(huì)改變信源的熵，又稱冗余度壓縮編碼。無(wú)失真信源編碼的作用可歸納為(1) ； (2) 無(wú)失真信源編碼器的熵為H(U) =2.35bit /符號(hào)；則編碼后的熵H W) =bit /碼字；若平均碼長(zhǎng)為2.6比特/碼字，則H(X)=，信息率R=，I =， 冗余度7 c =。的碼稱為奇異碼對(duì)于一個(gè)碼，若，則稱該碼為惟一可譯碼二、判斷題對(duì)于一個(gè)碼，若每個(gè)碼字都與惟一的一個(gè)信源符號(hào)相對(duì)應(yīng)，則該碼為惟一可譯碼。()定長(zhǎng)非奇異碼肯定是惟一可譯碼。()非續(xù)長(zhǎng)碼

12、中任一碼字都不是其他碼字的前綴。()非續(xù)長(zhǎng)碼必滿足Kraft不等式。()一個(gè)碼是惟一可譯碼的充要條件是滿足Kraft不等式。()三、選擇題關(guān)于定長(zhǎng)編碼，以下說法不正確的是無(wú)失真定長(zhǎng)編碼要求可用的碼字?jǐn)?shù)不少于擴(kuò)展信源的符號(hào)數(shù)無(wú)失真r進(jìn)制定長(zhǎng)碼碼長(zhǎng)不得低于信源r進(jìn)制符號(hào)熵信源序列的分組長(zhǎng)度N增大可以提高編碼效率。.引入失真不可能提高定長(zhǎng)碼的編碼效率關(guān)于變長(zhǎng)編碼，以下說法不正確的是無(wú)失真r進(jìn)制變長(zhǎng)碼碼長(zhǎng)不得低于信源r進(jìn)制符號(hào)熵變長(zhǎng)編碼時(shí)，隨著信源序列長(zhǎng)度N的增大，編碼效率提高。變長(zhǎng)碼要求各個(gè)碼字的長(zhǎng)度互不相同變長(zhǎng)碼的編碼效率高于定長(zhǎng)碼下述編碼中 可能是任何概率分布對(duì)應(yīng)的Huffman0, 10, 1

13、100, 01, 10, 11001, 10001, 011, 100, 101關(guān)于無(wú)失真信源編碼，以下說法不正確的是。有效的信源編碼可使輸出碼元概率均勻化霍夫曼編碼過程中，可能造成碼字不惟一，但平均碼長(zhǎng)是相同的，因而編碼效率是 相同香農(nóng)編碼不能保證碼字具有非續(xù)長(zhǎng)性費(fèi)諾編碼按照“概率大碼長(zhǎng)小、概率小碼長(zhǎng)大”來(lái)決定碼長(zhǎng)下列說法不正確的是算術(shù)編碼的碼長(zhǎng)與該序列的累計(jì)概率有關(guān)Huffman碼無(wú)法對(duì)只含2個(gè)符號(hào)的信源進(jìn)行壓縮游程編碼的效率取決于信源符號(hào)的重復(fù)率算術(shù)編碼可以對(duì)只含2個(gè)符號(hào)的信源序列進(jìn)行壓縮字典編碼通過把信源符號(hào)序列映射為位置序號(hào)達(dá)到壓縮編碼的目的第四章測(cè)驗(yàn)題參考答案一、填空題冗余度符號(hào)變

14、換；冗余度壓縮2.35； 0.9038 比特/碼元；0.9038 比特/碼元；90.38%, 9.62%含相同碼字的由該碼的碼字組成的任意有限長(zhǎng)碼字序列都能恢復(fù)成惟一的信源符號(hào)序列二、判斷題X； 2. V； 3. V； 4. V； 5. X三、選擇題D； 2.C； 3.A； 4.D； 5.A第五章測(cè)驗(yàn)題一、填空題信息傳遞系統(tǒng)的基本功能是在系統(tǒng)輸出端準(zhǔn)確地再現(xiàn)系統(tǒng)輸入端發(fā)送的信息。但是會(huì)受到客觀限制，首先 受 的限制；其次，由于 的干擾，不可避免。衡量信息傳輸速度大小的指標(biāo)是信道的信息（傳輸）率R，其最 大值就是，衡量信息傳輸可靠性的指標(biāo)。為了降低平均差錯(cuò)率，可先對(duì)消息 再送入信道傳送，這種為降

15、低 而進(jìn)行的編碼稱為信道編碼。信道輸出r它與信道輸入X既有聯(lián)系又有區(qū)別，聯(lián)系的程度和區(qū)別的大小取決于 或者說取決于。5.信道譯碼函數(shù)F是從 到 的映射:其含義是將 譯為。譯碼函數(shù)又稱。判斷題譯碼規(guī)則取決于信道，一個(gè)信道的譯碼規(guī)則是唯一的。（）在信道輸出端接收到符號(hào)七時(shí)，按譯碼規(guī)則F%）=. A將*，jj = ae A將b譯為a，則平均譯碼錯(cuò)誤j）的加權(quán)平均值。（）3.bj譯為.*，若此時(shí)信道輸入剛好是a *，則稱為譯碼正確。（） 若按譯碼規(guī)則f b）=概率是p（x=% * y=b4.最“好”的譯碼規(guī)則必然使Pe最小。（）最大后驗(yàn)概率譯碼規(guī)則是最佳譯碼規(guī)則。（）選擇題譯碼規(guī)則不能由 確定后驗(yàn)概率

16、 B.聯(lián)合概率 C.轉(zhuǎn)移概率 D.邊緣概率假設(shè)P勺）=0.4,信道線圖如下圖所示，相應(yīng)的最佳譯碼規(guī)則為f JF1 )=匕f JF2(bi)= a2A. i: IF(b )= a B. i: IF (b )= a121222C. F 忠1 了 aiD. F :昨 1)=七1 F ( )= a 1 F ( )- a 、322、421下列說法不正確的是信道輸入等概時(shí)，極大似然譯碼規(guī)則也是最佳的最大后驗(yàn)概率條件可無(wú)條件等價(jià)成最大聯(lián)合概率條件當(dāng)信源統(tǒng)計(jì)特性未知的時(shí)候，可以使用極大似然譯碼規(guī)則作為譯碼規(guī)則應(yīng)用極大似然譯碼規(guī)則總可以確定譯碼的平均差錯(cuò)率關(guān)于重復(fù)N次編碼，說法不正確的是oN越大，信息傳輸率越高

17、“重復(fù)N次”是定長(zhǎng)碼采用擇多譯碼策略能減低平均差錯(cuò)率對(duì)信源U的2元符號(hào)串進(jìn)行編碼，取碼長(zhǎng)為N = 3，則可供選擇的碼字有4個(gè)八 2信息率R = 3共有4X8 = 32種不同的編碼方法。繼續(xù)增加消息個(gè)數(shù)，可以降低平均差錯(cuò)率第五章測(cè)驗(yàn)題參考答案一、填空題傳輸速度信道容量信道噪聲傳輸錯(cuò)誤信道容量平均差錯(cuò)率編碼平均差錯(cuò)率噪聲N的影響情況信道的統(tǒng)計(jì)特性輸出符號(hào)集合B輸入符號(hào)集合A接收符號(hào)七e B某個(gè)輸入符號(hào)氣e A譯碼 規(guī)則二、判斷題1. X； 2. X； 3. X； 4. X； 5. V三、選擇題1、D 2、C 3、D 4、A 5、B第六章測(cè)驗(yàn)題一、填空題源編碼實(shí)質(zhì)上是對(duì)信源進(jìn)行信息處理，無(wú)失真信源編

18、碼只是信息處理的方法之一，除此之外，還可對(duì)信源進(jìn)行 編碼。無(wú)失真編碼對(duì)應(yīng)于無(wú)損確定信道，有失真編碼對(duì)應(yīng)于 信道。有失真編碼的 受限，所以又稱為限失真編碼；編碼后的 得到壓縮，因此屬熵壓縮編碼。滿足的信道稱為D允許（試驗(yàn)）信道。所有D允許信道的轉(zhuǎn)移概率組成一個(gè)集合BD , BD中任都與一個(gè)D允許信道（編碼器）對(duì)應(yīng)，在BD中尋求一個(gè)PvU （即尋求一個(gè)）使 最小，這個(gè)最小值 稱為信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，記為R（D） 二、判斷題1、失真函數(shù)一定要保證非負(fù)。（）2、當(dāng)信源和信道（編碼器）均無(wú)記憶時(shí)，N長(zhǎng)符號(hào)序列的平均失真度等于單符號(hào)平均 失真度的N倍。（）3、R（D）是保真度準(zhǔn)則（D DB. D = DD D下列說法不正確的。R(D)是