信息論基礎(chǔ),有興趣看看

二 填空 每空 1 分 100 道 1 在認(rèn)識論層次上研究信息的時候 必須同時考慮到 三個方面的因素 2 1948 年 美國數(shù)學(xué)家 香農(nóng) 發(fā)表了題為 通信的數(shù)學(xué)理論 的長篇論 文 從而創(chuàng)立了信息論 3 按照信息的性質(zhì) 可以把信息分成 語法信息 語義信息和語用信息 4 按照信息的地位 可以把信息分成 客觀信息和主觀信息 5 人們研究信息論的目的是為了 地交換和利用各種各樣的信息 6 信息的 可度量性 是建立信息論的基礎(chǔ) 7 8 熵 是香農(nóng)信息論最基本最重要的概念 9 事物的不確定度是用時間統(tǒng)計發(fā)生 來描述的 10 單符號離散信源一般用隨機(jī)變量描述 而多符號離散信源一般用 隨機(jī) 矢量 描述 11 一個隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量 定義為 其發(fā)生概率對數(shù)的負(fù)值 12 自信息量的單位一般有 比特 奈特和哈特 13 必然事件的自信息是 14 不可能事件的自信息量是 15 兩個相互獨立的隨機(jī)變量的聯(lián)合自信息量等于 兩個自信息量之和 16 數(shù)據(jù)處理定理 當(dāng)消息經(jīng)過多級處理后 隨著處理器數(shù)目的增多 輸 入消息與輸出消息之間的平均互信息量 趨于變小 17 離散平穩(wěn)無記憶信源 X 的 N 次擴(kuò)展信源的熵等于離散信源 X 的熵的 N 倍 18 離散平穩(wěn)有記憶信源的極限熵 H N m19 對于 n 元 m 階馬爾可夫信源 其狀態(tài)空間共有個不同的狀態(tài) 20 一維連續(xù)隨即變量 X 在 a b limH X XX X N12N 1 1log22 eP221 平均功率為 P 的高斯分布的連續(xù)信源 其信源熵 Hc X 22 對于限峰值功率的 N 維連續(xù)信源 當(dāng)概率密度 23 對于限平均功率的一維連續(xù)信源 當(dāng)概率密度 高斯分布 時 信源熵 有最大值 24 對于均值為 0 平均功率受限的連續(xù)信源 信源的冗余度決定 于平均功率的限定值 P 和信源的熵功率 P 25 若一離散無記憶信源的信源熵 H X 等于 2 5 對信源進(jìn)行等長的無 失真二進(jìn)制編碼 則編碼長度至少為 26 m 元長度為 ki i 1 2 n 的異前置碼存在的充要條件是 i 1 27 28 同時擲兩個正常的骰子 各面呈現(xiàn)的概率都為 1 6 同時出現(xiàn) 這件事 的自信息量是 mn ki 1 1 mp x em29 若一維隨即變量 X 的取值區(qū)間是 0 其概率密度函數(shù) 為 其中 x 0 m 是 X 的數(shù)學(xué) C X log2me 期望 則 X 的信源熵 H 30 一副充分洗亂的撲克牌 52 張 從中任意抽取 1 張 然后放回 若 把這一過程看作離散無記憶信源 則其信源熵為 log252 31 根據(jù)輸入輸出信號的特點 可將信道分成離散信道 連續(xù)信道 半離 散或半連續(xù) 信道 32 信道的輸出僅與信道當(dāng)前輸入有關(guān) 而與過去輸入無關(guān)的信道稱為 33 具有一一對應(yīng)關(guān)系的無噪信道的信道容量 34 強(qiáng)對稱信道的信道容量 35 對稱信道的信道容量 36CN x 37 對于 N 個對立并聯(lián)信道 其信道容量 CN k 1 38 多用戶信道的信道容量用來表示 NCk 39 多用戶信道可以分成幾種最基本的類型 多址接入信道 廣播信道 和相關(guān)信源信道 40 廣播信道是只有 一個輸入端和多個輸出端 的信道 41 當(dāng)信道的噪聲對輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時 此 信道稱為 加性連續(xù)信道 P1log2 1 X PN 42 高斯加性信道的信道容量 C 2 43 信道編碼定理是一個理想編碼的存在性定理 即 信道無失真?zhèn)鬟f信 息的條件是 代表的信道的信道容量 C 1 44 信道矩陣 信道矩陣 代表的信道的信道容量 C 1 46 高斯加性噪聲信道中 信道帶寬 3kHz 信噪比為 7 則該信道的最大 信息傳輸速率 Ct 47 對于具有歸并性能的無燥信道 達(dá)到信道容量的條件是 0 0 1 1 048 信道矩陣 代表的信道 若每分鐘可以傳遞 6 105 個符號 則該信 道的最大信息傳輸速率 Ct 49 信息率失真理論是量化 數(shù)模轉(zhuǎn)換 頻帶壓縮和 數(shù)據(jù)壓縮 的理論基 礎(chǔ) 50 求解率失真函數(shù)的問題 即 在給定失真度的情況下 求信息率的 51 信源的消息通過信道傳輸后的誤差或失真越大 信宿收到消息后對信 源存在的不確定性就 越大 獲得的信息量就越小 52 信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息 率 也越小 53 單符號的失真度或失真函數(shù) d xi yj 表示信源發(fā)出一個符號 xi 信宿再現(xiàn) yj 所引起的 誤差或失真 0 1 0i j 54 漢明失真函數(shù) d xi yj 1i j 55 平方誤差失真函數(shù) d xi yj 2 56d x yj 在 X 和 Y 的 聯(lián)合概率空間 P XY 中 的統(tǒng)計平均值 57 58 如果規(guī)定平均失真度 D D 我們把 D D 稱為 59 離散無記憶 N 次擴(kuò)展信源通過離散無記憶 N 次擴(kuò)展信道的平均失真度 是單符號信源通過單符號信道的平均失真度的 N 倍 ji60 試驗信道的集合用 PD 來表示 則 PD 61 信息率失真函數(shù) 簡稱為率失真函數(shù) 即 試驗信道中的平均互信息 量的 最小值 62 平均失真度的下限取 0 的條件是失真矩陣的 每一行至少 有一個零元素 63 平均失真度的上限 D 取 D j 1 2 m 中的 最小值 64 率失真函數(shù)對允許的平均失真度是 單調(diào)遞減和連續(xù)的 65 66 當(dāng)失真度大于平均失真度的上限時 DR D 0 p y x D D i 1 2 n j 1 2 m Inf 67 連續(xù)信源 X 的率失真函數(shù) R D 2p y x PDI X Y 68 當(dāng) D 時 高斯信源在均方差失真度下的信息率 失真函數(shù)為 69 保真度準(zhǔn)則下的信源編碼定理的條件是 1 2log2R D 2D 1 X 0 0 P a X 1 21 2 70 某二元信源其失真矩陣 D a 0 則該信源的 Dmax 1 X 0 0 P a X 1 21 2 71 某二元信源其失真矩陣 D 1 X 0 0 P X 1 21 2 其失真矩陣 D a72 某二元信源 則該信 源的 R D 1 H D a 73 按照不同的編碼目的 編碼可以分為三類 分別是 信源編碼 信道編 碼和安全編碼 74 信源編碼的目的是 75 一般情況下 信源編碼可以分為 離散信源編碼 連續(xù)信源編碼和相關(guān) 信源編碼 76 連續(xù)信源或模擬信號的信源編碼的理論基礎(chǔ)是 77 在香農(nóng)編碼中 第 i 個碼字的長度 ki 和 p xi 之間有 a 0 a 0 則該信源的 Dmin logp x k1 logp x 2ii 2i 關(guān)系 Xxxxxx 1x2x3x45678 P X 1 41 41 81 81 161 161 161 16 78 對信源進(jìn)行二進(jìn)制費諾編碼 其編 碼效率為 1 79 對具有 8 個消息的單符號離散無記憶信源進(jìn)行 4 進(jìn)制哈夫曼編碼時 為使平均碼長最短 應(yīng)增加 0 的消息 80 對于香農(nóng)編碼 費諾編碼和哈夫曼編碼 編碼方法惟一的是 81 對于二元序列 0011100000011111001111000001111111 其相應(yīng)的游程 序列是 p182 設(shè)無記憶二元序列中 0 和 1 的概率分別是 p0 和 p1 則 0 游程長度 L 0 的概率 83 游程序列的熵原二元序列的熵 84 若 0 游程的哈夫嗎編碼效率為 0 1 游程的哈夫嗎編碼效率為 1 且 0 1 對應(yīng)的二元序列的編碼效率為 則三者的關(guān)系是 85 在實際的游程編碼過程中 對長碼一般采取 截斷 處理的方法 86 0 游程和 1 游程可以分別進(jìn)行哈夫曼編碼 兩個碼表中的碼字 可以重復(fù) 但 87 在多符號的消息序列中 大量的重復(fù)出現(xiàn)的 只起占時作用的符號稱 為 冗余位 88 冗余變換 即 將一個冗余序列轉(zhuǎn)換成一個二元序列和一個 縮短了 的多元序列 89 L D 編碼是一種 分幀傳送冗余位序列 的方法 90 L D 編碼適合于冗余位 91 信道編碼的最終目的是 提高信號傳輸?shù)目煽啃?92 狹義的信道編碼即 檢 糾錯編碼 93 BSC 信道即 無記憶二進(jìn)制對稱信道 94 n 位重復(fù)碼的編碼效率是 95 等重碼可以檢驗 全部的奇數(shù)位錯和部分的偶數(shù)位錯 96 任意兩個碼字之間的最小漢明距離有稱為碼的最小距 dmin 則 dmin p L 0 p0L 0 1mind c c c c 97 若糾錯碼的最小距離為 dmin 則可以糾正任意小于等于 t 98 若檢錯碼的最小距離為 dmin 則可以檢測出任意小于等于個差錯 99 線性分組碼是同時具有 分組特性和線性特性 的糾錯碼 100 循環(huán)碼即是采用 循環(huán)移位特性界定 的一類線性分組碼 三 判斷 每題 1 分 50 道 1 必然事件和不可能事件的自信息量都是 0 錯 dmin 1 2 個差錯 2 自信息量是 p xi 的單調(diào)遞減函數(shù) 對 3 單符號離散信源的自信息和信源熵都具有非負(fù)性 對 4 單符號離散信源的自信息和信源熵都是一個確定值 錯 5 單符號離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞 減的 對 6 自信息量 條件自信息量和聯(lián)合自信息量之間有如下關(guān)系 ijijijij 7 自信息量 條件自信息量和互信息量之間有如下關(guān)系 I xy I x I y x I y I x y 對 ijiijjji 對 8 當(dāng)隨即變量 X 和 Y 相互獨立時 條件熵等于信源熵 對 9 當(dāng)隨即變量 X 和 Y 相互獨立時 I X Y H X 錯 10 信源熵具有嚴(yán)格的下凸性 錯 11 平均互信息量 I X Y 對于信源概率分布 p xi 和條件概率分布 p yj xi 都具有凸函數(shù)性 對 12 m 階馬爾可夫信源和消息長度為 m 的有記憶信源 其所含符號的依賴關(guān) 系相同 錯 13 利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來求 m 階馬爾可夫信源的極限 熵 對 14 N 維統(tǒng)計獨立均勻分布連續(xù)信源的熵是 N 維區(qū)域體積的對數(shù) 對 15 一維高斯分布的連續(xù)信源 其信源熵只與其均值和方差有關(guān) 錯 16 連續(xù)信源和離散信源的熵都具有非負(fù)性 錯 17 連續(xù)信源和離散信源都具有可加性 對 18 連續(xù)信源和離散信源的平均互信息都具有非負(fù)性 對 19 定長編碼的效率一般小于不定長編碼的效率 對 I x y I x I x y I y I y x 20 若對一離散信源 熵為 H X 進(jìn)行二進(jìn)制無失真編碼 設(shè)定長碼子 長度為 K 變長碼子平均長度為 K 一般 K K 錯 21 信道容量 C 是 I X Y 關(guān)于 p xi 的條件極大值 對 22 離散無噪信道的信道容量等于 log2n 其中 n 是信源 X 的消息個數(shù) 錯 23 對于準(zhǔn)對稱信道 當(dāng) 24 多用戶信道的信道容量不能用一個數(shù)來代表 對 25 多用戶信道的信道容量不能用一個數(shù)來代表 但信道的信息率可以用 一個數(shù)來表示 錯 26 高斯加性信道的信道容量只與信道的信噪有關(guān) 對 27 信道無失真?zhèn)鬟f信息的條件是信息率小于信道容量 對 28 最大信息傳輸速率 即 選擇某一信源的概率分布 p xi 使信 道所能傳送的信息率的最大值 錯 29 對于具有歸并性能的無燥信道 當(dāng)信源等概率分布時 p xi 1 n 達(dá)到信道容量 錯 30 求解率失真函數(shù)的問題 即 在給定失真度的情況下 求信息率的極 小值 對 31 信源的消息通過信道傳輸后的誤差或失真越大 信宿收到消息后對信 源存在的不確定性就越小 獲得的信息量就越小 錯 32 當(dāng) p xi p yj xi 和 d xi yj 給定后 平均失真度是一個隨 即變量 錯 33 率失真函數(shù)對允許的平均失真度具有上凸性 對 34 率失真函數(shù)沒有最大值 錯 35 率失真函數(shù)的最小值是 0 對 36 率失真函數(shù)的值與信源的輸入概率無關(guān) 錯 37 信源編碼是提高通信有效性為目的的編碼 對 38 信源編碼通常是通過壓縮信源的冗余度來實現(xiàn)的 對 39 離散信源或數(shù)字信號的信源編碼的理論基礎(chǔ)是限失真信源編碼定理 錯 40 一般情況下 哈夫曼編碼的效率大于香農(nóng)編碼和費諾編碼 對 41 在編 m m 2 進(jìn)制的哈夫曼碼時 要考慮是否需要增加概率為 0 的碼 字 以使平均碼長最短 對 42 游程序列的熵 0 游程序列的熵與 1 游程序列的熵的和