信息論與編碼復習提綱(2013)

1、信息論與編碼復習提綱 本課程為考試課，閉卷 成績構成：20%（平時）+80%（卷面） 考題類型： 1、填空題20分，每空2分 2、判斷題10分，每題2分 3、簡單分析題20分，每題5分 4、綜合計算題50分，4個大題。 需掌握的知識點 1、自信息量的計算，P15，公式2.1.1 注意：計算自信息量時，計算器上用的log按鈕 是10為底的，需*3.322比特，算出的信息量才是 以比特/符號為單位。 例：同時扔一對均勻的骰子，當?shù)弥皟慎蛔用?朝上點數(shù)之和為7”時，得到的信息量是多少比特？ p(兩骰子面朝上點數(shù)之和為7)= I=-logp=2.29比特 類似的題目還有習題2.1，2.2，2.3，2

2、.4，2.5 36 6 2、條件自信息量的計算，P16，公式2.1.3 P16，例2.1.2。 3、互信息量的計算，P17，公式2.2.1或2.2.2?；?信息量的對稱性。習題2.8 4、熵（也稱平均自信息量）的計算，P20， 公式2.3.1。 例題2.3.1，習題2.6； P23熵的對稱性，公式2.3.11， P25熵的極值性，：集合x中的各事件等概率 發(fā)生時，熵達到極大值logn，n是集合X的元 素數(shù)目。 5、條件熵H（X|Y），H（Y|X）的計算， P28公式2.3.20，2.3.21 關于熵與概率的各種計算關系，見P30例 2.3.3 6、平均互信息量的計算，P38頁公式2.4.6，

3、或公式2.4.7，P84例4.2.2 7、離散無記憶信源的N次擴展信源的熵P47， 公式3.3.7。 離散無記憶信源X的N次擴展信源XN的熵等于 信源X的熵的N倍。H（XN）=NH（X） 習題2.7。 8、m階馬爾可夫信源的定義：信源當前時刻發(fā)什 么符號只與前面的m個符號相關，而與更前面的符 號無關。P58頁p(aim+1|ai1ai2.aim) (1)能根據(jù)狀態(tài)轉(zhuǎn)移圖，寫出狀態(tài)轉(zhuǎn)移矩陣(也稱傳 遞概率矩陣） (2)能計算H(X|Sj) (3)能計算馬爾可夫信源的熵： Hm+1= P59例3.5.3，習題3.8，3.9 j S jj SXHSp)|()( 9、信息傳輸率的計算，P95公式4.5

4、.1，公式 4.5.2 例1：已知一信源包含4個消息符號，其出現(xiàn)的概 率分別為P=0.2，0.5，0.2，0.1,則該信源的熵 為多少？若信源在每秒鐘內(nèi)發(fā)出1000個符號，則 信源的信息傳輸率R為多少？ H(X)= 比特/符號 R=1000*1.76=1760比特/秒 76. 1)(log)( X xpxp 10、信道容量:P81定理4.2.1，P82定理4.2.2 計算公式，P96公式4.5.3，4.5.4，P97公式 4.5.6，4.5.7，4.5.8 對稱離散信道容量的計算，P99公式4.5.9， 什么樣的信道是無損信道，確定信道，無損 確定信道，對稱信道，準對稱信道？ P98對稱離散信

5、道和非對稱離散信道的4矩陣 例子。 二進制對稱信道容量的計算，P100上的公式： C=1-H(p)。 例：有一個二進制對稱信道，其信道在傳輸 信息的過程中，正確傳輸?shù)母怕适?.98，錯 誤傳輸?shù)母怕适?.02。設該信道以每秒1500 個符號的速率傳輸輸入的符號 ?，F(xiàn)有一消息 序列共有14000個二元符號，并設在這個消 息中P（0）=P（1）= 。 （1）畫出該二進制對稱信道的傳輸特性圖， 并寫出其信道矩陣。 （2）問從信息傳輸?shù)慕嵌葋砜紤]，10秒內(nèi)能 否將這消息序列無失真地傳送完。 （1）信道傳輸特性信道傳輸特性： 信道矩陣：信道矩陣：P= （2）該二進制對稱信道的信道容量為：）該二進制對稱信

6、道的信道容量為： C=1-H（0.98，0.02）=0.86比特比特/符號符號 碼元傳送速率碼元傳送速率R=1500符號符號/秒秒 ，信道容量，信道容量 C=0.86*1500=1290比特比特/秒秒 該信道在該信道在10秒內(nèi)無失真地最多傳輸?shù)姆枖?shù)秒內(nèi)無失真地最多傳輸?shù)姆枖?shù) 為：為：10*1290=12900 因為因為1290014000,故從信息傳輸?shù)慕嵌葋砜脊蕪男畔鬏數(shù)慕嵌葋砜?慮，慮，10秒內(nèi)不能將這消息序列無失真地傳送秒內(nèi)不能將這消息序列無失真地傳送 完完 YX 0 1 0 1 0.98 0.98 0.020.02 98. 002. 0 02. 098. 0 11、香農(nóng)編碼，哈夫曼編碼的步驟，平均碼長，編 碼效率的計算公式。 為了獲得同樣的編碼效率，定長碼需要的碼長比變 長碼大得多。 哈夫曼編碼不唯一。 P140例5.1.4 P141，P142，例5.1.5，5.1.6，5.1.7 12、信道編碼 (1)碼字距離的定義 （2） 發(fā)現(xiàn)e個獨立隨機錯誤，碼字最小距離的要求，t 個獨立隨機錯誤，碼字最小距離的要求；發(fā)現(xiàn)e個獨立 隨機錯誤，同時糾正t個獨立隨機錯誤，碼字最小距離的 要求P202； （3）漢明距離的定義P217；漢明碼P226的特點； （4）線性分組碼的生成矩陣P2