信息論與編碼復習提綱(2013)

1、信息論與編碼復習提綱 本課程為考試課，閉卷 成績構成：20%（平時）+80%（卷面） 考題類型： 1、填空題20分，每空2分 2、判斷題10分，每題2分 3、簡單分析題20分，每題5分 4、綜合計算題50分，4個大題。 需掌握的知識點 1、自信息量的計算，P15，公式2.1.1 注意：計算自信息量時，計算器上用的log按鈕 是10為底的，需*3.322比特，算出的信息量才是 以比特/符號為單位。 例：同時扔一對均勻的骰子，當得知“兩骰子面 朝上點數之和為7”時，得到的信息量是多少比特？ p(兩骰子面朝上點數之和為7)= I=-logp=2.29比特 類似的題目還有習題2.1，2.2，2.3，2

2、.4，2.5 36 6 2、條件自信息量的計算，P16，公式2.1.3 P16，例2.1.2。 3、互信息量的計算，P17，公式2.2.1或2.2.2?；?信息量的對稱性。習題2.8 4、熵（也稱平均自信息量）的計算，P20， 公式2.3.1。 例題2.3.1，習題2.6； P23熵的對稱性，公式2.3.11， P25熵的極值性，：集合x中的各事件等概率 發(fā)生時，熵達到極大值logn，n是集合X的元 素數目。 5、條件熵H（X|Y），H（Y|X）的計算， P28公式2.3.20，2.3.21 關于熵與概率的各種計算關系，見P30例 2.3.3 6、平均互信息量的計算，P38頁公式2.4.6，

3、或公式2.4.7，P84例4.2.2 7、離散無記憶信源的N次擴展信源的熵P47， 公式3.3.7。 離散無記憶信源X的N次擴展信源XN的熵等于 信源X的熵的N倍。H（XN）=NH（X） 習題2.7。 8、m階馬爾可夫信源的定義：信源當前時刻發(fā)什 么符號只與前面的m個符號相關，而與更前面的符 號無關。P58頁p(aim+1|ai1ai2.aim) (1)能根據狀態(tài)轉移圖，寫出狀態(tài)轉移矩陣(也稱傳 遞概率矩陣） (2)能計算H(X|Sj) (3)能計算馬爾可夫信源的熵： Hm+1= P59例3.5.3，習題3.8，3.9 j S jj SXHSp)|()( 9、信息傳輸率的計算，P95公式4.5

4、.1，公式 4.5.2 例1：已知一信源包含4個消息符號，其出現的概 率分別為P=0.2，0.5，0.2，0.1,則該信源的熵 為多少？若信源在每秒鐘內發(fā)出1000個符號，則 信源的信息傳輸率R為多少？ H(X)= 比特/符號 R=1000*1.76=1760比特/秒 76. 1)(log)( X xpxp 10、信道容量:P81定理4.2.1，P82定理4.2.2 計算公式，P96公式4.5.3，4.5.4，P97公式 4.5.6，4.5.7，4.5.8 對稱離散信道容量的計算，P99公式4.5.9， 什么樣的信道是無損信道，確定信道，無損 確定信道，對稱信道，準對稱信道？ P98對稱離散信

5、道和非對稱離散信道的4矩陣 例子。 二進制對稱信道容量的計算，P100上的公式： C=1-H(p)。 例：有一個二進制對稱信道，其信道在傳輸 信息的過程中，正確傳輸的概率是0.98，錯 誤傳輸的概率是0.02。設該信道以每秒1500 個符號的速率傳輸輸入的符號 ?，F有一消息 序列共有14000個二元符號，并設在這個消 息中P（0）=P（1）= 。 （1）畫出該二進制對稱信道的傳輸特性圖， 并寫出其信道矩陣。 （2）問從信息傳輸的角度來考慮，10秒內能 否將這消息序列無失真地傳送完。 （1）信道傳輸特性信道傳輸特性： 信道矩陣：信道矩陣：P= （2）該二進制對稱信道的信道容量為：）該二進制對稱信

6、道的信道容量為： C=1-H（0.98，0.02）=0.86比特比特/符號符號 碼元傳送速率碼元傳送速率R=1500符號符號/秒秒 ，信道容量，信道容量 C=0.86*1500=1290比特比特/秒秒 該信道在該信道在10秒內無失真地最多傳輸的符號數秒內無失真地最多傳輸的符號數 為：為：10*1290=12900 因為因為1290014000,故從信息傳輸的角度來考故從信息傳輸的角度來考 慮，慮，10秒內不能將這消息序列無失真地傳送秒內不能將這消息序列無失真地傳送 完完 YX 0 1 0 1 0.98 0.98 0.020.02 98. 002. 0 02. 098. 0 11、香農編碼，哈夫曼編碼的步驟，平均碼長，編 碼效率的計算公式。 為了獲得同樣的編碼效率，定長碼需要的碼長比變 長碼大得多。 哈夫曼編碼不唯一。 P140例5.1.4 P141，P142，例5.1.5，5.1.6，5.1.7 12、信道編碼 (1)碼字距離的定義 （2） 發(fā)現e個獨立隨機錯誤，碼字最小距離的要求，t 個獨立隨機錯誤，碼字最小距離的要求；發(fā)現e個獨立 隨機錯誤，同時糾正t個獨立隨機錯誤，碼字最小距離的 要求P202； （3）漢明距離的定義P217；漢明碼P226的特點； （4）線性分組碼的生成矩陣P2