信息論與編碼知識點分布

1、信息論與編碼知識點分布注：（1）復習過程中參考如下知識點，重點復習教材與多媒體講義中的相關內容，在理解的基礎上進行針對性公式記憶。（2）期末考試題量較大，題型較為靈活，求解速度很重要。因此復習中對典型例題、講義中典型習題、教材中模擬題等要熟練掌握求解方法。第二章 信源與信源熵1信源的不確定性2單符號離散信源 （1）單符號離散信源的數(shù)學模型（2）單符號離散信源的信息量（自信息量 、聯(lián)合信息量、條件信息量及三種信息量的關系） 自信息量：條件信息量：聯(lián)合信息量：互信息量： 信源熵：條件熵：聯(lián)合熵：熵函數(shù)的性質：非負性；對稱性；最大離散熵定理；擴展性；可加性；極值性；平均互信息量：各種熵之間的關系：例

2、題：在理解的基礎上求解實際問題：3多符號離散平穩(wěn)信源 離散無記憶擴展信源：定義； 離散無記憶信源X的N次擴展信源的熵就是離散信源X的熵的N倍 離散平穩(wěn)信源：定義；平均符號熵與極限熵；4馬爾可夫信源：定義；信源狀態(tài)轉移圖；各態(tài)遍歷定理；熵計算第三章 無失真信源編碼1信源編碼的分類：2 Kraft不等式與碼樹表示法；平均碼長；編碼效率；3定長編碼定理；變長編碼定理；4香農(nóng)、費諾、Huffman、游程編碼、LD編碼、算數(shù)編碼、LZW編碼的編碼過程。第四章 限失真信源編碼1失真測度與失真矩陣；2平均失真度與保真度準則；3信息率失真函數(shù)R（D）及其定義域的確定；4漢明失真下的的二元信源R（D）的定義式；

3、5對稱失真矩陣下n元等概信源率失真函數(shù)的定義式；6限失真信源編碼定理及應用；7多媒體壓縮編碼（了解）第五章 信道及信道容量1一般信道的數(shù)學模型：2信道容量的定義：3信道容量的計算：特殊的單符號離散信道的信道容量 一一對應關系的無損信道 具有歸并性能的無噪信道 具有擴展性能的無噪信道 強對稱離散信道的信道容量 對稱離散信道的信道容量 （行可排列、列可排列性） 準對稱離散信道的信道容量（行可排列，列不可排列-分割） 一般離散信道的信道容量計算步驟：4多符號離散信道：離散無記憶信道的N次擴展信道，如果信源也是離散無記憶信源的N次擴展信源，則信道總的平均互信息量是單符號離散無記憶信道的平均互信息量的N

4、倍。獨立并聯(lián)信道（積信道與和信道）N個獨立并聯(lián)信道的信道容量等于各個信道容量之和級聯(lián)信道多級級聯(lián)信道的總信道矩陣等于所有信道軍陣的乘積。其容量用單幅號信道的信道容量計算方法即可。第六章 信道編碼1檢錯及糾錯的基本原理；2最小漢明距離與檢錯糾錯能力；3奇偶校驗碼、重復碼、等重碼的校驗原理；4最大后驗概率準則譯碼、最大似然準則譯碼；5信道編碼定理：對離散平穩(wěn)無記憶信道，其信道容量為C，輸入序列長度為L。只要實際信息率RC，就必可找到一種編碼，當L足夠長時，譯碼差錯概率Pe C，則對任何編碼，Pe必大于零。6線性分組碼定義N,K線性分組碼的設計過程（糾錯能力、校正子、監(jiān)督式、監(jiān)督方程組、生成矩陣、校驗矩陣）；7循環(huán)碼的定義、碼多項式的性質、