信息論期末復習課件

信息論期末復習1信息論期末復習1第一章概述信息論的創(chuàng)始人：美國科學家香農1948年發(fā)表“通信的數學理論”，標志著信息論的誕生2第一章概述信息論的創(chuàng)始人：美國科學家香農2信息的概念1.2.3.4.3信息的概念3信息論的研究對象信息論的研究目的4信息論的研究對象4信息的一些重要性質存在的普遍性有序性相對性可度量性可擴充性

可存儲、傳輸與攜帶性

可壓縮性

可擴散性

可替代性

可共享性

時效性

信息的獨有性質5信息的一些重要性質存在的普遍性信息論的研究范圍經典信息論（狹義信息論、香農信息論）一般信息論廣義信息論主要研究信息的測度、信道容量、信息率失真函數，與這三個概念相對應的香農三定理以及信源和信道編碼。主要是研究信息傳輸和處理問題。除了香農基本理論之外，還包括噪聲理論、信號濾波和預測、統(tǒng)計檢測與估計理論、調制理論。后一部分內容以美國科學家維納（N·Wiener）為代表。概括說來，凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用信息基本理論來研究。6信息論的研究范圍主要研究信息的測度、信道容量、信息率失真函數第二章離散信源及其信息測度信源的數學模型及分類7第二章離散信源及其信息測度信源的數學模型及分類7自信息信息熵8自信息8條件熵聯(lián)合熵9條件熵9信息熵的基本性質10信息熵的基本性質10離散無記憶的擴展信源11離散無記憶的擴展信源11離散平穩(wěn)信源離散平穩(wěn)信源的極限熵12離散平穩(wěn)信源12另外馬爾可夫信源13另外13求解馬爾可夫信源熵的步驟根據題意畫出狀態(tài)轉移圖。判斷是否是時齊遍歷的馬爾可夫信源。根據狀態(tài)轉移圖寫出一步轉移概率矩陣，計算信源的極限概率。根據一步轉移概率矩陣和極限概率計算信源的信息熵。14求解馬爾可夫信源熵的步驟14注意：信源剩余度15注意：15第三章離散信道及其容量信道的數學模型與分類16第三章離散信道及其容量信道的數學模型與分類16平均互信息17平均互信息171818平均互信息的特性信道容量及其一般計算方法19平均互信息的特性19無噪無損信道的信道容量（信道的輸入輸出一一對應）無損信道（信道的輸入輸出一對多）20無噪無損信道的信道容量（信道的輸入輸出一一對應）20無噪有損信道（信道的輸入輸出多對一）對稱離散信道（信道矩陣的行與列都具有可排列性）準對稱信道21無噪有損信道（信道的輸入輸出多對一）21一般離散信道的信道容量的計算步驟求求C求求若則C就是所求的信道容量，否則重新計算22一般離散信道的信道容量的計算步驟求22離散無記憶擴展信道及其信道容量23離散無記憶擴展信道及其信道容量23獨立并聯(lián)信道及其信道容量數據處理定理、信息不增性原理24獨立并聯(lián)信道及其信道容量24信源與信道的匹配25信源與信道的匹配25第四章波形信源與波形信道連續(xù)信源的差熵26第四章波形信源與波形信道連續(xù)信源的差熵26兩種特殊連續(xù)信源的差熵均勻分布高斯分布27兩種特殊連續(xù)信源的差熵27差熵的性質28差熵的性質28具有最大差熵的連續(xù)信源連續(xù)信道與波形信道的分類按信道輸入輸出的統(tǒng)計特性波形信道多維連續(xù)信道基本連續(xù)信道29具有最大差熵的連續(xù)信源29按噪聲的統(tǒng)計特性高斯信道白噪聲信道高斯白噪聲信道有色噪聲信道按噪聲對信號的作用乘性信道加性信道30按噪聲的統(tǒng)計特性30連續(xù)信道與波形信道的信息傳輸率基本連續(xù)信道的平均互信息連續(xù)信道平均互信息的特性31連續(xù)信道與波形信道的信息傳輸率313232連續(xù)信道與波形信道的信道容量單符號高斯加性信道的信道容量限帶高斯白噪聲加性波形信道的信道容量33連續(xù)信道與波形信道的信道容量33香農公式重要的實際指導意義34香農公式重要的實際指導意義343535第五章無失真的信源編碼定理編碼器36第五章無失真的信源編碼定理編碼器363737等長碼等長信源編碼定理38等長碼38變長碼39變長碼394040克拉夫特不等式唯一可譯碼也滿足該不等式。變長信源編碼定理41克拉夫特不等式41424243434444第八章無失真的信源編碼霍夫曼編碼二元霍夫曼編碼方法將信源符號按概率由大到小順序排隊給兩個概率最小的符號各分配一個碼位“0”和“1”，將其概率相加后合并作為一個新的符號，與剩下的符號一起，再重新排隊給縮減信源中概率最小的兩個符號各分配一個碼元重復步驟2、3直至信源剩兩個符號為止，此時概率和為1。從最后開始，沿編碼路徑返回，得到碼字。214345第八章無失真的信源編碼霍夫曼編碼將信源符號按概率由大到小順r元霍夫曼編碼霍夫曼編碼的一些說明霍夫曼編碼得到的碼字并不唯一。首先，每次縮減信源時所分配的碼字是任意的，不同的碼元分配，得到的具體碼字不同，但碼長、平均碼長都不變，所以沒有本質區(qū)別。其次，若合并后的新符號的概率與其他符號的概率相等，從編碼的方法上來說，這幾個符號的次序可任意排列，編出的碼都是正確的，但得到的碼字不同。若合并后的新符號的概率與其他符號的概率相等，一般將合并的概率放在上面。46r元霍夫曼編碼46霍夫曼碼的特點霍夫曼碼具有最佳性費諾編碼費諾碼屬于概率匹配編碼，比較適合于對分組概率相等或接近的信源編碼。費諾碼屬于即時碼，但是不一定是最佳碼。47霍夫曼碼的特點費諾碼屬于概率匹配編碼，比較適合于對分組概率相費諾碼的編碼步驟對概率按r進行分組，使每組概 率盡可能相等。即編二進制碼就分2組，編r元碼就分成r組。給每個分組分配一個碼元對每個分組重復2、3步，直到不可分為止1234按信源符號的概率從大到小的順序排隊不妨設48費諾碼的編碼步驟對概率按r進行分組，使每組概 率盡可能相等。第六章有噪信道編碼定理錯誤概率和譯碼準則最大后驗概率譯碼準則（最小錯誤概率譯碼準則）最大似然譯碼準則49第六章有噪信道編碼定理錯誤概率和譯碼準則49選擇譯碼規(guī)則與計算錯誤概率的方法判斷輸入符號的先驗概率是否等概率分布。若等概率分布，采用最大似然譯碼準則直接從信道矩陣中得到譯碼函數，此時得到的平均錯誤概率必然最小。譯碼函數的選擇方法：F(bj)應該譯成信道矩陣第j列概率最大的那個元素對應的信源符號。平均錯誤概率的計算方法：按行計算。輸入符號概率與其對應行的錯誤概率之和相乘，然后各行相加。（注意：非等概率分布時，若使用最大似然譯碼準則，平均錯誤概率也按此方法計算，只是得到的平均錯誤概率不一定最?。?0選擇譯碼規(guī)則與計算錯誤概率的方法判斷輸入符號的先驗概率是否等若輸入符號的先驗概率非等概率分布，則采用最小錯誤概率準則可以使平均錯誤概率達到最小。譯碼函數的選擇方法：計算信道的聯(lián)合概率矩陣，F(bj)應該譯成聯(lián)合概率矩陣第j列概率最大的那個元素對應的信源符號。平均錯誤概率的計算方法：按列計算，即把聯(lián)合概率矩陣每列的錯誤概率相加，再對各列相加。51若輸入符號的先驗概率非等概率分布，則采用最小錯誤概率準則可以費諾不等式錯誤概率與編碼方法52費諾不等式錯誤概率與編碼方法52可見，消息數M越多，碼率越高；碼長n越長，碼率越低。漢明距離（碼字距離）

要發(fā)現（檢測）e個隨機錯誤，要求dmin≥e+1；要糾正t個隨機錯誤，要求dmin≥2t+1；要糾正t個隨機錯誤的同時檢測e個隨機錯誤（e≥t），要求dmin≥t+e+1

53可見，消息數M越多，碼率越高；碼長n越長，碼率越低。有噪信道編碼定理有噪信道的信道容量為C，若信息傳輸率R<C，只要碼長n足夠長，必然存在一組信道編碼和相應的譯碼規(guī)則，使譯碼的平均錯誤概率PE為任意小。反之，若R>C則不存在以R傳輸信息而PE為任意小的碼。此定理可以推廣到有記憶信道、連續(xù)信道、波形信道中。54有噪信道編碼定理54信源信道編碼定理55信源信道編碼定理55第七章保真度準則下的信源編碼失真度平均失真度56第七章保真度準則下的信源編碼