信息論與編碼復(fù)習(xí)總結(jié)市公開課金獎市賽課一等獎?wù)n件

1、總復(fù)習(xí)主要概念及運(yùn)算 熵及其計算 互熵（平均互信息）及其計算 信道容量及其計算（尤其是對稱及準(zhǔn)對稱信道容量） 馬爾科夫信源平穩(wěn)分布 即時碼判定、信源編碼方法（尤其是霍夫曼編碼） 失真矩陣及平均失真度、失真定義域主要定理（香農(nóng)三大定理及香農(nóng)公式） 無失真信源編碼定理 有噪信道編碼定理 香農(nóng)公式 限失真信源編碼定理1第1頁信息怎樣度量？ 熵及互熵（平均互信息）、信道容量2. 需要處理問題： 信息傳輸可靠性與有效性問題 信源編碼與信道編碼（香農(nóng)三大定理）通信基本問題（主要問題、關(guān)鍵問題）2第2頁自信息量聯(lián)合自信息量條件自信息量3第3頁互信息量I(xi ; yj)4第4頁平均自信息量（熵）H(X)表示

2、信源平均不確定度平均信息量H(X)表示信源隨機(jī)性 H(X)表示信源輸出每個符號所提供平均信息量H(X)表示信宿所能取得最大信息量 5第5頁條件熵聯(lián)合熵平均互信息量（互熵）6第6頁 名稱 符號 關(guān) 系 圖 示 無 條 件 熵 條 件 熵 條 件 熵 聯(lián) 合 熵 交 互 熵各種熵之間關(guān)系7第7頁 信道由傳遞概率矩陣唯一決定，傳遞概率矩陣稱為信道矩陣P。 信道描述8第8頁信道容量信道容量表征信道傳送信息最大能力。實際中信道傳送信息量必須小于信道容量。信道容量與信源分布無關(guān)9第9頁損失熵 ：信源符號經(jīng)過有噪信道傳輸后所引發(fā)信息量損失，即信道疑義度 H(X|Y)。噪聲熵：在已知集 X條件下，對于集 Y尚

3、存在不確定性，即條件熵 H(Y|X) 。10第10頁離散信道對照表分類無噪無損信道有噪無損信道無噪有損信道定義H(X|Y)=0（無損） H(Y|X)=0（無噪）H(X|Y)=0（無損）H(Y|X)0（有噪）H(X|Y)0（有損）H(Y|X)=0（無噪）特點(diǎn)一一對應(yīng)一多對應(yīng)多一對應(yīng)11第11頁分類 無噪無損信道有噪無損信道無噪有損信道信道容量 條件 信道輸入為等概分布 信道輸入為等概分布 使信道輸出為等概分布p(y)=1/s輸入分布 12第12頁對稱信道信道容量計算特殊DMC信道容量13第13頁特殊DMC信道容量例：對稱信道14第14頁特殊DMC信道容量定理3.2：對于準(zhǔn)對稱信道，到達(dá)信道容量輸

4、入分布為等概分布。證實：(略)準(zhǔn)對稱信道信道容量計算15第15頁特殊DMC信道容量例：準(zhǔn)對稱信道16第16頁霍夫曼(Huffman)編碼 費(fèi)諾(Fano)編碼平均碼長編碼效率即時碼存在（唯一可譯碼存在）充要條件為：克拉夫特不等式17第17頁譯碼規(guī)則 使平均錯誤概率pE最小為選擇譯碼規(guī)則準(zhǔn)則(1) 最大后驗概率譯碼規(guī)則理想觀察者規(guī)則 選擇譯碼函數(shù)F(yj)x*，使之滿足條件(2) 最大似然譯碼規(guī)則 選擇譯碼函數(shù)F(yj)x*，使之滿足條件18第18頁平均錯誤概率若輸入為等慨分布，則19第19頁 單個符號失真度全體組成矩陣 ，稱為失真矩陣失真矩陣20第20頁平均失真 因為xi和yj都是隨機(jī)變量，所

5、以失真函數(shù)d(xi，yj)也是隨機(jī)變量，限失真時失真值，只能用它數(shù)學(xué)期望或統(tǒng)計平均值，所以將失真函數(shù)數(shù)學(xué)期望稱為平均失真，記為21第21頁對于離散無記憶信源，R(D)函數(shù)可寫成 p(ai)，i1，2，n 是信源符號概率分布； p(bj/ai)，i1，2，n，j1，2，m 是轉(zhuǎn)移概率分布； p(bj)，j1，2，m 是接收端收到符號概率分布。 信息率失真函數(shù)22第22頁R(D)函數(shù)定義域23第23頁香農(nóng)三大定理無失真信源編碼定理：平均碼長大于等于信源熵有噪信道編碼定理：信息傳輸率小于等于信道容量 限失真信源編碼定理：信息傳輸率大于等于信息率失真函數(shù)壓縮有限，靠近無限傳輸有限，靠近無限壓縮有限，靠近無限24第24頁結(jié)論：（1）帶寬一定時，信道最大傳輸率是信噪比函數(shù)。（2）信噪比確定時，信道容量與帶寬成正比。此時提升最大信息傳輸率方法是提升帶寬。 香農(nóng)公式25第25頁總 結(jié)掌握信息熵、條件熵和平均互信