信息論與編碼復(fù)習(xí)總結(jié)市公開課金獎(jiǎng)市賽課一等獎(jiǎng)?wù)n件

1、總復(fù)習(xí)主要概念及運(yùn)算 熵及其計(jì)算 互熵（平均互信息）及其計(jì)算 信道容量及其計(jì)算（尤其是對(duì)稱及準(zhǔn)對(duì)稱信道容量） 馬爾科夫信源平穩(wěn)分布 即時(shí)碼判定、信源編碼方法（尤其是霍夫曼編碼） 失真矩陣及平均失真度、失真定義域主要定理（香農(nóng)三大定理及香農(nóng)公式） 無(wú)失真信源編碼定理 有噪信道編碼定理 香農(nóng)公式 限失真信源編碼定理1第1頁(yè)信息怎樣度量？ 熵及互熵（平均互信息）、信道容量2. 需要處理問題： 信息傳輸可靠性與有效性問題 信源編碼與信道編碼（香農(nóng)三大定理）通信基本問題（主要問題、關(guān)鍵問題）2第2頁(yè)自信息量聯(lián)合自信息量條件自信息量3第3頁(yè)互信息量I(xi ; yj)4第4頁(yè)平均自信息量（熵）H(X)表示

2、信源平均不確定度平均信息量H(X)表示信源隨機(jī)性 H(X)表示信源輸出每個(gè)符號(hào)所提供平均信息量H(X)表示信宿所能取得最大信息量 5第5頁(yè)條件熵聯(lián)合熵平均互信息量（互熵）6第6頁(yè) 名稱 符號(hào) 關(guān) 系 圖 示 無(wú) 條 件 熵 條 件 熵 條 件 熵 聯(lián) 合 熵 交 互 熵各種熵之間關(guān)系7第7頁(yè) 信道由傳遞概率矩陣唯一決定，傳遞概率矩陣稱為信道矩陣P。 信道描述8第8頁(yè)信道容量信道容量表征信道傳送信息最大能力。實(shí)際中信道傳送信息量必須小于信道容量。信道容量與信源分布無(wú)關(guān)9第9頁(yè)損失熵 ：信源符號(hào)經(jīng)過有噪信道傳輸后所引發(fā)信息量損失，即信道疑義度 H(X|Y)。噪聲熵：在已知集 X條件下，對(duì)于集 Y尚

3、存在不確定性，即條件熵 H(Y|X) 。10第10頁(yè)離散信道對(duì)照表分類無(wú)噪無(wú)損信道有噪無(wú)損信道無(wú)噪有損信道定義H(X|Y)=0（無(wú)損） H(Y|X)=0（無(wú)噪）H(X|Y)=0（無(wú)損）H(Y|X)0（有噪）H(X|Y)0（有損）H(Y|X)=0（無(wú)噪）特點(diǎn)一一對(duì)應(yīng)一多對(duì)應(yīng)多一對(duì)應(yīng)11第11頁(yè)分類 無(wú)噪無(wú)損信道有噪無(wú)損信道無(wú)噪有損信道信道容量 條件 信道輸入為等概分布 信道輸入為等概分布 使信道輸出為等概分布p(y)=1/s輸入分布 12第12頁(yè)對(duì)稱信道信道容量計(jì)算特殊DMC信道容量13第13頁(yè)特殊DMC信道容量例：對(duì)稱信道14第14頁(yè)特殊DMC信道容量定理3.2：對(duì)于準(zhǔn)對(duì)稱信道，到達(dá)信道容量輸

4、入分布為等概分布。證實(shí)：(略)準(zhǔn)對(duì)稱信道信道容量計(jì)算15第15頁(yè)特殊DMC信道容量例：準(zhǔn)對(duì)稱信道16第16頁(yè)霍夫曼(Huffman)編碼 費(fèi)諾(Fano)編碼平均碼長(zhǎng)編碼效率即時(shí)碼存在（唯一可譯碼存在）充要條件為：克拉夫特不等式17第17頁(yè)譯碼規(guī)則 使平均錯(cuò)誤概率pE最小為選擇譯碼規(guī)則準(zhǔn)則(1) 最大后驗(yàn)概率譯碼規(guī)則理想觀察者規(guī)則 選擇譯碼函數(shù)F(yj)x*，使之滿足條件(2) 最大似然譯碼規(guī)則 選擇譯碼函數(shù)F(yj)x*，使之滿足條件18第18頁(yè)平均錯(cuò)誤概率若輸入為等慨分布，則19第19頁(yè) 單個(gè)符號(hào)失真度全體組成矩陣 ，稱為失真矩陣失真矩陣20第20頁(yè)平均失真 因?yàn)閤i和yj都是隨機(jī)變量，所

5、以失真函數(shù)d(xi，yj)也是隨機(jī)變量，限失真時(shí)失真值，只能用它數(shù)學(xué)期望或統(tǒng)計(jì)平均值，所以將失真函數(shù)數(shù)學(xué)期望稱為平均失真，記為21第21頁(yè)對(duì)于離散無(wú)記憶信源，R(D)函數(shù)可寫成 p(ai)，i1，2，n 是信源符號(hào)概率分布； p(bj/ai)，i1，2，n，j1，2，m 是轉(zhuǎn)移概率分布； p(bj)，j1，2，m 是接收端收到符號(hào)概率分布。 信息率失真函數(shù)22第22頁(yè)R(D)函數(shù)定義域23第23頁(yè)香農(nóng)三大定理無(wú)失真信源編碼定理：平均碼長(zhǎng)大于等于信源熵有噪信道編碼定理：信息傳輸率小于等于信道容量 限失真信源編碼定理：信息傳輸率大于等于信息率失真函數(shù)壓縮有限，靠近無(wú)限傳輸有限，靠近無(wú)限壓縮有限，靠近無(wú)限24第24頁(yè)結(jié)論：（1）帶寬一定時(shí)，信道最大傳輸率是信噪比函數(shù)。（2）信噪比確定時(shí)，信道容量與帶寬成正比。此時(shí)提升最大信息傳輸率方法是提升帶寬。 香農(nóng)公式25第25頁(yè)總 結(jié)掌握信息熵、條件熵和平均互信