信息論與編碼清華大學(xué)

1、本課程主要內(nèi)容1. 緒論2. 信源與信息熵3. 信道與信道容量4. 信息率失真函數(shù)5. 信源編碼6. 信道編碼7. 加密編碼8. 網(wǎng)絡(luò)信息理論簡(jiǎn)介2普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著第1章 緒論 通信系統(tǒng)模型方框圖:信源信宿信源編碼加密信源譯碼解密信道編碼信道譯碼信道干擾噪聲有效性、可靠性、安全性( )( )()iip xI xH X第2章 信源與信息熵()RH X012( )( )( )( )H XH XHHXX():11()mHXHX 冗余度()()log ()iiiH Xp xp x ,(/)( ,)log(/)ijiji jH X Yp x yp xy ,(,

2、 )( ,)log ( ,)ijiji jH X Yp x yp x y 單符號(hào)離散信源熵u符號(hào)熵u條件熵u聯(lián)合熵(, )()(/)H X YH XH YX第2章 信源與信息熵 馬氏鏈信源：()( )(/)iiiHp s H X sX第3章 信道與信道容量信道容量);(max)(YXICiap(/)(; )jip yxI X YCRC(; )1I X YC信道相對(duì)剩余度 = 第3章 信道與信道容量mjijijppmC1loglog對(duì)稱DMC信道的容量準(zhǔn)對(duì)稱DMC信道的容量（三種求法）限時(shí)限頻限功率加性高斯白噪聲信道log(1)/tCWSNR bit s第4章 信息率失真函數(shù)平均失真率失真函數(shù)其

3、定義域?yàn)?Dmax，其值域?yàn)?H(X)。當(dāng)DDmax時(shí)，R(D) 0。,( )/( ,)ijiiji jDp x p yx d x y ()min (; )ijDpPR DI X YniijimjdpD1,2, 1maxmin普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著8第5章 信源編碼 編碼的定義：分組碼、變長(zhǎng)碼、非奇異碼、唯一可譯碼、即時(shí)碼、非延長(zhǎng)碼 唯一可譯碼存在的充要條件 編碼效率 香農(nóng)（Shannon）碼、哈夫曼（Huffman）碼、算術(shù)碼 無(wú)失真信源編碼定理 /限失真信源編碼定理 9普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著 差錯(cuò)、差錯(cuò)控制差錯(cuò)、差

4、錯(cuò)控制 信道編碼、信道編碼定理信道編碼、信道編碼定理 糾錯(cuò)編碼糾錯(cuò)編碼 信道譯碼信道譯碼第6章 信道編碼10普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著最優(yōu)譯碼與最大似然譯碼 最佳譯碼最佳譯碼 Max P(ci /r)，性能優(yōu)，實(shí)現(xiàn)難 最大似然譯碼最大似然譯碼 Max P(r / ci)，性能次優(yōu)，實(shí)現(xiàn)容易 最佳譯碼等同最大似然譯碼：最佳譯碼等同最大似然譯碼： 碼集的碼字以相同概率發(fā)送 接收碼等概分布icic第6章 信道編碼11普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著線性分組碼 線性分組碼基本概念 碼元、碼字、碼集重量、重量分布、恒重碼線性碼（封閉性）基底、

5、矢量正交、矢量空間正交、對(duì)偶空間、線性相關(guān)、線性無(wú)關(guān) 生成矩陣、校驗(yàn)矩陣、伴隨式、標(biāo)準(zhǔn)陣列譯碼、完備碼、循環(huán)碼12普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著碼距與糾、檢錯(cuò)能力 碼的總體性能取決于碼距的分布特性（重重量譜量譜），而糾、檢錯(cuò)能力取決于其中的最小者dmin ，dmin = min w (C i ) 檢、糾錯(cuò)能力： 可檢dmin1個(gè)差錯(cuò) 可糾t= INT(dmin1)/2個(gè)差錯(cuò) 校驗(yàn)矩陣H中有（dmin-1)列線性無(wú)關(guān) dmin (n-k+1)，極大最小距離碼極大最小距離碼 13普通高等教育“十五”國(guó)家級(jí)規(guī)劃教材信息論與編碼 曹雪虹等編著第7章 加密編碼 加密編碼的基本概念