信息論與編碼基礎(chǔ)-教學(xué)課件-4

1、信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)一、無失真可變長信源編碼定理二、保真度準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)一、無失真可變長信源編碼定理二、保真度準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述1、信源編碼器a、模型編碼器單符號信源無失真編碼器碼符號碼字碼長信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)N次擴展信源無失真編碼器編碼器信源壓縮編碼基礎(chǔ)1、信源編碼器a、模型b、舉例1）ASCII信源編碼器ASCII編碼器英文字母/符號/命令二進(jìn)制代碼碼符號集0，1信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、

2、信源編碼器A:1000001B:1000010信源編碼器IA,B,Z二進(jìn)制符號碼符號集0，1信源編碼器II碼符號集點/劃/字母間隔/單詞間隔2）摩爾斯電碼2）摩爾斯信源編碼器b、舉例符號電平二進(jìn)代碼點劃字母間隔單詞間隔+ + + + 101110000000000信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)3）中文電報信源編碼器“中”“0022”“01101 01101 11001 11001”信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)c、分類等長碼變長碼中文電報莫爾斯電碼有失真編碼無失真編碼I(S;C) H(S)，就存在唯一可譯變長編碼；若RH(S)，唯一可譯變長編碼不存在，不能實現(xiàn)無失真編碼。其中信息論與編碼基

3、礎(chǔ)信源壓縮編碼基礎(chǔ)2、可變長無失真信源編碼定理（香農(nóng)第一定理）說明：1）通過對擴展信源進(jìn)行可變長編碼，可以使平均碼長無限趨近于極限熵值，但這是以編碼復(fù)雜性為代價的。2）無失真信源編碼的實質(zhì)：對離散信源進(jìn)行適當(dāng)?shù)淖儞Q，使變換后新的符號序列信源盡可能為等概率分布，從而使新信源的每個碼符號平均所含的信息量達(dá)到最大。3）香農(nóng)第一定理僅是一個存在性定理，沒有給出更有效的信源編碼的實現(xiàn)方法。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2、可變長無失真信源編碼定理（香農(nóng)第一定理）均勻分布的最優(yōu)碼某信源具有m個等概率的符號。顯然此信源的熵為log m比特/符號。2）哪些m值可使平均碼長Lm等于熵？1）請給出此信源的最佳碼

4、，并計算平均碼長Lm.3）定義變長碼的冗余度為= Lm H。請問對怎樣的m值，編碼冗余度可達(dá)到最大，其中2km 2k+1?當(dāng)m時，最壞情形下冗余度的極限值是什么？信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信源編碼器模型性能指標(biāo)無失真可變長信源編碼定理（香農(nóng)第一定理）平均碼長、信息傳輸率、編碼效率信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)本課小結(jié)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)一、無失真可變長信源編碼定理二、保真度準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、基本概念2、常用方法3、MH編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、基本概念2、常用方法3、

5、MH編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)a、文件的冗余類型1)字符分布2)字符重復(fù)3)高使用率模式4)位置冗余b、變長碼的基本分析信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)統(tǒng)計編碼：根據(jù)各符號出現(xiàn)的概率分配不同長度 的碼字。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)c、唯一可譯碼的構(gòu)造唯一可譯碼：00,01,10,110,01,001,1111,10,100,10001,01,001,0001即時碼A01r-1樹圖法任何碼長分布都可以得到唯一可譯碼？信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)d、唯一可譯碼的存在定理設(shè)對q元信源進(jìn)行r元編碼，且q個碼字的碼長分別為，則此種碼長結(jié)構(gòu)下存在唯一可譯碼的充分必要條件為：（Craft

6、不等式）信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)例1）設(shè)碼長結(jié)構(gòu)為，則由于，不存在唯一可譯碼2）若碼長結(jié)構(gòu)為存在唯一可譯碼（0，01，001，111）（0，10，110，111）?信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)練習(xí)消息piABCDEFa11/200000000a21/400101101010100a31/160100111101101100101a41/160110111111011101101110a51/16100011111111010111110111a61/1610101111111111011011111011哪些是唯一可譯碼？效率如何？信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、基本概念2、常

7、用方法3、MH編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)Shannon碼MessageSiProbabilityP(Si)-logP(Si)Code lengthliAccumulated PiBinarycodesS10.202.3430000S20.192.4130.2001S30.182.4830.39011S40.172.5630.57100S50.152.7430.74101S60.103.3440.891110S70.016.6670.991111110平均碼長 3.14 code/sig 信息熵 2.6 bit/sig 編碼效率 82.8%MessageSiProbabilityP(S

8、i)S10.20S20.19S30.18S40.17S50.15S60.10S70.01No.1group01No.2groupNo.3groupNo.4group0101010101BinarycodesCodeLengthli0020103011310211031110411114信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)Fano碼平均碼長 2.74 code/sig 信息熵 2.6 bit/sig 編碼效率 95%信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)Huffman碼編碼步驟1、將q個符號si按概率Pi遞減排序。2、用碼符號0,1分別表示S中概率最小的兩個符號，并將二者概率相加，合二為一，得到縮減后的新

9、信源S1含q-1個符號。3、將S1重新排序，再將最后兩個符號以碼符號0,1代表并合并，得到S2。4、依此類推最后剩兩個符號，分別標(biāo)以碼符號0,1。5、將信源中各符號歷次分配碼符倒序串起，得到碼字。MessageSiProbabilityP(Si)S10.20S20.19S30.18S40.17S50.15S60.10S70.01信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)Huffman碼0.110.260.350.390.61101110111110101100100110000100111110101100110000100平均碼長 2.72 code/sig 信息熵 2.6 bit/sig 編碼效率

10、95.6%信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)說明：1、碼字不唯一Huffman碼2、最佳性所謂最佳性，就是指對于某個給定信源，在所有可能的唯一可譯碼中，此碼的平均碼長最短。3、輸入、輸出速率匹配問題4、誤碼擴散問題5、效率問題請給出最佳的編碼。假設(shè)信源空間為解:01001111100.201000.4100.62 00 S1 0.42 10 S2 0.22 11 S3 0.23 010 S4 0.13 011 S5 0.1ni C S pi信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)Huffman碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)0010.200010.4000100.600100011 ni C S pi

11、1 1 S1 0.42 01 S2 0.23 000 S3 0.24 0010 S4 0.14 0011 S5 0.1Huffman碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)思考題1、請問下列哪些碼對于任何概率分布均不可能Huffman碼。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2、一碼多用的Huffman碼。某信源的概率分布為，試求 其二元Huffman碼。并討論所得的碼對概率分布為的信源也是最優(yōu)的。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)均勻分布的最優(yōu)碼某信源具有m個等概率的符號。顯然此信源的熵為log m比特/符號。2）哪些m值可使平均碼長Lm等于熵？1）請給出此信源的最佳碼，并計算平均碼長Lm.3）定義變長碼

12、的冗余度為= Lm H。請問對怎樣的m值，編碼冗余度可達(dá)到最大，其中2km 2k+1?當(dāng)m時，最壞情形下冗余度的極限值是什么？信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)變長碼的基本思想唯一可譯碼（概念、Craft不等式）Huffman碼（編碼規(guī)則、問題分析）本課小結(jié)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)一、無失真可變長信源編碼定理二、保真度準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、基本概念2、常用方法3、MH編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)r進(jìn)值的Huffman碼消息總數(shù)若不滿足補 0合二為一，一分為二合r為一，一分為r信息論與編碼基礎(chǔ)

13、信源壓縮編碼基礎(chǔ)例 已知離散無記憶信源分別進(jìn)行二元、三元、四元霍夫曼編碼，并分析其編碼效率。要發(fā)揮霍夫曼編碼的優(yōu)勢，一般情況下，信源符號集的個數(shù)應(yīng)遠(yuǎn)大于碼元數(shù)。r進(jìn)值的Huffman碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、基本概念2、常用方法3、MH編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)CCITT規(guī)定A4幅面（210mm*297mm）文件分辨率：1）有1188或2376條掃描線，即4線/mm或8線/mm2）每條掃描線有1728像素，即8像素/mm二值圖文傳真一類機二類機三類機四類機200像素/25.4mmCCITT T.2,T.3,T.4及T.30建議200像素/mm x 700像素/mmCCIT

14、T T.5及ISDN建議信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)編碼原則：1、測得游程的概率分布，并根據(jù)這一概率分布制定一套適合該類文件的碼表，作為編譯碼的依據(jù)2、要對文件信源所有可能的各種概率分布進(jìn)行變長編碼修正1、碼表不是根據(jù)待傳送的實際文件的游程概率分布制定的，而是根據(jù)CCITT推薦的八種典型樣張所規(guī)定的游程概率分布制定的2、為了減少碼表數(shù)而采用截斷霍夫曼編碼文件傳真的游程編碼：對于不同的游程長度，按其不同的概率，分配不同的碼字。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)編碼步驟：游程長度063641728直接查表（一）編碼 = 64整數(shù)倍 + 余數(shù)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)規(guī)定每行都從白游程開始。

15、若實際出現(xiàn)黑游程開始的話，則在行首加上零長度白 游程碼字。每行結(jié)束用一個結(jié)束碼（EOL）編碼說明（1）：信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)編碼說明（2）：每頁文件開始第一個數(shù)據(jù)前加一個結(jié)束碼。每頁尾連續(xù)使用6個結(jié)束碼表示結(jié)尾。每行恢復(fù)成1728個像素，否則有錯。為了傳輸時實現(xiàn)同步操作，規(guī)定T為每編碼行最小傳輸時間。若編碼行傳輸時間小于T，則在結(jié)束碼之前填足夠的“0”碼元。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)游程長度白游程碼字黑游程碼字游程長度白游程碼字黑游程碼字0001101010000110111100011101020111113100010.60010010110000001011006100

16、11001000000101101062001100110000011001106300110100000001100111MH碼表（一）結(jié)尾碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)游程長度白游程碼字黑游程碼字游程長度白游程碼字黑游程碼字64110110000001111128100100000110010001920101110000110010012560110111000001011011160001001101000000010110111664011000000000110010017280100110110000001100101EOL000000000001MH碼表（二）組合基干碼信息

17、論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)游程長度組合基干碼碼字游程長度組合基干碼碼字179200000001000185600000001100192000000001101198400000010010.2368000000011100243200000001110124960000000111102560000000011111MH碼表（三）供加大紙寬用的組合基干碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)對我國文件傳真試用的七種測試樣張進(jìn)行了統(tǒng)計。在行分辨率為8點/mm時，白、黑像素的概率分別為93.3%、6.7%；白游程長度小于61個像素的占80%，黑游程長度小于6個像素的占80%，若以80%的游程編碼無需

18、截斷而直接進(jìn)行霍夫曼編碼。從整體看，采用MH對性能的影響不大。MH碼的編碼規(guī)則主要是在一行內(nèi)掃描進(jìn)行，只利用同一行的相關(guān)性，所以MH編碼是一維的。1978年，日本提出READ (Relative Element Address Designate)編碼方案；1984年，CCITT提出改進(jìn)型READ方案，稱為MR二維編碼國際標(biāo)準(zhǔn)，并推薦為三類、四類傳真機的編碼方案。編碼說明（3）：信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)例1 設(shè)某頁傳真文件中某一掃描行的像素如圖所據(jù)修正霍夫曼碼表，求出對應(yīng)MH碼，并求實際壓縮比。游程長度白游程碼字黑游程碼字游程長度白游程碼字黑游程碼字51100

19、0011100011100001001710101100000110004100101010000001101101550101100000000010011116000100110100000001011011信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)思考題將所有Si以唯一可譯方式編碼成r元字母表的字符串，若m=6并且碼字長度為(1,1,2,3,2,3)，求r的良好下界。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)r進(jìn)制的霍夫曼碼修正的霍夫曼碼本課小結(jié)信源普遍存在著冗余信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信源樣點之間的相關(guān)性信源符號概率的不均勻統(tǒng)計編碼預(yù)測編碼、變換編碼tX(t)一、無失真可變長信源編碼定理二、保真度

20、準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、預(yù)測編碼的基本原理及預(yù)測模型2、信源的線性預(yù)測編碼3、語音的線性預(yù)測編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、預(yù)測編碼的基本原理及預(yù)測模型2、信源的線性預(yù)測編碼3、語音的線性預(yù)測編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)預(yù)測的基本原理信息論與編碼基礎(chǔ)信源壓縮編碼基原始數(shù)據(jù)200201203202204 預(yù)測數(shù)據(jù)12-120 預(yù)測誤差12-120 200201203202204 預(yù)測誤差恢復(fù)數(shù)據(jù)初始值2041952年Bell實驗室的B.M.Oliver等

21、人開始了線性預(yù)測編碼理論研究，同年該室的C.C.Cutler取得了差分脈沖編碼調(diào)制（DPCM）系統(tǒng)的專利，奠定了真正實用的預(yù)測編碼系統(tǒng)的基礎(chǔ)。減少傳輸數(shù)據(jù)量的關(guān)鍵在哪里？ 1） 自回歸過程（Auto-Regressive Process）定義設(shè)是均值為0，方差為的白噪聲過程，若隨機過程滿足：則稱為p階自回歸過程。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)時間序列概率模型2） 動平均過程（Moving-Average Process）定義設(shè)是均值為0，方差為的白噪聲過程，若隨機過程滿足：則稱為q階動平均過程。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)3） 混合模型（ARMA模型）定義設(shè)是均值為0，方差為的白噪聲過程

22、，若隨機過程滿足：ARMA信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)結(jié)論三種模型可以相互轉(zhuǎn)換有限階MA無限階AR有限階AR無限階MA ARMA有限階AR和MAAR的自相關(guān)函數(shù)和模型參數(shù)之間滿足 Yule-Walker方程實際的物理系統(tǒng)往往是全極點系統(tǒng)。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、預(yù)測編碼的基本原理及預(yù)測模型2、信源的線性預(yù)測編碼3、語音的線性預(yù)測編碼1）利用AR模型的預(yù)測編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)線性預(yù)測 LPC (linear prediction coding)線性預(yù)測器的重要參數(shù)有哪些？怎樣確定？2） 預(yù)測階數(shù)和預(yù)測系數(shù)的確定p實驗、Durbin遞

23、推算法根據(jù)最小均方誤差準(zhǔn)則信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)0481216200.20.40.60.81.0pLPC階數(shù)歸一化預(yù)測誤差清音濁音信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)得即線性預(yù)測標(biāo)準(zhǔn)方程最小預(yù)測誤差能量信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)自相關(guān)法xn定義區(qū)間為(-,)E最小化求和區(qū)間為(-,)其他例已知輸入序列的相關(guān)函數(shù)值預(yù)測階數(shù)p=2，求線性預(yù)測系數(shù)及最小誤差能量信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)Yule-Walker方程信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)如果預(yù)測階數(shù)很大，矩陣求逆復(fù)雜度增加。Levinson-Durbin迭代法1）令p=1，計算2）令p=p+1

24、，計算再由信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)協(xié)方差法xn定義區(qū)間為(-,)E最小化求和區(qū)間為0, N-1信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)兩種分析方法的比較運算量穩(wěn)定性方面性能窗口函數(shù)穩(wěn)定性有限字長時的穩(wěn)定性乘法運算量自相關(guān)法協(xié)方差法需要不需要可以保證不能保證不能保證不能保證pN + p2pN + 3p2/2 + p3/6平穩(wěn)過程短時平穩(wěn)過程1、預(yù)測編碼的基本原理及預(yù)測模型2、信源的線性預(yù)測編碼3、語音的線性預(yù)測編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1）語音信號產(chǎn)生模型聲源濁音、清音 語音的生成機構(gòu)共鳴機構(gòu)放射機構(gòu)鼻腔、口腔、舌頭信息論

25、與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1）語音信號產(chǎn)生模型信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2）LPC聲碼器的基本原理聲碼器 一種對語音進(jìn)行分析和合成的編譯碼器。LPC聲碼器 一利用線性預(yù)測方法提取由語音參數(shù)組成 的聲碼器。全極點聲道模型線性預(yù)測分析合成對模型參數(shù)和激勵參數(shù)進(jìn)行編碼傳輸信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2）LPC聲碼器的基本原理1976 美國確定用LPC-10作為在2.4kb/s速率 上語音通信的標(biāo)準(zhǔn)基數(shù)。1981 聯(lián)邦政府標(biāo)準(zhǔn)FS-1015采用LPC-10。1986以來，美國第三代保密電話裝置(STU-III)采用LPC-10e作為語音終端。本課小結(jié)時間序列的概率模型AR、MA、ARMAAR

26、預(yù)測模型參數(shù)自相關(guān)法、 協(xié)方差法信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)語音的線性預(yù)測編碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)一、無失真可變長信源編碼定理二、保真度準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1968 H.C.Andrews DFT1969 Walsh-Hadmard WHT HRT、SLT 1971 Karhumen-Loeve KLT 最佳變換1974 N.Ahmed etc. DCT 信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、變換編碼的基本原理2、典型的變換編碼方法3、DCT壓縮的特征信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、變換編

27、碼的基本原理2、典型的變換編碼方法3、DCT壓縮的特征信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)圖像矩陣100基本原理信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)經(jīng)過Walsh變換100去相關(guān)性能量集中特性和保持特性熵不變性基本原理信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)恢復(fù)圖像矩陣基本原理變換編碼是無損壓縮編碼方法嗎？信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)從數(shù)學(xué)角度分析正交變換信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)由，則均值實對稱矩陣從數(shù)學(xué)角度分析信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)從數(shù)學(xué)角度分析信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)例正交變換去除相關(guān)性的本質(zhì)在于：經(jīng)過多維坐標(biāo)系中適當(dāng)?shù)男D(zhuǎn)和變換，能夠把散布在各個坐標(biāo)軸上的原始數(shù)據(jù)，在新的、

28、適當(dāng)?shù)淖鴺?biāo)系中集中到少數(shù)坐標(biāo)軸上，因此可能用較少的編碼位數(shù)來表示一組信號樣本，實現(xiàn)高效率的壓縮編碼。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、變換編碼的基本原理2、典型的變換編碼方法3、DCT壓縮的特征信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)最佳變換KLT信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)DFT的一般表示式為：離散傅立葉變換(DFT)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)正交矩陣離散傅立葉變換(DFT)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)如何得到DCT?偶對稱對稱軸進(jìn)行DFT后當(dāng)k=0時離散余弦變換信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)當(dāng)時：離散余弦變換信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)N=4時 ？離散余弦變換信息論與編碼基礎(chǔ)

29、信源壓縮編碼基礎(chǔ)例1）已知信源X的協(xié)方差距陣為：經(jīng)過信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2)若信源X的協(xié)方差距陣為：則其中一維離散余弦變換二維離散余弦變換信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)二維DCT舉例： 101 114 125 126 115 105 96 115 131 147 149 135 123 113114 134 159 178 175 164 149 137121 143 177 196 201 189 165 150119 141 175 201 207 186 162 144107 130 165 189 192 171 144 125 119 149 171 172 145 1

30、17 9688 107 136 156 155 129 97 75 DCT信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2-DCT頻率二維DCT舉例：32 185 7 2 1 2 2-22 -16 45 -3 -2 0 -2 2-165 32 17 9 5 -1 -3 0-7 -4 0 2 2 -1 -1 2-2 0 0 3 0 0 2 1 1 1 -1 -2 0 2 00 0 2 -1 -1 2 1 -10 3 1 -1 2 1 -2 0量化信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)281 8 46 1 0 0 0 0-5 -4 11 0 0 0 0 0-41 8 4 2 1 0 0 0-1 -1 0 0 0 0

31、0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 0 掃描二維DCT舉例：信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)281，-8，-5，-41，-4，-46，-1，11，8，-1，0，-1，4，0，0，0，0，2，0，0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0281，-8，-5，-41，-4，-46，-1，11，8，-1，1*0，-1，4，4*0，2，7*0，1，EOB編碼二維DCT舉例：信息論與

32、編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)變換編碼一般框圖變換T量化Q編碼C信道C-1Q-1T-1變換編碼是無損壓縮編碼方法嗎？1、變換編碼的基本原理2、典型的變換編碼方法3、DCT壓縮的特征信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1）方塊效應(yīng)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)2）蚊式噪聲信源壓縮編碼基礎(chǔ)變換域系數(shù)的選取區(qū)域編碼信息論與編碼基礎(chǔ)保留低頻保留高頻信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)變換域系數(shù)的選取閾值編碼閾值為0閾值為20信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)變換域系數(shù)的選取閾值編碼閾值為40閾值為100圖像質(zhì)量與保留系數(shù)的關(guān)系原圖像保留系數(shù)70%原圖像保留系數(shù)27%圖像質(zhì)量與保留系數(shù)

33、的關(guān)系原圖像保留系數(shù)10%圖像質(zhì)量與保留系數(shù)的關(guān)系原圖像保留系數(shù)5%圖像質(zhì)量與保留系數(shù)的關(guān)系原圖像保留系數(shù)1%圖像質(zhì)量與保留系數(shù)的關(guān)系圖像子塊大小選擇N = 8N = 4N = 16N = 4圖像子塊大小選擇信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)從變換后能量集中程度的優(yōu)劣：KLTDCTSLTDFTWHTHRT優(yōu)劣從運算量的大?。篐RTWHTSLTDCTDFTKLT小大各種變換的比較信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)正交變換基本思想離散余弦變換DCTKLT、DFT、DCT基本定義、實現(xiàn)算法本課小結(jié)DCT壓縮特征方塊效應(yīng)、蚊式噪聲、問題分析信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)一、無失真可變長信源編碼定理二、保

34、真度準(zhǔn)則下的信源編碼定理三、預(yù)測編碼四、變換編碼五、統(tǒng)計編碼六、壓縮編碼應(yīng)用綜述信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、聲音壓縮國際標(biāo)準(zhǔn)2、靜止圖像壓縮國際標(biāo)準(zhǔn)3、視頻壓縮國際標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、聲音壓縮國際標(biāo)準(zhǔn)2、靜止圖像壓縮國際標(biāo)準(zhǔn)3、視頻壓縮國際標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)語音300 - 3400 Hz會議電視50 - 7000 Hz高保真20 - 20000 Hz波形編碼參數(shù)編碼混合編碼算法名 稱數(shù)據(jù)率標(biāo)準(zhǔn)應(yīng)用質(zhì)量PCM均勻量化u(A)u(A)64kb/sG.711APCM自適應(yīng)量化DPCM差值量化ADPCM自適應(yīng)差值量化32kb/sG.721SB-ADPCM子

35、帶-自適應(yīng)差值量化64kb/sG.722G.7235.3(6.3)公共網(wǎng)ISDN配音4.04.5LPC線性預(yù)測編碼2.4kb/s保密話聲2.53.5CELPC13.2kb/s碼激勵LPC4.8kb/s移動通信VSELP矢量和激勵LPC8kb/s語音郵件RPE-LTP長時預(yù)測規(guī)則碼激勵I(lǐng)SDNLD-CELP低延時碼激勵LPC16kb/sG.728G.7294.03.7MPEG多子帶 感知編碼128kb/sCD5.0AC-3感知編碼音響5.0音頻標(biāo)準(zhǔn)性能指標(biāo)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)國際聲音標(biāo)準(zhǔn)比較音頻信號 輸入發(fā)送器SB-ADPCM編碼器SB-ADPCM解碼器接收器音頻信號 輸出數(shù)據(jù)內(nèi)插裝

36、置數(shù)據(jù)分解裝置輸入0,8,16kb/s輸出0,8,16kb/s64kb/s輸出64kb/s輸入音頻編碼音頻譯碼信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)G.722發(fā)送QMF高子帶ADPCM編碼器低子帶ADPCM編碼器MUX48kb/s16kb/s64kb/s信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)子帶編碼子帶編碼利用M個帶通濾波器把信號頻帶分解成若干子帶，通過移頻將各個子帶信號轉(zhuǎn)到基帶后按奈奎斯特速率重新采樣，再對采樣值進(jìn)行通常的數(shù)字編碼并復(fù)合成一個統(tǒng)一的傳輸碼流。語音的SBS ( Subband Coding)是R.E.Crochiere等人在1976年引入的；1985年S.D.ONeil的碩士論文將SBC推

37、廣用于圖像編碼；目前在典型的數(shù)字音頻壓縮實用方法中，SBC已經(jīng)成為主體技術(shù)框架。把音頻信號分成子帶后進(jìn)行編碼的優(yōu)點： 1、碼位分配靈活 2、噪聲限在帶內(nèi) 信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、聲音壓縮國際標(biāo)準(zhǔn)2、靜止圖像壓縮國際標(biāo)準(zhǔn)3、視頻壓縮國際標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG ( Joint Photographic Expert Group)1992年，聯(lián)合圖片專家組正式完成用于各種分辨率和格式的連續(xù)色調(diào)圖像的ISO/IEC 10918標(biāo)準(zhǔn)，即JPEG標(biāo)準(zhǔn)。 JPEG標(biāo)準(zhǔn)支持漸進(jìn)建立和順序建立兩種圖像建立模式，適合分辨率和格式的連續(xù)色調(diào)圖像；支持以下四種操作模式： 1、基于DC

38、T的順序型操作模式； 2、基于DCT的漸進(jìn)型操作模式； 3、基于DPCM的無損編碼(順序型)操作模式； 4、基于多分辨率編碼的(漸進(jìn)型)操作模式； 1、基于DCT的順序型操作模式； 信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG ( Joint Photographic Expert Group)順序模式信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG ( Joint Photographic Expert Group)漸進(jìn)模式JPEG-DCT信源壓縮編碼基礎(chǔ)8*8塊DCT量化器熵編碼器源圖像數(shù)據(jù)基于DCT的編碼器壓縮的圖像量化表熵編碼表基本系統(tǒng)JPEG ( Joint Photographic Exper

39、t Group)信息論與編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)亮度量化表信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)圖像塊DCT系數(shù)量化表歸一化的量化系數(shù)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)歸一化的量化系數(shù)量化表逆量化后的系數(shù)重構(gòu)圖像樣本信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)恢復(fù)圖像原圖像信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG -LSJPEG組織從1994年開始征集新的無損/近無損壓縮算法提案，于1998年2月作為ITU-T建議T.87(草案)|國際標(biāo)準(zhǔn)ISO/IEC 14495-1正式公布。 上下文建模預(yù) 測誤差編碼游程模式數(shù)字源圖像數(shù)據(jù)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG -LS前一行當(dāng)前行S6S3S2

40、S4S7S5S1S0上下文的建模是基于局部梯度的計算：D1 = - D2 = - D3 = - 如果對i=1,2,3,都有：Di= 0對無損編碼|Di| NEAR對近無損編碼基于上下文建模信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG 2000傳統(tǒng)JPEG標(biāo)準(zhǔn)：1）低碼率壓縮2）無損壓縮和有損壓縮3）計算機合成圖像與復(fù)合文檔的壓縮4）在噪聲環(huán)境中傳輸信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG 20002000年12月，公布了JPEG2000的第1部分(核心編碼系統(tǒng))作為正式的國際標(biāo)準(zhǔn)，ISO/IEC 15444-1|ITU-T T.800。 JPEG2000的目標(biāo)是對多種類型的靜止圖像（如自然圖像、計

41、算機圖像、醫(yī)療圖像、遙感圖像以及復(fù)合文本等）實現(xiàn)高效壓縮，并要求壓縮碼流具有較好的抗誤碼性能，用戶可對圖像進(jìn)行多種形式的漸進(jìn)傳輸，還可壓縮碼流進(jìn)行隨機訪問和處理。 JPEG2000 標(biāo)準(zhǔn)可分為六大部分： Part 1：基本系統(tǒng)； Part 2：基本系統(tǒng)的一些擴展功能； Part 3：“Motion JPEG 2000” ； Part 4：一致性測試； Part 5：實現(xiàn)Part 1 的參考軟件； Part 6：定義復(fù)合圖像文件格式JPM。 信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG 2000JPEG 2000特征集 1）壓縮一次：多種解壓方式 集成了四種JPEG模式的優(yōu)點，由編碼器選擇最高分辨率

42、或最大圖像尺寸，并決定最佳圖像質(zhì)量（包括無損壓縮質(zhì)量），而解碼器則可以從壓縮碼流中解出任何質(zhì)量或尺寸的圖像，直到編碼端所選擇的最佳質(zhì)量。2）壓縮域圖像處理/編輯 可直接從JPEG 2000碼流中把感興趣的壓縮字節(jié)抽取出來，并重組成另一個兼容碼流。還有可能直接在壓縮域進(jìn)行圖像的剪切、旋轉(zhuǎn)、反轉(zhuǎn)等幾何操作。3）漸進(jìn)性JPEG 2000支持四維漸進(jìn)傳輸：質(zhì)量、分辨率、空間位置和分量。質(zhì)量：通常只要接收到約相當(dāng)于0.05bit/pel的碼字，即可辨認(rèn)出一幅圖像分辨率：碼流的前幾個字節(jié)用于重現(xiàn)圖像的一個小縮略圖。隨著收到數(shù)據(jù)的增加，圖像分辨率（或尺寸）會以每邊倍乘2的速率增加，直至得到整幅圖像?？臻g位置

43、：收端能以近似光柵的形式接收圖像序列，由上而下。分量：支持16384分量的圖像，每個分量的位深可為138bit。大多數(shù)超過4分量的圖像來自科學(xué)儀器。分量漸進(jìn)性控制對應(yīng)于不同分量數(shù)據(jù)解碼的順序。這種漸進(jìn)性配合其他漸進(jìn)性，可用來實現(xiàn)多種分量交織策略。4）低位深圖像JPEG2000也能壓縮二值圖像，把二值圖像看成是在單一分辨率下的單一位面。這樣則犧牲了在質(zhì)量上和分辨率上的可伸縮性，但保留了空間隨機訪問的能力。5）感興趣編碼區(qū)域ROI：在位面編碼前左移影響ROI內(nèi)像素的系數(shù)，信息寫入碼流，解碼時用來重新對準(zhǔn)（右移）相應(yīng)的系數(shù)。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEG20

44、00正向預(yù)處理DWT量化熵編碼碼流組織碼率控制反向預(yù)處理IDWT反量化熵解碼源圖像重構(gòu)圖像信道傳輸信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)JPEGJPEG2000418:1信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)1、聲音壓縮國際標(biāo)準(zhǔn)2、靜止圖像壓縮國際標(biāo)準(zhǔn)3、視頻壓縮國際標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)視頻壓縮編碼標(biāo)準(zhǔn)的特點標(biāo)準(zhǔn)的演繹性傳統(tǒng)產(chǎn)業(yè)標(biāo)準(zhǔn)化的進(jìn)程往往是在特定工業(yè)產(chǎn)品大量推出面市之后，并經(jīng)過緩慢的歸納過程形成的，最終建立具有評價性目標(biāo)的標(biāo)準(zhǔn)體系。而以MPEG為代表的多媒體音視頻標(biāo)準(zhǔn)的制定則往往超前于市場需求，充分利用當(dāng)時最先進(jìn)的技術(shù)手段，給予技術(shù)發(fā)展充裕的自由度，并與相關(guān)產(chǎn)業(yè)集團(tuán)緊密聯(lián)系，使得技術(shù)

45、標(biāo)準(zhǔn)能夠引領(lǐng)相關(guān)產(chǎn)品的發(fā)展。標(biāo)準(zhǔn)的通用性傳統(tǒng)的標(biāo)準(zhǔn)是使標(biāo)準(zhǔn)中定義的技術(shù)、功能與某些特定應(yīng)用領(lǐng)域密切相關(guān)。多媒體音視頻壓縮編碼標(biāo)準(zhǔn)則往往具有擴展性。標(biāo)準(zhǔn)的開放性ITU和ISO/IEC所建立的各種音視頻編碼標(biāo)準(zhǔn)通常由三部分組成：一個壓縮編碼系統(tǒng)的體系結(jié)構(gòu)；一套完整的視頻壓縮碼流數(shù)據(jù)結(jié)構(gòu)語法規(guī)則；一個通用解碼器算法描述。標(biāo)準(zhǔn)名稱發(fā)布機構(gòu)發(fā)布時間主要用途H.261ITU-T1990ISDN視頻會議、可視電話MPEG-1ISO/IEC1993CD-ROM視盤、視頻記錄MPEG-2ISO/IEC1995DVD、HDTV、視頻廣播H.263ITU-T1996可視電話、移動可視電話、網(wǎng)絡(luò)視頻H.263+ITU

46、-T1998H.263+ITU-T2002MPEG-4ISO/IEC2000Internet、交互視頻、視頻內(nèi)容管理H.264ITU-T2003網(wǎng)絡(luò)視頻、無線移動視頻信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)表 ITU和ISO/IEC制定的多媒體壓縮編碼標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)在標(biāo)準(zhǔn)體系構(gòu)造上兩大系列音視頻壓縮編碼標(biāo)準(zhǔn)比較H.26X系列標(biāo)準(zhǔn)更具針對性：僅僅涉及數(shù)字視頻壓縮編碼環(huán)節(jié)。MPEG系列則更系統(tǒng)化，標(biāo)準(zhǔn)涵蓋整個多媒體系統(tǒng)在具體應(yīng)用系統(tǒng)模式上H.26X系列標(biāo)準(zhǔn)主要圍繞各種電信網(wǎng)絡(luò)所構(gòu)成的信道而設(shè)計，力圖在有限的信道資源條件下，實現(xiàn)數(shù)字視頻信息的高效傳輸。MPEG系列更具開放性和延展性，注

47、重和其他各種信號處理系統(tǒng)相結(jié)合，努力將其構(gòu)造成面向多種應(yīng)用的多媒體信息處理的綜合性平臺。在整體編碼技術(shù)發(fā)展上H.26X系列標(biāo)準(zhǔn)充分挖掘數(shù)字視頻系統(tǒng)中的技術(shù)潛力，進(jìn)一步提高視頻系統(tǒng)的壓縮編碼性能。MPEG系列標(biāo)準(zhǔn)在確保音視頻信息高效壓縮的同時，結(jié)合當(dāng)前多媒體信息發(fā)展的趨勢，更注重應(yīng)用層面上各種功能的增加。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)H.261標(biāo)準(zhǔn)CCITT于1984年成立可視電話專家組，在1988年提出H.261建議草案；主要用于ISDN的會議電視和可視電話應(yīng)用系統(tǒng)，該系統(tǒng)編解碼器必須符合以下要求：1）在很低的傳輸速率下(64kbps2Mbps)能傳送較高質(zhì)量的圖像和語音；2）能夠?qū)崿F(xiàn)雙向通

48、信，視頻編碼器的處理延時150ms；3）為了實現(xiàn)國際聯(lián)網(wǎng)，必須能兼容不同制式的圖像終端；4）既要能在準(zhǔn)同步數(shù)字體系標(biāo)準(zhǔn)中運行，又要適應(yīng)未來網(wǎng)絡(luò)的發(fā)展；5）視頻編解碼器成本較低。 1990年12月，ITU-T H.261正式頒布，是第一個數(shù)字視頻壓縮編碼標(biāo)準(zhǔn)。信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)編碼器框圖H.261標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮編碼基礎(chǔ)運動補償與環(huán)路濾波： 引入幀間預(yù)測和運動補償來消除這一時間域相關(guān)性，以運動矢量信息和幀差信號替代原始信號進(jìn)行傳遞，實現(xiàn)時間域冗余信息的壓縮 標(biāo)準(zhǔn)選擇運動預(yù)測匹配單位為16*16像素的宏塊，前向整像素精度運動補償，匹配搜索范圍-15,+15。 運動矢量限制在參考幀的重建圖像區(qū)域內(nèi) ，用于該宏塊中4個亮度塊；對于兩個色差分量，運動矢量減半。H.261標(biāo)準(zhǔn)信息論與編碼基礎(chǔ)信源壓縮