數(shù)字視頻圖像壓縮第5章

數(shù)字視頻技術(shù)

第五章數(shù)字視頻圖像壓縮5.1視頻編碼系統(tǒng)概述

5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和圖像質(zhì)量的評判標(biāo)準(zhǔn)5.3統(tǒng)計(jì)編碼

5.4變換編碼5.5預(yù)測編碼

第五章數(shù)字視頻圖像壓縮5.1

視頻編碼系統(tǒng)概述一、數(shù)字視頻壓縮的必要性和可行性

1、數(shù)字視頻壓縮的必要性①靜態(tài)圖像

CIF:352x288x3x8=2.43Mbits

對56Kbits帶寬的信道，傳輸時(shí)間為

43秒。5.1

視頻編碼系統(tǒng)概述

視頻目前高分辨率電視(HDTV)數(shù)據(jù)量高達(dá)1.2Gbit/s，1張1GB的光盤還存不下6s的HDTV圖像。

格式行列幀速每像素字節(jié)數(shù)數(shù)碼率(Mbits)視頻會議352288101.512.2廣播TV720480302166HDTV12807206028855.1

視頻編碼系統(tǒng)概述2、數(shù)字視頻壓縮的可行性從信息論的角度來看，壓縮就是去除掉信息中的冗余，即保留不確定的信息，去除確定的信息，也就是用一種更接近信息本質(zhì)的描述來代替原有冗余的描述。將香農(nóng)（信息論的主要奠基人）的信息論觀點(diǎn)運(yùn)用的圖像信息的壓縮，所要解決的問題就是如何將圖像信息壓縮到最小，但仍攜有足夠信息以保證能復(fù)制出與原圖近似的圖像。圖像壓縮編碼的目的在于使用盡量少的比特?cái)?shù)來表示和重建原始數(shù)據(jù)。5.1

視頻編碼系統(tǒng)概述信息冗余統(tǒng)計(jì)冗余空間冗余時(shí)間冗余結(jié)構(gòu)冗余視覺冗余知識冗余5.1

視頻編碼系統(tǒng)概述

空間冗余：圖像中同類像素重復(fù)性較多，則可以用較少的編碼信息來表示原圖像，它以變換編碼、量化和熵編碼等技術(shù)為基礎(chǔ)。時(shí)間冗余：相鄰幀之間的相似性，它利用預(yù)測和運(yùn)動補(bǔ)償對視頻圖像進(jìn)行壓縮。5.1

視頻編碼系統(tǒng)概述

結(jié)構(gòu)冗余：圖像的部分區(qū)域存在著非常強(qiáng)的紋理結(jié)構(gòu)，或是圖像的各個(gè)部分之間存在有某種關(guān)系，例如自相似性等。視覺冗余：人的視覺對某些信號（如顏色）具有不那么敏感的生理特性，例如視覺惰性（對亮度和色度，藍(lán)色和紅綠色，25幀視頻采樣等）的遮蔽效應(yīng)。5.1

視頻編碼系統(tǒng)概述

知識冗余：有些圖像中包含的信息與某些先驗(yàn)的基礎(chǔ)知識有關(guān)，例如在一般人臉圖像中，頭、眼、鼻和嘴的相互位置等信息就是一些常識。

5.1

視頻編碼系統(tǒng)概述二、壓縮編碼的分類1、壓縮編碼的分類壓縮編碼的分類方法有很多種，從信息論角度可以分為無損壓縮和有損壓縮兩大類。無損壓縮是指數(shù)據(jù)在壓縮或解壓縮過程中不

會改變或損失原有的信息，解壓縮產(chǎn)生的數(shù)

據(jù)是原始對象的完整復(fù)制，沒有失真。有損壓縮是利用了人類視覺對圖像中的某些

頻率成分不敏感的特性，允許壓縮過程中損

失一定的信息。

5.1

視頻編碼系統(tǒng)概述2、圖像壓縮編碼方法第一代編碼技術(shù)（經(jīng)典編碼）統(tǒng)計(jì)編碼

(又稱熵編碼)游程編碼哈夫曼編碼算術(shù)編碼預(yù)測編碼線性預(yù)測非線性預(yù)測變換編碼K-L變換傅立葉變換離散余弦變換第二代編碼技術(shù)新型編碼小波變換分形壓縮模型編碼

5.1

視頻編碼系統(tǒng)概述三、視頻編碼系統(tǒng)的基本組成

分析量化二進(jìn)制編碼信道反量化量化參數(shù)參數(shù)統(tǒng)計(jì)特性信源模型綜合二進(jìn)制解碼噪聲編碼器解碼器圖5.1數(shù)字視頻編碼系統(tǒng)模型5.1

視頻編碼系統(tǒng)概述信源用戶信源編碼信源解碼信道編碼信道解碼調(diào)制解調(diào)傳輸通道噪聲信源編碼信道編碼圖5.2數(shù)字傳輸系統(tǒng)模型5.1

視頻編碼系統(tǒng)概述

信源編碼：主要解決有效性問題，通

過對信源的壓縮、擾亂、加密等一系

列處理，力求用最少的數(shù)碼傳遞最大

的信息量，使信號更適宜傳輸。

信道編碼：主要解決可靠性問題，即

盡量使處理過的信號在傳輸過程中不

出錯(cuò)或少出錯(cuò)，即使出了錯(cuò)也能自動

檢錯(cuò)和盡量糾錯(cuò)。第五章數(shù)字視頻圖像壓縮5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)一、數(shù)字視頻壓縮的評價(jià)指標(biāo)衡量一個(gè)壓縮編碼方法優(yōu)劣的重要指標(biāo)是：壓縮比要高。解壓縮的圖像質(zhì)量要好。評價(jià)指標(biāo)為：主觀評價(jià)和客觀評價(jià)。壓縮系統(tǒng)的復(fù)雜度和功能。壓縮與解壓縮速度要快，算法要簡單，硬

件實(shí)現(xiàn)容易。5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)一、數(shù)字視頻壓縮的評價(jià)指標(biāo)1、香農(nóng)的信息論原理第一代編碼技術(shù)是以信息論和數(shù)字信號處理技術(shù)為理論基礎(chǔ)，其中統(tǒng)計(jì)編碼的基本原理是給出現(xiàn)概率較大的符號一個(gè)短碼字，而給出現(xiàn)概率較小的符號一個(gè)長碼字，這樣使得最終的平均碼長很小。然而，按照香農(nóng)的理論，無論規(guī)定的碼字如何分配，其平均碼字的比特?cái)?shù)不可能小于原信息源的熵值。5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)熵的定義：設(shè)信息源S的符號集為,出現(xiàn)的概率為，則信息源的熵為：其中熵的單位為：比特?cái)?shù)/字符。熵值是信息不確定性的一個(gè)度量值，當(dāng)信息越不確定時(shí)，信息量越多，香農(nóng)定義實(shí)際給出了實(shí)現(xiàn)無損編碼和有損編碼所需要的最低比特率的界限。=5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)2、壓縮比壓縮比是衡量圖像壓縮系統(tǒng)的一個(gè)重要指標(biāo)，無失真編碼不能取得很高的壓縮比，是因?yàn)樗艿叫旁幢旧淼南拗?，即香農(nóng)定理的最低比特率界限，因此無失真編碼也稱為熵編碼。壓縮比定義為5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)R=

=5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)二、圖像質(zhì)量的評判標(biāo)準(zhǔn)對無損壓縮而言，不存在重構(gòu)圖像的質(zhì)量失真問題，因此，主要用壓縮比來衡量系統(tǒng)的壓縮效率。而對于有損壓縮，除了壓縮比外，還應(yīng)考慮重構(gòu)圖像的質(zhì)量問題。有兩種評判標(biāo)準(zhǔn)來衡量圖像的恢復(fù)質(zhì)量：客觀度量和主觀度量。5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)

原始圖像

恢復(fù)圖像恢復(fù)圖像

5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)1、客觀保真度準(zhǔn)則5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)

原始圖像

0.011bpp,17.96db

0.031bpp,26.11db

0.5bpp,37.55db

5.2數(shù)字視頻壓縮的評價(jià)指標(biāo)和

圖像質(zhì)量的評判標(biāo)準(zhǔn)2、主觀保真度準(zhǔn)則由于沒有考慮人類的視覺系統(tǒng)模型，信噪比或者峰值信噪比，不能單獨(dú)用來評價(jià)壓縮系統(tǒng)的好壞，還需要從主觀上，根據(jù)人類視覺系統(tǒng)的特性來進(jìn)行評價(jià)。然而，主觀評價(jià)因人而異，沒有統(tǒng)一的定論，通常使用平均判分（MOS：MeanOpinionScore）方法，即請每個(gè)試驗(yàn)者對待測圖像進(jìn)行N級質(zhì)量或者失真判分。表6-1給出了主觀測試分級標(biāo)準(zhǔn)。第五章數(shù)字視頻圖像壓縮5.3

統(tǒng)計(jì)編碼統(tǒng)計(jì)編碼是基于統(tǒng)計(jì)特性的編碼技術(shù)，它是一種無損編碼，解碼后能無失真地恢復(fù)原圖像。統(tǒng)計(jì)編碼的基本原理是給出現(xiàn)概率較大的符號一個(gè)短碼字，而給出現(xiàn)概率較小的符號一個(gè)長碼字，這樣使得最終的平均碼長很小。5.3

統(tǒng)計(jì)編碼1、游程編碼游程編碼是一種最簡單的，在某些場合是非常有效的一種無損壓縮編碼方法。雖然這種編碼方式的應(yīng)用范圍非常有限，但是因?yàn)檫@種方法中所體現(xiàn)出的編碼設(shè)計(jì)思想非常明確，所以在圖像編碼方法中都會將其作為一種典型的方法來介紹。5.3

統(tǒng)計(jì)編碼16x16的圖像前三行像素值可表示為000000000000000000000000000000000011111111111100總共需要16x3=48bit游程編碼為34012120總共需要（6+1）x3=21bit5.3

統(tǒng)計(jì)編碼2、哈夫曼編碼編碼思想：對于出現(xiàn)頻率越高的字符分配越短的碼字。算法過程：步驟1：對字符按概率降序排列，將這

些字符看作樹的葉節(jié)點(diǎn)；5.3

統(tǒng)計(jì)編碼步驟2：當(dāng)節(jié)點(diǎn)數(shù)目大于1時(shí)：①找出兩個(gè)概率最小的節(jié)點(diǎn)分別任意

的分配1和0。②將這兩個(gè)節(jié)點(diǎn)合并成一個(gè)新節(jié)點(diǎn)，

其概率為參與合并的節(jié)點(diǎn)的概

率和，然后返回步驟1。步驟3：對每個(gè)字符的編碼可從相應(yīng)的節(jié)點(diǎn)出發(fā)回溯至樹的頂端，沿途節(jié)點(diǎn)構(gòu)成了該字符的碼字，其對應(yīng)的葉節(jié)點(diǎn)為碼字的最后一位。5.3

統(tǒng)計(jì)編碼應(yīng)用：應(yīng)用于圖像和視頻編碼標(biāo)準(zhǔn)中：JPEG、MPEG1、MPEG25.3

統(tǒng)計(jì)編碼實(shí)例：設(shè)輸入圖像的灰度級｛y1，y2，y3，y4，y5，y6，y7，y8｝出現(xiàn)的概率分別為0.40，0.18，0.10，0.10，0.07，0.06，0.05，0.04。進(jìn)行哈夫曼編碼，并計(jì)算編碼效率、壓縮比、冗余度。5.3

統(tǒng)計(jì)編碼實(shí)例5.3

統(tǒng)計(jì)編碼5.3

統(tǒng)計(jì)編碼5.3

統(tǒng)計(jì)編碼5.3

統(tǒng)計(jì)編碼3、算術(shù)編碼編碼思想：對于一個(gè)信息源序列用長度等于其概率的區(qū)間表示，該區(qū)間由低邊界low，高邊界high以及長度range表示。信息源序列的輸出碼字是上下邊界二進(jìn)制表示中相同的比特位。5.3

統(tǒng)計(jì)編碼range=high-lowlow=low+rangexcum_freq[yi]high=low+rangexcum_freq[yi-1]5.3

統(tǒng)計(jì)編碼應(yīng)用：被最新的圖像和視頻編碼標(biāo)準(zhǔn)所采用：JPEG2000、MPEG4、H.264等。5.3

統(tǒng)計(jì)編碼實(shí)例5.3

統(tǒng)計(jì)編碼算術(shù)編碼模式：固定概率算術(shù)編碼基于信源概率統(tǒng)計(jì)特性的固定編碼模式。6.3

統(tǒng)計(jì)編碼

自適應(yīng)算術(shù)編碼針對未知信源概率模型的自適應(yīng)模式。自適應(yīng)模式中各個(gè)符號的概率初始值都相同，它們依據(jù)出現(xiàn)的符號而相應(yīng)地改變。只要編碼器和解碼器都使用相同的初始值和相同的改變值的方法，那么它們的概率模型將保持一致。

基于上下文的自適應(yīng)算術(shù)編碼5.3

統(tǒng)計(jì)編碼

上述三種形式的算術(shù)編碼均可用硬件實(shí)現(xiàn)。有關(guān)實(shí)驗(yàn)數(shù)據(jù)表明，在未知信源概率分布的情況下，算術(shù)編碼一般要優(yōu)于Huffman編碼。在JPEG擴(kuò)展系統(tǒng)中，就用自適應(yīng)算術(shù)編碼取代了哈夫曼編碼。在JPEG2000編碼系統(tǒng)中，就采用了基于上下文的自適應(yīng)算術(shù)編碼。5.3

統(tǒng)計(jì)編碼實(shí)例1

設(shè)一待編碼的數(shù)據(jù)序列（即信源）為“dacab”，信源中各符號出現(xiàn)的概率依次為P(a)=0.4，P(b)=0.2，P(c)=0.2，P(d)=0.2。請對其進(jìn)行算術(shù)編碼，并輸出編碼結(jié)果。5.3

統(tǒng)計(jì)編碼編碼步驟：1、首先，數(shù)據(jù)序列中的各數(shù)據(jù)符號在

區(qū)間［0,1］內(nèi)的間隔（賦值范

圍）設(shè)定為a=［0,0.4）,b=

［0.4,0.6）,c=［0.6,0.8）,

d=［0.8,1.0）5.3

統(tǒng)計(jì)編碼2、第一個(gè)被壓縮的符號為“d”，其初始

間隔為［0.8,1.0)；3、第二個(gè)被壓縮的符號為“a”，由于前

面的符號“d”的取值區(qū)間被限制在［

0.8,1.0)范圍內(nèi)，所以“a”的取值范圍

應(yīng)在前一符號間隔［0.8,1.0)的［0,

0.4)子區(qū)間內(nèi)，根據(jù)上式可知

range=1.0-0.8=0.2low=0.8+0×0.2=0.8high=0.8+0.4×0.2=0.88即“a”的實(shí)際編碼區(qū)間在［0.8,0.88)之間5.3

統(tǒng)計(jì)編碼4、第四個(gè)被壓縮的符號為“c”，其編碼

取值范圍應(yīng)在［0.8,0.88)區(qū)間的

［0.848,0.864)的子區(qū)間內(nèi)，據(jù)上式

可知

range=0.88-0.8=0.08low=0.8+0.6×0.08=0.864high=0.8+0.8×0.08=0.88485.3

統(tǒng)計(jì)編碼5、第五個(gè)被壓縮的符號為“a”，其編碼

取值范圍應(yīng)在［0.848,0.864)區(qū)間的

［0.848,0.8544)的子區(qū)間內(nèi)，據(jù)上式

可知

range=0.864-0.848=0.016low=0.848+0×0.016=0.848high=0.848+0.4×0.016=0.85445.3

統(tǒng)計(jì)編碼5、第三個(gè)被壓縮的符號為“b”，其編碼

取值范圍應(yīng)在［0.848,0.8544)區(qū)間的

［0.848,0.8544)的子區(qū)間內(nèi)，據(jù)上式

可知range=0.8544-0.848=0.0064Low=0.848+0.4×0.0064=0.84856High=0.848+0.6×0.0064=0.851445.3

統(tǒng)計(jì)編碼

至此，數(shù)據(jù)序列“dacab”已被描述為一個(gè)實(shí)數(shù)區(qū)間［0.85056,0.85184］，或者說在此區(qū)間內(nèi)的任一實(shí)數(shù)值都惟一對應(yīng)該數(shù)據(jù)序列。這樣，就可以用一個(gè)實(shí)數(shù)表示這一數(shù)據(jù)序列。我們把區(qū)間［0.85056,0.85184］用二進(jìn)制形式表示為［0.110110011011,0.110110100001］。5.3

統(tǒng)計(jì)編碼

從這個(gè)區(qū)間可以看出，0.1101101位于這個(gè)區(qū)間內(nèi)并且其編碼最短，故把其作為數(shù)據(jù)序列“dacab”的編碼輸出?？紤]到算術(shù)編碼中任一數(shù)據(jù)序列的編碼都含有“0.”，所以在編碼時(shí)，可以不考慮“0.”，于是把1101101作為本例中的數(shù)據(jù)序列的算術(shù)編碼。由此可見，數(shù)據(jù)序列“dacab”用7比特的二進(jìn)制代碼就可以表示，平均碼長為1.4比特／字符。5.3

統(tǒng)計(jì)編碼實(shí)例2

設(shè)輸入圖像的灰度級｛a，b，c｝出現(xiàn)的概率分別為0.50，0.25，0.25。如果輸入待編碼的圖像序列為“abaca”，請對其進(jìn)行算術(shù)編碼，并輸出編碼結(jié)果。實(shí)例符號a(白)b(黑)c(紅)

概率

???實(shí)例符號a(白)b(黑)c(紅)

概率

???第五章數(shù)字視頻圖像壓縮5.4

變換編碼變換編碼的基本思想：先將空間域圖像通過某種正交變換，獲得一系列變換系數(shù)，在變換過程中，使圖像變換系數(shù)能量相對集中，再對其變換系數(shù)進(jìn)行區(qū)域量化等，按其所含能量大小，分配以不同的數(shù)據(jù)量（即比特?cái)?shù)）去表示，例如高能量區(qū)賦予較多的比特?cái)?shù)，低能量區(qū)賦予較少的比特?cái)?shù)，從而達(dá)到壓縮的目的。5.5

變換編碼變換編碼的流程圖5.4

變換編碼變換編碼的方法：按照正交變換的形式，變換編碼有K-L變換、傅立葉變換（FT）、離散余弦變換（DCT）、小波變換（WT）、哈爾變換、沃西爾-哈達(dá)瑪變換等。其中K-L變換的相關(guān)性最好，但最難實(shí)現(xiàn)。而離散余弦變換（DCT）既接近于K-L變換的性能，也容易實(shí)現(xiàn)，因此很多圖像編碼標(biāo)準(zhǔn)都采用DCT作為基本變換編碼的算法。小波變換是新一代編碼算法,具有較好的編碼性能。5.4

變換編碼一、離散余弦變換（DCT）考慮到兩個(gè)變量，很容易將一維DCT的定義推廣到二維DCT。其正變換核為x,u=0,1,2,…,M－1；y,v=0,1,2,…,N－15.4

變換編碼

二維DCT定義如下：設(shè)f(x,y)為M×N的數(shù)字圖像矩陣，則：二維DCT逆變換定義如下：

式中：x,u=0,1,2,…,M－1；y,v=0,1,2,…,N－15.4

變換編碼類似一維矩陣形式的DCT，可以寫出二維DCT的矩陣形式如下：F=GfGT

同時(shí)，由此可知二維DCT的逆變換核與正變換核相同，且是可分離的，即

5.4

變換編碼

通常根據(jù)可分離性，二維DCT可用兩次一維DCT來完成，其算法流程與DFT類似，即5.4

變換編碼5.4

變換編碼二、小波變換5.4

變換編碼小波的定義：設(shè)（表示平方可積的實(shí)數(shù)空間，即能量有限的信號空間），其傅立葉變換為。當(dāng)滿足下面的允許性條件則稱是基本小波（基小波），或母小波。5.4

變換編碼將母小波函數(shù)經(jīng)過平移和伸縮，就可以得到一個(gè)小波序列。其中a為伸縮因子或尺度因子，

b為平移因子。5.4

變換編碼什么是小波：5.4

變換編碼小波變換定義對于任意的函數(shù)的連續(xù)小波變換定義為5.4

變換編碼逆變換5.4

變換編碼5.4

變換編碼短時(shí)Fourier變換的基函數(shù)和時(shí)頻分辨5.4

變換編碼小波變換的基函數(shù)和時(shí)頻分辨5.4

變換編碼小波變換實(shí)現(xiàn)方式：（1）1989年，Mallat提出的Mallat

金字塔小波變換……濾波器實(shí)現(xiàn)

方法。（2）1995年，Swdlen提出的提升小波

變換……時(shí)域變換方法。5.4

變換編碼幀內(nèi)變換二維變換5.4

變換編碼幀間直接變換方法5.4

變換編碼幀間基于運(yùn)動軌跡的變換：

5.4

變換編碼第五章數(shù)字視頻圖像壓縮5.5預(yù)測編碼一、幀內(nèi)預(yù)測編碼

1、預(yù)測編碼的基本思想：利用視頻信號中的時(shí)空間冗余度，根據(jù)以前的圖像幀來預(yù)測當(dāng)前圖像幀，或當(dāng)前圖像幀進(jìn)行空間預(yù)測求差，然后只對誤差進(jìn)行量化編碼。如果預(yù)測誤差很小，那么就可以得到較少的平均比特率。預(yù)測編碼做常采用的形式是差分脈沖編碼調(diào)制（DPCM）。5.5預(yù)測編碼

差分脈沖編碼調(diào)制（