數(shù)字圖像與視頻壓縮編碼原理1

1、數(shù)字圖像與視頻壓縮編碼原理張亞飛信息工程教研室2012-2013學(xué)年第2學(xué)期數(shù)字圖像與視頻壓縮編碼原理 主要內(nèi)容¾數(shù)字圖像和視頻壓縮編碼概述¾無失真編碼¾預(yù)測編碼¾變換編碼數(shù)字圖像和視頻壓縮編碼概述 壓縮的概念¾壓縮的必要性：數(shù)字視頻信號巨大的數(shù)據(jù)量，給存儲、處理和傳輸帶來了不少壓力¾壓縮的可能性：冗余的存在¾壓縮的目的：確保重建圖像或視頻質(zhì)量的前提下，盡可能減小碼率數(shù)字圖像和視頻壓縮編碼概述 相對數(shù)據(jù)冗余的定義¾設(shè)：為表達(dá)一個信息，方法A用的數(shù)據(jù)量為n1,方法B用的數(shù)據(jù)量為n29壓縮率（壓縮比）：CR=n1/n2

2、9相對數(shù)據(jù)冗余：RD=1-1/CR9n1=n2，CR=1，RD=0，表示方法A相對于方法B不包含冗余9n1>>n2，CR，RD1，表示顯著的壓縮和大量的數(shù)據(jù)冗余9n1<<n2，CR0，RD-,表示方法B的數(shù)據(jù)量遠(yuǎn)大于方法A數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾空間冗余¾時間冗余¾統(tǒng)計冗余¾結(jié)構(gòu)冗余¾知識冗余¾人眼的視覺冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾空間冗余9空間冗余也稱為空域冗余或像素間冗余9空域冗余是一種與像素間相關(guān)性直接聯(lián)系的數(shù)據(jù)冗余9圖像中，相鄰像素的亮度

3、和色度信號值比較接近，具有很強(qiáng)的相關(guān)性，即數(shù)據(jù)中存在較多的空間冗余，如果先去除冗余數(shù)據(jù)再進(jìn)行編碼，則使表示每個像素的平均比特數(shù)下降9空間冗余是靜態(tài)圖像中存在的最主要的一種數(shù)據(jù)冗余9消除空間冗余的方法行程編碼和預(yù)測編碼數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾空間冗余例：原圖像數(shù)據(jù)：234 223 231 238 235去除空間冗余：234 -11 8 7 -3數(shù)字圖像和視頻壓縮編碼概述行程編碼二值圖像有62%的數(shù)據(jù)是冗余的8數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾時間冗余9時間冗余也稱為時域冗余9時間冗余是視頻序列圖像（電視圖像、運動圖像）表示中經(jīng)常包

4、含的冗余9視頻序列的相鄰幀往往包含相同的背景和移動物體，只是其空間位置略有不同，所以后一幀的數(shù)據(jù)與前一幀的數(shù)據(jù)有許多共同的地方，即存在大量相關(guān)信息9常采用運動估計和運動補(bǔ)償預(yù)測技術(shù)來消除時間冗余數(shù)字圖像和視頻壓縮編碼概述圖像和視頻數(shù)據(jù)中的冗余¾時間冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾統(tǒng)計冗余9統(tǒng)計冗余也稱為編碼表示冗余或符號冗余9由信息論的編碼原理可知，表示一個像素點的數(shù)據(jù)，只要按其信息熵的大小分配相應(yīng)的比特數(shù)即可9在實際圖像中，每一個像素點都用相同的比特數(shù)來表示，必然存在冗余9消除方法：Huffman編碼如果用8bits表示該圖像的像素，則該圖像存在編

5、碼冗余，因為該圖像的像素只有兩個灰度，用一位即可表示數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾結(jié)構(gòu)冗余9在有些圖像的部分區(qū)域內(nèi)有著很相似的紋理結(jié)構(gòu)，或是圖像的各部分之間存在著某種關(guān)系，如自相似性，這使圖像在結(jié)構(gòu)上產(chǎn)生了冗余9消除方法：分形編碼數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾知識冗余9有些圖像的理解與某些知識有相當(dāng)大的相關(guān)性9例如：關(guān)于人臉的結(jié)構(gòu)的知識人臉的圖像有固定的結(jié)構(gòu)9這類規(guī)律性的結(jié)構(gòu)可由先驗知識和背景知識得到，我們稱此類冗余為知識冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾知識冗余9對圖像中所包含的某些物體，我們可以

6、根據(jù)已有的知識構(gòu)造其基本模型，并創(chuàng)建對應(yīng)各種特征的圖像庫。這樣，圖像的存儲只需要保存一些特征參數(shù)，從而可以大大減少數(shù)據(jù)量9知識冗余是模型基編碼（或稱知識基編碼、語義基編碼）主要利用的特性數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻數(shù)據(jù)中的冗余¾人眼的視覺冗余9人類的視覺系統(tǒng)對圖像場的敏感性是非均勻和非線性的9在記錄原始的圖像數(shù)據(jù)時，對視覺敏感和不敏感的部分同等對待，從而產(chǎn)生了比理想編碼（即把視覺敏感和不敏感的部分區(qū)分開來編碼）更多的數(shù)據(jù)，這就是視覺冗余9壓縮視覺冗余的核心思想是去掉那些相對于人眼而言看不到或可有可無的圖像數(shù)據(jù)9如DCT編碼中對直流和低頻系數(shù)細(xì)量化，高頻系數(shù)粗量化數(shù)字圖像和視

7、頻壓縮編碼概述圖像和視頻數(shù)據(jù)中的冗余¾人眼的視覺冗余數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻編碼方法分類¾無失真編碼9又稱為無損編碼、統(tǒng)計編碼、信息保持編碼、熵編碼9解碼后還原的數(shù)據(jù)與編碼前的原始數(shù)據(jù)完全相同而不引入任何失真9壓縮比較低，一般為2:1到5:19常用方法：Huffman編碼、算術(shù)編碼、游程編碼等數(shù)字圖像和視頻壓縮編碼概述 圖像和視頻編碼方法分類¾限失真編碼9也稱為有損編碼、非信息保持編碼9解碼后還原的數(shù)據(jù)與編碼前的原始數(shù)據(jù)是有差別的，編碼會造成一定程度的失真9常用的編碼方法：預(yù)測編碼、變換編碼、矢量量化編碼、基于模型的編碼等無失真編碼行程編碼¾

8、;一維行程編碼：用一長度序列表示圖像或位平面的每一行，這些長度描繪了對黑色和白色像素的連續(xù)行程，這稱為行程編碼¾是傳真編碼的標(biāo)準(zhǔn)壓縮方法¾編碼方式9每個行程由0或1及其長度組成9只記錄1的起始點和長度9只記錄0和1的長度，假定每行的起始點都是1，否則就特殊標(biāo)出0無失真編碼算術(shù)編碼¾算術(shù)編碼并不是將單個信源符號映射成一個碼字，而是把整個信源表示為實數(shù)線上0到1之間的一個區(qū)間,其長度等于該序列的概率。制作為實際的編碼輸出¾在該區(qū)間內(nèi)選擇一個代表性的小數(shù)，轉(zhuǎn)換為二進(jìn)¾消息序列中的每個元素都要用來壓縮這個區(qū)間¾消息序列中元素越多，所得到的區(qū)間

9、就越小，當(dāng)區(qū)間變小時，就需要更多的位數(shù)來表示這個區(qū)間無失真編碼無失真編碼算術(shù)編碼¾設(shè)定初值9low=09length=high-low=1.0¾對符號序列中每一個輸入的信源符號進(jìn)行編碼，計算high,low及l(fā)ength的新值9high=low+length×symbol_high(c)9low=low+length×symbol_low(c)無失真編碼算術(shù)編碼¾符號定義9等號右邊的low和length分別為前面已編碼符號序列所對應(yīng)編碼區(qū)間的下界和區(qū)間長度9等號左邊的low和high分別為輸入待編碼符號后所對應(yīng)的當(dāng)前區(qū)間的下界和上界9symbo

10、l_high(c): 當(dāng)前輸入符號c的上界9symbol_low(c):當(dāng)前輸入符號c的下界9length: “當(dāng)前區(qū)間”的區(qū)間長度，length=high-low無失真編碼無失真編碼算術(shù)編碼編碼過程¾¾根據(jù)每個符號出現(xiàn)的概率將半開區(qū)間0,1)分成四個區(qū)域0,0.2) 0.2,0.4) 0.4,0.8) 0.8,1)對輸入的第一個符號a1編碼9symbol_high(a1)=0.2 symbol_low(a1)=09high=0+1.0×0.2=0.2 low=0+1.0×0=0¾對輸入的符號序列a1a2進(jìn)行編碼無失真編碼 算術(shù)編碼編碼過程&#

11、190;¾¾無失真編碼算術(shù)編碼譯碼過程¾通過查看哪一個信源符號擁有已編碼消息所落入的數(shù)值范圍，找到消息中的第一個信源符號，0.06752在0,0.2)之間，所以第一個符號為a1從編碼數(shù)值中消去第一個符號a1的影響，即首先減去a1的所在區(qū)間的下界值，然后除以a1對應(yīng)區(qū)間的寬度，即查表找到該結(jié)果0.3376落入哪一個符號對應(yīng)的數(shù)值范圍，得到第二個符號a2重復(fù)上述過程直至解出整個符號流¾¾¾無失真編碼算術(shù)編碼¾算術(shù)編碼對整個消息只產(chǎn)生一個碼字，這個碼字是在間隔0,1)中的一個實數(shù)，因此譯碼器在接收到這個實數(shù)的所有位之前不能進(jìn)行譯碼

12、有一位發(fā)生錯誤就會導(dǎo)致整個消息譯錯¾算術(shù)編碼是一種對錯誤很敏感的編碼方法，如果限失真編碼預(yù)測編碼概述¾預(yù)測編碼可以再一幅圖像內(nèi)進(jìn)行，稱為幀內(nèi)預(yù)測編碼；也可以在圖像序列之間進(jìn)行，稱為幀間預(yù)測編碼¾預(yù)測編碼的基本原理是利用圖像數(shù)據(jù)的空間和時間相關(guān)性，用相鄰的已編碼傳輸?shù)南袼刂祦眍A(yù)測當(dāng)前待編碼的像素值，然后對當(dāng)前待編碼像素的實際值與預(yù)測值之差值（預(yù)測誤差）進(jìn)行編碼輸出，而不是對當(dāng)前像素本身進(jìn)行編碼傳輸，以去除圖像數(shù)據(jù)中的空間相關(guān)冗余或時間相關(guān)冗余。在接收端，將接收的預(yù)測誤差的碼字解碼后再與預(yù)測值相加，得到當(dāng)前像素值限失真編碼預(yù)測編碼概述¾在視頻編碼中，根據(jù)預(yù)測

13、像素選取的位置不同，預(yù)測編碼分為幀內(nèi)預(yù)測和幀間預(yù)測。¾幀內(nèi)預(yù)測編碼時，選取的預(yù)測像素位于待編碼像素同一幀的相鄰位置。¾幀間預(yù)測編碼時，則選取時間上相鄰幀間的像素進(jìn)行預(yù)測限失真編碼預(yù)測編碼概述¾幀內(nèi)預(yù)測編碼一般采用像素預(yù)測形式的差值脈沖編碼調(diào)制(DPCM)，其優(yōu)點是算法簡單，易于硬件實現(xiàn)。缺點是對噪聲及誤碼敏感，會產(chǎn)生誤碼擴(kuò)散，使得圖像質(zhì)量下降。幀內(nèi)DPCM編碼壓縮比很低，現(xiàn)在很少單獨使用，一般要結(jié)合其他編碼方法綜合使用¾幀間預(yù)測編碼可以獲得比幀內(nèi)預(yù)測編碼高得多的壓縮比，主要的幀間預(yù)測編碼方法有幀重復(fù)法、幀內(nèi)插法、運動補(bǔ)償法、自適應(yīng)交替幀內(nèi)/幀間預(yù)測編碼法

14、等。其中運動補(bǔ)償預(yù)測編碼效果最好。限失真編碼圖像差值信號的統(tǒng)計特性¾幀內(nèi)相鄰像素差值信號的統(tǒng)計特性9一般情況下，相鄰像素灰度值突變的概率較小，圖像在垂直和水平方向相鄰像素的差值信號分別為dv(i,j)=f(i,j)f(i1,j)dH(i,j)=f(i,j)f(i,j1)限失真編碼 圖像差值信號的統(tǒng)計特性¾幀內(nèi)相鄰像素差值信號的統(tǒng)計特性9差值信號的概率分布限失真編碼圖像差值信號的統(tǒng)計特性¾幀內(nèi)相鄰像素差值信號的統(tǒng)計特性9差值信號絕對值較小者所對應(yīng)的概率大，且差值為零所對應(yīng)的概率最大9如果用傳輸差值信號代替?zhèn)鬏斣夹盘?，會使傳輸?shù)臄?shù)碼率降低，從而實現(xiàn)幀內(nèi)預(yù)測編碼限失真

15、編碼圖像差值信號的統(tǒng)計特性¾相鄰幀間差值信號的統(tǒng)計特性9相鄰幀間差值是指在序列圖像的某一個固定像素位置(i,j)上，當(dāng)前幀的亮度值與上一幀的亮度值之間dk(i,j)=fk(i,j)fk1(i,j)9大部分時間，場景中物體的運動速度是較慢的，這時幀間的統(tǒng)計相關(guān)性會增加。但在運動較劇烈的區(qū)域，像素間的相關(guān)性隨著運動速度的增加而降低，從而在幀間預(yù)測結(jié)果中出現(xiàn)大誤差的概率增加有損預(yù)測編碼 幀內(nèi)預(yù)測編碼預(yù)測器N=aixixi=1N1誤差誤差量化重構(gòu)信號NeN=xNxeNeNxN=eN+xN限失真編碼幀內(nèi)預(yù)測編碼¾預(yù)測模型9預(yù)測編碼的關(guān)鍵時如何選擇一個足夠好的預(yù)測模型，使預(yù)測值盡可能與

16、當(dāng)前需要傳輸?shù)南袼貙嶋H值相接近9預(yù)測編碼器有線性和非線性預(yù)測編碼器兩種9預(yù)測值和各樣本呈線性關(guān)系的為線性預(yù)測器N=aixNixi=1m限失真編碼幀內(nèi)預(yù)測編碼-預(yù)測模型¾¾N=xN1前值預(yù)測：x一維預(yù)測：用同一掃描行的前面幾個采樣值預(yù)測(x,y)=af(x,yi)fini=1m¾二維預(yù)測：不但用同一掃描行的前面幾個采樣值，還要用前幾行中的采樣值一起來預(yù)測=af+af+af+affn11223344限失真編碼幀內(nèi)預(yù)測編碼¾德爾塔調(diào)制（DM），是一種簡單的幀內(nèi)預(yù)測編碼形式，預(yù)測器和量化器分別為N=axxN1+ceN=c當(dāng)eN>0其他因為量化器的輸出可用單

17、個位符表示(輸出只有2個值)，所以編碼器中的符號編碼器只用長度固定為1bit的碼，由DM方法得到的碼率是1比特/像素限失真編碼幀內(nèi)預(yù)測編碼¾設(shè)輸入序列為14,15,14,15,13,15,15,14,20,26,27,28,27,27,29,37,47,62,75,77,78,79,80, 81,82,83，a=1，c=6.5，用德爾塔調(diào)制編碼¾編碼開始時，先將第一個輸入像素直接傳給編碼器。在編碼器和解碼器兩端都建立初始條件,e,e,x可用上述公式計=x0=14后，其余的xx0算得到限失真編碼幀內(nèi)預(yù)測編碼¾當(dāng)c遠(yuǎn)大于輸入中的最小變化時，如在n=0到n=7的相對平滑

18、區(qū)域，DM編碼會產(chǎn)生顆粒噪聲。¾當(dāng)c遠(yuǎn)小于輸入中的最大變化時，如在n=14到n=19的相對陡峭區(qū)間，DM編碼會產(chǎn)生斜率過載¾對大多數(shù)圖像而言，上述2種情況分別會導(dǎo)致圖像中目標(biāo)邊緣發(fā)生模糊和整個圖像產(chǎn)生紋狀表面限失真編碼 幀內(nèi)預(yù)測編碼德爾塔調(diào)制（DM）預(yù)測誤差圖像解碼后圖像限失真編碼幀內(nèi)預(yù)測編碼最優(yōu)量化器¾量化過程會導(dǎo)致圖像的失真，可以根據(jù)不同的優(yōu)化準(zhǔn)則和輸入（即預(yù)測誤差）的概率密度函數(shù)選擇最佳的量化方法¾優(yōu)化準(zhǔn)則：可以是統(tǒng)計上的或心理上的，如均方量化誤差最小¾概率密度函數(shù)：緩慢變化的區(qū)域的量化比較精細(xì)，快速變化的區(qū)域可以比較粗糙，從而減少顆粒噪聲和斜率過載限失真編碼 幀內(nèi)預(yù)測編碼最佳預(yù)測器¾預(yù)測編碼的數(shù)據(jù)壓縮率大小取決于預(yù)測器性能的好壞¾最佳線性預(yù)測就是選擇合適的系數(shù)使得誤差信號的均方誤差最小¾信號的均方誤差（即方差）為nEe=Exnx求預(yù)測系數(shù)的限制條件2n2=en+xnen+xn=xnxnn=aixnixi=1mDPCM限失真編碼 幀內(nèi)預(yù)測編碼最佳預(yù)測器預(yù)測器系數(shù)a=RrExn1xnm"#%#"ExnmxnmExnxnmT