JPEG圖像壓縮過(guò)程

1、圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析基于離散余弦變換的JPEG圖像壓縮算法分析第二組：呂昌偉 司慶龍 趙 甜 馮明洋圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析Q1:為什么要進(jìn)行圖像壓縮處理？圖像數(shù)據(jù)量舉例：【存儲(chǔ)】對(duì)于每秒25幀，分辨率為512X512，每一個(gè)像素用8比特來(lái)表示的視頻圖像視頻圖像數(shù)據(jù)量：512X512X8X25bit/s150Mbit/s19Mbyte/s70,000MB/hr家用VCD存儲(chǔ)容量：650M，74Min 對(duì)照70G/hr 大約需要壓縮100倍【傳輸】 Cable 1.5-10Mbs ATM 最大可達(dá)34Mbs Mobil comm

2、unication 10Kbs-1Mbs (移動(dòng)通信網(wǎng)絡(luò))圖像壓縮的目的：在可能的情況下盡量減少圖像數(shù)據(jù)的尺寸，以便于傳輸、存儲(chǔ)、管理、處理和應(yīng)用。Q2：為什么圖像可以壓縮？（有沒(méi)有壓縮的可行性？）1、圖像中的數(shù)據(jù)冗余：空間冗余 時(shí)間冗余 信息熵冗余 結(jié)構(gòu)冗余 知識(shí)冗余視覺(jué)冗余 其它冗余2、圖像在一些情況下允許一定程度的失真圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析三、圖像壓縮編碼的分類(lèi)1、從圖像信息角度對(duì)編碼分類(lèi) 信息保持編碼（依據(jù)香農(nóng)的信息論） 保真度編碼（允許失真度不同，根據(jù)它的應(yīng)用場(chǎng)合不同） 特征抽取2、從圖像編碼方法對(duì)編碼分類(lèi) 平均信息方法：利用圖像的統(tǒng)計(jì)特征分配碼字長(zhǎng)

3、度，達(dá)到壓縮目的， 如Huffman，S-F等 預(yù)測(cè)方法：圖像信息在空間上具有一些冗余性（可利用一維的預(yù)測(cè)編碼） 時(shí)間上（可以利用時(shí)間冗余性 針尖預(yù)測(cè)） 變換方法：小波變換 離散余弦變換方法 頻帶編碼 閾值編碼 多維技術(shù) 自適應(yīng)方法 像素編碼： 行程編碼 等值線(xiàn)編碼 位平面編碼等 其它 ：混合編碼 二值/圖形編碼 彩色圖像編碼 矢量量化 金字塔編碼 基于知識(shí)的編碼圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析四、JPEG圖像基礎(chǔ) JPEG是聯(lián)合圖象專(zhuān)家組(Joint Picture Expert Group)的英文縮寫(xiě)，是國(guó)際標(biāo)準(zhǔn)化組織(ISO)和CCITT聯(lián)合制定的靜態(tài)圖象的壓縮編

4、碼標(biāo)準(zhǔn)。 與相同圖象質(zhì)量的其它常用文件格式(如GIF，TIFF，PCX)相比，JPEG是目前靜態(tài)圖象中壓縮比最高的。 我們給出具體的數(shù)據(jù)來(lái)對(duì)比一下。圖Clouds.bmp，原圖大小為640*480，256色。用工具SEA(version1.3)將其分別轉(zhuǎn)成24位色BMP、24位色JPEG、GIF(只能轉(zhuǎn)成256色)壓縮格式、24位色TIFF壓縮格式、24位色TGA壓縮格式。得到的文件大小(以字節(jié)為單位)分別為：921,654 17,707 177,152 923,044 768,136?？梢?jiàn)JPEG比其它幾種壓縮比要高得多，而圖象質(zhì)量都差不多(JPEG處理的顏色只有真彩和灰度圖)。正是由于JP

5、EG的高壓縮比，使得它廣泛地應(yīng)用于多媒體和網(wǎng)絡(luò)程序中，例如HTML語(yǔ)法中選用的圖象格式之一就是JPEG(另一種是GIF)。這是顯然的，因?yàn)榫W(wǎng)絡(luò)的帶寬非常寶貴，選用一種高壓縮比的文件格式是十分必要的。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析JPEG專(zhuān)家組開(kāi)發(fā)了兩種基本的壓縮算法、兩種熵編碼方法、四種編碼模式。壓縮算法：（1）有損的離散余弦變換DCT（Discrete Cosine Transform）（2）無(wú)損的預(yù)測(cè)壓縮技術(shù)；熵編碼方法：（1）Huffman編碼；（2）算術(shù)編碼；編碼模式：（1）基于DCT的順序模式：編碼、解碼通過(guò)一次掃描完成；（2）基于DCT的漸進(jìn)模式：編碼、解

6、碼需要多次掃描完成，掃描效果由粗到精，逐級(jí)遞增；（3）無(wú)損模式：基于DPCM，保證解碼后完全精確恢復(fù)到原圖像采樣值；（4）層次模式：圖像在多個(gè)空間分辨率中進(jìn)行編碼，可以根據(jù)需要只對(duì)低分辨率數(shù)據(jù)做解碼，放棄高分辨率信息； 在實(shí)際應(yīng)用中，JPEG圖像編碼算法使用的大多是離散余弦變換、Huffman編碼、順序編碼模式。這樣的方式，被人們稱(chēng)為JPEG的基本系統(tǒng)。這里介紹的JPEG編碼算法的流程，也是針對(duì)基本系統(tǒng)而言?；鞠到y(tǒng)的JPEG壓縮編碼算法一共分為11個(gè)步驟：顏色模式轉(zhuǎn)換、采樣、分塊、離散余弦變換（DCT）、Zigzag 掃描排序、量化、DC系數(shù)的差分脈沖調(diào)制編碼、DC系數(shù)的中間格式計(jì)算、AC系

7、數(shù)的游程長(zhǎng)度編碼、AC系數(shù)的中間格式計(jì)算、熵編碼。下面，將一一介紹這11個(gè)步驟的詳細(xì)原理和計(jì)算過(guò)程。四、JPEG圖像基礎(chǔ)圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析四、JPEG圖像壓縮過(guò)程分析JPEG壓縮的編解碼互逆過(guò)程：圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析四、JPEG圖像壓縮過(guò)程分析1、顏色模式轉(zhuǎn)換 JPEG采用的是YCrCb顏色空間，而B(niǎo)MP采用的是RGB顏色空間，要想對(duì)BMP圖片進(jìn)行壓縮，首先需要進(jìn)行顏色空間的轉(zhuǎn)換。YCrCb顏色空間中，Y代表亮度，Cr,Cb則代表色度和飽和度(也有人將Cb,Cr兩者統(tǒng)稱(chēng)為色度)，三者通常以Y,U,V來(lái)表示，即用U代表Cb

8、，用V代表Cr。RGB和YCrCb之間的轉(zhuǎn)換關(guān)系如下所示：Y = 0.299R+0.587G+0.114BCb = -0.1687R-0.3313G+0.5B+128Cr = 0.5R-0.418G-0.0813B+128一般來(lái)說(shuō)，C 值 (包括 Cb Cr) 應(yīng)該是一個(gè)有符號(hào)的數(shù)字, 但這里通過(guò)加上128，使其變?yōu)?位的無(wú)符號(hào)整數(shù)，從而方便數(shù)據(jù)的存儲(chǔ)和計(jì)算。R = Y+1.402(Cr-128)G = Y-0.34414(Cb-128)-0.71414(Cr-128)B = Y+1.772(Cb-128)2、采樣 研究發(fā)現(xiàn)，人眼對(duì)亮度變換的敏感度要比對(duì)色彩變換的敏感度高出很多。因此，我們可以

9、認(rèn)為Y分量要比Cb,Cr分量重要的多。在BMP圖片中，RGB三個(gè)分量各采用一個(gè)字節(jié)進(jìn)行采樣，也就是我們常聽(tīng)到的RGB888的模式；而JPEG圖片中，通常采用兩種采樣方式：YUV411和YUV422，它們所代表的意義是Y,Cb,Cr三個(gè)分量的數(shù)據(jù)取樣比例一般是4：1：1或者4：2：2（4：1：1含義就是：在2x2的單元中，本應(yīng)分別有4個(gè)Y，4個(gè)U，4個(gè)V值，用12個(gè)字節(jié)進(jìn)行存儲(chǔ)。經(jīng)過(guò)4:1:1采樣處理后，每個(gè)單元中的值分別有4個(gè)Y、1個(gè)U、1個(gè)V，只要用6個(gè)字節(jié)就可以存儲(chǔ)了）。這樣的采樣方式，雖然損失了一定的精度但也在人眼不太察覺(jué)到的范圍內(nèi)減小了數(shù)據(jù)的存儲(chǔ)量。當(dāng)然，JPEG格式里面也允許將每個(gè)點(diǎn)

10、的U,V值都記錄下來(lái)；圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析3、分塊 由于后面的DCT變換是是對(duì)8x8的子塊進(jìn)行處理的，因此，在進(jìn)行DCT變換之前必須把源圖象數(shù)據(jù)進(jìn)行分塊。源圖象中每點(diǎn)的3個(gè)分量是交替出現(xiàn)的，先要把這3個(gè)分量分開(kāi)，存放到3張表中去。然后由左及右，由上到下依次讀取8x8的子塊，存放在長(zhǎng)度為64的表中，即可以進(jìn)行DCT變換。注意，編碼時(shí)，程序從源數(shù)據(jù)中讀取一個(gè)8x8的數(shù)據(jù)塊后，進(jìn)行DCT變換，量化，編碼，然后再讀取、處理下一個(gè)8*8的數(shù)據(jù)塊。 JPEG 編碼是以每8x8個(gè)點(diǎn)為一個(gè)單位進(jìn)行處理的. 所以如果原始圖片的長(zhǎng)寬不是 8 的倍數(shù), 都需要先補(bǔ)成8的倍數(shù), 使

11、其可以進(jìn)行一塊塊的處理。將原始圖像數(shù)據(jù)分為8*8的數(shù)據(jù)單元矩陣之后，還必須將每個(gè)數(shù)值減去128，然后一一帶入DCT變換公式，即可達(dá)到DCT變換的目的。圖像的數(shù)據(jù)值必須減去128，是因?yàn)镈CT公式所接受的數(shù)字范圍是-128到127之間。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析（4）離散余弦變換 DCT（Discrete Cosine Transform，離散余弦變換），是碼率壓縮中常用的一種變換編碼方法。任何連續(xù)的實(shí)對(duì)稱(chēng)函數(shù)的傅里葉變換中只含有余弦項(xiàng)，因此，余弦變換同傅里葉變換一樣具有明確的物理意義。DCT是先將整體圖像分成N*N的像素塊，然后針對(duì)N*N的像素塊逐一進(jìn)行DCT操作

12、。需要提醒的是，JPEG的編碼過(guò)程需要進(jìn)行正向離散余弦變換，而解碼過(guò)程則需要反向離散余弦變換。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析原始的圖像信號(hào)（最左邊的波形）經(jīng)過(guò)DCT變換之后變成了8個(gè)波，其中第一個(gè)波為直流成分，其余7個(gè)為交流成分。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮

13、技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析（5）Zigzag掃描排序 DCT 將一個(gè) 8x8 的數(shù)組變換成另一個(gè) 8x8 的數(shù)組. 但是內(nèi)存里所有數(shù)據(jù)都是線(xiàn)形存放的, 如果我們一行行的存放這 64 個(gè)數(shù)字, 每行的結(jié)尾的點(diǎn)和下行開(kāi)始的點(diǎn)就沒(méi)有什么關(guān)系, 所以 JPEG 規(guī)定按如下圖中的數(shù)字順序依次保存和讀取64 個(gè)DCT的系數(shù)值。這樣數(shù)列里的相鄰點(diǎn)在圖片上也是相鄰的了。不難發(fā)現(xiàn)，這種數(shù)據(jù)的掃描、保存、讀取方式，是從8*8矩陣的左上角開(kāi)始，按照英文字母Z的形狀進(jìn)行掃描的，一般將其

14、稱(chēng)之為Zigzag掃描排序。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析（6）量化 圖像數(shù)據(jù)轉(zhuǎn)換為DCT頻率系數(shù)之后，還要進(jìn)行量化階段，才能進(jìn)入編碼過(guò)程。量化階段需要兩個(gè)8*8量化矩陣數(shù)據(jù)，一個(gè)是專(zhuān)門(mén)處理亮度的頻率系數(shù)，另一個(gè)則是針對(duì)色度的頻率系數(shù)，將頻率系數(shù)除以量化矩陣的值之后取整，即完成了量化過(guò)程。當(dāng)頻率系數(shù)經(jīng)過(guò)量化之后，將頻率系數(shù)由浮點(diǎn)數(shù)轉(zhuǎn)變?yōu)檎麛?shù)，這才便于執(zhí)行最后的編碼。不難發(fā)現(xiàn)，經(jīng)過(guò)量化階段之后，所有的數(shù)據(jù)只保留了整數(shù)近似值，也就再度損失了一些數(shù)據(jù)內(nèi)容。在JPEG算法中，由于對(duì)亮度和色度的精度要求不同，分別對(duì)亮度和色度采用不同的量化表。前者細(xì)量化，后者粗量化。 下圖給出J

15、PEG的亮度量化表和色度量化表，該量化表是從廣泛的實(shí)驗(yàn)中得出的。當(dāng)然，你也可以自定義量化表。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析（7）DC系數(shù)的差分脈沖調(diào)制編碼 8*8的圖像塊經(jīng)過(guò)DCT變換之后得到的DC系數(shù)有兩個(gè)特點(diǎn)：（1）系數(shù)的數(shù)值比較大；（2）相鄰的8*8圖像塊的DC系數(shù)值變化不大；根據(jù)這兩個(gè)特點(diǎn)，DC系數(shù)一般采用差分脈沖調(diào)制編碼DPCM（Difference Pulse Code Modulation），即：取同一個(gè)圖像分量中每個(gè)DC值與前一個(gè)DC值的差值來(lái)進(jìn)行編碼。對(duì)差值進(jìn)行編碼所需要的位數(shù)會(huì)比對(duì)原值進(jìn)行編碼所需要的位數(shù)少了很多。假設(shè)某一個(gè)8*8圖像塊的DC系數(shù)值

16、為15，而上一個(gè)8*8圖像塊的DC系數(shù)為12，則兩者之間的差值為3。（8）DC系數(shù)的中間格式計(jì)算 JPEG中為了更進(jìn)一步節(jié)約空間，并不直接保存數(shù)據(jù)的具體數(shù)值，而是將數(shù)據(jù)按照位數(shù)分為16組，保存在表里面。這也就是所謂的變長(zhǎng)整數(shù)編碼VLI。即，第0組中保存的編碼位數(shù)為0，其編碼所代表的數(shù)字為0；第1組中保存的編碼位數(shù)為1，編碼所代表的數(shù)字為-1或者1.，如下面的表格所示，這里，暫且稱(chēng)其為VLI編碼表：前面提到的那個(gè)DC差值為3的數(shù)據(jù)，通過(guò)查找VLI可以發(fā)現(xiàn)，整數(shù)3位于VLI表格的第2組，因此，可以寫(xiě)成（2）（3）的形式，該形式，稱(chēng)之為DC系數(shù)的中間格式。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓

17、縮算法）分析（9）AC系數(shù)的行程長(zhǎng)度編碼(RLC) 量化之后的AC系數(shù)的特點(diǎn)是，63個(gè)系數(shù)中含有很多值為0的系數(shù)。因此，可以采用行程編碼RLC（Run Length Coding）來(lái)更進(jìn)一步降低數(shù)據(jù)的傳輸量。利用該編碼方式，可以將一個(gè)字符串中重復(fù)出現(xiàn)的連續(xù)字符用兩個(gè)字節(jié)來(lái)代替，其中，第一個(gè)字節(jié)代表重復(fù)的次數(shù)，第二個(gè)字節(jié)代表被重復(fù)的字符串。例如，（4,6）就代表字符串“6666”。但是，在JPEG編碼中，RLC的含義就同其原有的意義略有不同。在JPEG編碼中，假設(shè)RLC編碼之后得到了一個(gè)（M,N）的數(shù)據(jù)對(duì)，其中M是兩個(gè)非零AC系數(shù)之間連續(xù)的0的個(gè)數(shù)（即，行程長(zhǎng)度），N是下一個(gè)非零的AC系數(shù)的值。

18、采用這樣的方式進(jìn)行表示，是因?yàn)锳C系數(shù)當(dāng)中有大量的0，而采用Zigzag掃描也會(huì)使得AC系數(shù)中有很多連續(xù)的0的存在，如此一來(lái)，便非常適合于用RLC進(jìn)行編碼。例如，現(xiàn)有一個(gè)字符串，如下所示：57,45,0,0,0,0,23,0,-30,-8,0,0,1,000.經(jīng)過(guò)RLC之后，將呈現(xiàn)出以下的形式：(0,57) ; (0,45) ; (4,23) ; (1,-30) ; (0,-8) ; (2,1) ; (0,0)注意，如果AC系數(shù)之間連續(xù)0的個(gè)數(shù)超過(guò)16，則用一個(gè)擴(kuò)展字節(jié)(15,0)來(lái)表示16連續(xù)的0。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析（10）AC系數(shù)的中間格式 根據(jù)前面提

19、到的VLI表格，對(duì)于前面的字符串： (0,57) ; (0,45) ; (4,23) ; (1,-30) ; (0,-8) ; (2,1) ; (0,0)只處理每對(duì)數(shù)右邊的那個(gè)數(shù)據(jù)，對(duì)其進(jìn)行VLI編碼: 查找上面的VLI編碼表格，可以發(fā)現(xiàn)，57在第6組當(dāng)中，因此，可以將其寫(xiě)成(0,6),57的形式，該形式，稱(chēng)之為AC系數(shù)的中間格式。同樣的(0,45)的中間格式為：(0,6),45； (1,-30)的中間格式為：(1,5),-30；（11）熵編碼 在得到DC系數(shù)的中間格式和AC系數(shù)的中間格式之后，為進(jìn)一步壓縮圖象數(shù)據(jù)，有必要對(duì)兩者進(jìn)行熵編碼。JPEG標(biāo)準(zhǔn)具體規(guī)定了兩種熵編碼方式：Huffman編

20、碼和算術(shù)編碼。JPEG基本系統(tǒng)規(guī)定采用Huffman編碼（因?yàn)椴淮嬖趯?zhuān)利問(wèn)題），但JPEG標(biāo)準(zhǔn)并沒(méi)有限制JPEG算法必須用Huffman編碼方式或者算術(shù)編碼方式。 Huffman編碼：對(duì)出現(xiàn)概率大的字符分配字符長(zhǎng)度較短的二進(jìn)制編碼，對(duì)出現(xiàn)概率小的字符分配字符長(zhǎng)度較長(zhǎng)的二進(jìn)制編碼，從而使得字符的平均編碼長(zhǎng)度最短。Huffman編碼的原理請(qǐng)參考數(shù)據(jù)結(jié)構(gòu)中的Huffman樹(shù)或者最優(yōu)二叉樹(shù)Huffman編碼時(shí)DC系數(shù)與AC系數(shù)分別采用不同的Huffman編碼表，對(duì)于亮度和色度也采用不同的Huffman編碼表。因此，需要4張Huffman編碼表才能完成熵編碼的工作。具體的Huffman編碼采用查表的方式

21、來(lái)高效地完成。然而，在JPEG標(biāo)準(zhǔn)中沒(méi)有定義缺省的Huffman表，用戶(hù)可以根據(jù)實(shí)際應(yīng)用自由選擇，也可以使用JPEG標(biāo)準(zhǔn)推薦的Huffman表。或者預(yù)先定義一個(gè)通用的Huffman表，也可以針對(duì)一副特定的圖像，在壓縮編碼前通過(guò)搜集其統(tǒng)計(jì)特征來(lái)計(jì)算Huffman表的值。圖像壓縮技術(shù)（壓縮算法）分析圖像壓縮技術(shù)（壓縮算法）分析下面我們舉例來(lái)說(shuō)明8*8圖像子塊經(jīng)過(guò)DCT及量化之后的處理過(guò)程：假設(shè)一個(gè)圖像塊經(jīng)過(guò)量化以后得到以下的系數(shù)矩陣：15 0 -1 0 0 0 0 0-2 -1 0 0 0 0 0 0-1 -1 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 00 0 0 0 0 0 0 0顯然，DC系數(shù)為15，假設(shè)前一個(gè)8*8的圖像塊的DC系數(shù)量化值為12，則當(dāng)前DC系統(tǒng)同上一個(gè)DC系數(shù)之間