數(shù)字媒體技術概論（融媒體版） 課件 8數(shù)字媒體壓縮技術

第8講：數(shù)字媒體壓縮技術數(shù)字媒體技術概論第8章：數(shù)字媒體壓縮技術1數(shù)據(jù)壓縮的基本原理2音頻數(shù)據(jù)的壓縮編碼3數(shù)字圖像的壓縮編碼4數(shù)字視頻的壓縮編碼一、采用數(shù)據(jù)壓縮的原因多媒體技術和通信技術的快速發(fā)展數(shù)據(jù)量幾何級增長存儲設備擴容通訊設備更新數(shù)據(jù)壓縮減少數(shù)據(jù)量節(jié)省存儲空間節(jié)省傳輸帶寬……有效解決§8.1數(shù)據(jù)壓縮的基本原理難以支持采用二、數(shù)字媒體在計算機中的表示§8.1數(shù)據(jù)壓縮的基本原理在計算機中，信息是以0和1的模式編碼的，這些數(shù)字稱為位。比特，意思是二進制數(shù)字。其意義取決于計算機正在處理的應用信息表示0和1編碼數(shù)字音頻數(shù)字圖像數(shù)字視頻存儲計算機三、數(shù)字音頻§8.1數(shù)據(jù)壓縮的基本原理數(shù)字音頻是一種利用數(shù)字化手段對聲音進行錄制、存放、編碼、壓縮和傳輸?shù)募夹g。對音頻信息進行編碼最常用的方法是，按照有規(guī)律的時間間隔對聲波的振幅采樣，并記錄所得到的數(shù)值序列。數(shù)字音頻二、數(shù)字媒體在計算機中的表示§8.1數(shù)據(jù)壓縮的基本原理采樣數(shù)模轉換需要每隔一個時間間隔在模擬聲音波形上取一個幅度值，將時域連續(xù)的波形變?yōu)橛邢迋€離散取值的過程量化將采樣后的幅度上無限多個連續(xù)的樣值變?yōu)橛邢迋€離散值的過程編碼量化后的信號還不是數(shù)字信號，需要將它轉換成數(shù)字編碼脈沖，這一過程稱為編碼模擬信號轉換為數(shù)字信號通常需要經(jīng)過采樣、量化、編碼這一系列過程。信號轉化三、數(shù)字音頻§8.1數(shù)據(jù)壓縮的基本原理采樣過程四、數(shù)字音域常用的采樣率§8.1數(shù)據(jù)壓縮的基本原理品質級別采樣頻率/kHz對應頻率范圍/kHz電話80~3.4AM電臺11.0250~5.512FM電臺22.0250~11.050好于FM電臺（標準廣播采樣率）320~16CD44.10~22.05標準DVD，及專業(yè)音頻領域480~24藍光DVD960~48聲卡支持的采樣率1920~96五、數(shù)字圖像§8.1數(shù)據(jù)壓縮的基本原理圖像的一種表示方法是：將圖像看作一個個點組成的集合，每一個點稱為1像素；然后對每像素的顯示進行編碼，整個圖像就表示成了這些編碼像素的集合，這個集合被稱為位圖。位圖中的像素編碼方式隨著應用的不同而不同。數(shù)字圖像六、彩色圖像與黑白圖像對比§8.1數(shù)據(jù)壓縮的基本原理對于簡單的黑白圖像（也叫做灰度圖像），每像素都由一位表示，通常用0表示黑，1表示白。對于一副簡單的黑白圖像在計算機中實際便是一組由0和1組成的矩陣。而對于更加精致的黑白圖像，每像素由一組位（通常是8個）表示，8位可以用三個二進制數(shù)表示，即用三個二進制數(shù)代表從黑到白的8中色度，這使得很多灰色陰影也可以表示出來。黑白圖像六、彩色圖像與黑白圖像對比§8.1數(shù)據(jù)壓縮的基本原理根據(jù)光學三原色理論可知，光學三原色（紅色，綠色和藍色）混合后，可以組成顯示屏任意顯示的顏色。因此，每個彩色圖像都是由這三種顏色的三個通道（紅色，綠色和藍色）組成的。彩色圖像七、數(shù)字視頻§8.1數(shù)據(jù)壓縮的基本原理視頻是一系列運功關聯(lián)的靜態(tài)影像的表現(xiàn)形式，將其連續(xù)播放就可使人眼看見連續(xù)的動態(tài)影像又泛指以電信號的形式對運動關聯(lián)的靜態(tài)影像加以捕捉、記錄、處理、存儲、傳送與重現(xiàn)的一系列技術數(shù)字視頻八、數(shù)字壓縮的意義§8.1數(shù)據(jù)壓縮的基本原理信息處理技術和傳感器設備的迅速發(fā)展，使得圖像的空間分辨率、時間分辨率以及量化深度不斷提高，數(shù)據(jù)量也呈指數(shù)增長。光譜相機除了空間分辨率、量化深度外，譜間分辨率也迅速提高。目前衛(wèi)星上數(shù)據(jù)傳輸能力遠遠不能滿足圖像數(shù)據(jù)的實時傳輸?shù)囊蟆２还軓拇鎯?、傳輸設備的改善速度還是從社會經(jīng)濟成本來考慮，僅僅依賴硬件的提升已經(jīng)很難跟上當前需求。第8章：數(shù)字媒體壓縮技術1數(shù)據(jù)壓縮的基本原理2音頻數(shù)據(jù)的壓縮編碼3數(shù)字圖像的壓縮編碼4數(shù)字視頻的壓縮編碼一、數(shù)字音頻壓縮的基本原理§8.2音頻數(shù)據(jù)的壓縮編碼數(shù)字音頻一般采用雙聲道或多聲道傳輸，如果不經(jīng)過壓縮直接傳輸，會消耗極大的信道帶寬資源，對信號的傳輸和處理都會帶來極大的困難。通常采取去除聲音信號中冗余成分的方法來實現(xiàn)。所謂冗余成分指的是音頻中不能被人耳感知到的信號，它們對確定聲音的音色，音調等信息沒有任何的幫助。冗余信號包含人耳聽覺范圍外的音頻信號以及被掩蔽掉的音頻信號等1.原因及基本原理二、音頻壓縮方法§8.2音頻數(shù)據(jù)的壓縮編碼音頻壓縮方法通常有有損和無損兩種類型。有損壓縮試圖從音頻數(shù)據(jù)中去除感知上不太重要的信息，同時保持音質與原始音頻非常接近，有時無法區(qū)分。無損壓縮本質上保留了原始音頻數(shù)據(jù)中的每一位信息。目前，最先進的無損音頻壓縮算法可以實現(xiàn)大約兩倍的壓縮。有損音頻壓縮由于本身的容量小，易傳輸?shù)奶匦?，主要用于一般音樂消費，例如移動端播放音樂，或使用手機觀看視頻直播。無損音頻壓縮主要用于高保真音頻再現(xiàn)、音頻數(shù)據(jù)庫存檔以及生物醫(yī)學信號壓縮，例如無損心電信號壓縮。音頻壓縮三、無損壓縮§8.2音頻數(shù)據(jù)的壓縮編碼在無損音頻壓縮中，普遍采用的方法是結合使用線性預測和熵編碼。線性預測器首先去除輸入數(shù)據(jù)中的冗余并生成預測殘差，然后由熵編碼器對其進行編碼。無損壓縮三、無損壓縮§8.2音頻數(shù)據(jù)的壓縮編碼輸入音頻樣本首先被分割成固定長度的幀。然后對每一幀執(zhí)行線性預測編碼LPC，部分相關（PARCOR）系數(shù)通過Levinson-Durbin算法計算。預測器三、無損壓縮§8.2音頻數(shù)據(jù)的壓縮編碼在重構中，量化的PARCOR系數(shù)從比特流中提取、解量化并轉換為線性預測系數(shù)，這些系數(shù)與編碼器中使用的系數(shù)相同。重構器三、無損壓縮§8.2音頻數(shù)據(jù)的壓縮編碼熵編碼器是基于算術編碼的。在對每一幀進行編碼時，先對參數(shù)索引進行差分編碼，再進行算術編碼。然后，算術編碼器利用比例概率表對幀中的預測殘差進行編碼。熵編碼器四、有損壓縮§8.2音頻數(shù)據(jù)的壓縮編碼有損壓縮相較于無損壓縮來說，損失了一部分信息，這一部分損失的信息是無法恢復的。有損與無損壓縮編碼框架大致相同首先使用離散余弦變換把空間域表示的圖變換成頻率域表示的圖，然后使用加權函數(shù)對DCT系數(shù)進行量化，這個加權函數(shù)對于人的視覺系統(tǒng)是最佳的，最后使用霍夫曼可變字長編碼器對量化系數(shù)進行編碼。譯碼即解壓縮的過程與壓縮編碼過程正好相反。MP3格式是最常見的有損壓縮方式。有損壓縮五、有損壓縮與無損壓縮比較§8.2音頻數(shù)據(jù)的壓縮編碼顯而易見，對于MP3來說，有損壓縮大部分損失在了高頻部分。其他格式的有損音頻大體類似，只是壓縮算法可能更加高明，不會像MP3格式這樣高頻成分損失嚴重。六、常見音頻壓縮格式§8.2音頻數(shù)據(jù)的壓縮編碼MP3MP3是MPEGAudioLayer3的簡寫，是20世紀90年代開發(fā)成功的一種常用于播放器的有損壓縮編碼格式。CD激光唱盤CD存儲采用音軌的形式，記錄的是波形流，是一種近似無損的格式。WAVWAV是微軟Windows和IBM公司在早期聯(lián)合開發(fā)的一種聲音文件格式，用于保存Windows平臺的音頻信息資源，被Windows平臺及其應用程序所支持。MPEGMPEG是動態(tài)圖像專家組的英文縮寫。這個專家組始建于1988年，專門負責為CD建立視頻和音頻壓縮標準。AIEF音頻交換文件格式是蘋果計算機公司開發(fā)的一種標準聲音文件格式，它屬于Quick-Time技術的一部分。WMAWMA格式是微軟力推的一種數(shù)字音樂格式，音質要強于MP3格式，更遠勝于RA格式。六、常見音頻壓縮格式§8.2音頻數(shù)據(jù)的壓縮編碼MIDI音樂設備數(shù)字接口格式被經(jīng)常玩音樂的人使用，MIDI允許數(shù)字合成器和其他設備交換數(shù)據(jù)。FLACFLAC與MP3相仿，都是音頻壓縮編碼，但FLAC是無損壓縮，也就是說音頻以FLAC編碼壓縮后不會丟失任何信息。APEAPE是流行的數(shù)字音樂文件格式之一。RealAudioRealAudio文件是RealNetworks公司開發(fā)的流媒體格式音頻文件，也稱為網(wǎng)絡音頻格式。AACAAC是由FraunhoferIIS-A、Dolby和AT&T聯(lián)合開發(fā)的一種音頻格式，它是MPEG-2規(guī)范的一部分。第8章：數(shù)字媒體壓縮技術1數(shù)據(jù)壓縮的基本原理2音頻數(shù)據(jù)的壓縮編碼3數(shù)字圖像的壓縮編碼4數(shù)字視頻的壓縮編碼一、數(shù)字圖像壓縮基本原理§8.3數(shù)字圖像的壓縮編碼空間冗余時間冗余編碼冗余結構冗余視覺冗余冗余信息譜間冗余量化冗余冗余信息的存在是壓縮圖像的基礎，而壓縮編碼的過程便是去除圖像各種冗余信息的過程§8.3數(shù)字圖像的壓縮編碼二、圖像壓縮基本過程壓縮過程從原理上講有三個基本環(huán)節(jié)：變換、量化、編碼?！?.3數(shù)字圖像的壓縮編碼二、圖像壓縮基本過程壓縮過程從原理上講有三個基本環(huán)節(jié)：變換、量化、編碼。變換：變換主要是指圖像像素間的相關性不僅僅表現(xiàn)在靜止的位置關系上，研究發(fā)現(xiàn)頻域間也有關系，因此在空域無法解決的問題轉換到頻域就可以得到解決。量化：量化主要應用于從連續(xù)的模擬信號到數(shù)字信號的轉換，其作用是將信號的連續(xù)取值近似為有限多個離散值。編碼：熵編碼的目標是去除信源符號在信息表達上的冗余，也稱為信息熵冗余或者編碼冗余。三、灰度圖像與二值圖像對比§8.3數(shù)字圖像的壓縮編碼圖像分為彩色圖像和灰度圖像兩大類，二值圖像就是只有黑白兩種灰度級的特殊灰度圖像四、二值圖像壓縮§8.3數(shù)字圖像的壓縮編碼只有黑白兩個灰度在統(tǒng)計特性上，由于只有兩種灰度，即只有兩種信源符號，所以只對應兩種信源概率和，且滿足，也就是說信源符號的概率可以只用一種概率來表示圖像數(shù)據(jù)量較小，單像素既可以用其灰度值（例如0和255）來表示，也可以用二進制值（0和1）來表示二值圖像的結構也往往比較簡單，黑、白像素區(qū)域多為連續(xù)分布、劃分明顯二值圖像的特征五、常用的二值圖像編碼§8.3數(shù)字圖像的壓縮編碼游程長度編碼跳白塊編碼方塊編碼識別編碼邊界編碼二值圖像編碼五、常用的二值圖像編碼§8.3數(shù)字圖像的壓縮編碼游程長度編碼（Run-lengthCoding，RLC）的基本思想，是將具有相同數(shù)值、連續(xù)出現(xiàn)的信源符號構成的符號串用其數(shù)值及串的長度表示。游程長度編碼五、常用的二值圖像編碼§8.3數(shù)字圖像的壓縮編碼跳白塊編碼是利用二值圖像含有大量白色區(qū)域這一特點而提出的編碼方法。編碼方法是將圖像每行分成若干子塊，每塊包括N像素。如果某塊全部是白色，則該塊用1比特字“0”表示；否則，如果某塊至少包含一個黑色像素，則該塊用N+1個比特表示：前綴碼“1”加該塊的直接編碼（白色為“0”，黑色為“1”）。跳白塊編碼五、常用的二值圖像編碼§8.3數(shù)字圖像的壓縮編碼方塊編碼，就是把整個圖像分成等大小的子塊，然后按每塊內像素的不同排列所出現(xiàn)的概率分配不同長度的碼字，概率高的分配短碼字，不常出現(xiàn)的分配長碼，使平均碼長達到最短。方塊編碼六、圖像壓縮編碼技術§8.3數(shù)字圖像的壓縮編碼預測編碼是根據(jù)圖像和視頻數(shù)據(jù)在局域空間和時間內的強相關性，利用與當前像素相關性強的近鄰像素值來預測當前像素值，然后對當前像素值和預測值的差進行量化和編碼。1、預測編碼六、圖像壓縮編碼技術§8.3數(shù)字圖像的壓縮編碼熵編碼是根據(jù)圖像數(shù)據(jù)出現(xiàn)概率分布特征進行編碼。它把表示圖像像素的序列符號轉變?yōu)橐粋€壓縮的比特流進行傳輸和存儲。根本思想是出現(xiàn)概率大的像素值利用短碼來表示，而出現(xiàn)概率小的像素值采用長碼來表示。理論證明根據(jù)概率不同分配不同長度的碼字，輸出碼字的平均碼長最短，接近信源的熵。2、熵編碼六、圖像壓縮編碼技術§8.3數(shù)字圖像的壓縮編碼變換編碼由H.Andrews等學者于1968年提出，它通過對圖像進行某種函數(shù)變換，把圖像從一個表示空間變換到另一個表示空間，然后通過量化消除能量特別小且人眼不十分敏感的高頻分量，最后進行熵編碼達到壓縮的目的。3、變換編碼七、圖像常見的壓縮格式§8.3數(shù)字圖像的壓縮編碼GIFGIF采用的是Lempel-Zev-Welch壓縮算法，最高支持256種顏色。JPEGJPEG是用于連續(xù)色調靜態(tài)圖像壓縮的一種標準，文件后綴名為.jpg或.jpeg，它是最常用的圖像文件格式。JPEG格式可分為標準JPEG、漸進式JPEG及JPEG2000三種格式。PNGPNG是一種采用無損壓縮算法的位圖格式，其設計目的是試圖替代GIF和標簽圖像文件格式，同時增加一些GIF文件格式所不具備的特性。TIFFTIFF是一種靈活的位圖格式，主要用來存儲包括照片和藝術圖在內的圖像BMP它是Windows操作系統(tǒng)中的標準圖像文件格式，能夠被多種Windows應用程序所支持。第8章：數(shù)字媒體壓縮技術1數(shù)據(jù)壓縮的基本原理2音頻數(shù)據(jù)的壓縮編碼3數(shù)字圖像的壓縮編碼4數(shù)字視頻的壓縮編碼一、視頻壓縮基本原理§8.4數(shù)字視頻的壓縮編碼視頻是連續(xù)的圖像序列，由連續(xù)的幀構成，一幀即為一幅圖像。視頻壓縮技術是計算機處理視頻的前提。視頻圖像的分辨率越來越高，傳輸未壓縮的數(shù)字視頻所需要的數(shù)據(jù)量非常大，這些大數(shù)據(jù)的視頻圖像通常也難以存儲，而且信道存在帶寬的限制也讓直接傳輸視頻圖像顯得不現(xiàn)實，因而為了傳輸和存儲視頻圖像，對視頻圖像的壓縮便顯得尤為重要?；驹矶?、幀間預測§8.4數(shù)字視頻的壓縮編碼幀間預測的目的是去除視頻的時域冗余，在一個視頻序列中，時間上相鄰的兩幀圖像往往具有很高的相似性，所以一般會選擇時域上相鄰幀的已編碼單元對當前編碼單元進行預測。運動估計以及運動補償是幀間預測的兩個重要組成部分。幀間預測三、匹配準則§8.4數(shù)字視頻的壓縮編碼在運動估計中，會使用全搜索算法、TZSearch算法等方法在相鄰幀中進行運動搜索，利用塊匹配法則在相鄰幀中找到最佳匹配塊，最小均方誤差（MeanSquareError，MSE）和絕對誤差和（SumofAbsoluteDifferences，SAD）是最常使用的匹配準則。匹配準則四、幀間預測編碼§8.4數(shù)字視頻的壓縮編碼五、編碼標準的發(fā)展歷程§8.4數(shù)字視頻的壓縮編碼六、MPEG-X系列標準§8.4數(shù)字視頻的壓縮編碼MPEG-1是ISO/IECMPEG工作組研發(fā)的第一個視頻編碼標準。MPEG-2視頻編碼標準通常被認為是一個ISO標準。MPEG-4使用了視頻編碼標準H.263的算法作為起點，以便于MPEG-4的編解碼器能夠兼容任何由H.263編解碼而來的視頻圖像比特流，但同時MPEG-4開發(fā)了一些可以提高壓縮效率的其他附加功能。六、MPEG-1視頻編碼層次結構§8.4數(shù)字視頻的壓縮編碼七、H.26x系列標準§8.4數(shù)字視頻的壓縮編碼H.261標準是第一個主流的視頻編碼標準。H.262是VCEG和MPEG合作制定的第一個視頻編碼標準。H.263是在H.261成功之后制定的又一新的標準，它使用了與MPEG-2類似的基本信源編碼方法，包括幀內、幀間和跳過編碼模式。H.264/AVC是ITU-T的VCEG和ISO/IEC的MPEG共同組織成立聯(lián)合視頻組最后一次合作項目，也是目前最為成功的一個視頻編碼標準。H.265是由ITU-T與ISO/IEC組建的JCT-VC研究組于2010年著手研究的視頻編碼標準，名稱為高效視頻編碼（HighEfficiencyVideoCoding，HEVC）。七、H.261視頻編碼層次結構§8.4數(shù)字視頻的壓縮編碼八、國際音