動態(tài)圖像壓縮標準

1、動態(tài)圖像壓縮標準動態(tài)圖像壓縮標準2MPEG概述概述 MPEG(Moving/Motion Picture Expert Group)是活動圖像專家組，負責開發(fā)電視圖像數(shù)據(jù)和聲音數(shù)據(jù)的編碼、解碼和它們的同步等標準。 已經(jīng)開發(fā)和正在開發(fā)的MPEG標準有： MPEG-1：數(shù)字電視標準，1992年正式發(fā)布。 MPEG-2：數(shù)字電視標準。 MPEG-3：已于1992年7月合并到HDTV工作組。 MPEG-4：多媒體應用標準(1999年發(fā)布)。 MPEG-5：尚未見到定義。 MPEG-6：尚未見到定義。 MPEG-7：多媒體內容描述接口標準(正在研究)。3MPEG標準內容標準內容 MPEG-1 MPEG-

2、1是針對當時具有這種數(shù)據(jù)傳輸率的CD-ROM和網(wǎng)絡而開發(fā)的，用于在CD-ROM上存儲數(shù)字影視和在網(wǎng)絡上傳輸數(shù)字影視。 MPEG-1全稱為“信息技術用于數(shù)據(jù)速率高達大約1.5 Mbit/s的數(shù)字存儲媒體的電視圖像和伴音編碼”，由五個部分組成：4MPEG標準內容標準內容 MPEG-1 Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關數(shù)據(jù)的同步 MPEG-1 Video, 規(guī)定電視數(shù)據(jù)的編碼和解碼， MPEG-1 Audio, 規(guī)定聲音數(shù)據(jù)的編碼和解碼， MPEG-1 Conformance testing，說明如何測試比特數(shù)據(jù)流和解碼器是否滿足MPEG-1前3個部分(Part1，2和3)中所規(guī)

3、定的要求。 MPEG-1 Software simulation，給出了用軟件執(zhí)行MPEG-1標準前3個部分的結果。5MPEG-2 MPEG-2 MPEG-2標準是一個直接與數(shù)字電視廣播有關的高質量圖像和聲音編碼標準。標準名稱為“信息技術電視圖像和伴音信息的通用編碼。MPEG-2包含9個部分： MPEG-2 Systems，規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關數(shù)據(jù)的同步 MPEG-2 Video，規(guī)定電視數(shù)據(jù)的編碼和解碼 MPEG-2 Audio，規(guī)定聲音數(shù)據(jù)的編碼和解碼6MPEG-2MPEG-2 Conformance testingMPEG-2 Software simulationMPE

4、G-2 Extensions for DSM-CC，數(shù)字存儲媒體命令和控制擴展協(xié)議MPEG-2 AAC，是多聲道聲音編碼算法標準MPEG-2 Extension for real time interface for systems decoders，系統(tǒng)解碼器實時接口擴展標準 MPEG-2 DSM-CC，一致性擴展測試7MPEG-4 MPEG-4MPEG-4是為視聽(audio-visual)數(shù)據(jù)的編碼和交互播放開發(fā)算法和工具，是一個數(shù)據(jù)速率很低的多媒體通信標準。MPEG-4的目標是要在異構網(wǎng)絡環(huán)境下能夠高度可靠地工作，并且具有很強的交互功能。MPEG-4將應用在移動通信和公用電話交換網(wǎng)PS

5、TN上，并支持可視電話、電視郵件、電子報紙和其他低數(shù)據(jù)傳輸速率場合下的應用。8MPEG-4 MPEG-4文件有6個部分，它們是： MPEG-4 Systems 系統(tǒng)標準 MPEG-4 Video 電視圖像標準 MPEG-4 Audio 聲音標準 MPEG-4 Conformance Testing 一致性測試標準 MPEG-4 Reference software 參考軟件 MPEG-4 Delivery Multimedia Integration Framework (DMIF) 傳輸多媒體集成框架9MPEG-7MPEG-7MPEG-7的工作于1996年啟動，叫做多媒體內容描述接口(Mul

6、timedia Content Description Interface)，MPEG-7的目的是制定一套描述符標準，用來描述各種類型的多媒體信息及它們之間的關系，以便更快更有效地檢索信息。MPEG-7涉及的媒體材料可包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的組合關系。10MPEG-7 MPEG-7的應用領域包括：n 數(shù)字圖書館(Digital library)，例如圖像目錄、音樂詞典等；n 多媒體目錄服務(multimedia directory services)，例如黃頁(yellow pages)；n 廣播媒體的選擇，例如無線電頻道，TV頻道等；n 多媒

7、體編輯，例如個人電子新聞服務，多媒體創(chuàng)作等等n 潛在應用的應用領域包括：教育、娛樂、新聞、旅游、醫(yī)療、購物等等。11MPEG數(shù)據(jù)流的分層結構數(shù)據(jù)流的分層結構(1)運動圖像序列：包含一個表頭(定義了圖像寬、高、像素長寬比、幀速率、位速率、緩沖區(qū)尺寸等重要參數(shù))，一組或多組圖像和序列結束標志；(2)圖片組：由一系列圖像組成，可以從運動序列中隨機存??；(3)圖像：由一個亮度信號和兩個色度信號組成；(4)塊：由一個8X8的亮度信息或色度信息組成；(5)宏塊：由一個16X16的亮度信息和兩個8X8的色度信息構成；(6)圖像切片：由一個或多個連續(xù)的宏塊構成。12MPEG數(shù)據(jù)流的分層結構數(shù)據(jù)流的分層結構13

8、MPEG視頻壓縮算法的基本思路視頻壓縮算法的基本思路冗余及解決方法(1)時間冗余：各幀圖像在時間方向上的相關性；(2)空間冗余：像素間的相關性解決方法：n 用幀間預測和運動補償解決時間冗余n 用變換編碼和預測編碼解決空間冗余MPEG算法面臨的問題：n 在保證畫面質量前提下每幀單獨編碼，不能保證高壓縮比；n 為了滿足隨機訪問有最好方法是每幀單獨編碼；14MPEG視頻壓縮算法的基本思路視頻壓縮算法的基本思路 解決辦法：n 使用3種畫面：內幀I、預測幀P和內插幀Bn 內幀單獨編碼，經(jīng)過中度壓縮，可以作為隨機訪問點；n 預測幀以參考幀(I或P)為基礎編碼，又作為后面預測幀的參考幀；n 內插幀以前后兩個

9、參考幀為基礎編碼，本身不能作為參考幀。內插幀的壓縮率最高。15MPEG視頻壓縮算法的基本思路視頻壓縮算法的基本思路16三種幀的壓縮算法1、內幀圖像 I 的壓縮算法 幀內圖像I不參照任何過去的或者將來的其他圖像幀，壓縮編碼采用類似JPEG壓縮算法； 如果電視圖像是用RGB空間表示的，則首先把它轉換成YCrCb空間表示的圖像。2、預測幀圖像 P 的壓縮算法 編碼單位： 16X16的圖像宏塊3、內插幀B的壓縮算法 采用雙向預測，方法和P圖像類似 ，17電視圖像的結構 MPEG編碼器算法允許選擇I圖像、P圖像和B圖像數(shù)目。例如，對于快速運動的圖像，I圖像的頻率可以選擇高一些，B圖像的數(shù)目可以選擇少一點

10、；對于慢速運動的圖像，幀內圖像I的頻率可以低一些，而B圖像的數(shù)目可以選擇多一點。在實際應用中還要考慮媒體的速率。 MPEG三種圖像的壓縮后的典型值(比特) ，可以看到，I幀圖像的數(shù)據(jù)量最大，而B幀圖像的數(shù)據(jù)量最小。18電視圖像的結構19H.261和H.263標準H.261n 由 CCITT于1990年制定，是國際上第一個視頻壓縮標準，應用領域為：電視電話和會議電視n H.261的全稱：視聽業(yè)務速率為Px64Kb/s的視頻編譯碼n P=1，2時僅支持四分之一通用交換格式(QCIF)的視頻格式(176x144)，用于幀速低的可視電話；n P=6時可支持通用交換格式CIF的視頻格式(352x288)

11、的會議電視。n 壓縮算法的核心：運動估值預測和DCT編碼n 貢獻：除自身的應用領域外，視頻數(shù)據(jù)格式、運動估算與補償、DCT變換、量化和熵編碼等技術被后來的MPEG-1和MPEG-2所借鑒和采用。20H.261和H.263標準H.263n 1995年制定，適用于PSTN(Public Switch Telephone Network，公共交換電話網(wǎng))n 目的：能在現(xiàn)有的電話網(wǎng)上傳輸活動圖像，能夠基于電話線路(PSTN)實現(xiàn)可視電話和視頻會議系統(tǒng)，已成為一般的低比特率視頻編碼標準n 基本算法：幀間預測和DCT混合編碼n 4種可協(xié)商選擇的編碼方法：無限制范圍的運動矢量、基于語法的算法編碼方法、高級預

12、測和PB幀n 兩種編碼模式：幀內編碼和幀間編碼n 進一步發(fā)展：H.263+(H.263版本2)，增加了12種新的協(xié)商模式和附加特性，以擴大協(xié)議的應用范圍，提高重建圖像的主觀質量以及加強對編碼比特率的控制。H.264中運動估計算法的研究22主要內容： 背景 H.264 層次搜索算法 自適應搜索算法23背景介紹誰是繼承者？ MPEG2老了 誰是繼承者？24背景介紹H.26L橫空出世25背景介紹來龍去脈 H.26LITU-T Q.6/SG16 (VCEG - Video Coding Experts Group)的新寵，H.264的前身 2001 11：VCEG和 MPEG聯(lián)合組建Joint Vid

13、eo Team (JVT)，共同制定H.26L標準 2002 10：完成標準草案 預計2003 標準最終在兩個組織獲得通過 H.264是該標準ITU-T的官方名稱，MPEG方面稱它為MPEG4-Part 1026H.264基于塊的混合編碼方式27運動估計的原理28H.264中運動估計 更為精細的塊尺寸4x4，4x8，8x4，8x88x16，16x8，16x16 像素精度的運動矢量6階FIR濾波器插值1/2像素點雙線性插值1/4像素點線性插值1/8色度像素點 多參考幀周期運動鏡頭、場景的來回切換29多種多樣的塊尺寸30多種多樣的塊尺寸31像素精度的運動矢量亮度像素點的插值1/8色度像素點的插值亮

14、度像素點的插值32多參考幀33H.264的性能27282930313233343536373839050100150200250Bit-rate kbit/sForeman QCIF 10HzQualityY-PSNR dBMPEG-2H.263MPEG-4JVT/H.264/AVC34H.264 Codec設計復雜度 相對MPEG-2 ，解碼復雜度增加 2-3倍，編碼復雜度增加 3-4倍 問題:宏塊分得更細（更多的搜索）預測模式更多（更多的搜索）多參考幀的運動估計（更多的內存，更多的計算）更長的濾波器35編碼器的硬件實現(xiàn)方案ASICPixel DataHost API27MHzBit Str

15、eam36編碼器的硬件實現(xiàn)方案DSPMEIntra Pred.MemoryControlInternalMemoryDDR SDRAMMemoryXilinx FPGATMS320DM642PixelIntf.MCReconstTransformQInverse TIQEntropyCodingControllerDe-blkFilterInternalMemoryPixel DataBUFBit Stream37編碼器的硬件實現(xiàn)方案FPGAPixelIntf.MEIntra Pred.MCReconst.MemoryCtrl.DDR SDRAMControllerInternalMemory

16、Pixel DataFIFOsSRAMsTransformQInverseTransformIQDe-blockingFilterEntropyCodingOutputCtrl.InternalMemoryBUFBit Stream38我們的問題 性能，成本和計算復雜度 選擇DSP方案 運動估計計算量無法承受 需要一種快速高效的搜索算法39層次搜索算法 思想通過下采樣，將圖像分辨率降低，先在低分辨的圖像上作窮盡搜索，得到最優(yōu)點X。然后，回到原圖像，在X的鄰域內作進一步的搜索，可以得到局部最優(yōu)XL。40層次搜索算法舉例 以下采樣2倍為例，設搜索范圍是正負48，當前編碼塊的大小是16x16，則原來

17、要搜索9409個點，每個點的計算量是256次減法，255次加法，1次比較，2倍下采樣之后，搜索點數(shù)下降1/4，為2401，每個點的計算量是64次減法，63次加法，1次比較，總的計算量只有原來的1/16。白點為下采樣后剩下的像素，灰色點是被忽略的點。在得到最優(yōu)點X之后，對鄰近的8個點（黑點）作進一步的比較，取其最小者作為匹配位置。 41層次搜索算法實現(xiàn) 由（spiral_search_xk，spiral_search_yk）構成了一個可由k索引的點，隨著k的增加，這個點沿著原點作類似于螺旋狀的運動。0，1，2數(shù)字即為k，數(shù)字所在的位置即為點的位置。 有了這樣一個數(shù)組之后，下采樣意味著調整步長，下

18、采樣2倍，只要加倍步長就可以了。鄰域搜索也就輕而易舉了。 42層次搜索算法性能1以dec作為輸入視頻文件計算平均值層次搜索算法有5%左右比特率的增加但是編碼時間卻有50%60%的減少 43層次搜索算法性能2以dec作為輸入視頻文件SNR相差不超過0.1dB窮盡搜索算法有5%左右比特率優(yōu)勢但是編碼時間卻是以級數(shù)增長 44層次搜索算法性能3以sign_irene作為輸入視頻文件觀察每一幀性能變化。性能差異不是十分明顯。 45層次搜索算法結論 適宜硬件以流水線方式實現(xiàn) 適合大屏幕，高分辨率的情況 圖像質量不受影響，比特率增加5%左右，編碼時間大約減少60% 系統(tǒng)帶寬較為寬裕，瓶頸落在計算能力上，層次搜索算法是一種不錯的選擇 46自適應搜索算法 啟發(fā)對于窮盡算法，搜索范圍并非越大越好的，如dec，在搜索范圍取16時，已經(jīng)達到了較佳的性能，再增加范圍，就是浪費了；在sign_Irene和tempete中，也有類似情況。對于層次算法，將會有一個最佳的搜索范圍，再增加反而會使性能惡化，因為大的搜索范圍會增加出錯的概率。 如何尋找最佳？47自適應搜索算法 思想假設運動矢量的預測十分準確，則，只要小范圍搜索就可以了。當有運動物體突變，或鏡頭切換等情況時（預測失效），