運(yùn)動圖像壓縮標(biāo)準(zhǔn)MPEG課件

1、多媒體技術(shù)基礎(chǔ)與應(yīng)用10.1 從MPEG1到MPEG7：MPEG標(biāo)準(zhǔn)簡述10.2 MPEG的編碼與實現(xiàn)過程10.3 基于對象編碼技術(shù)的MPEG-410.4 基于內(nèi)容的信息存取與MPEG-710.5 H.261與H.263多媒體技術(shù)基礎(chǔ)與應(yīng)用10.1.1 視頻壓縮技術(shù)歷史概述 視頻能夠壓縮的根本原因在于視頻數(shù)據(jù)具有較高的冗余度。壓縮就是指冗余的消除，主要基于兩種技術(shù)：統(tǒng)計學(xué)和心理 視覺。消除統(tǒng)計冗余的基本依據(jù)是視頻數(shù)字化過程在時間和 空間上采用了規(guī)則的采樣過程。視頻畫面數(shù)字化為規(guī)則的像 素陣列，其密集程度適于表征每點(diǎn)最高的空間頻率，而絕大 多數(shù)畫面幀包含非常少甚至不含這種最高頻率的細(xì)節(jié)。 多媒體

2、技術(shù)基礎(chǔ)與應(yīng)用10.1.2 MPEG-1 MPEG-1標(biāo)準(zhǔn) 1992年公布，其任務(wù)是在一種可接受的質(zhì)量下，把視頻和伴音信號壓縮到速率大約為1.5Mb/s或更高的單一的MPEG數(shù)據(jù)流。它可對SIF（標(biāo)準(zhǔn)交換格式）分辨率(NTSC制式為352240；PAL制式為352288)的圖像進(jìn)行壓縮，每秒播放30幀，具有CD音質(zhì)，圖像質(zhì)量基本與VHS家用錄像機(jī)相當(dāng)。 10.1.3 MPEG-2 它是一個直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。MPEG2所能提供的傳輸率在310Mbit/s之間，在NTSC制式下的分辨率可達(dá)720486，可提供廣播級的圖像質(zhì)量和CD級的音質(zhì)。MPEG-2主要針對高清晰

3、度電視(HDTV)所需要的視頻及伴音信號，與MPEG-1兼容。 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.1.4 MPEG-4 MPEG-4旨在為視音頻數(shù)據(jù)的通信、存取與管理提供一個靈活的框架與一套開放的編碼工具。這些工具將支持大量的應(yīng)用功能(新的和傳統(tǒng)的)。 10.1.5 MPEG-7 MPEG-7既不同于基于波形壓縮的表示方式如MPEG-1和MPEG-2,又不同于基于對象的表示方式如MPEG-4，而是將對各種不同類型的多媒體信息進(jìn)行標(biāo)準(zhǔn)化描述，并將該描述與所描述的內(nèi)容相聯(lián)系，以實現(xiàn)快速有效的搜索。MPEG-7的功能與其他MPEG標(biāo)準(zhǔn)互為補(bǔ)充。多媒體技術(shù)基礎(chǔ)與應(yīng)用 MPEG的數(shù)據(jù)分為MPEG視頻、MPEG音

4、頻和同步信號三個部分，視頻流包含畫面信息，音頻流包含伴音信息，所有播放MPEG圖像和伴音數(shù)據(jù)所需的時鐘信息都包含在同步信號流中。 圖10-1 MPEG的組成 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.1 MPEG編碼的基本思想 MPEG數(shù)字視頻編碼技術(shù)實質(zhì)上是一種統(tǒng)計方法。在時間和空間方向上，視頻序列通常包含統(tǒng)計冗余度。MPEG壓縮技術(shù)所依賴的基本統(tǒng)計特性為幀內(nèi)與幀間的相關(guān)性，這里包含這樣 一個設(shè)想：即在各連續(xù)幀之間存在簡單的相關(guān)性平移運(yùn)動。 圖10-2 連續(xù)視頻畫面之間通常存在著較大的相關(guān)性 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.2 MPEG的流結(jié)構(gòu) MPEG為更好地表示編碼數(shù)據(jù)，規(guī)定了一個分層的結(jié)構(gòu)，自上到下

5、分別是 ： MPEG流（MPEG stream） 圖像組（GOP，Group of Pictures） 圖像（Image） 宏塊（Macro block） 塊（Block）多媒體技術(shù)基礎(chǔ)與應(yīng)用圖10-3 MPEG流的分層結(jié)構(gòu) 多媒體技術(shù)基礎(chǔ)與應(yīng)用 MPEG流（MPEG stream）包含音頻流和視頻流。視頻流是由圖像組（GOP）構(gòu)成的圖像序列，有表示開始的圖像序列頭和表示結(jié)束的圖像終止碼。 圖像組（GOP）是為方便隨機(jī)存取而加的，其結(jié)構(gòu)和長度均可變。圖像組是隨機(jī)存取視頻單位。一個GOP由一串IBP幀組成，起始為I幀。GOP的長度是一個I幀到下一個I 幀的間隔。 圖像(Image)是獨(dú)立的顯示單

6、位，也是基本編碼單位。 宏塊（Macro block）是進(jìn)行運(yùn)動補(bǔ)償?shù)幕締挝弧Ｓ梢粋€1616像素的亮度信息和兩個88像素的色度信息組成的塊稱為宏塊。 塊（Block）是由88像素組成的基本單位，是進(jìn)行DCT運(yùn)算的單位，塊可分為亮度塊或色度塊(圖10-4)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用圖10-4 塊可分為亮度塊或色度塊 圖10-5 宏塊是進(jìn)行運(yùn)動補(bǔ)償?shù)幕締挝?多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.3 信號的采樣 在進(jìn)行視頻編碼前， R、G、B信號需變換為亮度信號Y和色差信號Cb、Cr的形式（圖10-6）。色差定義了顏色的兩個方面色調(diào)與飽和度，分別用Cr和Cb來表示。 圖10-6 在編碼前，RGB信號分解成

7、Y，Cr和Cb信號分量 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.4 MPEG圖像的類型 MPEG由三種類型的圖像組成（如下圖）： I圖（幀內(nèi)圖Intra Picture）是對整幅圖像采用JPEG編碼的圖像，它是一個獨(dú)立的幀，其信息由自身畫面決定，不需要參照其他畫面而產(chǎn)生，它是P圖和B圖的參考圖。 P圖（前向預(yù)測幀Predicted Picture）,它參照前一幅I或P圖像做運(yùn)動補(bǔ)償編碼。 B圖像(雙向預(yù)測 Bidirectional Prediction)，它參照前一幅和后一幅I或P圖像做雙向運(yùn)動補(bǔ)償編碼。多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.5 MPEG的幀序列 一個典型的MPEG幀序列 圖10-8 一個典型

8、的MPEG幀序列 多媒體技術(shù)基礎(chǔ)與應(yīng)用 一個MPEG在解碼播放時的實際幀序列 圖10-9 MPEG在解碼播放時的實際幀序列多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.6 運(yùn)動預(yù)測與補(bǔ)償 運(yùn)動補(bǔ)償算法是當(dāng)前視頻圖像壓縮技術(shù)中使用最普遍的方法之一。運(yùn)動補(bǔ)償工作于宏塊一級，主要是消除預(yù)測圖與插補(bǔ)圖在時間上的冗余，以提高壓縮比。運(yùn)動補(bǔ)償是一種預(yù)測，它不是對每個像素預(yù)測，而是以1616的圖像宏塊為單位的預(yù)測。 圖10-10 運(yùn)動補(bǔ)償?shù)睦?多媒體技術(shù)基礎(chǔ)與應(yīng)用10.2.7 運(yùn)動補(bǔ)償編碼器的結(jié)構(gòu) 運(yùn)動補(bǔ)償預(yù)測編碼器的結(jié)構(gòu)如下圖所示。圖中應(yīng)用了延遲時間可變的預(yù)測存儲器。該存儲器有一個幀的容量，一幀前的圖像被存儲起來。可以

9、通過以宏塊為單位，檢測出畫面中的運(yùn)動部分。 圖10-11 運(yùn)動補(bǔ)償預(yù)測編碼器的結(jié)構(gòu)示例多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.1 傳統(tǒng)MPEG編碼技術(shù)的局限 在傳統(tǒng)的視頻壓縮中，以一連串的影像(image)為壓縮對象，也就是對于一整張畫面(幀frame)做數(shù)據(jù)壓縮。如此會將整張畫面不重要的部分（如單調(diào)的背景）也一起壓縮進(jìn)去而占有一定程度的數(shù)據(jù)量。另外，將圖像固定地分成相同大小的塊，在高壓縮比的情況下會出現(xiàn)嚴(yán)重的塊效應(yīng)，即馬賽克效應(yīng)。 未能考慮信息獲取者的主觀意義與人類視覺系統(tǒng)（HVS，Human Visual System）主觀特性，未能考慮事件本身的特性如具體含義、重要性以及后果等等，不能對圖像內(nèi)容進(jìn)

10、行訪問、編輯和回放等工作； 缺乏一套有系統(tǒng)與有效率的標(biāo)準(zhǔn)。多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.2 何謂對象編碼 基于對象編碼，是指依賴于對視頻場景中任意形狀對象檢測的編碼機(jī)制。MPEG-4是目前基于對象編碼機(jī)制，是對運(yùn)動圖像和伴音編碼的算法。 圖10-12 基于對象編碼技術(shù)的場景示例 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.3 MPEG-4核心編碼技術(shù)-AV對象 AV對象是MPEG-4為支持基于內(nèi)容編碼而提出的重要概念。對象是指在一個場景中能夠訪問和操縱的實體，對象的劃分可根據(jù)其獨(dú)特的紋理、運(yùn)動、形狀、模型和高層語義為依據(jù)。 MPEG-4對AV對象的操作主要有： 1采用AV對象來表示聽覺、視覺或者視聽組合內(nèi)容

11、。 2允許組合已有的AV對象來生成復(fù)合的AV對象，并由此生成AV場景。 3允許對AV對象的數(shù)據(jù)靈活地多路合成與同步，以便選擇合適的網(wǎng)絡(luò)來傳輸這些AV對象數(shù)據(jù)。 4允許接收端的用戶在AV場景中對AV對象進(jìn)行交互操作。 5MPEG-4支持AV對象知識產(chǎn)權(quán)與保護(hù)。多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.4 基于場景的對象分割與編碼技術(shù) MPEG-4實現(xiàn)基于內(nèi)容交互的首要任務(wù)就是把視頻/圖像分割成不同對象或者把運(yùn)動對象從背景中分離出來，然后針對不同對象采用相應(yīng)編碼方法，以實現(xiàn)高效壓縮。 MPEG-4的編碼理念是：在編碼時將一幅景物分成若干在時間和空間上相互聯(lián)系的視頻音頻對象，分別編碼后，再經(jīng)過復(fù)用傳輸?shù)浇邮斩耍?/p>

12、然后再對不同的對象分別解碼，從而組合成所需要的視頻和音頻,其過程如圖所示。 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.5視頻對象平面-VOP 我們根據(jù)人眼感興趣的一些特性如形 狀、運(yùn)動、紋理等，將圖像序列中每一幀中的場景，看成是由不同視頻對象平面VOP (Video Object Plane)所組成，而同一對象連續(xù)的VOP稱為視頻對象VO。 VOP是視頻場景的語法對象，除輪廓信息外，主要由亮度和,色度分量（Y,U,V）組成。VOP可以是任意形狀，可由半自動分割來檢測。圖10-14 為實現(xiàn)基于內(nèi)容交互，人物由簡單到復(fù)雜的輪廓物征提取 多媒體技術(shù)基礎(chǔ)與應(yīng)用 視頻對象平面（VOP，Video Object Pl

13、ane）是視頻對象（VO）在某一時刻的采樣，VOP是MPEG-4視頻編碼的核心概念。 圖10-15 VOP視頻編碼技術(shù) 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.3.6 運(yùn)動估計與運(yùn)動補(bǔ)償技術(shù) MPEG-4采用運(yùn)動預(yù)測和運(yùn)動補(bǔ)償技術(shù)來去除圖像信息中的時間冗余成分，而這些運(yùn)動信息的編碼技術(shù)可視為現(xiàn)有標(biāo)準(zhǔn)向任意形狀的VOP的延伸。VOP的編碼有3種模式，即幀內(nèi)(Intra-frame) 編碼模式(I-VOP)，幀間(Inter-frame)預(yù)測編碼模式(P-VOP)，幀間雙向 (Bidirectionally)預(yù)測編碼模式(B-VOP) 。 圖10-16 MPEG-4的運(yùn)動預(yù)測和運(yùn)動補(bǔ)償技術(shù)多媒體技術(shù)基礎(chǔ)與應(yīng)用1

14、0.4.1 MPEG-7概述 MPEG-7 的產(chǎn)生是為了解決上述問題，其重點(diǎn)在于影音內(nèi)容的描述和定義，以有彈性、具延伸性、多層次及明確的數(shù)據(jù)結(jié)構(gòu)和語法來定義影音數(shù)據(jù)的內(nèi)容，經(jīng)由 MPEG-7 的定義格式，使用者可以有效率地搜尋、過濾和定義想要的影音數(shù)據(jù)。10.4.2 MPEG-7:基于信息內(nèi)容的搜索引擎 MPEG-7是屬于信息方面的檢索和搜尋，而所謂信息，則可以是影像或音樂；換句話說，MPEG-7在本質(zhì)上來說就是我們常常在網(wǎng)上使用的搜索引擎，只不過它提供的是多媒體的信息查詢服務(wù)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.4.3 MPEG-7中的主要概念 數(shù)據(jù)(Data) 是用MPEG-7描述的視聽資料，不考

15、慮它們的存儲、編碼、顯示、傳輸、媒介或技術(shù)。 特征(Feature) 指數(shù)據(jù)的特性。特征本身不能比較，而要用有意義的特征表示(描述子)和它的實例(描述值)。 描述子(Descriptor，D) 是特征的表示。它定義特征表示的句法和語義，可以賦予描述值。 描述值(Descriptor Value) 是描述子的實例。 描述模式(Description Scheme，DS) 說明其成員之間的關(guān)系結(jié)構(gòu)和語義。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 描述(Description) 一個描述由一個描述模式(結(jié)構(gòu))和一組描述值組成。 編碼的描述(Coded Description) 是對已完成編碼的描述，滿足諸如壓縮效率、

16、差錯恢復(fù)和隨機(jī)存取的相關(guān)要求。 描述定義語言(Description Definition Language，DDL) 是一種允許產(chǎn)生新的描述模式和描述子的語言，允許擴(kuò)展和修改現(xiàn)有的描述機(jī)制。 多媒體技術(shù)基礎(chǔ)與應(yīng)用圖10-18 MPEG-7應(yīng)用的表示 多媒體技術(shù)基礎(chǔ)與應(yīng)用10.4.4 MPEG-7的范圍 MPEG-7是針對存儲形式(在線、脫機(jī))或流形式(如 Internet上的廣播、推拉模型)的應(yīng)用而制定的，并且可以在實時和非實時環(huán)境中操作。一個實時環(huán)境意味著當(dāng)采集資料時，信息是與內(nèi)容相關(guān)的。 下 圖是MPEG-7處理過程的一種高度抽象示意圖，用于解釋MPEG-7的范圍。它包括特征抽取(分析)、描述本身和搜索引擎(應(yīng)用)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 H.261視頻編碼標(biāo)準(zhǔn)