第10章彩色數(shù)字電視基礎(chǔ)補充葛

第10章彩色數(shù)字電視基礎(chǔ)

（視頻和視頻編碼）本章節(jié)參考北京大學人機交互與媒體實驗室的陳毅松老師講義，在此表示深深的謝意。葛慶平03年4月2023/2/11.視頻基本知識1.1什么是視頻（video）1.2視頻信號的時空特性1.3視頻信號的彩色空間1.4彩色電視信號的類型2023/2/1

1.1什么是視頻視頻(video)：隨時間變化其內(nèi)容的一組圖象(24,25,30幀/秒)，又叫運動圖象或活動圖象(motionpicture)。常見視頻信號：電視，電影，動畫等.視頻信號的特點：內(nèi)容隨時間而變化,伴隨有與畫面動作同步的聲音(伴音),人類接受的信息70%來自視覺,其中活動圖象是信息量最豐富、直觀、生動、具體的一種承載信息的媒體。視頻信息的處理是多媒體技術(shù)的核心。電視電視是當代最有影響力的信息傳播工具!3種彩色電視制式:NTSC制(正交平衡調(diào)幅制),美國、加拿大，臺灣、日本、韓國、菲律賓等采用PAL制(逐行倒相正交平衡調(diào)幅制),德國、英國，中國、朝鮮等采用SECAM制(順序傳送彩色與存儲制),法國、蘇聯(lián)及東歐國家采用.2023/2/1電視圖象攝取,傳輸和重現(xiàn)的過程攝象機攝取景物時，把自然景物的顏色分解為R、G、B3個分量;在彩電信號傳輸中，用Y、C1,C2彩色表示法分別表示亮度信號和兩個色差信號，C1，C2的含義與彩電的制式有關(guān)。電視接收機把Y、C1,C2信號重新轉(zhuǎn)換為R、G、B進行顯示.拍攝圖像和播放圖像都采用“光柵掃描”(rasterscan)的原理。2023/2/1光柵掃描隔行掃描(電視圖象采用)奇數(shù)場偶數(shù)場一幀逐行掃描(計算機顯示圖象時采用)2023/2/11.3電視信號的彩色空間1在彩色電視中，用Y、C1,C2彩色表示法分別表示亮度（Luminance或Luma）信號和兩個色度（Chrominance或Chroma）信號，C1，C2的含義與具體的電視制色有關(guān):NTSC:C1，C2分別表示I、Q兩個色度信號；PAL:C1，C2分別表示U、V兩個色度信號；CCIR601數(shù)字電視:C1，C2分別表示Cr，Cb兩個色度信號。2023/2/1電視信號的彩色空間2YUV空間(PAL)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量

U=(B-Y)*0.493色度分量

V=(R-Y)*0.877YIQ空間(NTSC)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量I=0.6*R-0.28*G-0.32*B色度分量

Q=0.21*R-0.52*G+0.31*B(優(yōu)點：與黑白電視兼容；有利于壓縮信號帶寬)電視信號的彩色空間3YCrCb是國際通用的CCIR601數(shù)字電視信號中使用的彩色空間，它由YUV彩色空間經(jīng)過縮放和平移得到。Y值的額定范圍在16-235之間，Cr和Cb在16-240之間，具體的轉(zhuǎn)換公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*BCr=(131/256)*R-(110/256)*G-(21/256)*B+128Cb=-(44/256)*R-(87/256)*G+(131/256)*B+1282023/2/1電視信號的彩色空間4使用Y、C1，C2彩色空間的優(yōu)點：①Y和C1，C2是獨立的，因此彩色電視和黑白電視都可以使用，Y分量可由黑白電視接收機直接使用而不需做任何進一步的處理；②可以利用人的視覺特性來節(jié)省信號的帶寬和功率，通過選擇合適的顏色模型，可以使C1，C2的帶寬明顯低于Y的帶寬，而又不明顯影響彩色圖像的質(zhì)量。2023/2/1

1.4彩色電視信號的類型復合電視信號(compositevideosignal)：由亮度、色度信號及同步信號復合而成的單一信號，也稱為全電視信號.復合電視信號適合于進行遠距傳輸，其質(zhì)量稱為VHS（家用級)。彩色空間轉(zhuǎn)換RGB=>YUV圖象信號編碼信號復合RGBYUVCVBSVSyncHSync復合彩電信號（模擬電視信號的編碼）2023/2/1復合電視信號為便于電視信號遠距傳輸，必須把三個分量信號以及同步信號復合成一個信號，然后才進行傳輸。CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)

(Wsc為副載波頻率)伴音信號與視頻信號也復合在一起傳輸。亮度色度6MHz(NTSC)-1.00.01.02.03.04.0圖象載波聲音載波色度副載波音頻分量電視信號為保證視頻信號質(zhì)量，近距離時可用分量視頻信號(componentvideosignal)傳輸,分量信號是指每個基色分量(R,G,B或Y,U,V)作為獨立的電視信號傳輸。(Betacam，廣播級或?qū)I(yè)級).計算機輸出的視頻信號，即為分量形式的視頻信號。2023/2/1S-Video信號

S-Video是亮度(包含同步信號)和色度(2個色度信號復合在一起)互相分離的一種電視信號，優(yōu)點：①減少亮度信號和色度信號之間的交叉干擾；②不需要使用梳狀濾波器來分離亮度信號和色度信號，這樣可提高亮度信號的帶寬。信號電平=1V阻抗=75ohms信號電平=0.3V阻抗=75ohms

S-Video使用單獨的兩條信號線分別傳輸亮度信號和色度信號，這兩個信號稱為Y/C信號。

S-Video使用4針連接器2023/2/1小結(jié)：視頻信號的形式模擬形式：模擬復合信號模擬分量信號模擬S-video信號數(shù)字形式：數(shù)字復合信號數(shù)字分量信號2023/2/12數(shù)字視頻2.1為什么使用數(shù)字視頻？2.2數(shù)字視頻的取樣格式2.3視頻信號的數(shù)字化2.1為什么使用數(shù)字視頻？易于編輯、修改等操作處理用戶接收的圖像質(zhì)量更好(可達演播室水平)有利于存儲，信息復制不會失真有利于傳輸(抗干擾能力強)節(jié)省頻率資源(占用頻道較窄)可以通過公共電信網(wǎng)和計算機網(wǎng)傳輸可以與其它媒體組合使用可以生成標題信息（bitsaboutbits）,便于信息的檢索和使用2.2數(shù)字視頻的取樣格式視頻信號數(shù)字化過程:(8-10bits)prefiltersamplingQPCM編碼數(shù)字視頻信息模擬視頻信號VUYUVYITU-RBT.601標準(CCIR601,美國稱為D1標準)，對3種制式電視的取樣頻率和有效顯示分辨率都作了統(tǒng)一規(guī)定:亮度信號的取樣頻率fs均統(tǒng)一為13.5MHz，色度信號的取樣有多種格式.亮度信號的取樣頻率:13.5MHz色度信號的取樣人眼對顏色的敏感程度遠不如對亮度信號那么靈敏，所以色度信號的取樣頻率可以比亮度信號的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量。色度信號的取樣頻率:4:4:4格式:與亮度信號取樣頻率一樣;3樣本/像素4:2:2格式:取亮度信號取樣頻率的一半;2樣本/像素4:1:1格式:取亮度信號取樣頻率的1/4;1.5樣本/像素4:2:0格式:取亮度信號取樣頻率的一半,但隔行處理;1.5樣本/像素2023/2/1色度信號的取樣格式4:4:44:2:04:2:24:1:1亮度信號色度信號H.261,H.263和MPEG-1的采樣格式色度信號格式為4:2:0每4個Y樣本有1個Cb樣本和一個Cr樣本如果每個分量的樣本的精度為8比特，則每個象素共需要12比特.2023/2/1

名稱

亮度(Y)色度(Cb,Cr)

(行數(shù)/幀)

(像素/行)(行數(shù)/幀)

(像素/行)CCIR601576720 576360CIF288 360 144 180QCIF144180 7290SQCIF96 128 4864亮度的取值范圍:16(黑)-235(白)色度的取值范圍:16-240幾種常用數(shù)字視頻信號的格式

(色度信號格式為4:2:2)(ITU-R601)2.3視頻信號的數(shù)字化視頻信號數(shù)字化有2種情況:模擬復合視頻信號的數(shù)字化復合的視頻信號，Y／C信號（S-video）模擬分量視頻信號的數(shù)字化.2023/2/1模擬復合視頻信號的數(shù)字化把復合視頻信號或Y／C信號進行模數(shù)轉(zhuǎn)換。例如使用8位A／D轉(zhuǎn)換器，得到8位數(shù)字化的值把亮度(Y)和2個色度(C)信號分開。分離后Y的數(shù)值范圍為4-200，仍包含同步和消隱信息；色度信號是經(jīng)調(diào)制的色度信號，取值范圍為0±82(NTSC)或0±87(PAL)。接收調(diào)制的數(shù)字色度信息，經(jīng)過解調(diào)，輸出基帶I,Q(NTSC)或U,V(PAL)色度信號，即恢復出NTSC或PAL制的色度信號按需要對對比度、亮度和飽和度進行調(diào)節(jié)完成從YIQ或YUV顏色空間到RGB和YCrCb顏色空間的轉(zhuǎn)換模數(shù)轉(zhuǎn)換Y/C分離色度信號解調(diào)信號調(diào)節(jié)顏色空間轉(zhuǎn)換模擬復合視頻信號數(shù)字視頻信號2023/2/1MPEG-1視頻編碼與應(yīng)用2023/2/1信息技術(shù)標準化的意義可交換和互操作是信息的重要屬性之一，標準化是開放性和互操作性的重要前提；標準是產(chǎn)品和工程的依據(jù)，標準化就是國際化；標準的形成包括研究，實驗，測試，競爭，篩選和優(yōu)化等一系列環(huán)節(jié)，每一項技術(shù)標準都是長期研究開發(fā)的成果，是工業(yè)界和科技界合作的成果;“標準”是概念、原理、方法、技術(shù)的概括和抽象，對教學和培訓有重要的參考價值；成功的技術(shù)標準必須既滿足產(chǎn)品開發(fā)和應(yīng)用要求,又不限制革新和競爭。2023/2/1標準的分類

(1)國際標準如國際標準化組織(ISO)、國際電工委員會(IEC)和國際電信聯(lián)盟(ITU)等制定的標準。(2)國家標準由各國國家標準委員會制定.如中國的GB,美國的ANSI,德國的DIN和日本的JIS等。(3)公共規(guī)范(PublicSpecifications)或地區(qū)標準由多家公司或一些地區(qū)性的聯(lián)合組織(Consortium)共同開發(fā)。如早期的網(wǎng)絡(luò)協(xié)議TCP/IP標準等。(4)企業(yè)(實用)標準(De-FactoStandard)它由一家公司開發(fā),并被市場接受,如MSWindows軟件標準。2023/2/1多媒體技術(shù)標準相關(guān)的國際組織IEC(InternationalElectrotechnicalSociety),IEC/TC100(音頻、視頻、多媒體系統(tǒng)與設(shè)備技術(shù)委員會)ISO(InternationalStandardsOrganization),TC36電影攝影術(shù);TC42攝影術(shù);TC43聲學;TC159人類工效學ITU(InternationalTelecommunicationsUnion,formerlyCCITT),ITU-R/

SG10音頻廣播服務(wù);SG11電視廣播服務(wù);ITU-T/SG1視聽/多媒體服務(wù);SG8視聽遠距服務(wù)DAVIC

數(shù)字音頻視頻委員會等ISO/IEC的聯(lián)合技術(shù)委員會JTC1的分委會(SC)2023/2/1ISO/IEC

JTC1-SC29ISO/IECJTC1SC29工作小組WG1WG11WG12SGSGSG音頻視頻系統(tǒng)測試數(shù)字存儲媒體應(yīng)用操作環(huán)境JBIGJPEGMHEG3MHEG5咨詢小組(音頻、圖片、多媒體和超媒體信息編碼)2023/2/1ISO國際標準的制定過程工作組草案(WD)=>委員會草案(CD)=>國際標準草案(DIS)=>國際標準(IS)工作文件WD(WorkingDraft)：工作組WG(WorkingGroup)準備的工作文件委員會草案CD(CommitteeDraft)：從WD提升上來的文件。這是ISO文檔的最初形式，它由ISO內(nèi)部正式調(diào)查研究和投票表決。國際標準草案DIS(DraftInternationalStandard)：成員國對CD的內(nèi)容和說明滿意之后由CD提升上來的文件。國際標準IS(InternationalStandard)：由成員國、ISO的其他部門和其他委員會投票通過之后出版發(fā)布的文件。2023/2/1關(guān)于視頻壓縮編碼標準MPEG2023/2/1運動圖像專家組MPEG

(MovingPictureExpertGroup)

ISO/IEC/JTC1/SC29的一個工作組WG11,1988年成立,目前有25個國家(團體)的200多個公司300多名成員分10個組工作:

(l)Requirements．(MPEG4和MPEG7單列)(2)DSM．(DigitalStorageMedia)(3)Delivery (4)Systems(5)Video (6)Audio(7)SNHC(Synthetic-NaturalHybridCoding)(8)Test (9)Implementation(10)Liaison(聯(lián)絡(luò)) (*)HoD(HeadsofDelegations)2023/2/1MPEG標準MPEG-1標準(ISO/IEC11172).1992年發(fā)布。 用于1.5Mbps數(shù)據(jù)傳輸率的運動圖像及其伴音的編碼。主要應(yīng)用于VCD，MP3音樂等.MPEG-1在JPEG和H.261等優(yōu)秀標準的基礎(chǔ)上,對參加競爭的14個方案,通過反復協(xié)調(diào)而得到統(tǒng)一,從而成為先進、合理、質(zhì)量高、成本低的優(yōu)秀標準.MPEG-1促進了大規(guī)模集成電路專用芯片的發(fā)展,為多媒體技術(shù)和產(chǎn)品的繁榮立下了功勞。2023/2/1MPEG標準（續(xù)）MPEG-2標準(ISO/IEC13818).1994年發(fā)布。 主要針對高清晰度電視(HDTV)的視頻及伴音信號，典型傳輸速率為10Mbps，與MPEG-1兼容，適用于1.5Mbps～60Mbps甚至更高速率的編碼范圍。

2023/2/1MPEG標準（續(xù)）以MPEG-2作為視音頻壓縮標準的數(shù)字衛(wèi)星電視接收機已在歐美形成了很大市場，美國高級電視聯(lián)盟(ATVGrandAlliance)和歐洲數(shù)字視頻廣播計劃(DigitalVideoBroadcastProject)先后決定將MPEG-2用于高清晰度電視(HDTV)廣播中;新一代的數(shù)字視盤DVD采用MPEG-2作為其視音頻壓縮標準(注:歐、美、日在視頻方面采用MPEG-2標準,而在音頻方面則采用AC-3標準)。2023/2/1MPEG標準（續(xù)）MPEG-4標準(ISO/IECl4496). 1999年5月形成國際標準(版本1),是一種其于對象的視(音)頻編碼標準,目標是支持各種多媒體應(yīng)用(主要側(cè)重于對多媒體信息內(nèi)容的訪問)，可根據(jù)不同的應(yīng)用需求現(xiàn)場配置解碼器。2023/2/1MPEG標準（續(xù)）MPEG-7標準(ISO/IECl5938).

計劃2001年9月形成。它是“多媒體內(nèi)容描述接口”(MultimediaContentDescriptionInterface)的標準,該標準將確定各種類型的多媒體信息的標準描述方法,可應(yīng)用于數(shù)字圖書館、各種多媒體目錄服務(wù)、廣播媒體的選擇，以及多媒體編輯等領(lǐng)域。2023/2/1MPEG標準（續(xù)）MPEG-21標準.(MultimediaFramework) 多媒體框架標準適合于多種應(yīng)用領(lǐng)域中各種類型用戶對各種類型內(nèi)容的傳送和使用，可通過大范圍的網(wǎng)絡(luò)和設(shè)備允許對多媒體資源的透明和增強使用2023/2/1MPEG-1(ISO/IEC11172)2023/2/1MPEG-1Requirements(在大約1.5Mb/s數(shù)碼率的情況下,獲得質(zhì)量可接受的A/V信息;適合于CD-ROM,DAT,硬盤,可寫光盤等數(shù)字存儲介質(zhì);可在N-ISDN、LAN等通信網(wǎng)絡(luò)上傳輸)1randomaccess2fastforward/backwardsearch3reverseplayback4A/Vsynchronization5robustnesstoerrors6smallencoding/decodingdelay7editability8formatflexibility9costtradeoff2023/2/1MPEG-1的內(nèi)容ISO/IEC11172-1:

system－－audio,video,data等如何組織成一個復合的比特流;如何同步等.ISO/IEC11172-2:

video－－video信號的壓縮編碼ISO/IEC11172-3:

audio－－audio信號的壓縮編碼ISO/IEC11172-4:

Conformancetesting－－MPEG-1的一致性測試ISO/IEC11172-5:

Softwaresimulation－－MPEG-1軟件模擬2023/2/1視頻數(shù)據(jù)壓縮編碼的依據(jù)每一幀畫面內(nèi)部的信息有很強的相關(guān)性;相鄰畫面之間有高度的相容性;運動可以估測（MotionEstimation）;人眼的視覺特性有利于數(shù)據(jù)的壓縮.2023/2/1視頻壓縮可利用的各種信息冗余

種類內(nèi)容目前用的主要方法

統(tǒng)計特性(空間冗余)象素間的相關(guān)性

變換編碼，預測編碼

統(tǒng)計特性(時間冗余)時間方向上的相關(guān)性

幀間預測，運動補償

圖象構(gòu)造冗余圖象本身的構(gòu)造

輪廓編碼，區(qū)域分割

知識冗余收發(fā)兩端對景物的

基于知識的編碼 共有認識視覺冗余人的視覺特性

非線性量化，位分配

其它不確定性因素

2023/2/1視頻壓縮編碼技術(shù)的分類(1)基于圖像信源統(tǒng)計特性的方法:預測編碼、變換編碼、矢量量化、子帶－小波編碼、神經(jīng)網(wǎng)絡(luò)編碼等。

(2)考慮人眼視覺特性的方法:基于方向濾波的圖像編碼法、基于圖像輪廓/紋理的編碼法。

(3)考慮圖像所傳遞景物特征的方法:分形編碼、基于模型的編碼等。

2023/2/1

信源模型 編碼技術(shù)1.單個像素顏色 PCM編碼2.像素塊顏色 ADPCM，變換編碼3.像素塊顏色和運動 帶運動補償?shù)腄PCM/DCT 混合編碼、小波編碼4.運動的結(jié)構(gòu) 分形編碼、輪廓/紋理編碼5.圖像中景物的形狀,運動和顏色分析/綜合編碼6.己知景物的形狀,運動和顏色 知識基編碼7.圖像中的行為單元 語義學編碼視頻壓縮編碼技術(shù)的分類（續(xù)）2023/2/1視頻壓縮編碼技術(shù)的評價準則碼率(bitrate)重建圖像的質(zhì)量編碼/解碼延時錯誤修復能力算法復雜程度2023/2/1MPEG-1視頻壓縮的基本方法①在空間域: 采用JPEG(JointPhotographicExpertsGroup)壓縮算法來去掉畫面內(nèi)部的冗余信息。②在時間域: 采用運動補償(motioncompensation)算法來去掉畫面之間的冗余信息。2023/2/1壓縮編碼與圖象重建總框圖預處理壓縮編碼存儲和/或傳輸解碼后處理數(shù)字視頻CCIR601顯示2023/2/1畫面的分類Intra-picture(I畫面) 不需要參考其它畫面而獨立進行壓縮編碼的畫面;Predicted-picture(P畫面) 參考前面已編碼的I或P畫面進行預測編碼的畫面;Bidirectional-picture(B畫面) 既參考前面的I或P畫面、又參考后面的I或P畫面進行雙向預測編碼的畫面DCcoefficient-picture(D畫面) 僅使用畫面自身的DC系數(shù)進行編碼,用作正/反向快速搜索.2023/2/1MPEG的畫面組(GOP)2023/2/1畫面的重新排序畫面的顯示順序是:BBIBBPBBPBI

012345678910

畫面的編碼順序是:IBBPBBPBBIB

2

01534867109 因此,每一個GOP中的畫面在編碼前和解碼后都必須重排序BBBPBBPBIB012345678910例IGOP(GroupofPictures)2023/2/1MPEG-1編碼器框圖調(diào)節(jié)器SIF格式的視頻畫面畫面重排運動估計DCTQVLCBufferMUXQ-1IDCT++畫面存儲及預測預測畫面運動矢量差分畫面視頻比特流q解碼的差分畫面I畫面獨立編碼,類似于JPEGP畫面和B畫面應(yīng)進行運動估計,求出1~2個運動矢量P畫面和B畫面采用幀間預測編碼,被編碼的是差分圖象2023/2/1MPEG-l編碼器的組成MPEG-l編碼器包括:運動估計(算)與宏塊類型(MTYPE)的選擇,MQUANT值的設(shè)置,運動補償預測,量化和逆量化(dequantizer),DCT和IDCT,變長編碼(VLC),多路復用器(multiplexier),緩沖器及緩沖調(diào)節(jié)器(regulator).2023/2/1I畫面壓縮編碼的流程

2023/2/1運動矢量與幀間預測運動矢量由于畫面內(nèi)容有連貫性,因此當前畫面的內(nèi)容可以看作是前面畫面內(nèi)容的位移(運動)。畫面各處相應(yīng)的位移量(幅度、方向)各有不同，因此畫面應(yīng)細分成塊(宏塊)，以宏塊為單位，找出兩幀畫面中相應(yīng)宏塊之間的位移量---運動矢量2023/2/1宏塊的組成宏塊(macroblock)的組成:P畫面和B畫面中的宏塊有2種情況：可預測宏塊:與參考畫面中的某個宏塊有位移關(guān)系不可預測宏塊:與參考畫面中的任何宏塊都找不到位移關(guān)系012345Y(16x16)U(8x8)V(8x8)2023/2/1可預測宏塊MotionvectorForwardprediction:前向預測宏塊(IorPpicture)(Ppicture)Bidirectionalprediction:雙向預測宏塊(IorPpicture)(IorPpicture)(Bpicture)被編碼宏塊被編碼宏塊參考畫面參考畫面參考畫面2023/2/1不同類型宏塊的預測公式 設(shè)X為宏塊中象素的位置矢量,I(X)為位置X處的象素值；MV0,1

和MV2,1分別是畫面1中的宏塊相對于畫面0、畫面2中參考宏塊的運動矢量,I1(X)是畫面1中的宏塊所有象素的原始值,I1(X)

是它們的預測值宏塊類型內(nèi)部宏塊前向預測宏塊后向預測宏塊雙向預測宏塊預測公式I1(X)=128I1(X)=I0(X+MV0,1)I1(X)=I2(X+MV2,1)I1(X)=[I0(X+MV0,1)+I2(X+MV2,1)]/2預測誤差I(lǐng)1(X)-I1(X)I1(X)-I1(X)I1(X)-I1(X)I1(X)-I1(X)2023/2/1運動矢量的估計編碼宏塊2023/2/1運動矢量的估計算法基本原理:最佳匹配準則(均方差最小/平均絕對誤差最小):匹配度=∑D[Ic(X)-Ir(X+V)]X其中Ic:當前宏塊Ir:參考宏塊X:宏塊中的所有像素

V:搜索范圍中的矢量D:成本函數(shù)在搜索范圍內(nèi)調(diào)整運動矢量假設(shè)一個初始矢量計算匹配度是否最佳匹配結(jié)束yn2023/2/1MPEG-1的運動矢量估計搜索范圍(7種可選)31,63,127,...,2047?搜索精度(2種可選)0.5pel,1pel搜索策略(自定)全面搜索(31x31)搜索次數(shù)=(31-16+1)2=256方向搜索法對數(shù)搜索法(31x31)搜索次數(shù)=9x5=45對偶搜索法宏塊3131搜索范圍2023/2/1方向搜索法12111122345沿著最小失真方向搜索，每一次檢查5個搜索點，搜索步長固定。2023/2/1對數(shù)搜索法111111111222222222333333333444444444搜索范圍每一步測試8個搜索點,并逐步縮小搜索步長2023/2/1實驗結(jié)果變焦的鏡頭及其運動場平移的鏡頭及其運動場2023/2/1預測編碼宏塊的處理過程編碼宏塊參考宏塊最佳匹配運動矢量2023/2/1B畫面及D畫面的編碼B畫面編碼:與P畫面類似，但更復雜。例如:宏塊類型更多，預測宏塊可分成:前向預測宏塊后向預測宏塊雙向預測宏塊參加編碼的運動矢量可能是1個或2個跳空宏塊指：與前一非跳空宏塊類型相同，運動矢量也相同D畫面編碼:只取每一塊的DC系數(shù)進行編碼，全部是幀內(nèi)編碼，用于快速檢索2023/2/1雙向預測宏塊的編碼過程2023/2/1小結(jié):編碼器的主要操作1．在GOP中確定I畫面、P畫面和B畫面2．為P畫面和B畫面中的每個MB（宏塊）估算運動矢量3．確定每個MB的宏塊類型（MTYPE）4．如果選擇自適應(yīng)量化的話，設(shè)置量化因子MQUANT。2023/2/1小結(jié):視頻比特流的層次結(jié)構(gòu)DCT單位運動補償單位重新同步單位主編碼單位隨機存取單元video編輯單位隨機存取單元context2023/2/1GOP：一組畫面，第一幀必為I畫面，長度可各不相同.GOP中I畫面、P畫面和B畫面的相對數(shù)目與應(yīng)用相關(guān)。標準中規(guī)定了每132幀畫面中必須有—幀I畫面，以避免由于編碼器和解碼器間的IDCT失配引起的誤差傳播。B畫面的使用是一個任選項。畫面：標題信息中包含畫面類型、運動矢量精度、搜索范圍等slice：由若干位置連續(xù)的宏塊組成，發(fā)現(xiàn)不可糾正的錯誤時，可從下一宏塊開始解碼。宏塊：標題信息中包含宏塊類型碼、運動矢量、碼塊圖等。視頻比特流的層次結(jié)構(gòu)

2023/2/1MPEG-1視頻的解碼2023/2/1解碼器框圖與解碼過程緩沖器分路器VLC解碼器Q-1IDCT畫面重排+畫面存儲與預測視頻比特流宏塊類型、畫面類型運動矢量量化步長重建的視頻圖象輸入速率固定，但畫面的數(shù)據(jù)量差別很大，必須要設(shè)緩沖分路器負責語法、語義檢查，對宏塊進行解碼，解出運動矢量、宏塊類型等IDCT輸出的是I畫面及P畫面和B畫面的預測畫面保存I畫面及P畫面，生成預則畫面（P,B）預則畫面+差分畫面=重建的畫面畫面重排序，然后輸出送顯示器（幀速固定）2023/2/1MPEG-1系統(tǒng)2023/2/1(1)功能與目的系統(tǒng)層的功能將多個基本流（視頻流、音頻流、數(shù)據(jù)流）復合成單一的串行比特流保證基本流之間的時間同步保證信源與信宿之間的時間同步可隨機存取，便于編輯加工速率可控制2023/2/1系統(tǒng)復合流A1A2A3A4V1V2V3V4D1D2D3D4A2D1V2A1V1D2A3V3音頻視頻數(shù)據(jù)MPEG-1復合比特流*音頻、視頻流均可有多個，音頻流<=32，視頻流<=16。*所有基本流均劃分為“分組”(packet),分組長度可變。*每個分組均有標題信息，用于指出所屬的基本流。2023/2/1系統(tǒng)復合流結(jié)構(gòu)格式Pack1……結(jié)束碼Pack2PacknPacket1Packet2……Packetm系統(tǒng)標題SCRPack開始碼系統(tǒng)標題開始碼長度復合流速率上限音頻速率上限視頻速率上限標志基本流說明1基本流說明2……基本流標識緩沖單位緩沖大小Packet開始碼前綴所屬基本流Packet長度Packet標題Packet數(shù)據(jù)填料字節(jié)緩沖單位緩沖大小PTSDTS系統(tǒng)復合流PACK系統(tǒng)標題PacketPacket標題2023/2/1系統(tǒng)層解決的3個問題A/V同步編碼時以STC為基準，對每一幀畫面、每一幀聲音均附加一個PTS值，解碼時即按此指定時間播放，從而達到A/V同步目的。編碼器/解碼器同步解碼器的本地STC值，受控于音頻PTS值，不斷進行更新與校正。復合流速率控制解碼器通過把SCR值與本地STC值比較，發(fā)出反饋信號，可能的話控制輸入流的速度。2023/2/1(4)MPEG-1小結(jié)特點：是一種通用標準，它規(guī)定了已編碼位流的表示語法和解碼方法。該語法支持的操作有運動估算、運動補償預測、離散余弦變換(DCT)、量化和變長編碼編碼器設(shè)計具有靈活性（它沒有定義產(chǎn)生合法數(shù)據(jù)流所需的詳細算法；例如，對運動估計算法和壓縮模式選擇未作規(guī)定）用于定義編碼位流和解碼器的一系列參數(shù)都包含在位流本身中。這就允許算法適用于不同大小和寬高比的畫面，也可以用在工作速率范圍很大的信道和設(shè)備上。2023/2/1MPEG-1小結(jié)缺點與不足:16x16的宏塊作為預測單位尺寸稍大可能產(chǎn)生亞象素級的位移物體的3D運動(如旋轉(zhuǎn))不易預測攝象機運動、燈光變化、物體形狀變化、場景切換、物體遮擋等引起的畫面變化，預測有困難B畫面、P畫面使編輯操作復雜化僅適合non-interlaced視頻的處理2023/2/1運動圖像及其伴音信息的

通用編碼(MPEG-2)

(Informationtechnology—Genericcodingofmovingpictures&associatedaudioinformation)(ISO/IEC13818)/(ITU-TH.262)CollaborationwiththeITU-TSG15ExpertsGroupforATMVideoCoding

目的MPEG-2是與數(shù)字電視有關(guān)的高質(zhì)量圖象/聲音的通用編碼標準，它滿足存儲、廣播和通信領(lǐng)域各種應(yīng)用對視頻及其伴音的通用編碼方法的日益增長的需求；MPEG-2以一種計算機數(shù)據(jù)的形式，使視頻信息：能進行操縱，能存儲在各種不同存儲媒體上，能在現(xiàn)存的和未來的網(wǎng)絡(luò)上傳輸，能在現(xiàn)存的和未來廣播信道上分發(fā)。MPEG-2是MPEG-1的超集，基本算法相同,但增加了許多MPEG-1所沒有的功能，例如增加了對隔行掃描電視信號的編碼，提供了scalability功能。2023/2/1MPEG-2的應(yīng)用領(lǐng)域*BSS廣播衛(wèi)星服務(wù)(到家庭) *CATV有線電視*CDAD有線數(shù)字音頻 *DAB數(shù)字音頻廣播*DTTB數(shù)字地面電視廣播 *EC電子電影*ENG電子新聞采集 *FSS固定衛(wèi)星服務(wù)*HTT家庭電視影院 *MMM多媒體郵件*ISM交互式存儲媒體(光盤等) *NCA新聞&時事*NDB網(wǎng)絡(luò)數(shù)據(jù)庫服務(wù)*RVS遠程視頻監(jiān)視*SSM串行存儲媒體(數(shù)字VTR)*IPC個人間通信(視頻會議、可視電話)Interlaced/progressivecodinginMPEG-22023/2/1MPEG-2視頻的分“類”(profile)MPEG-2視頻的編碼按處理方法的復雜程度分成“類”（profile);每一類都包含一組其低類所沒有的新算法（模塊）;類越高，編碼越精細,實現(xiàn)的代價也越高;解碼器向下兼容，任何一種高類解碼器，均能對用較低類方法編碼的視頻圖像進行解碼。2023/2/1MPEG-2視頻的分“級”(level)按可支持的視頻圖像參數(shù)(分辨率,幀頻和碼率)分成4級：Low(352x288x25)CIF格式,最大輸出碼率為4MbpsMain(720x576x25)CCIR601格式,最大輸出碼率為15-20MbpsHigh1440(1440x1152x25)HDTV窄屏格式,最大輸出碼率為60-80MbpsHigh(1920x1152x25)HDTV寬屏格式,最大輸出碼率為80-100MbpsMPEG-2視頻編碼的可分級性“可分級”（scalable）指：視頻的編碼數(shù)據(jù)=基礎(chǔ)層+若干增強層Simple和Main不具有可分級性;SNRScalable,SpatialScalable和High這3類都具有可分級性,它們的編碼中包含2-3個流,不同的流代表著不同的layer.是編碼圖像的基本數(shù)據(jù)，但圖像質(zhì)量較低可用來改進信噪比或清晰度(分辨率)2023/2/1MPEG-2視頻的可分級性SNRScalable類最多可以有2個layer:baselayer+SNRenhancementlayerSpatialScalable和High這2類最多都可以有3個layer: baselayer +SNRenhancementlayer +Spatialenhancementlayer2023/2/1ScalablecodinginMPEG-22023/2/1可分級性的應(yīng)用80Mb/s20Mb/s

HDTV解碼器常規(guī)電視解碼器1440x1152720x576baselayerbaselayer+SNRenhancementlayer+SpatialenhancementlayerHP@H1440SDTVCompleteMPEG-2transmissionscheme2023/2/1ErrorConcealment2023/2/1MPEG-2視頻的技術(shù)特點保持了向后兼容性(MPEG-1)。支持不同取樣格式的色度信號(4:2:0,4:2:2,4:4:4)支持隔行和逐行2種掃描格式的視頻信號。既支持恒定速率也支持可變速率的比特流。支持face-to-face應(yīng)用所需要的低延遲模式。可以隨機存取。具有可分級性,圖像質(zhì)量和碼率在很大范圍內(nèi)可以使用。支持編輯處理。適應(yīng)高復雜度和低復雜度解碼器的比特流均可生成。MPEG-1與MPEG-2的對比

MPEG-1 MPEG-2

主要應(yīng)用

DigitalvideoonCD-ROM DigitalTV(andHDTV)空間分辨率CIFFormat(1/4TV) TV(4xTV)

約288x360pels 約576x720pels

(1152x1440pels)時間分辨率25-30frames/s 50-60fields/s (100-120fields/s)碼率

1.5Mbit/s 約4Mbit/s (約20Mbit/s)質(zhì)量

comparabletoVHS comparabletoNTSC/PAL壓縮比

約20-30 約30-40(appr.30-40)2023/2/1附錄:

MPEG-1和MPEG-2視頻編碼的技術(shù)問題2023/2/1視頻編碼涉及的主要算法①運動估計(MotionEstimation，簡記為ME)；②DCT／IDCT變換；③碼流速率控制(BitRateControl，簡記為BRC)；④變長編碼與解碼(VLC／VLD)。2023/2/1運動估計目的：運動補償是用以去除視頻圖象在時間域上冗余，利用視頻圖象在時域上的統(tǒng)計特性進行壓縮。運動補償對視頻圖象壓縮編碼系統(tǒng)的編碼效率有顯著的影響。運動補償?shù)幕A(chǔ)是運動估計，運動補償?shù)某蓴∪Q于運動估計算法的精度、速度和效率。2023/2/1運動估計算法運動估計算法主要分為兩類：①像素遞歸算法(PelRecursiveAlgorithms，簡記為PRA)②塊匹配算法(BlockMatchingAlgorithms，簡記為BMA)。

PRA算法是基于像素的運動估計，能更好地表示真實的運動，但是計算復雜度非常高；BMA算法認為在一個塊內(nèi)的像素具有相同的運動，該算法的計算相對簡單，目前已被廣泛采用。2023/2/1塊匹配算法全搜索算法(FullSearchAlgorithm，簡記為FSA)。FSA算法具有步長固定，易于并行等優(yōu)點，但計算量大；二維對數(shù)搜索算法(TwoDimensionalLogarithmicSearchAlgorithm，簡記為TDLSA)2023/2/1決定塊匹配算法效果的3個因素搜索范圍匹配準則1均方誤差函數(shù)2平均絕對誤差函數(shù)3像素誤差分類函數(shù)4綜合投影技術(shù)等。搜索策略。2023/2/1MPEG-4(ISO/IEC14496)

(Codingofaudiovisualobjects)(背景,目標,特點,體系結(jié)構(gòu)和應(yīng)用領(lǐng)域)2023/2/1MPEG-4的背景11趨勢:音視頻內(nèi)容的生成越來越容易,每人都可以容易地生成、傳送和出版內(nèi)容，越來越多的內(nèi)容是計算機生成的；視頻信息的傳送將擴展到所有網(wǎng)絡(luò)，無線通信不僅用于語音，而且將應(yīng)用于數(shù)據(jù)和視頻,對音視頻信息進行交互處理和應(yīng)用的要求不斷增長,電信、計算機和影視娛樂領(lǐng)域正逐步融合,相互滲透,例如:單向AV終端向交互式AV服務(wù)發(fā)展;固定寬帶和移動窄帶環(huán)境的結(jié)合;頻道傳輸與存儲媒體傳輸?shù)娜我饨M合.2023/2/1MPEG-4的背景22需求:高交互性(與音視頻內(nèi)容的交互性)(Highinteractivefunctionality)通用的存取/訪問/接入能力(包括無線)(Universalaccessibilityandrobustnessinerrorproneenvironments)自然數(shù)據(jù)與合成數(shù)據(jù)的集成；高效率的壓縮編碼，使得在低碼率時獲得可接受的質(zhì)量，支持Web環(huán)境下的交互和鏈接。許多音視頻應(yīng)用要求提供互操作性（interworking)2023/2/1MPEG-4的背景33MPEG-1和MPEG-2的不足基于象素和象素塊進行編碼,不能對圖像的內(nèi)容進行查詢、編輯和選擇播放等操作,交互性較差;無法在同一場景集成自然信息與人造(合成)信息；不支持超鏈(hyperlinking)將圖像固定地分成相同大小的塊,在高壓縮比的情況下會產(chǎn)生嚴重的塊效應(yīng);沒有充分利用人類視覺系統(tǒng)的特性。2023/2/1MPEG-4的目標能有效表示若干種數(shù)據(jù)類型:Videofromverylowbitratestoveryhighqualityconditions;Musicandspeechdataforaverywidebitraterange,fromtransparentmusictoverylowbitratespeech;Genericdynamic3-Dobjectsaswellasspecificobjectssuchashumanfacesandbodies;Speechandmusictobesynthesizedbythedecoder,includingsupportfor3-Daudiospaces;Textandgraphics;在編碼層為各種類型的數(shù)據(jù)提供出錯恢復功能,特別是在移動通信之類信道困難情況下的出錯恢復.2023/2/1MPEG-4的目標獨立地表示場景中的各種對象,允許對它們進行單獨的訪問、操縱和重新使用;將自然的和合成的音頻、視頻對象復合成為一個音視頻場景(audiovisualscene);在場景中對對象和事件進行描述;提供交互和超鏈功能;管理和保護音視頻內(nèi)容和算法的知識產(chǎn)權(quán)(intellectualproperty),使得只有授權(quán)用戶才能訪問.提供一種與傳送媒體無關(guān)的表示格式，使能透明地跨越不同傳送環(huán)境的邊界.2023/2/1MPEG-4的目標Forauthors,使得所生產(chǎn)的內(nèi)容比數(shù)字電視、計算機動畫及WWW頁面等具有更大的reusability和flexibility,能更好地管理和保護知識產(chǎn)權(quán)。Fornetworkserviceproviders,MPEG-4提供的是透明信息,它能被解釋和翻譯成每個網(wǎng)絡(luò)的nativesignalingmessages.對于QoS,MPEG-4對不同的media提供一種通用的QoSdescriptor，從每一種媒體的QoSparametersset翻譯成networkQoS則由networkproviders解決.SignalingoftheMPEG-4mediaQoSdescriptorsend-to-end能使信息在異構(gòu)網(wǎng)絡(luò)中傳輸最優(yōu).Forendusers,MPEG-4使得用戶與內(nèi)容能進行更高級別的交互，它把多媒體應(yīng)用帶入新的網(wǎng)絡(luò)(低速網(wǎng)和移動網(wǎng))，如交互式多媒體廣播,移動通信.2023/2/1實現(xiàn)MPEG-4目標的4個技術(shù)途徑1它能表示各種不同的媒體對象,既可以是自然的媒體對象,也可以是計算機合成的媒體對象.2它能描述這些媒體對象如何合成為一個復合的聲像場景.3它能把媒體對象與關(guān)聯(lián)的數(shù)據(jù)進行多路復合和同步,使它們能在網(wǎng)絡(luò)上以適合的QoS進行傳輸.4它能使用戶在接收端與生成的聲像場景進行交互.2023/2/1Theobject-basedaudiovisualrepresentationmodel

場景由許多對象組成,對象之間有一定的時間和空間關(guān)系2023/2/1MPEG-4的結(jié)構(gòu)MPEG-4構(gòu)造成一個tool-box的形式,而不是monolithic形式,它使用若干profile來提供不同的解決方案.MPEG-4相當大,但它允許量體裁衣,每個實現(xiàn)者可根據(jù)需要抽取MPEG-4標準中滿足其應(yīng)用的一個子集予以實現(xiàn).

2023/2/1MPEG-4的結(jié)構(gòu)MPEG-4標準通過定義框架(Profile)、級(Level)、算法(Algorithm)和工具(Tool)等4層結(jié)構(gòu)來分層次描述具體應(yīng)用中的編碼方案。Profile.一個框架是一類應(yīng)用的完整編碼碼流語法描述,它是整個MPEG-4碼流語法的一個子集。Level.在每個框架中又通過定義級來規(guī)定碼流中各個參數(shù)的類型和限制。Algorithm.算法是為了完成框架所要求的功能而組織起來的一些工具集合。例如MPEG-1的音頻編碼、MPEG-2的視頻編碼等。Tool.工具是在編碼過程中所采用的一些技術(shù),例如運動補償、輪廓編碼和DCT變換等。2023/2/1MPEG-4的結(jié)構(gòu)(MPEG-4提供一個靈活的框架和一個開放的工具集,以支持大量的新舊功能)工具1工具2工具3工具4工具5工具n算法1算法2算法m類1類kMPEG-4語法描述語言MSDLMPEG-4最有希望的應(yīng)用領(lǐng)域多媒體Internet;

視頻會議和視頻電話等個人通信;交互式視頻游戲和多媒體郵件;基于網(wǎng)絡(luò)的數(shù)據(jù)庫服務(wù);光盤等交互式的存儲媒介;遠程的緊急事件系統(tǒng);遠程的視頻監(jiān)視;無線多媒體通信。2023/2/1媒體對象的編碼表示MPEG-4audiovisualscenes是由若干媒體對象以層次方式組合而成的，初級(primitive)媒體對象如:

靜止圖像(e.g.asafixedbackground),視頻對象(e.g.atalkingperson-withoutthebackground)音頻對象(e.g.thevoiceassociatedwiththatperson);文本和圖形.初級媒體對象既可以是自然的，也可以是人造(合成)的,合成對象類型既可以是2維,也可以是3維.

2023/2/1媒體對象的編碼表示媒體對象的編碼中包含有描述元素，從而允許在音視頻場景中處理媒體對象，需要的話也可以在關(guān)聯(lián)的流式數(shù)據(jù)(streamingdata)中處理媒體對象.每一個媒體對象與周圍的對象或背景是相互獨立進行編碼的.在考慮到所需功能的同時，媒體對象的編碼應(yīng)盡可能提高編碼效率。這里所指的功能包括：容錯能力，對象的抽取和編輯，編碼具有可分級性等。2023/2/1媒體對象的組合MPEG-4的場景描述是一棵樹,葉節(jié)點是基本媒體對象,中間節(jié)點是復合媒體對象.因而內(nèi)容的創(chuàng)作者可以構(gòu)造復雜的場景,用戶則可選擇其中感興趣的對象進行操縱處理.MPEG-4以一種標準化的方法來描述視聽場景的組成，例如它可以做到：將媒體對象放在給定坐標系中的任何地方;對媒體對象進行變換以改變其幾何或聲學形態(tài)(appearance);把若干初級媒體對象組合成為復合媒體對象;為了修改媒體對象的屬性而將流式數(shù)據(jù)應(yīng)用于媒體對象(例如屬于對象的一段聲音,一個運動紋理;驅(qū)動一張合成人臉的動畫參數(shù));交互式地改變用戶在場景中的觀察(聽)位置.2023/2/1MPEG-4可視對象的編碼目標在多媒體環(huán)境中有效地存儲,傳輸和操縱紋理(textures),圖像和視頻數(shù)據(jù).能對圖像和視頻內(nèi)容中的原子單位(即視頻對象“videoobjects”,簡稱VO)進行解碼和表示.常規(guī)的矩形圖像僅僅是視頻對象的一個特例.視頻對象可分成2大類:自然視頻對象合成視頻對象2023/2/1MPEG-4可視對象的編碼功能圖像和視頻的有效壓縮映射在2-D和3-D網(wǎng)格(meshe)上的紋理的有效壓縮隱式2-D網(wǎng)格的有效壓縮隨時間變化的用于網(wǎng)格運動的幾何流的有效壓縮所有各類可視對象的有效的隨機存取圖像和視頻序列的擴展操縱功能圖像和視頻基于內(nèi)容的編碼紋理,圖像和視頻基于內(nèi)容的可分級性空間,時間和質(zhì)量的可分級性在易出錯環(huán)境中的堅固性和可恢復性2023/2/1自然視頻對象的編碼支持MPEG-1和MPEG-2提供的大部分功能，包括對各種輸入格式、幀速率、碼率和可分級性的標準矩形圖象序列的有效編碼的支持。MPEG-4Video的核心是支持任意形狀的可視對象的有效編碼，即提供基于內(nèi)容的編碼和解碼功能，也就是對圖像中使用分割算法抽取的單獨的物理對象進行編碼和解碼。MPEG-4還提供管理這些視頻內(nèi)容的最基本方法。2023/2/1MPEG-4自然視頻編碼中

功能與碼率的關(guān)系VLBV(VeryLowBit-rateVideo)應(yīng)用在碼率為5...64kbits/s,CIF分辨率,幀頻小于15Hz的場合,例如實時多媒體通信,多媒體DB的隨機存取,快進/快退10Mb/s64kb/s碼率功能提供最基本的交互性,靈活地表示和操縱圖像中的視頻對象內(nèi)容(以壓縮形式),不必在接收端進行圖像分割和轉(zhuǎn)碼數(shù)字電視質(zhì)量的多媒體廣播或交互式檢索應(yīng)用2023/2/1MPEG-4VLBV核心編碼器

和通用編碼器GenericMPEG-4Coder

MPEG-4VLBVCoreCoder編碼過程中將VOP與背景分開處理。每個VOP的形狀、運動及紋理信息在一個VOP層獨立地編碼、存儲和傳輸.視頻對象在某一時刻（即在某一幀畫面）中的“象”稱為“視頻對象平面”(VOP)。2023/2/1VOP舉例分割出來的前景圖像只在視頻序列的第1幀畫面時傳輸1次,保存在背景緩沖器中,此后僅僅傳輸鏡頭參數(shù)即可.任意形狀視頻對象編碼的應(yīng)用在編碼前從一系列的視頻畫面中把背景圖像抽出并拼合而成2023/2/1MPEG-4視頻流的組成MPEG-4在比特流中按照大致固定的距離插入再同步標志(ResyncMarker)以增強容錯性，采用零樹小波(Zero-TreeWavelet)變換處理紋理和靜止圖象，提高了編碼效率,具有更精細的可分級性(11級)。VOP1編碼MUXVOP定義VOP2編碼VOP3編碼……視頻輸入MPEG-4視頻流背景編碼2023/2/1VOP的編碼VOP的描述：形狀(shape)、運動(motion)、紋理(texture)。MUXBuffertexturecodingmotioncompensationmotionestimationpreviousreconstructionVOP+-shapecoding

VOPofarbitraryshapeVOPofarbitraryshapeshapeinfomotioninfotextureinfo輸入VOPVOP編碼器MPEG國際標準Likealanguage,astandardservestofacilitateseamlesscommunicationbetweenmen,man-machineandmachines2023/2/1MPEG國際標準Twomajorinternationalorganizationshavebeenresponsibleforprovidingstandardsonaudio-visualcodingInternationalorganizationforstandardization(ISO)InternationalTelecommunicationUnion(ITU)2023/2/1MPEG國際標準MovingPictureExpertsGroup–MPEGISO/IECJTC1/SC29/WG11150companies&researchinstitutesUSA:AT&T,TI,Motorola,Microsoft,IBM,…Asia:Sony,JVC,Mitsubishi,Samsung,…Europe:Philips,Thomson,Siemens,CNET,…MPEGmeets3-5timesperyear2023/2/1MPEG國際標準2023/2/1MPEG國際標準MPEG-1(1992)VideoonCD-ROM(1.5Mbit/s)MPEG-2(1996)DigitalTV(5-10Mbit/s)MPEG-4(1999)MultimediaApplications(10kbit/s-10Mbit/s)MPEG-7(2001)Multimediacontentdescriptioninterface2023/2/1MPEG國際標準2023/2/1MPEG國際標準2023/2/1運動估計ForwardpredictionPredictwherethepixelsinacurrentframewereinapastframeBackwardpredictionPredictwherethepixelsinacurrentframewillgotoinafutureframe2023/2/1ForwardpredictionPreviousframeCurrentframe2023/2/1BackwordpredictionCurrentframe Futureframe2023/2/1Motionestimationrefinement2023/2/1MPEG-4keyfunctionalities2023/2/1MPEG-4keyfunctionalities2023/2/1GeneralVideoBlockDiagram2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Videoobjectplane2023/2/1Decoding2023/2/1ShapeCodingAnydatacompressionschemeconsistsoftwocomponents:MessageextractionMessagecodingMessageextractionMessagecoding2023/2/1ShapeCodingFirstgererationcodingEachpixelsrepresentsthemessagetobecoded2023/2/1ShapeCodingSecondgererationcodingApictureisrepresentedbythesetofitsconstituingobjects(orfeatures).Eachobjectrepresentsthemessagetobecoded2023/2/1ShapeCoding2023/2/1ShapeCodingAdvantagesSimilartohumanvisualsystemmechanismEasiertointeractwithobjectsinthepictureBigpotential