第三章 流媒體編解碼技術(shù)

Chapter3

流媒體編解碼技術(shù)海南大學(xué)信息學(xué)院流媒體編解碼技術(shù)MPEG簡介MPEG-1和MPEG-2標(biāo)準(zhǔn)MPEG-4視頻編碼標(biāo)準(zhǔn)MPEG-7標(biāo)準(zhǔn)MPEG-21標(biāo)準(zhǔn)H.261標(biāo)準(zhǔn)H.263標(biāo)準(zhǔn)H.263+和H.263++標(biāo)準(zhǔn)H.264標(biāo)準(zhǔn)流媒體編碼壓縮新技術(shù)3.1MPEG簡介MPEG：MovingPicturesExpertsGroup（運動圖像專家組）負(fù)責(zé)制訂適用于數(shù)字存儲媒介、電視廣播和通信等應(yīng)用場合的視頻和音頻數(shù)據(jù)的壓縮編碼標(biāo)準(zhǔn)MEPG-1，MEPG-2，MEPG-4，MEPG-7和MEPG-213.2MPEG-1和MPEG-2標(biāo)準(zhǔn)MPEG-1標(biāo)準(zhǔn)全稱：CodingofMovingPicturesandAssociatedAudioforDigitalStorageMediaatuptoabout1.5Mbp/s第一部分說明了如何根據(jù)第二部分（視頻）以及第三部分（音頻）的規(guī)定，對音頻和視頻進(jìn)行復(fù)合編碼。第四部分說明了檢驗解碼器或編碼器的輸出比特流符合前三部分規(guī)定的過程。第五部分是一個用完整的C語言實現(xiàn)的編碼和解碼器。MPEG-2標(biāo)準(zhǔn)全稱：GenericCodingofMovingPicturesandAssociatedAudioInformation3.2.1MPEG-1/-2標(biāo)準(zhǔn)中的三種編碼類型圖像I幀

AI-frameisencodedusingonlyinformationfromwithinthatframe(intracoded)--notemporalcompression(intercoded)P幀

Pframe(predictedframe)useprecedingframeasreferenceimageB幀

Bframe(bidirectionalframe)usebothprecedingframeandfollowingframeasreferenceimagesIPBBBPBBBPBBB15234967813101112AtypicalgroupofpicturesincodingorderIBBBPBBBPBBBPAtypicalgroupofpicturesindisplayorder3.2.2視頻碼流的分層結(jié)構(gòu)視頻數(shù)據(jù)經(jīng)過壓縮編碼后形成視頻基本碼流（ES）MPEG用句法規(guī)定了一個分層結(jié)構(gòu)對分層要求：支持通用性、靈活性和有效性MPEG視頻基本碼流的分層結(jié)構(gòu)從上至下依次為：視頻序列層(Sequence)，圖像組層(GOP：GroupofPicture)，圖像層(Picture)，像條層(Slice)或宏塊條（片）層，宏塊層(MacroBlock)和像塊層(Block)。

除宏塊層和像塊層外，上面四層中都有相應(yīng)的起始碼，可用于因誤碼或其它原因收發(fā)兩端失步時，解碼器重新捕捉同步。因此一次失步將至少丟失一個像條的數(shù)據(jù)。3.2.2視頻碼流的分層結(jié)構(gòu)圖像序列頭圖像組圖像組…………….圖像組序列尾圖像頭像條MBS像條MBS…………….圖像組頭圖像（I,P,B)圖像（I,P,B)…………….像條頭宏塊MB宏塊MB…………….

18×8

28×838×8

48×858×868×88×8圖像序列層圖像組層圖像層像條層（宏塊條層）宏塊層像塊層（塊層）YCRCB序列指構(gòu)成某路節(jié)目的圖像序列，序列起始碼后的序列頭中包含了圖像尺寸，寬高比，圖像速率等信息。序列擴展中包含了一些附加數(shù)據(jù)。為保證能隨時進(jìn)入圖像序列，序列頭是重復(fù)發(fā)送的。3.2.2視頻碼流的分層結(jié)構(gòu)

——序列層3.2.2視頻碼流的分層結(jié)構(gòu)

——GOP層一個圖像組由相互間有預(yù)測和生成關(guān)系的一組I、P、B圖像構(gòu)成，但頭一幀圖像總是I幀。GOP頭中包含了時間信息。問題：在兩個參考幀之間插入幾個B幀？（1）B幀數(shù)目的增加會降低B幀和參考幀之間以及參考幀與參考幀之間的相關(guān)性；（2）B幀數(shù)目的增加要求增大參考幀中運動估計的搜索范圍；B幀數(shù)目的增加會增加接收的延遲時間和要求增加接收機內(nèi)緩存器的容量；3.2.2視頻碼流的分層結(jié)構(gòu)

——圖像層包括不同編碼類型的圖像，即I、B、P幀；MPEG-1中，逐行掃描（幀格式）；MPEG-2中，逐行或隔行（場格式）掃描；PIC頭中包含了圖像編碼的類型和時間參考信息。3.2.2視頻碼流的分層結(jié)構(gòu)

——宏塊條層包括若干個連續(xù)宏塊，其順序和行掃描順序一致從一個宏塊行（16行寬）的任何一個宏塊開始MPEG-2MP@ML

中，一個宏塊條必須在同一宏塊行中起始和結(jié)束，且一個宏塊條至少包括一個宏塊比特流重新同步的基本單元3.2.2視頻碼流的分層結(jié)構(gòu)

——宏塊層運動補償預(yù)測的基本單元。MPEG算法在P幀和B幀中以宏塊為單位自適應(yīng)地選擇合適的運動補償預(yù)測模式（在I幀中全部宏塊都采用幀內(nèi)編碼模式）。P幀中的宏塊采用前向運動補償預(yù)測模式；當(dāng)預(yù)測效果不佳時，切換到幀內(nèi)編碼模式。B幀中的宏塊采用何種模式取決于哪一種模式下對該宏塊進(jìn)行編碼時所需的比特數(shù)最少。3.2.2視頻碼流的分層結(jié)構(gòu)

——宏塊層（Cont’d）MPEG-2中定義了三種宏塊結(jié)構(gòu)：4:2:0宏塊4:2:2宏塊和4:4:4宏塊，分別代表構(gòu)成一個宏塊的亮度像塊和色差像塊的數(shù)量關(guān)系。4:2:0宏塊中包含四個亮度像塊，一個Cb色差像塊和一個Cr色差像塊；4:2:2宏塊中包含四個亮度像塊，二個Cb色差像塊和二個Cr色差像塊；4:4:4宏塊中包含四個亮度像塊，四個Cb色差像塊和四個Cr色差像塊。這三種宏塊結(jié)構(gòu)實際上對應(yīng)于三種亮度和色度的抽樣方式。

3.2.2視頻碼流的分層結(jié)構(gòu)

——像塊層MPEG算法中最小的編碼單位DCT變換的基本單元MP@ML中一個像塊由8x8個抽樣值構(gòu)成同一像塊內(nèi)的抽樣值必須全部是Y信號樣值，或全部是Cb信號樣值，或全部是Cr信號樣值。

3.2.3MPEG-1/-2視頻編碼關(guān)鍵技術(shù)MPEG-1/-2視頻壓縮的原理：利用序列圖像中的空間相關(guān)性和時間相關(guān)性。空間相關(guān)性：一個像素與其周圍的某些像素在亮度和色度上存在的關(guān)系時間相關(guān)性：一個視頻序列中前后幀圖像間存在的關(guān)系采用帶運動補償?shù)膸g預(yù)測編碼和幀內(nèi)DCT編碼相結(jié)合的方案幀內(nèi)編碼與幀間編碼流程的區(qū)別：是否經(jīng)過預(yù)測環(huán)的處理3.2.3MPEG-1/-2視頻編碼關(guān)鍵技術(shù)（Cont’d）1.離散余弦變換（DCT）2.量化器3.“之”字形掃描與游程編碼4.熵編碼5.信道緩存

6.運動估計7.運動補償3.2.4MPEG-2和MPEG-1的區(qū)別1.MPEG-2定義了“Profile”和“Level”的概念規(guī)定了5個語法子集（Profile）：SimpleProfile,MainProfile,SNRScalableProfile,SpatiallyScalableProfile,HighProfile按編碼圖像的分辨率分成4個Levels：HighLevel,High-1440Level,MainLevel,LowLevelProfile規(guī)定了可以使用哪些語法因素，以及如何使用這些語法元素；Level規(guī)定了這些語法元素的取值范圍3.2.4MPEG-2和MPEG-1的區(qū)別（Cont’d）2.MPEG-2有“按幀編碼”和“按場編碼”兩種模式MPEG-1只支持逐行掃描；MPEG-2支持逐行掃描和隔行掃描，針對隔行掃描的常規(guī)電視圖像專門設(shè)置了“按幀編碼”和“按場編碼”兩種模式。MPEG-1中，宏塊被逐行地分割成像塊；MPEG-2中，逐行掃描圖像采用逐行分割方式；隔行掃描的幀圖像采用逐行分割與隔行分割兩種方式。3.2.4MPEG-2和MPEG-1的區(qū)別（Cont’d）3.MPEG-2增加了可分級性（1）空間可分級性（2）時間可分級性（3）信噪比可分級性3.3MPEG-4視頻編碼標(biāo)準(zhǔn)MPEG-4標(biāo)準(zhǔn)主要應(yīng)用于視像電話(videophone)，視像電子郵件(VideoEmail)和電子新聞(Electronicnews)等，其傳輸速率要求較低，在4800-64000bps之間，分辨率176144。MPEG-4利用很窄的帶寬，通過幀重建技術(shù)，壓縮和傳輸數(shù)據(jù)，以求以最少的數(shù)據(jù)獲得最佳的圖象質(zhì)量。與MPEG-1和MPEG-2相比，MPEG-4的特點是其更適于交互AV服務(wù)以及遠(yuǎn)程監(jiān)控。MPEG-4是第一個使你由被動變?yōu)橹鲃?即有交互性)的動態(tài)圖象標(biāo)準(zhǔn)。從根源上說，MPEG-4試圖將自然物體與人造物體相溶合(視覺效果意義上的)。MPEG-4的設(shè)計目標(biāo)還有更廣的適應(yīng)性和可擴展性。MPEG-4編解碼的基本思想是基于圖像內(nèi)容的第二代視頻編解碼方案，并將基于合成的編碼方案也結(jié)合在標(biāo)準(zhǔn)中。它根據(jù)圖像的內(nèi)容將圖像分割成不同的視頻對象VO（VideoObject），在編碼過程中對前景對象和后景對象采用不同的編碼策略，對于人們所關(guān)心的前景對象，則盡可能的保持對象的細(xì)節(jié)及平滑，而對不大關(guān)心的后景對象采用大壓縮比的編碼策略。MPEG-4VOPMPEG-124比較MPEG-1MPEG-2MPEG-4開始成為標(biāo)準(zhǔn)的年份199219951999最大分辨率352x2881920x1152720x576預(yù)設(shè)分辨率(PAL)352x288720x576720x576預(yù)測分辨率(NTSC)352x288640x480640x480最大音頻范圍48kHz96kHz96kHz最多聲道數(shù)目288最大傳輸速率3Mbit/秒80Mbit/秒5至10Mbit/秒常用的傳輸速率1380kbit/s(352x288)6500kbit/s(720x576)880kbit/s(720x576)幀率(PAL)252525幀率(NTSC)303030主觀質(zhì)量滿意很好好至很好編碼的硬件要求低高很高解碼的硬件要求很低中等高M(jìn)PEG-4應(yīng)用舉例DivX&XviD數(shù)年前，在PC上能用的唯一MPEG-4編碼器是由微軟開發(fā)的，包括MSMPEG4V1、MSMPEG4V2、MSMPEG4V3系列編碼不過V1和V2的編碼質(zhì)量并不太好，直到MSMPEG4V3開始，畫面質(zhì)量有了明顯的改善不過微軟卻決定僅將MSMPEG4V3的視頻編碼核心算法封裝在WindowsMedia流媒體技術(shù)中，也就是我們熟知的ASF文件中電影駭客很快便有小組,修改了微軟的MSMPEG4V3，解除了不能用於AVI文件的限制，并開放了其中一些壓縮參數(shù)，也就誕生了我們今天所熟悉的MPEG4編碼器DivX3.11…DivX4,DivX5歷經(jīng)波折….發(fā)展出了XviD現(xiàn)在的XviD

更可以說超越了DivX5,以更好的質(zhì)量,更強的功能挑戰(zhàn)新一代的MPEG4應(yīng)用MPEG-4應(yīng)用舉例MP4：一種可包含大量多媒體的文件容器格式MP4被定義為MPEG4part1系統(tǒng)部份，其可支持所有的多媒體內(nèi)容(video,audio,subtitle,pictures)

、使用者互動MP4內(nèi)容可延伸至下列形式:.mp4.mp4v,.m4v–原始mpeg-4videostreams.m4a–存儲AppleiTunesaudioonly.m4p-AppleforDRMprotectedfiles;.3gp,.3g2–用於3GmobilephonesMP4可包含的多媒體文件

視頻：MPEG-4(XviD,DivX5,3ivx,ffmpeg/ffvfw,NeroDigital,H.264/AVC),MPEG-2,MPEG-1,...無法使用于MSMPEG-4,MPEG-4DivX3,WM9(WindowsMedia9),RV9(RealVideo9)...音頻：MP3,AAC,MP2,MP1,TwinVQ,…無法使用于OGGVorbis,Voxware

Metasound,...圖像：JPEG,PNG常見的MPEG-4應(yīng)用設(shè)備VideoiPod音頻：AAC、ProtectedAAC（iTunes

）、MP3、MP3VBR、Audible、AppleLossless、WAV、AIFF照片：JPEG、BMP、GIF、TIFF、PSD（僅限Mac）和PNG格式視頻支持格式：H.264(768Kbps，320x240,30fps)音頻格式：.m4v,.mp4與

.movMPEG-4視頻影片：最高可達(dá)

2.5Mbps，480x480，每秒30影格MP4影音播放器音頻格式：MP3,WMA,OGG,AC3視頻格式：AVI,MPEG1,MPEG2,MPEG4,VOB,DAT

圖片格式：JPG,最大YUV4800*3600pixels,支援圖片瀏覽功能常見的MPEG-4應(yīng)用設(shè)備DVD播放器支持播放文件格式：影片：MPEG4、DivX、Mpeg-2、Mpeg-1照片：JPEG、可達(dá)相片光碟音樂:CD、MP3文件DV攝像機影像文件格式：ASF(MPEG-4相容)常見的MPEG-4應(yīng)用設(shè)備3G手機音樂播放器：MP3,AAC鈴聲種類：MIDI,AAC,MP3圖片支持格式：JPEG影片播放格式：3GP錄像格式：3GP3.4MPEG-7標(biāo)準(zhǔn)ISO/IEC15938

正式名稱：多媒體內(nèi)容描述接口（MultimediaContentDescriptionInterface）是一種多媒體內(nèi)容描述的標(biāo)準(zhǔn)，而非信息壓縮編碼標(biāo)準(zhǔn)定義了描述符、描述語言和描述方案，以便于處理多媒體內(nèi)容主要目標(biāo)是對多媒體信息內(nèi)容進(jìn)行各種標(biāo)準(zhǔn)化的描述和有效的檢索3.4MPEG-7標(biāo)準(zhǔn)

——應(yīng)用1.“拉”應(yīng)用（1）視頻數(shù)據(jù)庫的存儲和檢索（2）專業(yè)媒體制作方面的圖片和視頻提交（3）商業(yè)音樂應(yīng)用（卡拉OK和音樂銷售）（4）聲音效果庫（5）歷史語言數(shù)據(jù)庫（6）通過聽覺事件進(jìn)行電影場景檢索（7）商標(biāo)庫的注冊和檢索3.4MPEG-7標(biāo)準(zhǔn)

——應(yīng)用2.“推”應(yīng)用（1）用戶代理驅(qū)動的媒體選擇和過濾（2）個性化電視服務(wù)（3）智能多媒體表現(xiàn)（4）個性化瀏覽、過濾和搜索（5）特殊的信息存取3.4MPEG-7標(biāo)準(zhǔn)

——應(yīng)用3.特殊的專業(yè)應(yīng)用和控制應(yīng)用（1）遠(yuǎn)程購物（2）醫(yī)學(xué)應(yīng)用（3）遙感應(yīng)用（4）教育應(yīng)用（5）監(jiān)測應(yīng)用（6）基于視覺的控制3.5MPEG-21標(biāo)準(zhǔn)ISO/IEC21000正式名稱：多媒體框架（MultimediaFramework）。其制訂工作于2000年6月開始。創(chuàng)建一個開放的多媒體傳輸和消費的框架，通過將不同的協(xié)議、標(biāo)準(zhǔn)和技術(shù)結(jié)合在一起，使用戶可以通過現(xiàn)有的各種網(wǎng)絡(luò)和設(shè)備透明地使用網(wǎng)絡(luò)上的多媒體資源。MPEG-21中的用戶可以是任何個人、團體、組織、公司、政府和其它主體，在MPEG-21中，用戶在數(shù)字項的使用上擁有自己的權(quán)力，包括用戶出版/發(fā)行內(nèi)容的保護、用戶的使用權(quán)和用戶隱私權(quán)等。3.5MPEG-21標(biāo)準(zhǔn)（Cont’d）包括7個基本要素：數(shù)字項聲明（DigitalItemDeclaration），數(shù)字項識別和描述，內(nèi)容處理和使用，知識產(chǎn)權(quán)管理和保護，終端和網(wǎng)絡(luò)，內(nèi)容表示，事件報告。數(shù)字項是MPEG-21框架中的基本單元，它由資源、原數(shù)據(jù)（metadata）和結(jié)構(gòu)共同組成，是一個帶有標(biāo)準(zhǔn)化的結(jié)構(gòu)化數(shù)字對象。要素中的資源包括采用MPEG-1、MPEG-2、MPEG-4標(biāo)準(zhǔn)的多媒體信息。通過數(shù)字項的定義，MPEG-21集成了MPEG系列的其它標(biāo)準(zhǔn)，因此MPEG-21是建立在其它標(biāo)準(zhǔn)的基礎(chǔ)之上的。3.5MPEG-21標(biāo)準(zhǔn)（Cont’d）支持以下功能：內(nèi)容創(chuàng)建，內(nèi)容生產(chǎn)，內(nèi)容分配，內(nèi)容的消費和使用，內(nèi)容的分組，知識產(chǎn)權(quán)管理和保護，內(nèi)容識別和描述，用戶權(quán)限，終端和網(wǎng)絡(luò)資源提取，內(nèi)容表示和事件報告等。從商業(yè)內(nèi)容和與內(nèi)容相關(guān)服務(wù)的前景等角度開發(fā)同已有的其它MPEG系列標(biāo)準(zhǔn)等進(jìn)行適當(dāng)結(jié)合，從而使用戶對視頻、音頻的處理更加方便和有效，最終為多媒體信息的用戶在全球范圍內(nèi)提供透明而有效的視頻通信應(yīng)用環(huán)境。MPEG-21的出臺可以將現(xiàn)有的標(biāo)準(zhǔn)統(tǒng)一起來，消費者將可以自由使用音視頻內(nèi)容而不被不兼容的格式、編解碼器、媒體數(shù)據(jù)類型及諸如此類的東西所干擾。3.6H.261標(biāo)準(zhǔn)正式名稱：P×64Kb/s（P=1~30）視聽業(yè)務(wù)的視頻編解碼器;P＝1或2時，僅支持QCIF的輸入圖像格式，用于幀頻低的可視電話；P≥6時，支持CIF(Common

Intermediate

Format)的輸入圖像格式的會議電視;利用CIF格式，可使各國使用的不同制式的電視信號變換為通用中間格式，然后輸入給編碼器，從而使編碼器本身考慮信號是來自哪種制式的。核心：采用帶有運動補償?shù)念A(yù)測編碼以及基于DCT的變換編碼相結(jié)合的混合編碼方法3.6H.261標(biāo)準(zhǔn)（Cont’d）3.6.1視頻編碼器原理3.6.2視頻數(shù)據(jù)復(fù)用格式3.6.3壓縮編碼模式基本判決準(zhǔn)則：哪一種模式給出較小的編碼比特，就采用這種模式。運動估計以16×16像素的宏塊為單位進(jìn)行，搜索范圍為±15。采用全搜索的塊匹配算法計算運動矢量。使用二維空域濾波器對8×8預(yù)測塊內(nèi)的像素進(jìn)行操作，可以改進(jìn)預(yù)測過程。3.6.4量化編碼32個線性量化器一個用于幀內(nèi)DCT變化的直流分量；其余31個用于交流分量。除幀內(nèi)DCT的直流分量，一個宏塊內(nèi)使用同一個量化器。幀內(nèi)直流分量是一個量化步長為8的線性量化器，其余31個量化器的量化步長為2，4，…，62。量化器的選擇由編碼控制器決定。DCT變換后的8×8系數(shù)塊中的各個系數(shù)按“之”字型掃描，便于量化后編碼。3.7H.263標(biāo)準(zhǔn)是ITU-T為低碼率會議電視/可視電話系統(tǒng)制定的視頻編碼標(biāo)準(zhǔn)支持的輸入圖像格式：Sub-QCIF（128×96）、QCIF、CIF、4CIF或者16CIF的彩色4:2:0亞取樣圖像8×8DCT變換宏塊使用相同的量化步長一個宏塊使用一個運動矢量；或宏塊的每個子塊各使用一個運動矢量

——塊運動補償能力，改善幀間預(yù)測采用半像素精度的運動補償3.7H.263標(biāo)準(zhǔn)（Cont’d）與H.261相比，增加的壓縮編碼模式：（1）無限制的運動矢量模式（2）基于句法的算術(shù)編碼模式（3）先進(jìn)的預(yù)測模式（4）PB-幀模式3.8H.263+和H.263++標(biāo)準(zhǔn)H.263+允許更大范圍的圖像輸入格式，自定義了圖像的尺寸，從而拓寬了標(biāo)準(zhǔn)使用的范圍，使之可以處理基于視窗的計算機圖像、更高幀頻的圖像序列及寬屏圖像。為提高壓縮效率：采用先進(jìn)的幀內(nèi)編碼模式；增強的PB-幀模式改進(jìn)了H.263的不足，增強了幀間預(yù)測的效果；去塊效應(yīng)濾波器不僅提高了壓縮效率，且提供重建圖像的主觀質(zhì)量。為適應(yīng)網(wǎng)絡(luò)傳輸：增加了時間分級、信噪比和空間分級，對在噪聲信道和存在大量包丟失的網(wǎng)絡(luò)中傳送視頻信號很有意義。另外，片結(jié)構(gòu)模式、參考幀選擇模式增強了視頻傳輸?shù)目拐`碼能力。3.8H.263+和H.263++標(biāo)準(zhǔn)（Cont’d）H.263++在H.263+基礎(chǔ)上增加了3個選項，主要是為了增強碼流在惡劣信道上的抗誤碼性能，同時也為了提高編碼效率。選項U：增強型參考幀選擇；能夠提供增強的編碼效率和信道錯誤再生能力（特別是在包丟失的情形下），需要設(shè)計多緩沖區(qū)用于存儲多參考幀圖像。選項V：數(shù)據(jù)分片；能夠提供增強型的抗誤碼能力（特別是在傳輸過程中本地數(shù)據(jù)被破壞的情況下），通過分流視頻碼流中DCT的系數(shù)頭和運動矢量數(shù)據(jù)，采用可逆編碼方式保護運動矢量。選項W：在H.263+的碼流中增加補充信息，保證增強型的反向兼容性。3.9H.264標(biāo)準(zhǔn)

——概述由ITU-T的視頻編碼專家組（VCEG）與ISO/IEC的MPEG組成的聯(lián)合視頻工作組（JVT）共同制定的新一代視頻壓縮編碼標(biāo)準(zhǔn)。設(shè)計方案包含：視頻編碼層（VCL）和網(wǎng)絡(luò)抽象層（NAL）。3.9H.264標(biāo)準(zhǔn)

——特點編碼效率高對信道時延的適應(yīng)性較強在編/解碼器中采用復(fù)雜度可分級設(shè)計，支持不同網(wǎng)絡(luò)資源下的分級編碼傳輸容錯能力強網(wǎng)絡(luò)的適應(yīng)性強3.9.1H.264的主要特性

——高編碼效率1.運動補償預(yù)測（1）不同大小和形狀的宏塊分割（2）高精度的亞像素運動預(yù)測（3）多參考幀的運動補償（4）自適應(yīng)去方塊效應(yīng)濾波器（5）運動補償預(yù)測的其他特性3.9.1H.264的主要特性

——高編碼效率（Cont’d）2.4×4整數(shù)變換3.基于空域預(yù)測的幀內(nèi)編碼4.量化5.基于上下文的熵編碼3.9.1H.264的主要特性

——強容錯能力和網(wǎng)絡(luò)適應(yīng)性1.參數(shù)集結(jié)構(gòu)2.NAL單元語法結(jié)構(gòu)3.靈活的像條大小4.靈活的宏塊排序（FMO）5.任意像條排序6.冗余圖像7.數(shù)據(jù)分割FramepartitionsMacroblockpartitions16x16blocks8x8blocks4x4blocks例：幀和宏塊的劃分宏塊的劃分總結(jié)：基本視頻編碼標(biāo)準(zhǔn)3.10流媒體編碼壓縮新技術(shù)1.高效的編碼技術(shù)媒體系統(tǒng)中的多媒體數(shù)據(jù)要通過網(wǎng)絡(luò)來傳輸給用戶，高效的編碼技術(shù)可以降低流媒體系統(tǒng)對網(wǎng)絡(luò)帶寬的要求。目前標(biāo)準(zhǔn)化和商業(yè)化的視頻編碼技術(shù)都是基于運動補償和DCT變換的。運動估計和補償模塊用來消除相鄰圖像間的冗余信息，熵編碼模塊用來消除編碼信號的冗余性，變換量化模塊根據(jù)人的視覺系統(tǒng)對視頻信號的細(xì)微變化的不敏感性丟失部分信息，從而提高壓縮比。3.10流媒體編碼壓縮新技術(shù)（Cont’d）2.可伸縮性編碼技術(shù)在流媒體應(yīng)用中需要解決的一個基本問題是網(wǎng)絡(luò)帶寬的波動。有效方法是采用可伸縮性的視頻編碼，以提供移動的使用網(wǎng)絡(luò)帶寬變化的能力。3.多媒體標(biāo)準(zhǔn)技術(shù)標(biāo)準(zhǔn)的制定和執(zhí)行確保不同廠家和服務(wù)商之間可以互通互聯(lián)；標(biāo)準(zhǔn)里的知識產(chǎn)權(quán)是商家必爭之處。4.對等網(wǎng)絡(luò)技術(shù)（P2P）通過P2P技術(shù)，除了和服務(wù)器外，每個用戶可以共享他的文件或信息給其他用戶。TheEnd濾波的基本思想如果塊邊沿的絕對差值相對比較大，出現(xiàn)塊人工瑕疵的可能性就很大，因此需要進(jìn)行相應(yīng)處理。然而，如果差值幅度很大，編碼量化過程的誤差不能解釋，邊沿很可能反映了源圖像的實際樣值，不需處理。環(huán)濾波對塊效應(yīng)的消除4489Bytes,33.77dB

4489Bytes,34.18dB補：幀內(nèi)編碼與幀間編碼流程的區(qū)別

在幀內(nèi)編碼的情況下，編碼圖像僅經(jīng)過DCT，量化器和比特流編碼器即生成編碼比特流，而不經(jīng)過預(yù)測環(huán)處理。DCT直接應(yīng)用于原始的圖像數(shù)據(jù)。

在幀間編碼的情況下，原始圖像首先與幀存儲器中的預(yù)測圖像進(jìn)行比較，計算出運動矢量，由此運動矢量和參考幀生成原始圖像的預(yù)測圖像。而后，將原始圖像與預(yù)測像素差值所生成的差分圖像數(shù)據(jù)進(jìn)行DCT變換，再經(jīng)過量化器和比特流編碼器生成輸出的編碼比特流。

1、離散余弦變換DCT

DCT是一種空間變換，在MPEG-2中DCT以8x8的像塊為單位進(jìn)行，生成的是8x8的DCT系數(shù)數(shù)據(jù)塊。DCT變換的最大特點是對于一般的圖像都能夠?qū)⑾駢K的能量集中于少數(shù)低頻DCT系數(shù)上，即生成8x8DCT系數(shù)塊中，僅左上角的少量低頻系數(shù)數(shù)值較大，其余系數(shù)的數(shù)值很小，這樣就可能只編碼和傳輸少數(shù)系數(shù)而不嚴(yán)重影響圖像質(zhì)量。

DCT不能直接對圖像產(chǎn)生壓縮作用，但對圖像的能量具有很好的集中效果，為壓縮打下了基礎(chǔ)。

2、量化器

量化是針對DCT變換系數(shù)進(jìn)行的，量化過程就是以某個量化步長去除DCT系數(shù)。量化步長的大小稱為量化精度，量化步長越小，量化精度就越細(xì)，包含的信息越多，但所需的傳輸頻帶越高。不同的DCT變換系數(shù)對人類視覺感應(yīng)的重要性是不同的，因此編碼器根據(jù)視覺感應(yīng)準(zhǔn)則，對一個8x8的DCT變換塊中的64個DCT變換系數(shù)采用不同的量化精度，以保證盡可能多地包含特定的DCT空間頻率信息，又使量化精度不超過需要。DCT變換系數(shù)中，低頻系數(shù)對視覺感應(yīng)的重要性較高，因此分配的量化精度較細(xì)；高頻系數(shù)對視覺感應(yīng)的重要性較低，分配的量化精度較粗，通常情況下，一個DCT變換塊中的大多數(shù)高頻系數(shù)量化后都會變?yōu)榱恪?/p>

3、之型掃描與游程編碼

DCT變換產(chǎn)生的是一8x8的二維數(shù)組，為進(jìn)行傳輸，還須將其轉(zhuǎn)換為一維排列方式。有兩種二維到一維的轉(zhuǎn)換方式，或稱掃描方式：之型掃描(Zig-Zag)和交替掃描，其中之型掃描是最常用的一種。由于經(jīng)量化后，大多數(shù)非零DCT系數(shù)集中于8x8二維矩陣的左上角，即低頻分量區(qū)，之型掃描后，這些非零DCT系數(shù)就集中于一維排列數(shù)組的前部，后面跟著長串的量化為零的DCT系數(shù)，這些就為游程編碼創(chuàng)造了條件。

3、之型掃描與游程編碼

游程編碼中，只有非零系數(shù)被編碼。一個非零系數(shù)的編碼由兩部分組成：前一部分表示非零系數(shù)前的連續(xù)零系數(shù)的數(shù)量(稱為游程)，后一部分是