數(shù)字視頻3精選課件

第5章數(shù)字視頻(3)2022/11/221南京大學(xué)多媒體技術(shù)研究所第5章數(shù)字視頻(3)2022/10/111南京大學(xué)多媒內(nèi)容1.MPEG概述2.MPEG-1視頻的編碼3.MPEG-1視頻的解碼2022/11/222南京大學(xué)多媒體技術(shù)研究所內(nèi)容1.MPEG概述2022/10/112南京大學(xué)多1.MPEG概述2022/11/223南京大學(xué)多媒體技術(shù)研究所1.MPEG概述2022/10/113南京大學(xué)多媒體技術(shù)研視頻壓縮編碼的標(biāo)準(zhǔn)ITU-T標(biāo)準(zhǔn)用于ISDN視頻會(huì)議的H.261(Px64)標(biāo)準(zhǔn)用于PSTN可視電話的H.263標(biāo)準(zhǔn)用于ATM/B-ISDN視頻會(huì)議的H.262標(biāo)準(zhǔn)ISO/IEC國(guó)際標(biāo)準(zhǔn)用于VCD的ISO11172(MPEG-1video)標(biāo)準(zhǔn)用于數(shù)字電視和DVD的ISO/IEC13818(MPEG-2video)標(biāo)準(zhǔn)用于交互式多媒體應(yīng)用的視聽(tīng)編碼標(biāo)準(zhǔn)MPEG-4企業(yè)(公司)標(biāo)準(zhǔn):AVI,QuickTime,RealVideo2022/11/224南京大學(xué)多媒體技術(shù)研究所視頻壓縮編碼的標(biāo)準(zhǔn)ITU-T標(biāo)準(zhǔn)2022/10/114南京大視頻壓縮編碼的國(guó)際標(biāo)準(zhǔn)ITU-TJointITU-T/MPEGMPEGH.261H.263H.263+H.263++H.262/MPEG-2H.26LMPEG-1MPEG-4

8486889092949698000204MPEG-72022/11/225南京大學(xué)多媒體技術(shù)研究所視頻壓縮編碼的國(guó)際標(biāo)準(zhǔn)ITU-TJointMPEGH.261MPEG-1標(biāo)準(zhǔn)MPEG-1標(biāo)準(zhǔn)(ISO/IEC11172).1992年發(fā)布。 用于1.5Mbps數(shù)據(jù)傳輸率的運(yùn)動(dòng)圖像及其伴音的編碼。主要應(yīng)用于VCD，MP3音樂(lè)等.MPEG-1在JPEG和H.261等優(yōu)秀標(biāo)準(zhǔn)的基礎(chǔ)上,對(duì)參加競(jìng)爭(zhēng)的14個(gè)方案,通過(guò)反復(fù)協(xié)調(diào)而得到統(tǒng)一,從而成為先進(jìn)、合理、質(zhì)量高、成本低的優(yōu)秀標(biāo)準(zhǔn).MPEG-1促進(jìn)了大規(guī)模集成電路專用芯片的發(fā)展,為多媒體技術(shù)和產(chǎn)品的繁榮立下了功勞。2022/11/226南京大學(xué)多媒體技術(shù)研究所MPEG-1標(biāo)準(zhǔn)MPEG-1標(biāo)準(zhǔn)(ISO/IEC11172MPEG-1:一系列“第一”第一個(gè)集成的視頻/音頻標(biāo)準(zhǔn):ISO/IEC11172-1(Systems),-2(Video),-3(Audio)第一個(gè)定義“接收者”而不是“傳送者”的視音頻標(biāo)準(zhǔn)第一個(gè)與視頻格式無(wú)關(guān)的編碼標(biāo)準(zhǔn)

(NTSC/PAL/SECAM)第一個(gè)由幾乎所有相關(guān)視/音頻企業(yè)聯(lián)合制定的標(biāo)準(zhǔn)第一個(gè)純軟件標(biāo)準(zhǔn)第一個(gè)包含軟件實(shí)施的標(biāo)準(zhǔn)2022/11/227南京大學(xué)多媒體技術(shù)研究所MPEG-1:一系列“第一”第一個(gè)集成的視頻/音頻標(biāo)準(zhǔn)MPEG-1的評(píng)價(jià)(應(yīng)用)VideoCD(severaltensmillionplayerssoldinPRofChina)“The”formatofaudioandvideoforPCWindows95/NT/98containanMPEG-1softwaredecoderMPEG-1Audio(recently,layer3)iswidelyusedforWebmusicDigitalAudioBroadcasting(DAB)utilisesMPEG-1Audio(adoptedinEuropeandCanada)LightweightMPEG-1videocamerasareonsale2022/11/228南京大學(xué)多媒體技術(shù)研究所MPEG-1的評(píng)價(jià)(應(yīng)用)VideoCD(severMPEG-1Requirements(在大約1.5Mb/s數(shù)碼率的情況下,獲得質(zhì)量可接受的A/V信息;適合于CD-ROM,DAT,硬盤,可寫光盤等數(shù)字存儲(chǔ)介質(zhì);可在N-ISDN、LAN等通信網(wǎng)絡(luò)上傳輸)1randomaccess2fastforward/backwardsearch3reverseplayback4A/Vsynchronization5robustnesstoerrors6smallencoding/decodingdelay7editability8formatflexibility9costtradeoff2022/11/229南京大學(xué)多媒體技術(shù)研究所MPEG-1Requirements(在大約1.5Mb/sMPEG-1的內(nèi)容ISO/IEC11172-1:

system－－audio,video,data等如何組織成一個(gè)復(fù)合的比特流;如何同步等.ISO/IEC11172-2:

video－－video信號(hào)的壓縮編碼ISO/IEC11172-3:

audio－－audio信號(hào)的壓縮編碼ISO/IEC11172-4:

Conformancetesting－－MPEG-1的一致性測(cè)試ISO/IEC11172-5:

Softwaresimulation－－MPEG-1軟件模擬2022/11/2210南京大學(xué)多媒體技術(shù)研究所MPEG-1的內(nèi)容ISO/IEC11172-1:systMPEG-2標(biāo)準(zhǔn)MPEG-2標(biāo)準(zhǔn)(ISO/IEC13818).1994年發(fā)布。 主要針對(duì)數(shù)字電視特別是高清晰度電視(HDTV)的視頻及伴音信號(hào)，典型傳輸速率為10Mbps，與MPEG-1兼容，適用于1.5Mbps～60Mbps甚至更高速率的編碼范圍。

2022/11/2211南京大學(xué)多媒體技術(shù)研究所MPEG-2標(biāo)準(zhǔn)MPEG-2標(biāo)準(zhǔn)(ISO/IEC13818MPEG-2標(biāo)準(zhǔn)（續(xù)）以MPEG-2作為視音頻壓縮標(biāo)準(zhǔn)的數(shù)字衛(wèi)星電視已在歐美形成了很大市場(chǎng)；美國(guó)高級(jí)電視聯(lián)盟(ATVGrandAlliance)和歐洲數(shù)字視頻廣播計(jì)劃(DigitalVideoBroadcastProject)先后決定將MPEG-2用于高清晰度電視(HDTV)廣播中;新一代的數(shù)字視盤DVD采用MPEG-2作為其視音頻壓縮標(biāo)準(zhǔn)(注:歐、美、日在視頻方面采用MPEG-2標(biāo)準(zhǔn),而在音頻方面則采用AC-3標(biāo)準(zhǔn))。2022/11/2212南京大學(xué)多媒體技術(shù)研究所MPEG-2標(biāo)準(zhǔn)（續(xù)）以MPEG-2作為視音頻壓縮標(biāo)準(zhǔn)的數(shù)MPEG-2的評(píng)價(jià)(應(yīng)用)SeveraltensofmillionsettopboxesforsatelliteandcablehavebeensoldDigitaltelevisionVHF/UHFbroadcastingMorethanxxxmillionDVDplayerssoldTheMPEG-24:2:2profileisbeingadoptedinthetelevisionproductionindustryMPEG-2hascreatedtheentirelynewdigitaltelevisionindustryworth~30billionUSD2022/11/2213南京大學(xué)多媒體技術(shù)研究所MPEG-2的評(píng)價(jià)(應(yīng)用)SeveraltensofmMPEG-4標(biāo)準(zhǔn)MPEG-4標(biāo)準(zhǔn)(ISO/IECl4496).“Codingofaudio-visualobjects”

2019年5月形成國(guó)際標(biāo)準(zhǔn)(版本1),2019-2019形成版本2，是一種基于對(duì)象的視(音)頻編碼標(biāo)準(zhǔn),目標(biāo)是支持各種多媒體應(yīng)用(主要側(cè)重于對(duì)多媒體信息內(nèi)容的訪問(wèn))主要目標(biāo)compressionandmanipulationofaudioandvisualobjects,thewebpageparadigmappliedtoaudioandvideo!2022/11/2214南京大學(xué)多媒體技術(shù)研究所MPEG-4標(biāo)準(zhǔn)MPEG-4標(biāo)準(zhǔn)(ISO/IECl44MPEG-7標(biāo)準(zhǔn)MPEG-7標(biāo)準(zhǔn)(ISO/IECl5938).

2019年9月形成。它是“多媒體內(nèi)容描述接口”(MultimediaContentDescriptionInterface)的標(biāo)準(zhǔn),該標(biāo)準(zhǔn)將確定各種類型的多媒體信息的標(biāo)準(zhǔn)描述方法,可應(yīng)用于數(shù)字圖書館、各種多媒體目錄服務(wù)、廣播媒體的選擇，以及多媒體編輯等領(lǐng)域。2022/11/2215南京大學(xué)多媒體技術(shù)研究所MPEG-7標(biāo)準(zhǔn)MPEG-7標(biāo)準(zhǔn)(ISO/IECl593MPEG-21標(biāo)準(zhǔn)MPEG-21標(biāo)準(zhǔn).

(MultimediaFramework) 多媒體框架標(biāo)準(zhǔn)適合于多種應(yīng)用領(lǐng)域的各種類型用戶對(duì)各種類型內(nèi)容的傳送和使用，可通過(guò)大范圍的網(wǎng)絡(luò)和設(shè)備允許對(duì)多媒體資源的透明和增強(qiáng)使用2022/11/2216南京大學(xué)多媒體技術(shù)研究所MPEG-21標(biāo)準(zhǔn)MPEG-21標(biāo)準(zhǔn).(Multimed2MPEG-1視頻的編碼2022/11/2217南京大學(xué)多媒體技術(shù)研究所2MPEG-1視頻的編碼2022/10/1117南京大學(xué)視頻壓縮編碼概述2022/11/2218南京大學(xué)多媒體技術(shù)研究所視頻壓縮編碼概述2022/10/1118南京大學(xué)多媒體技術(shù)研視頻流碼率的計(jì)算寬:

pixels(160,320,640,720,1280,1920,…)長(zhǎng):

pixels(120,240,480,485,720,1080,…)量化位數(shù):bits (1,4,8,15,16,24,…)fps:

framespersecond(5,15,20,24,30,…)壓縮率: (1,6,24,…)長(zhǎng)×寬×量化位數(shù)×fps壓縮率=bits/sec2022/11/2219南京大學(xué)多媒體技術(shù)研究所視頻流碼率的計(jì)算寬:pixels(160,320,視頻數(shù)據(jù)量(壓縮前，ingigabytes)（3bytes/pixel,30frames/sec）640x480320x240160x1201280x720(壓縮后，每小時(shí)的數(shù)據(jù)量，inmegabytes)2022/11/2220南京大學(xué)多媒體技術(shù)研究所視頻數(shù)據(jù)量(壓縮前，ingigabytes)（3byte視頻應(yīng)用與碼率、分辨率的關(guān)系分辨率碼率(Mb/s)HDTVCCIR601CIF/SIFQCIF012…6…20…MPEG-1H.261MPEG-22022/11/2221南京大學(xué)多媒體技術(shù)研究所視頻應(yīng)用與碼率、分辨率的關(guān)系分辨率碼率(Mb/s)HDTVC視頻數(shù)據(jù)壓縮編碼的依據(jù)每一幀畫面內(nèi)部的信息有很強(qiáng)的相關(guān)性;相鄰畫面之間有高度的相容性;運(yùn)動(dòng)可以估測(cè)（MotionEstimation）;人眼的視覺(jué)特性有利于數(shù)據(jù)的壓縮.2022/11/2222南京大學(xué)多媒體技術(shù)研究所視頻數(shù)據(jù)壓縮編碼的依據(jù)每一幀畫面內(nèi)部的信息有很強(qiáng)的相關(guān)性;2視頻壓縮編碼技術(shù)的評(píng)價(jià)準(zhǔn)則碼率(bitrate)重建圖像的質(zhì)量編碼/解碼延時(shí)錯(cuò)誤修復(fù)能力算法復(fù)雜程度2022/11/2223南京大學(xué)多媒體技術(shù)研究所視頻壓縮編碼技術(shù)的評(píng)價(jià)準(zhǔn)則碼率(bitrate)2022/1MPEG-1視頻壓縮的基本方法①在空間域: 采用JPEG(JointPhotographicExpertsGroup)壓縮算法來(lái)去掉畫面內(nèi)部的冗余信息。②在時(shí)間域: 采用運(yùn)動(dòng)補(bǔ)償(motioncompensation)算法來(lái)去掉畫面之間的冗余信息。2022/11/2224南京大學(xué)多媒體技術(shù)研究所MPEG-1視頻壓縮的基本方法①在空間域:2022/10/MPEG-1視頻編/解碼總框圖預(yù)處理壓縮編碼存儲(chǔ)和/或傳輸解碼數(shù)字視頻CCIR601后處理顯示2022/11/2225南京大學(xué)多媒體技術(shù)研究所MPEG-1視頻編/解碼總框圖預(yù)處理壓縮編碼存儲(chǔ)解碼數(shù)字視頻預(yù)處理與畫面分類2022/11/2226南京大學(xué)多媒體技術(shù)研究所預(yù)處理與畫面分類2022/10/1126南京大學(xué)多媒體技術(shù)研CCIR601(PAL)的預(yù)處理亞采樣濾波器13031U,V//8-29088138880-29Y//256i-3i-2i-1ii+1i+2i+3720x576360x576720x288360x288180x288YU,V360x288(SIF)180x144(SIF)2022/11/2227南京大學(xué)多媒體技術(shù)研究所CCIR601(PAL)的預(yù)處理亞采樣濾波器13031U,MPEG-1畫面預(yù)處理中的亞采樣1使用濾波器對(duì)亮度（色度）象素進(jìn)行平滑處理：-29088138880-29Y//256i-3i-2i-1ii+1i+2i+31331U,V//8亞采樣前：101220303515191111192645809092902采用亞采樣降低分辨率5923//256=23平滑處理：亞采樣后:1232239124995922022/11/2228南京大學(xué)多媒體技術(shù)研究所MPEG-1畫面預(yù)處理中的亞采樣1使用濾波器對(duì)亮度（色度）畫面的分類Intra-picture(I畫面)

不需要參考其它畫面而獨(dú)立進(jìn)行壓縮編碼的畫面;Predicted-picture(P畫面)

參考前面已編碼的I或P畫面進(jìn)行預(yù)測(cè)編碼的畫面;Bidirectional-picture(B畫面)

既參考前面的I或P畫面、又參考后面的I或P畫面進(jìn)行雙向預(yù)測(cè)編碼的畫面DCcoefficient-picture(D畫面)

僅使用畫面中每個(gè)塊的DC系數(shù)進(jìn)行編碼,用作正/反向快速搜索.單獨(dú)進(jìn)行編碼與存儲(chǔ)(僅MPEG-1使用)。2022/11/2229南京大學(xué)多媒體技術(shù)研究所畫面的分類Intra-picture(I畫面)2022MPEG的畫面組(GOP)視頻畫面序列被分成一個(gè)一個(gè)畫面組(GrupeOfPictures,GOP)GOP中的畫面數(shù)目一般為10－15.每個(gè)GOP中至少包含一個(gè)I畫面，可沒(méi)有B畫面,甚至沒(méi)有P畫面2022/11/2230南京大學(xué)多媒體技術(shù)研究所MPEG的畫面組(GOP)視頻畫面序列被分成一個(gè)一個(gè)畫面組畫面的重新排序畫面的顯示順序是:IBBPBBPBBP

12345678910

畫面的編碼順序是:IPBBPBBPBB

1

4237

561089因此,每一個(gè)GOP中的畫面在編碼前和解碼后都必須重排序BBPBBPIB12345678910例BGOP(GroupofPictures)P2022/11/2231南京大學(xué)多媒體技術(shù)研究所畫面的重新排序畫面的顯示順序是:IBBP編碼器結(jié)構(gòu)及I畫面的處理2022/11/2232南京大學(xué)多媒體技術(shù)研究所編碼器結(jié)構(gòu)及I畫面的處理2022/10/1132南京大學(xué)多媒調(diào)節(jié)器SIF格式的視頻畫面畫面緩沖與重排運(yùn)動(dòng)估計(jì)DCTQVLCBufferMUXQ-1IDCT++畫面存儲(chǔ)及預(yù)測(cè)預(yù)測(cè)畫面運(yùn)動(dòng)矢量差分畫面視頻比特流q解碼的差分畫面MPEG-1編碼器框圖I畫面獨(dú)立編碼,類似于JPEGP畫面和B畫面應(yīng)進(jìn)行運(yùn)動(dòng)估計(jì),求出1~2個(gè)運(yùn)動(dòng)矢量P畫面和B畫面采用幀間預(yù)測(cè)編碼,被編碼的是差分圖象2022/11/2233南京大學(xué)多媒體技術(shù)研究所調(diào)節(jié)器SIF格式的視頻畫面畫面緩沖運(yùn)動(dòng)DCTQVLCBuffMPEG-l編碼器的組成運(yùn)動(dòng)估計(jì)與宏塊類型(MTYPE)的選擇,MQUANT(q)值的設(shè)置,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè),量化和逆量化(dequantizer),DCT和IDCT,變長(zhǎng)編碼(VLC),多路復(fù)用器(MUX),緩沖器及調(diào)節(jié)器.2022/11/2234南京大學(xué)多媒體技術(shù)研究所MPEG-l編碼器的組成運(yùn)動(dòng)估計(jì)與宏塊類型(MTYPE)I畫面壓縮編碼的流程

2022/11/2235南京大學(xué)多媒體技術(shù)研究所I畫面壓縮編碼的流程2022/10/1135南京大學(xué)多媒宏塊及運(yùn)動(dòng)矢量2022/11/2236南京大學(xué)多媒體技術(shù)研究所宏塊及運(yùn)動(dòng)矢量2022/10/1136南京大學(xué)多媒體技術(shù)研究運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量由于畫面內(nèi)容有連貫性,因此當(dāng)前畫面的內(nèi)容可以看作是前面畫面部分內(nèi)容的位移(運(yùn)動(dòng))。2022/11/2237南京大學(xué)多媒體技術(shù)研究所運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量由于畫面內(nèi)容有連貫2022/10/1137南宏塊的劃分畫面各處的運(yùn)動(dòng)矢量(幅度、方向)各不相同，因此，畫面應(yīng)細(xì)分成塊(宏塊)，以宏塊為單位，找出兩幀畫面中相應(yīng)宏塊之間的位移關(guān)系——運(yùn)動(dòng)矢量2022/11/2238南京大學(xué)多媒體技術(shù)研究所宏塊的劃分畫面各處的運(yùn)動(dòng)矢量(幅度、方向)各不相同，因此，畫宏塊的大小與組成宏塊(macroblock)的組成:012345Y(16x16)U(8x8)V(8x8)宏塊有2種情況：可預(yù)測(cè)宏塊:與參考畫面中的某個(gè)宏塊有位移關(guān)系不可預(yù)測(cè)宏塊:與參考畫面中的任何宏塊都找不到位移關(guān)系2022/11/2239南京大學(xué)多媒體技術(shù)研究所宏塊的大小與組成宏塊(macroblock)的組成:012可預(yù)測(cè)宏塊MotionvectorForwardprediction:前向預(yù)測(cè)宏塊(IorPpicture)(Ppicture)Bidirectionalprediction:雙向預(yù)測(cè)宏塊(IorPpicture)(IorPpicture)(Bpicture)被編碼宏塊被編碼宏塊參考畫面參考畫面參考畫面2022/11/2240南京大學(xué)多媒體技術(shù)研究所可預(yù)測(cè)宏塊MotionvectorForwardpred可預(yù)測(cè)宏塊的預(yù)測(cè)公式 設(shè)I(X)為位置X處的象素值；I1(X)是畫面1中的編碼宏塊象素的原始值,I1(X)

是它們的預(yù)測(cè)值；I0(X)和I2(X)是參考畫面0和畫面1中宏塊象素的值；MV0,1

和MV2,1分別是畫面1中的宏塊相對(duì)于畫面0、畫面2中參考宏塊的運(yùn)動(dòng)矢量。宏塊類型預(yù)測(cè)公式預(yù)測(cè)誤差內(nèi)部宏塊I1(X)=128I1(X)-

I1(X)雙向預(yù)測(cè)宏塊I1(X)=[I0(X+MV0,1)+I2(X+MV2,1)]/2I1(X)-

I1(X)后向預(yù)測(cè)宏塊I1(X)=I2(X+MV2,1)I1(X)-

I1(X)前向預(yù)測(cè)宏塊I1(X)=I0(X+MV0,1)I1(X)-

I1(X)2022/11/2241南京大學(xué)多媒體技術(shù)研究所可預(yù)測(cè)宏塊的預(yù)測(cè)公式 設(shè)I(X)為位置X處的象素值；I1(X運(yùn)動(dòng)矢量的估計(jì)參考畫面預(yù)測(cè)編碼畫面編碼宏塊最佳匹配宏塊搜索范圍運(yùn)動(dòng)矢量2022/11/2242南京大學(xué)多媒體技術(shù)研究所運(yùn)動(dòng)矢量的估計(jì)參考畫面預(yù)測(cè)編碼畫面編碼宏塊最佳匹配宏塊搜索范運(yùn)動(dòng)矢量估計(jì)算法基本原理:假設(shè)一個(gè)初始矢量計(jì)算匹配度是否最佳匹配結(jié)束y在搜索范圍內(nèi)調(diào)整運(yùn)動(dòng)矢量n最佳匹配準(zhǔn)則(“方差和”最小/“絕對(duì)誤差和”最小):

2022/11/2243南京大學(xué)多媒體技術(shù)研究所運(yùn)動(dòng)矢量估計(jì)算法基本原理:假設(shè)一個(gè)初始矢量3131搜索范圍MPEG-1的運(yùn)動(dòng)矢量估計(jì)搜索范圍(7種可選)31,63,127,...,2047?搜索精度(2種可選)0.5pel,1pel搜索策略(自定)全面搜索(31x31)搜索次數(shù)=(31-16+1)2=256方向搜索法對(duì)數(shù)搜索法(31x31)搜索次數(shù)=9x5=45對(duì)偶搜索法宏塊宏塊宏塊宏塊宏塊宏塊宏塊2022/11/2244南京大學(xué)多媒體技術(shù)研究所3131搜索范圍MPEG-1的運(yùn)動(dòng)矢量估計(jì)搜索范圍(7種可選方向搜索法沿著最小失真方向搜索，每一次檢查3-5個(gè)搜索點(diǎn)，搜索步長(zhǎng)固定。22211111333452022/11/2245南京大學(xué)多媒體技術(shù)研究所方向搜索法沿著最小失真方向22211111333452022對(duì)數(shù)搜索法（3步搜索法）111111111222222222333333333444444444搜索范圍每一步測(cè)試8個(gè)搜索點(diǎn),并逐步縮小搜索步長(zhǎng)2022/11/2246南京大學(xué)多媒體技術(shù)研究所對(duì)數(shù)搜索法（3步搜索法）111111111222222222實(shí)驗(yàn)結(jié)果變焦的鏡頭及其運(yùn)動(dòng)場(chǎng)平移的鏡頭及其運(yùn)動(dòng)場(chǎng)2022/11/2247南京大學(xué)多媒體技術(shù)研究所實(shí)驗(yàn)結(jié)果變焦的鏡頭及其運(yùn)動(dòng)場(chǎng)平移的鏡頭及其運(yùn)動(dòng)場(chǎng)2022/1P畫面和B畫面的編碼2022/11/2248南京大學(xué)多媒體技術(shù)研究所P畫面和B畫面的編碼2022/10/1148南京大學(xué)多媒體技P畫面宏塊的類型及處理(碼塊圖CBP=32xP0+16xP1+8xP2+4xP3+2xP4+1xP5)計(jì)算運(yùn)動(dòng)矢量運(yùn)動(dòng)矢量<>0運(yùn)動(dòng)矢量=0預(yù)測(cè)編碼幀內(nèi)編碼修改量化標(biāo)尺不改量化標(biāo)尺pred-mcqpred-mc使用碼塊圖不用碼塊圖pred-m預(yù)測(cè)編碼幀內(nèi)編碼使用碼塊圖不用碼塊圖修改量化標(biāo)尺修改量化標(biāo)尺不改量化標(biāo)尺不改量化標(biāo)尺intra-qpred-cqpred-cskipped

intra-d修改量化標(biāo)尺不改量化標(biāo)尺intra-q

intra-d碼塊圖表示宏塊中有哪些子塊的DCT系數(shù)為全02022/11/2249南京大學(xué)多媒體技術(shù)研究所P畫面宏塊的類型及處理(碼塊圖CBP=32xP0+16可預(yù)測(cè)編碼宏塊的處理過(guò)程2022/11/2250南京大學(xué)多媒體技術(shù)研究所可預(yù)測(cè)編碼宏塊的處理過(guò)程2022/10/1150南京大學(xué)多媒B畫面的編碼B畫面編碼:與P畫面類似，但更復(fù)雜。例如:宏塊類型更多，可預(yù)測(cè)宏塊可分成:前向預(yù)測(cè)宏塊后向預(yù)測(cè)宏塊雙向預(yù)測(cè)宏塊參加編碼的運(yùn)動(dòng)矢量可能是1個(gè)或2個(gè)D畫面編碼:只取每一塊的DC系數(shù)進(jìn)行編碼，全部是幀內(nèi)編碼，用于快速檢索2022/11/2251南京大學(xué)多媒體技術(shù)研究所B畫面的編碼B畫面編碼:與P畫面類似，但更復(fù)雜。例如:202雙向預(yù)測(cè)宏塊的編碼過(guò)程運(yùn)動(dòng)矢量2022/11/2252南京大學(xué)多媒體技術(shù)研究所雙向預(yù)測(cè)宏塊的編碼過(guò)程運(yùn)動(dòng)矢量2022/10/1152南京大小結(jié)1:編碼器的主要操作

1．為GOP中的I畫面、P畫面和B畫面重新排序2．為P畫面和B畫面中的每個(gè)MB（宏塊）估算運(yùn)動(dòng)矢量3．確定每個(gè)MB的宏塊類型（MTYPE）4．如果選擇自適應(yīng)量化的話，設(shè)置量化因子MQUANT。2022/11/2253南京大學(xué)多媒體技術(shù)研究所小結(jié)1:編碼器的主要操作1．為GOP中的I畫面小結(jié)2:I,P,B三種畫面的比較壓縮后，3種畫面比特?cái)?shù)目的比較：I＞P＞B例如：I畫面：300kbP畫面：100-65kbB畫面：18-7kb關(guān)于B畫面優(yōu)點(diǎn)：預(yù)測(cè)效果好，壓縮效率高，缺點(diǎn)：復(fù)雜，需要較大的緩沖器，增加了編碼延遲。2022/11/2254南京大學(xué)多媒體技術(shù)研究所小結(jié)2:I,P,B三種畫面的比較壓縮后，3種畫面比特小結(jié)3:視頻比特流的層次結(jié)構(gòu)DCT單位運(yùn)動(dòng)補(bǔ)償單位重新同步單位主編碼單位隨機(jī)存取單元video編輯單位隨機(jī)存取單元context2022/11/2255南京大學(xué)多媒體技術(shù)研究所小結(jié)3:視頻比特流的層次結(jié)構(gòu)DCT單位運(yùn)動(dòng)補(bǔ)償單位重新同步單小結(jié)4:MPEG-1的視頻數(shù)據(jù)流格式SeqSeqSeq…SeqSequenceLayerCBPb5...AddrTypeMotionVectorQScaleb0BlockLayerGOPGOP...Seq

SCVideoParamBitstreamParamQT,miscGOPLayerbitrate,bufsizewidth,height,aspectratio,pictureratePictPict...GOP

SCGOPParamTimeCodePictureLayerhours,minutes,secondsSliceSlice...PSCTypeBufferParamEncodeParamSliceLayerI,P,BMBMB...SSCQScaleVertPosMacro-blockLayerwhichlinedoesthisslicestarton?2022/11/2256南京大學(xué)多媒體技術(shù)研究所小結(jié)4:MPEG-1的視頻數(shù)據(jù)流格式SeqSeqSeq…S3.MPEG-1視頻的解碼2022/11/2257南京大學(xué)多媒體技術(shù)研究所3.MPEG-1視頻的解碼2022/10/1157南京大解碼器框圖與解碼過(guò)程

緩沖器分路器VLC解碼器Q-1IDCT畫面重排+畫面存儲(chǔ)與預(yù)測(cè)視頻比特流宏塊類型、畫面類型運(yùn)動(dòng)矢量量化步長(zhǎng)重建的視頻圖象輸入速率固定，但畫面的數(shù)據(jù)量差別很大，必須要設(shè)緩沖分路器負(fù)責(zé)語(yǔ)法、語(yǔ)義檢查，對(duì)宏塊進(jìn)行解碼，解出運(yùn)動(dòng)矢量、宏塊類型等IDCT輸出的是I畫面及P畫面和B畫面的預(yù)測(cè)畫面保存I畫面及P畫面，生成預(yù)測(cè)畫面（P,B）預(yù)則畫面+差分畫面=重建的畫面畫面重排序，然后輸出送顯示器（幀速固定）2022/11/2258南京大學(xué)多媒體技術(shù)研究所解碼器框圖與解碼過(guò)程緩沖器分VLCQ-1IDCT畫面+畫面緩沖器的設(shè)計(jì)必要性：平滑數(shù)據(jù)量/畫面的波動(dòng)，確保以固定幀頻顯示。副作用：增加了