H264視頻編碼介紹

1、H.264視頻編碼學(xué)習(xí) 第一章 視頻編碼基本知識(shí) 第二章 視頻編碼發(fā)展概況 第三章 H.264分析第一章 視頻編碼基本知識(shí)視頻編碼的原因：視頻未經(jīng)編碼（壓縮）時(shí)具有極大數(shù)據(jù)量，不利于存儲(chǔ)，傳輸，實(shí)時(shí)應(yīng)用。視頻編碼的原理： 空間冗余：同一幅圖像的相鄰像素點(diǎn)具有連貫性。 時(shí)間冗余：一組連續(xù)的畫(huà)面之間存在著關(guān)聯(lián)性。 結(jié)構(gòu)冗余：某些場(chǎng)景中存在著明顯的圖像分布模式，有規(guī)律可循。比如：方格地板，蜂窩。 視覺(jué)冗余：人眼對(duì)圖像細(xì)節(jié)的分辨率有限，對(duì)亮度比對(duì)色度更敏感。 知識(shí)冗余：許多圖像的理解和某些知識(shí)有關(guān)聯(lián)。比如人類面部的固定結(jié)構(gòu)。視頻編碼的原則：在保證視覺(jué)效果的前提下盡可能減少視頻的數(shù)據(jù)量。 視頻編碼（壓縮

2、）方式有損壓縮與無(wú)損壓縮有損：解壓后與壓縮前相比數(shù)據(jù)有丟失，丟失不可恢復(fù)，壓縮比高。無(wú)損：解壓后與壓縮前數(shù)據(jù)完全一致，壓縮比低。注：高效壓縮算法往往使用有損壓縮來(lái)減少數(shù)據(jù)量。幀內(nèi)壓縮與幀間壓縮幀內(nèi)：一幅幀的相鄰像素點(diǎn)具有空間連續(xù)性。不考慮相鄰幀，減少本幀冗余信息，也稱空間壓縮。幀間：視頻具有時(shí)間連續(xù)性，只記錄相鄰幀之間的差異來(lái)減少數(shù)據(jù)量，也稱時(shí)間壓縮。對(duì)稱編/解碼和不對(duì)稱編/解碼對(duì)稱：編碼和解碼占用相同的計(jì)算處理能力和時(shí)間，實(shí)時(shí)性好。不對(duì)稱：與上相反，一般壓縮慢，解壓快。第二章 視頻編碼發(fā)展概況 ITU-T 與MPEG ITU-T與ISO/IEC是制定視頻編碼標(biāo)準(zhǔn)的兩大組織，ITU-T的標(biāo)準(zhǔn)包

3、括H.261、H.263、H.264，主要應(yīng)用于實(shí)時(shí)視頻通信領(lǐng)域，如會(huì)議電視；MPEG系列標(biāo)準(zhǔn)是由ISO/IEC制定的，主要應(yīng)用于視頻存儲(chǔ)(DVD)、廣播電視、因特網(wǎng)或無(wú)線網(wǎng)上的流媒體等。 值得注意的是兩個(gè)組織也共同制定了一些標(biāo)準(zhǔn)，H.262標(biāo)準(zhǔn)等同于MPEG-2的視頻編碼標(biāo)準(zhǔn)，而最新的H.264標(biāo)準(zhǔn)則被納入MPEG-4的第10部分。 注：本幻燈片以ITU-T視頻編碼標(biāo)準(zhǔn)概述發(fā)展過(guò)程。H.261H.261是ITU-T為綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)上開(kāi)展雙向聲像業(yè)務(wù)(可視電話、視頻會(huì)議)而制定的，速率為64kb/s的整數(shù)倍。H.261只對(duì)CIF和QCIF兩種圖像格式進(jìn)行處理，每幀圖像分成圖像層、宏

4、塊組(GOB)層、宏塊(MB)層、塊(Block)層來(lái)處理。 H.261是最早的運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)，它詳細(xì)制定了視頻編碼的各個(gè)部分，包括運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)、DCT變換、量化、熵編碼，以及與固定速率的信道相適配的速率控制等部分。H.263H.263是ITU-T為低于64kb/s的窄帶通信信道制定的視頻編碼標(biāo)準(zhǔn)。H.263與H.261的主要區(qū)別：（1）數(shù)據(jù)流層次結(jié)構(gòu)的某些部分在H.263中是可選的，使得編解碼可以配置成更低的數(shù)據(jù)率。（2）H.263的運(yùn)動(dòng)補(bǔ)償使用半像素精度，而H.261則用全像素精度和環(huán)路濾波。（3）H.263采用無(wú)限制的運(yùn)動(dòng)向量以及基于語(yǔ)法的算術(shù)編碼。（4）H.263除支持QCIF

5、和CIF外，還支持SQCIF、4CIF和16CIF，SQCIF相當(dāng)于QCIF一半的分辨率，而4CIF和16CIF分別為CIF的4倍和16倍。（5）采用事先預(yù)測(cè)和與MPEG中的P-B幀一樣的幀預(yù)測(cè)方法。 H263+H.263+與H.263的主要區(qū)別：（1）支持更多圖像源格式。（2）可擴(kuò)展性，允許多顯示率、多速率及多分辨率，增強(qiáng)了視頻信息在易誤碼、易丟包異構(gòu)網(wǎng)絡(luò)環(huán)境下的傳輸能力。（3）采用先進(jìn)的幀內(nèi)編碼模式，增強(qiáng)的PB-幀模式改進(jìn)了H.263的不足，增強(qiáng)了幀間預(yù)測(cè)的效果。H.236+H263+在H263+基礎(chǔ)上增加了3個(gè)選項(xiàng)，增強(qiáng)碼流在惡劣信道上的抗誤碼性和編碼效率。選項(xiàng)U增強(qiáng)型參考幀選擇，提供增

6、強(qiáng)的編碼效率和信道錯(cuò)誤再生能力。選項(xiàng)V數(shù)據(jù)分片選擇，提供增強(qiáng)型的抗誤碼能力(特別是在傳輸過(guò)程中本地?cái)?shù)據(jù)被破壞的情況下)，通過(guò)分離視頻碼流中DCT的系數(shù)頭和運(yùn)動(dòng)矢量數(shù)據(jù)，采用可逆編碼方式保護(hù)運(yùn)動(dòng)矢量。選項(xiàng)W在H263+的碼流中補(bǔ)充信息，保證增強(qiáng)型的反向兼容性。H.264H.264是由ISO/IEC與ITU-T組成的聯(lián)合視頻組(JVT)制定的新一代視頻壓縮編碼標(biāo)準(zhǔn)。H.264的特點(diǎn)：（1）在同等視覺(jué)條件下，壓縮比更高。（2）對(duì)網(wǎng)絡(luò)傳輸具有更好的支持功能，支持交互式應(yīng)用所需的低延遲模式，支持隨機(jī)幀索取，支持可變碼率，支持多種分辨率。（3）對(duì)信道時(shí)延的適應(yīng)性較強(qiáng)，既能用于低時(shí)延的實(shí)時(shí)業(yè)務(wù)（如會(huì)議電視）

7、，又可用于無(wú)時(shí)延限制的場(chǎng)合（如視頻存儲(chǔ)）。（4）具有較強(qiáng)的抗誤碼能力，可適應(yīng)不同網(wǎng)絡(luò)中的視頻傳輸，網(wǎng)絡(luò)親和性好。（5）在編碼器和解碼器中的復(fù)雜度可分級(jí)設(shè)計(jì)，使圖像質(zhì)量和編碼處理之間可分級(jí)，以適應(yīng)不同復(fù)雜度的應(yīng)用。 第三章 H.264分析 Profiles & Levels許多標(biāo)準(zhǔn)包含不同的配置能力，通常是基于Profiles & Levels.A profile is usually a set of algorithmic features.A level is usually a degree of capability.H.264 has three profilesBa

8、seline ：支持幀內(nèi)和幀間編碼（I 片和P片），CAVLC。用于可視電話，視頻會(huì)議和無(wú)線通訊。Main：支持隔行視頻，幀間編碼用可B 片和加權(quán)預(yù)測(cè)，CABAC。用于電視廣播和視頻存儲(chǔ)。Extended：不支持隔行視頻和CABAC，但是支持碼流切換（SP和S片）和高容錯(cuò)能力， Extended包括了Baseline的所有功能，而不能包括Baseline的。用于流媒體應(yīng)用。Profiles片組和ASO（任意的片次序）冗余片技術(shù)：通過(guò)在碼流中添加冗余信息來(lái)保障系統(tǒng)魯棒性。使用RS會(huì)使系統(tǒng)碼流變大，應(yīng)權(quán)衡。 基本概念H.264中幀以宏塊為單元進(jìn)行處理，宏塊包含一個(gè)16X16亮度塊和兩個(gè)8X8色度塊

9、。運(yùn)動(dòng)向/矢量 (MV)：編碼圖像中的當(dāng)前塊相對(duì)于參考圖像的塊所移動(dòng)的距離和方向就是運(yùn)動(dòng)向量。運(yùn)動(dòng)估計(jì)（ME）：尋找最佳匹配塊（有一定標(biāo)準(zhǔn)）的過(guò)程。運(yùn)動(dòng)補(bǔ)償（MC）：是一種描述相鄰幀(相鄰在這里表示在編碼關(guān)系上相鄰，在播放順序上兩幀未必相鄰) 差別的方法，具體來(lái)說(shuō)是描述前面一幀的每個(gè)塊怎樣移動(dòng)到當(dāng)前幀中的某個(gè)位置去。預(yù)測(cè)塊PInter-Prediction：參考幀（已編碼，解碼，重建且經(jīng)過(guò)了濾波）中的塊經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)玫?。Intra-Prediction：根據(jù)當(dāng)前片（slice）中已編碼的塊（未經(jīng)濾波）對(duì)當(dāng)前塊預(yù)測(cè)。殘差（剩余）塊： 當(dāng)前塊減去預(yù)測(cè)塊就得殘差塊，表示預(yù)測(cè)的誤差。H.264編碼器圖變

10、換&量化去除空間冗余預(yù)測(cè)（運(yùn)動(dòng)補(bǔ)償）去除時(shí)間冗余熵編碼去除變換系數(shù)的冗余數(shù)據(jù)流分析編碼器有兩條數(shù)據(jù)通道：前向通道和重建通道。在前向通道中，編碼器的輸入是幀F(xiàn)n，每幀是以1616像素大小的宏塊為單元組成的，每個(gè)宏塊進(jìn)行幀內(nèi)或幀間預(yù)測(cè)編碼。在圖中，幀間預(yù)測(cè)的參考幀被限定為前一幀F(xiàn)n，但是實(shí)際上，參考幀的數(shù)量可以多達(dá)五幀。當(dāng)前塊減去其預(yù)測(cè)塊P得到殘差塊Dn ，Dn經(jīng)過(guò)塊變換和量化得到量化系數(shù)X，對(duì)量化變換系數(shù)進(jìn)行重排序和熵編碼，得到的系數(shù)以及一些用于解碼的附加信息（例如宏塊預(yù)測(cè)模式、量化步長(zhǎng)、運(yùn)動(dòng)矢量信息等）經(jīng)由網(wǎng)絡(luò)抽象層NAL (network abstraction layer)進(jìn)行傳輸

11、和存儲(chǔ)。在重建通道中，塊量化系數(shù)X經(jīng)反量化和反變換后產(chǎn)生殘差塊Dn (由于量化過(guò)程引入誤差，Dn與先前的Dn并不一致)。預(yù)測(cè)塊P與Dn相加構(gòu)成重建塊uFn，再引入濾波器減小塊效應(yīng)得到Fn， Fn 可被用作幀間參考圖像。在編碼器中引入重建通道的目的是為了使編碼器和解碼器使用相同的參考幀來(lái)構(gòu)成預(yù)測(cè)塊P，否則，預(yù)測(cè)塊P在編碼器和解碼器中將不一致，這將造成誤差積累或編解碼器間的“漂移（drifting）”。H.264解碼器H.264采用的新技術(shù)H.264標(biāo)準(zhǔn)中諸如幀間預(yù)測(cè)、變換、量化、熵編碼等基本功能模塊與前幾個(gè)標(biāo)準(zhǔn)（MPEG-1, MPEG-2, MPEG-4, H.261, H.263）并無(wú)太大區(qū)

12、別，變化主要體現(xiàn)在功能模塊的具體細(xì)節(jié)上。分層設(shè)計(jì)幀間預(yù)測(cè)編碼幀內(nèi)預(yù)測(cè)編碼整數(shù)變換量化處理熵編碼環(huán)路濾波分層設(shè)計(jì) 在網(wǎng)絡(luò)傳輸環(huán)境中，視頻編碼主要由視頻編碼層VCL 和支持視頻在不同網(wǎng)絡(luò)之間傳輸?shù)木W(wǎng)絡(luò)抽象層NAL，提高了對(duì)不同網(wǎng)絡(luò)的適應(yīng)能力。幀間預(yù)測(cè)編碼 H.264的幀間預(yù)測(cè)與以往的區(qū)別：運(yùn)動(dòng)搜索時(shí)選擇不同大小和形狀的塊進(jìn)行搜索。1/4亮度像素和1/8色度像素的運(yùn)動(dòng)向量精度?？捎枚鄠€(gè)參考幀進(jìn)行幀間預(yù)測(cè)。引入SP幀和SI幀用于碼流間的切換。 運(yùn)動(dòng)補(bǔ)償宏塊分割運(yùn)動(dòng)向量 塊搜索與匹配H.264運(yùn)動(dòng)補(bǔ)償 宏塊分割：每個(gè)宏塊（1616像素）可以4種分割方式：一個(gè)1616，兩個(gè)168或816，四個(gè)88，其運(yùn)動(dòng)

13、補(bǔ)償也相應(yīng)有四種。而88分割還可以有四種分割方式：一個(gè)88，兩個(gè)48或84及4個(gè)44。這種分割下的運(yùn)動(dòng)補(bǔ)償則稱為樹(shù)狀結(jié)構(gòu)運(yùn)動(dòng)補(bǔ)償。每個(gè)分割或子塊都有一個(gè)獨(dú)立的運(yùn)動(dòng)補(bǔ)償，每個(gè)MV和分割的方式需編碼至比特流中。宏塊的色度成分（Cr和Cb）則為相應(yīng)亮度的一半（水平和垂直各一半）。色度塊采用和亮度塊同樣的分割模式，只是尺寸變小（水平和垂直方向都減半）。例如，816的亮度塊相應(yīng)色度塊尺寸為48，84亮度塊相應(yīng)色度塊尺寸為42，等等。色度塊的MV也是通過(guò)相應(yīng)亮度MV水平和垂直分量減半而得。 運(yùn)動(dòng)矢量 幀間編碼宏塊的每個(gè)分割或子塊都是從參考圖像某一相同尺寸區(qū)域預(yù)測(cè)而得。兩者之間的差異（MV）對(duì)亮度成分采用1

14、/4像素精度，色度成分1/8像素精度。 亞像素位置的亮度和色度像素并不存在于參考圖像中，需利用鄰近已編碼點(diǎn)進(jìn)行內(nèi)插而得。 如果MV 的垂直和水平分量都為整數(shù)，參考?jí)K相應(yīng)像素實(shí)際存在。否則，預(yù)測(cè)像素通過(guò)參考幀中相應(yīng)像素內(nèi)插獲得。塊的搜索與匹配 搜索起點(diǎn)的選擇很重要。 塊搜索算法：全搜索法FS三步搜索法TTS菱形搜索法DS六邊形搜索法注：有不少對(duì)上述方法的改進(jìn)及新方法。 塊匹配準(zhǔn)則：最小絕對(duì)差MAD最小均方誤差MSE歸一化互相關(guān)函數(shù)NCCF求和絕對(duì)誤差SADFS 對(duì)整個(gè)搜索窗口的每一個(gè)點(diǎn)進(jìn)行塊匹配計(jì)算，根據(jù)SAD（求和絕對(duì)誤差）最小的原則搜索最后得出最佳匹配點(diǎn)。 具有步長(zhǎng)固定、易于設(shè)計(jì)成并行流水線

15、處理的ASIC等優(yōu)點(diǎn)。 計(jì)算量很龐大，能夠獲取最好的匹配結(jié)果。 作為其它快速算法比較性能的參考算法。 MxM宏塊采用全搜索方法在(M+2d)x(M+2d)的搜索窗口范圍內(nèi)尋找最佳匹配塊，將當(dāng)前塊在搜索窗口沿水平和垂自方向逐個(gè)像素移動(dòng)，每移動(dòng)一次需計(jì)算一次SAD，然后進(jìn)行比較。 搜索次數(shù)以搜索半徑的平方增加，計(jì)算量較大，難于軟件實(shí)時(shí)處理。FS圖解TTS 計(jì)算量只有FS的10左右。 搜索時(shí)逐步減小搜索步長(zhǎng),每次搜索都以上一步的搜索結(jié)果為中心，搜索步長(zhǎng)為上一步的一半，搜索精度為1個(gè)像素。 對(duì)運(yùn)動(dòng)平緩的視頻序列容易陷入局部最優(yōu)，從而引起誤導(dǎo)，影響搜索精確度。 為了克服三步搜索算法的缺點(diǎn)，R. Li、B

16、. Zeng和M. L. Liou提出了新三步算法NTTS：NTTS采用具有中心傾向的搜索點(diǎn)模式以減少誤導(dǎo)，同時(shí)采用中止判別技術(shù)減少搜索次數(shù)。 三步搜索算法衍生出的許多其它改進(jìn)的算法。TTS圖解如圖所示，搜索步驟如下： 第一步：從搜索起點(diǎn)開(kāi)始，以最大搜索長(zhǎng)度的一半為步長(zhǎng)，在周圍距離步長(zhǎng)的8個(gè)點(diǎn)處進(jìn)行塊匹配計(jì)算并比較，圖中用正方形表示，1號(hào)為該次搜索最優(yōu)點(diǎn)。 第二步：將步長(zhǎng)減半，中心點(diǎn)移到上一步的最小匹配點(diǎn)，重新在周圍距離步長(zhǎng)的8個(gè)點(diǎn)處進(jìn)行塊匹配計(jì)算并比較，圖中用圓形表示，2號(hào)為該次搜索最優(yōu)點(diǎn)。 第三步：在上一步得到的最小匹配點(diǎn)的中心及周圍8個(gè)點(diǎn)處找出最匹配點(diǎn)，該點(diǎn)即為所求，圖中用菱形表示，3號(hào)

17、為該次搜索最優(yōu)點(diǎn)DS DS分析了視頻圖像中運(yùn)動(dòng)矢量的基本規(guī)律，選用了大小兩種形狀的搜索模板，先用LDSP進(jìn)行大范圍搜索，再用SDSP來(lái)準(zhǔn)確定位，DS減少了計(jì)算搜索點(diǎn)的個(gè)數(shù)，因此，它的性能比較優(yōu)越。DS圖解 DS算法 搜索時(shí)采用大菱形搜索模式LDSP 和小菱形搜索模式SDSP 。 LDSP有9個(gè)搜索點(diǎn)。 SDSP有5個(gè)搜索點(diǎn)。 先以預(yù)測(cè)到的搜索初始點(diǎn)為中心進(jìn)行大菱形搜索 計(jì)算9個(gè)點(diǎn)，如果9個(gè)點(diǎn)中的最優(yōu)點(diǎn)不在大菱形的中心，則將大菱形的中心移至該點(diǎn)，重復(fù)大菱形搜索，直到最優(yōu)點(diǎn)在大菱形中心為止 然后在該點(diǎn)切換到小菱形搜索 共搜索5個(gè)點(diǎn)，值最小的點(diǎn)即為最終的搜索結(jié)果作為運(yùn)動(dòng)估計(jì)的最優(yōu)匹配點(diǎn)幀內(nèi)預(yù)測(cè)編碼編

18、碼Intra圖像時(shí)采用幀內(nèi)預(yù)測(cè)。H.264根據(jù)鄰近塊(通常是位于當(dāng)前塊上面和左邊相鄰的己編碼塊)的值來(lái)預(yù)測(cè)當(dāng)前宏塊的值，然后再對(duì)預(yù)測(cè)值和原始值的預(yù)測(cè)誤差進(jìn)行變換、量化和編碼。通過(guò)RDO（比特率-失真度最優(yōu)化算法）比較各個(gè)模式做出最佳選擇。亮度塊的幀內(nèi)預(yù)測(cè)方式： 9種 44 模式，用于亮度明顯變化的紋理區(qū)域。 4種 1616 模式，用于亮度變化不明顯的平滑區(qū)域。 Mode 0(垂直) Mode 1(水平) Mode 2 (DC) Mode 3 (面) 色度塊的幀內(nèi)預(yù)測(cè)方式：4種 88模式，類似于亮度塊的1616模式，只是模式編號(hào)不同. Mode 0 (DC) Mode 1 (Horizontal

19、) Mode 2 (Vertical) Mode 3 (Plane) 9種 44 幀內(nèi)luma預(yù)測(cè)模式圖4種 1616幀內(nèi)luma預(yù)測(cè)模式模式模式描描 述述模式模式0（垂（垂直）直）由上邊像素推出相應(yīng)像素值由上邊像素推出相應(yīng)像素值模式模式1（水（水平）平）由左邊像素推出相應(yīng)像素值由左邊像素推出相應(yīng)像素值模式模式2（DC）由上邊和左邊像素平均值推出相應(yīng)像素值由上邊和左邊像素平均值推出相應(yīng)像素值模式模式3（平（平面）面）利用線形利用線形“plane”函數(shù)及左、上像素推出相應(yīng)像素值，適用于亮度變化平緩區(qū)域。函數(shù)及左、上像素推出相應(yīng)像素值，適用于亮度變化平緩區(qū)域。整數(shù)變換H.264 使用了非常簡(jiǎn)單的4

20、4整數(shù)變換：與44 DCT 非常精巧的逼近，減小了塊效應(yīng)。計(jì)算只需要加法、減法和移位。反變換時(shí)引入誤差小。H.264根據(jù)所壓縮的數(shù)據(jù)類型不同而采用三種不同的變換方式：44亮度直流系數(shù)變換（Intra）： 宏塊采用幀內(nèi)1616 預(yù)測(cè)方式時(shí),1616luma（亮度分量）進(jìn)行16個(gè)44塊的整數(shù)變換，將每個(gè)44塊的DC系數(shù)（未經(jīng)量化）提取出來(lái)組成44的 luma DC塊后進(jìn)行44 Hadamard變換。22色度直流系數(shù)變換： 任何宏塊中每種88色度分量都有4個(gè)44塊，將每個(gè)44塊進(jìn)行整數(shù)變換后DC系數(shù)提取出來(lái)組成22的chroma DC塊后進(jìn)22Hadamard 變換。其它的塊用44整數(shù)變換宏塊掃描和傳輸順序 量化處理 H.264標(biāo)準(zhǔn)支持52個(gè)量化步長(zhǎng)，對(duì)應(yīng)于不同的量化參數(shù)（QP）如表1-1所示，QP值每增加6，Qstep值增加一倍。QP值每增加1，Qstep值增加12.5。量化步長(zhǎng)取值范圍很廣，這就為編碼中兼顧比特率和編碼質(zhì)量提供了足夠多的靈活度和準(zhǔn)確度。熵編碼 H.264標(biāo)準(zhǔn)提供的熵編碼方案有： CAVLC和CABAC 基于上下文的自適應(yīng)變長(zhǎng)編碼(CAVLC)：根據(jù)已編碼數(shù)據(jù)元素的情況，動(dòng)態(tài)調(diào)整編碼中使用的碼表。 CAVLC利用色度和亮度殘差數(shù)據(jù)塊經(jīng)變換，