h編解碼相關(guān)技術(shù)概述

1、H265(HEVC Heigh Efficiency Video Coding)介紹1 概要H.265(高效率視頻編碼HEVC)是現(xiàn)行“H.264/MPEG-4 AVC標(biāo)準(zhǔn)于2003年實(shí)現(xiàn)標(biāo)準(zhǔn)化以來(lái)時(shí)隔10年推出的新標(biāo)準(zhǔn)，將成為支撐未來(lái)十年的影像效勞和產(chǎn)品的視頻壓縮技術(shù)。其特點(diǎn)是，支持1080p以上的4K×2K和8K×4K分辨率，將視頻壓縮率提高至H.264的約2倍。也就是說(shuō)，能以原來(lái)一半的編碼速度發(fā)送相同畫(huà)質(zhì)的視頻。例如，按照20Mbit/秒發(fā)送的H.264格式視頻內(nèi)容，在相同畫(huà)質(zhì)的條件下用HEVC格式只需10Mbit/秒的速度。1.1 H.265開(kāi)展背景 H.264雖然

2、是一個(gè)劃時(shí)代的數(shù)字視頻壓縮標(biāo)準(zhǔn)，但是隨著數(shù)字視頻產(chǎn)業(yè)鏈的高速開(kāi)展，H.264的局限性逐步顯現(xiàn)，并且由于H.264標(biāo)準(zhǔn)核心壓縮算法的完全固化，并不能夠通過(guò)調(diào)整或擴(kuò)充來(lái)更好地滿(mǎn)足當(dāng)前高清數(shù)字視頻應(yīng)用。視頻應(yīng)用向以下幾個(gè)方面開(kāi)展的趨勢(shì)愈加明顯：(1)高清晰度(Higher Definition)：數(shù)字視頻的應(yīng)用格式從720P向1080P全面升級(jí)，在一些視頻應(yīng)用領(lǐng)域甚至出現(xiàn)了4K*2K、8K*4K的數(shù)字視頻格式(2)高幀率(Higher frame rate)：數(shù)字視頻幀率從30fps向60fps、120fps甚至240fps的應(yīng)用場(chǎng)景升級(jí)(3)高壓縮率(Higher Compression rate

3、)：傳輸帶寬和存儲(chǔ)空間一直是視頻應(yīng)用中最為關(guān)鍵的資源，因此，在有限的空間和管道中獲得最正確的視頻體驗(yàn)一直是用戶(hù)的不懈追求。由于數(shù)字視頻應(yīng)用在開(kāi)展中面臨上述趨勢(shì)，如果繼續(xù)采用H.264編碼就出現(xiàn)如下一些局限性：(1)宏塊個(gè)數(shù)的爆發(fā)式增長(zhǎng)，會(huì)導(dǎo)致用于編碼宏塊的預(yù)測(cè)模式、運(yùn)動(dòng)矢量、參考幀索引和量化級(jí)等宏塊級(jí)參數(shù)信息所占用的碼字過(guò)多，用于編碼殘差局部的碼字明顯減少。即：?jiǎn)蝹€(gè)宏塊所表示的圖像內(nèi)容的信息大大減少，導(dǎo)致4*4或8*8塊變換后的低頻率相似程度也大大提高，會(huì)出現(xiàn)大量的冗余(2)分辨率的大幅增加，表示同一個(gè)運(yùn)動(dòng)的運(yùn)動(dòng)矢量的幅值將大大增加，H.264中采用一個(gè)運(yùn)動(dòng)矢量預(yù)測(cè)值，對(duì)運(yùn)動(dòng)矢量差編碼使用的是

4、哥倫布指數(shù)編碼，該編碼方式的特點(diǎn)是數(shù)值越小使用的比特?cái)?shù)越少。因此，隨著運(yùn)動(dòng)矢量幅值的大幅增加，H.264中用來(lái)對(duì)運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)以及編碼的方法壓縮率將逐漸降低。(3)并行度比擬低H.264的一些關(guān)鍵算法，例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、deblock濾波等都要求串行編碼，并行度比擬低。針對(duì)GPU/DSP/FPGA/ASIC等這種并行化程序非常的CPU，H.264的這種串行化處理越來(lái)越成為制約運(yùn)算性能的瓶頸?；谝陨弦曨l應(yīng)用的開(kāi)展趨勢(shì)和H.264的局限性，面向更高清晰度、更高幀率、更高壓縮率的高效視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding)H

5、EVC(H.265協(xié)議標(biāo)準(zhǔn)應(yīng)運(yùn)而生。HEVC的核心目標(biāo)：在H.264/AVC high profile的根底上，保證相同視頻質(zhì)量的前提下，視頻流的碼率減少50%。在提高壓縮效率的同時(shí)，允許編碼端適當(dāng)提高復(fù)雜度HEVC的編碼框架：沿用H.263的混合編碼框架，即用幀間和幀內(nèi)預(yù)測(cè)編碼消除時(shí)間域和空間域的相關(guān)性，對(duì)殘差進(jìn)行變換編碼以消除空間相關(guān)性，熵編碼消除統(tǒng)計(jì)上的冗余度。HEVC在混合編碼框架內(nèi)，著力研究新的編碼工具或技術(shù)，提高視頻壓縮效率HEVC的技術(shù)創(chuàng)新：基于大尺寸四叉樹(shù)結(jié)構(gòu)的分割技術(shù)，多角度幀內(nèi)預(yù)測(cè)技術(shù)，運(yùn)動(dòng)估計(jì)融合技術(shù)，高精度運(yùn)動(dòng)補(bǔ)償技術(shù)，自適應(yīng)環(huán)路濾波技術(shù)以及基于語(yǔ)義的熵編碼技術(shù)。通信和

6、廣電行業(yè)的人士對(duì)HEVC的高壓縮率寄予了厚望。1.2 開(kāi)展歷程 早在2004年，ITU-T視頻編碼專(zhuān)家組VCEG開(kāi)始研究新技術(shù)以便創(chuàng)立一個(gè)新的視頻壓縮標(biāo)準(zhǔn)。在2004年10月，H.264/ AVC小組對(duì)潛在的各種技術(shù)進(jìn)行了調(diào)查。2005年1月VCEG的會(huì)議上，VCEG開(kāi)始指定某些主題為“關(guān)鍵技術(shù)作進(jìn)一步研究。2005年成立軟件代碼庫(kù)稱(chēng)為Key Technical Areas KTA用來(lái)評(píng)估這些新的“關(guān)鍵技術(shù)。KTA的軟件是在聯(lián)合模型JM根底上由MPEG和VCEG的視頻組聯(lián)合開(kāi)發(fā)的，工程名稱(chēng)暫定為H.265和H.NGVCNext-generation Video Coding，此工程在

7、2021年最終演化為由VCEG和MPEG合資工程也叫做按照NGVC的初步要求，在維持視覺(jué)HEVCHigh efficiency video coding。質(zhì)量相同的情況下，比特率較H.264/MPEG-4 AVC的高中檔high profile，計(jì)算復(fù)雜度維持在比特率較H.264/MPEG-4 AVC的高中檔的1/2至3倍之間。 “H.265 只是作為 “高性能視頻編碼HEVC一個(gè)昵稱(chēng)。2021年7月，實(shí)驗(yàn)結(jié)果說(shuō)明比特率相較于H.264/AVC High Profile平均降低20%左右，這些結(jié)果促使MPEG與VCEG合作發(fā)起的新的標(biāo)準(zhǔn)化工作。2021年1月，VCEG和MPEG開(kāi)始發(fā)起視頻壓縮

8、技術(shù)正式提案。相關(guān)技術(shù)由視頻編碼聯(lián)合組Joint Collaborative Team on Video Coding (JCT-VC)審議和評(píng)估，其合作小組第一次會(huì)議于2021年4月召開(kāi)大會(huì)，一共有27個(gè)完整的提案。評(píng)價(jià)結(jié)果說(shuō)明，一些提案在許多測(cè)試用例可以到達(dá)只用一半的比特率并維持H.264/AVC相同的視覺(jué)質(zhì)量。在這次會(huì)議上，聯(lián)合工程名改稱(chēng)為高效率的視頻編碼HEVC，并且JCT-VC小組把相關(guān)技術(shù)集成到一個(gè)的軟件代碼庫(kù)HM和標(biāo)準(zhǔn)文本草案標(biāo)準(zhǔn)，并進(jìn)行進(jìn)一步實(shí)驗(yàn)，以評(píng)估各項(xiàng)功能。2021年2月10日，在美國(guó)圣何塞召開(kāi)了第99屆MPEG會(huì)議。MPEG組織和ITU-T組織對(duì)JCT-VC的工作表示滿(mǎn)

9、意，準(zhǔn)備于2021年1月，同時(shí)在ISO/IEC和ITU-T發(fā)布HEVC標(biāo)準(zhǔn)的最終版本。2021年1月26號(hào)，HEVC正式成為國(guó)際標(biāo)準(zhǔn)。標(biāo)準(zhǔn)時(shí)間點(diǎn)：2021年1月，ITU-T VCEG(Video Coding Experts Group)和ISO/IEC MPEG(Moving Picture Experts Group)聯(lián)合成立JCT-VCJoint Collaborative Team on Video Coding聯(lián)合組織，統(tǒng)一制定下一代編碼標(biāo)準(zhǔn)：HEVCHigh efficiency video coding。2021.2：委員會(huì)草案(標(biāo)準(zhǔn)草案完成稿)；HEVC委員會(huì)草案獲得通過(guò)。20

10、21.7：HEVC國(guó)際標(biāo)準(zhǔn)草案獲得通過(guò)2021.1：國(guó)際標(biāo)準(zhǔn)最終獲得通過(guò)1.3 應(yīng)用領(lǐng)域        以前，伴隨每次視頻壓縮技術(shù)的進(jìn)化，多種影像效勞和產(chǎn)品都會(huì)紛紛亮相圖1。1995年實(shí)現(xiàn)標(biāo)準(zhǔn)化的MPEG-2得到了DVD和數(shù)字電視等領(lǐng)域采用，大幅擴(kuò)大了視頻壓縮技術(shù)的應(yīng)用范圍。MPEG-4在1998年實(shí)現(xiàn)標(biāo)準(zhǔn)化后，立即應(yīng)用到了移動(dòng)和互聯(lián)網(wǎng)視頻效勞領(lǐng)域。伴隨視頻壓縮技術(shù)的升級(jí)，各種影像效勞和產(chǎn)品隨之登場(chǎng)。2021年以后，隨著HEVC的進(jìn)步， 4K及8K電視及網(wǎng)絡(luò)全高清影像效勞也紛紛出現(xiàn)。箭頭指示的是各效勞和產(chǎn)品主要采用的壓縮技術(shù)

11、。圖1：視頻壓縮技術(shù)及對(duì)應(yīng)的影像效勞和產(chǎn)品的歷史圖2：HEVC的應(yīng)用例如       HEVC的應(yīng)用示意圖如圖2所示。在播送電視、網(wǎng)絡(luò)視頻效勞、電影院及公共大屏幕Public Viewing等眾多領(lǐng)域，4K×2K和8K×4K視頻發(fā)送將變得更容易實(shí)現(xiàn)。個(gè)人電腦及智能 等信息終端自不用說(shuō)，平板電視、攝像機(jī)及數(shù)碼相機(jī)等AV產(chǎn)品也會(huì)支持HEVC。 不僅是這些既有市場(chǎng)，HEVC還有可能在今后有望增長(zhǎng)的新市場(chǎng)上大顯身手。例如，影像監(jiān)控系統(tǒng)就是其中之一。影像監(jiān)控系統(tǒng)最近幾年在快速?gòu)脑瓉?lái)的模擬攝像頭組合VTR的方式，向經(jīng)

12、由IP網(wǎng)絡(luò)發(fā)送、存儲(chǔ)和瀏覽數(shù)碼攝像頭拍攝的視頻的方法過(guò)度。為提高平安性，需要增加攝像頭數(shù)量、提高影像的精細(xì)度，而與此同時(shí)，確保網(wǎng)絡(luò)頻帶和存儲(chǔ)容量增加。估計(jì)HEVC將作為解決這些課題的措施而得到采用。1.4 優(yōu)缺點(diǎn)優(yōu)點(diǎn)：1、高壓縮率1)在視頻質(zhì)量相同的條件下，較H.264平均減少50%的碼流，可以節(jié)省下大量的網(wǎng)絡(luò)帶寬及存儲(chǔ)空間2)在同碼流條件下提供更加高質(zhì)量的視頻2、支持8192x4320分辨率缺點(diǎn)：1、HEVC使用到的技術(shù)和算法較前兩代標(biāo)準(zhǔn)H.264和MPEG-2更為復(fù)雜，視頻流在壓縮過(guò)程中需要經(jīng)過(guò)更多的選擇和運(yùn)算。2、HEVC不支持大多數(shù)硬件，通常需要效率更高，更多的處理器來(lái)輔助，這意味著，

13、如果有一個(gè)固件需要更新，而編解碼器卻跟不上升級(jí)速度的話，那么我們的電視機(jī)頂盒和藍(lán)光播放機(jī)是無(wú)法播放HEVC編碼內(nèi)容的，需要等待解決方案出現(xiàn)后才能繼續(xù)使用。2 編解碼技術(shù)通過(guò)幀間預(yù)測(cè)編碼和幀內(nèi)預(yù)測(cè)編碼消除時(shí)域空域的相關(guān)性；通過(guò)對(duì)預(yù)測(cè)殘差的變換編碼消除時(shí)間上的相關(guān)性；通過(guò)熵編碼消除比特分配造成的編碼冗余。但2.1 H.265編碼框架及編碼單元結(jié)構(gòu)與H.263以來(lái)的視頻編碼標(biāo)準(zhǔn)一樣，HEVC的設(shè)計(jì)沿用了經(jīng)典的基于塊的混合視頻編碼框架?？蚣苤饕?，幀內(nèi)預(yù)測(cè)(intra prediction)、幀間預(yù)測(cè)(inter prediction)、轉(zhuǎn)換 (transform)、量化(quantization)

14、、去區(qū)塊濾波器(deblocking filter)、熵編碼(entropy coding)等模塊，但在HEVC編碼架構(gòu)中，整體被分為了三個(gè)根本單位，分別是：編碼單位(coding unit,CU)、預(yù)測(cè)單位(predict unit,PU) 和轉(zhuǎn)換單位(transform unit,TU )。視頻編碼的根本流程為：將視頻序列的每一幀劃分為固定大小的宏塊，通常為16×16像素的亮度分量及2個(gè)8×8像素的色度分量(對(duì)于4?誜2?誜0格式視頻)，之后以宏塊為單位進(jìn)行編碼。對(duì)視頻序列的第一幀及場(chǎng)景切換幀或者隨機(jī)讀取幀采用I幀編碼方式，I幀編碼只利用當(dāng)前幀內(nèi)的像素作空間預(yù)測(cè)，類(lèi)似于

15、JPEG圖像編碼方式。其大致過(guò)程為，利用幀內(nèi)先前已經(jīng)編碼塊中的像素對(duì)當(dāng)前塊內(nèi)的像素值作出預(yù)測(cè)(對(duì)應(yīng)圖中的幀內(nèi)預(yù)測(cè)模塊)，將預(yù)測(cè)值與原始視頻信號(hào)作差運(yùn)算得到預(yù)測(cè)殘差，再對(duì)預(yù)測(cè)殘差進(jìn)行變換、量化及熵編碼形成編碼碼流。對(duì)其余幀采用幀間編碼方式，包括前向預(yù)測(cè)P幀和雙向預(yù)測(cè)B幀，幀間編碼是對(duì)當(dāng)前幀內(nèi)的塊在先前已編碼幀中尋找最相似塊(運(yùn)動(dòng)估計(jì))作為當(dāng)前塊的預(yù)測(cè)值(運(yùn)動(dòng)補(bǔ)償)，之后如I幀的編碼過(guò)程對(duì)預(yù)測(cè)殘差進(jìn)行編碼。編碼器中還內(nèi)含一個(gè)解碼器，如圖1中青綠色局部所示。內(nèi)嵌解碼器模擬解碼過(guò)程，以獲得解碼重構(gòu)圖像，作為編碼下一幀或下一塊的預(yù)測(cè)參考。解碼步驟包括對(duì)變換量化后的系數(shù)進(jìn)行反量化、反變換，得到預(yù)測(cè)殘差，之

16、后預(yù)測(cè)殘差與預(yù)測(cè)值相加，經(jīng)濾波去除塊效應(yīng)后得到解碼重構(gòu)圖像。幀內(nèi)預(yù)測(cè)編碼圖幀間預(yù)測(cè)編碼圖HEVC以LCU塊為單位對(duì)輸入視頻幀進(jìn)行處理，首先是預(yù)測(cè)，可進(jìn)行幀內(nèi)預(yù)測(cè)與幀間預(yù)測(cè)。幀內(nèi)預(yù)測(cè)：預(yù)測(cè)塊由當(dāng)前幀中已編碼并解碼重建的相鄰塊預(yù)測(cè)得到。幀間預(yù)測(cè)：預(yù)測(cè)塊通過(guò)基于一個(gè)或多個(gè)參考幀的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)玫?。然后通過(guò)當(dāng)前塊減去預(yù)測(cè)塊得到預(yù)測(cè)殘差。預(yù)測(cè)殘差進(jìn)一步進(jìn)行變換編碼和量化，從而得到量化后的殘差系數(shù)。然后對(duì)量化后的殘差系數(shù)、編碼模式以及相關(guān)的編碼參數(shù)等信息進(jìn)行熵編碼，從而得到壓縮后的比特流。同時(shí)量化殘差還要進(jìn)行反變換和反量化，然后將殘差和預(yù)測(cè)值相加起來(lái)重建圖像，再進(jìn)行濾波，生成參考幀2.2 編碼單元結(jié)

17、構(gòu)以往H.264會(huì)以16 x 16像素為單位或是16 x 8、8 x 8、8 x 4、4 x 4等配置，將畫(huà)面切割為數(shù)個(gè)大小相同的宏塊，并以這些宏塊做為編碼時(shí)的最小元素。H.265那么是將切割畫(huà)面的工作從使用者手動(dòng)設(shè)定，轉(zhuǎn)交給編碼器來(lái)決定，讓編碼器可視情況以16 x 16、32 x 32、64 x 64等尺寸，將畫(huà)面切割為數(shù)個(gè)編碼樹(shù)單元，一般來(lái)說(shuō)區(qū)塊尺寸越大，壓縮效率就會(huì)越好。左圖是傳統(tǒng)的H.264標(biāo)準(zhǔn)，每個(gè)宏塊大小都是固定的；右圖是H.265標(biāo)準(zhǔn)，編碼單元大小是根據(jù)區(qū)域信息量來(lái)決定的H.265沒(méi)有繼續(xù)采用之前的宏塊(Micro Block，MB)概念，而是使用編碼單元(Coding unit

18、，CU)作為根本的編碼結(jié)構(gòu)。一個(gè)CU可以包含一個(gè)或多個(gè)不同尺寸的預(yù)測(cè)單元PU(Prediction unit)，一個(gè)PU包含假設(shè)干變換單元(Transfore unit，TU)。CU,PU,TU三種在編碼中起的作用不一樣，不過(guò)這種編碼方式還是基于混合編碼，但是采用了這三種unit之后，能夠更好的分割一張圖像，變成一個(gè)一個(gè)的block用來(lái)后續(xù)的預(yù)測(cè)和處理。采用這種結(jié)構(gòu)設(shè)計(jì)的目的是在增加靈活性的同時(shí)，使壓縮預(yù)測(cè)更符合圖像特性。Ø CU(Coding Unit)CU是用作幀間和幀內(nèi)編碼的根底單元，他的特點(diǎn)是方塊，LCU是64x64，可以使用遞歸分割四叉樹(shù)的方法來(lái)得到，大的CU適用于圖像中比

19、擬平滑局部，而小的局部那么適用于邊緣和紋理較豐富的區(qū)域。采用大尺寸CU主要是為了高清壓縮編碼的應(yīng)用，畢竟如1080p甚至更大分辨力的視頻，其空間會(huì)有更大面積的一致性，因此采用更大的編碼單元能更有效地減少空間的冗余。如果仍采用光柵掃描順序，對(duì)CU的尋址會(huì)很不方便，因此，H.265定義了Z掃描順序這種掃描順序保證了對(duì)于不同分割都能按照相同的遍歷順序進(jìn)行尋址有利于程序中遞歸實(shí)現(xiàn)Ø PU(Prediction Unit)PU是預(yù)測(cè)的根本單元，是編碼單元CU根底上進(jìn)行劃分的，有SKIP，INTRA，INTER三種模式可以分割，每個(gè)CU中可以包含一個(gè)或多個(gè)PU。PU可以是方形也可以是矩形，這是為

20、了分塊能更好與圖像中真實(shí)物體存在的邊界匹配，但是其分割不是遞歸的，與CU的分割還是有區(qū)別的。PU的尺寸不能超過(guò)其所屬的CU，PU的劃分方式有兩類(lèi) a. 2Nx2N,NxN,Nx2N,2NxN如圖三a所示 b.64x64的CU支持AMP(不對(duì)稱(chēng)分割,主要為了適用于CU中紋理偏差比擬大的情況，增加預(yù)測(cè)的精準(zhǔn)度，不對(duì)稱(chēng)的PU僅適用于幀間預(yù)測(cè)，如圖三b所示Ø TU(TransformUnit)TU是變換和量化的根本單元，它可以大于PU，但是卻不可以大于CU的大小。TU同樣采用四叉樹(shù)的分割結(jié)構(gòu)，所支持的尺寸從4x4至32x32的大小。TU的形狀取決于PU的劃分模式，當(dāng)PU為

21、正方形時(shí)，TU也是正方形的，當(dāng)PU為非正方形時(shí)，TU也是非正方形的，一個(gè)CU可以包含一個(gè)或多個(gè)TU。下列圖可以形象的展示CU、PU及CU之間的關(guān)系。2.3 幀內(nèi)預(yù)測(cè)利用圖像的空間相關(guān)性，用周?chē)亟ㄏ袼刂祵?duì)當(dāng)前編碼塊進(jìn)行預(yù)測(cè)H.265更多的幀內(nèi)預(yù)測(cè)方向，在H.264采用9個(gè)幀內(nèi)預(yù)測(cè)方向的場(chǎng)合，H.265預(yù)測(cè)方向拓展到33個(gè)，另外加上一個(gè)DC和一個(gè)planar，一共35中預(yù)測(cè)模式，使得預(yù)測(cè)更加精細(xì)，增加更多提升更高效幀內(nèi)壓縮的可能的參考像素塊。明顯的代價(jià)是在增加的方向中搜索需要更多編碼時(shí)間。Planar模式平面預(yù)測(cè)是一種新提出的預(yù)測(cè)方法，常用于內(nèi)容平滑或紋理不清晰的單元。它為預(yù)測(cè)單元中的每一個(gè)像素

22、點(diǎn)也都要進(jìn)行插值預(yù)測(cè)，如下圖。首先根據(jù)左側(cè)相鄰單元的右下角像素和上方相鄰單元的下邊界像素插值出當(dāng)前預(yù)測(cè)單元下邊界的每個(gè)像素點(diǎn)，再根據(jù)上方相鄰單元的右下角像素和左側(cè)相鄰單元的右邊界像素插值出當(dāng)前預(yù)測(cè)單元右邊界的每個(gè)像素點(diǎn)，然后利用上方相鄰單元的下邊界、左側(cè)相鄰單元的右邊界以及插值出的當(dāng)前單元的下邊界和右邊界插值出其余的像素點(diǎn)。在平面預(yù)測(cè)中，首先右下角的像素Z由圖中重建像素L和T平均得到，然后利用重建像素L和T與Z進(jìn)行線性插值計(jì)算出最下面一行和最右邊一列像素值，如圖中像素M和N，然后利用插值得到的像素進(jìn)行雙線性插值計(jì)算其他預(yù)測(cè)像素值，如圖中像素P。 與亮度的幀內(nèi)預(yù)測(cè)相比，色度的幀內(nèi)預(yù)測(cè)過(guò)程要簡(jiǎn)單的

23、多，只有率失真優(yōu)化的模式選擇過(guò)程，且與亮度的率失真優(yōu)化模式選擇過(guò)程相同。色度預(yù)測(cè)只有5種預(yù)測(cè)模式：planar、DC、horizontal、vertical、DM_CHROMA等。DM_CHROMA模式就是利用亮度分量所選擇的預(yù)測(cè)模式，因此如果前4種預(yù)測(cè)模式中存在亮度分量所選擇的預(yù)測(cè)模式，為了防止重復(fù)，就利用垂直向右對(duì)角線方向(34)預(yù)測(cè)替換該重復(fù)的預(yù)測(cè)模式。2.4 幀間預(yù)測(cè)幀間預(yù)測(cè)利用連續(xù)圖像之間的相關(guān)性，通過(guò)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)木幋a方法去消除視頻信息的時(shí)間冗余。利用先前已編碼重建幀作為參考幀進(jìn)行預(yù)測(cè)。1、幀間預(yù)測(cè)采用融合模式時(shí)，當(dāng)前PU塊的運(yùn)動(dòng)信息(包括運(yùn)動(dòng)矢量、參考索引、預(yù)測(cè)模式)都可以

24、通過(guò)相鄰PU的運(yùn)動(dòng)信息推導(dǎo)得到。編碼時(shí)，當(dāng)前PU塊只需要傳送融合標(biāo)記(Merge Flag)以及融合索引(Merge Index)，無(wú)需傳送其運(yùn)動(dòng)信息。2、幀間預(yù)測(cè)還可以通過(guò)空域相鄰PU以及時(shí)域相鄰PU的運(yùn)動(dòng)矢量信息構(gòu)造出一個(gè)預(yù)測(cè)運(yùn)動(dòng)矢量候選列表，PU遍歷運(yùn)動(dòng)矢量候選列表，在其中選擇最正確的預(yù)測(cè)運(yùn)動(dòng)矢量。2.4.1 廣義B幀預(yù)測(cè)技術(shù)在高效預(yù)測(cè)模式下，H.265仍然采用H.264中的等級(jí)B 預(yù)測(cè)方式，同時(shí)還增加了廣義 B (Generalized P and B picture ，GPB )預(yù)測(cè)方式取代低時(shí)延應(yīng)用場(chǎng)景中的P預(yù)測(cè)方式。GPB 預(yù)測(cè)結(jié)構(gòu)“是指對(duì)傳統(tǒng)P幀采取類(lèi)似于B幀的雙向預(yù)測(cè)方式進(jìn)行

25、預(yù)測(cè)。在這種預(yù)測(cè)方式下，前向和后向參考列表中的參考圖像都必須為當(dāng)前圖像之前的圖像，且兩者為同一圖像。對(duì)P幀采取B幀的運(yùn)動(dòng)預(yù)測(cè)方式增加了運(yùn)動(dòng)估計(jì)的準(zhǔn)確度，提高了編碼效率，同時(shí)也有利于編碼流程的統(tǒng)一。2.4.2 去塊濾波(Deblock filter)去塊濾波位于反變換之后，主要是去除視頻壓縮過(guò)程中產(chǎn)生的方塊效應(yīng)。首先對(duì)垂直邊界進(jìn)行水平濾波，先亮度塊后色度塊；再對(duì)水平邊界進(jìn)行垂直濾波，先亮度塊后色度塊。HEVC對(duì)8x8塊的邊界進(jìn)行濾波，與H.264/AVC中對(duì)4x4邊的邊界進(jìn)行濾波相比，HEVC中去塊濾波算法的時(shí)間復(fù)雜度有所降低。2.4.3 采樣點(diǎn)自適應(yīng)偏移(Sample Adaptive Off

26、set,SAO)把Frame劃分為假設(shè)干LCU, 然后對(duì)每個(gè)LCU中每個(gè)像素進(jìn)行SAO操作.將根據(jù)其LCU像素特征選擇一種像素補(bǔ)償方式，以減少源圖像與重構(gòu)圖像之間的失真。自適應(yīng)樣點(diǎn)補(bǔ)償方式分為帶狀補(bǔ)償Band Offset，BO和邊緣補(bǔ)償Edge Offset，EO兩大類(lèi)。Ø 帶狀補(bǔ)償帶狀補(bǔ)償將像素值強(qiáng)度等級(jí)劃分為假設(shè)干個(gè)條帶，每個(gè)條帶內(nèi)的像素?fù)碛邢嗤难a(bǔ)償值。進(jìn)行補(bǔ)償時(shí)根據(jù)重構(gòu)像素點(diǎn)所處的條帶，選擇相應(yīng)的帶狀補(bǔ)償值進(jìn)行補(bǔ)償。現(xiàn)有的HM模型將像素值強(qiáng)度從0到最大值劃分為32個(gè)等級(jí)。同時(shí)這32個(gè)等級(jí)條帶還分為兩類(lèi)，第一類(lèi)是位于中間的16個(gè)條帶，剩余的16個(gè)條帶是第二類(lèi)。編碼時(shí)只將其中一

27、類(lèi)具有較大補(bǔ)償值的條帶偏移信息寫(xiě)入片頭；另一類(lèi)條帶信息那么不傳送。這樣的方式編碼將具有較小偏移值的一類(lèi)條帶忽略不計(jì)，從而節(jié)省了編碼比特?cái)?shù)Ø 邊緣補(bǔ)償  邊緣補(bǔ)償主要用于對(duì)圖像的輪廓進(jìn)行補(bǔ)償。它將當(dāng)前像素點(diǎn)值與相鄰的2個(gè)像素值進(jìn)行比照，用于比擬的2個(gè)相鄰像素可以在下列圖中所示的4種模板中選擇，從而得到該像素點(diǎn)的類(lèi)型。解碼端根據(jù)碼流中標(biāo)示的像素點(diǎn)的類(lèi)型信息進(jìn)行相應(yīng)的補(bǔ)償校正。2.4.4 自適應(yīng)環(huán)路濾波(Adaptive Loop Filter,ALF)ALF在編解碼環(huán)路內(nèi)，位于Debtock和SAO之后，用于恢復(fù)重建圖像以到達(dá)重建圖像與原始圖像之間的均方差(MSE)最

28、小。ALF的系數(shù)是在幀級(jí)計(jì)算和傳輸?shù)?，可以整幀?yīng)用ALF，也可以對(duì)于基于塊或基于量化樹(shù)(quadtree )的局部區(qū)域進(jìn)行ALF，如果是基于局部區(qū)域的ALF。還必須傳遞指示區(qū)域信息的附加信息。對(duì)于亮度分量，采用CU為單位的四叉樹(shù)ALF結(jié)構(gòu)。濾波使用5*5,7*7和9*9三種大小的二維鉆石型模板。濾波器計(jì)算每個(gè)4*4塊的Laplacian系數(shù)值，并根據(jù)該值將所有4*4塊分成16類(lèi)，分別對(duì)應(yīng)16種濾波器。3種ALF濾波模板對(duì)于色度分量，濾波的選擇過(guò)程會(huì)簡(jiǎn)單很多。原因如下：首先，色度分量的濾波只需要在圖像層級(jí)上進(jìn)行。其次，濾波時(shí)色度分量統(tǒng)一使用5*5矩形濾波模板，不需要通過(guò)Laplacian系數(shù)來(lái)選

29、擇濾波器類(lèi)型。2.5 并行設(shè)計(jì)當(dāng)前芯片架構(gòu)已經(jīng)從單核性能逐漸往多核并行方向開(kāi)展，因此為了適應(yīng)并行化程度非常高的芯片實(shí)現(xiàn)，H.265引入了很多并行運(yùn)算的優(yōu)化思路。2.5.1 Tile用垂直和水平的邊界將圖像劃分為一些行和列，劃分出的矩形區(qū)域?yàn)橐粋€(gè)Tile，每一個(gè)Tile包含整數(shù)個(gè)LCU(Largest Coding Unit)Tile之間可以互相獨(dú)立，以此實(shí)現(xiàn)并行處理。Tile劃分示意圖2.5.2 Entropy slice熵編碼以slice為單位，容易造成負(fù)載不均衡。Entropy SIice允許在一個(gè)slice內(nèi)部再切分成多個(gè)Entropy SIices。每個(gè)Entropy SIice可以獨(dú)立的編碼和解碼，從而提高了編解碼器的并行處理能力。Entropy sIice與Slice的關(guān)系一個(gè)Entropy sIice不能跨越sIice邊界，也就是一個(gè)slice不可以含有多個(gè)Entropy sIice，但是一個(gè)Entropy sIice只能屬于一個(gè)slice2.5.3 WPP(Wavefront