北郵多媒體技術小論文

1、多媒體技術H.265編碼標準研究報告 學院： 學號： 姓名： 北京郵電大學H.265編碼標準研究報告概要： 隨著終端和網(wǎng)絡技術的快速發(fā)展，人們的視覺感受要求越來越高，對視頻的清晰度和傳輸速度提出了更高的要求。但是現(xiàn)有的視頻壓縮標準已經(jīng)不能滿足需求，這就要求研究人員提出新的視頻壓縮標準，進一步提高視頻的壓縮效率，H.265編碼標準應運而生。H.265編碼標準主要目標是在現(xiàn)有的H.264標準的基礎上，壓縮效率提高一倍，可以允許適當提高編碼端的復雜度。本文主要從H.265編碼標準的關鍵技術入手，比較全面地介紹了樹形編碼結(jié)構(gòu)、細粒度slice分塊邊界、預測編碼技術、環(huán)路濾波、熵編碼、并行化設計等技術。

2、同時，與H.264編碼標準進行了對比。關鍵字： H.265，預測編碼，環(huán)路濾波，熵編碼，對比H.264 一、 引言1. 研究背景隨著終端和網(wǎng)絡技術的快速發(fā)展，人們對視頻編碼的要求不斷提高。為從根本上解決視頻信息冗余度高、信息量的問題，必須對視頻數(shù)據(jù)進行壓縮，再以壓縮后的形式進行傳輸和存儲。為滿足實際的應用需求，主要用來應對視頻實時傳輸?shù)腍.264視頻標準應運而生。其以優(yōu)秀的視頻壓縮性能與網(wǎng)絡適應性，成為網(wǎng)絡視頻流媒體、數(shù)字電視廣播以及視頻實時通信等應用領域的主要視頻壓縮標準。但隨著大數(shù)據(jù)時代的到來，人們對于網(wǎng)絡視頻業(yè)務的需求日益增長，如何使終端用戶能夠在較低的帶寬下獲取更高質(zhì)量的視頻數(shù)據(jù)成為一

3、個亟需解決的問題。因此對新提出了H.264的下一代編碼標準H.265編碼標準，H.265旨在在有限帶寬下傳輸更高質(zhì)量的網(wǎng)絡視頻，僅需原先的一半帶寬即可播放相同質(zhì)量的視頻。這也意味著，我們的智能手機、平板機等移動設備將能夠直接在線播放1080p的全高清視頻。H.265標準也同時支持4K(4096×2160)和8K(8192×4320)超高清視頻?？梢哉f，H.265標準讓網(wǎng)絡視頻跟上了顯示屏"高分辨率化"的腳步。2. H.265編碼標準H.265編碼標準全稱為高效視頻編碼(High Efficiency Video Coding, HEVC)。2010 年1

4、 月，國際電信協(xié)會(International Telecommunication Unio n, ITU) 的視頻編碼專家組(Video Coding Experts Group, VCEG) 和國際標準化組織(International Standardization Organization, ISO) 的運動圖像專家組(Motion Picture Experts Group, MPEG) 組織聯(lián)合發(fā)起新一代視頻編碼技術提案。視頻編碼聯(lián)合小組對相關技術進行審議和評估，并于2010 年4 月召開第一次會議，會議中一共商討了27 個完整的提案。2013 年1 月，ISO/IEC 和ITU-

5、T 組織同時發(fā)布了H.265 標準的最終版本。2013 年1 月26 號，H.265 正式成為國際標準。H.265 較H.264 有40%50% 的碼流節(jié)省，并且增加了更多的并行機制和網(wǎng)絡傳輸機制。H.265標準圍繞著現(xiàn)有的視頻編碼標準H.264，保留原來的某些技術，同時對一些相關的技術加以改進。新技術使用先進的技術用以改善碼流、編碼質(zhì)量、延時和算法復雜度之間的關系，達到最優(yōu)化設置。具體的研究內(nèi)容包括:提高壓縮效率、提高魯棒性和錯誤恢復能力、減少實時的時延、減少信道獲取時間和隨機接入時延、降低復雜度等。H264由于算法優(yōu)化，可以低于1Mbps的速度實現(xiàn)標清數(shù)字圖像傳送;H265則可以實現(xiàn)利用1

6、2Mbps的傳輸速度傳送720P(分辨率1280*720)普通高清音視頻傳送。二、 H.265關鍵技術及實現(xiàn)原理H.265/HEVC采用混合編碼框架，并在原有H.264編碼標準的混合編碼框架下，進行了大量的關鍵的技術創(chuàng)新。其中包括：樹形編碼結(jié)構(gòu)、細粒度Slice分塊邊界、幀內(nèi)預測技術、幀間預測技術、自適應環(huán)路濾波技術、熵編碼技術以及并行化設計。1. 樹形編碼結(jié)構(gòu)隨著視頻分辨率的提高和視頻信息量的增長，宏塊結(jié)構(gòu)越大，塊數(shù)越少，視頻的壓縮效率相應越高。HEVC中采用基于大尺寸的四叉樹樹形編碼結(jié)構(gòu)，該結(jié)構(gòu)包括變換單元(Transform Unit, TU) 、預測單元(Predict Unit, P

7、U) 和編碼單元(Coding Unit, CU) 。編碼結(jié)構(gòu)如圖（1）所示。其中TU是進行變換和量化的基本單元，PU是進行預測的基本單元，CU與H.264 標準中宏塊的概念相似，應用在編碼的過程中。圖（1） 樹形編碼結(jié)構(gòu)HEVC 使用了更大的宏塊進行編碼，這些宏塊在HEVC中叫做CTU( 編碼樹單元)，大小可以為16×16、32×32 和64×64 像素。宏塊的大小擴展至64×64，目的在于減少高清數(shù)字視頻的宏塊個數(shù)，減少用于描述宏塊內(nèi)容的參數(shù)信息，以便于壓縮高分辨率的視頻。同時，為了顯著提升編碼效率，利用了更加靈活方便的編碼結(jié)構(gòu)。通過四叉樹結(jié)構(gòu)將CT

8、U 轉(zhuǎn)換為CU進行編碼。在預測模式下部分CU 將轉(zhuǎn)換為PU。對圖像殘差轉(zhuǎn)換時CU 轉(zhuǎn)換為變換單元TU，進行DCT 轉(zhuǎn)換和量化。上述三個單元間的相互分離，使得變換、預測和編碼間的處理環(huán)節(jié)更加靈活簡便，同時也能夠使各個單元更好地做好各自的任務。2. 細粒度Slice分塊邊界在HEVC中首次提出了CU的概念，代替以前視頻編碼標準中MB的概念，CU是可遞歸的，最大允許的CU大小是64×64，最小允許的CU是8×8。按照編碼器框架，圖像首先分為slice，再分為CU，再分為partition。早期的測試模型中slice是以最大CU(LCU)為粒度劃分的，如64×64。但這一

9、劃分方式存在兩方面的問題：（1）同一幅圖像中不同的LCU之間差別很大，簡單的LCU紋理非常簡單，此編碼結(jié)果比特數(shù)很少，復雜的LCU可能占有很多比特，這對于編碼器的碼率控制和負載均衡都很不利。（2）如果減小LCU的大小，比如減為32×32或16×16，則壓縮效率會降低很多。針對這一問題，一些提案提出slice邊界劃分不以LCU為單位，而是以更小的CU為單位，片的分割如圖（2）所示。圖（2） 樹形編碼結(jié)構(gòu)采用這一方式后，每個slice的大小都可以精確控制，同時解決了碼率控制和負載均衡的問題。但是帶來的代價是slice邊界處理更為復雜。3. 預測編碼技術3.1多角度幀內(nèi)預測幀內(nèi)預

10、測是用來壓縮大量空域冗余數(shù)據(jù)的數(shù)據(jù)壓縮方式。HEVC的幀內(nèi)預測將原有的8種預測方向擴展至33種，覆蓋整個180度的范圍。另外HEVC保留DC 和Planar 兩種平面預測方式，并對Planar預測方法進行了改進，增加了幀內(nèi)預測的精細度，目前共計35 種預測方式。通過多方向的預測可以增加預測的精度，減小圖像殘差數(shù)據(jù)的產(chǎn)生，增加數(shù)據(jù)壓縮效率。下面圖（3）顯示了35種預測方式。但由于受到編碼復雜度限制，編碼模型對4×4和64×64尺寸的PU所能使用的預測模式進行了限制。圖（3） 幀內(nèi)預測方式3.2幀間預測技術（1）廣義B預測技術在高效的預測模式下，HEVC仍然采用了H.264中的

11、B預測方式，同時還增加了廣義B (Generalized P and B picture，GPB)預測方式取代低時延應用場景中的P預測方式。GPB預測結(jié)構(gòu)是指對傳統(tǒng)P幀采取類似于B幀的雙向預測方式進行預測。在這種預測方式下，前向和后向參考列表中的參考圖像都必須為當前圖像之前的圖像，且兩者為同一圖像。對P幀采取B幀的運動預測方式增加了運動估計的準確度，提高了編碼效率，同時也有利于編碼流程的統(tǒng)一。（2）高精度運動補償技術HEVC的編碼器內(nèi)部增加了像素比特深度，最大可支持12 bit的解碼圖像輸出，提高了解碼圖像的信息精度。同時，HM模型采取了高精度的雙向運動補技術，即無論最終輸出圖像比特深度是否增

12、加，在雙向運動補償過程中都將使用14 bit的精度進行相關計算。（3）運動融合技術運動融合技術(Merge)將以往的跳過預測模式(Skip Mode)和直接預測模式(Direct Mode)的概念進行了整合。采用融合模式時，當前PU塊的運動信息(包括運動矢量、參考索引、預測模式)都可以通過相鄰PU的運動信息推導得到。編碼時，當前PU塊只需要傳送融合標記(Merge Flag)以及融合索引(Merge Index)，無需傳送其運動信息。 （4）自適應運動矢量預測技術自適應運動矢量預測技術(Adaptive Motion Vector Prediction，AMVP)為一般的幀間預測PU服務，通過

13、相鄰空域相鄰PU以及時域相鄰PU的運動矢量信息構(gòu)造出一個預測運動矢量候選列表，PU遍歷運動矢量候選列表，在其中選擇最佳的預測運動矢量。利用AMVP技術可充分發(fā)掘時域相關性和空域相關性。值得一提的是，無論是運動融合技術還是自適應運動矢量預測技術，兩者在候選運動矢量列表的設計上都進行了精心考慮，以保證運動估計的高效性以及解碼的穩(wěn)健性。4. 環(huán)路濾波一個完整的HEVC的環(huán)路濾波過程包括三個環(huán)節(jié)：去塊濾波，采樣點自適應偏移(Sample Adaptive Offset，SAO)，自適應環(huán)路濾波(Adaptive Loop Filter，ALF)。HEVC的去塊濾波是在H.264的去塊濾波技術的基礎上發(fā)

14、展而來的，但為了降低復雜度，目前的HM模型取消了對4×4塊的去塊濾波。采樣點自適應偏移和自適應環(huán)路濾波均為HEVC采用的新技術。下面對采樣點自適應偏移、自適應環(huán)路濾波進行詳細闡述。4.1 SAO采樣點自適應偏移(SAO)在編解碼環(huán)路內(nèi)，位于Deblock之后，通過對重建圖像的分類，對每一類圖像像素值加減一個偏移，達到減少失真的目的，從而提高壓縮率，減少碼流。若使用SAO技術，重構(gòu)圖像將按照遞歸的方式分裂成4個子區(qū)域，每個子區(qū)域?qū)⒏鶕?jù)其圖像像素特征選擇一種像素偏移方式，以減少源圖像與重構(gòu)圖像之間的失真。目前采樣點自適應偏移方式分為帶狀偏移(Band Offset，BO)和邊緣偏移(Ed

15、ge Offset，EO)兩大類。 帶狀偏移將像素值強度等級劃分為若干個條帶，每個條帶內(nèi)的像素擁有相同的偏移值。進行偏移時根據(jù)重構(gòu)像素點所處的條帶，選擇相應的帶狀偏移值進行偏移。現(xiàn)有的HM模型將像素值強度從0到最大值劃分為32個等級。同時這32個等級條帶還分為兩類，第一類是位于中間的16個條，剩余的16個條帶是第二類。編碼時只將其中一類具有較大補償值的條帶偏移信息寫入片頭；另一類條帶信息則不傳送。這樣的方式編碼將具有較小偏移值的一類條帶忽略不計，從而節(jié)省了編碼比特數(shù)。邊緣偏移主要用于對圖像的輪廓進行偏移。它將當前像素點值與相鄰的2個像素值進行對比，用于比較的2個相鄰像素可以在圖（4）所示的4種

16、模板中選擇，從而得到該像素點的類型：局部最大、局部最小或者圖像邊緣。解碼端根據(jù)碼流中標示的像素點的類型信息進行相應的偏移校正。圖（4） 4種邊緣樣點偏移模板采用SAO后，平均可以減少2%6%的碼流，而編碼器和解碼器的性能消耗僅僅增加了約2%。4.2 ALF自適應環(huán)路濾波(Adaptive Loop Filter, ALF)在編解碼環(huán)路內(nèi)，位于Deblock和SAO之后，用于恢復重建圖像以達到重建圖像與原始圖像之間的均方差(MSE)最小。ALF的系數(shù)是在幀級計算和傳輸?shù)?，可以整幀應用ALF，也可以對于基于塊或基于量化樹(quadtree)的部分區(qū)域進行ALF，如果是基于部分區(qū)域的ALF，還必須傳

17、遞指示區(qū)域信息的附加信息。ALF采用二維維納濾波器，濾波系數(shù)根據(jù)局部特性進行自適應計算。對于亮度分量，采用CU為單位的四叉樹ALF結(jié)構(gòu)。5. 熵編碼CABAC是H. 264的兩種熵編碼方案之一。現(xiàn)有的CABAC編碼器采用串行處理的方式，解碼端需要足夠高頻率的計算能力才能實時地對高碼率的碼流進行解碼，直接增加了解碼功耗和實現(xiàn)復雜度。為了解決CABAC的速度問題，JCT提出了熵編碼模型并行化的要求。收集的提案大致從3個角度提出了并行化CABAC解決方案：基于比特的并行CABAC, 基于語法元素的并行CABAC和基于片的并行CABAC。最后，基于語法元素的并行CABAC編碼方案(SB-CABAC)被

18、HM模型所采納。目前，HM可支持上下文自適應變長編碼(CAVLC)和基于語法元素的上下文自適應二進制算術編碼(SB-CABAC)，分別用于低復雜度的編碼場合和高效的編碼場合。SB-CABAC的目的是為具有不同統(tǒng)計模型的句法元素提供高效的編碼方式。在SB-CABAC中，句法元素被分成N個類別，每個類別并行地維護著自己的上下文概率模型及其更新狀態(tài)，每個類別的句法元素可對應一個或者多個概率表。因此，當各個類別所處理的比特量較均衡時，與原有串行編碼器相比，并行編碼器的處理能力將提高N倍。然而實際運用中，各個類別的句法元素比特數(shù)不可能均衡，因此編碼器處理能力的提升將小于N倍。目前，HM中每一個句法元素都

19、對應著一個或者多個概率模型，不同句法元素間的初始概率模型可能相同，并且可為每一個語法元素的每一位設計其選擇概率模型的規(guī)則，以便為編碼器提供最準確的概率估計?？傮w來說，SB-CABAC的編碼過程與原有的CABAC編碼過程大致相同，都包括語法元素值二進制化、上下文概率模型選擇、概率估計與上下文概率模型更新、二進制算術編碼4個部分。6. 并行化設計（Tile，Entropy slice,WPP）當前芯片架構(gòu)已經(jīng)從單核性能逐漸往多核并行方向發(fā)展，因此為了適應并行化程度非常高的芯片實現(xiàn)，HEVC/H265引入了很多并行運算的優(yōu)化思路，主要包括以下幾個方面：6.1 Tile圖（5） Tile劃分示意圖如圖

20、（5）所示，用垂直和水平的邊界將圖像劃分為一些行和列，劃分出的矩形區(qū)域為一個Tile，每一個Tile包含整數(shù)個LCU，Tile之間可以互相獨立，以此實現(xiàn)并行處理。6.2 Entropy SliceEntropy Slice的概念是Sharp公司提出的，現(xiàn)在改名為lightweighted slice，這個提案主要解決的問題是針對H.264 Slice切分的一些缺點：（1）H.264的熵編碼以slice為單位，這可能會造成各個slice之間的編碼負擔不均衡，有的slice負擔重，有的則負擔輕。理論上多切分一些slice有助于在多核計算機上提高負載均衡能力。（2）但是過多的Slice切分會造成壓縮

21、效率降低。Entropy Slice能夠在一個Slice 中再劃分為多個Entropy Slices，見圖（6）。其中每個Entropy Slice 都能夠獨立地進行編解碼操作，進而提升了編解碼器的并行處理效率。圖（6） Slice 劃分為多個Entropy Slice6.3 WPP上一行的第二個LCU處理完畢，即對當前行的第一個LCU的熵編碼(CABAC)概率狀態(tài)參數(shù)進行初始化，如圖（7）所示。因此，只需要上一行的第二個LCU編解碼完畢，即可以開始當前行的編解碼，以此提高編解碼器的并行處理能力。圖（7） WPP示意圖1三、 與H.264的對比1. 編碼標準的架構(gòu)作為全新的視頻編碼標準，H.265/HEVC的編碼架構(gòu)與H.264的架構(gòu)大致相似。然而H.265/HEVC標準的架構(gòu)在某些方面有顯著的改變。H.265/HEVC的整個架構(gòu)主要分為預處理、編碼器控制、幀內(nèi)預測、幀間預測、DCT 轉(zhuǎn)換、量化、反量化和后期處理幾個部分。整個架構(gòu)的流程圖如下圖（8）所示。圖（8） H.265/HEVC編碼標準2. 技術對比HEVC 采用了更大的宏塊，最大支持64×64 像素的宏塊，而H.264 最大支持的宏塊為16×