多點(diǎn)視頻編碼

1、第 1 期張秋聞，等: 基于 HEVC 的三維視頻編碼關(guān)鍵技術(shù)述評·67·第 30 卷第 1 期鄭州輕工業(yè)學(xué)院學(xué)報(bào) ( 自然科學(xué)版 )Vol 30No 12015 年 2 月JOUNAL OF ZHENGZHOU UNIVESITY OF LIGHT INDUSTY( Natural Science)Feb 2015文章編號: 2095 476X( 2015) 01 0055 08基于HEVC的三維視頻編碼關(guān)鍵技術(shù)述評張秋聞，黃新彭，甘勇( 鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院，河南鄭州 450001)摘要: 綜述了基于高效率視頻編碼 HEVC( high efficienc

2、y video coding) 標(biāo)準(zhǔn)的兩種擴(kuò)展，即 MV-HEVC( high efficiency video coding based multiview) 和 3D-HEVC( high efficiency video coding based 3D video coding) 的工作原理及其編碼工具，分析了 3D-HEVC 模型的特點(diǎn)、編碼模塊與方法，并將 3D-HEVC 與 MV-HEVC 進(jìn)行了性能對比 總結(jié)發(fā)現(xiàn)，由于 3D-HEVC 采用紋理視頻加深度格式來合成虛擬視點(diǎn)，從而降低了大量的編碼碼率，可方便應(yīng)用于 3D 電視、自由立體視點(diǎn)電視和 3D 數(shù)字電影等多種三維體驗(yàn)中 隨著

3、智能移動設(shè)備的發(fā)展，手持終端采用 3D-HEVC 支持多視點(diǎn) 3D 視頻將會成為未來的研究趨勢關(guān)鍵詞: 三維視頻; 高效率視頻編碼; 壓縮中圖分類號: TN919 81 文獻(xiàn)標(biāo)志碼: ADOI: 10 3969 /j issn 2095 476X 2015 01 012eview of key technology of 3D video coding based on HEVCZHANG Qiu-wen， HUANG Xin-peng， GAN Yong( College of Computer and Communication Engineering，Zhengzhou Universi

4、ty of Light Industry，Zhengzhou 450001，China)Abstract: The operating principle and coding tools of two kinds of extension of HEVC ( high efficiency video coding) standards including MV-HEVC ( high efficiency video coding based multiview) and 3D-HEVC ( high efficiency video coding based 3D video codin

5、g) were reviewed The feature，coding modules and method of 3D-HEVC model were analyzed，and the performances between 3D-HEVC and MV-HEVC were compared The conclusion showed that 3D-HEVC synthesized virtual view with the format of texture video plus depth，thus its bit rates would be reduced notably，so

6、3D-HEVC would be applied to many kinds of 3D experience like 3D TV，free viewpoint video and 3D digital movie With the development of smart mobile devices，handheld terminal using 3D-HEVC to support multiview 3D video would become the research tendency in the futureKey words: 3D video; high efficiency

7、 video coding ( HEVC) ; compression完成，且被批準(zhǔn)稱為 ITU T H 265 標(biāo)準(zhǔn)及 ISO/IEC0引言23008 21 隨后，相關(guān)的國際標(biāo)準(zhǔn)化委員會又將2013 年，第一代高效率視頻編碼( HEVC) 標(biāo)準(zhǔn)工作重點(diǎn)轉(zhuǎn)移到了其重要性能的擴(kuò)展開發(fā)上 盡管收稿日期: 2014 05 21基金項(xiàng)目: 國家自然科學(xué)基金項(xiàng)目( 61302118，61401404) ; 河南省教育廳科技攻關(guān)重點(diǎn)項(xiàng)目( 14A520034) ; 鄭州市科技計(jì)劃項(xiàng)目( 141PPTGG360) ; 鄭州輕工業(yè)學(xué)院博士基金項(xiàng)目( 2013BSJJ047)作者簡介: 張秋聞( 1982) ，

8、男，河南省禹州市人，鄭州輕工業(yè)學(xué)院講師，博士，主要研究方向?yàn)槿S視頻編碼第一代 HEVC 標(biāo)準(zhǔn)涉及許多領(lǐng)域，但是其中一些關(guān)鍵技術(shù)還沒有得到完全開發(fā)，未來開發(fā)人員將會專注于對 HEVC 最核心技術(shù)的研發(fā)HEVC 標(biāo)準(zhǔn)委員會由 ITU T 的視頻編碼專家組( VCEG) 和 ISO/IEC 的運(yùn)動圖片專家組( MPEG) 合作組成 HEVC 的大部分高層語法都是從 H 264 / MPEG 4 高級視頻編碼( AVC) 標(biāo)準(zhǔn)中保留并延續(xù)下來的，且其參數(shù)集中包含了為視頻流中的圖片解碼的信息 該參數(shù)集提供了強(qiáng)大的數(shù)據(jù)傳送機(jī)制，傳送的數(shù)據(jù)只有在解碼過程中通過解析頂層頭文件才能得到，而且該機(jī)制確保了與之匹

9、配的“帶外” 數(shù)據(jù)可以被反復(fù)傳送 其中每一條語法都被載入一個邏輯 數(shù) 據(jù) 包 中，該 數(shù) 據(jù) 包 被 稱 為 網(wǎng) 絡(luò) 抽 象 層 ( NAL) 單元 根據(jù)一個僅有 2 個字節(jié)的 NAL 單元的頭文件，能很輕易地判斷出相關(guān)負(fù)載數(shù)據(jù)的傳送目的地，這些數(shù)據(jù)就包括了為隨機(jī)訪問圖片解碼的參數(shù)集第一代 HEVC 的高層語法在兼容性方面具有可擴(kuò)展的能力，尤其是傳統(tǒng)解碼器在對部分比特流進(jìn)行解碼方面具有可擴(kuò)展性 為此，高級視頻編碼定義了視頻參數(shù)集( VPS) 用于解碼，除此之外，還應(yīng)用了序列參數(shù)集( SPS) 和圖片參數(shù)集( PPS) 從某種程度上講，NAL 單元概念的提出，可以更靈活地實(shí)現(xiàn)隨機(jī)訪問、trick

10、 play 和部分序列訪問 HEVC 中其余的 NAL 單元類型支持對視頻系統(tǒng)的各種隨機(jī)訪問行為HEVC 的視頻編碼層采用的是基于分塊的混合編碼方法( 幀間預(yù)測和 2D 轉(zhuǎn)換編碼混合) ，且該方法可以用在自 H 261 以來的所有視頻壓縮標(biāo)準(zhǔn)中HEVC 比特流的混合編碼器的框圖如圖 1 所示基于 HEVC 標(biāo)準(zhǔn)的 3D 視頻擴(kuò)展能夠?qū)崿F(xiàn)立體和多視點(diǎn)的成像，其中深度圖加視頻的多視點(diǎn)技術(shù)是較新的 3D 擴(kuò)展技術(shù) 為了研究更多的 3D 視頻項(xiàng)目，尤其是基于 HEVC 標(biāo)準(zhǔn)的 3D 視頻擴(kuò)展，HEVC 標(biāo)準(zhǔn)委員會在 2012 年 7 月組成了 3D 視頻聯(lián)合組( JCT-3V) 3D 多視點(diǎn)視頻格式通

11、過特殊的 3D 顯示系統(tǒng)，就能夠?qū)⒄鎸?shí)場景的深度感表現(xiàn)出來，且該視頻系統(tǒng)預(yù)計(jì)將以合適的價格進(jìn)入消費(fèi)者市場2 對于傳統(tǒng)的立體視頻格式來說，觀看者需要佩戴特殊的眼鏡才能感受到立體效果，而自由立體視頻格式的顯示器卻能夠達(dá)到裸眼 3D 的效果 自由立體視頻格式采用的是基于深度圖合成的技術(shù)，該技術(shù)的亮點(diǎn)在于可利用編碼表現(xiàn)出大部分高質(zhì)量深度圖3 5為了支持這些功能，JCT-3V 小組正在研發(fā)對立體視頻和多視點(diǎn)視頻高效壓縮的 HEVC 功能擴(kuò)展，同時也在研發(fā)繪制高級 3D 功能的深度圖6 8 本文在概述基于 HEVC 標(biāo)準(zhǔn)的多視點(diǎn)擴(kuò)展的基礎(chǔ)上，對正在發(fā)展中的 3D-HEVC 進(jìn)行深入討論，并對這兩種擴(kuò)展進(jìn)行

12、性能對比，以期為三維視頻編碼技術(shù)的發(fā)展提供參考和借鑒1基于 HEVC 的多視點(diǎn)擴(kuò)展( MV-HEVC)MV-HEVC 是 HEVC 擴(kuò)展中最簡單的擴(kuò)展 多視點(diǎn)擴(kuò)展的設(shè)計(jì)原則與之前高級視頻編碼框架中多視點(diǎn)視頻編碼的設(shè)計(jì)原則相同9 10 2014 年將完成 MV-HEVC 的設(shè)計(jì)，且其草案在文獻(xiàn)11中可以找到 與 MVC 設(shè)計(jì)框架一樣，MV-HEVC 的設(shè)計(jì)框架可以實(shí)現(xiàn)視點(diǎn)間估計(jì)，因此，同一時刻其他視點(diǎn)的圖像將被用于預(yù)測當(dāng)前視點(diǎn)的圖像，而且 MV-圖 1HEVC 比特流的混合編碼器的框圖HEVC 的設(shè)計(jì)框架可以兼容 HEVC 的單視點(diǎn)編碼預(yù)測結(jié)構(gòu)如圖 2 所示，視點(diǎn) 0 表示基本視點(diǎn)，通過同一時刻

13、的基本視點(diǎn)的圖像可以預(yù)測出非基本視點(diǎn)( 視點(diǎn) 1 或視點(diǎn) 2) 中的一幀圖像 I 幀圖像只能使用幀內(nèi)預(yù)測，P 幀圖像可以使用單方向幀內(nèi)預(yù)測，而 B 幀或 b 幀圖像則可以使用雙向幀內(nèi)預(yù)測對視點(diǎn) 間 圖 像 的 估 計(jì)，可 通 過 靈 活 的 基 于 HEVC 的參考圖像管理功能實(shí)現(xiàn) 從本質(zhì)上講，就是將其余視點(diǎn)的解碼圖像嵌入至當(dāng)前視點(diǎn)的參考圖像列表中，用于預(yù)測處理 因此，參考圖像管理包含了當(dāng)前視點(diǎn)的時域參考圖像，可以用于相鄰視點(diǎn)預(yù)測當(dāng)前圖像與視點(diǎn)間參考圖像 對高層語法基本不做改變或只做小范圍改動，即可完成這樣基于分塊的解碼模塊的擴(kuò)展設(shè)計(jì) 由于預(yù)測是自適應(yīng)的，所以應(yīng)該根據(jù)失真率代價來判斷是選擇使用

14、時域參考圖像預(yù)測器，還是選擇使用視點(diǎn)間參考圖像預(yù)測器( 以及雙向預(yù)測器或者權(quán)重預(yù)測器)12 15用這種預(yù)測結(jié)構(gòu)取得了比使用所謂的兼容框架結(jié)構(gòu)更高效的立體壓縮效果，兼容框架結(jié)構(gòu)將不同視點(diǎn)的圖像嵌入單個視點(diǎn)框架( 左或右視點(diǎn)，上或下視點(diǎn)) ，但是無法消除視點(diǎn)間冗余 多視點(diǎn)擴(kuò)展方案的后向兼容指的是單個視點(diǎn)的子比特流可從 3D 視頻比特流中提取出來，并用 HEVC 解碼器對其進(jìn)行解碼為了實(shí)現(xiàn)更高效地壓縮，還要繼續(xù)使用 HEVC 對單個視點(diǎn)視頻編碼保持后向兼容，構(gòu)成可選擇的編碼結(jié)構(gòu)，可以利用改進(jìn)后的基于分塊編碼工具的優(yōu)勢進(jìn)行編碼 這樣的結(jié)構(gòu)及上一節(jié)提到的類似結(jié)構(gòu)，都能夠完全兼容第一代 HEVC 的基本視

15、點(diǎn)，并抽取出單個視點(diǎn)視頻，這樣，非基本視點(diǎn)就只能應(yīng)用其他的編碼 由于同一物體投射到不同視點(diǎn)有著相似的運(yùn)動特征和紋理特點(diǎn)，因此如果能夠發(fā)現(xiàn)視點(diǎn)間運(yùn)動數(shù)據(jù)與殘差數(shù)據(jù)之間的關(guān)系，就能夠節(jié)省大量的碼率開銷16 19JCT-3V 已經(jīng)設(shè)計(jì)了參考模型，同時也起草了3D 擴(kuò)展的工作草案詳述，并命名為 3D-HEVC，目的是實(shí)現(xiàn)使用高級工具對多視點(diǎn)編碼進(jìn)行研發(fā)20 21下面將從更多細(xì)節(jié)方面來描述一些常用的 MV-HEVC 工具1 1 基于相鄰塊視差矢量( NBDV) 獲取當(dāng)前塊視差矢量基于 NBDV 獲取當(dāng)前塊視差矢量的基本思想是利用時空域上相鄰塊的有效視差運(yùn)動矢量推導(dǎo)出當(dāng)前塊的視差矢量為了識別不同視點(diǎn)間相關(guān)

16、塊的關(guān)系，在 MVHEVC 中基于 NBDV 進(jìn)行矢量識別，是按照類似高級位移矢量預(yù)測( AMVP) 模式的方法和 HEVC 的合并( MEGE) 模式的方法設(shè)計(jì)的 該技術(shù)的主要優(yōu)點(diǎn)是用于視點(diǎn)間估計(jì)的視差矢量可以被直接推導(dǎo)出來，而不需要額外的比特開銷，而且該視差矢量獨(dú)立于相對應(yīng)的深度圖 當(dāng)相機(jī)參數(shù)有效時，視差矢量也可以通過解碼深度圖來得到23空間相鄰塊在 AMVP 模式和 MEGE 模式中一樣，有著相同的訪問順序，即 A1，B1，B0，A0 和 B2，如圖 3 所示 但是由于這兩種模式都不能用于空域上的視點(diǎn)間參考，所以時域上的基于 NBDV 是可以被檢測到的24 25 一旦 NBDV 被識別，

17、那么 NBDV 的搜索過程將被終止，而且推導(dǎo)出來的視差矢量將被定義為識別出來的視差矢量1 2 視點(diǎn)間運(yùn)動估計(jì)視點(diǎn)間的運(yùn)動信息具有很高的相關(guān)度，而且比特流中包含了這些信息，因而良好的預(yù)測器通常可由一個視點(diǎn)估計(jì)出另一個視點(diǎn)，大大提高編碼效率 為了實(shí)現(xiàn)這類估計(jì)，NBDV 將被用于建立每個視點(diǎn)中塊之間的聯(lián)系，如圖 4 所示 由圖 4 可知，可以根據(jù)時間 1 中的視點(diǎn) 0 所對應(yīng)的塊的位置，以及基于這些塊之間的視差矢量推導(dǎo)出視點(diǎn) 1 的運(yùn)動矢量，推導(dǎo)過程類似 NBDV 的推導(dǎo)過程圖 2 預(yù)測結(jié)構(gòu)3D-AVC 和 MV-HEVC 中都有視點(diǎn)間運(yùn)動估計(jì)的概念，但是其設(shè)計(jì)不一樣 在 3D-AVC 中，視點(diǎn)間運(yùn)

18、動估計(jì)是用一種新的預(yù)測模式實(shí)現(xiàn)的 而在 MVHEVC 中，視點(diǎn)間運(yùn)動估計(jì)是通過利用 MEGE 和 AMVP 模式中的語法和解碼過程實(shí)現(xiàn)的，且該實(shí)現(xiàn)過程已經(jīng)引入到 HEVC 標(biāo)準(zhǔn)中1 3 視點(diǎn)間殘差估計(jì)高級殘差估計(jì)( AP) 是利用兩個視點(diǎn)間的運(yùn)動補(bǔ)償殘差信號的相關(guān)性進(jìn)行估計(jì)26，可以提高殘差估計(jì)的精確度 AP 中的運(yùn)動矢量是連接當(dāng)前塊與參考塊之間的一條有方向的線段，所以當(dāng)前塊的殘差估計(jì)和殘差信號之間的相似度是非常高的，這樣 AP 的其余矢量便可被略去，從而達(dá)到節(jié)省代碼的目的AP 的估計(jì)結(jié)構(gòu)如圖 5 所示，非基本視點(diǎn)中的塊 DC 使用運(yùn)動矢量 VD 實(shí)現(xiàn)運(yùn)動補(bǔ)償 首先，用 NBDV 識別出視點(diǎn)間

19、參考塊 BC，再在基本視點(diǎn)中的重建塊 BC 和對應(yīng)的重建塊 Br 之間進(jìn)行運(yùn)動補(bǔ)償 ( 用 VD 進(jìn)行補(bǔ)償) ，接著在預(yù)測信號中( 來自塊 Dr 的運(yùn)動補(bǔ)償) 添加預(yù)測殘差信號 在使用相同的運(yùn)動矢量 VD 的情況下，當(dāng)前塊的殘差信號可以被更加準(zhǔn)確地估計(jì)出來 一旦使用了 AP，殘差估計(jì)就可以賦予 0 5 或 1 的加權(quán)基本視點(diǎn)的運(yùn)動補(bǔ)償增加了內(nèi)存訪問量和計(jì)算量，所以 JCT-3V 研發(fā)了一些可使擴(kuò)展設(shè)計(jì)更加實(shí)用的方法26，但這些方法都不同程度地以犧牲編碼效率作為代價 例如被同時用于參考塊和當(dāng)前塊的運(yùn)動補(bǔ)償?shù)碾p線性濾波器1 4 光照補(bǔ)償圖 3 空間相鄰塊訪問 NBDV圖 4 視點(diǎn)間運(yùn)動估計(jì)圖 5A

20、P 的估計(jì)結(jié)構(gòu)如果相機(jī)對色彩傳遞或光照效果不進(jìn)行校準(zhǔn)，那么對于不同相機(jī)捕捉的同一場景，則無法進(jìn)行預(yù)測處理 為了解決這個問題，研發(fā)人員開發(fā)了一項(xiàng)名叫光照補(bǔ)償?shù)募夹g(shù)，用來提高對視點(diǎn)間參考圖像塊進(jìn)行預(yù)測編碼的效率27 而這項(xiàng)技術(shù)只能應(yīng)用于對視點(diǎn)間參考圖像的塊預(yù)測然而，對于立體自由顯示器的 3D 應(yīng)用，如果使用 MV-HEVC 編碼，則需要 20 個甚至更多的視點(diǎn)數(shù) 由于數(shù)據(jù)量龐大，不但給網(wǎng)絡(luò)帶來了巨大的負(fù)載壓力，也對解碼端的能力提出了很高的要求 因此，JCT-3V 將深度信息( 視差信息) 融合了多視點(diǎn)視頻編碼，命名為 3D-HEVC，這樣就只需要兩三個視點(diǎn)的信息便可表示出 3D 內(nèi)容，從而降低了需

21、要傳送的數(shù)據(jù)量，所以 3D-HEVC 將會成為未來 3D 應(yīng)用的發(fā)展趨勢282正在發(fā)展中的基于深度信息的HEVC 擴(kuò)展( 3D-HEVC)為了對“視頻加深度”格式的 3D 視頻數(shù)據(jù)進(jìn)行高效的壓縮，研究人員開發(fā)了許多編碼工具，并針對各個深度分量之間的獨(dú)立性進(jìn)行研究 如果某一個視頻分量可以通過傳統(tǒng) HEVC 進(jìn)行獨(dú)立編碼，那么該視頻分量就需要兼容現(xiàn)有的 2D 視頻業(yè)務(wù) 3D 視頻的各個分量，如基本視點(diǎn)的視頻分量，可以通過傳統(tǒng)的 HEVC 編碼器編碼，而基本視點(diǎn)的深度分量，則可采用改進(jìn)了的編碼工具進(jìn)行編碼 這樣，3D 視頻編碼可以從一系列傳統(tǒng) 2D 編碼工具和改進(jìn)了的編碼工具中選擇最佳編碼工具進(jìn)行編

22、碼深度圖具有紋理單一、邊緣銳利等特點(diǎn) 由于錯誤邊緣重建可能會導(dǎo)致嚴(yán)重的失真，且會影響人工視點(diǎn)合成，所以保證深度圖中邊緣的有效性對高質(zhì)量虛擬視點(diǎn)合成非常重要 深度圖的另一個特點(diǎn)是其邊緣信息( 即場景中的深度的間斷點(diǎn)) 的一部分可以從對應(yīng)的紋理分量中提取出來JCT-3V 已經(jīng)計(jì)劃制定出兩個重要編碼模塊: 基于分區(qū)的幀內(nèi)深度編碼模塊和運(yùn)動參數(shù)繼承模塊另外，由于深度信息具有銳利邊緣的特點(diǎn)，所以僅使用第一代 HEVC 中運(yùn)動補(bǔ)償?shù)牟逯禐V波器不能對保護(hù)深度圖邊緣起到效果 因此，運(yùn)動補(bǔ)償將整像素應(yīng)用于深度圖編碼中，可以通過閉環(huán)濾波器( 包括區(qū)塊濾波器( DBF) 和采樣點(diǎn)自適應(yīng)偏移( SAO) 回路濾波器)

23、 對深度圖邊緣進(jìn)行優(yōu)化 此外，已經(jīng)設(shè)計(jì)出來的虛擬視點(diǎn)合成估計(jì)可以利用深度信息進(jìn)行紋理編碼2 1 基于分區(qū)的幀內(nèi)深度編碼為了更好地表達(dá)深度信息，現(xiàn)有的 3D-HEVC 中已經(jīng)引入了許多特制的深度編碼工具，這些工具都可以將深度塊分割成非矩形的小塊 這種基于深度 圖 分 割 的 編 碼 模 式 包 括 深 度 模 型 模 式 ( DMM)29、區(qū)域邊界循環(huán)編碼模式( BC)30及簡單深度編碼模式( SDC)31 在這些模式中，每一個深度預(yù)測單元都可以被分成兩個部分，其每一部分都可以用一個定值來表示，深度預(yù)測單元分區(qū)模式如圖 6 所示 每一部分的深度值都是通過相鄰參考像素預(yù)測出來的，而且殘差值可以進(jìn)一

24、步通過編碼來補(bǔ)償預(yù)測過程中出現(xiàn)的誤差圖 6 深度預(yù)測單元分區(qū)模式圖 7 深度塊的輪廓分割盡管 DMM 和 BC 都會將一個深度預(yù)測單元分割成兩個部分，但是它們所表征的分區(qū)模式不同 DMM 中應(yīng)用了兩種類型的分區(qū)模式，包括楔形模式和輪廓模式 如圖 6 所示，楔形模式是用一條直線來分割深度預(yù)測單元 與楔形模式不同，輪廓模式用一系列方位鏈碼來明確地表示出分割部分，方位鏈碼是把 1 個像素與其周圍的 8 個方位的像素連接起來，賦予 0 到 7 的值，所以其分區(qū)邊緣是非直線的圖 7 為深度塊的輪廓分割 如圖 7 所示，左邊一幅圖表示連續(xù)的深度區(qū)域，中間一幅圖表示對其進(jìn)行離散化，右邊一幅圖表示對應(yīng)的分割情

25、況，其中，深度塊的輪廓( 分區(qū)邊緣) 取決于紋理圖中的同位置塊2 2 運(yùn)動參數(shù)繼承在 3D-HEVC 中，深度信息的運(yùn)動參數(shù)繼承是通過將 MEGE 模 式 候 選 者 添 加 到 當(dāng) 前 深 度 塊 的 MEGE 模式列表中實(shí)現(xiàn)的，其中也包括第一代 HEVC 里面 MEGE 模式中的時空候選者，而其余的候選者則由紋理圖中同位置塊的運(yùn)動信息生成322 3 視點(diǎn)合成估計(jì)視點(diǎn)合成估計(jì) VSP( view synthesis prediction) 是一種減少視點(diǎn)間冗余的有效方法，它利用深度信息把參考視點(diǎn)的紋理數(shù)據(jù)應(yīng)用到當(dāng)前視點(diǎn)中，從而實(shí)現(xiàn)對當(dāng)前視點(diǎn)的預(yù)測33在虛擬視點(diǎn)合成估計(jì)的編碼環(huán)境下，基于深度圖

26、合成技術(shù)還不成熟，由于在對當(dāng)前圖像進(jìn)行編解碼之前，需要先生成一整個合成圖，并將其存放在參考圖的緩沖區(qū)內(nèi)，這將提高解碼復(fù)雜度 基于分塊的向后虛擬視點(diǎn)合成估計(jì)( BVSP) 框架已經(jīng)引入到了 3D-HEVC 中，其中，當(dāng)前塊的深度信息是由視點(diǎn)間參考圖像的對應(yīng)像素點(diǎn)推算出來的34 35 因?yàn)榧y理編碼是在深度編碼之前進(jìn)行的，所以當(dāng)前塊的深度信息可以用之前所提到的 NBDV 估計(jì)出來 此時，當(dāng)前塊有著與相鄰塊相同的深度信息( 以及相同的視點(diǎn)間位移矢量) 該深度塊的最佳深度信息被轉(zhuǎn)換成了視差矢量，該視差矢量可以被用于運(yùn)動繼承及執(zhí)行向后虛擬視點(diǎn)合成估計(jì)由于拍攝角度存在差異，多個攝像機(jī)在拍攝同一場景時，生成的

27、視點(diǎn)之間存在幾何失真 在現(xiàn)有的 3D-HEVC 設(shè)計(jì)中，虛擬視點(diǎn)合成估計(jì)是針對補(bǔ)償幾何失真所提出的，其主要思想是利用深度信息或者視差信息合成一個虛擬的視圖用作當(dāng)前編碼圖像的參考圖像，并要求生成的虛擬圖像比視點(diǎn)間參考圖像更接近于當(dāng)前編碼圖像，從而提高多視點(diǎn)編碼的編碼效率3性能比較為了評估不同結(jié)構(gòu)和不同編碼技術(shù)的壓縮效率，需要使用參考軟件完成仿真，同時標(biāo)準(zhǔn)化組織也給出了實(shí)驗(yàn)方法36 37 實(shí)驗(yàn)分為兩組，第 1 組實(shí)驗(yàn)評估了單視點(diǎn)及多視點(diǎn)紋理視頻( 不含深度圖) 的壓縮效率，而第 2 組實(shí)驗(yàn)評估了多視點(diǎn)加深度圖的編碼效率第 1 組仿真實(shí)驗(yàn)是 MV-HEVC 與 HEVC 聯(lián)播編碼的性能比較，其中 M

28、V-HEVC 與 HEVC 聯(lián)播編碼相比，增加了視點(diǎn)間預(yù)測算法，而它們都不包含深度圖信息 表 1 為 MV-HEVC 較聯(lián)播編碼的碼率節(jié)省結(jié)果 由表 1 可見，MV-HEVC 的平均碼率相對于 HEVC 聯(lián)播編碼而言，在雙視點(diǎn)的情況下可節(jié)省28% ，在三視點(diǎn)的情況下可節(jié)省 38% ，由此論證了 MV-HEVC 編碼視點(diǎn)間預(yù)測的效率要高于 HEVC 聯(lián)播編碼 從表 1 中還可以看出，對于單視點(diǎn)的編碼 ( ( 僅有) 視點(diǎn) 1 或( 僅有) 視點(diǎn) 2) ，MV-HEVC 相比于 HEVC 聯(lián)播編碼，同樣有著高于 60% 的碼率節(jié)省 對于多視點(diǎn)視頻來講，由于 MV-HEVC 的編碼復(fù)雜度比 HEVC

29、 聯(lián)播編碼的編碼復(fù)雜度低，因而，更多的是采用 MV-HEVC 的編碼方案表 1MV-HEVC 較聯(lián)播編碼的碼率節(jié)省結(jié)果%序列( 僅有) 視點(diǎn) 1 ( 僅有) 視點(diǎn) 2雙視點(diǎn) 三視點(diǎn)Balloons53 949 723 531 5Kendo52 547 223 330 4Newspaper56 454 423 333 2GT_Fly82 081 338 752 4Poznan_Hall253 553 923 332 8Poznan_Street69 769 439 741 4Undo_Dancer74 576 034 047 31 024 ×76854 250 423 431 71 9

30、20 ×1 08869 970 231 443 5平均63 261 728 038 4第 2 組 仿 真 實(shí) 驗(yàn) 是 3D-HEVC 標(biāo) 準(zhǔn) 與 MVHEVC 和 HEVC 聯(lián)播編碼的性能比較 其中，3DHEVC 標(biāo)準(zhǔn)增加了一些新的編碼工具，像基于深度圖像繪制技術(shù)，利用該技術(shù)可以產(chǎn)生虛擬視點(diǎn)，然后進(jìn)行視點(diǎn)合成優(yōu)化 VSO( view synthesis optimization) ，從而完成解碼端的視點(diǎn)合成 第 1 組實(shí)驗(yàn)只是對紋理視頻編碼的壓縮效率進(jìn)行評估，而第 2 組實(shí)驗(yàn)由于加入了深度圖信息，則需要考慮深度圖質(zhì)量和合成視點(diǎn)的編碼質(zhì)量 表 2 為三視點(diǎn)情況下 3D-HEVC 較聯(lián)播

31、編碼和 MV-HEVC 的碼率節(jié)省結(jié)果 由表 2 可見，即使 3D-HEVC 標(biāo)準(zhǔn)不采用 VSO，相對于所有紋理圖像和深度圖像都獨(dú)立編碼的 HEVC 聯(lián)播編碼，也可以節(jié)省 41% 的平均碼率，而相對于 MV-HEVC 編碼標(biāo)準(zhǔn)可以節(jié)省平均 15 5% 的碼率 通過這兩個對比，可以猜測性地認(rèn)為，在深度圖編碼方面，MV-HEVC 標(biāo)準(zhǔn)的編碼效率要高于 HEVC 聯(lián)播編碼效率，然而，當(dāng) 3D-HEVC 標(biāo)準(zhǔn)進(jìn)行 VSO 時，與 MV-HEVC 相比，可以節(jié)省平均 30 6% 的碼率( 幾乎是在不采用 VSO 情況下的兩倍) 同時，解碼運(yùn)行時間則是評估 3D-HEVC 編碼復(fù)雜度的一個標(biāo)準(zhǔn) 由表 2

32、中的解碼時間可見，3D-HEVC 相對于聯(lián)播編碼與 MV-HEVC 參考模型的運(yùn)行時間分別平均增長了 11% 和 18% ，雖然有所增長，但是與其降低的碼率相比，這樣的時間增加是在允許范圍之內(nèi)的表 2 三視點(diǎn)情況下 3D-HEVC 較聯(lián)播編碼和 MV-HEVC 的碼率節(jié)省結(jié)果%序列( 關(guān)閉 VSO)3D-HEVC比聯(lián)播編碼( 關(guān)閉 VSO)3D-HEVC 比 MV-HEVC( 打開 VSO)3D-HEVC 比MV-HEVCBalloons34 212 625 1Kendo31 312 530 9Newspaper34 79 829 8GT_Fly54 121 032 9Poznan_Hall2

33、36 614 330 4Poznan_Street39 69 319 5Undo_Dancer56 829 045 51 024 ×76833 411 628 61 920 ×1 08846 818 432 1平均41 015 530 6解碼時間111118118由于 3D-HEVC 是視頻加深度格式，且使用了虛擬視點(diǎn)合成技術(shù)，所以相對于 MV-HEVC，省去了大量的視點(diǎn)信息，從而可以實(shí)現(xiàn)節(jié)省碼率 這樣，在同樣的處理性能和網(wǎng)絡(luò)環(huán)境下，對同一視頻序列進(jìn)行編碼和傳輸時，3D-HEVC 的效率要明顯高于 MVHEVC 的效率，但是提取深度信息方面，如何快速去除塊效應(yīng)是一項(xiàng) 3D-

34、HEVC 也未攻破的技術(shù)難題，還需要做進(jìn)一步深入研究4結(jié)語綜述了當(dāng)前較流行的 HEVC 標(biāo)準(zhǔn)的多視點(diǎn)擴(kuò)展 MV-HEVC，以及基于深度信息的 MV-HEVC 即 3D-HEVC 雖然 3D 視頻在影院里很受歡迎，但是由于 3D 視頻較高的編碼代價，導(dǎo)致其在家庭娛樂和消費(fèi)類電子產(chǎn)品中的潛能未能得到充分挖掘開發(fā)隨著顯示技術(shù)的革新，可以達(dá)到裸眼立體效果的 3D-HEVC 編碼技術(shù)，由于其具有低編碼代價的特點(diǎn)，3D-HEVC 更適于 3D 電視、自由立體視點(diǎn)電視和 3D 數(shù)字電影等多種三維體驗(yàn)中 隨著智能移動設(shè)備的發(fā)展，手機(jī)互聯(lián)網(wǎng)的規(guī)模日益壯大，手持終端采用 3D-HEVC 支持多視點(diǎn) 3D 視頻將會

35、成為未來的研究趨勢參考文獻(xiàn):1 Zhang Q，An P，Zhang Y，et al Low complexity multiview video plus depth codingJ IEEE Transactions Consumer Electronic，2011，57( 4) : 18572 Chen Y，Vetro A Next-generation 3D formats with depth map supportJ IEEE MultiMedia，2014，21( 2) :903 Müller K，Schwarz H，Marpe D，et al 3D high effi

36、ciency video coding for multi-view video and depth dataJIEEE Transactions on Circuits and Systems for VideoTechnology，2013，22( 9) :33664 Zhang Q，Tian L，Huang L，et al endering distortion estimation model for 3D high efficiency depth codingJMath Probl Eng，2014，2014: 15 Ohm J，Sullivan G J，Schwarz H Com

37、parison of the coding efficiency of video coding standardsincluding high efficiency video coding ( HEVC) J IEEE Transactions on Circuits and Systems for Video Technology，2012，22( 12) :16696 Zhang Q，An P，Zhang Y，et al Efficient depth map compression for view rendering in 3D videoJ Imaging Sci J，2013，

38、61( 4) :385 3957 Zhang Q，Li N，Wu Q Fast mode decision for 3D-HEVC depth intracoding J The Scientific World Journal，2014，2014: 18 Zhang Q，Li N，Gan Y Effective early termination algorithm for depth map intra coding in 3D-HEVCJ Electron Lett，2014，50( 14) :9949 Chen Y，Wang Y K，Ugur K，et al The emerging

39、MVC standard for 3D video servicesJ EUASIP Journal on Advances in Signal Processing，2009，2009: 110 Vetro A，Wiegand T，Sullivan G J Overview of the stereo and multiview video coding extensions of the H 264/AVC standardJ Proc IEEE，2011，99( 4) :62611 Tech G，Wegner K，Chen Y，et al MVHEVC draft text 5 C/ /

40、Joint Collaborative Team on 3D Video Coding Extensions ( JCT-3V) Document JCT3V-E1004，Vienna:JCT-3V，201312 Shen L，Zhang Z Content-adaptive motion estimation algorithm for coarse-grain SVCJ IEEE Transactions on Image Processing，2012，21( 5) :258213 Wang H，Sam K，Chi-Wah K An efficient mode decision alg

41、orithm for H 264/AVC encoding optimizationJIEEE Transactions on Multimedia，2007，9( 4) :88214 Liu Z，Shen L，Zhang Z An efficient intermode decision algorithm based on motion homogeneity for H 264/AVC J IEEE Transactions on Circuits and Systems for Video Technology，2009，19( 1) :12815 Shen L，Liu Z，Zhang

42、 X，et al An effective CU size decision method for HEVC encodersJ IEEE Transactions on Multimedia，2013，15( 2) :46516 Fang C，Chang Y ，Chung W Fast Intra Mode Decision for HEVC Based on Direction Energy Distribution Hsinchu: IEEE，2013: 61 6217 Shen L，Liu Z，Zhang Z，et al Fast inter mode decision using s

43、patial property of motion fieldJ IEEE Transactions on Multimedia，2008，10( 6) :120818 Shen L，Zhang Z，An P Fast CU size decision and mode decision algorithm for HEVC intra codingJ IEEE Transactions on Consumer Electronics，2013，59( 1) :20719 Jongho K Yoonsik C，Yong-Goo K Fast coding unit size decision

44、algorithm for intra coding in HEVC Las Vegas: IEEE，2013: 637 63820 Tech G，Wegner K，Chen Y，et al 3D-HEVC draft text 1C / /Joint Collaborative Team on 3D Video Coding Extensions ( JCT-3V ) 5th Meeting Document JCT3V-E1001，Vienna: JCT-3V，201321 Zhang L，Tech G，Wegner K，et al 3D-HEVC test model 5C / /Joi

45、nt Collaborative Team on 3D Video Coding Extensions ( JCT-3V ) 5th Meeting Document JCT3V-E1005，Vienna: JCT-3V，201322 Schwarz H，Bartnik C，Bosse S，et al Description of 3D video technology proposal by fraunhofer HHI ( HEVCCompatible; Configuration A) Z ISO/IEC JTC 1/SC 29/WG 11 ( MPEG) document m22570

46、，s n: s n ，201123 Zhang L，Chen Y，Marta Karczewicz Disparity vector based advanced inter-view prediction in 3D-HEVCBeijing: IEEE，2013: 1632 163524 Kang J，Chen Y，Zhang L，et al 3D-CE5 h related: Improvements for disparity vector derivationC/ /Joint Collaborative Team on 3D Video Coding Extensions ( JCT

47、3V) 2nd Meeting Document JCT3VB0047，Shanghai:JCT-3V，201225 Sung J，Koo M，Yea S 3D-CE5 h: Simplification of disparity vector derivation for HEVC-based 3D video codingC / /Joint Collaborative Team on 3D Video Coding Extensions ( JCT-3V ) 1st Meeting Document JCT3V-A0126，Stockholm: JCT-3V，201226 Zhang L

48、，Chen Y，Li X，et al CE4: Advanced residual prediction for multiview codingC/ /Joint Collaborative Team on 3D Video Coding Extensions ( JCT-3V) 4thMeetingDocumentJCT3V-D0117， Incheon:JCT3V，201327 Liu H，Jung J，Sung J，et al 3D-CE2 h: esults of illumination compensation for inter-view predictionC/ /Joint Collaborative Team on 3D Video Coding Extensions ( JCT3V) 2nd Meeting Document JCT3VB0045，Shanghai:JCT-3V，201228 Gu Zhouye，Zheng Jianhua，Ling Nam，et al Fast DepthModeling Mode Selection for 3D HEVC Depth I