視頻編碼技術(shù)前沿與方向-

視頻編碼技術(shù)前沿與方向_第一頁，共49頁。提綱視頻編碼技術(shù)現(xiàn)狀簡介視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)第二頁，共49頁。數(shù)字視頻應(yīng)用第三頁，共49頁。傳統(tǒng)視頻編碼技術(shù)原理傳統(tǒng)視頻編碼方法從信號處理層面入手，以像素、塊為表示基礎(chǔ)基于香農(nóng)信息論，采用混合編碼框架：變換+預(yù)測+熵編碼視頻編碼的極限數(shù)學(xué)極限—熵差別感知能力—Weber定律，

心理學(xué)模型t+1t時(shí)間冗余空間冗余感知冗余DCT第四頁，共49頁。視頻編碼技術(shù)發(fā)展歷程編碼效率進(jìn)一步提高已很艱難色彩空間和變換編碼已接近最優(yōu)用計(jì)算復(fù)雜度換取預(yù)測增益的空間越來越小熵編碼提高增益的路也不寬1950差分預(yù)測編碼調(diào)制隔行編碼B幀P幀場景自適應(yīng)編碼塊運(yùn)動(dòng)估計(jì)DCT宏塊混合編碼哈夫曼編碼變換編碼運(yùn)動(dòng)矢量預(yù)測視頻對象基于對象的可分級編碼容錯(cuò)一般的B幀高級的去塊效率慮波基于位平面的可伸縮編碼高精度運(yùn)動(dòng)補(bǔ)償基于上下文的算術(shù)編碼2014多視編碼分布式編碼1999~1985專利可免費(fèi)使用專利可免費(fèi)使用第五頁，共49頁。ISO/IECMPEGMPEG-1,MPEG-2,MPEG-4,MPEG-4AVC/H.264,MPEGHVCITU-TVCEGH.261,H.262(MPEG-2),H.263,H.264,VCEGH.NGC中國AVSAVS-P2,AVS-S下一代標(biāo)準(zhǔn)？方向、技術(shù)？

年代

MPEG-1

1993

2001

1997

2005

MPEG-4AVC/H.2641989

MPEG-2MPEG-42013AVS下一代標(biāo)準(zhǔn)20092017視頻編碼標(biāo)準(zhǔn)發(fā)展歷程第六頁，共49頁。問題分析：客觀指標(biāo)與主觀感知的差異？峰值信噪比=6.24峰值信噪比=5.98一般認(rèn)為：峰值信噪比與圖像質(zhì)量近似成正比關(guān)系。結(jié)論：1、峰值信噪比度量與人的視覺感知并不完全一致！

2、需要尋求更加符合人類視覺感知的客觀度量方法以

及相應(yīng)的編碼理論和方法。第七頁，共49頁。群組編碼稀疏編碼視覺注意運(yùn)動(dòng)感知……視覺機(jī)理視頻編碼稀疏編碼JPEG(~50倍)JPEG(~14倍)基于視感知的壓縮

(~200倍)感知圖對視覺感知機(jī)理的認(rèn)識逐漸深入，用于視頻編碼的潛力很大可能突破方向：借鑒視覺感知機(jī)理[Guo03,ICCV]第八頁，共49頁。提綱視頻編碼技術(shù)現(xiàn)狀簡介視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)第九頁，共49頁。

視網(wǎng)膜側(cè)膝體

人類“眼腦”視覺信息系統(tǒng)處理基本流程

下顳葉皮質(zhì)區(qū)

信息論視覺信息論視頻編碼理論基礎(chǔ)視頻編碼

框架與方法

基于數(shù)字信號處理的框架與方法基于視覺模型的框架與方法

光學(xué)刺激

像素圖像塊局部特征部件/物體

視覺信息表示的基本粒子結(jié)構(gòu)基于視覺特性的視頻編碼第十頁，共49頁。視覺信息論——從像素到基元（熵）質(zhì)量評價(jià)方法——與主觀感知一致編碼方法——多維度感知編碼、分布式視覺編碼香農(nóng)信息熵視覺熵像素集基元詞典擴(kuò)展基于視覺特性的視頻編碼第十一頁，共49頁。技術(shù)1：紋理分析合成編碼**ThomasWiegand:NewTechniquesforImprovedVideoCoding基于視覺特性的視頻編碼第十二頁，共49頁。*ThomasWiegand:NewTechniquesforImprovedVideoCoding紋理分析合成編碼*實(shí)驗(yàn)結(jié)果對比基于視覺特性的視頻編碼第十三頁，共49頁。技術(shù)2：基于Inpainting技術(shù)的視頻編碼*碼率節(jié)省達(dá)18%*D.

Liu;X.Sun;F.Wu;S.Li;Y.Zhang,ImageCompressionWithEdge-BasedInpainting,IEEE-TCSVT,Vol.17,No.10,Oct.2007pp.1273–1287.基于視覺特性的視頻編碼第十四頁，共49頁。技術(shù)3：視覺感知機(jī)理與編碼“像素-基元/紋理-對象-場景”層次模型S.Zhu,UCLA感知圖獲取結(jié)構(gòu)感知合成紋理原始圖像合成圖像紋理區(qū)域估計(jì)基于視覺特性的視頻編碼第十五頁，共49頁?；谝曈X特性的視頻編碼符合人眼特性的圖像/視頻質(zhì)量評價(jià)標(biāo)準(zhǔn)塊效應(yīng)、模糊效應(yīng)、振鈴效應(yīng)的模型表示圖像/視頻庫主觀質(zhì)量評價(jià)視覺失真測度模型第十六頁，共49頁。提綱視頻編碼技術(shù)現(xiàn)狀簡介視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)第十七頁，共49頁。傳統(tǒng)可伸縮編碼時(shí)域可分級空域可分級質(zhì)量可分級時(shí)域可分級質(zhì)量可分級第十八頁，共49頁。傳統(tǒng)可伸縮編碼H.264SVCHierarchicalPicture編碼,完全可兼容AVC的SVC編碼方案,通過層次預(yù)測實(shí)現(xiàn)時(shí)域可分級編碼第十九頁，共49頁。傳統(tǒng)可伸縮編碼H.264SVCSNR可分級：層間預(yù)測第二十頁，共49頁。多維度可伸縮視頻編碼可伸縮編碼框架：融合時(shí)域、空域、質(zhì)量、注意、動(dòng)態(tài)范圍等的多維度可伸縮編碼方法注意編碼：基于注意模型的感興趣區(qū)域表達(dá)、編碼及碼流優(yōu)化截取方法空域可伸縮時(shí)域可伸縮質(zhì)量可伸縮注意可伸縮動(dòng)態(tài)范圍可伸縮第二十一頁，共49頁。提綱視頻編碼技術(shù)現(xiàn)狀簡介視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)第二十二頁，共49頁。多視編碼多視采集系統(tǒng)線陣排列第二十三頁，共49頁。多視編碼多視采集系統(tǒng)弧形排列第二十四頁，共49頁。多視編碼采集系統(tǒng)面陣排列第二十五頁，共49頁。多視編碼多視點(diǎn)預(yù)測編碼—H.264MVC視內(nèi)預(yù)測視間預(yù)測：消除視間的冗余第二十六頁，共49頁。多視編碼H.264MVC編碼效率第二十七頁，共49頁。立體視頻編碼立體感的產(chǎn)生視差原理第二十八頁，共49頁。立體視頻編碼立體電視與自由視點(diǎn)電視第二十九頁，共49頁。立體視頻編碼立體顯示戴眼鏡觀看：互補(bǔ)色、時(shí)分立體電視不戴眼鏡即可觀看：三維顯示器第三十頁，共49頁。立體視編碼多視預(yù)測編碼深度信息獲取立體攝像機(jī)直接獲取：成本高雙目立體匹配方法：匹配點(diǎn)不唯一問題，遮擋問題單目單圖示線索方法：可利用圖示信息較少，提取深度不準(zhǔn)確其他研究：單目多圖示線索方法第三十一頁，共49頁。立體視編碼紋理圖深度圖分塊模型深度信息編碼基于模型的編碼，通過編碼模型參數(shù)來表示深度信息對相鄰幀間深度信息進(jìn)行差分預(yù)測、量化編碼編碼過程中的率失真優(yōu)化第三十二頁，共49頁。立體電視示范系統(tǒng)多視點(diǎn)

立體視頻

采集裝置自動(dòng)立體

顯示器分時(shí)立體

顯示器…深度圖

生成平臺(tái)多視點(diǎn)

立體視頻

編碼器直播點(diǎn)播服務(wù)器解碼

繪制

終端現(xiàn)有

視頻節(jié)目顯示

適配器網(wǎng)絡(luò)第三十三頁，共49頁。立體視編碼韓國立體電視廣播示范系統(tǒng)2002FIFAWorldCupKorea/Japan(5games)第三十四頁，共49頁。提綱視頻編碼技術(shù)現(xiàn)狀簡介視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)第三十五頁，共49頁。分布式編碼原理Slepian-Wolf理論獨(dú)立編碼信源X,Y也可達(dá)到聯(lián)合熵下界獨(dú)立編碼相關(guān)信源X,Y可在解碼端通過聯(lián)合解碼進(jìn)行重建滿足條件約束[1]Slepian-Wolf,Noiselesscodingofcorrelatedinformationsources,IEEEtrans.onInf.Theory,1973.[2]Wyner-Ziv,RecentresultsintheShannontheory,IEEEtransonInf.Theory,1974.第三十六頁，共49頁。分布式編碼系統(tǒng)StandfordDVC編碼器以常規(guī)方法編碼信源Y(Keyframe)以Wyner-Ziv編碼信源X,通過Slephian-WolfCoder傳送校驗(yàn)位第三十七頁，共49頁。分布式編碼系統(tǒng)BerkeleyDVC編碼器PRISM(Power-efficientRobusthIgh-compressionSyndrome-basedMultimediacoding)：將高效的預(yù)測編碼模式和幀內(nèi)預(yù)測編碼模式有效的結(jié)合起來，相應(yīng)地需要：低復(fù)雜度邊信息編碼高復(fù)雜度邊信息解碼第三十八頁，共49頁。分布式編碼應(yīng)用獨(dú)立、低復(fù)雜度編碼適合分布式監(jiān)控、無線傳感網(wǎng)絡(luò)等應(yīng)用上行：Wyner-Ziv編碼器編碼碼流傳送到級站下行：級站進(jìn)行轉(zhuǎn)碼，用通用編碼器編碼，終端采用通用低復(fù)雜度解碼器解碼第三十九頁，共49頁。提綱視頻編碼技術(shù)現(xiàn)狀簡介視頻編碼技術(shù)前沿與方向基于視覺特性的編碼多維度可伸縮編碼多視/立體視編碼分布式編碼下一代視頻編碼標(biāo)準(zhǔn)第四十頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)MPEGHVC,2009年2月需求文檔w10361兩大應(yīng)用前景需要支持HD甚至UHD應(yīng)用的家庭影院、數(shù)字相機(jī)等移動(dòng)終端應(yīng)用壓縮效率比現(xiàn)有技術(shù)有顯著提高圖像分辨率支持4Kx2K，甚至高達(dá)8Kx4K支持采樣格式Y(jié)CbCr4:2:0,YCbCr/RGB4:4:4，采樣精度最高達(dá)14bit典型幀率支持24~60fps，支持靈活幀率復(fù)雜度/性能較好的折中第四十一頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)VCEG,H.NGC,Geneva,27January-6February2009編碼碼率比H.264/AVC再降低50%編碼復(fù)雜度低于3倍的H.264/AVC復(fù)雜度增加50%時(shí)應(yīng)能提供25%的碼率降低較好的容錯(cuò)性能支持8-bit4:2:0到12-bit4:4:4編碼分辨率支持8Kx4K，幀率23.976Hz甚至更高第四十二頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)可選擇的編碼工具超宏塊預(yù)測變塊尺寸預(yù)測高精度運(yùn)動(dòng)補(bǔ)償增強(qiáng)型幀內(nèi)預(yù)測自適應(yīng)插值濾波器，運(yùn)動(dòng)矢量預(yù)測….第四十三頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)“BeyondMacroblockbasedPredictiveBeyondPredictiveCodingforUltraHDVideo”,w10174_4-2,October14,2008第四十四頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)變塊尺寸預(yù)測第四十五頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)變塊尺寸預(yù)測TriangularSub-MacroblockPartitioningForMotionCompensatedPrediction,w10174,October14,2008.第四十六頁，共49頁。下一代視頻編碼標(biāo)準(zhǔn)1/