多媒體編碼通信04-預(yù)測

1、多媒體編碼與通信多媒體編碼與通信趙海武趙海武上海大學(xué)通信學(xué)院上海大學(xué)通信學(xué)院目錄目錄lDPCMl幀內(nèi)預(yù)測l幀間預(yù)測DPCMDPCM編碼編碼lPCM：脈沖編碼調(diào)制56,58,62,55,57,60,59,56lDPCM：差分脈沖編碼調(diào)制56,2,4,-7,2,3,-1,-3DPCM可以用于像素的分量值，也可以用于變換以后的DCT直流系數(shù)7071696870727172686869707273701-2-12211-401111DPCMDPCM編碼編碼lDPCM編碼器DPCMDPCM解碼解碼lDPCM解碼器DPCMDPCM預(yù)測器預(yù)測器lDPCM的性能主要取決于預(yù)測器的性能。一般的線性預(yù)測器形式是x

2、n=a1xn-1+a2xn-2+akxn-kl其中k稱為階數(shù)lDPCM的特點(diǎn)是算法簡單，易于硬件實(shí)現(xiàn)幀內(nèi)預(yù)測幀內(nèi)預(yù)測l分塊l基于塊的預(yù)測基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測lDPCM以像素值或直流分量值為預(yù)測單位，沒有利用更大尺度上的相關(guān)性l基于塊的預(yù)測方法以塊塊為預(yù)測單位，利用相鄰的已經(jīng)解碼的像素預(yù)測當(dāng)前要編碼的塊l塊通常是正方形的，尺寸有4x4, 8x8, 16x16等l下面以8x8為例來說明分塊分塊基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測8x8塊預(yù)測模式基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l基于塊的幀內(nèi)預(yù)測有以下模式l方向模式l垂直l水平l左下l右下ll直流模式l平面模式基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測

3、l垂直模式Intra_8x8_Vertical當(dāng)ri （i=18）可用時(shí)，該模式才被使用，此時(shí)predMatrixx,y = rx+1（x,y=07）l水平模式Intra_8x8_Horizontal當(dāng)ci （i=18）可用時(shí)，該模式才被使用，此時(shí)predMatrixx,y = cy+1（x,y=07）基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l左下模式Intra_8x8_Down_Left當(dāng)ri、ci（i=116）均可用時(shí)，該模式才被使用，此時(shí)predMatrixx,y=(rx+y+1+2rx+y+2+rx+y+3+2)2+(cx+y+1+2cx+y+2+cx+y+3+2)2)1（x,y=07）l右下

4、模式Intra_8x8_Down_Right當(dāng)ri、ci（i=016）均可用時(shí)，該模式才被使用，此時(shí)如果x等于y，predMatrixx,y = (c1+2r0+r1+2)2（x,y=07）；否則如果x大于y，predMatrixx,y = (rx-y+1+ 2rx-y+rx-y-1+2)2（x,y=07）；否則如果y大于x, predMatrixx,y = (cy-x+1+2cy-x+cy-x-1+2)2（x,y=07）?；趬K的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l直流模式Intra_8x8_DC如果ri、ci（i=09）都可用,則predMatrixx,y= (rx+2rx+1+rx+2+2)2+(

5、cy+2cy+1+cy+2+2)2)1（x,y=07）；否則如果ri（i=09）可用，則predMatrixx,y = (rx+2rx+1+rx+2+2)2（x,y=07）；否則如果ci（i=09）可用，則predMatrixx,y = (cy+2cy+1+cy+2+2)2（x,y=07）；否則predMatrixx,y = 128（x,y=07）基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l平面模式Intra_Chroma_Plane當(dāng)ri、ci （i=18）均可用時(shí)，該模式才被使用，此時(shí)predMatrixx,y = Clip1(ia+(x-3)ib+(y-3)ic+16)5)（x,y=07）。其中，

6、ia = (r8+c8)5, ic = (17iv+16)5,ih = iv =Clip1(v) = v 255 ? 255 : v )30(1)( 53)iiriri30(1)( 53)iicici基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l基于塊的幀內(nèi)預(yù)測還有l(wèi)更多的塊尺寸和形狀l更多的方向模式l更多的預(yù)測算法雙線性模式參考像素濾波基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l更多的塊尺寸和形狀基于塊的幀內(nèi)預(yù)測基于塊的幀內(nèi)預(yù)測l更多的方向模式幀間預(yù)測幀間預(yù)測l綜述l運(yùn)動(dòng)向量l塊劃分l預(yù)測塊與殘差塊l匹配準(zhǔn)則l搜索算法幀間預(yù)測綜述幀間預(yù)測綜述l時(shí)間上相鄰的圖像存在很大的相關(guān)性，用幀間預(yù)測可以有效地消除這種相關(guān)性l

7、幀間預(yù)測主要是基于塊的預(yù)測方法，也有整幀的預(yù)測方法運(yùn)動(dòng)向量：匹配塊的位置與當(dāng)前塊的位置的差，運(yùn)動(dòng)向量：匹配塊的位置與當(dāng)前塊的位置的差，MV = (xm-xc, ym-yc)其中其中(xm, ym) 是匹配塊的亮度分量的左上角樣本在整個(gè)幀的是匹配塊的亮度分量的左上角樣本在整個(gè)幀的亮度樣本構(gòu)成的矩陣中的坐標(biāo)，亮度樣本構(gòu)成的矩陣中的坐標(biāo)， (xc, yc)的含義類似的含義類似YYCbCrCrCb參考幀當(dāng)前幀當(dāng)前塊匹配塊同位塊MV幀間預(yù)測：運(yùn)動(dòng)向量幀間預(yù)測：運(yùn)動(dòng)向量幀間預(yù)測：塊劃分幀間預(yù)測：塊劃分l通用模式是矩形塊，MxNl固定大小的正方形l寬高比最大為2的矩形MV = (xm-xc, ym-yc)

8、= (xv, yv)predMatrixx,y = refPicx+xc+xv,y+yc+yv如果如果x+xx+xc c+x+xv v和和y+yy+yc c+y+yv v小于小于0 0，則以，則以0 0代替，如果大于水平或代替，如果大于水平或垂直方向的最大值，則用最大值代替。垂直方向的最大值，則用最大值代替。diffMatrixx,y=currMatrixx,y-predMatrixx,y叫做叫做殘差塊殘差塊或者或者殘差矩陣殘差矩陣YYCbCrCrCb參考幀當(dāng)前幀當(dāng)前塊匹配塊同位塊MV幀間預(yù)測：預(yù)測塊與殘差塊幀間預(yù)測：預(yù)測塊與殘差塊幀間預(yù)測：匹配準(zhǔn)則幀間預(yù)測：匹配準(zhǔn)則l判斷兩個(gè)塊接近程度的方法

9、l最小絕對(duì)差（MAD）l最小均方誤差（MSE）l歸一化互相關(guān)函數(shù)（NCCF）幀間預(yù)測：匹配準(zhǔn)則幀間預(yù)測：匹配準(zhǔn)則MADMADl當(dāng)前塊記為f(x,y),候選參考?jí)K記為g(x,y)，x=0.M-1,y=0.N-1N 1 M 1y 0 x 01MADf(x,y)g(x,y)MNl可見，MAD是兩個(gè)塊對(duì)應(yīng)像素值的差的絕對(duì)值的平均值。MAD越小表示兩個(gè)塊越接近，使MAD達(dá)到最小值的那個(gè)（些）候選塊叫做MADMAD最佳匹配塊最佳匹配塊幀間預(yù)測：匹配準(zhǔn)則幀間預(yù)測：匹配準(zhǔn)則SADSADN 1 M 1y 0 x 0SADf(x,y)g(x,y)l由于在尋找一個(gè)塊的最佳匹配塊的過程中塊的大小是不變的，所以比較總和

10、和比較平均值的結(jié)果是一樣的，計(jì)算總和可以簡化計(jì)算。l絕對(duì)差值和（SAD）的計(jì)算公式是幀間預(yù)測：匹配準(zhǔn)則幀間預(yù)測：匹配準(zhǔn)則MSEMSEN 1 M 12y 0 x 01MSEf(x,y)g(x,y)MNlMAD最佳匹配塊在實(shí)際編碼的時(shí)候不一定是最佳的，因?yàn)樽儞Q系數(shù)的值不僅和MAD有關(guān)，還和每個(gè)差值具體取值及其分布有關(guān)lMSE比MAD更加接近真實(shí)的變換結(jié)果lMSE的計(jì)算公式是l可見，MSE是兩個(gè)塊對(duì)應(yīng)像素值的差的平方的平均值。MSE越小表示兩個(gè)塊越接近，使MSE達(dá)到最小值的那個(gè)（些）候選塊叫做MSEMSE最佳匹配塊最佳匹配塊幀間預(yù)測：匹配準(zhǔn)則幀間預(yù)測：匹配準(zhǔn)則NCCFNCCFN 1 M 1y 0 x

11、 0N 1 M 1N 1 M 122y 0 x 0y 0 x 0f(x,y)g(x,y)NCCFf(x,y)g(x,y)lNCCF叫做歸一化互相關(guān)函數(shù)，它的計(jì)算公式是lNCCF描述的是兩個(gè)塊的相關(guān)性。NCCF的值越大，表示兩個(gè)塊的相關(guān)性越強(qiáng)。使NCCF達(dá)到最大值的那個(gè)（些）候選塊叫做NCCFNCCF最佳匹配塊最佳匹配塊lNCCF和變換的原理是類似的，所以在理論上NCCF比MAD和MSE更好。幀間預(yù)測：匹配準(zhǔn)則練習(xí)幀間預(yù)測：匹配準(zhǔn)則練習(xí)ref89988989B88785456l分別計(jì)算SAD，MAD和NCCFcur88887777B66665555幀間預(yù)測：搜索算法幀間預(yù)測：搜索算法l全搜索法（

12、full search algorithm,FSA）l三步搜索法（three step search,TSS）l新三步搜索法（novel TSS, NTSS）l四步搜索法（four step search, FSS）l菱形搜索法（diamond search, DS）l六邊形搜索法（hexagon-based search,HEXBS）l混合非對(duì)稱交叉多六邊形網(wǎng)格搜索法（UMHexagonS）幀間預(yù)測：全搜索幀間預(yù)測：全搜索l全搜索是最笨但也是最優(yōu)的方法l確定一個(gè)搜索窗l(fā)計(jì)算搜索窗中每個(gè)可能的mv的匹配效果（選一種匹配準(zhǔn)則）l取匹配效果最好的mvl計(jì)算量最大l保證得到最優(yōu)的mv幀間預(yù)測：三步法

13、幀間預(yù)測：三步法l三步法是一種典型的快速搜索算法，主要思想是由粗到精l從搜索窗中心點(diǎn)開始，按一定步長去周圍8個(gè)點(diǎn)作匹配計(jì)算，選一個(gè)匹配最好的點(diǎn)，記為MBDl將步長減半，以MBD為新的中心點(diǎn)，取8個(gè)點(diǎn)再做匹配計(jì)算l如此遞推，知道搜索步長為1，得到最后的MBD作為最終的mvl計(jì)算量變小，但不能保證獲得最優(yōu)的mv幀間預(yù)測：新三步法幀間預(yù)測：新三步法l三步法采用9點(diǎn)正方形搜索模板，第一步步長過大，容易陷入局部最優(yōu)l新三步法第一步的搜索模板上有17個(gè)點(diǎn)，如果MBD位于模板中心，則搜索結(jié)束l如果MBD是8個(gè)相鄰點(diǎn)之一，則以MBD為新的中心，在3x3鄰域內(nèi)逐步搜索，直到MBD位于模板中心l如果第一步的MBD

14、不是8個(gè)相鄰點(diǎn)之一，則令步長減半，按照三步法繼續(xù)搜索l引入提前終止l可以適應(yīng)小運(yùn)動(dòng)的視頻序列幀間預(yù)測：四步法幀間預(yù)測：四步法l四步法基于實(shí)際視頻的一個(gè)特征，即MV都是中心分布的l四步法第一步的搜索窗為5x5l每一步將搜索中心移到MBD處l后續(xù)各步的搜索窗大小依賴于MBD點(diǎn)的位置幀間預(yù)測：菱形搜索法幀間預(yù)測：菱形搜索法l搜索模板的大小和形狀會(huì)影響算法的速度和性能，搜索模板太大易產(chǎn)生錯(cuò)誤的搜索路徑l太小又容易陷入局部最優(yōu)l菱形搜索采用兩種模板：9點(diǎn)和5點(diǎn)l搜索時(shí)先用大模板，l當(dāng)MBD出現(xiàn)在大模板的中心時(shí)改用小模板作業(yè)作業(yè)4 4 如下表所示的4x4編碼塊，在SAD準(zhǔn)則下，比較水平預(yù)測模式和垂直預(yù)測模式哪個(gè)更好568465676777778989799998作業(yè)作業(yè)4 4 如下所示的8x8參考?jí)K和當(dāng)前編碼塊，請(qǐng)計(jì)算兩個(gè)塊匹配的MSE 51 54 52 51 52 52 49 50 53 52 52 58 51 47 50 52 53 51 53 55 51 53 45 44 48 47 55 47 51 48 46 44 53 53 47 43 54 49 50 40 57 47 43 47 62 60 45 39 50 41 50 60 80 79 48 38 53 50 50 57 94 93 76