第三章-二維運(yùn)動(dòng)估計(jì)之二課件

第三章二維運(yùn)動(dòng)估計(jì)之二第三章二維運(yùn)動(dòng)估計(jì)之二1目錄EBMA的問題可變形塊匹配算法(DBMA)基于節(jié)點(diǎn)的運(yùn)動(dòng)模型基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì)直接估計(jì)法間接估計(jì)法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配算法(HBMA)小結(jié)目錄EBMA的問題2EBMA的問題（1）塊效應(yīng)(塊邊界不連續(xù))塊位移模型不精確真實(shí)的塊內(nèi)運(yùn)動(dòng)有可能比簡(jiǎn)單的位移復(fù)雜得多解決方法：可變形塊匹配算法在一個(gè)塊中有可能有多個(gè)物體的不同運(yùn)動(dòng)解決方法1:自適應(yīng)的網(wǎng)格運(yùn)動(dòng)估計(jì)解決方法2：基于區(qū)域的運(yùn)動(dòng)估計(jì)亮度變化產(chǎn)生的光照效應(yīng)要先對(duì)光照效應(yīng)進(jìn)行補(bǔ)償，然后再進(jìn)行恒定光強(qiáng)度假設(shè)。EBMA的問題（1）塊效應(yīng)(塊邊界不連續(xù))3EBMA的問題（2）運(yùn)動(dòng)域是隨機(jī)的塊和塊之間的運(yùn)動(dòng)矢量估計(jì)是獨(dú)立的解決方法1：加入光滑性約束，調(diào)整預(yù)測(cè)誤差項(xiàng)和平滑項(xiàng)的權(quán)重。解決方法2：多分辨率方法解決方法3：基于網(wǎng)格的運(yùn)動(dòng)估計(jì)光滑區(qū)域產(chǎn)生錯(cuò)誤的MV當(dāng)光梯度接近0時(shí)無法估計(jì)出運(yùn)動(dòng)。解決方法：基于區(qū)域的運(yùn)動(dòng)估計(jì)非常大的運(yùn)算量解決方法1：快速算法，犧牲部分精度解決方法2：多分辨率運(yùn)動(dòng)估計(jì)EBMA的問題（2）運(yùn)動(dòng)域是隨機(jī)的4目錄EBMA的問題可變形塊匹配算法(DBMA)基于節(jié)點(diǎn)的運(yùn)動(dòng)模型基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì)直接估計(jì)法間接估計(jì)法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配算法(HBMA)小結(jié)目錄EBMA的問題5可變形塊匹配算法過程：將錨定幀分割成多個(gè)規(guī)整的塊對(duì)每個(gè)塊采用較復(fù)雜的運(yùn)動(dòng)模型（如仿射，雙線性或投影映射）對(duì)每個(gè)塊進(jìn)行獨(dú)立的運(yùn)動(dòng)參數(shù)估計(jì)xm,3xm,2Bmxm,4xm,1B’m可變形塊匹配算法過程：xm,3xm,2B66.5可變形塊匹配算法仍然不能解決塊內(nèi)存在多個(gè)運(yùn)動(dòng)的問題，塊效應(yīng)和光照效應(yīng)等問題。仿射(6個(gè)參數(shù)):三角形映射雙線性(8個(gè)參數(shù)):四邊形映射6.5可變形塊匹配算法仿射(6個(gè)參數(shù)):雙線性(8個(gè)76.5.1基于節(jié)點(diǎn)的運(yùn)動(dòng)表示假設(shè)在塊中選擇若干個(gè)控制節(jié)點(diǎn)，這些節(jié)點(diǎn)能夠自由運(yùn)動(dòng)而且任何中間點(diǎn)的位移可以通過節(jié)點(diǎn)的位移內(nèi)插得到。令K表示控制節(jié)點(diǎn)數(shù)，dm,k表示Bm中控制節(jié)點(diǎn)的運(yùn)動(dòng)矢量，則塊的運(yùn)動(dòng)函數(shù)可以表示為：6.5.1基于節(jié)點(diǎn)的運(yùn)動(dòng)表示假設(shè)86.5.1基于節(jié)點(diǎn)的運(yùn)動(dòng)表示控制點(diǎn)舉例：塊角點(diǎn)其他點(diǎn)的運(yùn)動(dòng)通過角點(diǎn)dm,k的運(yùn)動(dòng)矢量插值得到。控制點(diǎn)的運(yùn)動(dòng)矢量可以是整數(shù)像素精度或者半像素精度，所有控制點(diǎn)的運(yùn)動(dòng)參數(shù)同等重要。平移，仿射，雙線性是這個(gè)模型的特例。6.5.1基于節(jié)點(diǎn)的運(yùn)動(dòng)表示控制點(diǎn)舉例：塊角點(diǎn)9內(nèi)插公式K=1，退化為平移模型K=3，對(duì)應(yīng)于仿射運(yùn)動(dòng)模型K=4，對(duì)應(yīng)于雙線性運(yùn)動(dòng)模型第k個(gè)節(jié)點(diǎn)對(duì)像素x的貢獻(xiàn)，稱內(nèi)插核內(nèi)插公式第k個(gè)節(jié)點(diǎn)對(duì)像素x的貢獻(xiàn)，稱內(nèi)插核106.5.2基于節(jié)點(diǎn)模型的運(yùn)動(dòng)估計(jì)搜索方法:窮盡搜索法:實(shí)際中要同步搜索K個(gè)節(jié)點(diǎn)的運(yùn)動(dòng)矢量，搜索維度高，不可行。梯度下降法:牛頓-拉夫森搜索算法搜索的結(jié)果依賴于初始解。好的初始解可通過EBMA得到。匹配函數(shù):其中6.5.2基于節(jié)點(diǎn)模型的運(yùn)動(dòng)估計(jì)搜索方法:匹配函數(shù):其中11DBMA的問題塊邊界會(huì)產(chǎn)生運(yùn)動(dòng)的不連續(xù)性，是由于節(jié)點(diǎn)的運(yùn)動(dòng)矢量是從每個(gè)塊中獨(dú)立預(yù)測(cè)得到的。解決方法：基于網(wǎng)格的運(yùn)動(dòng)估計(jì)當(dāng)塊內(nèi)有多物體運(yùn)動(dòng)或者因照明產(chǎn)生變化時(shí)，DBMA效果不好三模型法：先對(duì)每個(gè)塊實(shí)行EBMAEBMA誤差小的塊具有平移運(yùn)動(dòng)EBMA誤差大的塊具有非平移運(yùn)動(dòng)對(duì)這些塊運(yùn)用DBMADBMA的問題塊邊界會(huì)產(chǎn)生運(yùn)動(dòng)的不連續(xù)性，是由于節(jié)點(diǎn)的運(yùn)動(dòng)矢12目錄EBMA的問題可變形塊匹配算法(DBMA)基于節(jié)點(diǎn)的運(yùn)動(dòng)模型基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì)直接估計(jì)法間接估計(jì)法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配算法(HBMA)小結(jié)目錄EBMA的問題13基于網(wǎng)格的運(yùn)動(dòng)估計(jì)(a)使用三角形網(wǎng)格(b)使用四邊形網(wǎng)格當(dāng)前幀被分割為不重疊的多邊形單元（網(wǎng)格），運(yùn)動(dòng)估計(jì)為網(wǎng)格的每個(gè)節(jié)點(diǎn)在參考幀找到對(duì)應(yīng)點(diǎn)（即得到其運(yùn)動(dòng)矢量），其余點(diǎn)的位移矢量由節(jié)點(diǎn)的運(yùn)動(dòng)矢量插值得到?；诰W(wǎng)格的運(yùn)動(dòng)估計(jì)(a)使用三角形網(wǎng)格(b)使用四邊形網(wǎng)14基于網(wǎng)格的運(yùn)動(dòng)估計(jì)(a)基于塊匹配的運(yùn)動(dòng)估計(jì)(b)基于網(wǎng)格的運(yùn)動(dòng)估計(jì)(c)基于網(wǎng)格的運(yùn)動(dòng)跟蹤基于網(wǎng)格的運(yùn)動(dòng)估計(jì)(a)基于塊匹配的運(yùn)動(dòng)估計(jì)(b)基于網(wǎng)15基于網(wǎng)格的運(yùn)動(dòng)估計(jì)單元內(nèi)像素的運(yùn)動(dòng)由節(jié)點(diǎn)的運(yùn)動(dòng)矢量?jī)?nèi)插得到每個(gè)網(wǎng)格節(jié)點(diǎn)只有一個(gè)運(yùn)動(dòng)矢量，與其相鄰的所有多邊形單元共享此運(yùn)動(dòng)矢量基于網(wǎng)格的運(yùn)動(dòng)估計(jì)單元內(nèi)像素的運(yùn)動(dòng)由節(jié)點(diǎn)的運(yùn)動(dòng)矢量?jī)?nèi)插得到每16基于網(wǎng)格的運(yùn)動(dòng)估計(jì)主要步驟建立網(wǎng)格規(guī)則網(wǎng)格自適應(yīng)網(wǎng)格復(fù)雜運(yùn)動(dòng)的區(qū)域節(jié)點(diǎn)密集，簡(jiǎn)單運(yùn)動(dòng)的區(qū)域節(jié)點(diǎn)稀疏節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)最小化位移幀差函數(shù)二階梯度迭代先后順序光柵掃描根據(jù)節(jié)點(diǎn)處圖像梯度值分組基于網(wǎng)格的運(yùn)動(dòng)估計(jì)主要步驟17自適應(yīng)三角形網(wǎng)格的建立圖像梯度較大：區(qū)域運(yùn)動(dòng)較復(fù)雜預(yù)測(cè)誤差較大：此區(qū)域的運(yùn)動(dòng)模型建模失效SG（x,y）和PPE（x,y）非零時(shí)：網(wǎng)格節(jié)點(diǎn)密集圖像梯度預(yù)測(cè)誤差如果如果重建圖像運(yùn)動(dòng)補(bǔ)償圖像自適應(yīng)三角形網(wǎng)格的建立圖像梯度較大：區(qū)域運(yùn)動(dòng)較復(fù)雜圖像梯度預(yù)18節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)更新第n個(gè)節(jié)點(diǎn)的運(yùn)動(dòng)矢量時(shí)，其余節(jié)點(diǎn)的運(yùn)動(dòng)矢量保持不變S(n)表示與第n個(gè)節(jié)點(diǎn)相連接的多邊形單元的誤差函數(shù)全搜索法基于梯度下降的方法節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)更新第n個(gè)節(jié)點(diǎn)的運(yùn)動(dòng)矢量時(shí)，其余節(jié)點(diǎn)的運(yùn)動(dòng)矢量保19節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)步驟節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)初始值：塊匹配法按順序迭代估計(jì)每個(gè)節(jié)點(diǎn)給定某個(gè)節(jié)點(diǎn)，固定其他節(jié)點(diǎn)在不改變拓?fù)浣Y(jié)構(gòu)的范圍內(nèi)移動(dòng)該節(jié)點(diǎn)，計(jì)算誤差函數(shù)最小化誤差函數(shù)更新的運(yùn)動(dòng)矢量滿足某條件，終止迭代每個(gè)節(jié)點(diǎn)的更新過程全搜索梯度下降節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)步驟20基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于網(wǎng)格全搜索塊匹配(半像素精度)參考幀當(dāng)前幀預(yù)測(cè)圖像基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于網(wǎng)格全搜索塊匹配(半像素精度)參考21基于網(wǎng)格的運(yùn)動(dòng)估計(jì)與塊匹配法的比較網(wǎng)格當(dāng)前幀可以分成規(guī)則的或不規(guī)則的網(wǎng)格參考幀中的不規(guī)則網(wǎng)格是不重疊的每個(gè)節(jié)點(diǎn)只有一個(gè)運(yùn)動(dòng)矢量可變形塊當(dāng)前幀分成規(guī)則的網(wǎng)格參考幀中的不規(guī)則網(wǎng)格是重疊的每個(gè)節(jié)點(diǎn)有多個(gè)運(yùn)動(dòng)矢量不可變形塊當(dāng)前幀分成規(guī)則的網(wǎng)格參考幀中的規(guī)則網(wǎng)格是重疊的基于網(wǎng)格的運(yùn)動(dòng)估計(jì)與塊匹配法的比較網(wǎng)格22目錄EBMA的問題可變形塊匹配算法(DBMA)基于節(jié)點(diǎn)的運(yùn)動(dòng)模型基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì)直接估計(jì)法間接估計(jì)法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配算法(HBMA)小結(jié)目錄EBMA的問題23基于區(qū)域的運(yùn)動(dòng)估計(jì)將視頻圖像分割為多個(gè)區(qū)域，每個(gè)區(qū)域?qū)?yīng)一個(gè)特定的運(yùn)動(dòng)，然后為每個(gè)區(qū)域估計(jì)運(yùn)動(dòng)參數(shù)區(qū)域分割：力圖區(qū)域內(nèi)的所有像素的運(yùn)動(dòng)具有一致性，可以由一個(gè)運(yùn)動(dòng)模型表示運(yùn)動(dòng)模型：仿射模型、雙線性模型、投影模型方法分類區(qū)域優(yōu)先運(yùn)動(dòng)優(yōu)先聯(lián)合區(qū)域分割和運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)將視頻圖像分割為多個(gè)區(qū)域，每個(gè)區(qū)域?qū)?yīng)一個(gè)24基于區(qū)域的運(yùn)動(dòng)估計(jì)區(qū)域優(yōu)先的方法基于當(dāng)前幀的紋理、邊緣信息進(jìn)行區(qū)域分割局部區(qū)域的直方圖區(qū)域連接增長(zhǎng)為每個(gè)區(qū)域估計(jì)運(yùn)動(dòng)參數(shù)表示當(dāng)前幀第n個(gè)區(qū)域Rn中像素x的運(yùn)動(dòng)矢量區(qū)域誤差函數(shù)：表示Rn的運(yùn)動(dòng)參數(shù)矢量可以是仿射、雙線性、投影運(yùn)動(dòng)模型中的任意一種基于區(qū)域的運(yùn)動(dòng)估計(jì)區(qū)域優(yōu)先的方法表示當(dāng)前幀第n個(gè)區(qū)域Rn中像25基于區(qū)域的運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)優(yōu)先的方法首先估計(jì)整個(gè)運(yùn)動(dòng)場(chǎng)光流、像素、塊、網(wǎng)格等方法運(yùn)動(dòng)場(chǎng)分割聚類：將具有相似運(yùn)動(dòng)矢量的像素進(jìn)行聚合，形成區(qū)域。分層：分成主導(dǎo)運(yùn)動(dòng)和次主導(dǎo)運(yùn)動(dòng)，從占主導(dǎo)的區(qū)域開始，剔除誤差較大的區(qū)域，得到第一層；然后進(jìn)一步剔除區(qū)域，直到?jīng)]有剔除區(qū)域?；趨^(qū)域的運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)優(yōu)先的方法26基于區(qū)域的運(yùn)動(dòng)估計(jì)聯(lián)合區(qū)域分割和運(yùn)動(dòng)估計(jì)的方法區(qū)域分割和運(yùn)動(dòng)估計(jì)相互依賴，相輔相成?？山惶孢M(jìn)行區(qū)域分割和運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)聯(lián)合區(qū)域分割和運(yùn)動(dòng)估計(jì)的方法27目錄EBMA的問題可變形塊匹配算法(DBMA)基于節(jié)點(diǎn)的運(yùn)動(dòng)模型基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì)直接估計(jì)法間接估計(jì)法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配算法(HBMA)小結(jié)目錄EBMA的問題28全局運(yùn)動(dòng)估計(jì)整幅圖像的運(yùn)動(dòng)可以用單一的運(yùn)動(dòng)模型表示通常指攝像機(jī)相對(duì)于靜止場(chǎng)景運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)整個(gè)場(chǎng)景作為一個(gè)整體運(yùn)動(dòng)（很少發(fā)生）。方法直接估計(jì)法間接估計(jì)法全局運(yùn)動(dòng)估計(jì)整幅圖像的運(yùn)動(dòng)可以用單一的運(yùn)動(dòng)模型表示29全局運(yùn)動(dòng)估計(jì)直接估計(jì)法誤差函數(shù)：表示全局運(yùn)動(dòng)參數(shù)矢量可以是仿射、雙線性、投影運(yùn)動(dòng)模型中的任意一種為權(quán)值系數(shù)，調(diào)節(jié)可減小與全局運(yùn)動(dòng)不匹配的像素對(duì)誤差函數(shù)的影響。全局運(yùn)動(dòng)估計(jì)直接估計(jì)法表示全局運(yùn)動(dòng)參數(shù)矢量為權(quán)值系數(shù)，調(diào)節(jié)30是的線性函數(shù)，即全局運(yùn)動(dòng)估計(jì)間接估計(jì)法假設(shè)已經(jīng)得到一些特征點(diǎn)的運(yùn)動(dòng)矢量匹配誤差函數(shù)：對(duì)上式求偏導(dǎo)并令其為零，可得運(yùn)動(dòng)參數(shù)：是的線性函數(shù)，即全局運(yùn)動(dòng)估計(jì)間接估計(jì)法對(duì)上式求偏31目錄EBMA的問題可變形塊匹配算法(DBMA)基于節(jié)點(diǎn)的運(yùn)動(dòng)模型基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于區(qū)域的運(yùn)動(dòng)估計(jì)全局運(yùn)動(dòng)估計(jì)直接估計(jì)法間接估計(jì)法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配算法(HBMA)小結(jié)目錄EBMA的問題32多分辨率運(yùn)動(dòng)估計(jì)前面介紹的運(yùn)動(dòng)估計(jì)方法存在的問題最小化誤差函數(shù)可能收斂到局部最小值最小化誤差函數(shù)過程的計(jì)算量很大多分辨率運(yùn)動(dòng)估計(jì)可有效解決這兩個(gè)問題首先在最小分辨率層（由空間低通濾波和欠取樣獲得）進(jìn)行運(yùn)動(dòng)估計(jì)，并把結(jié)果作為下一層的初始解。然后每層依次進(jìn)行運(yùn)動(dòng)估計(jì)，每層的運(yùn)動(dòng)估計(jì)結(jié)果都將作為下一層的初始解每層的運(yùn)動(dòng)估計(jì)可使用前面介紹的方法，如基于光流、像素、塊、網(wǎng)格等運(yùn)動(dòng)估計(jì)方法多分辨率運(yùn)動(dòng)估計(jì)前面介紹的運(yùn)動(dòng)估計(jì)方法存在的問題33多分辨率運(yùn)動(dòng)估計(jì)分辨率增加層1層2層3可由空間低通濾波和欠取樣得到多分辨率運(yùn)動(dòng)估計(jì)分辨率增加層1層2層3可由空間低通濾波和欠取34多分辨率運(yùn)動(dòng)估計(jì)優(yōu)點(diǎn)運(yùn)動(dòng)場(chǎng)接近最優(yōu)解的概率更大較小分辨率層上，誤差函數(shù)可以接近全局最小值，通過插值，獲得高分辨率上的初始解，最后到達(dá)最大分辨率時(shí)，誤差函數(shù)接近全局最小值的可能性更大。計(jì)算量比直接在最大分辨率上進(jìn)行運(yùn)動(dòng)估計(jì)時(shí)要小較小分辨率層上，搜索范圍限制在較小的范圍。多分辨率運(yùn)動(dòng)估計(jì)優(yōu)點(diǎn)35多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法當(dāng)前幀參考幀多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法當(dāng)前幀參考幀36多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法當(dāng)前幀參考幀多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法當(dāng)前幀參考幀37多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法38多分辨率運(yùn)動(dòng)估計(jì)分層塊匹配法的計(jì)算量假設(shè)圖像大小為MxM，塊尺寸為NxN，所有層都使用的搜索范圍第l層的塊數(shù)為