經(jīng)典光流綜述課件

經(jīng)典光流法綜述葉思

2010.4.21經(jīng)典光流法綜述葉思1.光流簡(jiǎn)介三維場(chǎng)中P點(diǎn)的運(yùn)動(dòng)投影到二維平面后形成的M點(diǎn)的二維運(yùn)動(dòng)場(chǎng)1.光流簡(jiǎn)介三維場(chǎng)中P點(diǎn)的運(yùn)動(dòng)投影到二維平面后形成的M點(diǎn)的二1.光流簡(jiǎn)介

光流場(chǎng)則是指圖像灰度模式的表面運(yùn)動(dòng)，它是一種像素級(jí)的運(yùn)動(dòng)，理想情況下，光流場(chǎng)和二維運(yùn)動(dòng)場(chǎng)互相吻合，但實(shí)際上并不經(jīng)常如此。

1.光流簡(jiǎn)介光流場(chǎng)則是指圖像灰度模式的表面運(yùn)動(dòng)1.光流簡(jiǎn)介

這里我們可以認(rèn)為光流場(chǎng)實(shí)際就是在時(shí)間序列上幀與幀之間圖像的像素級(jí)運(yùn)動(dòng)，后面的部分，我們將討論如何求出視頻中運(yùn)動(dòng)物體的光流場(chǎng)，而運(yùn)動(dòng)場(chǎng)和光流場(chǎng)的不一致問(wèn)題，則不在我們此次討論范圍內(nèi)。1.光流簡(jiǎn)介這里我們可以認(rèn)為光流場(chǎng)實(shí)際就是在時(shí)2.經(jīng)典光流法Lucas-Kanade(LK)pyramidalLK（PRLK）2.經(jīng)典光流法Lucas-Kanade(LK)LK算法的原型最初是一篇講述配準(zhǔn)問(wèn)題的論文，該文主要論述了如何對(duì)兩幅圖像中的感興趣區(qū)域進(jìn)行配準(zhǔn)，這實(shí)際也是一種求光流的方法，但這里配準(zhǔn)過(guò)程中使用的是牛頓迭代的方法，而經(jīng)典LK光流法中使用的是解線性方程組的方法。《AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision》發(fā)表在1981年的《ProceedingsofImagingUnderstandingWorkshop》上。該文通過(guò)空間的灰度梯度信息，求解兩幅圖像之間相應(yīng)區(qū)域的匹配問(wèn)題，它可以用在各種線性變換下，甚至是旋轉(zhuǎn)變換。它被引用的次數(shù)達(dá)到了2330多次。2.1Lucas-Kanade(LK)算法

LK算法的原型最初是一篇講述配準(zhǔn)問(wèn)題的論文，該文主要論述了如2.1Lucas-Kanade(LK)算法

上圖表示兩幅圖像某區(qū)域R的匹配，F(xiàn)(x)和G(x)分別表示兩幅圖像在相應(yīng)坐標(biāo)下的像素灰度值，我們的目標(biāo)是找到相應(yīng)的向量h，使得在感興趣的區(qū)域R中，F(xiàn)(x+h)和G(x)的差別最小，這里的差別也就是：2.1Lucas-Kanade(LK)算法2.1Lucas-Kanade(LK)算法

一維坐標(biāo)下兩條曲線的匹配我們的算法是基于F(x)上在x鄰域上具有線性性質(zhì)的假設(shè)

當(dāng)h

較小時(shí)，我們可以得出：2.1Lucas-Kanade(LK)算法2.1備注：牛頓迭代法

牛頓迭代法是一種求方程根的方法，如圖所示藍(lán)色曲線是我們要求的方程，所求目標(biāo)便是圖中所示的曲線與x軸的交點(diǎn)，是經(jīng)過(guò)n次迭代后的結(jié)果，在收斂的情況下，它是不斷向正確的值逼近的。由可以得到：于是我們令：2.1備注：牛頓迭代法牛頓迭代法是一種求方程根2.1Lucas-Kanade(LK)算法

根據(jù)我們的線性假設(shè)，曲線線性較好的地方求出的h必然更為準(zhǔn)確，而線性性能的度量可以用曲線的二階導(dǎo)來(lái)表示，二階導(dǎo)較小的地方如拐點(diǎn)，即二階導(dǎo)為零處則線性最好，所以我們給每個(gè)x處得出的h一個(gè)權(quán)值：2.1Lucas-Kanade(LK)算法2.1Lucas-Kanade(LK)算法

這里有個(gè)問(wèn)題就是在曲線為平的時(shí)候，為零時(shí)，作為分母，h的求取會(huì)出現(xiàn)無(wú)意義的情況。于是我們做一個(gè)小變換，，將它代入使兩曲線的E最小，這里我們使用差的平方來(lái)判斷兩者差異大小，有：為了使誤差E最小，我們對(duì)E求h的導(dǎo)數(shù)：2.1Lucas-Kanade(LK)算法這2.1Lucas-Kanade(LK)算法

由一維擴(kuò)展到多維：2.1Lucas-Kanade(LK)算法由一維擴(kuò)展到多

前面我們提到過(guò)算法是基于h很小的假設(shè)，所以當(dāng)h很大的時(shí)候計(jì)算出來(lái)的結(jié)果誤差很大甚至是錯(cuò)誤的，文中在一維的情況下對(duì)正弦曲線的匹配進(jìn)行了上述算法的計(jì)算實(shí)驗(yàn)，設(shè)：實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)時(shí)，上述算法的結(jié)果能收斂到正確的h值上去，這表明最初的偏差值可以最多取到波長(zhǎng)的一半。我們從中可以獲得啟發(fā)：抑制圖像高頻的部分，可以擴(kuò)大h的收斂域。我們將圖像進(jìn)行平滑便可以達(dá)到這個(gè)效果，但這同時(shí)損失了圖像的細(xì)節(jié)部分，會(huì)反過(guò)來(lái)造成匹配的不夠準(zhǔn)確，尤其當(dāng)平滑窗口大于我們匹配的區(qū)域時(shí)，我們將得不到匹配結(jié)果。2.1Lucas-Kanade(LK)算法

前面我們提到過(guò)算法是基于h很小的假設(shè)，

從前面一維和二維的推導(dǎo)過(guò)程來(lái)看，我們都是使用了F和G的兩幅圖像的F(x+h)和G(x)的相等與否關(guān)系來(lái)得到h的求解，我們假設(shè)了F(x+h)=G(x)。而在視頻中，對(duì)于t和t+dt幀的光流計(jì)算，也相當(dāng)于兩幅幀圖像的像素匹配過(guò)程，這里我們假設(shè)在視頻幀中，物體的對(duì)應(yīng)像素的灰度值不因運(yùn)動(dòng)而變化，也得到光流的基本公式：2.2LK光流

2.2LK光流2.2LK光流LK算法基于以下三個(gè)假設(shè)：

1）亮度恒定

2）時(shí)間連續(xù)或者是運(yùn)動(dòng)是“小運(yùn)動(dòng)”

3）空間一致，臨近點(diǎn)有相似運(yùn)動(dòng)，保持相鄰2.2LK光流LK算法基于以下三個(gè)假設(shè)：

類似的，對(duì)于也進(jìn)行一階泰勒展開(kāi)：

之前的匹配中我們對(duì)F(x+h）進(jìn)行一階展開(kāi)：使得F(x+h)=F(x)+hF`(x)，然后代入相關(guān)公式中計(jì)算。2.2LK光流

對(duì)t求導(dǎo)，令分別表示水平方向、垂直方向的光流速度，表示某方向的梯度，用一階差分代替一階微分，于是光流基本計(jì)算公式有一般形式：之前的匹配中我們對(duì)F(x+h）進(jìn)行一階展開(kāi)：22.2LK光流

假設(shè)在一個(gè)小窗口內(nèi)的像素光流是一致的：2.2LK光流假設(shè)在一個(gè)小窗口內(nèi)的像素光流是一致的：2.2LK光流使用最小二乘法解里的向量u:圖三情況下，在紋理密集的地方可以求得u?？紤]矩陣的可逆性：2.2LK光流使用最小二乘法解2.2LK光流2.2LK光流2.2PRLK光流1）在LK算法中，有些情況會(huì)導(dǎo)致矩陣不可逆，這些情況下無(wú)法計(jì)算光流，于是我們可以考慮尋找一些好的特征點(diǎn)來(lái)計(jì)算光流，也就是角點(diǎn)。

2）在光流計(jì)算中，當(dāng)光流較大，也就是物體運(yùn)動(dòng)范圍較大時(shí)，計(jì)算誤差很大，這時(shí)，我們引入金字塔的思想，對(duì)原始圖像進(jìn)行采樣，進(jìn)行類似coarsetofine的過(guò)程，對(duì)先通過(guò)高層金字塔找出大的運(yùn)動(dòng)量，再逐步細(xì)化，計(jì)算小的運(yùn)動(dòng)量并不斷糾正大運(yùn)動(dòng)量的精確度。2.2PRLK光流1）在LK算法中，有2.2PRLK光流2.2PRLK光流