經(jīng)典光流綜述課件

經(jīng)典光流法綜述葉思

2010.4.21經(jīng)典光流法綜述葉思1.光流簡介三維場中P點的運動投影到二維平面后形成的M點的二維運動場1.光流簡介三維場中P點的運動投影到二維平面后形成的M點的二1.光流簡介

光流場則是指圖像灰度模式的表面運動，它是一種像素級的運動，理想情況下，光流場和二維運動場互相吻合，但實際上并不經(jīng)常如此。

1.光流簡介光流場則是指圖像灰度模式的表面運動1.光流簡介

這里我們可以認(rèn)為光流場實際就是在時間序列上幀與幀之間圖像的像素級運動，后面的部分，我們將討論如何求出視頻中運動物體的光流場，而運動場和光流場的不一致問題，則不在我們此次討論范圍內(nèi)。1.光流簡介這里我們可以認(rèn)為光流場實際就是在時2.經(jīng)典光流法Lucas-Kanade(LK)pyramidalLK（PRLK）2.經(jīng)典光流法Lucas-Kanade(LK)LK算法的原型最初是一篇講述配準(zhǔn)問題的論文，該文主要論述了如何對兩幅圖像中的感興趣區(qū)域進行配準(zhǔn)，這實際也是一種求光流的方法，但這里配準(zhǔn)過程中使用的是牛頓迭代的方法，而經(jīng)典LK光流法中使用的是解線性方程組的方法?！禔nIterativeImageRegistrationTechniquewithanApplicationtoStereoVision》發(fā)表在1981年的《ProceedingsofImagingUnderstandingWorkshop》上。該文通過空間的灰度梯度信息，求解兩幅圖像之間相應(yīng)區(qū)域的匹配問題，它可以用在各種線性變換下，甚至是旋轉(zhuǎn)變換。它被引用的次數(shù)達到了2330多次。2.1Lucas-Kanade(LK)算法

LK算法的原型最初是一篇講述配準(zhǔn)問題的論文，該文主要論述了如2.1Lucas-Kanade(LK)算法

上圖表示兩幅圖像某區(qū)域R的匹配，F(xiàn)(x)和G(x)分別表示兩幅圖像在相應(yīng)坐標(biāo)下的像素灰度值，我們的目標(biāo)是找到相應(yīng)的向量h，使得在感興趣的區(qū)域R中，F(xiàn)(x+h)和G(x)的差別最小，這里的差別也就是：2.1Lucas-Kanade(LK)算法2.1Lucas-Kanade(LK)算法

一維坐標(biāo)下兩條曲線的匹配我們的算法是基于F(x)上在x鄰域上具有線性性質(zhì)的假設(shè)

當(dāng)h

較小時，我們可以得出：2.1Lucas-Kanade(LK)算法2.1備注：牛頓迭代法

牛頓迭代法是一種求方程根的方法，如圖所示藍色曲線是我們要求的方程，所求目標(biāo)便是圖中所示的曲線與x軸的交點，是經(jīng)過n次迭代后的結(jié)果，在收斂的情況下，它是不斷向正確的值逼近的。由可以得到：于是我們令：2.1備注：牛頓迭代法牛頓迭代法是一種求方程根2.1Lucas-Kanade(LK)算法

根據(jù)我們的線性假設(shè)，曲線線性較好的地方求出的h必然更為準(zhǔn)確，而線性性能的度量可以用曲線的二階導(dǎo)來表示，二階導(dǎo)較小的地方如拐點，即二階導(dǎo)為零處則線性最好，所以我們給每個x處得出的h一個權(quán)值：2.1Lucas-Kanade(LK)算法2.1Lucas-Kanade(LK)算法

這里有個問題就是在曲線為平的時候，為零時，作為分母，h的求取會出現(xiàn)無意義的情況。于是我們做一個小變換，，將它代入使兩曲線的E最小，這里我們使用差的平方來判斷兩者差異大小，有：為了使誤差E最小，我們對E求h的導(dǎo)數(shù)：2.1Lucas-Kanade(LK)算法這2.1Lucas-Kanade(LK)算法

由一維擴展到多維：2.1Lucas-Kanade(LK)算法由一維擴展到多

前面我們提到過算法是基于h很小的假設(shè)，所以當(dāng)h很大的時候計算出來的結(jié)果誤差很大甚至是錯誤的，文中在一維的情況下對正弦曲線的匹配進行了上述算法的計算實驗，設(shè)：實驗發(fā)現(xiàn)，當(dāng)時，上述算法的結(jié)果能收斂到正確的h值上去，這表明最初的偏差值可以最多取到波長的一半。我們從中可以獲得啟發(fā)：抑制圖像高頻的部分，可以擴大h的收斂域。我們將圖像進行平滑便可以達到這個效果，但這同時損失了圖像的細(xì)節(jié)部分，會反過來造成匹配的不夠準(zhǔn)確，尤其當(dāng)平滑窗口大于我們匹配的區(qū)域時，我們將得不到匹配結(jié)果。2.1Lucas-Kanade(LK)算法

前面我們提到過算法是基于h很小的假設(shè)，

從前面一維和二維的推導(dǎo)過程來看，我們都是使用了F和G的兩幅圖像的F(x+h)和G(x)的相等與否關(guān)系來得到h的求解，我們假設(shè)了F(x+h)=G(x)。而在視頻中，對于t和t+dt幀的光流計算，也相當(dāng)于兩幅幀圖像的像素匹配過程，這里我們假設(shè)在視頻幀中，物體的對應(yīng)像素的灰度值不因運動而變化，也得到光流的基本公式：2.2LK光流

2.2LK光流2.2LK光流LK算法基于以下三個假設(shè)：

1）亮度恒定

2）時間連續(xù)或者是運動是“小運動”

3）空間一致，臨近點有相似運動，保持相鄰2.2LK光流LK算法基于以下三個假設(shè)：

類似的，對于也進行一階泰勒展開：

之前的匹配中我們對F(x+h）進行一階展開：使得F(x+h)=F(x)+hF`(x)，然后代入相關(guān)公式中計算。2.2LK光流

對t求導(dǎo)，令分別表示水平方向、垂直方向的光流速度，表示某方向的梯度，用一階差分代替一階微分，于是光流基本計算公式有一般形式：之前的匹配中我們對F(x+h）進行一階展開：22.2LK光流

假設(shè)在一個小窗口內(nèi)的像素光流是一致的：2.2LK光流假設(shè)在一個小窗口內(nèi)的像素光流是一致的：2.2LK光流使用最小二乘法解里的向量u:圖三情況下，在紋理密集的地方可以求得u?？紤]矩陣的可逆性：2.2LK光流使用最小二乘法解2.2LK光流2.2LK光流2.2PRLK光流1）在LK算法中，有些情況會導(dǎo)致矩陣不可逆，這些情況下無法計算光流，于是我們可以考慮尋找一些好的特征點來計算光流，也就是角點。

2）在光流計算中，當(dāng)光流較大，也就是物體運動范圍較大時，計算誤差很大，這時，我們引入金字塔的思想，對原始圖像進行采樣，進行類似coarsetofine的過程，對先通過高層金字塔找出大的運動量，再逐步細(xì)化，計算小的運動量并不斷糾正大運動量的精確度。2.2PRLK光流1）在LK算法中，有2.2PRLK光流2.2PRLK光流