運動目標檢測光流法

1、摘要運動目標檢測方法是研究如何完成對視頻圖像序列中感興趣的運動目標區(qū) 域的“準確定位”問題。光流場指圖像灰度模式的表面運動，它可以反映視頻相 鄰幀之間的運動信息，因而可以用于運動目標的檢測。MATLAB這種語言可移 植性好、可擴展性強，再加上其中有豐富的圖像處理函數(shù)，所以利用MATLAB 軟件來用光流法對運動目標的檢測中具有很大的優(yōu)勢。本設計主要可以借助 matlab軟件編寫程序，運用Horn-Schunck算法對圖像前后兩幀進行處理，畫出 圖像的光流場。而圖像的光流場每個像素都有一個運動矢量，因此可以反映相鄰 幀之間的運動，分析圖像的光流場就可以得出圖像中的運動目標的運動情況。關鍵字：光流法

2、；Horn-Schunck算法；matlab目錄 TOC o 1-5 h z HYPERLINK l bookmark10 o Current Document 1光流法的設計目的1 HYPERLINK l bookmark13 o Current Document 2光流法的原理1 HYPERLINK l bookmark16 o Current Document 2.1光流法的介紹12.1.1光流與光流場的概念1 HYPERLINK l bookmark19 o Current Document 2.1光流法檢測運動目標的原理22.1.1光流場計算的基本原理22.2.2基于梯度的光流場算法

3、2 HYPERLINK l bookmark46 o Current Document 2.2.3Horn-Schunck 算法3 HYPERLINK l bookmark97 o Current Document 2.2.4光流法檢測運動目標物體的基本原理概述5 HYPERLINK l bookmark100 o Current Document 3光流法的程序具體實現(xiàn)6 HYPERLINK l bookmark103 o Current Document 3.1源代碼63.1.1求解光流場函數(shù)63.1.2求導函數(shù)93.1.3高斯濾波函數(shù)93.1.4平滑性約束條件函數(shù)103.1.5畫圖函數(shù)1

4、0 HYPERLINK l bookmark124 o Current Document 4仿真圖及分析12 HYPERLINK l bookmark127 o Current Document 結論13 HYPERLINK l bookmark130 o Current Document 參考文獻141光流法的設計目的數(shù)字圖像處理，就是用數(shù)字計算機及其他有關數(shù)字技術，對圖像進行處理， 以達到預期的目的。隨著計算機的發(fā)展，圖像處理技術在許多領域得到了廣泛 應用，數(shù)字圖像處理已成為電子信息、通信、計算機、自動化、信號處理 等專 業(yè)的重要課程。數(shù)字圖像處理課程設計是在學習完數(shù)字圖像處理的相關理論后

5、，進行的綜合 性訓練課程，其目的是：使學生進一步鞏固數(shù)字圖像處理的基本概念、理論、分 析方法和實現(xiàn)方法；增強學生應用Matlab編寫數(shù)字圖像處理的應用程序及分析、 解決實際問題的能力；嘗試所學的內容解決實際工程問題，培養(yǎng)學生的工程實踐 能力。運動目標檢測是數(shù)字圖像處理技術的一個主要部分，近些年來，隨著多媒體 技術的迅猛發(fā)展和計算機性能的不斷提高，動態(tài)圖像處理技術日益受到人們的青 睞，并且取得了豐碩的成果，廣泛應用于交通管理、軍事目標跟蹤、生物醫(yī)學等 領域。因此，基于光流法，實現(xiàn)運動目標的檢測是本文的研究對象。結合圖書館書 籍、網上資料以及現(xiàn)有期刊雜志，初步建立起運動目標檢測的整體思路和方法。2

6、光流法的原理2.1光流法的介紹2.1.1光流與光流場的概念光流是指空間運動物體在觀測成像面上的像素運動的瞬時速度，它利用圖像 序列像素強度數(shù)據的時域變化和相關性來確定各自像素位置的“運動”，即反映 圖像灰度在時間上的變化與景物中物體結構及其運動的關系。將二維圖像平面特 定坐標點上的灰度瞬時變化率定義為光流矢量。視覺心理學認為人與被觀察物體 發(fā)生相對運動時，被觀察物體表面帶光學特征的部位的移動給人們提供了運動和 結構的信息。當相機與場景目標間有相對運動時所觀察到的亮度模式運動稱之為 光流(optical flow)，或者說物體帶光學特征部位的移動投影到視網膜平面(也即圖 像平面)上就形成了光流。

7、光流場是指圖像灰度模式的表觀運動，它是一個二維矢量場，所包含的信息 就是各個像素點的瞬時運動速度矢量信息。光流場每個像素都有一個運動矢量，因此可以反映相鄰幀之間的運動1。2.1光流法檢測運動目標的原理2.1.1光流場計算的基本原理一般情況下，光流由相機運動，場景中目標運動或兩者的共同運動產生。光 流場的計算大致可分為三類：基于梯度的方法(Horn-Schunck)；基于匹配的方法； 基于能量的方法。基于梯度的方法利用圖像灰度的梯度來計算光流，是研究最多的方法。基于 梯度的方法根據運動前后圖像灰度保持不變這個基本假設，導出光流約束方程。 由于光流約束方程并不能唯一的確定光流，因此需要導入其他的約

8、束。根據引入 的約束不同，基于梯度的方法又可以分為全局約束方法和局部約束方法。全局約 束的方法假定光流在整個圖像范圍內滿足一定的約束條件；而局部約束的方法假 定在給定點周圍的一個小區(qū)域內，光流滿足一定的約束條件。基于匹配的方法，這類方法是將速度vm定義為視差d=(dx,dy)t，使得兩個時 刻的圖像區(qū)域的匹配最佳。為了找到最佳匹配，我們可以對定義在d上的相似度 量，如規(guī)一化的互相關系數(shù)，進行最大化，也可以對某一距離度量，如光強度差 的平方和，進行最小化2。2.2.2基于梯度的光流場算法梯度光流法又分為全局約束方法和局部約束方法。全局約束方法假定光流在 整個圖像范圍內滿足一定的約束條件，而局部約

9、束的方法假定在給定點周圍的一 個小區(qū)域內，光流滿足于一定的約束條件。下面先導出光流約束方程。然后給出 兩種比較典型的基于梯度的方法。假定圖像上點m = 3,力在時刻t的灰度值為I =怎,y,Q,經過時間間隔dt 后，對應點的灰度為I(x + dx,y + dy,t + dt) 3，當時，可以認為兩點的灰度不變， 也就是： TOC o 1-5 h z HYPERLINK l bookmark25 o Current Document I ( x + dx, y + dy, t + dt)= I ( x, y, t)(2.1)如果圖像灰度隨x,y,t緩慢變化，可以將(1)式左邊泰勒級數(shù)展開： HY

10、PERLINK l bookmark22 o Current Document I (x + dx, y + dy,t + dt)= I(x, y,t) + +s(2.2)其中8代表二階無窮小項。由于dt0，忽略8，可以得到：SI6181 HYPERLINK l bookmark31 o Current Document dx+ dy+ dt = 0(2.3)dxdxdt令u=，v=代表x,y方向上的光流，IX=，IY=，%=分別代表圖像灰度相對于x,y,t的偏導4，式(2.3)可以寫成： HYPERLINK l bookmark40 o Current Document I u +1 v +

11、 It= 0(2.4)此式即光流場的基本方程。寫成向量形式，即：V +1 = 0(2.5)其中=(Ix, Iy)是圖像在點m處的梯度，Vm(U,V)是點m的光流。上式稱為光 流約束方程，是所有基于梯度的光流計算方法的基礎。2.2.3 Horn-Schunck 算法Horn-Schunck算法提出了光流的平滑性約束。即：圖像上任一點的光流并不 是獨立的，光流在整個圖像范圍內平滑變化。因此Horn-Schunck算法是一種全 局約束的方法。設平滑性約束項為極小化：E, =jj (2 + 2 + v2 + v2)dxdy(2.6)由基本等式，顯然要求極小化：E =jj (I u +1 y +1 )2

12、dxdy(2.7)cx y t于是，由(2.6)和(2.7)式可知，最后求得光流應滿足(2.8)式：minjj 人(u2 + u2 + v2 + v2) + (I u +1 v +1)2dxdy(2.8)x y x yx y t這里入的取值要考慮圖中的噪聲情況，如果噪聲較強，說明圖像數(shù)據本身的置信度較低，需要更多的依賴光流約束，所以人可以取較大的值；反之，取較小的值。為了滿足(2.8)，可將該式對u和v分別求導，并取導數(shù)為0。這樣就得到5：12u +11 v =杼-11(2.9)xx yx t12V +11 u =Z2Vv I I(2.10)yx yy t以上兩式也稱為Euler方程。如果令u

13、和v分別表示u鄰域和v鄰域中的均值(可用圖像平滑算子求得)6，并令Vu = u 譏和Vv = v-v，則式(2.9)和(2.10)改寫成： TOC o 1-5 h z HYPERLINK l bookmark64 o Current Document I = -(I +1+1+1) -(I +1+1+1)t 4i, j ,k+1i+1, j ,k+1i, j+1,k+1i+1, j+1, k+14i, j ,ki+1, j ,ki, j+1, ki+1, j+1,k(2.11)(I2 +處)u +1 I V = Nu I I(2.12) HYPERLINK l bookmark70 o Cur

14、rent Document xx yx t(I2 +處)V +1 I u =處V I I(2.13)yx yy t從上式解得： HYPERLINK l bookmark76 o Current Document -I (I u +1 V +1 ),、u = u _xy(2.14)入 2 + 12 + 12xy HYPERLINK l bookmark85 o Current Document -I (I u +1 V +1 )/、v = v _xy(2.15)入2 +12 +12式(2.14)和(2.15)提供了用迭代法求解u和v的基礎7。實際中，常用松弛迭 方程進行求解:u(k+1) = u

15、(k) I 里(M L(2.16)x 人 2 +12 +12x y(2.17)-(k) I I u(k)+1 V(k)+ Iy 人2 + 12 + (2.17)其中k是循環(huán)數(shù)，u（。）和貝。）是初始值，可以取為0。訂和訂是局部平均，人 為權重系數(shù)，根據導數(shù)求取的精確度確定。在實際求解過程中，需要估計亮度的時間和空間微分。這可在圖像點的一個 2X2X2立方鄰域中估計8，如果下標，jk分別對應X，y，那么3個一階偏導分別是：I=L(i +1+1+1)- 1(i+1+1+1)x4i+1, j ,ki+1, j+1,ki+1, j ,k+1i+1, j+1,k+14 i，j，ki, j+1,ki, j

16、,k+1i, j+1,k+1(2.18)I=1(i+1+1+1)- 1(i+1+1+1)y4i, j+1,ki+1, j+1,ki, j+1,k+1i+1, j+1,k+14 i,j,ki + 1, j , ki, j ,k+1i+1, j ,k+1(2.19)I=1(i+1+1+1)- 1(i+1+1+1)t4i, j ,k+1i+1, j ,k+1i, j+1,k+1i+1, j+1,k+14i, j ,ki + 1, j , ki, j+1,ki+1, j+1,k(2.20)也就是用一階差分來替代灰度I關于x,y,t軸的偏導。上述算法的實現(xiàn)相對簡單，計算復雜性較低。但是這種技術存在著嚴重

17、缺陷。 首先，圖像灰度保持假設對于許多自然圖像序列來講都是不合適的，尤其是在圖 像的遮合邊緣處和（或）當運動速度較高時，基于灰度保持假設的約束存在較大誤 差。其次，在圖像的遮合區(qū)域，速度場是突變的，而總體平滑約束則迫使所估計 的光流場平滑地穿過這一區(qū)域，此過程平滑掉了有關物體形狀的非常重要的信 息。第二，微分技術的一個要求是I（x，y，t）必須是可微的，這暗示著需對圖像 數(shù)據進行時空預平滑9，以避免混疊效應;而且數(shù)值微分的求取具有病態(tài)性，如果 處理不當將對最終的速度估計產生顯著影響。2.2.4光流法檢測運動目標物體的基本原理概述給圖像中的每一個像素點賦予一個速度矢量，這就形成了一個圖像運動場，

18、 在運動的一個特定時刻，圖像上的點與三維物體上的點一一對應，這種對應關系 可由投影關系得到，根據各個像素點的速度矢量特征，可以對圖像進行動態(tài)分析。 如果圖像中沒有運動物體，則光流矢量在整個圖像區(qū)域是連續(xù)變化的。當圖像中 有運動物體時，目標與圖像背景存在相對運動，運動物體所形成的速度矢量必然 與鄰域背景速度矢量不同，從而檢測出運動物體及位置。光流法的優(yōu)點：光流不僅攜帶了運動物體的運動信息，而且攜帶了有關景物 三維結構的豐富信息，它能夠在不知道場景的任何信息的情況下，檢測出運動對 象10。3光流法的程序具體實現(xiàn)下面，以光流場計算的典型方法Horn-Schunck算法位例，介紹光流法的Matlab程

19、序實現(xiàn)對圖像運動目標的檢測。3.1源代碼3.1.1求解光流場函數(shù)function u, v = HS(im1, im2, alpha, ite, ulnitial, vInitial, displayFlow, displayIm)%輸入：%im1-輸入圖像1%im2-輸入圖像2%alpha-反映HS光流算法的平滑性約束條件的參數(shù)%ita-(3.15.9)式中的迭代次數(shù)%uInitial -光流橫向分量初始值%vInitial-光流縱向分量初始值%displayFlow-光流場顯示參數(shù)，其值為1時顯示，為0時不顯示%displayImg-顯示光流場的指定圖像，如果為空矩陣，則無指定圖像輸出%輸

20、出：%u-橫向光流矢量%v-縱向光流矢量%初始化參數(shù)g)%功能：求解光流場if nargin1 II nargin2im1=imread(yos9.tif);im2=imread(yos10.tif);endif nargin3alpha=1;endif nargin4ite=100;endif nargin5 | nargin6uInitial = zeros(size(im1(:,:,1);vInitial = zeros(size(im2(:,:,1);elseif size(uInitial,1) =0 | size(vInitial,1)=0uInitial = zeros(size

21、(im1(:,:,1);vInitial = zeros(size(im2(:,:,1);endif nargin7displayFlow=1;endif nargin8displayImg=im1;end%將RGB圖像轉化為灰度圖像if size(size(im1),2)=3im1=rgb2gray(im1);endif size(size(im2),2)=3im2=rgb2gray(im2);endim1=double(im1);im2=double(im2);%調用平滑性約束函數(shù)對圖像進行平滑im1=smoothImg(im1,1);im2=smoothImg(im2,1);tic;%為

22、光流矢量設置初始值u = uInitial;v = vInitial;fx, fy, ft = computeDerivatives(im1, im2); % 調用求導函數(shù)對時間分量和空間分 量進行求導kernel_1=1/12 1/6 1/12;1/6 0 1/6;1/12 1/6 1/12; % 均值模板%迭代次數(shù)為100for i=1:ite %計算光流矢量的局部均值uAvg=conv2(u,kernel_1,same);vAvg=conv2(v,kernel_1,same); % 用迭代法求解光流矢量u= uAvg - ( fx .* ( ( fx .* uAvg ) + ( fy .

23、* vAvg ) + ft ) ) ./ ( alphaA2 + fx.A2 + fy.A2);v= vAvg - ( fy .* ( ( fx .* uAvg ) + ( fy .* vAvg ) + ft ) ) ./ ( alphaA2 + fx2 + fy.A2);endu(isnan(u)=0;v(isnan(v)=0;%畫圖if displayFlow=1plotFlow(u, v, displayImg, 5, 5); % 調用畫圖函數(shù)end3.1.2求導函數(shù)function fx, fy, ft = computeDerivatives(im1, im2)%功能：求輸入圖像參考

24、像素點的像素值沿三軸方向的偏導數(shù)%輸入：%im1-輸入圖像1%im2-輸入圖像2%輸出：%fx-參考像素點的灰度值沿x方向的偏導數(shù)%fy-參考像素點的灰度值沿y方向的偏導數(shù)%fz-參考像素點的灰度值沿z方向的偏導數(shù)if size(im2,1)=0im2=zeros(size(im1);end%利用標準模板求得式(3.15.5)中的偏導數(shù)Ix, Iy, Itfx = conv2(im1,0.25* -1 1; -1 1,same) + conv2(im2, 0.25*-1 1; -1 1,same);fy = conv2(im1, 0.25*-1 -1; 1 1, same) + conv2(i

25、m2, 0.25*-1 -1; 1 1, same);ft = conv2(im1, 0.25*ones(2),same) + conv2(im2, -0.25*ones(2),same);3.1.3高斯濾波函數(shù)function G=gaussFilter(segma,kSize)%功能：實現(xiàn)高斯濾波%輸入：%sigma -高斯分布的概率密度函數(shù)的方差%kSize-高斯向量的模板尺寸大小%輸出：%G-方差為segma，大小為kSize的一維高斯向量模板if nargin1segma=1;endif nargin2kSize=2*(segma*3);endx=-(kSize/2):(1+1/kS

26、ize):(kSize/2);%利用均值為0,方差為segma高斯分布概率密度函數(shù)求解一維高斯向量模板G=(1/(sqrt(2*pi)*segma) * exp (-(x.A2)/(2*segmaA2);3.1.4平滑性約束條件函數(shù)function smoothedImg=smoothImg(img,segma)%功能：實現(xiàn)平滑性約束條件%輸入：%img-數(shù)字圖像%sigma -高斯分布的方差%輸出：%smoothedlmg-經高斯濾波的圖像矩陣if nargin2if sum(sum(imgOriginal)=0imshow(imgOriginal,0 255);hold on;endendif nargin4rSize=5;endif nargin5scale=3;endfor i=1:size(u,1)for j=1:size(u,2)if floor(i/rSize)=i/rSize | floor(j/rSize)=j/rSizeu(i,j)=0;v(i,j)=0;endendendquiver(u, v, scale, color, g, linewidth, 2);