視頻監(jiān)控圖像運動目標(biāo)檢測方法綜述

視頻監(jiān)控圖像運動目標(biāo)檢測方法綜述

1計算機視頻壓縮技術(shù)近年來，智能視頻監(jiān)控技術(shù)的研發(fā)和應(yīng)用吸引了許多人的關(guān)注。作為其基本處理部分,視頻監(jiān)控圖像的運動目標(biāo)檢測是一個非?；钴S的研究方向,屬于計算機視覺領(lǐng)域的重要研究內(nèi)容,在智能監(jiān)控、視頻壓縮、自動導(dǎo)航、人機交互、虛擬現(xiàn)實等方面有著廣泛的應(yīng)用前景。筆者針對視頻監(jiān)控圖像的運動目標(biāo)檢測方法,分析了近些年來國內(nèi)外的研究工作及最新進展,并對當(dāng)前急需解決的問題做了較為詳細的分析。2確定運動目標(biāo)檢測方法的主要基礎(chǔ)一般說來,運動目標(biāo)檢測方法的確定主要取決于目標(biāo)的運動背景和運動特性。2.1運動目標(biāo)檢測目標(biāo)運動背景指運動目標(biāo)所處的環(huán)境,是分析和討論運動目標(biāo)檢測的前提條件。一般情況下,目標(biāo)運動背景主要表現(xiàn)為目標(biāo)的運動區(qū)域(即所處地理位置)。在視頻監(jiān)控系統(tǒng)中,目標(biāo)運動背景的變化主要取決于攝像機工作方式,但天氣條件(如光線變化、風(fēng)雨雷電、霜雪等)以及其他干擾情況(如攝像機抖動、遮擋、孔徑和陰影)等也會對其產(chǎn)生重大影響。根據(jù)攝像機工作方式的不同,可以將目標(biāo)運動背景分為靜態(tài)背景和動態(tài)背景。靜態(tài)背景在通常使用中經(jīng)常碰到,其運動目標(biāo)檢測的研究應(yīng)用比較多;而對動態(tài)背景的運動目標(biāo)檢測研究,有學(xué)者借助于DSP芯片取得了一些進展,但還存在某些缺陷,譬如在大面積遮擋情況下目標(biāo)會丟失等,因此有待于進一步深入和改進。另外,在現(xiàn)實應(yīng)用中運動目標(biāo)背景一般存在著各種噪聲和擾動問題,目前研究的比較多,但還存在著這樣那樣的問題。針對目標(biāo)運動背景的變化,當(dāng)前一些研究人員提出了建立自適應(yīng)背景模型,實現(xiàn)了背景的實時更新,比較準(zhǔn)確地檢測出運動目標(biāo)。背景陰影的檢測和去除也是一個十分重要的問題。目前檢測陰影的方法主要有:1)在HSV彩色空間,利用色度、飽和度和亮度的信息建立背景模型;2)在RGB彩色空間,用矢量來表征像素點,并以當(dāng)前圖像中的像素點矢量與對應(yīng)背景點的矢量相減得到表征亮度和色度的彩色模型,在此基礎(chǔ)上建立背景模型;3)利用陰影的光學(xué)特性,結(jié)合其紋理特征,采用區(qū)域生長的方法來檢測陰影。此外,文獻采用光照評估方法判斷陰影是否存在,進而運用梯度分析和二值圖像的聚類算法檢測出陰影,從而有效地去除了陰影。2.2運動速度檢測技術(shù)一般視頻監(jiān)控系統(tǒng)中,運動目標(biāo)情況比較復(fù)雜,主要有時間特性、區(qū)域特性、矢量特性和形態(tài)特性等。時間特性和區(qū)域特性作為運動目標(biāo)的基本特性,是視頻幀時間差分和圖像分割的主要依據(jù)。文獻考慮到運動像素的時間和空間相關(guān)性,提出了一種有效的基于圖像塊和HVS彩色圖像差值相結(jié)合的高速運動目標(biāo)檢測算法,該方法快速、準(zhǔn)確。但在前景運動目標(biāo)與背景亮度很接近時,運動目標(biāo)很難被檢測出來,另外閾值的選取也過于經(jīng)驗化。文獻對復(fù)雜背景的多目標(biāo)運動速度檢測進行了探討,但還存在著不足之處。劉長欽等根據(jù)運動信息的生物視覺處理機制,給出了基于持久-暫態(tài)細胞組合的二維運動方位細胞(MOC)濾波器運動方向檢測模型,在計算機仿真實驗中得到了預(yù)期的效果。另外高媛媛等基于立體視覺對多目標(biāo)運動速度檢測進行了理論性探討。目前單目標(biāo)速度檢測已經(jīng)廣泛應(yīng)用于我國公安交通管理中,如電子測速器等,而多目標(biāo)運動速度檢測還沒有推廣。形態(tài)特性是指目標(biāo)運動時在形狀、大小、數(shù)量、剛度和強度等方面呈現(xiàn)出來的特征。一般視頻監(jiān)控目標(biāo)在形狀方面有點狀和面狀之分,筆者針對面狀運動目標(biāo)進行介紹。小目標(biāo)運動檢測一方面目標(biāo)的信噪比比較低,另一方面整個圖像復(fù)雜而目標(biāo)很小,一般僅由若干個像素組成,這兩個原因?qū)е滦∧繕?biāo)的運動檢測比較困難。自20世紀(jì)70年代以來,國內(nèi)外學(xué)者提出了許多有實際意義的檢測算法,如二維匹配濾波器法、動態(tài)規(guī)劃法、神經(jīng)網(wǎng)絡(luò)法和高階相關(guān)法等。從理論上講,上述檢測算法都能取得較好的效果,但大多數(shù)計算量大,實用性不強。多目標(biāo)運動在實際環(huán)境中比較普遍,對其進行檢測有一定價值,但當(dāng)背景過于復(fù)雜且目標(biāo)不明顯時,還存在著一些問題。根據(jù)剛度大小的不同可以將物體分為剛體和非剛體。常見的剛體如車輛等,其運動檢測研究已經(jīng)非常成熟,一些成果得到普遍應(yīng)用,如各地公安交通管理部門使用的“電子眼”。非剛體尤其人的運動檢測,由于其形狀、甚至拓撲結(jié)構(gòu)的變化,仍然面臨著許多困難,例如圖像分割模型的使用等,還未找到解決問題的最有效途徑。3測試移動目標(biāo)的方法3.1背景建模方法背景減除法是將視頻幀與背景模型進行比較,通過判定灰度等特征的變化,或用直方圖等統(tǒng)計信息的變化來判斷異常情況的發(fā)生和分割出運動目標(biāo)。用背景減除法進行運動目標(biāo)檢測的主要過程包括預(yù)處理、背景建模、前景檢測和運動區(qū)域后處理等。背景建模是背景減除法的核心環(huán)節(jié),目前主要方法有:基于背景的時間差分法、中值濾波法、W4方法、線性預(yù)測法、非參數(shù)模型法(又稱內(nèi)核密度估計法)、混合Gauss法、隱馬爾科夫模型法(HMM)、本征法、基于均值替換的背景估計法、碼本方法等。背景減除法適用于靜態(tài)或準(zhǔn)靜態(tài)背景下面積不大的目標(biāo)運動檢測,實現(xiàn)比較簡單,能夠完整地分割出運動目標(biāo)檢測。但在動態(tài)背景或復(fù)雜背景(如存在遮擋和陰影等)的情況下,用其實現(xiàn)運動目標(biāo)檢測實時性差。3.2局部閾值方法相鄰幀間差分法即圖像序列差分法,主要利用兩幀圖像亮度差的絕對值來分析視頻和圖像序列的運動特性,確定圖像序列中有無物體運動。如果差的絕對值小于某一閾值,則沒有運動;反之,則存在運動。針對背景與前景灰度交叉的情況,近年來許多人提出了用局部閾值的方法來提高算法的自適應(yīng)性,主要有基于假設(shè)檢驗的幀差法和高次統(tǒng)計法。相鄰幀間差分法可用于動態(tài)變化的場景,但一般不能很好地提取出運動目標(biāo)的所有特征像素;主要以靜態(tài)背景為條件,適應(yīng)于目標(biāo)運動稍快且圖像分割精度要求不高的場合。3.3圖像的動態(tài)分析光流計算技術(shù)是Gibson于1950年提出的。光流法檢測運動目標(biāo)的基本原理是給圖像中的每一個像素點賦予一個速度矢量,這就形成了一個圖像運動場,在運動的一個特定時刻,圖像上的點與三維物體上的點一一對應(yīng),這種對應(yīng)關(guān)系可由投影關(guān)系得到;根據(jù)各個像素點的速度矢量特征,可以對圖像進行動態(tài)分析。目前基于光流的計算方法主要有微分法(梯度法)、塊匹配法(區(qū)域匹配法)、能量法、相位法和小波法等。光流法能夠檢測出獨立運動的目標(biāo),不需要預(yù)先知道場景的任何信息,并且可用于動態(tài)背景。但這種方法計算量大、易受噪聲影響,必須借助特殊的硬件支持來實現(xiàn)實時檢測。張澤旭等將Canny邊緣提取融入光流場分割技術(shù),對單運動目標(biāo)和多運動目標(biāo)均取得了比較滿意的效果,實時性也大大提高。光流法在航天、醫(yī)學(xué)和交通等領(lǐng)域得到了初步應(yīng)用,但如何進一步提高其抗噪性、實時性和運算速度,有待于深入研究。3.4dsp芯片檢測運動目標(biāo)基于Snake的主動輪廓線法是由Kass等人于1987年提出的,其原理是先用背景補償?shù)姆椒▽⑾噜弮蓭瑘D像進行配準(zhǔn),然后對配準(zhǔn)后的圖像進行差分運算,并用主動輪廓線模型來跟蹤目標(biāo)邊界,從而實現(xiàn)運動目標(biāo)的檢測。為了加快處理速度、實現(xiàn)實時處理,該方法必須借助于DSP芯片。主動輪廓線法適合于動態(tài)背景下的多目標(biāo)運動檢測;當(dāng)目標(biāo)運動速度緩慢的時候,該方法不能準(zhǔn)確地檢測出運動目標(biāo)。3.5基于運動目標(biāo)的檢測文獻提出并實現(xiàn)了基于統(tǒng)計模型的運動目標(biāo)檢測算法。文中首先利用較簡單的算法對運動場進行了粗略的估計,然后根據(jù)馬爾可夫隨機場理論構(gòu)造出運動場的間斷點分布模型,利用此模型來檢測運動場間的斷點,實現(xiàn)運動目標(biāo)的檢測。實驗表明,這一方法運算較少,并可通過DSP實現(xiàn)實時檢測。Rosenberg等人提出了另外一種基于統(tǒng)計模型的方法,在攝像機做劇烈拉伸、旋轉(zhuǎn)運動時,仍可以實時檢測并跟蹤運動目標(biāo)。文獻將改進的GVF-Snake模型與統(tǒng)計模型相結(jié)合,對靜態(tài)背景下的運動目標(biāo)檢測作了深入研究,取得了較好的效果。統(tǒng)計法適用于復(fù)雜背景下的運動目標(biāo)檢測,借助DSP芯片來完成實時檢測。由于運動場的估計憑先驗知識,這種方法的準(zhǔn)確度不是很高。3.6閾值設(shè)定和邊緣提取高階統(tǒng)計(HOS)法主要利用圖像信號的四階累計或者四階矩來提取運動區(qū)域。要將運動區(qū)域提取出來,則要先計算局部估計的幀差零延遲四階矩,自適應(yīng)地設(shè)定與背景相適應(yīng)變化的閾值,將計算出的四階矩與此閾值相比較,然后確定運動區(qū)域和背景,從而分離出有別于背景波動和噪聲的運動區(qū)域。如果閾值設(shè)定不當(dāng),可能導(dǎo)致部分噪聲不能被消除;由于物體內(nèi)部紋理信息的一致,可能導(dǎo)致檢測出的信息內(nèi)部出現(xiàn)空洞現(xiàn)象。所以還要進行邊緣提取和區(qū)域填充等工作,最終實現(xiàn)運動目標(biāo)的檢測。HOS法由于存在著運動場的估計,準(zhǔn)確度不是很高。另外,計算量比較大,實時性不是很理想。3.7基于haar小波變換的低信噪比小目標(biāo)檢測小波理論是在20世紀(jì)80年代后期發(fā)展起來的一種新的信號處理工具。由于它具有良好的時頻局部化特征和方向性特征,使得它在圖像處理、模式識別、分形分析等領(lǐng)域得到了廣泛的應(yīng)用,應(yīng)用小波變換進行目標(biāo)及目標(biāo)特征檢測的應(yīng)用也較多。文獻在分析了小波變換特性的基礎(chǔ)上,提出了基于Haar小波變換的低信噪比小目標(biāo)檢測算法。理論分析與仿真結(jié)果表明,該方法可有效地提高小目標(biāo)(信噪比小于2,目標(biāo)大小為2×2)的信噪比。小波法主要適用于復(fù)雜場景下弱小目標(biāo)的運動檢測,有著較好的實時性和魯棒性,但實際應(yīng)用還不多。3.8圖像模式分類近些年來,基于人工神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法得到了極大的發(fā)展。文獻首先是將每幀圖像分為40×40的圖像塊,預(yù)處理后將這些圖像塊投影到一個線性濾波器組,得到不同的圖像模式;然后把這些不同的圖像模式根據(jù)預(yù)先計算得到的聚類原形進行分類;最后用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)分類器來判斷圖像模式是否包含目標(biāo)。該方法的識別率很高,而誤檢測率卻極小。另外,該方法對尺度、旋轉(zhuǎn)變形的目標(biāo)有很好的適應(yīng)性。該方法適用于復(fù)雜背景下的運動目標(biāo)檢測,但其計算復(fù)雜度較高,準(zhǔn)確性不夠理想。3.9立混合gauss分類模型擴展的EM法由Friedman與Russell提出的。其基本思想是給每個像素建立混合Gauss分類模型,該模型可以自動更新并能自適應(yīng)地將每個像素分為背景、影子或者運動前景,在目標(biāo)運動速度緩慢的情況下,也能較好地完成運動區(qū)域的分割,從而檢測出運動目標(biāo),同時可以有效地消除影子的影響。但由于其計算量較大,現(xiàn)在不常用。3.10時變微分估計時變過程中圖像時變支持分能量運動檢測法主要通過計算圖像的瞬間差分,設(shè)定適當(dāng)?shù)臑V噪門限,把圖像分割成運動區(qū)域和非運動區(qū)域,通常對圖像的時變微分進行估計該方法適用于:1)連續(xù)圖像中背景灰度變化(主要由光照和攝像機抖動引起)緩慢;2)目標(biāo)的運動速度和背景的運動速度存在一定差異。在實際應(yīng)用中,考慮到目標(biāo)運動檢測的實時性,往往需要將該方法與其他方法結(jié)合起來。3.11運動檢測一般信息數(shù)學(xué)形態(tài)學(xué)法是法國數(shù)學(xué)家G.Matheron和J.Serra于上世紀(jì)60年代提出的。它是一種非線性濾波方法,其基礎(chǔ)是Minkowski結(jié)構(gòu)和差運算,即形態(tài)和差(腐蝕與膨脹),在目標(biāo)運動檢測過程中可用于邊緣檢測、圖像分割、圖像恢復(fù)與重建和圖像濾波(抑制噪聲)等?；跀?shù)學(xué)形態(tài)學(xué)的目標(biāo)運動檢測方法的主要形式有:1)基本理論范疇:二值形態(tài)學(xué)、灰度(多值)形態(tài)學(xué)和彩色圖像形態(tài)學(xué);2)非線性圖像處理應(yīng)用范疇:模糊數(shù)學(xué)形態(tài)學(xué)、軟數(shù)學(xué)形態(tài)學(xué)、模糊軟數(shù)學(xué)形態(tài)學(xué)、小波形態(tài)學(xué)、參考半格形態(tài)學(xué)。在實際應(yīng)用中,基于數(shù)學(xué)形態(tài)學(xué)的目標(biāo)運動檢測方法對彩色圖像處理算法比較復(fù)雜,形態(tài)運算的通用性和適應(yīng)性不夠強。3.12基于視差的背景差分法立體視覺法主要針對多目標(biāo)運動檢測,首先用雙目攝像機對圖像進行拍攝,獲取立體圖像序列對,然后對立體圖像對進行匹配求取場景的視差圖,再運用基于視差的背景差分法獲得含有運動目標(biāo)的前景區(qū)域,最后根據(jù)前景區(qū)域的視差和位置分布準(zhǔn)確定位各運動目標(biāo)。立體視覺方法有效解決了單目視覺檢測方法中的一些難點問題,可以克服光線的變化和陰影干擾對目標(biāo)檢測帶來的影響,在多個目標(biāo)發(fā)生部分遮擋時仍能正確區(qū)分各運動目標(biāo)。文獻證明該方法是一種準(zhǔn)確、實用的運動目標(biāo)檢測方法。3.13基于獨立分量分析法的運動目標(biāo)檢測水平集方法由Osher等人提出來的,它依賴于時間的演變曲線,避免了曲線演變過程對拓撲結(jié)構(gòu)變化的影響,計算比較穩(wěn)定。水平集方法通過一種基于幀間差分的算法,自動提取初始背景圖像,并使用相減法,檢測出當(dāng)前圖像中的運動像素;定義了一種新的基于差分圖像的局部梯度、目標(biāo)的方差和背景的方差的速度函數(shù),得到了改進的分割曲線演化方程,分割出不同的運動目標(biāo);在水平集的求解過程中,設(shè)定控制演化曲線最終停止在目標(biāo)邊界上的條件,得到運動目標(biāo)的邊界。與其他傳統(tǒng)方法相比,該方法更有效,具有更好的魯棒性,能夠正確地提取運動目標(biāo)邊界。3.14獨立分量分析法獨立分量分析是近年來發(fā)展起來的一種新的多維數(shù)字信號處理技術(shù),通過計算數(shù)據(jù)間的高階統(tǒng)計信息,可以從觀測信號中估計出互不相關(guān)、相互統(tǒng)計獨立、被未知因素混合的原始信號的估計信號。該方法在盲源信號分離、生物學(xué)數(shù)據(jù)分析、語音信號處理、圖像處理、人臉識別、多用戶檢測及金融數(shù)據(jù)分析、自然圖像去噪等領(lǐng)域獲得廣泛應(yīng)用。目前被廣泛采用的算法主要有Infomax算法、擴展Infomax算法、FastICA算法等。實驗結(jié)果表明,該方法不僅能提取運動目標(biāo)的輪廓,并判斷運動方向,還能檢測運動軌跡,是一種有效的運動目標(biāo)檢測方法;處理簡單,魯棒性強,克服了傳統(tǒng)的幀差法對攝像機和光照條件的變化敏感的缺點,具有較強的自適應(yīng)性。目前,這種方法只局限于理論研究,實際應(yīng)用很少。除了上述列舉的幾種檢測算法以