畢業(yè)論文設(shè)計智能視頻監(jiān)控中目標跟蹤算法研究及應(yīng)用

畢業(yè)論文設(shè)計智能視頻監(jiān)控中目標跟蹤算法研究及應(yīng)用畢業(yè)論文設(shè)計智能視頻監(jiān)控中目標跟蹤算法研究及應(yīng)用/畢業(yè)論文設(shè)計智能視頻監(jiān)控中目標跟蹤算法研究及應(yīng)用智能視頻監(jiān)控中目標跟蹤算法研究與應(yīng)用學(xué)生：指導(dǎo)教師：淮南師范學(xué)院物理與電子信息系摘要：視頻監(jiān)控中目標跟蹤算法的研究與應(yīng)用是實現(xiàn)視頻監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)之一。實際視頻監(jiān)控系統(tǒng)中的場景往往是錯綜復(fù)雜、變化無常的，實現(xiàn)具有魯棒性、準確性和實時性的運動目標檢測和跟蹤是當前智能視頻監(jiān)控技術(shù)努力的方向。本文研究了靜態(tài)場景下運動目標跟蹤的相關(guān)算法，給出了運動目標跟蹤的實現(xiàn)方案，由于LucasKanade光流跟蹤算法對目標僅僅跟蹤其質(zhì)心，存在跟蹤目標容易丟失且魯棒性不高的缺點；最小絕對差算法企圖搜索目標模板、計算量大、實時性差；針對這兩種算法在目標跟蹤方面的不足，對其進行了相應(yīng)的改進和完善。通過LucasKanade光流跟蹤算法預(yù)測目標質(zhì)心位置、并設(shè)定目標搜索區(qū)域減小最小絕對差算法計算量；將模板匹配定位之后更正的目標質(zhì)心做為下一幀LucasKanade光流跟蹤算法跟蹤的特征點，可以減小單一光流法預(yù)測目標質(zhì)心帶來的誤差，實現(xiàn)可靠的跟蹤。關(guān)鍵詞：運動目標跟蹤；LucasKanade光流法；模板匹配Abstract：VideotargettrackingalgorithmresearchandApplicationisoneofthekeytechniqueswhichimplementsintelligentvideosurveillancesystem(IVSS).Therealvideosurveillancesystemappliedenvironmentisusuallycomplex,fullofvariety.Therealizationofmovingobjectdetectionandtrackingwithveracity,real-timeperformanceandrobustnessisthedirectionforcurrentIVSSstudy.Thispaperstudiedunderstaticscenetrackingalgorithmsmovementaregiven,andtheimplementationschemeofmovingobjecttrackingKanadelightflow,becauseLucastotargettrackingalgorithmonlytrackingitsexistingtrackthetargetcentroid,easytoloseandrobustnessisnothighweaknesses;Minimumabsolutedifferencealgorithmmapsearchtargettemplate,largeamountofcalculation,real-timepoor;Inviewofthesetwoalgorithmintargettrackingdeficiency,analysesthecorrespondingimprovementandperfection.ByLucasKanadelightflowforecasttargetcentroidpositiontrackingalgorithm,andsetatargetofreducingthesearchareacomputationminimumabsolutedifferencealgorithm;WillthetemplatematchingafterthetargetcentroidpositioncorrectionasthenextframeLucasKanadelightstreamingtrackingalgorithmtrackingfeaturepointscanreduceasinglelightflowmethodforforecastingtheerrorscausedbytargetcentroid,achievereliabletracking.Keywords：Sportstargettracking;LucasKanadelightflowmethod;Backgroundmodel1．引言1.1研究背景和意義隨著計算機技術(shù)、通信技術(shù)、圖像處理技術(shù)的不斷發(fā)展，目標檢測與跟蹤技術(shù)在移動機器人、戰(zhàn)車與坦克、飛機、導(dǎo)彈、艦船等軍事領(lǐng)域和航空航天、科學(xué)探測、天文觀測以與視頻監(jiān)控等民用領(lǐng)域具有越來越廣泛的應(yīng)用，也稱為自動控制、信號與信息處理、計算機視覺和模式事變等領(lǐng)域的研究熱點。視頻監(jiān)控系統(tǒng)是公共安全技術(shù)防范系統(tǒng)的重要組成部分，它被廣泛應(yīng)用于國防、國家安全、治安等多個方面，主要涉與軍工、公安、交通、金融、電力、電信、供水、供氣等重要部門。由于視頻圖像監(jiān)控具有很強的直觀性、實時性和可逆性，使得它在解決經(jīng)營糾紛、預(yù)防和制止犯罪、處理治安和刑事案件、為公安偵察破案提供線索等方面有著其他防范設(shè)施難以發(fā)揮的作用。目前，基于視頻序列的目標檢測與跟蹤技術(shù)在國內(nèi)外各個領(lǐng)域和方面均得到了十分廣泛的應(yīng)用。在軍事方面，軍用衛(wèi)星、戰(zhàn)區(qū)導(dǎo)彈防御、偵察機、導(dǎo)彈制導(dǎo)、火控系統(tǒng)與小型自尋的導(dǎo)引頭等軍事武器均廣泛應(yīng)用了圖像目標的識別與跟蹤技術(shù)，大大提高武器系統(tǒng)的運動攻擊性能與作戰(zhàn)指標。美國空軍“幼畜”導(dǎo)彈是最著名的一種電視制導(dǎo)導(dǎo)彈，由于目標的識別與跟蹤技術(shù)的應(yīng)用，該導(dǎo)彈可做到自動發(fā)現(xiàn)并鎖定目標，并對目標實施摧毀，大大提高了作戰(zhàn)效能；武裝直升機和現(xiàn)代坦克戰(zhàn)車隊也都借助到高性能光電穩(wěn)定瞄準具等先進光電設(shè)備，如高清晰度前視紅外傳感器、高分辨率和高倍率的CCD傳感器等光電設(shè)備，結(jié)合目標的識別與跟蹤技術(shù)大大提高了其再戰(zhàn)場中的生存能力、提高有效打擊力、增加全天候作戰(zhàn)效能。在民用方面，圖像目標的識別與跟蹤在科學(xué)探測、航空和航天對地觀察、攝影和地形測繪上同樣發(fā)揮著十分重要的作用。隨著科學(xué)的發(fā)展和生活水平的提高，一些高檔的手持、肩扛拍照和攝像系統(tǒng)也廣泛地應(yīng)用了人臉識別與跟蹤技術(shù)，提高了系統(tǒng)的成像質(zhì)量。運動目標的識別與跟蹤在智能交通、身份識別等領(lǐng)域也得到了十分廣泛的應(yīng)用，創(chuàng)造了很好的社會價值。因此，目前世界各國政府和學(xué)者，密切關(guān)注新一代的監(jiān)控技術(shù)——智能視頻監(jiān)控技術(shù)。它同以往的監(jiān)控技術(shù)有著本質(zhì)的區(qū)別，其主要特征是采用計算機視覺的方法，在幾乎不需要人為干預(yù)的情況下，賦予計算機類似于人的理解動態(tài)場景的視覺能力，通過對視頻序列中運動物體的檢測與跟蹤以與對運動行為與語義概念之間關(guān)系的表達與分析，形成對場景中運動物體行為與其相互關(guān)系的高層次語義上的解釋，使計算機知道什么時候，在什么場景中，是什么人在做什么，并用自然語言來描述所發(fā)生的一切。更形象地說，智能視頻監(jiān)控系統(tǒng)[1]能夠看，看被監(jiān)控場景中目標物體的行為；能夠想，理解目標物體的行為以為著什么；能夠說，把想的結(jié)果用自然語言的形式表達出來。因此只能視頻監(jiān)控系統(tǒng)具有看、思考和表達的能力。目前，智能視頻監(jiān)控系統(tǒng)取代了監(jiān)控任務(wù)中人的大部分工作，是新一代的具有高度智能的監(jiān)控技術(shù)[2]。1.2國內(nèi)外研究現(xiàn)狀國外對基于視頻的目標檢測與跟蹤的理論研究與應(yīng)用研究起步較早，尤其在美國、英國等國家已經(jīng)開展了大量相關(guān)項目的研究，并取得了一定的成果?，F(xiàn)舉例如下：1997年美國國防高級研究項目署(DefenseAdvancedResearchProjectsAgency)設(shè)立了以卡內(nèi)基梅隆大學(xué)(CarnegieMellonUniversity)為首、麻省理工學(xué)院(MassachusettsInstituteofTechnology)等高校參與的視覺監(jiān)控重大項目VSAM(VisualSurveillanceandMonitoring)[3]，VSAM的目標是為未來城市和戰(zhàn)場監(jiān)控應(yīng)用開發(fā)的一種自動視頻理解技術(shù)，用于實現(xiàn)未來戰(zhàn)爭中人力監(jiān)控費用昂貴、非常危險或者人力無法實現(xiàn)等場合下的監(jiān)控。美國的麻省理工學(xué)院(MassachusettsInstituteofTechnology)在智能視覺監(jiān)控方面也進行了深入的研究，其開發(fā)的監(jiān)控系統(tǒng)[4]己成功實現(xiàn)了對行人和車輛的檢測與跟蹤。英國的雷丁大學(xué)(UniversityofReading)己開展了對車輛和行人的跟蹤與其交互作用識別的相關(guān)研究[5,6]。美國的馬里蘭大學(xué)(UniversityofMaryland)開發(fā)了W4(What，Where，When，Who)實時監(jiān)控系統(tǒng)[7,8,9]，該系統(tǒng)不僅能夠定位人和分割出人的身體部分，而且通過建立外觀模型來實現(xiàn)多人的跟蹤，可以檢測和跟蹤室外環(huán)境中的人，同時可以檢測人是否攜帶物體等簡單行為，并對他們之間的簡單交互進行監(jiān)控。IBM與Microsoft等公司也正逐步將基于視覺的手勢識別接口應(yīng)用于商業(yè)領(lǐng)域中[6]；在我國，這方面的研究起步較晚。目前，在國內(nèi)的相關(guān)研究機構(gòu)中，中科院自動化研究所下屬的模式識別國家重點實驗室成立的視覺監(jiān)控研究小組處于該領(lǐng)域的領(lǐng)先地位。該實驗室在交通場景的視覺監(jiān)控、人的運動視覺監(jiān)控和行為模式識別等方面作了深入的研究，并取得了一定的成果[10,11]。模式識別實驗室己經(jīng)開始與英國雷丁大學(xué)就視覺監(jiān)控項目開展了合作研究，并得到了英國皇家協(xié)會的支持；與法國波爾多第三大學(xué)EGID研究所在交通視覺監(jiān)控等方面也展開了一系列的合作。除此之外，國內(nèi)還有一些高校，如上海交通大學(xué)航空航天信息與控制研究所，華中科技大學(xué)圖像識別與人工智能研究所,西安電子科技大學(xué)電子工程學(xué)院模式識別與智能控制研究所，桂林電子科技大學(xué)圖像所等研究機構(gòu)，都對該領(lǐng)域進行了相關(guān)的研究。1.3運動目標與運動目標跟蹤的概述運動目標是日常生活中常見的，如活動的動物、行駛的運載工具等。在現(xiàn)實生活中，盡管人類的視覺既能看見運動的物體又能看見靜止的物體，但是在許多場合，比如氣象分析中的云圖、安全監(jiān)視中的人或動物、交通流量的控制等，大量有意義的視覺信息都包含在這些運動之中，人們往往只對運動的物體或目標感興趣。因此，研究運動目標的檢測問題，有著很大的現(xiàn)實意義和應(yīng)用價值。目標跟蹤一直是計算機視覺領(lǐng)域的一個經(jīng)典問題，其基本任務(wù)可簡述為在視頻序列中對感興趣的目標或?qū)ο蟮奈恢?、速度等運動特征進行有效的確定或估計。目前，目標跟蹤技術(shù)已經(jīng)被廣泛應(yīng)用于眾多生活和科研領(lǐng)域中。例如在視頻編碼、智能交通、視頻監(jiān)控等應(yīng)用中，目標跟蹤技術(shù)都起著非常重要的作用。對于目標跟蹤算法，目前沒有較為明確的分類方法。目前，幾種性能較好、較受關(guān)注的跟蹤算法如下：1）粒子濾波（ParticleFilter）即蒙特卡羅（SequentialMonteCarlo）濾波在計算機視覺領(lǐng)域中的應(yīng)用研究，它正在受到國內(nèi)外的廣泛關(guān)注[12]。它的基本思想是用隨機樣本來描述概率分布，這些樣本稱為粒子，在測量的基礎(chǔ)上通過調(diào)節(jié)各粒子權(quán)值的大小和樣本的位置來近似實際概率分布，以樣本的均值作為系統(tǒng)的估計值。這種方法可以用于任意非線性、非高斯隨機系統(tǒng)的狀態(tài)估計，克服了卡爾曼濾波的缺點。然而由于該算法的復(fù)雜性，降低了目標跟蹤的實時性。諸如粒子退化、實時性差等問題需要進一步解決[13,14]。2)卡爾曼濾波[15,16]在運動估計和預(yù)測中的運用較為常見?？蓪⒁阎哪繕诉\動規(guī)律作為跟蹤算法建模的前提條件，對目標整體運動可用仿射模型來描述。如果已知目標的運動軌跡是光滑的，或者目標的運動速度或加速度是恒定的，而且假設(shè)圖像噪聲是高斯噪聲，卡爾曼濾波器便可以用來預(yù)測和估計目標下一幀的位置，完成對目標的跟蹤。如果目標的運動不可視為線性的，可以使用擴展卡爾曼濾波器跟蹤目標。3）基于邊緣輪廓的跟蹤。邊緣是指周圍像素有灰度階躍變化的像素集合或強度值突然變化的像素點集合，邊緣對運動很敏感，對灰度的變化不敏感。Blake等用自適應(yīng)邊緣模型，而Curwen等用Snake算法[17]，都實現(xiàn)了對非剛性物體運動輪廓的跟蹤。4)光流（opticalflow）的概念是Gibson于1950年首先提出的。所謂光流是指圖像中模式運動的速度。1981年，Horn等人在相鄰圖象間的時間間隔很小，并且圖象灰度變化也很小的前提下，推導(dǎo)出灰度圖象光流場計算的基本等式，這是經(jīng)典光流方法[18,19]。光流法用于目標跟蹤常用的算法有：檢測和跟蹤特征點[20]、跟蹤好的特征點[21]、金字塔圖像的LucasKanade特征點跟蹤算法[22]。在這三種光流跟蹤方法中，跟蹤性能最優(yōu)的是金字塔圖像的LucasKanade特征點跟蹤算法，本文就是采用此方法進行目標跟蹤，并對其進行改進。5）基于模板的目標建模方法直接采用目標圖像的像素集合對目標進行描述，已被廣泛用于基于模板匹配的跟蹤算法中[23-24]。該算法實質(zhì)是在圖像中找到一塊區(qū)域，使這塊區(qū)域與模板之間對應(yīng)像素灰度差的絕對值之和為最小。算法需在整幅圖像上搜索出與原模板最匹配的區(qū)域，因此耗時較大，本文將其和光流法結(jié)合起來用于目標跟蹤，提高算法實時性和魯棒性。6）MeanShift算法是一種概率密度梯度函數(shù)的估計方法。1995年YizongCheng發(fā)表的一篇重要文獻[25]將其引入計算機視覺領(lǐng)域后，漸漸引起人們的興趣。國內(nèi)最近幾年才展開該算法研究，它在跟蹤領(lǐng)域中的應(yīng)用是目前研究的熱點。該算法采用核函數(shù)直方圖建模，對邊緣遮擋、目標旋轉(zhuǎn)、變化以與背景運動都不敏感；運算速度快，實時性好；但是，該算法也存在一定的缺點。比如：運動目標的顏色相同或者背景中存在大片的與目標顏色相同的區(qū)域，如果目標產(chǎn)生重疊，則在目標重新分開后將不能確定原來目標的編號。1.4運動目標跟蹤研究的難點目前，運動目標跟蹤所遇到的主要問題是：1)應(yīng)用面單一，缺乏適用性很廣的算法。2)運動目標陰影和運動目標混淆，消除陰影。3)在跟蹤過程中出現(xiàn)運動目標消失或受到遮擋。4)基于檢測和跟蹤算法的復(fù)雜性如何保證處理的實時性。5)目標做復(fù)雜運動或形變時的跟蹤和分類問題。為了有效實現(xiàn)視頻序列中目標跟蹤任務(wù)，本文重點研究了光流法和模板匹配跟蹤方法，金字塔圖像的LucasKanade光流法跟蹤目標容易丟失，傳統(tǒng)的模板匹配跟蹤方法由于對圖像利用率高，其跟蹤比較準確，但計算量大、實時性差；針對這兩種算法在目標跟蹤方面的不足，對其進行了相應(yīng)的改進和完善。通過LucasKanade光流跟蹤算法預(yù)測目標質(zhì)心位置、并設(shè)定目標搜索區(qū)域減小最小絕對差算法計算量；將模板匹配定位之后更正的目標質(zhì)心做為下一幀LucasKanade光流跟蹤算法跟蹤的特征點，可以減小單一光流法預(yù)測目標質(zhì)心帶來的誤差，實現(xiàn)可靠的跟蹤。2．常用運動目標跟蹤方法運動目標檢測可以從圖象中得到運動目標的位置、形狀等信息，但這些信息是孤立的，并沒有提供圖象序列之間的聯(lián)系，本章將對檢測出的目標進行運動跟蹤，對這些數(shù)據(jù)進一步處理，獲得跟蹤目標的標號和運動軌跡。目標跟蹤的作用非常重要，因為它是銜接運動目標檢測和目標行為分析與理解的一個重要環(huán)節(jié)。在實際應(yīng)用中，目標跟蹤不僅可以提供目標的運動軌跡、運動參數(shù)和準確的位置，也為進行場景中運動目標的運動分析和場景分析提供了可靠的數(shù)據(jù)來源，同時運動目標的跟蹤信息也反過來為運動目標的正確檢測以與運動目標的識別提供了幫助，從而更有利于運動目標的跟蹤。2.1常用運動目標跟蹤算法2.1.1金字塔圖像的LucasKanade特征點跟蹤算法光流的概念是Gibson于1950年首先提出的。所謂光流是指圖像中模式運動的速度。1981年，Horn等人在相鄰圖象間的時間間隔很小，并且圖象灰度變化也很小的前提下，推導(dǎo)出灰度圖象光流場計算的基木等式，這是經(jīng)典光流方法[18,19]。光流法用于目標跟蹤常用的算法有：檢測和跟蹤特征點[20]、跟蹤好的特征點[21]、金字塔圖像的LucasKanade特征點跟蹤算法[22]。在這三種光流跟蹤方法中，跟蹤性能最優(yōu)的是金字塔圖像的LucasKanade特征點跟蹤算法，由于該算法僅跟蹤少量的特征點、迭代法收斂速度也很快而且算法的計算量不大，已被廣泛的應(yīng)用于運動車輛跟蹤和人臉特征點跟蹤[26,27]；下面介紹之。1、問題提出我們用I和J來代表兩個灰度圖像。那么I(x)=I(x,y)和J(x)=J(x,y)代表了這兩個灰度圖像在點的灰度值，x和y是圖像的點X坐標。這里，我們稱圖像I為第一幅圖像，稱J為第二幅圖像。從實際的圖像來說，I和J是兩個離散的函數(shù)，并且左上角的像素點坐標是。用和表示圖像的寬度和高度。那么右下端的圖像的坐標是?？紤]第一幅圖像上的一點，跟蹤的目的就是在第二幅圖像上找到與之相對應(yīng)的一點,是在點X處圖像的速度，即點X處圖像的光流。令和表示兩個整數(shù)，我們假定圖像速度d是使得下面的殘差函數(shù)最小的函數(shù)：（2-1）根據(jù)上面的定義，相似度的函數(shù)被在的區(qū)域內(nèi)定義。這個區(qū)域也稱之為積分窗口。典型的、是2、3、4、5、6、7個像素。2、跟蹤算法的描述基于特征點的跟蹤的兩個關(guān)鍵問題是準確度和魯棒性。準確度是從直覺上來說，為了不抹去圖像中的細節(jié)，需要小的積分窗口。魯棒性因素需要考慮光照變化，圖像運動時對尺寸變化的敏感性。特別的，為了了解大矢量運動的問題需要一個大的積分窗口。實際上，僅僅考慮等式（2-1），理想的情況是。這樣我們就必須兼顧準確度和魯棒性來選擇積分窗口。為了更好的解決這個問題，采用了基于金字塔圖像的光流跟蹤方法。這個方法對局部跟蹤的準確性提出了一個很好的解決方案。(1)、金字塔圖像表示描述一個的圖像I，令表示第0層圖像（原始圖像），那么金字塔圖像表示是以一種回歸形式而建立的：根據(jù)計算，計算，計算，以此類推；令L=1,2,…表示一系列金字塔圖像層次，圖像的大小為：，圖像通過對圖像隔行隔列采樣得到。采用金字塔圖像表示方法的主要目的是處理大矢量的運動問題(處理大于積分窗的目標運動的問題)。因此應(yīng)當用圖像中最大期望的光流來恰當?shù)拇_定金字塔圖像的高度。在大多數(shù)的情況下，超過4的金字塔圖像層次沒有太大的意義。(2)、基于金字塔的圖像跟蹤回到前面說的跟蹤問題：對于圖像I中的一個給定的點u，找到它在圖像J中對應(yīng)的位置v=u+d，或者找到目標運動的矢量d。對于，定義是點u在金字塔圖像中的映射。根據(jù)前面關(guān)于金字塔圖像定義的描述，則向量的計算公式如下：（2-2）等式（2-2）中的除法是對兩個坐標分別進行的?；诮鹱炙D像LucasKanade光流法跟蹤的處理過程如下：首先在最深的一個層次Lm計算光流，然后，這個計算結(jié)果轉(zhuǎn)遞到Lm-1層；根據(jù)最初的假定，在Lm-1層計算出新的光流并把它轉(zhuǎn)到Lm-2層，這樣一直操作直到回到第0層（原始圖像）?，F(xiàn)在讓我們用數(shù)學(xué)公式詳細的介紹一下從第L+1層到第L層的遞歸過程。假定在第L層有對被跟蹤目標的位置有個大致估計，而從最高層Lm到第L+1層傳遞過來的運動矢量是。這樣，為了計算出在第L層的光流，需要找到一個使得下面的殘差函數(shù)：（2-3）達到最小的偏移向量：（2-4）注意到，在第L層的積分窗口的大小是保持恒定的尺寸的，即：在第二幅圖像中,用這里得到的最初估計作預(yù)平移。這樣，求得的殘余流向量就足夠小，因此能夠通過標準的光流法來求出這個運動矢量。計算殘余光流的細節(jié)將在下一節(jié)介紹?，F(xiàn)在，我們假定這個向量已經(jīng)計算出來(為了說明算法的完整性)。然后，這個計算過程的結(jié)果就傳送到第L-1層，傳遞的向量是：（2-5）下一層次的殘余光流，也可以通過同樣的步驟計算出來。這個通過光流法計算出來的這個向量，使得下列殘差函數(shù)達到最小值。將此計算過程一直繼續(xù)，直到算到最底層(L=0)。此算法的初始化過程是通過設(shè)定最高層()的初始運動估計為零開始的：（2-6）最終的光流d通過對最底層(原始圖像)作光流法計算得到偏移量，這個偏移量的大小是：（2-7）注意到這個偏移量也可以用下列的式子來表示：（2-8）使用金字塔圖像計算光流的一個明顯的好處是，對于一個有著較大的像素偏移的矢量d，可以通過計算幾個比較小的殘余光流來得到。注意到每個層次基本的光流法可以搜索得到的運動矢量達到，這樣運用金字塔圖像的方法最多能夠處理的運動矢量范圍達到。例如，如果金字塔圖像的層次有3層的話()，這意味著像素的偏移量可以達到15層。這就是我們能夠使用較小的積分窗口來計算較大的像素運動矢量的原因。2.2迭代的光流法計算過程現(xiàn)在介紹一下光流法計算的詳細過程。在金字塔圖像的每個層次L，找到偏移向量實際上就是找到使得殘差函數(shù)最小的d。因為這個計算步驟對各個層次都是一樣的，現(xiàn)在我們丟掉上標L，且定義新圖像A、B如下所示：（2-9）（2-10）注意到A(x,y)和B(x,y)的定義域稍微有些差異。實際上，A(x,y)是在窗口大小為的范圍內(nèi)定義的，而不是。在后面運用中心差分算子計算A(x,y)的導(dǎo)數(shù)時，這個差異將變得更加明顯。為了說明的清晰起見，我們改變運動向量的表示方法，新的表示方式為,而圖像位置新的表示方式為。依據(jù)新的表達方式，我們的目的是找到一個偏移向量，它使得下面的殘差函數(shù)取得最小值：（2-11）對這個式子可以采用標準的光流法處理。為了優(yōu)化這個問題，對的一階導(dǎo)數(shù)為零：（2-12）通過將這個式子展開以后，我們得到：（2-13）我們把用它在點的一階泰勒展開式來代替(因為采用了金字塔圖像的方法，每層的運動偏移量比較小，因而采用一階泰勒展開是一個很好的解決方案)：（2-14）注意到A(x,y)-B(x,y)可以看作是在點的一個導(dǎo)數(shù)，所以：（2-15）矩陣僅僅是一個梯度向量，我們在這里對表示方法作一個小小的改變：（2-16）注意到圖像的梯度和可以不必考慮第二幅圖像B，而只需根據(jù)圖像在點P的鄰域的信息求得(在迭代法求光流的過程中，這一點的重要性是很明顯的)。如果我們使用了差分近似微分算子，這兩幅圖像的導(dǎo)數(shù)的形式如下所示：（2-17）實際上，根據(jù)上面的記號方式，我們得到：（2-18）（2-19）其中：（2-20）（2-21）這樣，計算公式可以簡寫為：（2-22）這樣，簡化后得到所求的光流向量為：（2-23）2.3金字塔圖像的LucasKanade特征點跟蹤算法總結(jié)圖2.1為Lucas-Kanade光流跟蹤流程圖；下列各式子的詳細定義可以在前面幾節(jié)中找到。Lucas-Kanade光流跟蹤的目標是：已知圖像I中的點u在圖像J中找到與之相對應(yīng)的點v。圖2.1Lucas-Kanade光流跟蹤流程圖2.4特征點選取在上面，我們已經(jīng)總結(jié)了整個跟蹤流程，即通過光流法找到圖像I中的點u在圖像J中的對應(yīng)點v；然而，我們還沒有給出如何求取圖像I中的特征點u。實際上，跟蹤的關(guān)鍵步驟是如何求取光流向量（詳見上述的跟蹤流程），在這一步中，G矩陣必須是可逆的，或換句話說，G的最小特征值必須夠大（大于某一閾值）。這個像素點的特征才容易被跟蹤。因此，特征點的選取過程如下所示：在圖像I中的每個像素點計算矩陣G的最小特征值；在整個圖像I中，求出的最大值；保留圖像中特征值大于最大特征值的10%或5%的像素點；從這些像素點中保留局部特征值最大的像素點（如果一個像素點的特征值大于3×3領(lǐng)域內(nèi)的其他像素點的特征值，則這個像素點被保留）；保留下來的這些像素子集中的任何兩個像素點之間的距離必須大于給定的閾值（比如5或10個像素）。經(jīng)過上述處理過程，被保留下來的像素點是比較容易跟蹤的特征點。2.5實驗結(jié)果與分析實驗過程分三個模塊：視頻讀入、目標檢測模塊和光流跟蹤模塊；首先，讀入視頻圖像；然后，采用目標檢測模塊來進行目標檢測，通過目標檢測得到目標的質(zhì)心位置；最后，將目標質(zhì)心當作光流跟蹤的特征點，采用Lucas-Kanade光流跟蹤算法，進行目標跟蹤。在VC++6.0環(huán)境下對采集的視頻做了Lucas-Kanade光流跟蹤實驗，該視頻圖像大小為320×240、幀率為15幀/秒、RGB24真彩色圖像。實驗中采用的參數(shù)是：積分窗口為11×11（即公式（2-1）中的、均采用5個像素），金字塔層數(shù)L為3，迭代次數(shù)K為20次。第11幀第43幀第68幀第78幀第93幀第107幀圖2.2LucasKanade光流法跟蹤結(jié)果圖2.2為LucasKanade光流法跟蹤結(jié)果。圖中綠色的“1”和藍色的“2”為目標的ID，同一個目標標注了同一ID，紅色的方框為跟蹤框，紅色“+”為光流預(yù)測的目標質(zhì)心。從圖中可以看出：目標1和目標2在第68幀之前，跟蹤效果比較理想；目標1的跟蹤框在第78幀之后開始偏離目標，到達第93幀時，由于目標模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；但由于目標2比較清晰，故始終能穩(wěn)定跟蹤。通過大量實驗發(fā)現(xiàn)，LucasKanade光流跟蹤要求圖像質(zhì)量比較高，圖像紋理豐富，對質(zhì)量較差的圖像跟蹤效果并不理想，主要表現(xiàn)在以下幾點：1)不容易選定一個固定的鄰域大小，使其適合不同的視頻段和不同的特征點；2)容易出現(xiàn)特征點跟蹤不穩(wěn)定的情況；3)某些點處的矩陣G病態(tài)或者不可逆，此時方程的解不可靠從而發(fā)生跟蹤漂移現(xiàn)象；4)光流跟蹤依靠的是特征點的局部信息，每個點都是獨立跟蹤的結(jié)果，其跟蹤結(jié)果并不穩(wěn)定。通過計算稀疏特征點處的光流即可跟蹤目標，光流法用于目標跟蹤已基本解決了計算速度慢的缺點，而且對圖像質(zhì)量比較高、圖像紋理豐富的慢速運動目標跟蹤的效果還是不錯。但仍然存在跟蹤目標容易丟失且魯棒性不高的缺點。3．模板相關(guān)匹配算法3.1模板相關(guān)匹配算法基本原理模板相關(guān)匹配算法的基本原理如圖3.1所示。設(shè)目標模板T為一個的參考圖像，搜索圖S為一個圖像。T在S上平移，模板覆蓋的部分叫做子圖，為子圖左上角點在S中的坐標，叫參考點。比較T和的內(nèi)容，若兩者一致，或極其相似，則點為所尋找的最佳匹配點。圖3.1模板相關(guān)匹配算法原理圖二維最小絕對差累加和算法(MinimumAbsoluteDifference,以下簡稱：MAD)[26][27]是一種在工程系統(tǒng)中應(yīng)用較為普遍的相關(guān)跟蹤算法，它與上述歸一化互相關(guān)的模板相關(guān)跟蹤算法相似，該相關(guān)匹配算法采用二維最小絕對差累加和作為子圖和目標模板相似度的度量。即：(3-1)在圖像匹配跟蹤過程中，參考模板圖像在當前幀搜索區(qū)內(nèi)滑動，與實時子區(qū)圖像作相關(guān)運算，尋找最佳匹配點，當使D(i,j)取得最小值時的(i,j)即為所求的最佳匹配點。由于MAD算法直接采用圖像各像素點的灰度值作絕對差累加和運算，雖然計算量比歸一化互相關(guān)運算要少，但需要做相關(guān)計算的點數(shù)是不變化的，即為(N-M+1)×(N-M+1)；而且MAD算法對圖像灰度變化較敏感，在圖像低對比度區(qū)域或?qū)Ρ榷茸兓闆r下，目標跟蹤性能將下降，甚至丟失目標。所以在使用MAD算法之前，一般都需要對搜索區(qū)與目標模板圖像進行灰度歸一化預(yù)處理。3.2模板匹配的搜索方法模板匹配的搜索方法眾多，常用的有二維對數(shù)搜索法(TwoDimensionalLogarithmic,簡稱TDL)、三步搜索法(ThreeStepSearch,簡稱TSS)和菱形搜索法(DiamondSearch，簡稱DS)。其中，性能最優(yōu)的是菱形搜索法，下面簡單介紹之。DS算法最早由ShanZhu和Kai-KuangMa兩人提出[28]，后經(jīng)過多次改進，已成為目前快速塊匹配算法中性能最優(yōu)異的算法之一，該算法已被MPEG-4VM標準所接受。搜索模板的形狀和大小小但影響整個算法的運行速度，而目也影響也搜索的準確性。搜索窗口太小，就容易陷入局部最優(yōu)，而搜索窗口太大，又容易產(chǎn)生錯誤的搜索路徑。另外，統(tǒng)計數(shù)據(jù)表明，視頻圖像中進行運動估值時，最優(yōu)點通常在零矢量周圍(以搜索窗口中心為圓心，兩像素為半徑的圓內(nèi)，如圖3.2(a)所示)，即具有中心傾向?；谶@兩點事實，DS算法采用了兩種搜索模板，分別是有9個檢測點的大模板LDSP(LargeDiamondSearchPattern)和有5個檢測點的小模板SDSP(SmallDiamondSearchPattern)，如圖3.2(b)和3.2(c)所示。搜索時先用大模板計算，當最小塊誤差MBD(MinimumBlockDistortion)點(即MAD值最小的點)出現(xiàn)在中心點處時，將大模板LDSP換為SDSP，再進行匹配計算，這時5個點中的MBD點即為最優(yōu)匹配點。(a)最優(yōu)點分布規(guī)律(b)大模板LDSP(c)小模板SDSP圖3.2DS的搜索模板DS具體算法描述如下：①用LDSP在搜索區(qū)域中心與周圍8個點處進行匹配計算，若MBD點位于中心點處，則轉(zhuǎn)到步驟③，否則，進行步驟②。②中心點移到上一步的MBD點處，繼續(xù)用LDSP來計算。若MBD點位于中心點處，則轉(zhuǎn)到步驟③，否則，重復(fù)步驟②。③以上一次找到的MBD點為中心點，將LDSP換為SDSP，在5個點處計算，找出MBD點，該點所在的位置即對應(yīng)最佳運動矢量。如圖3.2是DS算法搜索過程的一個例子，(-4,-2)是最終搜索到的運動矢量，搜索共進行了5步，MBD點分別對應(yīng)為(2，0)、（-3，-1）、（-4，-2），使用4次LDSP和1次SDSP，共搜索了24個點。圖3.3DS的搜索路徑舉例DS算法的特點在于它分析了視頻圖像中運動矢量的基木規(guī)律，選用了大小兩種形狀的搜索模板LDSP和SDSP。先用LDSP搜索，由于步長大，搜索范圍廣，可以進行粗定位，使搜索過程小會陷于局部最??；當粗定位結(jié)束后，可以認為最優(yōu)點就在LDSP周圍8個點所圍成的菱形區(qū)域內(nèi)，這時再用SDSP來準確定位，使搜索不至于有大的起伏，所以它的的性能優(yōu)于其它算法。另外，DS搜索時各步驟之間有很強的相關(guān)性，模板移動時只需在幾個新的檢測點處進行匹配計算，可以進一步提高搜索速度。3.3目標模板的選擇與更新3.3.1目標模板的選擇使用模板匹配算法進行目標跟蹤時，目標模板的大小選擇也是一個很重要的問題。如果模板過小，所包含的信息少，得出的最佳匹配位置容易不可靠；反之，如果模板過大，模板中將包含有更多的背景信息，背景信息的變化將給相關(guān)運算帶來誤差，而這些誤差會隨著相關(guān)處理逐幀累積，如果累積到足夠幀數(shù)，模板會完全偏離目標。而且，模板的增大會帶來模板相關(guān)運算量的急劇增大。本文目標模板選取的原則為：使用目標的最小外接矩形框來做為目標模板。3.3.2模板的更新隨著被跟蹤目標的運動，目標將出現(xiàn)大小、形狀、姿態(tài)等變化，所以必須在跟蹤過程中不斷的更新目標模板。而且由于實際環(huán)境中的光照、天氣變化等因素的影響，相關(guān)跟蹤得不到絕對最佳的匹配位置，存在匹配誤差。這些誤差隨著模板的更新而逐漸積累并向后續(xù)圖像傳遞，因此模板更新和修正是保證長時間穩(wěn)定跟蹤的關(guān)鍵?？紤]到系統(tǒng)的實時性問題，本文沒有采用基于跟蹤置信度的自適應(yīng)模板更新算法來更新和修正模板[27]，而是采用了較為簡單的模板更新方法，即每隔1S提取一次目標模板，并對目標模板進行更新。3.4實驗結(jié)果與分析模板匹配法跟蹤的過程分為視頻讀入、運動目標檢測模塊、相關(guān)匹配運算和模板更新四個部分；首先，通過目標檢測模塊，可以提取到運動目標即目標模板；然后，采用基于歸一化互相關(guān)的模板相關(guān)匹配算法和基于最小絕對方差累加和的模板匹配法分別對目標模板進行跟蹤；最后，在自動跟蹤目標的過程中，我們可以根據(jù)前面介紹地運動目標檢測方法檢測出運動目標，然后截取目標圖像作為下一幀圖像的模板。實驗中，采用每隔1S提取一次目標模板，并對目標模板進行更新。下面給出序列圖像中的單一運動目標（行人）的跟蹤結(jié)果與其分析。（a）(b)(c)第120幀第150幀第180幀圖3.4目標模板圖3.5MAD算法跟蹤結(jié)果圖3.4為目標模板；其中，圖（a）、（b）和(c)分別表示第120、150和180幀目標模板?？梢钥闯?，提取的目標模板精確、可靠。圖3.5為MAD算法的跟蹤結(jié)果。實驗中采用基于最小絕對方差累加和的模板匹配法（MAD）跟蹤目標，結(jié)果表明MAD算法對圖像灰度變化較敏感，在圖像低對比度區(qū)域或?qū)Ρ榷茸兓闆r下，目標跟蹤性能將下降，甚至丟失目標，而且出現(xiàn)目標被遮擋或目標的灰度直方圖與背景相似時，匹配誤差最大，跟蹤框完全偏離目標。因此，如何減少匹配算法的運算量和提高目標定位精度是關(guān)鍵。4.改進的目標跟蹤算法4.1改進的目標跟蹤算法描述圖4.1改進的目標跟蹤算法框圖圖4.1為系統(tǒng)框圖，這是文章設(shè)計的基于單攝像機的運動目標檢測與跟蹤系統(tǒng)框圖。在本節(jié)中，重點介紹系統(tǒng)框圖中的目標跟蹤模塊，即改進的目標跟蹤算法。在目標跟蹤模塊中，光流法跟蹤采用圖2.1Lucas-Kanade光流跟蹤流程圖，目標模板的更新時間T為1S。故改進的目標跟蹤算法簡述為：通過目標檢測模塊和新目標檢測模塊，可以得到目標個數(shù)、目標質(zhì)心位置、目標大小與目標ID（最先出現(xiàn)的目標為1、其次為2、再次為3，以此類推）。將目標質(zhì)心做為特征點，利用金字塔圖像的LucasKanade特征點跟蹤算法對其進行跟蹤；經(jīng)LucasKanade光流法跟蹤后，可以得到目標質(zhì)心的新位置，在新位置的領(lǐng)域內(nèi)（這個搜索區(qū)域比目標模板要大一些），利用基于最小絕對方差累加和的模板匹配法搜索目標模板，并對目標進行定位，將模板匹配法之后得到的目標質(zhì)心位置做為下一幀光流法跟蹤的特征點，以此類推，從而實現(xiàn)目標跟蹤。下面以圖形的形式加予說明。（a）(b)(c)(d)（e）（a）第k幀光流法跟蹤結(jié)果（b）第k+1幀光流法跟蹤結(jié)果（c）第k+1幀光流法和模板匹配法相結(jié)合（d）第k+1幀光流法和模板匹配法相結(jié)合的跟蹤結(jié)果（e）目標模板圖4.2光流法和模板匹配法相結(jié)合示意圖圖4.2中，藍色矩形框為跟蹤框，黃色虛線矩形框為設(shè)定的搜索區(qū)域，“人”為目標，圖4.2(a)、（b)和(c)中的紅色十字架為光流法預(yù)測的目標質(zhì)心，圖4.2（d）中的紅色十字架為光流法和模板匹配法相結(jié)合后更正的目標質(zhì)心。光流法和模板匹配法所存在的問題與本文改進之處：1、光流法之所以跟蹤目標容易丟失且魯棒性不高缺點，是因為光流法預(yù)測的目標質(zhì)心與實際的目標質(zhì)心出現(xiàn)偏差，故跟蹤框偏離目標（見圖4.2（b）），并且將第k+1幀光流法預(yù)測的目標質(zhì)心做為下一幀光流法跟蹤的特征點，顯然，在第k+n（n大于等于2）幀時，跟蹤框偏離目標必定會加大并停止跟蹤。文中對光流法的改進是：將模板匹配定位之后更正的目標質(zhì)心（見圖4.2（d）紅色十字架）做為下一幀光流法跟蹤的特征點，這樣可以避免單一光流預(yù)測目標質(zhì)心所帶來的誤差，從而實現(xiàn)可靠的跟蹤。2、基于最小絕對方差累加和的模板匹配法由于全圖搜索目標模板對圖像利用率高，其計算量大，處理一幀圖像耗時約1S，實時性差，不能單獨用于目標跟蹤。本文對MAD算法的改進是：經(jīng)光流法跟蹤之后得到的目標質(zhì)心，在這一目標質(zhì)心鄰域（圖4.2（c）中黃色虛矩形框，這是搜索區(qū)域）內(nèi)，利用MAD算法搜索目標模板，實現(xiàn)目標跟蹤；顯然，本文通過減小搜索區(qū)域來減少計算量，從而提高實時性和跟蹤的精度。3、在目標匹配時，第i個（i為目標的ID）目標搜索的起始點設(shè)置為光流法預(yù)測的第i個目標的目標質(zhì)心位置，用公式(4-1-1)表示；第i個（i為目標的ID）目標的搜索區(qū)域比第i個目標的大小略大，用公式(4-1-2)表示，其中和為設(shè)定的閾值。(4-1)(4-2)通過大量的實驗發(fā)現(xiàn)，在一幀時間里光流法預(yù)測的目標質(zhì)心位置偏離實際的目標質(zhì)心位置最大為10個像素（比如在人跑步、高速行駛的車等情況下），通常為0至3個像素，因此，和設(shè)置為：、；如果目標的運動預(yù)測可靠，則逐漸縮小閾值和，當目標丟失時，則逐漸增大閾值和。綜合上述三點，光流法和模板匹配法相結(jié)合的跟蹤方法,即改進的目標跟蹤算法概括為：在第k幀，將目標質(zhì)心（圖4.2（a）中的紅色十字架）做為特征點，利用金字塔圖像的LucasKanade特征點跟蹤算法對其進行跟蹤；經(jīng)LucasKanade光流跟蹤后，在第k+1幀，可以得到目標質(zhì)心的新位置（圖4.2（b）、（c）中的紅色十字架），在新位置的領(lǐng)域（圖4.2（c）中黃色虛線矩形框，這是搜索區(qū)域）內(nèi)，利用MAD算法搜索目標模板（圖4.2（e））；搜索結(jié)果如圖4.2（d）所示，藍色矩形框為跟蹤框，可見跟蹤結(jié)果準確；紅色十字架為光流法和模板匹配法相結(jié)合后更正的目標質(zhì)心，將這一目標質(zhì)心做為下一幀光流法跟蹤的特征點，以此類推，從而實現(xiàn)穩(wěn)定、可靠的目標跟蹤。4.2實驗結(jié)果與分析在VC++6.0環(huán)境下對2.5節(jié)的視頻做了改進的目標跟蹤算法實驗。實驗中，我們采用的參數(shù)是：積分窗口為11×11（即公式4-3-1中的和均采用5個像素），金字塔層數(shù)L為3，迭代次數(shù)K為20次，目標模板更新時間T為1S，設(shè)定的搜索區(qū)域為4080（實驗中最大的目標模板為：2666）。第10幀第10幀ABCDEF圖4.3原圖像與目標檢測結(jié)果圖4.4目標模板圖4.3為原圖像與目標檢測結(jié)果。二值圖像中紅色十字架為目標質(zhì)心?？梢钥闯鲈跀z像機靜止情況下，本文設(shè)計的目標檢測算法可以準確、快速的檢測出運動目標，這為后續(xù)跟蹤提供了準確可靠的目標質(zhì)心與目標模型，克服了其他系統(tǒng)要手動圈出待跟蹤目標的缺陷。圖4.4為目標模板。其中，圖A、B和C分別表示第10、55和85幀目標1模板，圖D、E和F分別表示第10、55和85幀目標2模板。可以看出，提取的目標模板精確、可靠。第11幀第43幀第68幀第78幀第93幀第107幀圖4.5改進的目標跟蹤算法跟蹤結(jié)果圖4.5為跟蹤結(jié)果。圖中，紅色的方框為跟蹤框，數(shù)字“1”和“2”為目標的標號，紅色的“+”為改進的目標跟蹤算法更正的目標質(zhì)心，綠色的曲線為目標1的運動軌跡，藍色的曲線為目標2的運動軌跡；可以看出，改進的目標跟蹤算法能較好的跟蹤目標和繪制目標運動軌跡，并且1S至少可以處理15幀圖像，基本滿足了實時跟蹤的要求。單一使用金字塔圖像的LucasKanade特征點跟蹤算法其跟蹤結(jié)果如圖4.3所示，目標1的跟蹤框在第78幀之后開始偏離目標，到達第93幀時，由于目標模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；而單一使用MAD算法跟蹤目標，由于該方法全圖搜索目標模板，計算量過大，處理一幀圖像耗時約1S，實時性差。這兩個實驗更好的證明了本文改進的目標跟蹤算法合理性與可行性。5.結(jié)論金字塔圖像的LucasKanade光流跟蹤算法通過計算稀疏特征點處的光流即可跟蹤目標，因為每一個目標僅僅跟蹤其質(zhì)心，而且對圖像質(zhì)量比較低、圖像紋理不豐富的運動目標，存在跟蹤目標容易丟失且魯棒性不高缺點；MAD算法由于全圖搜索目標模板，其計算量大，實時性差，不能單獨用于目標跟蹤；針對上述兩種算法存在的問題，文章將金字塔圖像的LucasKanade光流法跟蹤算法和基于最小絕對方差累加和的模板匹配法結(jié)合起來，可以避免上述問題，實驗結(jié)果表明改進的目標跟蹤算法能實現(xiàn)各種復(fù)雜場景條件下的目標穩(wěn)定跟蹤、獲得目標運動軌跡，且具有良好的實時性和魯棒性。針對上述兩種算法在跟蹤中存在的問題，文中將金字塔圖像的LucasKanade光流法跟蹤算法和模板匹配法結(jié)合起來，可以避免這兩種算法存在的問題，結(jié)果表明，改進的目標跟蹤算法能較好地實現(xiàn)目標跟蹤、獲得目標運動軌跡，且具有良好的實時性和魯棒性。致謝時光荏苒，轉(zhuǎn)眼間又到了梔子花開的季節(jié)，隨著畢業(yè)日子的日益臨近，畢業(yè)論文也已收稿。值此之際，要對曾經(jīng)給予我支持和幫助的所有老師、同學(xué)、朋友和家人表示最誠摯的謝意！首先要感謝我的導(dǎo)師王健老師，向他致以最崇高的敬意。王老師嚴謹?shù)闹螌W(xué)態(tài)度、敬業(yè)務(wù)實的奮斗精神、默默無聞的奉獻精神都在潛移默化中影響著我。感謝物電系的所有老師，感謝你們在學(xué)習(xí)和工作中給予我的諸多幫助。你們的指導(dǎo)和關(guān)心一直鼓勵著我前進。感謝所有和我一起奮斗和努力過的同學(xué)，感謝你們在生活