第三章目標檢測方法-1--6

圖像探測、跟蹤與識別技術

主講人：趙丹培宇航學院圖像處理中心

zhaodanpei@

2012年9月27日第三章目標檢測方法學習目的

利用圖像捕捉并跟蹤感興趣的目標在日常生活、工業(yè)和軍事領域中都有廣泛的應用，本章通過對目標檢測方法基本原理的學習和掌握，將目標的灰度、形狀、紋理、頻譜、運動等作為主要特征依據(jù)，從不同角度全面了解復雜背景中目標探測的方法與過程，并能夠在實際中熟練應用。學習的重點基于圖像分割技術的目標檢測方法基于圖像特征匹配的目標檢測方法運動目標檢測方法本章的主要內(nèi)容3.1圖像的特征形態(tài)與描述3.2目標檢測的基本概念與原理3.3利用圖像分割技術的目標檢測方法3.4利用特征匹配技術的目標檢測方法3.5運動目標的檢測3.6小目標檢測3.7目標檢測性能的評價標準3.1圖像的特征形態(tài)與描述數(shù)字圖像并不是雜亂的像素數(shù)據(jù)的組合。它通常包含我們所希望得到的確定性成分和采集過程中所得到的隨機成分。每個像素的灰度不僅隨坐標的不同而不同，也隨時間的變化而變化，是空間坐標和時間的隨機場。數(shù)字圖像度量單位可以有多種，例如整幅畫面（幀，場），局部畫面（窗口，塊），行，列，像素，頻率等。圖像作為信息的載體，對不同的用途，所關心的圖像信息的含義或感興趣的圖像基元不同。比如，遠距離紅外小目標檢測研究時，我們關心的只是目標周圍小區(qū)域內(nèi)的信噪比，或圖像的信息量等；人臉識別時，可能關心的就是五官的形狀和位置關系，至于臉色就不是很重要。3.1.1圖像的特征類型1.像素灰度分布圖像信號數(shù)字化得到一個數(shù)值矩陣，其中每一個元素稱之為像素，像素的灰（亮）度值（也包括色彩）是最基本、最原始的測量值和特征，由它可以組成更大基元的特征。單幅圖像的所有像素或不同區(qū)域像素的灰度分布，代表了圖像總體或局部的能量強度分布。表征灰度分布的特征描述有總體或局部的均值、方差等。2.圖像灰度變化的梯度特征圖像灰度的梯度反映圖像內(nèi)物體邊緣處灰度變化的情況，它描述了圖像灰度分布的總體特征。例如，用圖像像素灰度的一階差分（梯度）的總和表示圖像的對比度等。

灰度特征-矩陣形式梯度特征-灰度的突變位置3.圖像的頻譜特性與一維時間函數(shù)波形類似，圖像也有空間頻率的概念，如果圖像的灰度按一定周期變化(相當于周期函數(shù))，那么它的頻率就是在某一坐標軸方向上一個單位長度的距離內(nèi)，周期函數(shù)重復出現(xiàn)的次數(shù)。周期表示在同一方向上圖像波形重復出現(xiàn)的最小距離。而且，圖像的傅立葉變換也有明確的物理意義。4.紋理特征

圖像紋理是像素灰度分布宏觀上呈現(xiàn)周期性的結(jié)構特征，它是圖像中某些結(jié)構單元按某種規(guī)則排列而成的規(guī)則圖案，反映圖像紋理基元灰度周期性重復變化的規(guī)律。因此，紋理基元的大?。ɑ蛑貜妥兓闹芷陂L短）和重復構成的方向是基本特征。常用的紋理特征描述方法有共生矩陣、等灰度行程長度、區(qū)域紋理基元參數(shù)、傅立葉頻譜、隨機場模型、相關長度等。圖像的頻譜特征圖像的紋理特征5.圖像中物體形狀特征

物體的形狀特征是人或機器識別的重要特征之一，在圖像中可以采取圖像分割的方法，將感興趣的物體、區(qū)域或基元與背景區(qū)分開來，然后對它們的外形進行描述，常用的形狀特征有面積、周長、圓度、長寬比、矩、邊心距、傅立葉描繪子、偏心率和凹度等。6.圖像中三維特征

圖像是三維空間場景能量在二維平面的投影，二維圖像中蘊含著場景中物體的三維信息。比如，多面體的各個面光強的差異表現(xiàn)出的立體感，一個球體不會看成平面的圓。圖像的三維通常用物體表面的法線方向描述。圖像的形狀特征圖像的三維特征7.圖像的運動特征動態(tài)圖像或序列圖像是我們最常見的、需要快速處理并作出反應的場景圖像，“時間”將作為它的另外一個變量。序列視頻圖像中包含著物體或目標的運動參數(shù)，如速度、加速度、方向、姿態(tài)、到傳感器的距離等變化信息。常用的方法用局部瞬時速度場（光流場）、特征點匹配、運動估計、小平面分析和運動分割等。8.圖像距離特征距離圖像是一種通過主動成像方式獲取的場景三維立體信息，與場景亮度無關。目標圖像距離特征對于目標圖像識別有著特殊的意義，可以不受天氣、偽裝、復雜背景等條件的影響，全天候工作，抗干擾能力強。（雷達）9.圖像信息描述

圖像中包含的信息量最關心的是圖像度量參數(shù)，可以想像所有像素灰度都為同一個數(shù)值，我們看到的是一張白紙，獲取不了更多的信息，而一幅場景圖像卻有著豐富的內(nèi)容，只要你認真去看，將會有無限的信息。信息論中的“熵”可以作為圖像信息含量的一種描述，盡管它并不完美。圖像的信息度量是復雜的，它與圖像的應用目的、觀察圖像的人或系統(tǒng)的知識、性能有關。10.圖像有用和無用成分之比

圖像中并不是只包含有用的信息，我們總是在圖像中提取感興趣的所謂目標信息，而濾除所有不關心的信息，例如噪聲。感興趣的目標信息與所有不關心的信息成分的比率或差別越大，提取就越容易。典型的度量指標是信噪比，即目標信號幅度除以背景信號的標準差。圖像的運動特征－什么是運動圖像？與靜態(tài)圖像相比，動態(tài)圖像的基本特征就是灰度的變化。在對某一場景拍攝到的圖像序列中，相鄰兩幀圖像間至少有一部分像元的灰度發(fā)生了變化，這個圖像序列就稱為動態(tài)圖像序列。與單幅圖像不同，連續(xù)采集的圖像序列能反映場景中目標的運動和場景的變化。場景的變化和景物的運動在序列圖像中表現(xiàn)得比較明顯和清楚。序列圖像是由一系列時間上連續(xù)的二維圖像組成的，或者說是一類三維圖像。與靜止圖像相比，序列圖像增加了時間變量，當時間變量取某個特定值時，就得到視頻圖像中的一幀圖像。圖像序列和運動信息有密切的聯(lián)系，將從運動場景獲得的序列圖像或者在序列中目標位置發(fā)生變化的圖像稱為運動圖像。

舉例：運動與視覺實驗1959年著名心理學家Gibson在美國康乃爾大學對自然人進行了運動知覺實驗：在兩張透明的膠片上繪出相似的隨機點圖圖案。一張靜止地垂直放置，人們什么也區(qū)分不出來；而另一張也是垂直放置，但是讓其沿水平方向進行平移運動。這時奇跡出現(xiàn)了，人們在移動著的膠片上區(qū)分出了有兩塊遠近不同的平面，隨機點圖表示的場景被輕易地分割開來了。這證實了一些在靜止時不易被察覺的形狀當移動時就可以被知覺，這與人們通過自身包括研究的運動實現(xiàn)形狀知覺是異曲同工的。靜止圖像只是空間位置的函數(shù)，它與時間變化無關。在現(xiàn)有條件下，用單幅靜止圖像無法表達物體和自身的運動。運動圖像通常是一種按時間順序排列的瞬間采樣圖像序列。圖像中的變化可能是由于目標物體的運動，也可能是相機的運動、光源的變化、物體結(jié)構的變化等等。全局運動和局部運動各有其自身特點。全局運動具有整體性強、比較規(guī)律的特點，可能僅用一些特征或一組含若干個參數(shù)的模型就可表達。局部運動比較復雜，特別是在多目標的情況下，各目標可能做不同運動，目標的運動僅在空間小范圍表現(xiàn)出一定的一致性，因此比較精細的方法才能夠準確地表達目標的運動。下面就具體介紹一下各種運動的表達形式和方法，常用的有以下幾種：

1．運動矢量場表達2．運動直方圖表達3．運動軌跡表達運動的表達1．運動矢量場表達運動既有大小，也有方向，所以需要用矢量來表示，為表示瞬時運動矢量場，將每個運動矢量用無箭頭的線段來表示，線段長度與矢量大小及運動速度成正比，并疊加在原始圖像上。

2．運動直方圖表達這種方法的基本思路是僅保留運動方向信息以減少數(shù)據(jù)量，將0～360度的運動方向劃分為若干間隔，把用矢量場上每一點的數(shù)據(jù)歸到與它的運動方向最為接近的間隔。3．運動軌跡表達目標的運動軌跡表達了目標在運動過程中的位置信息，由一系列關鍵點和一組在這些關鍵點間進行插值的函數(shù)構成。關鍵點用2D或3D坐標值來表達，插值函數(shù)分別對應各坐標軸（水平、垂直和深度方向）。x(t)ABCOt0t1t2t3t4t運動直方圖的表達運動軌跡的表達

運動矢量場的表達3.2目標檢測的基本概念與原理目標檢測的分類：目標檢測從目標特性角度分為單幅靜止圖像檢測和運動目標檢測；運動目標檢測又分為靜止背景下的運動目標檢測和運動背景下的運動目標檢測。靜止目標檢測通常是利用單幀圖像信息，對于大目標，可以利用圖像分割或特征匹配等方法提取出目標，但對于低對比度、低信噪比的小目標，利用單幀信息很難檢測出有效目標。運動目標可以利用圖像的運動序列信息，與單幅圖像不同，連續(xù)采集的圖像序列能反映場景中目標的運動和場景的變化情況，更有利于小目標的探測。

第一類是基于像素分析的方法，主要有基于圖像分割的方法、幀間差分方法、相關算法、光流法、濾波法等；第二類是基于特征匹配的方法，主要利用的特征有：角點、直邊緣、曲邊緣等局部特征和形心、表面積、周長、投影特征等全局特征，還有SIFT、SURF等；第三類是基于頻域的方法，較典型的是基于傅立葉變換和基于小波變換的方法。第四類是基于識別的檢測方法，較典型的是基于邊緣碎片模型的目標檢測識別方法，基于Adaboost的目標檢測識別方法等；常用的目標檢測方法分為四類：3.3利用圖像分割技術的目標檢測方法圖像分割的目的：把圖像分解成構成它的部件和對象；有選擇性地定位感興趣對象在圖像中的位置和范圍。圖像分割的基本思路：從簡到難，逐級分割控制背景環(huán)境，降低分割難度注意力集中在感興趣的對象，縮小不相干圖像成分的干擾。圖像分割的基本方法：基于閾值的圖像分割基于形態(tài)學的圖像分割基于邊緣的圖像分割基于區(qū)域的圖像分割提取輪廓車牌定位車牌識別圖像分割的基本策略：把像素按灰度劃分到各個物體對應的區(qū)域中去；先確定邊緣像素點，然后將它們連接起來構成所需的邊界；確定存在于區(qū)域間的邊界；圖像分割定義：

將數(shù)字圖像劃分成與實際目標或區(qū)域緊密相關的若干區(qū)域的過程。圖像分割與整個圖像分析系統(tǒng)的關系

預處理圖像分割特征提取目標識別目標跟蹤目標測量3.3.1基于閾值的圖像分割方法閾值分割是一種廣泛使用的圖像分割技術，它對目標與背景有較強對比的景物的分割特別有用。它計算簡單，而且總能用封閉而且連通的邊界定義不交疊的區(qū)域。它利用了圖像中要提取的目標與其背景在灰度特性上的差異，把圖像視為具有不同灰度級的兩類區(qū)域（目標和背景）的組合。025525502550255255255首先要確定一個合適的閾值T（閾值選定的好壞是成敗的關鍵）將灰度大于等于閾值的像素作為物體或背景，生成一個二值圖像Iff(x,y)

Tset255Elseset0在四鄰域中有背景的像素，即是邊界像素。⑵、幾種常用的基于閾值分割的檢測方法直方圖分割法基于灰度期望值的閾值分割最大類間方差閾值分割循環(huán)分割方法最大熵閾值分割基于模糊隸屬度的閾值分割當圖像的灰度直方圖為雙峰分布時，分割比較容易，只須取其谷點作為門限值，就能將目標與背景分割開來?；谥狈綀D谷點門限的分割方法應用直方圖雙峰法來分割圖像,需要有一定的圖像先驗知識,因為同一個直方圖可以對應不同的圖像,直方圖只表明圖像中各個灰度級上有多少個像素,并不能描述這些像素的位置信息。因此只根據(jù)直方圖選擇閾值并不一定合適，還要結(jié)合圖像的內(nèi)容來確定。此外，該方法不適用于單峰或多峰直方圖的情況。最大類間方差閾值分割

最大類間方差法由Ostu提出，是在最小二乘法原理的基礎上推導得出，又叫大津閾值法。設原始灰度圖像的灰度級為L，灰度級為i的像素點數(shù)為，圖像的全部像素為N,歸一化直方圖，則用閾值t將灰度級劃分為兩類：和和類的出現(xiàn)概率及均值分別為：

和的方差為：類間方差為：引入關于的等價的判決準則：最佳閾值：

：是整體圖像的灰度平均值：是閾值為時灰度平均值

循環(huán)分割方法循環(huán)分割是由Ohlander等人提出的一種復雜圖像的分割方法，這種方法首先根據(jù)圖像的全局直方圖，將取了閾值后得到的區(qū)域看成是它的子圖像，再次對各子圖像作直方圖選峰點及區(qū)域值，