計(jì)算機(jī)視覺(jué)課程設(shè)計(jì)技術(shù)報(bào)告-行人檢測(cè)與跟蹤

計(jì)算機(jī)視覺(jué)課程設(shè)計(jì)技術(shù)報(bào)告——行人檢測(cè)與跟蹤行人檢測(cè)與跟蹤摘要：本文研究了基于視覺(jué)的行人檢測(cè)算法及實(shí)現(xiàn)。采用基于滑動(dòng)窗的檢測(cè)方法，使用大小固定的滑動(dòng)窗在圖像金字塔中滑動(dòng)，計(jì)算HOG特征，實(shí)現(xiàn)對(duì)檢測(cè)窗口部分圖像的特征提取，在線性核函數(shù)的SVM分類(lèi)器中進(jìn)行判別，輸出被判別為正的圖像區(qū)域。在此基礎(chǔ)上，提出了將檢測(cè)與行人跟蹤相結(jié)合，實(shí)現(xiàn)了基于Kalman濾波器的單目標(biāo)行人跟蹤算法，利用濾波器進(jìn)行行人位置估計(jì)，并用檢測(cè)結(jié)果對(duì)估計(jì)值進(jìn)行修正，實(shí)現(xiàn)了“檢測(cè)——跟蹤”框架。關(guān)鍵詞：行人檢測(cè)、HOG特征、SVM、Kalman濾波Abstract:Thispaperstudiesthevision-basedpedestriandetectionalgorithm.Thedetectionalgorithm,whichisbasedonslidingwindow,usesfixed-sizewindowtoslideintheimagepyramid.ThenHOGfeaturesarecalculatedandclassifiedbylinearSVM.Theslidingwindowswhosedeterminationresultarepositivearetreatedascontainingobjects.BasedonthedetectionalgorithmandKalmanfilter,atrackingalgorithmcombiningdetectionisproposedtoachieveasinglepedestrianobjecttrackingtask,usingfilterestimatepedestrianlocationinthenextframeandthenusingthedetectionresulttoupdatethefilter,realizingdetection-trackingframework.Keywords:pedestriandetection;HOGfeatures;Kalmanfilter

簡(jiǎn)介行人檢測(cè)是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，同時(shí)在移動(dòng)機(jī)器人、智能交通等領(lǐng)域有著重要應(yīng)用。在很多應(yīng)用中，需要檢測(cè)行人目標(biāo)并能夠進(jìn)行跟蹤。本文根據(jù)HOG特征和SVM對(duì)行人目標(biāo)進(jìn)行檢測(cè)，使用了INRIA數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)了行人檢測(cè)任務(wù)。在此基礎(chǔ)上，本文提出使用Kalman濾波器進(jìn)行目標(biāo)跟蹤，建立了行人的運(yùn)動(dòng)模型，并使用拍攝于北京理工大學(xué)六號(hào)教學(xué)樓附近的圖像序列進(jìn)行測(cè)試，得到了較為滿意的效果。本項(xiàng)目采用OpenCV和C++完成，并使用了CVC行人數(shù)據(jù)集(CVC-02PedestrianDatasets)和INRIA行人數(shù)據(jù)集(INRIAPersonDataSet)進(jìn)行訓(xùn)練和測(cè)試。第二章結(jié)合OpenCV介紹了HOG特征的算法實(shí)踐流程和基于HOG特征的SVM分類(lèi)器的原理；以及該分類(lèi)器的實(shí)現(xiàn)以及訓(xùn)練過(guò)程，并在靜態(tài)圖像和圖像序列中對(duì)訓(xùn)練結(jié)果進(jìn)行測(cè)試和驗(yàn)證；第三章介紹了基于Kalman濾波器的檢測(cè)跟蹤相結(jié)合的算法流程，并在校內(nèi)自行拍攝的圖像序列上測(cè)試，第四章對(duì)本項(xiàng)目設(shè)計(jì)進(jìn)行總結(jié)和評(píng)價(jià)。

基于HOG特征的SVM分類(lèi)器行人檢測(cè)方法2.1HOG特征向量HOG特征的定義是局部歸一化的梯度方向直方圖。其基本思想是：在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。實(shí)現(xiàn)方法為：首先將圖像分成小的連通區(qū)域(即單元)；然后采集細(xì)胞單元中各像素點(diǎn)的梯度方向直方圖。最后把這些直方圖進(jìn)行組合構(gòu)成特征描述器。為了提高性能，通常將局部直方圖在塊中進(jìn)行對(duì)比度歸一化，常用方法是：先計(jì)算各直方圖在這個(gè)塊中的密度，然后根據(jù)這個(gè)密度對(duì)區(qū)間中的各個(gè)細(xì)胞單元做歸一化。進(jìn)行歸一化后，能對(duì)光照變化和陰影獲得更好的效果。圖2-1原始圖像(左1)、HOG特征示意圖(左2)和局部放大圖(右1)HOG特征的維數(shù)將由檢測(cè)窗口的大小，塊的大小，單元格的大小，塊移動(dòng)的步長(zhǎng)決定。當(dāng)選定各參數(shù)均為典型參數(shù)時(shí)，檢測(cè)窗口為64×128像素大小，塊為16×16像素大小，單元格為8×8大小，塊移動(dòng)步長(zhǎng)為8×8大小?？梢缘玫?，HOG特征向量維度為3780。算法流程如圖2-2所示。圖2-2HOG特征計(jì)算的算法流程O(píng)penCV中的HOGDescriptor類(lèi)已經(jīng)實(shí)現(xiàn)了對(duì)HOG特征的計(jì)算。2.2支持向量機(jī)(SVM)的實(shí)現(xiàn)支持向量機(jī)(SVM)是一個(gè)統(tǒng)計(jì)學(xué)習(xí)中應(yīng)用十分廣泛的分類(lèi)器，是一種有監(jiān)督學(xué)習(xí)算法，甚至被認(rèn)為是效果最好的分類(lèi)算法之一。其基本模型是定義在特征空間的間隔最大的線性分類(lèi)器。此外，核函數(shù)的引入，使得其能夠處理非線性分類(lèi)問(wèn)題。支持向量通過(guò)使得間隔最大化，將其轉(zhuǎn)換為一個(gè)凸二次規(guī)劃問(wèn)題。其中，C是一個(gè)提前給定的參數(shù)，用來(lái)控制目標(biāo)函數(shù)中尋找最大間隔分類(lèi)面和分類(lèi)偏差兩者之間的平衡。OpenCV中實(shí)現(xiàn)了SVM的訓(xùn)練算法。2.2.1分類(lèi)器的訓(xùn)練分類(lèi)器訓(xùn)練數(shù)據(jù)集為INRIA行人數(shù)據(jù)集。正樣本是從各種人體照片中剪切得到1200余個(gè)固定大小的行人圖片。負(fù)樣本則是1200余張大小各異，內(nèi)容多變的背景圖片。在訓(xùn)練過(guò)程中，采用的訓(xùn)練策略如圖2-3所示。圖2-3訓(xùn)練策略首先用已有的正負(fù)樣本訓(xùn)練一個(gè)初始的分類(lèi)器，然后用初始分類(lèi)器在負(fù)樣本原圖上進(jìn)行行人檢測(cè)。檢測(cè)出來(lái)的矩形區(qū)域自然都是分類(lèi)錯(cuò)誤的負(fù)樣本，作為難例。接著，把難例加入到初始的負(fù)樣本集中，再次訓(xùn)練SVM，得到的分類(lèi)器作為最終的SVM分類(lèi)器。（1）訓(xùn)練樣本的預(yù)處理圖2-4INRIA的訓(xùn)練樣本圖片示例：正樣本(上)，負(fù)樣本(下)針對(duì)INRIA行人數(shù)據(jù)集的特點(diǎn)，本文采用如下方式對(duì)樣本進(jìn)行處理：·對(duì)于正樣本圖片，進(jìn)行裁剪，選取圖像正中64×128像素大小的部分作為正樣本圖像?！?duì)于負(fù)樣本圖片，每張圖片產(chǎn)生隨機(jī)的10個(gè)位置。作為矩形框的左上角，對(duì)原圖片進(jìn)行裁剪，裁剪出的圖片大小為64×128像素。（2）訓(xùn)練初始分類(lèi)器建立包括樣本的特征向量及其對(duì)應(yīng)的類(lèi)別標(biāo)簽的樣本數(shù)據(jù)集，這項(xiàng)工作將由初始SVM分類(lèi)器完成。其訓(xùn)練步驟如下：1、建立兩個(gè)矩陣來(lái)存儲(chǔ)樣本的HOG特征向量和它的標(biāo)簽；2、設(shè)置SVM模型參數(shù)；3、設(shè)置SVM模型核函數(shù)為線性核函數(shù)，懲罰因子系數(shù)取為C=0.01。4、實(shí)例化一個(gè)SVM分類(lèi)器并調(diào)用訓(xùn)練函數(shù)進(jìn)行訓(xùn)練。（3）產(chǎn)生訓(xùn)練難例用訓(xùn)練完成的初始分類(lèi)器對(duì)未經(jīng)過(guò)裁剪的負(fù)樣本進(jìn)行檢測(cè)。針對(duì)負(fù)樣本的檢測(cè)為正的均為誤檢。將這些區(qū)域進(jìn)行尺度變換，變?yōu)闃?biāo)準(zhǔn)的64×128大小的圖像，作為難例，加入負(fù)樣本集合中。首先，根據(jù)預(yù)先給定的縮放比例將原始圖像進(jìn)行縮放，形成圖像金字塔。并將金字塔每層圖像和原始圖像間的縮放比例以及每層圖像依序存儲(chǔ)，直到縮放后的圖像不能完全覆蓋檢測(cè)窗口為止。圖2-5圖像金字塔對(duì)每一層圖像按照從左到右、從上到下的順序移動(dòng)檢測(cè)窗口，將提取的HOG特征送至初始SVM中進(jìn)行判別。如判別為正，則用矩形框?qū)⑵淙Τ?，作為難例。整個(gè)過(guò)程的流程圖如圖所示。圖2-6產(chǎn)生難例（4）SVM分類(lèi)器再訓(xùn)練將經(jīng)由上述過(guò)程產(chǎn)生的難例加入負(fù)樣本集合中重新訓(xùn)練，能夠改進(jìn)SVM模型的性能。圖2-7難例示例經(jīng)觀察，難例多是樹(shù)木、房屋等具有明顯豎直邊緣的物體。由圖2-1可知，HOG特征對(duì)人體的表示主要出現(xiàn)在豎直邊緣。圖2-8針對(duì)圖2-7中的兩個(gè)難例做出了它們的HOG特征可視圖。(a)樹(shù)(b)房屋圖2-8難例和它的HOG特征2.2.2分類(lèi)器在測(cè)試集上的表現(xiàn)將再訓(xùn)練后得到的分類(lèi)器在INRIA的測(cè)試集上進(jìn)行測(cè)試。對(duì)于標(biāo)記為正的測(cè)試樣本，其大小統(tǒng)一為70×134大小，取其中心64×128像素大小的圖像。對(duì)于標(biāo)記為負(fù)的測(cè)試樣本，由于其大小不統(tǒng)一，測(cè)試時(shí)對(duì)于每個(gè)樣本，隨機(jī)裁剪20張大小固定為64×128像素的圖像。將測(cè)試結(jié)果分為四類(lèi)，即·真陽(yáng)性(TP，truepositive)：被正確分類(lèi)的正樣本，即“命中”?！ふ骊幮?TN，truenegtive)：被正確分類(lèi)的負(fù)樣本，即“正確拒絕”?！侮?yáng)性(FP，falsepositive)：被錯(cuò)誤分類(lèi)的負(fù)樣本，即“假警報(bào)”?！侮幮?FN，falsenegtive)：被錯(cuò)誤分類(lèi)的正樣本，即“未命中”。定義如下指標(biāo)：·真陽(yáng)性率(TPR,truepositiverate)：即命中率：TPR=TP/P=TP/(TP+FN)·偽陽(yáng)性率(FPR,falsepositiverate)：即誤警率：FPR=FP/N=FP/(FP+TN)·準(zhǔn)確度(ACC,accuracy)：即正確分類(lèi)的樣本占樣本總體的比例：ACC=(TP+TN)/(P+N)測(cè)試結(jié)果如表3-1所示?？梢钥闯?，訓(xùn)練得到的SVM分類(lèi)器對(duì)負(fù)測(cè)試樣本表現(xiàn)較好。但對(duì)于正樣本表現(xiàn)難以令人滿意。這與訓(xùn)練樣本集中正樣本數(shù)量較少有關(guān)，加之人體姿態(tài)變化多端，而正樣本中的人體姿態(tài)并沒(méi)有被分類(lèi)器學(xué)習(xí)，導(dǎo)致漏檢。表3-1測(cè)試結(jié)果TP=825FP=10826TPR=76.25%FN=257TN=13491606FPR=0.74%P=1082N=13592441ACC=89.06%2.2.3對(duì)靜態(tài)圖像和圖像序列進(jìn)行檢測(cè)（1）靜態(tài)圖像對(duì)于單幅靜態(tài)圖像，使用HOG特征和訓(xùn)練好的SVM進(jìn)行檢測(cè)，檢測(cè)流程見(jiàn)圖2-9。圖2-9單幅圖像檢測(cè)將檢測(cè)出的行人區(qū)域用綠色矩形框標(biāo)出，數(shù)據(jù)集的原有標(biāo)注信息用紅色矩形框標(biāo)出。下面選取幾個(gè)例子進(jìn)行分析。(a)(b)(c)圖2-10對(duì)單幅靜態(tài)圖像的行人目標(biāo)進(jìn)行檢測(cè)其中(a)圖都正確檢測(cè)出了圖像中的行人；(b)圖出現(xiàn)了誤檢測(cè)，將非行人目標(biāo)識(shí)別為了行人；(c)圖出現(xiàn)了漏檢，未能將圖像中的人體目標(biāo)檢測(cè)出來(lái)。（2）圖像序列對(duì)圖像序列進(jìn)行檢測(cè)，是行人跟蹤的基礎(chǔ)。本實(shí)驗(yàn)選取的圖像序列來(lái)自于CVC行人數(shù)據(jù)庫(kù)，共有546幀，大小統(tǒng)一為640×480像素，是一段在西班牙巴塞羅那城市道路上用車(chē)載攝像頭錄制的視頻。在圖像序列中進(jìn)行檢測(cè)的流程見(jiàn)圖2-11。圖2-11圖像序列的檢測(cè)流程經(jīng)過(guò)實(shí)驗(yàn)，檢測(cè)圖像序列完畢共用時(shí)1310s，每秒檢測(cè)幀數(shù)為0.42幀。部分檢測(cè)結(jié)果如圖2-12。圖2-12圖像序列檢測(cè)示例

基于Kalman濾波器的單目標(biāo)行人跟蹤行人跟蹤是利用圖像序列的時(shí)空關(guān)系在序列中的各幀定位行人目標(biāo)。根據(jù)行人的運(yùn)動(dòng)學(xué)模型，可以估計(jì)行人在下一幀圖像的位置，實(shí)現(xiàn)快速檢測(cè)。本章將采用卡爾曼濾波器(KalmanFilter)，在檢測(cè)——跟蹤框架(detection-trackingframework)下，在圖像序列中實(shí)現(xiàn)單目標(biāo)行人跟蹤。3.1Kalman濾波器Kalman濾波基本思想是：采用信號(hào)與噪聲的狀態(tài)空間模型，利用前一時(shí)刻的估計(jì)值和當(dāng)前時(shí)刻的觀測(cè)值來(lái)更新對(duì)狀態(tài)變量的估計(jì)，求出此時(shí)刻的估計(jì)值。由于不需要記憶所有的歷史數(shù)據(jù)，而只需要獲知上一時(shí)刻狀態(tài)的估計(jì)值以及當(dāng)前狀態(tài)的觀測(cè)值，它適合于計(jì)算機(jī)運(yùn)算和實(shí)時(shí)處理。Kalman濾波器包括兩個(gè)階段：預(yù)測(cè)與修正。具體流程如圖3-1所示，在預(yù)測(cè)部分中，將上一時(shí)刻的狀態(tài)和協(xié)方差映射到當(dāng)前時(shí)刻。在修正部分中，首先計(jì)算當(dāng)前時(shí)刻的Kalman增益，然后根據(jù)實(shí)際測(cè)量值修正狀態(tài)的先驗(yàn)估計(jì)，接著修正協(xié)方差，轉(zhuǎn)入下一輪。圖3-1Kalman濾波的兩個(gè)環(huán)節(jié)3.2單目標(biāo)行人跟蹤算法3.2.1行人運(yùn)動(dòng)模型和觀測(cè)模型的建立在圖像中，行人區(qū)域是用一個(gè)一個(gè)大小不等的矩形框來(lái)標(biāo)注的，將行人的運(yùn)動(dòng)抽象為矩形框質(zhì)心C的運(yùn)動(dòng)。圖3-2代替行人的矩形質(zhì)心軌跡可以表征行人的運(yùn)動(dòng)取狀態(tài)變量為，其中，為行人質(zhì)心C在第k幀圖像中的位置；為質(zhì)心C位置在相鄰兩幀的差分，即行人速度在圖像平面的映射。因此，行人運(yùn)動(dòng)的模型如下：行人觀測(cè)模型如下：下標(biāo)m代表觀測(cè)值(measurement)。3.2.2Kalman濾波器進(jìn)行跟蹤Kalman濾波器進(jìn)行跟蹤前，需要系統(tǒng)的初始狀態(tài)和先驗(yàn)殘差的協(xié)方差矩陣已知。系統(tǒng)初始狀態(tài)包括質(zhì)心位置和質(zhì)心在ICS坐標(biāo)速度。前者可簡(jiǎn)化為矩形框的質(zhì)心(如圖3-3)，后者則需要通過(guò)相鄰兩幀差分得到。圖3-3行人及質(zhì)心的相對(duì)位置關(guān)系認(rèn)為初始誤差為5個(gè)像素。所以將初始?xì)埐顓f(xié)方差矩陣確定為。確定初始狀態(tài)后，利用Kalman濾波器預(yù)測(cè)行人質(zhì)心Ck在下一幀的位置Ck+1。以Ck+1為質(zhì)心，建立固定大小的矩形框，作為行人檢測(cè)的搜索區(qū)域。在搜索區(qū)域內(nèi)，使用HOG特征進(jìn)行行人檢測(cè)。如果在搜索區(qū)域內(nèi)檢測(cè)到行人，則計(jì)算行人檢測(cè)得到的矩形框質(zhì)心，作為測(cè)量值，修正行人質(zhì)心的估計(jì)值。如果沒(méi)有檢測(cè)到行人，說(shuō)明發(fā)生了丟幀現(xiàn)象，則對(duì)先驗(yàn)估計(jì)值不作修正，并在下一幀中擴(kuò)大搜索范圍搜索范圍。如果連續(xù)丟失幀數(shù)已超過(guò)3幀，則認(rèn)為跟蹤的行人目標(biāo)已經(jīng)不在圖像之中，本次跟蹤過(guò)程結(jié)束。算法流程如圖3-4所示。圖3-4跟蹤算法流程圖3.3Kalman濾波跟蹤算法測(cè)試在CVC行人數(shù)據(jù)集上對(duì)Kalman濾波跟蹤算法進(jìn)行測(cè)試，圖3-5展示了連續(xù)兩幀檢測(cè)到行人目標(biāo)，利用初始狀態(tài)信息，Kalman濾波器完成初始化，并預(yù)測(cè)了下一幀中的行人區(qū)域(較大的紅色框區(qū)域)。圖3-5連續(xù)兩幀檢測(cè)到行人目標(biāo)，完成初始化讀取下一幀圖像，在預(yù)測(cè)位置附近搜索行人，檢測(cè)到了行人目標(biāo)(圖3-6中綠色框)。利用觀測(cè)值修正狀態(tài)估計(jì)。修正后的位置用藍(lán)色圓點(diǎn)標(biāo)出，如圖3-6。圖3-6修正狀態(tài)估計(jì)讀取下一幀圖像，未能在預(yù)測(cè)位置使用檢測(cè)算法找到行人，則跳過(guò)修正步驟，直接進(jìn)行下一個(gè)檢測(cè)——跟蹤周期。如圖3-7。圖3-7檢測(cè)算法未能夠在預(yù)測(cè)位置附近找到行人目標(biāo)經(jīng)過(guò)兩幀，檢測(cè)算法重新找到了行人目標(biāo)。體現(xiàn)了此方法的魯棒性。圖3-8重新找到了行人目標(biāo)當(dāng)行人目標(biāo)離開(kāi)圖像后，由于丟幀數(shù)量超過(guò)閾值，跟蹤過(guò)程結(jié)束。圖3-9跟蹤結(jié)束由于采用了Kalman濾波器對(duì)行人位置進(jìn)行預(yù)測(cè)，大大縮小了搜索范圍，提高了檢測(cè)速度。在此基礎(chǔ)上，項(xiàng)目組成員在北京理工大學(xué)六號(hào)教學(xué)樓附近使用手機(jī)錄制了測(cè)試視頻，測(cè)試結(jié)果如下：圖3-10找到行人目標(biāo)，開(kāi)始跟蹤跟蹤過(guò)程中，預(yù)測(cè)位置和實(shí)際檢測(cè)位置誤差不大，跟蹤過(guò)程平穩(wěn)進(jìn)行。圖3-11跟蹤結(jié)果示意出現(xiàn)了檢測(cè)算法沒(méi)能檢測(cè)到目標(biāo)的問(wèn)題。但跟蹤過(guò)程仍在繼續(xù)。圖3-12檢測(cè)失效，但