迭代策略下的行人多目標(biāo)跟蹤研究

迭代策略下的行人多目標(biāo)跟蹤研究摘要多目標(biāo)跟蹤是計算機視覺領(lǐng)域被廣泛研究的重要方向，但在實際應(yīng)用中，目標(biāo)的快速移動、光照變化、遮擋等問題會導(dǎo)致跟蹤性能變差。在本文中提出了一種迭代策略的行人多目標(biāo)跟蹤方法。采用迭代檢測方式，可以在兩次迭代分別檢測出高置信度和低置信度的行人目標(biāo)，由于前一次迭代檢測到的行人預(yù)測框?qū)⒃谙乱淮蔚幸詺v史特征的形式傳遞到網(wǎng)絡(luò)，從而可以避免模型重復(fù)檢測同一對象，同時提高行人檢測的精度。在數(shù)據(jù)關(guān)聯(lián)階段，優(yōu)先對第一次迭代檢測結(jié)果進(jìn)行軌跡匹配即高置信度行人檢測框，然后是第二次迭代檢測結(jié)果，這種對檢測結(jié)果分批次處理可以有效的減少跟蹤過程中身份切換問題。在MOT16數(shù)據(jù)集的實驗表明本文方法對行人目標(biāo)跟蹤的可行性和有效性。關(guān)鍵詞計算機視覺，多目標(biāo)跟蹤，迭代檢測，數(shù)據(jù)關(guān)聯(lián)StudyonPedestrianMulti-ObjectTracking

BasedonIterativeStrategyQingquanMeng,YonghuiWangSchoolofComputerScienceandEngineering,ShenyangJianzhuUniversity,ShenyangLiaoningReceived:Dec.12,2022;accepted:Jan.12th,2023;published:Jan.20,2023AbstractMulti-objecttrackingisimportantresearchdirectioninthefieldofcomputervision,butin

practicalapplications,thefastmovementoftheobject,illuminationchange,occlusionandother

problemsleadtopoortrackingperformance.Inthispaper,weproposeapedestrianti-objecttrackingmethodbasedoniterativestrategy.adoptingtheiterativedetectionmethod,

pedestriantargetswithhighconfidenceandlowconfidencebedetectedrespectivelyintwo

iterations.Sincepedestrianpredictionboxdetectedinthepreviousiterationwilltransmit-tedtothenetworkintheformofhistoricalfeaturesinthenextiteration,themodelcanavoidre-

peateddetectionofthesameobjectandimproveaccuracyofpedestriandetection.Inthedata

associationstage,thetrajectorymatchingofthefirstiterationdetectionresults,namely,thehigh

confidencepedestriandetectionbox,isgivenpriority,followedbytheseconditerationdetection

results.Thisbatchprocessingofthedetectionresultscaneffectivelyreducetheproblemoftityswitchinginthetrackingprocess.ExperimentsMOT16datasetsshowthattheproposed

methodisfeasibleandeffectiveforpedestriantargettracking.KeywordsComputerVision,Multi-TargetTracking,IterativeDetection,DataAssociationCopyright?2023author(s)andHansPublishersInc.ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

/licenses/by/4.0/OpenAccess1.簡介多目標(biāo)跟蹤是當(dāng)前計算機視覺領(lǐng)域的研究熱點。它的主要任務(wù)是在給定視頻中同時對多個特定目標(biāo)進(jìn)行定位，同時保持目標(biāo)的ID穩(wěn)定，最后記錄它們的軌跡[1]目前主流的行人多目標(biāo)跟蹤遵循檢測跟蹤范式，它將MOT問題分成兩個獨立的步驟，即首先通過目標(biāo)檢測算法檢測出視頻幀中目標(biāo)對象可能出現(xiàn)的區(qū)域，然后通過關(guān)聯(lián)模型將屬于同一運動目標(biāo)的檢測框關(guān)聯(lián)到一起，得到目標(biāo)的關(guān)聯(lián)軌跡，完成目標(biāo)對象的跟蹤。本文沿用檢測跟蹤范式進(jìn)行行人多目標(biāo)的研究。近年來，基于檢測的多目標(biāo)跟蹤研究越來越多。Bewley等[2]提出Sort結(jié)合卡爾曼濾波[3](KalmanFilter)和匈牙利算法[4](HungarianAlgorithm)(IntersectionoverUnion,IOU)為相似性度量來匹配來完成數(shù)據(jù)Sort面對人流性差。Wojke等[5]針對存在的缺陷提出了DeepSortSort基礎(chǔ)上加入了級聯(lián)匹配和外觀模型，級聯(lián)匹配策略提高了目標(biāo)匹配準(zhǔn)確度，外觀模型使用行人重識別(PersonRe-identification,ReID)[6]提取目標(biāo)的外觀特征作為數(shù)據(jù)關(guān)聯(lián)的輔助度量，有效的解決了身份切換的問題。但串聯(lián)兩個深度學(xué)習(xí)Wang等[7]JDEReID輸出目標(biāo)的同時也輸出相應(yīng)的表觀特征，然后結(jié)合運動信息進(jìn)行數(shù)據(jù)關(guān)聯(lián)。雖然都是采用逐檢測跟蹤范式，但它們大多數(shù)檢測器的性能有待提高并且大多數(shù)MOT方法只保留了滿足閾值條件的檢測框，并未對檢測框進(jìn)行充分利用。本文提出了一種迭代策略的多目標(biāo)跟蹤方法，通過迭代檢測，分別檢測出高置信度和低置信度的目標(biāo)框，充分考慮所有檢測框。并在數(shù)據(jù)關(guān)聯(lián)中對迭代結(jié)果分階段處理，緩解檢測框干擾造成的軌跡漂移而形成的身份切換問題。2.提出的方法本文將多目標(biāo)跟蹤算法分為兩個步驟，即第一步是目標(biāo)迭代檢測階段，通過兩次目標(biāo)檢測分別得到高置信度和低置信度目標(biāo)框；第二步是數(shù)據(jù)關(guān)聯(lián)階段，利用軌跡和檢測框之間的相似度進(jìn)行匹配。迭代策略下對檢測框分批次處理有效的減少了跟蹤過程中身份切換問題同時提高了跟蹤精度。圖1是本文整體的網(wǎng)絡(luò)結(jié)構(gòu)。Figure1.Overallframework

圖1.整體框架2.1.迭代檢測目標(biāo)檢測是多目標(biāo)跟蹤的基礎(chǔ)，檢測器的性能決定了數(shù)據(jù)關(guān)聯(lián)的上限。但基于深度學(xué)習(xí)的檢測器更傾向于對相同對象的進(jìn)行重復(fù)檢測，然后通過非極大值抑制算法對檢測框進(jìn)行過濾，最后只剩下一個邊界框，但這在擁擠環(huán)境中通常效果很差，常常出現(xiàn)漏檢的情況。針對這個問題提出了迭代策略如圖2所示，通過兩次迭代輸出最終的檢測結(jié)果。由于當(dāng)前迭代中考慮所有先前迭代檢測到的目標(biāo)框，所以不會兩次檢測到同一對象。Figure2.Networkstructureofiterativedetection

圖2.迭代檢測網(wǎng)絡(luò)結(jié)構(gòu)圖I∈R×h×3得到一組邊界框B=(X,Y,W,H}nkkkkk1上角坐標(biāo)(X,Y)WHH∈Rw×h1與輸入圖像大小相同。初始時所有像素值為0，當(dāng)檢測器檢測出行人位置在灰度圖上對應(yīng)位置像素值加1，同一位置存在不同檢測框時像素值進(jìn)行累加，如公式(1)所示，nHXxXW,YyYH=∑≤≤+≤≤+(1)(x,y)kkkkkkk1其中n為先前迭代檢測的邊界框的數(shù)量。迭代策略下的檢測為：在給定圖像I的情況下，第一次迭代t=1，此時歷史H為空即灰度圖像像素1值為0，聯(lián)合圖像I和H并通過閾值δ設(shè)置可以得出第一組高置信度檢測框1D，其次，highD被映射到歷史H，然后第二次迭代結(jié)合圖像I和2H得出第二組低置信度檢測框2D。low2.2.數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)是多目標(biāo)跟蹤的核心，它首先計算機軌跡和檢測框之間的相似度并根據(jù)相似度利用不同的動相似性[8]是準(zhǔn)確的，外觀相似性有助于長距離匹配，在獲得相似性度量后，可以通過匈牙利算法或者貪婪賦值算法[9]匹配。以往的多目標(biāo)跟蹤方法中通常只保留高置信度檢測框。在本文迭代檢測中充分利用了每個檢測框。并按照迭代結(jié)果的先后順序處理不同檢測框。我們首先將高置信度檢測框與軌跡相關(guān)聯(lián)。有些軌跡無法匹配到高置信度檢測框，這通常發(fā)生在遮擋、運動模糊或大小變化時。然后，我們將低置信度檢測框與這些不匹配的軌跡相關(guān)聯(lián)，以恢復(fù)低置信度檢測框中的對象，同時可以過濾到檢測得到的假陽性目標(biāo)框即背景。關(guān)聯(lián)的偽代碼如下算法所示。數(shù)據(jù)關(guān)聯(lián)中輸入的是視頻序列V，檢測器對象Det和檢測置信度閾值δ，實驗中δ設(shè)置為0.6。輸出是視頻的軌跡Γ，每個軌跡包含每個幀中目標(biāo)的邊界框和標(biāo)識。流程如下：1)Det第一次迭代檢測出高置信度的檢測框D即得分大于δ的檢測框。2)利用卡爾曼濾波器來預(yù)測Γ(包括丟失的軌跡)中每個軌跡在當(dāng)前幀中的新位置。由于軌跡的丟失3)高置信度檢測框D和預(yù)測的軌跡框Γ之間的IoUhigh似度的匹配，此為第一次關(guān)聯(lián)。4)使用檢測器Det結(jié)合前一次迭代的結(jié)果第二次迭代檢測出低置信度的檢測框Dlow道Γ之間執(zhí)行第二次關(guān)聯(lián)。我們保留不匹配的軌跡Γre?remain，視為丟失的軌跡Γ，只刪除所有不匹配的低置信度檢測框，因為它們往往是迭代檢測出的假陽性框即背景。5)Γ中的每個軌道，當(dāng)它存在超過一定數(shù)量的幀即30幀時，從軌道Γ中刪除它。6)對于第一次關(guān)聯(lián)之后從不匹配的高分檢測框D初始化新軌跡。remain3.實驗結(jié)果與分析3.1.數(shù)據(jù)集與實驗環(huán)境本文在公開的行人檢測數(shù)據(jù)集CrowdHuman訓(xùn)練集[10]訓(xùn)練迭代檢測器，用CrowdHuman的驗證集驗證檢測器性能，用MOT16訓(xùn)練集[11]作為驗證集驗證跟蹤算法性能。實驗環(huán)境基于Ubuntu18.04操作系統(tǒng)，NvidiaGeForce309024GPytorch1.8.1Python3.7的服務(wù)器下實現(xiàn)。選擇多目標(biāo)跟蹤公開數(shù)據(jù)MOT16測試集測試本文算法，并MOTChallenge官網(wǎng)上對結(jié)果進(jìn)行評估，同時與其他算法進(jìn)行對比，并分析模型性能。3.2.評價指標(biāo)本文采用一些通用評估指標(biāo)分別對行人檢測和多目標(biāo)跟蹤進(jìn)行客觀評價，以證明算法的準(zhǔn)確性。對于行人檢測采用平均精度(mAP)，召回率(Recall)，平均丟失率(mMR)作為評估指標(biāo)。部分評價指標(biāo)公式如公式(2)(3)，(4)和(5)Recall(R)=TPrueositiveTP+FNrueositive(2)()PrecisionP=TPrueositiveTP+FPrueositiveositive(3)1=∫PRdR(4)0MR=FNTP+FNrueositive平均丟失率mMR，是在(FalsePositivePerImage)FPPI@0.01-1下漏檢數(shù)的平均值越低越好。對于多目標(biāo)跟蹤采用多目標(biāo)跟蹤領(lǐng)域通用的評估指標(biāo)進(jìn)行評估，評估指標(biāo)如下：1)(Multi-objectTrackingAccuracy)代表多目標(biāo)跟蹤的準(zhǔn)確度，綜合考慮了誤檢、漏檢和身份切換3種因素，衡量模型在目標(biāo)檢測和軌跡關(guān)聯(lián)的整體性能，如公式(6)所示。N+N+NMOTA=1?FNFPIDs(6)NGT其中N表示真實邊界框數(shù)量；GTN表示整個視頻的漏檢數(shù)；FNN表示整個視頻的誤檢數(shù)；N表示總的行人切換次數(shù)；2)MOTP(Multi-objectTrackingPrecision)間的平均度量距離。如公式(7)所示。MOTP=∑dii,tt∑Ctt(7)其中t表示當(dāng)前幀為第tt∈N]，id表示第t幀中第i個預(yù)測框與真實框之間的重疊率，即t(Intersection-Over-Union)距離；c表示目標(biāo)成功匹配數(shù)量。3)IDF1(IdentificationF1Score)代表多目標(biāo)跟蹤器維持能力。4)IDs(IDSwitch)代表整個跟蹤過程行人身份(ID)切換的數(shù)目。5)MT(MostlyTracked)代表至少在80%匹配成功的跟蹤軌跡。6)ML(MostlyLost)代表在小于20%的時間成功匹配的跟蹤軌跡即大多數(shù)丟失目標(biāo)百分比。3.3.結(jié)果分析本文使用FasterR-CNN[12]作為行人檢測框架，使用ResNet50[13]為骨干網(wǎng)絡(luò)，添加FPN模塊，并添加層改善模塊的特征融合效果，訓(xùn)練使用Adam優(yōu)化器，epoch設(shè)置為24，學(xué)習(xí)率設(shè)置為0.0005，在第16個epoch和第22個epoch時學(xué)習(xí)率分別乘以0.1。在訓(xùn)練過程中，在標(biāo)注框隨機選取一部分標(biāo)注框并生成歷史特征，同時該部分標(biāo)注框?qū)⒉粎⑴c訓(xùn)練，將歷史特征添加到骨干網(wǎng)略中去訓(xùn)練網(wǎng)絡(luò)使得網(wǎng)絡(luò)預(yù)測到的結(jié)果更加接近剩余的標(biāo)注框，從而迫使網(wǎng)絡(luò)學(xué)習(xí)利用歷史特征。引進(jìn)迭代策略改進(jìn)后的模型與基準(zhǔn)模型在CrowdHuman驗證集上的結(jié)果對比，如表1所示。Table1.ComparisonresultsofiterativedetectionandbenchmarkmodelonCrowdHumanverificationset

表1.迭代檢測與基準(zhǔn)模型在CrowdHuman驗證集上的對比結(jié)果檢測模型Recall↑↑↓基準(zhǔn)模型89.284.850.5迭代檢測94.588.149.1對于多目標(biāo)跟蹤，本文選擇MOT16數(shù)據(jù)集進(jìn)行實驗，與幾種先進(jìn)多目標(biāo)跟蹤算法進(jìn)行對比，結(jié)果如表2示，本文在迭代策略下充分考慮到所有檢測框，并且對檢測框的分批次處理，因此在MOTA、MOTP等指標(biāo)上都有所提升。跟蹤效果如圖3所示MOT16-03中61MOT16-06中71號行人在面對遮擋情況，依然可以準(zhǔn)確追蹤。Table2.ComparisonresultsbetweentheproposedalgorithmandotheralgorithmsonMOT16datasets

表2.本文算法與其他算法在MOT16數(shù)據(jù)集上的對比結(jié)果方法MOTA↑MOTP↑IDF1↑MT/%↑ML/%↓IDs↓SORT[2]59.879.653.825.422.71423DeepSORT[4]61.479.162.232.818.2781JDE[5]64.4-55.835.420.01544TubeTK[14]64.959.459.433.519.41117CNNMTT[15]65.2-62.232.421.3946Ours65.480.865.835.317.8982Figure3.Multi-objecttrackingeffect.(a)MOT16-03;(b)MOT16-06

圖3.多目標(biāo)跟蹤效果。(a)MOT16-03；(b)MOT16-064.結(jié)論本文針對行人多目標(biāo)跟蹤過程中因為遮擋導(dǎo)致的行人的目標(biāo)框，充分考慮所有檢測框。并在數(shù)據(jù)關(guān)聯(lián)中對迭代結(jié)果分階段處理。其準(zhǔn)確的檢測性能和關(guān)聯(lián)低置信度檢測框的幫助，對遮擋非常魯棒。在未來，我們將繼續(xù)探索更加可靠的相似性度量和匹配策略，以提升多目標(biāo)跟蹤任務(wù)的整體性能。參考文獻(xiàn)[1]Luo,W.H.,Xing,J.L.,Milan,A.,etal.(2021)MultipleObjectTracking:ALiteratureReview.ArtificialIntelligence,

293,ArticleID:103448./10.1016/j.artint.2020.103448[2]Bewley,A.,Ge,Z.Y.,Ott,L.,Ramos,.andUpcroft,.(2016)SimpleOnlineandRealtimeTracking.Proceedingsof

2016IEEEInternationalConferenceonImageProcessing(ICIP.Phoenix,25-28September2016,3464-3468.

/10.1109/ICIP.2016.7533003[3]Kalman,R.E.(1960)ANewApproachtoinearFilteringandPredictionProblems.JournalofFluidsEngineering,35-45./10.1115/1.3662552[4]Kuhn,H.W.(1955)TheHungarianMethodfortheAssignmentProblem.NavalResearchLogisticsQuarterly,,83-97./10.1002/nav.3800020109[5]Wojke,N.,Bewley,A.andPaulus,D.(2017)SimpleOnlineandRealtimeTrackingwithaDeepAssociationMetric.

Proceedingsof2017IEEEInternationalConferenceonImageProcessing(ICIP).Beijing,17-20September2017,

3645-3649./10.1109/ICIP.2017.8296962[6]羅浩,姜偉,,張思朋.基于深度學(xué)習(xí)的行人重識別研究進(jìn)展.自動化學(xué)報,2019,45(11):2032-2049.[7]Wang,Z.D.,Zheng,L.,Liu,Y.X.,Li,.andWang,S.J.(2020)TowardsReal-TimeMulti-ObjectTrackingIn:Ve-

daldi,A.,Bischof,H.,Brox,.andFrahm,JM.,Eds.,ComputerVisionECCV2020.ECCV2020.LectureNotesin

ComputerScience,Vol.12356,Springer,Cham,107-122./10.1007/978-3-030-58621-8_7[8]花景培,陳昌紅,干宗良,劉峰.基于運動和外形度量的多目標(biāo)行人跟蹤[J].南京郵電大學(xué)學(xué)報,2016,36(71):1673-5439.[9]Zhou,X.Y.,Koltun,V.andKr?henbühl,P.(2020)TrackingObjectsasPoints.Vedaldi,A.,Bischof,H.,Brox,T.

andFrahm,J.M.,Eds.,ComputerVision—ECCV2020.ECCV2020.LectureNotesinComputerScience,Vol.12349,

Springer,Cham,474-490./10.1007/978-3-030-58548-8_28[10]Shao,Zhao,Z.J.,Li,B.X.,etal.(2018)Crowdhuman:ABenchm