目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)的結(jié)構(gòu)化學(xué)習(xí)方法

目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)的結(jié)構(gòu)化學(xué)習(xí)方法

0總結(jié)多目標(biāo)跟蹤（mot）。1基于定常性的目標(biāo)身份感知網(wǎng)絡(luò)流量的求解假設(shè)已知前幾幀中進(jìn)入場(chǎng)景的目標(biāo)初始邊界框(通過(guò)標(biāo)注或利用目標(biāo)檢測(cè)算法獲得),本文方法首先通過(guò)結(jié)構(gòu)化學(xué)習(xí)為每個(gè)對(duì)象訓(xùn)練一個(gè)模型,并將目標(biāo)跟蹤問(wèn)題建模為拉格朗日松馳優(yōu)化問(wèn)題,然后提出一種目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)(targetidentity-awarenetworkflow,TINF)進(jìn)行結(jié)構(gòu)化學(xué)習(xí)的推理。在學(xué)習(xí)期間,通過(guò)搜索使目標(biāo)身份感知網(wǎng)絡(luò)流量代價(jià)函數(shù)最小化的一組軌跡,確定最被違反約束和序列在下個(gè)時(shí)間段的最優(yōu)軌跡,推斷出視頻片斷中所有目標(biāo)的最佳位置。具體過(guò)程如圖1所示,其中,圖1(a)表示本文方法對(duì)多個(gè)視頻幀采用的密集候選窗口的并集;圖1(b)表示傳統(tǒng)方法2中邊界框基模型已知包括τ個(gè)訓(xùn)練圖像的一組圖像集式中:w={w根據(jù)真實(shí)標(biāo)簽Y和估計(jì)值珚Y之間的重疊度,可確定如下?lián)p失函數(shù)由于Υ中邊界框的可能組合呈幾何數(shù)量級(jí),所以對(duì)式(2)中的約束進(jìn)行窮盡搜索不具有可行性。然而,文獻(xiàn)3ow,tinf已知模型參數(shù)w和每個(gè)視頻幀的密集重疊邊界框后,本文的目標(biāo)是為每個(gè)目標(biāo)尋找可使式(1)最大化的一個(gè)候選窗口序列(稱為軌跡)。該問(wèn)題屬于一種全局?jǐn)?shù)據(jù)關(guān)聯(lián)問(wèn)題,本文首先通過(guò)對(duì)連續(xù)幀中的候選施加某種時(shí)域一致性約束來(lái)降低其指數(shù)級(jí)的搜索空間,然后提出一種目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)(targetidentity-awarenetworkflow,TINF),如圖2所示,并通過(guò)拉格朗日松馳策略對(duì)TINF進(jìn)行高效優(yōu)化,最終實(shí)現(xiàn)對(duì)軌跡的準(zhǔn)確推斷。在圖2中,大的圓圈表示每個(gè)幀中的所有候選位置(密集分布在整個(gè)幀內(nèi))。通過(guò)k條觀察邊相連的一對(duì)節(jié)點(diǎn)可表示各個(gè)候選位置,一條觀察邊對(duì)應(yīng)一種身份。網(wǎng)絡(luò)中有k個(gè)源節(jié)點(diǎn)和k個(gè)匯點(diǎn),每個(gè)源節(jié)點(diǎn)或匯點(diǎn)屬于一個(gè)目標(biāo)。每個(gè)身份用一種單獨(dú)顏色表示。進(jìn)入各個(gè)節(jié)點(diǎn)的流量只能取3條觀察邊中的某一條,具體視其所隸屬的源節(jié)點(diǎn)(身份)而定。與其它幀的節(jié)點(diǎn)相連的過(guò)渡邊表示一個(gè)目標(biāo)從某一位置到另一位置的可能移動(dòng),且每次移動(dòng)均關(guān)聯(lián)一個(gè)轉(zhuǎn)移成本。在起始/匯節(jié)點(diǎn)和圖中其它每個(gè)節(jié)點(diǎn)之間存在一條邊,這是為了考慮人體進(jìn)入或離開(kāi)場(chǎng)景這一情況。出于簡(jiǎn)便考慮,我們只給出了部分進(jìn)入/離開(kāi)邊。網(wǎng)絡(luò)流量是一個(gè)二元指示量,當(dāng)節(jié)點(diǎn)為軌跡一部分時(shí)為1,否則為0。利用每個(gè)源節(jié)點(diǎn)推入單位流量,通過(guò)使分配給流量的成本最小化來(lái)確定所有目標(biāo)的軌跡。此外,我們將稍后證明,如果為經(jīng)過(guò)邊界框觀察邊的流量設(shè)置上限,便可保證一個(gè)候選位置最多只屬于一條軌跡。在下面小節(jié)中,我們首先將上述問(wèn)題建模為拉格朗日松馳優(yōu)化問(wèn)題,然后給出用于代替目標(biāo)檢測(cè)算法非最大貪婪抑制策略的空間約束。3.1確定同邊分配成本首先構(gòu)建圖形G(V,E)。對(duì)幀t中的每個(gè)候選窗口,考慮通過(guò)k條不同觀察邊相連的一對(duì)節(jié)點(diǎn),這些觀察邊分別對(duì)應(yīng)于一種身份。對(duì)幀t中的每個(gè)節(jié)點(diǎn)v根據(jù)跟蹤期間目標(biāo)的不同特征,為圖中的不同邊分配成本。利用k個(gè)目標(biāo)模型,為表示候選窗口的每對(duì)節(jié)點(diǎn)分配k個(gè)不同成本。將w對(duì)于將連續(xù)幀中的兩個(gè)候選窗口y式中:構(gòu)建完G(V,E)后,我們的目標(biāo)是通過(guò)每個(gè)源節(jié)點(diǎn)推入單位流量,進(jìn)而確定k個(gè)流量(軌跡),使下面代價(jià)函數(shù)最小化,便可確定f經(jīng)過(guò)這些邊的流量必須滿足一定約束,才可以切實(shí)保證它可以表示真實(shí)世界中的軌跡。針對(duì)G(V,E)定義的一組約束如下式(8)中的約束為供應(yīng)/需求約束,要求到達(dá)節(jié)點(diǎn)的流量之和等于離開(kāi)該節(jié)點(diǎn)的流量之和。式(10)中的約束將經(jīng)過(guò)各個(gè)節(jié)點(diǎn)的流量之和的上限設(shè)置為1,來(lái)規(guī)定不同身份的軌跡不會(huì)共享同一節(jié)點(diǎn)。依據(jù)文獻(xiàn)3.2拉格朗日乘子的確定本文采用的拉格朗日松馳方法的核心思想是對(duì)硬性約束進(jìn)行放松,并將其放到目標(biāo)函數(shù)中,進(jìn)而獲得一種簡(jiǎn)單近似。我們首先對(duì)式(10)中的約束條件進(jìn)行松弛,引入非負(fù)拉格朗日乘子λ對(duì)其進(jìn)一步簡(jiǎn)化后,我們有條件為對(duì)各種拉格朗日乘子來(lái)說(shuō),式(12)中的第2項(xiàng)均是常數(shù),因此可將其忽略。新的目標(biāo)函數(shù)中,每個(gè)流量變量f(1)對(duì)拉格朗日乘子的固定值,我們可以求解成本系數(shù)為c(2)根據(jù)式(15)更新拉格朗日乘子式中:λ3.3行人軌跡混淆的消除本文跟蹤算法與其它數(shù)據(jù)關(guān)聯(lián)跟蹤算法的主要區(qū)別在于,本文跟蹤算法的輸入是密集候選窗口,而不是人體檢測(cè)結(jié)果。當(dāng)外觀和運(yùn)動(dòng)特征類似的行人并肩行走時(shí),跟蹤結(jié)果很可能出現(xiàn)ID混淆問(wèn)題。同時(shí),當(dāng)行人被部分遮擋時(shí),針對(duì)該行人的跟蹤算法有可能選擇與周圍其它行人嚴(yán)重重疊的候選人體,如圖3所示,在上面一行中,兩個(gè)行人由于外觀相似,導(dǎo)致軌跡發(fā)生混淆。文獻(xiàn)式中:y我們發(fā)現(xiàn),對(duì)高度重疊的兩個(gè)節(jié)點(diǎn)進(jìn)行懲罰,有時(shí)會(huì)導(dǎo)致某一軌跡邊界框的精度較低。因此,我們根據(jù)式(1)中的得分函數(shù),只對(duì)軌跡得分較低的觀察節(jié)點(diǎn)進(jìn)行懲罰。綜上所述,集成了空間約束的拉格朗日松馳方法如算法1所示。算法1:TINF的拉格朗日松馳解4實(shí)驗(yàn)結(jié)果與分析本文采用目前常用的ParkingLot1-2序列、TUDCrossing序列、PET序列、以及目標(biāo)發(fā)生大幅關(guān)節(jié)運(yùn)動(dòng)的兩個(gè)新型數(shù)據(jù)序列(Running序列和Dancing序列)等利用目前典型的CLEARMOT指標(biāo)(MOTA-MOTP)為了明確展示本文空間約束的影響,我們分別對(duì)包含空間約束和不包含空間約束的數(shù)據(jù)集運(yùn)行本文算法,實(shí)驗(yàn)結(jié)果見(jiàn)表2。從表2可以看到,當(dāng)包含空間約束時(shí),本文算法在幾種數(shù)據(jù)集中的性能都有不同程度地提升。對(duì)于目標(biāo)發(fā)生重疊的數(shù)據(jù)序列,算法增益更為明顯。在初始化時(shí),除了人工標(biāo)注外,我們還可以采用文獻(xiàn)[8]中的預(yù)訓(xùn)練人體檢測(cè)算法進(jìn)行目標(biāo)的自動(dòng)初始化。對(duì)每個(gè)視頻段,如果連續(xù)視頻幀中發(fā)生至少4次嚴(yán)重重疊的高置信度檢測(cè)并且未與任何其它軌跡相關(guān)聯(lián),則對(duì)新軌跡初始化。我們采用人體檢測(cè)效果顯著的ParkingLot1-2序列和TUDCrossing序列測(cè)試了目標(biāo)自動(dòng)初始化情況下的本文算法性能,實(shí)驗(yàn)結(jié)果見(jiàn)表3。從表3可以看到,采用自動(dòng)初始化策略時(shí),本文方法的性能并沒(méi)有顯著變化,MOTA、MOTP和MT等性能反而略有下降。這主要是因?yàn)?與人工標(biāo)注方法相比,部分序列的部分軌跡起始時(shí)間較晚,由于虛警現(xiàn)象增加,MOTA等性能出現(xiàn)下降。最后,為了比較采用IP或LP時(shí)本文拉格朗日松馳方法的復(fù)雜性,我們分別部署了本文方法的IP和LP版本。采用文獻(xiàn)5實(shí)驗(yàn)結(jié)果與分析針對(duì)現(xiàn)有的目標(biāo)跟蹤算法的不足,本文提出了一種綜合了結(jié)構(gòu)化學(xué)習(xí)和全局?jǐn)?shù)據(jù)關(guān)聯(lián)的跟蹤算法。本文方法的核心是為每個(gè)目標(biāo)學(xué)習(xí)一個(gè)模型的結(jié)構(gòu)化學(xué)習(xí)過(guò)程。將推理