目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)的結(jié)構(gòu)化學(xué)習(xí)方法

目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)的結(jié)構(gòu)化學(xué)習(xí)方法

0總結(jié)多目標(biāo)跟蹤（mot）。1基于定常性的目標(biāo)身份感知網(wǎng)絡(luò)流量的求解假設(shè)已知前幾幀中進(jìn)入場景的目標(biāo)初始邊界框(通過標(biāo)注或利用目標(biāo)檢測算法獲得),本文方法首先通過結(jié)構(gòu)化學(xué)習(xí)為每個(gè)對象訓(xùn)練一個(gè)模型,并將目標(biāo)跟蹤問題建模為拉格朗日松馳優(yōu)化問題,然后提出一種目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)(targetidentity-awarenetworkflow,TINF)進(jìn)行結(jié)構(gòu)化學(xué)習(xí)的推理。在學(xué)習(xí)期間,通過搜索使目標(biāo)身份感知網(wǎng)絡(luò)流量代價(jià)函數(shù)最小化的一組軌跡,確定最被違反約束和序列在下個(gè)時(shí)間段的最優(yōu)軌跡,推斷出視頻片斷中所有目標(biāo)的最佳位置。具體過程如圖1所示,其中,圖1(a)表示本文方法對多個(gè)視頻幀采用的密集候選窗口的并集;圖1(b)表示傳統(tǒng)方法2中邊界框基模型已知包括τ個(gè)訓(xùn)練圖像的一組圖像集式中:w={w根據(jù)真實(shí)標(biāo)簽Y和估計(jì)值珚Y之間的重疊度,可確定如下?lián)p失函數(shù)由于Υ中邊界框的可能組合呈幾何數(shù)量級,所以對式(2)中的約束進(jìn)行窮盡搜索不具有可行性。然而,文獻(xiàn)3ow,tinf已知模型參數(shù)w和每個(gè)視頻幀的密集重疊邊界框后,本文的目標(biāo)是為每個(gè)目標(biāo)尋找可使式(1)最大化的一個(gè)候選窗口序列(稱為軌跡)。該問題屬于一種全局?jǐn)?shù)據(jù)關(guān)聯(lián)問題,本文首先通過對連續(xù)幀中的候選施加某種時(shí)域一致性約束來降低其指數(shù)級的搜索空間,然后提出一種目標(biāo)身份感知網(wǎng)絡(luò)流量技術(shù)(targetidentity-awarenetworkflow,TINF),如圖2所示,并通過拉格朗日松馳策略對TINF進(jìn)行高效優(yōu)化,最終實(shí)現(xiàn)對軌跡的準(zhǔn)確推斷。在圖2中,大的圓圈表示每個(gè)幀中的所有候選位置(密集分布在整個(gè)幀內(nèi))。通過k條觀察邊相連的一對節(jié)點(diǎn)可表示各個(gè)候選位置,一條觀察邊對應(yīng)一種身份。網(wǎng)絡(luò)中有k個(gè)源節(jié)點(diǎn)和k個(gè)匯點(diǎn),每個(gè)源節(jié)點(diǎn)或匯點(diǎn)屬于一個(gè)目標(biāo)。每個(gè)身份用一種單獨(dú)顏色表示。進(jìn)入各個(gè)節(jié)點(diǎn)的流量只能取3條觀察邊中的某一條,具體視其所隸屬的源節(jié)點(diǎn)(身份)而定。與其它幀的節(jié)點(diǎn)相連的過渡邊表示一個(gè)目標(biāo)從某一位置到另一位置的可能移動,且每次移動均關(guān)聯(lián)一個(gè)轉(zhuǎn)移成本。在起始/匯節(jié)點(diǎn)和圖中其它每個(gè)節(jié)點(diǎn)之間存在一條邊,這是為了考慮人體進(jìn)入或離開場景這一情況。出于簡便考慮,我們只給出了部分進(jìn)入/離開邊。網(wǎng)絡(luò)流量是一個(gè)二元指示量,當(dāng)節(jié)點(diǎn)為軌跡一部分時(shí)為1,否則為0。利用每個(gè)源節(jié)點(diǎn)推入單位流量,通過使分配給流量的成本最小化來確定所有目標(biāo)的軌跡。此外,我們將稍后證明,如果為經(jīng)過邊界框觀察邊的流量設(shè)置上限,便可保證一個(gè)候選位置最多只屬于一條軌跡。在下面小節(jié)中,我們首先將上述問題建模為拉格朗日松馳優(yōu)化問題,然后給出用于代替目標(biāo)檢測算法非最大貪婪抑制策略的空間約束。3.1確定同邊分配成本首先構(gòu)建圖形G(V,E)。對幀t中的每個(gè)候選窗口,考慮通過k條不同觀察邊相連的一對節(jié)點(diǎn),這些觀察邊分別對應(yīng)于一種身份。對幀t中的每個(gè)節(jié)點(diǎn)v根據(jù)跟蹤期間目標(biāo)的不同特征,為圖中的不同邊分配成本。利用k個(gè)目標(biāo)模型,為表示候選窗口的每對節(jié)點(diǎn)分配k個(gè)不同成本。將w對于將連續(xù)幀中的兩個(gè)候選窗口y式中:構(gòu)建完G(V,E)后,我們的目標(biāo)是通過每個(gè)源節(jié)點(diǎn)推入單位流量,進(jìn)而確定k個(gè)流量(軌跡),使下面代價(jià)函數(shù)最小化,便可確定f經(jīng)過這些邊的流量必須滿足一定約束,才可以切實(shí)保證它可以表示真實(shí)世界中的軌跡。針對G(V,E)定義的一組約束如下式(8)中的約束為供應(yīng)/需求約束,要求到達(dá)節(jié)點(diǎn)的流量之和等于離開該節(jié)點(diǎn)的流量之和。式(10)中的約束將經(jīng)過各個(gè)節(jié)點(diǎn)的流量之和的上限設(shè)置為1,來規(guī)定不同身份的軌跡不會共享同一節(jié)點(diǎn)。依據(jù)文獻(xiàn)3.2拉格朗日乘子的確定本文采用的拉格朗日松馳方法的核心思想是對硬性約束進(jìn)行放松,并將其放到目標(biāo)函數(shù)中,進(jìn)而獲得一種簡單近似。我們首先對式(10)中的約束條件進(jìn)行松弛,引入非負(fù)拉格朗日乘子λ對其進(jìn)一步簡化后,我們有條件為對各種拉格朗日乘子來說,式(12)中的第2項(xiàng)均是常數(shù),因此可將其忽略。新的目標(biāo)函數(shù)中,每個(gè)流量變量f(1)對拉格朗日乘子的固定值,我們可以求解成本系數(shù)為c(2)根據(jù)式(15)更新拉格朗日乘子式中:λ3.3行人軌跡混淆的消除本文跟蹤算法與其它數(shù)據(jù)關(guān)聯(lián)跟蹤算法的主要區(qū)別在于,本文跟蹤算法的輸入是密集候選窗口,而不是人體檢測結(jié)果。當(dāng)外觀和運(yùn)動特征類似的行人并肩行走時(shí),跟蹤結(jié)果很可能出現(xiàn)ID混淆問題。同時(shí),當(dāng)行人被部分遮擋時(shí),針對該行人的跟蹤算法有可能選擇與周圍其它行人嚴(yán)重重疊的候選人體,如圖3所示,在上面一行中,兩個(gè)行人由于外觀相似,導(dǎo)致軌跡發(fā)生混淆。文獻(xiàn)式中:y我們發(fā)現(xiàn),對高度重疊的兩個(gè)節(jié)點(diǎn)進(jìn)行懲罰,有時(shí)會導(dǎo)致某一軌跡邊界框的精度較低。因此,我們根據(jù)式(1)中的得分函數(shù),只對軌跡得分較低的觀察節(jié)點(diǎn)進(jìn)行懲罰。綜上所述,集成了空間約束的拉格朗日松馳方法如算法1所示。算法1:TINF的拉格朗日松馳解4實(shí)驗(yàn)結(jié)果與分析本文采用目前常用的ParkingLot1-2序列、TUDCrossing序列、PET序列、以及目標(biāo)發(fā)生大幅關(guān)節(jié)運(yùn)動的兩個(gè)新型數(shù)據(jù)序列(Running序列和Dancing序列)等利用目前典型的CLEARMOT指標(biāo)(MOTA-MOTP)為了明確展示本文空間約束的影響,我們分別對包含空間約束和不包含空間約束的數(shù)據(jù)集運(yùn)行本文算法,實(shí)驗(yàn)結(jié)果見表2。從表2可以看到,當(dāng)包含空間約束時(shí),本文算法在幾種數(shù)據(jù)集中的性能都有不同程度地提升。對于目標(biāo)發(fā)生重疊的數(shù)據(jù)序列,算法增益更為明顯。在初始化時(shí),除了人工標(biāo)注外,我們還可以采用文獻(xiàn)[8]中的預(yù)訓(xùn)練人體檢測算法進(jìn)行目標(biāo)的自動初始化。對每個(gè)視頻段,如果連續(xù)視頻幀中發(fā)生至少4次嚴(yán)重重疊的高置信度檢測并且未與任何其它軌跡相關(guān)聯(lián),則對新軌跡初始化。我們采用人體檢測效果顯著的ParkingLot1-2序列和TUDCrossing序列測試了目標(biāo)自動初始化情況下的本文算法性能,實(shí)驗(yàn)結(jié)果見表3。從表3可以看到,采用自動初始化策略時(shí),本文方法的性能并沒有顯著變化,MOTA、MOTP和MT等性能反而略有下降。這主要是因?yàn)?與人工標(biāo)注方法相比,部分序列的部分軌跡起始時(shí)間較晚,由于虛警現(xiàn)象增加,MOTA等性能出現(xiàn)下降。最后,為了比較采用IP或LP時(shí)本文拉格朗日松馳方法的復(fù)雜性,我們分別部署了本文方法的IP和LP版本。采用文獻(xiàn)5實(shí)驗(yàn)結(jié)果與分析針對現(xiàn)有的目標(biāo)跟蹤算法的不足,本文提出了一種綜合了結(jié)構(gòu)化學(xué)習(xí)和全局?jǐn)?shù)據(jù)關(guān)聯(lián)的跟蹤算法。本文方法的核心是為每個(gè)目標(biāo)學(xué)習(xí)一個(gè)模型的結(jié)構(gòu)化學(xué)習(xí)過程。將推理