車輛重識(shí)別 (ReID)方法 - 算法、未來挑戰(zhàn)和方向_第1頁
車輛重識(shí)別 (ReID)方法 - 算法、未來挑戰(zhàn)和方向_第2頁
車輛重識(shí)別 (ReID)方法 - 算法、未來挑戰(zhàn)和方向_第3頁
車輛重識(shí)別 (ReID)方法 - 算法、未來挑戰(zhàn)和方向_第4頁
車輛重識(shí)別 (ReID)方法 - 算法、未來挑戰(zhàn)和方向_第5頁
已閱讀5頁,還剩49頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

車輛重識(shí)別(ReID)旨在將來自分布式網(wǎng)絡(luò)攝像機(jī)拍攝的不同交通聯(lián)。這項(xiàng)任務(wù)在以車輛為中心的技術(shù)領(lǐng)域中占據(jù)著至關(guān)重要的地位,在部署智能交通系統(tǒng)輛ReID技術(shù)的演變。因此,對以深度學(xué)習(xí)為核心的車輛ReI本文廣泛探討了應(yīng)用于車輛ReID的深度學(xué)習(xí)技術(shù)。它概述了這些方法的分類督方法,深入研究這些類別中的現(xiàn)有研究,介紹數(shù)據(jù)集和評估標(biāo)準(zhǔn),并闡明未來的挑戰(zhàn)和潛在研究方向。這篇全面的評估考察了深度學(xué)習(xí)在車輛ReID中的應(yīng)用,并建立了未起點(diǎn)。它旨在通過突出挑戰(zhàn)和新興趨勢,促進(jìn)利用深度學(xué)習(xí)模型在車輛ReI車輛是社交生活中最受歡迎和重要的部分。近年來與車輛相關(guān)識(shí)別、車輛跟蹤、車輛檢索等,已經(jīng)促使智能交通系統(tǒng)(ITS)和智能城市的實(shí)現(xiàn)。在這個(gè)技術(shù)領(lǐng)域縮小檢索范圍,并最終提高結(jié)果的質(zhì)量。這個(gè)過程中關(guān)鍵元素是提取和比較從車輛圖像中提取的特征,通常稱為車輛ReID。車輛ReID旨在在由各種相機(jī)在不同的時(shí)識(shí)別特定車輛。它在廣泛的智能交通系統(tǒng)中尤為突出,并應(yīng)用于各種視頻監(jiān)控場景,包括定位丟失近年來,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展和其在高性能自動(dòng)目標(biāo)檢測方面的成功,車了許多研究行人和工業(yè)界人士的關(guān)注。根據(jù)對幾篇研究論文的調(diào)查,作者總結(jié)為了學(xué)習(xí)視覺特征,通常,卷積神經(jīng)網(wǎng)絡(luò)(CNN)及其變體已經(jīng)被廣泛應(yīng)用于從車輛全局特征,而沒有考慮其豐富的細(xì)節(jié),因此不適合用于區(qū)分視覺上相似的車輛。為了解決這個(gè)問征可以反映額外的細(xì)節(jié)。這些方法主要強(qiáng)調(diào)從圖像分區(qū)中學(xué)習(xí)局部特征,考慮區(qū)域之間的關(guān)系,或深度度量學(xué)習(xí)旨在通過深度模型獲得多維特征空間,以便具有相同類別標(biāo)簽的實(shí)例接近,而具有不無監(jiān)督方法試圖在沒有類別標(biāo)簽的數(shù)據(jù)中完全發(fā)現(xiàn)適當(dāng)?shù)男畔ⅲ梢苑譃閮蓚€(gè)組:無監(jiān)督域自適應(yīng)和完全無監(jiān)督。前者方法專注于應(yīng)用一些修改過的對抗網(wǎng)絡(luò)(GAN),如后者主要旨在開發(fā)聚類算法和訓(xùn)練策略,從目標(biāo)域數(shù)據(jù)中僅發(fā)現(xiàn)適當(dāng)?shù)男畔?,而不考慮其他輔助信雖然最近的成就主要集中在提高車輛ReID模型的性能并解決其問題,但較和改進(jìn)的全面審查。據(jù)作者所知,沒有對全面研究的徹底回顧,以概括和發(fā)現(xiàn)這個(gè)主題的所有方面,除了對監(jiān)督方法的一些調(diào)查。因此,有必要回顧當(dāng)前的最好狀態(tài),為這個(gè)主題的未來在這次回顧中,作者全面調(diào)查了使用深度學(xué)習(xí)方法的車輛ReID,介紹了這些方法的監(jiān)督和無監(jiān)督方法,回顧了這些類別的現(xiàn)有研究,解釋了知名數(shù)據(jù)集和評估標(biāo)準(zhǔn),并描述了未來研究的挑戰(zhàn)和可能的方向。這次回顧檢查了基于深度學(xué)習(xí)的車輛ReID的現(xiàn)狀。它為基礎(chǔ)和起點(diǎn),指出了相應(yīng)的挑戰(zhàn)和趨勢。最終結(jié)果將對未來使用深度學(xué)習(xí)模型開發(fā)和定義為任意大規(guī)模的車輛圖像庫,由不同的攝像頭在監(jiān)控系統(tǒng)車輛方向是一個(gè)重要的因素,它影響著車輛ReID模型的效率,因?yàn)樵趶牟煌耐庥^通常會(huì)有較大的變化。提取的外觀特征必須能夠利用微小的細(xì)節(jié),如擋風(fēng)玻璃后面的裝飾和發(fā)動(dòng)機(jī)進(jìn)氣口,來區(qū)分從相同角度捕獲但視覺上相似的車輛。車輛ReID模型需要提得排名。因此,有效解決車輛ReID問題的關(guān)鍵組件是通過合適的基礎(chǔ)深度學(xué)習(xí)模型正如前面提到的,監(jiān)督方法主要關(guān)注使用監(jiān)督學(xué)習(xí)技術(shù)從車輛圖像中學(xué)習(xí)有用的視覺特征,以實(shí)現(xiàn)車輛ReID問題的解決。這是通過兩種不同的策略實(shí)現(xiàn)的:特征學(xué)習(xí)和度量學(xué)習(xí)。前模型通過學(xué)習(xí)車輛圖像中的穩(wěn)健和有鑒別性的特征來處理車輛ReID問題。相比之下計(jì)距離和損失函數(shù),以便具有相同類別標(biāo)簽的實(shí)例接近,而具有不同類別標(biāo)簽的實(shí)例遠(yuǎn)離彼此。本最近的研究主要集中在采用各種CNN來提取全局或局部特征,并將它們與聚合模塊結(jié)合,通過特征全局特征學(xué)習(xí)方法通常采用CNN的池化層來壓縮全局特征,忽略局部特征。方法[10]應(yīng)用了一個(gè)端到端的二分CNN框架,稱為深度鏈接距離學(xué)習(xí)(DRDL),將原始車輛圖像映射到Cartesian域,以便使用范數(shù)距離度量比較車輛的相似性。該框架同時(shí)使用Cartesian空間中的Triplet損失作為聚類損失函數(shù),以最小化具有相同身份標(biāo)簽的車輛圖像之間的距離,并最大化具有不同身份標(biāo)簽的圖像之間的距離。在[44]中,作者提出了一個(gè)擴(kuò)展圖像作為網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)通過聯(lián)合學(xué)習(xí)來學(xué)習(xí)圖像的視覺特征。網(wǎng)絡(luò)將輸入圖像映射到C為了考慮問題的內(nèi)在挑戰(zhàn)并提高ReID模型的實(shí)際泛化能力,提出了一些擴(kuò)用了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)和四部分從粗到細(xì)的排名損失函數(shù),以同時(shí)考慮所有重要挑取車輛的外觀特征。第一步,使用分類損失函數(shù)將具有相同模型的車輛聚類在一起,并隔離具有不同模型的車輛。然后,引入了粗糙的排名損失,以提高不同模型內(nèi)車輛之間的差異。同一模型內(nèi)不同車輛之間的差異也由細(xì)粒度的排名損失進(jìn)行表示。還利用了成對損失,將同一輛車的樣本盡可能地靠近。最后,他們應(yīng)用隨機(jī)梯度下降方法優(yōu)化CNN網(wǎng)絡(luò)權(quán)重并訓(xùn)練視覺外觀模型。盡管該模型已經(jīng)形式化了車輛ReID的主要問題,但型的有效性。在[45]中,將車輛圖像之間的關(guān)系表示為多個(gè)顆粒。還提出了兩種方法,即廣義[46]中的作者開發(fā)了一個(gè)集成的CNN基礎(chǔ)框集成了四個(gè)不同的子網(wǎng)絡(luò),包括識(shí)別、屬性識(shí)別、驗(yàn)證和三元組,以學(xué)習(xí)各種特征和樣本之間的關(guān)系。前兩個(gè)子網(wǎng)絡(luò)提取單個(gè)實(shí)例的詳細(xì)特征,而接下來的兩個(gè)子網(wǎng)絡(luò)則專注于樣本之間的關(guān)系。更具體地說,驗(yàn)證和三元組分別限制了兩個(gè)樣本和三個(gè)樣本之間的關(guān)系。最后,為了訓(xùn)練框架,他們定的特征,如車牌和時(shí)空信息,以使檢索結(jié)果更準(zhǔn)確并增強(qiáng)重排機(jī)制。在[47]中,作者提出了一種一種兩階段的深度模型,用于從多分辨率圖像中發(fā)現(xiàn)獨(dú)特的視覺特征。在第一階段,開發(fā)了一個(gè)多分枝網(wǎng)絡(luò),以獲取不同尺度的特定屬性。每個(gè)分枝都由類似的結(jié)構(gòu)CNN網(wǎng)絡(luò)組成,以產(chǎn)生其尺度特定的視覺特征。這些特征作為輸入傳遞到集成網(wǎng)絡(luò),以產(chǎn)生最終的視覺外觀模型。兩階段的輸出之點(diǎn)。作者將它們放在當(dāng)前部分中討論。例如,在[49]中,提出了一種兩分支深度模型,以提取全局和局部特征。在第一分支中,通過多級基于CNN的網(wǎng)絡(luò)提取全局外觀模型。還受到[50]和[51]的工作啟發(fā),建立了一個(gè)完全兩階段的CNN基于注意力方理,以提取最終的視覺特征。他們的評估結(jié)果證實(shí)了注意力機(jī)制在克服車輛ReID問題總之,盡管已經(jīng)提出了許多有價(jià)值的工作,但全局特征學(xué)習(xí)只考慮了車輛的整體視圖,忽略了對于車輛ReID至關(guān)重要的區(qū)分性局部特征;因此,這些車輛ReID車輛之間的顏色、品牌、類型和型號等屬性是普遍存在的,因此僅基于全局視覺特征進(jìn)此外,由于相機(jī)角度變化、不同天氣和光線條件以及車輛之間的相似性等挑戰(zhàn),使得深度模型在沒有考慮局部特征的情況下學(xué)習(xí)全局視覺特征無法有效克服車輛ReID的挑戰(zhàn)。本子節(jié)從車輛圖像分區(qū)學(xué)習(xí)的局部特征局部特征學(xué)習(xí)方法可以概括為恒定空間分區(qū)和部分檢測方法。除了常數(shù)空間分區(qū)間方法通常將特征圖在水平或垂直方向上分成幾部分,然后化。例如,在[19]中,提出了一種分叉的深度模型,包括條紋型和屬性感知型,同時(shí)考慮局部和全局特征。前者包括平均池化層和維數(shù)約簡卷積層,以發(fā)現(xiàn)局部視覺特征圖。同時(shí),后者通過監(jiān)測車輛屬性標(biāo)簽來提取全局特征圖,以區(qū)分具有不同屬性標(biāo)注的相似身份。最后,將車輛圖像的視覺特在[16]中,引入了一種名為RAM1的模型,該模型從一系列局部和全局區(qū)域中提取局部特征。該模型最初使用基于CNN的網(wǎng)絡(luò)生成一個(gè)共享特征圖。然后,四個(gè)深度卷積模型處同的全局和局部特征。此外,RAM訓(xùn)練通過在多個(gè)分類任務(wù)中逐步優(yōu)化softmax損失,同時(shí)考慮車此外,在[15]中,J.Zhu等人提出了一種四向深度學(xué)習(xí)特征(QD),將車輛圖像輸入到CNN中,以獲得其特征圖。然后,使用了四種類型的中等深度(即,16個(gè)卷積層)的QD-DLF網(wǎng)絡(luò),依次包括水平、垂直、對角線和反對角平均池層,將原始特征圖壓縮成方向特征圖。最后,通過空間歸一化和這些方向特征圖的連接,獲得最終的視覺外觀特征向量。在[18]中,B.Li等人關(guān)注了由于QD-DLF網(wǎng)絡(luò)之分為高度/寬度和通道特征圖。因此,這些三個(gè)特征圖,包括高度、寬度和通道特征圖,被生成并連接以獲得最終的特征圖。作者們開發(fā)了一種絡(luò),以學(xué)習(xí)更獨(dú)特的視覺外觀特征。第一個(gè)二個(gè)模塊則更注重每個(gè)車輛部分中的獨(dú)特特征。此外,他們開發(fā)了一種多粒度排序損失函數(shù),該函在C.Liu等人[20]的研究中,提出了一種自注出被輸入到包含多個(gè)卷積層的四個(gè)CNN塊中,以提取盡可能提取出用于車輛ReID的discriminative特征。他們采用了STN3和網(wǎng)格生成檢測器,如YOLO,來找到車輛部分并發(fā)現(xiàn)區(qū)分性局部特征。主要缺點(diǎn)度網(wǎng)絡(luò),因此需要大量的手動(dòng)標(biāo)注、批量訓(xùn)練和推理計(jì)車輛部分,包括燈(大燈和尾燈)、窗(前窗和后窗)和車輛品牌。他們部分,并檢測圖像。然后,將原始圖像和三個(gè)部分輸入到四個(gè)個(gè)全局特征圖和三個(gè)局部特征圖。最后,聚合模塊將這三個(gè)特征圖融合在一起,以獲得用于車輛在[31]中,作者們提出了VAC21數(shù)據(jù)集,用于發(fā)現(xiàn)車輛圖像中的關(guān)鍵信息。這個(gè)數(shù)據(jù)集包括一個(gè)包含7129張不同類型車輛的庫,這些車輛用21類層次屬性標(biāo)注(見表1)和邊界框標(biāo)注。據(jù)作者所知,這是唯一一個(gè)全面標(biāo)注了性的數(shù)據(jù)集。此外,他們在該數(shù)據(jù)集上訓(xùn)練了單張SSD網(wǎng)絡(luò)[57]作為各種計(jì)算機(jī)視覺任務(wù)的屬性檢測模型,如車輛ReID。例如,[58]采用了這個(gè)預(yù)訓(xùn)練的SSD檢測器來提取車輛屬性。他個(gè)屬性中的16個(gè),并將其輸入到部分引導(dǎo)的注意力網(wǎng)絡(luò)中,以識(shí)別關(guān)鍵部件的領(lǐng)域,并將提取的局從中學(xué)習(xí)局部特征。例如,在Gu等人的研究中,開發(fā)了一種兩步關(guān)鍵點(diǎn)近似方法。在前一步中,通過采用VGG-16網(wǎng)絡(luò),近似了二十個(gè)關(guān)鍵點(diǎn)和一個(gè)56x56熱力圖的協(xié)調(diào)。在下一步中,使時(shí)glass作為細(xì)化網(wǎng)絡(luò),以增強(qiáng)熱力圖并減少由于難以察覺的關(guān)鍵點(diǎn)引起的偽影。卷積網(wǎng)絡(luò)處理這些關(guān)鍵點(diǎn)和車輛方向估計(jì)信息,以選擇自適應(yīng)關(guān)鍵點(diǎn)和提取局部特征。同時(shí),使用預(yù)訓(xùn)練的此外,在Z.Wang等人的研究中,引入了征以外的方向不變的局部特征。更具體地說,使用小時(shí)glass網(wǎng)絡(luò)估計(jì)二十個(gè)垂直關(guān)鍵點(diǎn)的位置,然個(gè)局部特征向量。最后,通過一個(gè)自定義卷積層將這些特征組合在一起,得到方向不變的特征向類似地,在Zheng等人的研究中,引入了一種基于關(guān)鍵點(diǎn)的圖像分割模型,將原始車輛圖像分幾個(gè)前景部分,并檢測每個(gè)部分是否具有區(qū)分性。深度網(wǎng)絡(luò)處理一組具有區(qū)分性的部分和原始圖這些方法可能會(huì)因?yàn)椴糠址謪^(qū)的匹配問題而出現(xiàn)效率低下。相比之下,部分檢測方法可以減輕匹配局特征,而GCN用于學(xué)習(xí)部分區(qū)域計(jì)算的局部特征之間的關(guān)系。GCN是一種深度神經(jīng)網(wǎng)絡(luò),可以識(shí)發(fā)現(xiàn)部分級獨(dú)特的特征,并確定車輛ReID中部分之間的關(guān)系。將車輛圖像通過圖像部分后,PCRNet采用兩個(gè)獨(dú)立的模塊分別發(fā)現(xiàn)局部和全局特征。開發(fā)了一個(gè)基于CNN的模型來發(fā)現(xiàn)全局特征。基于車輛車身結(jié)構(gòu)的局部特征之間的關(guān)聯(lián)關(guān)系,構(gòu)建了一個(gè)部分鄰接圖。然后,使用類似地,受GCN啟發(fā)的HSS-SCN6在[23]中被提出,以了解車輛車身部件多的獨(dú)特特征用于車輛ReID。與大多數(shù)先前的作品一樣,這個(gè)框架包括在局部特征模塊中,采用了恒定空間分區(qū)方法將全局特征圖劃分為五個(gè)局部區(qū)域,包括特征的上左、上右、中間、下左和下右。這五個(gè)特征圖和全局特征圖形成圖的頂點(diǎn),所有局部或全局頂點(diǎn)之聯(lián)以及車輛圖像之間的外在結(jié)構(gòu)關(guān)聯(lián)。特別是,SGAT局部特征。這些特征被ConCat在一起形成車輛的視覺外觀特征。同時(shí),將畫廊圖像輸入到屬此外,F(xiàn).Shen等人[25]提出了局特征圖。接下來,通過應(yīng)用五個(gè)池化層同時(shí)縮放全局特征圖來生成多尺度特征圖。然后,在每個(gè)尺度上構(gòu)建SG9s,其中相應(yīng)的尺度特征圖的元素作為頂點(diǎn),頂點(diǎn)之間的空間相似性作為邊。在每個(gè)ConCat在一起以產(chǎn)生獨(dú)特的車輛視覺特征。在[64]中,作者采用了一個(gè)Transformer[65],以挖掘全局特征并使盡管考慮部分區(qū)域之間關(guān)系的方法已經(jīng)取得了有前途的結(jié)果,但它們?nèi)匀粵]有考慮局部特征和全局特征之間的相關(guān)性,以及其他描述性屬性(如顏色、視點(diǎn)、品牌等),因此它們還沒有達(dá)到足夠的Transformer-basedFeatureLearning后來,研究行人將Transformer應(yīng)用于計(jì)算機(jī)視覺CNN相比。例如,ViT10已在A.Dosovits部分級對應(yīng)關(guān)系,通過建模部分內(nèi)和跨視點(diǎn)之間的對應(yīng)關(guān)系。更具體地說,多個(gè)視圖圖像被分正如前文所述,GCN僅考慮部分區(qū)域之間的關(guān)系,并單獨(dú)提取究中[26],GiT12將GCN和Transformer結(jié)合在和合作。在微觀視角下,車輛圖像被劃分為多個(gè)稱為patch的具有多個(gè)意義的部分,每個(gè)GiT塊都與下一個(gè)塊相連,模型化局部和全局特征之間的交互,并提供用于車輛R模型。Z.Yu等人[72]開發(fā)了SOFCT13schema,以探索習(xí)器被應(yīng)用于學(xué)習(xí)這些數(shù)據(jù),并在網(wǎng)絡(luò)訓(xùn)練期間更新以學(xué)習(xí)整個(gè)圖像的統(tǒng)顏色、位置、視點(diǎn)和模型等其他屬性結(jié)合,并輸入到Tran外,車輛圖像被分為五個(gè)類別(前、后、頂、側(cè)),因此圖像塊也被分為五個(gè)類別并使用centered全局特征,提取更具有區(qū)分性的局部特征,并證明被遮擋局特征上的背景效應(yīng),車輛圖像Mask被估計(jì)采用U-Net與SEResNeXt50,預(yù)測每簽(Mask值),像素只能收到五個(gè)類別標(biāo)簽中的一個(gè),分別是車輛的前、后、頂、側(cè),用自然數(shù)1到4表示。車輛Mask被劃分為重疊的塊,然后通過線性投影層將其映射到語義特征域。同時(shí),原始語義特征圖、標(biāo)記特征圖及其位置信息被ConCat起centered全局特征。在第二步中,為每個(gè)車輛圖像構(gòu)建一個(gè)有向G行劃分。然后,將GCN的鄰接矩陣輸入到Transfo其他物體遮擋的車輛的局部特征。此外,在Z.Li等像中去除背景效應(yīng)。更具體地說,他們提出了SMNet,由兩個(gè)獨(dú)立的模塊NPF和SFE組成,分別負(fù)責(zé)背景效應(yīng)減少和細(xì)粒度特征發(fā)現(xiàn)。NPF將ViT擴(kuò)展為一個(gè)噪聲濾波器,在不需要標(biāo)注的情況下檢測背景并消除其影響。SFE使用自注意力機(jī)制提取車輛的最顯著特征。盡管這個(gè)模型看起來是自在車輛ReID的背景下,知識(shí)指的是除視覺外觀特征和車輛屬性之外的空間-時(shí)間或時(shí)間屬性包括車輛軌跡、攝像頭位置和周圍攝像頭、天氣條件、白天狀態(tài)等。知識(shí)-based利用視覺特征和車輛屬性的外部知識(shí)進(jìn)行車輛ReID。通常,無法在這些方法和其他知識(shí)-based方法利用空間-時(shí)間信息覺外觀、時(shí)間戳和攝像頭地理位置定義為視覺-空間-時(shí)間狀態(tài),并引入兩階段架構(gòu)來考慮視覺-空間-時(shí)間狀態(tài)并有效改進(jìn)車輛ReID結(jié)果。它通過優(yōu)化鏈?zhǔn)組RF15模型來在第一階段生成Query和庫圖像的時(shí)空軌跡。LSTM網(wǎng)絡(luò)然后驗(yàn)證軌跡,Siamese-CNN計(jì)算相似度分?jǐn)?shù)ReID模型的泛化能力。這些部分旨在提取顏色、型號和外觀特征。還提出等人[77]開發(fā)了一個(gè)兩階段的schema,第一階段使用多任務(wù)深度網(wǎng)絡(luò)來發(fā)現(xiàn)獨(dú)特的特征,并在第二PROVID16schema,用于考慮車此外,在[78]中,利用空間-時(shí)間信息來填充車輛ReID任務(wù)中的視覺特征的不足。De一個(gè)卷積神經(jīng)網(wǎng)絡(luò),用于發(fā)現(xiàn)視覺特征并檢索每個(gè)Query的一組圖像。然后,結(jié)果集中的位置和時(shí)塊來發(fā)現(xiàn)全局和局部視覺特征以及一個(gè)空間-時(shí)間模塊來建立一個(gè)距離函數(shù)以測量車輛圖像之間的位置和時(shí)間戳相似性。而不是使用轉(zhuǎn)移時(shí)間矩陣和空間-時(shí)間約束,距離函數(shù)使用隨機(jī)變量分布來計(jì)然而,在某些基于知識(shí)的方法中,收集空間-時(shí)間信息需要大量的手動(dòng)標(biāo)注工作,并使用MCMT任務(wù),這損害了這些方法的scalability和generalizability。因此,在最近的工作中,對采用所有空間-時(shí)間信息,尤其是相鄰攝像機(jī)圖像之間的關(guān)聯(lián)以及車輛的運(yùn)動(dòng)路徑,給予的關(guān)注較少。通常只使MetricLearning如圖3所示,度量學(xué)習(xí)的關(guān)鍵目的是學(xué)習(xí)一個(gè)將物體圖像映射到新視覺外觀空間的表示函數(shù),其中具有相同類別標(biāo)簽的目標(biāo)盡可能地靠近彼此,而具有不同類別標(biāo)簽的目標(biāo)則更遠(yuǎn)離彼此。對比損失和首先,作者定義一些符號。訓(xùn)練集表示為D={liRDli=1………N}和Gu:RD→Rd表示一個(gè)神經(jīng)網(wǎng)絡(luò)或任何參數(shù)函數(shù)作為嵌入函數(shù),將輸入樣本映射到嵌入特征空間。在做出這些假設(shè)交叉熵?fù)p失,也稱為soft-max損失,主要用于處理分類問題而,由于在車輛ReID模型中,交叉熵?fù)p失與度量學(xué)習(xí)損失函數(shù)一起應(yīng)用,qi=i≠i=y(tǒng)qi=(1ε)i-KE對比損失對比損失會(huì)將一對訓(xùn)練點(diǎn)(標(biāo)記為相似或不同)映射到嵌入空間,使得相似點(diǎn)更接近,不同點(diǎn)更遠(yuǎn)。形式上,對于任意一對訓(xùn)練點(diǎn)liljERD,分配一個(gè)二進(jìn)制標(biāo)簽,如下所示:Gli)2}并且m>0是一個(gè)超參數(shù),它確定了不同點(diǎn)之間的最小距離。此外,為了實(shí)現(xiàn)具有低時(shí)間復(fù)雜度的觀點(diǎn)不變嵌入函數(shù),作者提出了采用BH19作為最硬、BA2P(Ia)和N(Ia)分別表示類似于Anchor點(diǎn)實(shí)例I的正負(fù)實(shí)例子集。則,修改后的TripletLoss可Gu(I")2+aL(U)=∑I∈P(IaLIa)LML25假設(shè)已經(jīng)通過任意分類損失函數(shù)(例如,熵?fù)p入特征空間,并試圖微調(diào)網(wǎng)絡(luò)。受到SVM26的啟發(fā),LML在嵌入空間中尋找決策邊界,以分離具有LMLe,LLMLe,其中入是一個(gè)正則化參數(shù)。此外,在[103]中,提出了一種基于反向傳播的LML-based度量學(xué)習(xí)算法●群體群體學(xué)習(xí)損失練數(shù)據(jù)集分成組,每組只包含同一車輛身份的所有圖像。GGL然后更新模型權(quán)重,使具有相同身份假設(shè)M表示身份的數(shù)量,ni表示第i個(gè)身份的實(shí)例數(shù)量,第j個(gè)實(shí)例的i個(gè)身份的特征向量可以表示為fji,其中i=1,2…M,j=1,2…i。在嵌入特征空間中,第i個(gè)身份的樣本的平均值和為了i=1,2…M。遵循這些假設(shè),GGL損失函數(shù)定義如下:外,范圍損失函數(shù)和圓損失被引入,以降低類內(nèi)離散度,同時(shí)增加類間相似度。同樣,中心損失已在面部識(shí)別任務(wù)中使用,以提高特征的判別力。多粒度排名損失已在車輛ReID中引入有判別力的深度特征。多類N對損失作為傳統(tǒng)三元的通用化,以克服慢收斂問題。此外,在研究X.Wang等人[104]中,提出了排名列表損失,以實(shí)現(xiàn)快速收斂和高性能的近年來,基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)技術(shù)的迅速發(fā)展導(dǎo)致了各種監(jiān)督車輛重一項(xiàng)耗資和耗時(shí)的任務(wù)來準(zhǔn)備。特別是,訓(xùn)練集不足會(huì)導(dǎo)致監(jiān)督模型在轉(zhuǎn)移到實(shí)際的大規(guī)模監(jiān)控系統(tǒng)時(shí),效率會(huì)以指數(shù)下降。從學(xué)者的角度來看,無監(jiān)督學(xué)習(xí)是克服這些限制的有效方法,無需標(biāo)注基于深度學(xué)習(xí)的無監(jiān)督方法通?;谶w移學(xué)習(xí)發(fā)展,其中在一個(gè)數(shù)據(jù)集上訓(xùn)練的模型被微調(diào)或適應(yīng)以在不同的但相關(guān)的數(shù)據(jù)集上工作,作為目標(biāo)域。根據(jù)源域和目標(biāo)域是否已標(biāo)記,遷移為四類,如圖4所示。由于這種分類,無監(jiān)督車輛ReID技術(shù)可以分為Unsuperviseddomainadaptionmethods無監(jiān)督域自適應(yīng)涉及在源域(一個(gè)領(lǐng)域)的數(shù)據(jù)上訓(xùn)練一個(gè)模型,并在沒有標(biāo)記的目標(biāo)域(另一個(gè)領(lǐng)域)上適應(yīng)以執(zhí)行,在訓(xùn)練期間沒有使用標(biāo)記的目標(biāo)域數(shù)據(jù)。目標(biāo)是減少源域和目標(biāo)域之間的差異,使模型在面對新且未見過的數(shù)據(jù)時(shí)能更好地泛化。在機(jī)器學(xué)習(xí)領(lǐng)域,已經(jīng)提出了幾種用于無監(jiān)別器在訓(xùn)練主任務(wù)時(shí),同時(shí)對來自不同域的表示進(jìn)行對齊。另一種方法是實(shí)例基礎(chǔ)方法,它通過使用技術(shù)如MMD或CORAL來匹配域分布似于源域的合成目標(biāo)域數(shù)據(jù),有效地減少了域間差異。據(jù)作者所知,關(guān)于無監(jiān)督車輛Re[115]和[116]的作者解決了由訓(xùn)練(源域)挑戰(zhàn)。這個(gè)挑戰(zhàn)源于不同領(lǐng)域的異質(zhì)性,表現(xiàn)在各種圖像特征上,包括不同的背景、的轉(zhuǎn)換框架,旨在將源域的風(fēng)格轉(zhuǎn)移到目標(biāo)域,同時(shí)保持它們的身份信息示車輛視點(diǎn)的關(guān)鍵點(diǎn),然后生成一個(gè)對應(yīng)于新視點(diǎn)的假圖像來解決姿態(tài)變化問題。此外,在[118]中,探索了識(shí)別跨不同領(lǐng)域的相同車輛的任務(wù),即包括白天和紹了一種基于GAN的框架,將兩個(gè)輸入圖像轉(zhuǎn)換為屬于另一個(gè)領(lǐng)域的圖像。然后,利用四通過UDA學(xué)習(xí)的表示通常缺乏任務(wù)特定方向,這意味著它們通常不會(huì)同時(shí)具備分類判別和的特點(diǎn)。在UDA中的車輛ReID領(lǐng)域,已經(jīng)致力于解決這一問題。值得注意的任務(wù)相關(guān)的關(guān)鍵信息;另一個(gè)包含與任務(wù)無關(guān)的方面,包括無法轉(zhuǎn)移或破壞性的數(shù)據(jù)。域間使用任題。這個(gè)基于Transformer的網(wǎng)絡(luò)旨在增強(qiáng)圖像注意力在源域和目標(biāo)域之間的判別性車輛組件。它包含一個(gè)域編碼器模輕域相關(guān)因素的影響。此外,在每次訓(xùn)練周期開始之前,應(yīng)用對比聚類損失對目標(biāo)樣本的特征表示記的有效性極大地取決于通過聚類方法直接影響偽標(biāo)簽生成的特定超參數(shù)的選擇。為解決這個(gè)挑驗(yàn)證集;其次,通過特征判別性的條件對齊來盡管基于UDA的方法在車輛ReID方面取得了成就,但它們通常需要來自不能限制了它們在實(shí)際場景中的適用性。因此,有時(shí)完全無監(jiān)督的方法由于與實(shí)際應(yīng)用的兼容性而受Fullyunsupervisedmethods完全無監(jiān)督方法可以直接從未標(biāo)注的數(shù)據(jù)中提取有意義的信息,無需標(biāo)注或標(biāo)記數(shù)據(jù)。這種特得這些方法更適合和適應(yīng)實(shí)際應(yīng)用和場景。這些方法主要關(guān)注開發(fā)多種聚類技術(shù)和漸進(jìn)訓(xùn)練策略作漸進(jìn)學(xué)習(xí)遵循逐步學(xué)習(xí)信息的方法,從簡單的概念開始,逐步發(fā)展到更復(fù)雜的概念。這種方法已在不同的計(jì)算機(jī)視覺任務(wù)中廣泛應(yīng)用,如人臉識(shí)別,圖像分類,行人ReID,等等。DUPL-VR和VR-圖像輸入到基礎(chǔ)CNN網(wǎng)絡(luò)中,利用預(yù)先建立的權(quán)重“偽”標(biāo)簽的聚類ID。然后,應(yīng)用特定的啟發(fā)式約束來改進(jìn)聚類結(jié)果,以增強(qiáng)聚類的準(zhǔn)確性和穩(wěn)定性。然后,使用聚類后的車輛作為額外CNN網(wǎng)絡(luò)的校準(zhǔn),該網(wǎng)絡(luò)的架構(gòu)與基礎(chǔ)CNN相同。這個(gè)迭代過程通過將不斷增強(qiáng)的聚類納入訓(xùn)練數(shù)據(jù)集,不斷擴(kuò)展訓(xùn)練數(shù)據(jù)集,實(shí)現(xiàn)無監(jiān)督的自漸進(jìn)學(xué)習(xí),直到收斂。A.Zheng等人[123]提出了一種以漸進(jìn)學(xué)習(xí)為中心的無監(jiān)督車輛Re-ID法。首先,使用視角預(yù)測網(wǎng)絡(luò)提取視角細(xì)節(jié),同時(shí)通過利用斥力損失函數(shù)學(xué)習(xí)每個(gè)樣本的獨(dú)特特征。然后,將特征空間根據(jù)預(yù)期的視角劃分為不同的子空間。然后,應(yīng)用漸進(jìn)聚類算法來發(fā)現(xiàn)樣本類似地,在[3]中提到的研究行人將漸進(jìn)學(xué)習(xí)應(yīng)用于解決無監(jiān)督車輛ReID挑戰(zhàn)。他發(fā),主要關(guān)注區(qū)分可靠樣本并實(shí)現(xiàn)網(wǎng)絡(luò)的漸進(jìn)算法訓(xùn)練。他們的方法有兩個(gè)基本差異:首先,他們設(shè)計(jì)了一個(gè)多支路背部來捕捉全局和局部特征,利用這種雙重信息來創(chuàng)建可靠聚類,從而減輕難以樣本的影響。此外,他們的方法開始階段分別利用全局和局部特征進(jìn)行訓(xùn)練,然后逐漸過渡到這些不同的研究小組已經(jīng)準(zhǔn)備了許多標(biāo)準(zhǔn)數(shù)據(jù)集和基準(zhǔn)來驗(yàn)證車輛ReID模型的優(yōu)越性。本節(jié)VehicleID在中國一個(gè)小規(guī)模的白天,許多不重疊的監(jiān)控?cái)z像頭收集了"車輛ID"數(shù)據(jù)集。平均每輛車有8.44張此外,考慮了車輛的兩個(gè)方向,包括前或后,并且未標(biāo)注視圖信息。每輛車包含多于一個(gè)圖像,因這個(gè)數(shù)據(jù)集包括訓(xùn)練集和測試集。訓(xùn)練集中有110178張圖像,涉及13134輛車,其中47,558輛帶有這個(gè)數(shù)據(jù)集是在相對受限的情況下收集的,大約有20個(gè)攝像頭在白天使用,包括兩種方向視圖,低VeRi-776集,如方向、照度和遮擋。它包含619輛車的40000張圖像,帶有各種屬性,包括車輛邊界框、品輛軌跡視為時(shí)空信息。它包含超過50000輛車輛圖像,776輛車輛身份這個(gè)數(shù)據(jù)集是在一個(gè)單一的白天(下午4點(diǎn)到5點(diǎn))在一個(gè)1平方公里的小區(qū)域內(nèi)記錄的,因此缺乏足VD1andVD2VD1和VD2數(shù)據(jù)集是從交通攝像頭和監(jiān)控視頻中分別收集的車輛正面圖像。在這兩個(gè)數(shù)據(jù)集中,每VD1數(shù)據(jù)集包含846358張圖像,涉及141756輛車,有11種顏色和1232種型號,分為訓(xùn)練集和測試集。VD2數(shù)據(jù)集包含807260張圖像,涉及79763輛車,有11種顏色和1112種型號。兩個(gè)數(shù)據(jù)集的這些數(shù)據(jù)集在車輛ReID挑戰(zhàn)中大大簡化了問題,因?yàn)榇蠖鄶?shù)圖像是從單一視圖捕獲這個(gè)數(shù)據(jù)集包含由60個(gè)攝像頭的復(fù)雜道路交通監(jiān)控系統(tǒng)在白天和夜晚捕獲的60,430張圖像,涉及5622輛車輛的身份。VRIC包括24個(gè)監(jiān)控位置,幾乎覆蓋了這個(gè)數(shù)據(jù)集被分為訓(xùn)練集和測試集。訓(xùn)練集包括54,808張圖像,涉及2811個(gè)身份,而測試集包括CityFlow四十二個(gè)非重疊監(jiān)控?cái)z像頭在美國一個(gè)中型城市像頭之間的最大距離為2.5公里。該數(shù)據(jù)集包含229680輛車的圖像,涉及666個(gè)不同的車輛身份,每這個(gè)數(shù)據(jù)集包含3.25小時(shí)的視頻,包含如高速公路、公路和交叉口等地點(diǎn)。每個(gè)視頻的起始時(shí)間偏CityFlow是第一個(gè)支持多目標(biāo)多攝像頭(MTMC)車輛跟蹤的公開基準(zhǔn)。為CityFlow-ReID包含總共56277輛車的圖像和4.55個(gè)攝像頭視圖括一個(gè)訓(xùn)練集,包含333個(gè)車輛身份和36935張圖像,以及一個(gè)測試集,包含333輛車和18290VERI-Wild2.0VERI-Wild2.0數(shù)據(jù)集是通過擴(kuò)展VERI-Wild[128]來全面評估車輛ReID模型的判別和這個(gè)數(shù)據(jù)集包含許多同一型號的車輛,其樣本包括非常復(fù)雜的背景、的天氣條件。它包含825042張圖像,涉及42790個(gè)車輛身份,涵蓋了各種這個(gè)數(shù)據(jù)集包含許多同一品牌或型號的車輛實(shí)例。平均而言,在霧天、雨天和晴天,每輛車的每個(gè)身份都被從不同的視點(diǎn)獲取約59個(gè)樣本。更具體地說,在霧天和雨天,分別有7.1%和3.48%這個(gè)數(shù)據(jù)集被分為訓(xùn)練集和測試集,分別包含277797和398728張圖像。此外,174個(gè)攝像頭捕捉訓(xùn)練集,100個(gè)攝像頭用于測試集。由于訓(xùn)練集和測試集中的攝像頭不重疊,因此可以在不同的光線條件、視點(diǎn)和復(fù)雜背景下評估車輛ReID模型的判別和泛化能力。測試集被分為三個(gè)子現(xiàn)有文獻(xiàn)中提出了許多評估策略,這些策略強(qiáng)調(diào)了數(shù)據(jù)集選擇和性能指標(biāo)是車輛ReI面。通過采用這些評估策略,研究行人和從業(yè)行人可以全面評估和比較不同車DatasetSelection利用包含各種在不同場景、時(shí)間和環(huán)境條件下獲得的車輛圖像的標(biāo)準(zhǔn)數(shù)據(jù)集來評估研究挑戰(zhàn)是至關(guān)可以通過在不同數(shù)據(jù)集上評估模型來衡量其通用性和魯棒性。這驗(yàn)證了模型在訓(xùn)練數(shù)據(jù)之外的各種設(shè)置下的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論