YOLO算法思路研究

1緒論研究背景與意義當(dāng)今，隨著我國經(jīng)濟(jì)的不斷發(fā)展，人們的生活水平不斷改善，越來越多的汽車進(jìn)入了普通家庭，車輛儼然走進(jìn)千家萬戶并發(fā)展成為日常生活中的主要代步工具。當(dāng)汽車在給人類的出行方式帶來方便和快捷時，也造成了道路交通擁堵等問題。近年來，由于交通擁堵造成的環(huán)境污染問題已成為人們越來越重視的問題。基于城市道路所占面積有限、軌道交通建設(shè)所需時間長且花費較大等原因，通過傳統(tǒng)的道路擴(kuò)建和采用軌道交通疏解擁堵的方式來解決城市交通擁堵的問題比較困難。因此，想更好的解決上述問題，提出了智能交通的概念，智能交通已成為計算機視覺研究中應(yīng)用最廣泛的領(lǐng)域之一。交通智能化主要分為兩種思路：一種是交通管理設(shè)施智能化，另一種思路是車輛智能化。上述兩種思路方案中所用到的關(guān)鍵技術(shù)均為車輛檢測技術(shù)。從目前的研究現(xiàn)狀來看，車輛檢測仍然存在需要進(jìn)一步完善的地方，比如檢測速度慢，檢測精度不高等問題，尤其是在現(xiàn)實生活中所采集的圖片會受到諸多外界因素的影響，例如天氣情況、車型不同和復(fù)雜交通場景下部分車輛重疊的情況等等，為了提高準(zhǔn)確率，減少誤差，這些因素都需要考慮。國內(nèi)外研究現(xiàn)狀目前，隨著對智能化交通監(jiān)控系統(tǒng)的需求不斷增加，車輛目標(biāo)檢測已成為熱門話題，受到越來越多的研究者們關(guān)注。近年來，基于機器視覺的車輛檢測可以提供比傳統(tǒng)方法更多的信息，計算機視覺的車輛檢測識別系統(tǒng)在城市智能交通監(jiān)控管理中發(fā)揮著越來越重要的作用。傳統(tǒng)的車輛檢測方法主要有聲波檢測、超聲波檢測、激光檢測和線圈檢測，其運用的主要技術(shù)是傳感技術(shù)，存在采集信息單一，可靠性低，資金消耗大等缺陷。隨著計算機技術(shù)的不斷發(fā)展，基于視頻的車輛技術(shù)越來越受研究者的重視，由于其設(shè)備具有易安裝、易升級和成本低等優(yōu)點，已成為智能交通系統(tǒng)的關(guān)鍵技術(shù)。在目標(biāo)檢測領(lǐng)域，CNN區(qū)域算法將目標(biāo)檢測的精度大大提高了，在此基礎(chǔ)上，新的方法不斷被提出，如R-CNN、FasterR-CNN等。雖然這些方法在精度上得到了提升，但都存在檢測速度慢的問題。Redmon等提出了一種基于回歸理論的目標(biāo)檢測算法YOLO[1]，將檢測速度提升到45幀，并且在保證精度的前提下，這大大提高了目標(biāo)檢測的速度。近年來，車輛檢測技術(shù)一直是熱門的研究領(lǐng)域，基于深度卷積網(wǎng)的車輛檢測技術(shù)研究[2]，從人工提取特征和深度卷積網(wǎng)自動提取特征兩個方面對車輛檢測進(jìn)行了研究?；赮OLO算法的車輛實時檢測[5]，取得了較高的檢測準(zhǔn)確率和檢測速度。本文主要內(nèi)容文中主要研究了基于YOLO的車輛檢測技術(shù)。首先，對YOLO算法做個簡單介紹，主要是其原理與實現(xiàn)方法，其中也與相關(guān)目標(biāo)檢測技術(shù)如FasterR-CCN等做了對比。然后，通過拍攝圖片和公開的資料庫建立自己的圖像庫，選取人工特征提取的方法與機器學(xué)習(xí)算法相結(jié)合，利用文中建立的圖像庫訓(xùn)練出來不同的模型，完成車輛檢測試驗。2簡介YOLO算法思路2.1YOLO的原理2.1.1目標(biāo)檢測目標(biāo)檢測一直受到研究者們的關(guān)注，目標(biāo)檢測技術(shù)也一直在不斷地更新，有效地提高了目標(biāo)檢測性能。目標(biāo)檢測關(guān)鍵在于要快速檢測出目標(biāo)的類別及位置，在復(fù)雜情況下，對檢測算法提出了更高的的要求。計算機視覺是目標(biāo)檢測中的關(guān)鍵之處，其不僅要對圖像進(jìn)行分類處理，還有完成目標(biāo)定位、目標(biāo)分割的任務(wù)，這對于計算機視覺來說難度頗高，極具挑戰(zhàn)性。在給定的圖片中，計算機視覺要能夠識別出目標(biāo)類別并標(biāo)出其位置，這需要經(jīng)過多重技術(shù)處理，最終達(dá)到實驗預(yù)期的效果。隨著目標(biāo)檢測技術(shù)的進(jìn)步，越來越多的人體驗到了算法帶來的好處，在眾多算法中，YOLO算法憑借其快速且已操作的優(yōu)勢被應(yīng)用于多重領(lǐng)域。2.1.2YOLO與滑動窗口對比YOLO算法領(lǐng)先于滑動窗口技術(shù)?；瑒哟翱诩夹g(shù)是將圖片進(jìn)行分割，達(dá)到分類的效果，其原理是通過不同大小和比例的窗口在整張圖片上進(jìn)行一定的步長滑動,再對這些窗口所包含的區(qū)域進(jìn)行處理識別，緊接著對圖像分類，最后完成對整張圖片的檢測。但這個方法存在一個缺點，就是無法確定所要檢測的目標(biāo)大小，在此情況下，需要設(shè)置不同大小和比例的窗口去滑動，并選擇適當(dāng)?shù)牟介L。此方法會產(chǎn)生很多子區(qū)域，大大增加了計算量，并且還需要通過分類器去做預(yù)測。在保證速度的前提下，我們需要簡化分類器。為了解決這個問題，一種思路是減少需要分類的子區(qū)域，它使用了選擇性搜索方法來查找最有可能包含目標(biāo)的子區(qū)域，事實上，其可以被視為一種過濾掉許多子區(qū)域的啟發(fā)式方法，這將提升效率；另一種思路是采用全卷積的方法，R-CNN用的就是此方法，后來提出了FasterR-CNN算法。此方法是讓卷積層代替全連接層，有效減少處理步驟，再經(jīng)過一系列卷積操作，最終提取出特征圖。雖然此過程中卷積的大小會減少，但是其位置關(guān)系依然可以相互對應(yīng)，這是由卷積操作特性決定的，即保持圖片空間位置的信息不變。盡管通過上述方法可以減少滑動窗口的計算量，但是對于大小和步長不固定的窗口，檢測效果不是很好，還達(dá)不到對目標(biāo)實時檢測的要求。YOLO算法很好的解決了這個問題，它不再是滑動窗口，而是直接將圖片分割成互不重合的網(wǎng)格，接著用各個元素去預(yù)測可能存在網(wǎng)格中的目標(biāo)，其中，分割網(wǎng)格并不等同于滑動窗口中的分割，YOLO算法是邏輯上的分割，這便是YOLO算法的思想。2.1.3設(shè)計理念總的來說，YOLO算法是基于端到端的目標(biāo)檢測技術(shù)，如圖2-1所示，YOLO檢測系統(tǒng)圖。首先將圖片進(jìn)行一定大小的調(diào)整，接著將其發(fā)送給CNN網(wǎng)絡(luò)，經(jīng)過卷積層等一系列處理，最后得到檢測的目標(biāo)結(jié)果。與R-CNN算法相比，YOLO是把整個圖片看做整體框架，這樣有效地提升了檢測速度。具體來說，YOLO的CNN網(wǎng)絡(luò)將輸入圖片劃分為網(wǎng)格，每個單元格負(fù)責(zé)檢測中心點圖2-1YOLO檢測系統(tǒng)為了更進(jìn)一步理解YOLO的設(shè)計理念，以下圖2-2為例，簡單介紹下。我們的目的是預(yù)測圖中的小狗及其所在的位置，從圖中可以看出，包含狗的網(wǎng)格有很多，這時就需要我們預(yù)測目標(biāo)的中心點大致落在哪個單元格中，落在哪個單元格，哪個單元格就負(fù)責(zé)預(yù)測目標(biāo)。每個單元格需要預(yù)測各個邊界框的置信度。這里有個概念需要理解下，即置信度。一般置信度有兩個方面構(gòu)成，一個是邊界框包含目標(biāo)的概率，用P（object）表示，很容易得到當(dāng)邊界框不包括目標(biāo)時P（object）=0,相反，當(dāng)邊界框包含目標(biāo)時，P（object）=1；另一個是這個邊界框的準(zhǔn)確度。通過預(yù)測框和實際框的交并比來表示，記為。通過對上面的分析，我們不難看出置信度可以用邊界框包含目標(biāo)的概率和邊界框的準(zhǔn)確度乘積表示，在一定程度上，此定義很好的反映了目標(biāo)檢測的準(zhǔn)確度。為了便于更具體地分析目標(biāo)檢測的效果，可以用4個值來表示邊界框的大小和位置，即采取坐標(biāo)系的研究方法，這四個值其中兩個坐標(biāo)值表示邊界框的中心坐標(biāo)，另外兩個表示寬與高。寬和高的預(yù)測值是對于整個圖片寬與高的比例，這樣設(shè)計的好處是讓每個元素的預(yù)測值都在0到1之間，最大限度地完成對目標(biāo)的檢測。再者，每個單元格的偏移值對應(yīng)于中心坐標(biāo)的預(yù)測值，并且單位是相對于單元格大小的，這樣，每個邊界框的預(yù)測值實際上包含五個元素，其中前四個表征邊界框的大小與位置，而最后一個值是置信度。圖2-2網(wǎng)格劃分2.1.4網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計YOLO的網(wǎng)絡(luò)結(jié)構(gòu)采用的是GooLNet模型，整體有24個卷積層和2個全連接層組成，大大降低了分類器的復(fù)雜程度，下圖2-4是其網(wǎng)絡(luò)結(jié)構(gòu)。YOLO是屬于深度學(xué)習(xí)的目標(biāo)檢測模型，即采用卷積網(wǎng)絡(luò)來提取特征，預(yù)測值是通過將提取到的數(shù)據(jù)經(jīng)過全連接層得到的。YOLO算法中，不同的層采取不同的函數(shù)，有效地提高檢測結(jié)果。其中，卷積層和全連接層，采用的是激活函數(shù)，最后一層使用的是線性激活函數(shù)。圖2-4YOLO網(wǎng)絡(luò)結(jié)構(gòu)每個單元格所表示的特征值也不同，前20個元素是類別概率值，接著2個元素表示邊界框的置信度，兩者相乘可以得到類別置信度，最后8個元素是邊界框的四個預(yù)測值。從圖中可以看到網(wǎng)絡(luò)的最后輸出為大小的張量?？紤]到計算量的問題，邊界框會把置信度和邊界預(yù)測框的四個預(yù)測值分開排列，從而有效降低計算量，需要指出的是，這30個元素可以任意排列并且同屬于一個單元格。然而，分離排布使得提取每個部分變得更加容易。2.2YOLO的優(yōu)點和缺點2.2.1YOLO的優(yōu)點第一，YOLO檢測目標(biāo)速度快。由于檢測流程并不復(fù)雜，YOLO將目標(biāo)檢測視為回歸問題，測試時，只需在新圖片上運行神經(jīng)網(wǎng)絡(luò)即可預(yù)測測試結(jié)果。YOLO在TitanXGPU沒有批量處理的情況下，其檢測速度能達(dá)到45FPS，而FasterYOLO檢測速度可以達(dá)到155FPS。處理流式視頻大大降低了延遲時間，另外YOLO達(dá)到了高于其他實時系統(tǒng)兩倍以上的平均精度。YOLO可以非?？斓赝瓿赡繕?biāo)檢測任務(wù)。第二，YOLO是在整個圖像上進(jìn)行推斷的，可以有效地避免背景錯誤。與采用滑動窗口或區(qū)域選擇技術(shù)不同，YOLO在訓(xùn)練期間和測試時都會考慮到整個圖像，所以每一個網(wǎng)格對應(yīng)的預(yù)測結(jié)果都相當(dāng)于使用了整個圖像的上下文信息，可以很好的避免在背景上預(yù)測出錯誤的物體信息，而采用滑動窗口技術(shù)，分類器智能得到圖像的局部信息。FasterR-CNN也是一種很好的檢測方法，但由于它看不到整個圖片信息，往往背景塊會被誤檢測為目標(biāo)。與FasterR-CNN相比，YOLO降低了背景檢測錯誤率。第三，YOLO能學(xué)到更泛化的特征。把訓(xùn)練模型用于藝術(shù)圖像中測試，YOLO比DPM和R-CNN效果更加明顯。正是由于YOLO的高度泛化能力，在新領(lǐng)域中采用YOLO算法也能很好地避免出現(xiàn)故障。2.2.1YOLO的缺點雖然YOLO的檢測速度很快，但在精度方面，YOLO仍然落后于目前最先進(jìn)的目標(biāo)檢測技術(shù)系統(tǒng)。定位某些小目標(biāo)精度不夠高。盡管YOLO可以快速識別圖像中的目標(biāo)，但對于小目標(biāo)時，其定位精度并不高。對鄰近物體檢測效果差。由于YOLO每個單元格只預(yù)測兩個邊界框和一個分類，對于多個物體的中心位置落入同一個網(wǎng)格中，YOLO技術(shù)還達(dá)不到要求。對不常見的長寬比物體泛化能力偏弱。3基于YOLO的車輛目標(biāo)檢測YOLO是一個基于卷積神經(jīng)網(wǎng)絡(luò)的快速目標(biāo)跟蹤算法。文中設(shè)計的車輛檢測架構(gòu)如圖3-1所示。定義滿足車輛實時檢測的網(wǎng)絡(luò)結(jié)構(gòu)，并過濾掉包含汽車的數(shù)據(jù)集作為訓(xùn)練樣本，將處理獲得的樣本輸入到訓(xùn)練網(wǎng)絡(luò)模型，經(jīng)過網(wǎng)絡(luò)訓(xùn)練得出訓(xùn)練集，再將訓(xùn)練集發(fā)送到測試網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行性能測試。圖3-1YOLO車輛實時檢測架構(gòu)3.1車輛檢測網(wǎng)絡(luò)結(jié)構(gòu)YOLO進(jìn)過不斷的優(yōu)化改善，已出現(xiàn)YOLO_v2、YOLO_v3技術(shù)，而這些技術(shù)都是在YOLO_v1的基礎(chǔ)上研究而來的。YOLO的網(wǎng)絡(luò)結(jié)構(gòu)由卷積層、池化層和全連接層組成。為了降低參數(shù)規(guī)模和提升泛化能力，YOLO_v2用全卷積代替全連接層，在目標(biāo)檢測空間上獲得了更多的信息。如圖3-2所示，是基于YOLO的車輛實時檢測網(wǎng)絡(luò)結(jié)構(gòu)。先將待測圖像輸入到檢測模型中，經(jīng)過一系列的處理，其最終結(jié)果是輸出13像素、13像素和30通道的特征圖。此過程需要經(jīng)過22個卷積層、5個池化層，并按一定的規(guī)律進(jìn)行重整和融合，概率小的目標(biāo)邊框會被閾值消除，再用非極大值抑制過濾掉冗余窗口。圖3-2基于YOLO的車輛實時檢測網(wǎng)絡(luò)結(jié)構(gòu)在上述車輛檢測過程中，需要用到車輛類別的置信度和邊界框預(yù)測的準(zhǔn)確度兩個重要參量。其計算表達(dá)式分別為式中，表示車輛是否落在檢測的單元格中，當(dāng)車輛在其檢測范圍內(nèi)，則取1，否則，取0。通過上述方法可以看出，YOLO_v2算法不像R-CNN等通過候選區(qū)域?qū)ふ夷繕?biāo)，而是基于YOLO的回歸思想，把圖片看成一個整體，正是基于此思想，才大大提高了檢測速度，在規(guī)定范圍內(nèi)，完成車輛實時檢測的任務(wù)。3.2實驗及結(jié)果分析3.2.1實驗平臺此次試驗在PC端完成的，硬件配置為（1）處理器：Intel(R)Core(TM)i5-6200UCPU@2.30GHz2.40GHz;（2）內(nèi)存：4GYOLO算法的程序設(shè)計語言為Python語言，采用Darknet框架。3.2.2方法分析及評價為了使實驗結(jié)果更具說服性，定義了四個參量來衡量實驗結(jié)果。四個參量分別為TrueCar、TrueN-car、FalseCar、FalseN-car，其中TrueCar表示目標(biāo)是汽車，并被系統(tǒng)檢測出來；TrueN-car表示目標(biāo)不是汽車，系統(tǒng)會識別出其不是汽車；FalseCar表示目標(biāo)不是汽車，但卻被系統(tǒng)檢測為汽車；FalseN-car表示目標(biāo)是汽車，但不會被系統(tǒng)檢測為汽車。目標(biāo)檢測就是判斷檢測到的目標(biāo)是否是預(yù)先指定的目標(biāo)，驗證集中一般會存在許多目標(biāo)，這需要精確地檢測出所有目標(biāo)類別。為了較為準(zhǔn)確地評價文中模型的效果，評價過程中涉及精確度和召回率兩個參量，通過對這兩個參量的定義，可以作為評價算法性能的指標(biāo)。其中，精確度指的是被正確檢測出的汽車占檢測出的汽車的比例，其計算表達(dá)式為召回率指的是被正確檢測出的汽車占驗證集中所有汽車的比例，其計算表達(dá)式為3.2.3實驗結(jié)果及分析把多組信號從訓(xùn)練集中依次導(dǎo)入模型，通過在告訴GPU下運行，得到了相關(guān)的參數(shù)權(quán)重。通過與C-NN、FasterR-CNN對比，得出YOLO算法的識別幀數(shù)值明顯大于它們，滿足視頻檢測的基本要求。通過對多組驗證集中的信息進(jìn)行驗證，并與DPM和FasterR-CNN的結(jié)果做對比，如下表所示。試驗結(jié)果對比表此試驗還有一個重要參考量，就是召回率，從表中可以看出，YOLO算法的召回率明顯優(yōu)于另外兩種；對此次試驗的要求來看，YOLO算法模型達(dá)到了良好的檢測效果，看以看出，此每秒檢測幀數(shù)為40F