【交通標志檢測與識別研究7500字（論文）】

目錄TOC\o"1-3"\h\u202901前言 [1]中國交通數(shù)據(jù)集由長沙理工大學綜合交通運輸大數(shù)據(jù)智能處理湖南省重點實驗室張建明老師團隊制作完成，部分圖像如下圖所示。本文將通過CCTSDB交通標志圖像，將不同派別下的各種交通標志圖像分別放入訓(xùn)練集和測試集，用OpenCV進行標記后處理，并采用Darknet框架訓(xùn)練交通標志識別模型，識別率達標后完成訓(xùn)練。1.3論文組織結(jié)構(gòu)在大量相關(guān)研究中，首先綜合分析了交通標志識別課題的研究背景與研究意義。對未來交通識別應(yīng)用的廣泛程度進行預(yù)測，緊接著介紹了論文的主要研究方法和整體步驟。本文主要介紹了利用區(qū)域推薦算法和非極大值抑制原理對圖像進行初步的定位，YOLO模型對交通標志特征的提取，最后是對數(shù)據(jù)集中的圖像進行標定，分為“警告類”，“禁止”類，和“指向”類?；贚eNet.5網(wǎng)絡(luò)這種典型卷積神經(jīng)網(wǎng)絡(luò)模型的原理,并比較分析了這種網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)缺點。在真實的生活場景中我們需要快速且精準地判斷出交通標志的意義,同時發(fā)揮出識別精確度的長處。最后總結(jié)全文研究內(nèi)容與實驗結(jié)果，指出本文的不足之處，并展望未來的發(fā)展。2交通標志圖像定位2.1圖像定位簡介與傳統(tǒng)的機器學習算法不相同，傳統(tǒng)的算法必須使用一些技術(shù)性或是技巧性的方法來抽取圖像的特點，深度學習在這一方向具有得天獨厚的長處。深度學習通過大批的交通標志圖像模型進行模擬訓(xùn)練，從這些模擬得到的樣本圖像中自然地提取交通標志圖像的特點，卷積神經(jīng)網(wǎng)絡(luò)自二十世紀八十年代的出現(xiàn)之后，已經(jīng)成為許多科研方向的重點。圖3.1特征提取過程圖2.2區(qū)域選擇推薦算法利用區(qū)域選擇推薦算法定位道路標志是交通標志識別在卷積神經(jīng)網(wǎng)絡(luò)上的一次偉大的歷史性突破。與之前的機器學習的算法不相同的是，在錄入一個圖像時區(qū)域卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)會通過識別圖像的各種細節(jié)例如，圖像的顏色，輪廓，邊界，空間占比，紋路等來對候選目標的數(shù)量進行初步的預(yù)測。有時為了推薦區(qū)域的順利產(chǎn)出，會應(yīng)用一個網(wǎng)格，使它滑動在倒數(shù)第一層卷積層產(chǎn)出的卷積神經(jīng)特點圖，該網(wǎng)格在利用窗口在輸入的卷積神經(jīng)特點圖上。此網(wǎng)絡(luò)的表達如以下圖像表示，因為網(wǎng)絡(luò)的運行是在滑動思維下運作的，兩個全連接層分析享有全部的坐標信息和空間位置，這一框架很順利地通過的卷積層呈現(xiàn)，在的卷積層后使用ReLU（Rectified）激勵函數(shù)進行最后輸出。為了對區(qū)域推送網(wǎng)絡(luò)進行模擬訓(xùn)練，使其能夠?qū)煌酥咀龀鲆粋€區(qū)塊化的判斷，每一個anchor模型都要匹配一個二進制的標簽，分配一個正標簽給兩類anchor，這步操作與這個標簽是不是屬于此目標無關(guān)，第一類anchor和現(xiàn)實框的匹配程度最好，第二類anchor與現(xiàn)實框的匹配程度大于0。定義最終的交通標志模型識別最小化目標loss函數(shù)如下：（3.1）其中，?是anchor對應(yīng)的下標，是第個anchor含有交通標志目標的預(yù)測概率，如果anchor是真，則為1，否則，如果anchor為負，則為0[7]。是代表預(yù)測框盒子坐標的4個數(shù)據(jù)的向量，是與真anchor相關(guān)的真實框盒子坐標的4個參數(shù)的向量。分類損失函數(shù)是兩類（目標和非目標）的邏輯損失，對于回歸損失函數(shù)，我們使用，其中是一個平滑損失函數(shù)，如公式所示smoothL1=0.5公式代表僅僅當anchor為真（）和anchor為負（），分類層和回歸層輸出由和構(gòu)成，這兩項將通過，以及平衡常數(shù)均值化。對于回歸，本文通過如下公式來參數(shù)化4個坐標&tx=&tx?其中，x，y，w和?分別代表圖像中交通標志框的中間坐標[8]，其表示的是交通標志目標框的寬度和高度，變量x，x2.3非極大值抑制原理最后確定交通標志目標框時，深度學習目標框需要進行非極大值抑制（NMS）如下圖所示，其是眾多計算機視覺和模式識別和圖像處理應(yīng)用中的關(guān)鍵預(yù)處理步驟。圖3.2交通標志非極大值抑制示意圖NMS的直接實現(xiàn)包含有兩個循環(huán)，當中的外循環(huán)遍歷所有像素，內(nèi)循環(huán)針對其所有的相近像素測試是否能成為外部循環(huán)的候選。首先，第個相鄰像素在前個相鄰像中與當前候選者中是最大的，其發(fā)生概率為11+?；第二，循環(huán)必須在第次迭代之前不被中止，即當前候選值比已經(jīng)測試的相鄰像素大，其發(fā)生概率為1?，最終得到：p(i)=1i(i+1)（3在每次迭代中，發(fā)生候選像素與第個相鄰像素之間的準確預(yù)測一次，其總計比較次，直到第次迭代結(jié)束。因此，每個像素的預(yù)期比較數(shù)目（CpP）為E(CpP)=&2n2n+1+i=1其中是左和右相鄰像素的數(shù)目，且第一項捕獲候選像素是局部最大值時的情況。3基于YOLO模型的交通標志特征提取3.1YOLO原理簡介YOLO（Youlookonlyonce）其原理比較簡易：圖像盒子的多個邊框和輪廓會被一個卷積神經(jīng)網(wǎng)絡(luò)一起同一時間進行預(yù)測。YOLO會對數(shù)據(jù)集所有的圖像進行模擬預(yù)測，之后會對檢驗性能進行直接的優(yōu)化和更新。YOLO會對圖形進行一個完整的考慮，其次，YOLO能對物體對象進行更加一般的抽象表示。3.2YOLO模型訓(xùn)練YOLO會把錄入的圖形分割成n*n的網(wǎng)格，每個單獨的網(wǎng)絡(luò)會預(yù)測M個邊界框并得到它們的置信度分數(shù)。每個邊界框有五個可以預(yù)測的值：x，y，w，h以及置信度，坐標代表框的中心相對于網(wǎng)格單元的邊界，預(yù)測的寬度和高度是相較于整個圖像。通過圖像寬度和高度將邊界框?qū)挾群透叨葰w一化，使得他們的預(yù)測值在0和1之間。其具體函數(shù)如下：φ(x)=&x,????&&x>0&0.1x,????&&其他YOLO會對每一個單元網(wǎng)格內(nèi)的多種邊界框進行一次預(yù)測，在模擬練習時，我們應(yīng)該把每個對象都匹配一個邊框預(yù)測期。其公式如下：λcoordi=0s其中，I?j0bj代表如果對象出現(xiàn)在網(wǎng)格?中，并且?j表示網(wǎng)格?中第YOLOv3相較于傳統(tǒng)的YOLO引入了參差連接算法，目的是對網(wǎng)絡(luò)的深度進行加深，網(wǎng)絡(luò)的主體部分有五十三層卷積層也可以被稱為Darknet53,其主要結(jié)構(gòu)是由3×3的卷積層和1×1卷積核連接塊匹配組合而成,殘差連接塊如下圖所示。圖3.3參差連接塊如圖上所示,x是殘差連接塊的輸入,F（x）是x經(jīng)過兩層卷積層后的輸出,殘差連接就是將輸入x與F(x)相加。殘連接的公式如下所示[9]:H（x）=F（x）+x（3.7）3.3交通標志圖片標注交通標志深度學習網(wǎng)絡(luò)的訓(xùn)練是一個非常重要的步驟，為了訓(xùn)練交通標志識別模型，需要對每一張交通標志圖像進行標定。在此實驗利用OpenCV搭建實驗平臺并利用RCNN、YOLO網(wǎng)絡(luò)對各種交通標志圖像數(shù)據(jù)集進行遷移訓(xùn)練。3.3.1標定軟件本文使用labeImg標注軟件來標定交通標志采集的圖像，labeImg[12]軟件如圖所示。圖3.5標定軟件labeImg3.3.2標定過程通過labeiImg打開圖像目錄，然后創(chuàng)建類別標簽，本文的分類主要分為warning、prohibitory以及mandatory，其標注如圖所示。圖3.6標定warning圖3.7標定指向型交通標志3.4算法改進在我們真實生活場景中，我們不能只去關(guān)注識別的精準度，也要把識別的時長因素考慮到位，因為實時性是決定計算機在判斷圖像時的關(guān)鍵因素。為了提高CNN算法的實時檢測特性，需要對現(xiàn)有的虛擬數(shù)據(jù)進行剪枝，提煉出輕量型的網(wǎng)絡(luò)模型。力求在維持原有的精確度不變的情況下，加速網(wǎng)絡(luò)模型的識別速度，來提高檢測識別系統(tǒng)的實時性?；贚eNet5網(wǎng)絡(luò)識別算法[16]，對卷積神經(jīng)網(wǎng)絡(luò)CNN進行改良，在對現(xiàn)有的算法改進之前，應(yīng)先對LetNet5網(wǎng)絡(luò)識別算法進行簡單介紹。首先介紹一下LeNet5網(wǎng)絡(luò)的總體結(jié)構(gòu)，LeNet5網(wǎng)絡(luò)有七層模型，最開始的兩層是卷積層，之后是兩層池化層，卷積層運用的是5*5的卷積核，與卷積層的卷積核大小不相同的是，池化層的內(nèi)核大小僅僅為2*2。LeNet5網(wǎng)絡(luò)最后三層為全連接層，三層連接層的節(jié)點數(shù)目分別為126,84，10。與傳統(tǒng)的CNN卷積神經(jīng)網(wǎng)絡(luò)采用的激活函數(shù)不同的是LeNet5網(wǎng)絡(luò)采納的激活函數(shù)是signmoid激活函數(shù)[17]。最后LeNet5網(wǎng)絡(luò)輸出層采用的是SOFT分類器。為了提升識別時的精確性和實時性，本實驗對原先的LeNet5網(wǎng)絡(luò)模型做出了以下幾個方向的改動：（1）首先是對卷積核的統(tǒng)一，先前卷積層的卷積核數(shù)不固定，我們將所有卷積層的卷積核替換為3×3卷積核。在此對卷積核的規(guī)律進行一個簡單的介紹，正常情況下兩個3×3的卷積層等價于一層5×5的卷積層,三個3×3的卷積層等價于一層7×7的卷積層,在網(wǎng)絡(luò)層次越來越深的情況下,加入了從線性變化到非線性變化,網(wǎng)絡(luò)自身的學習能力也會增強，對特征鎖定會更加敏感和快速，于此同時網(wǎng)絡(luò)本身的容積也在隨之變大。相比于傳統(tǒng)的5×5和7×7的大卷積核,3×3的卷積核參數(shù)數(shù)量大幅減少。（2）之后希望對網(wǎng)絡(luò)的范圍進行一個擴大，因此引入了Inception模塊組。Inception模塊[18]會把不同大小的卷積在相同的一層卷積上進行匹配和組合,此后可以利用更小的卷積核，例如1×1的卷積核對圖像的特征進行遍歷和判斷，得到的結(jié)果進行初步的判斷，若維度還是太高，再進行降維操作。在同一組參數(shù)數(shù)據(jù)下，我們可以判斷出引入此模塊的優(yōu)點有：大大提升了計算的效率，特征提取液更加精確和充分，數(shù)據(jù)訓(xùn)練后得到的結(jié)果更為顯著。（3）現(xiàn)在要應(yīng)對的是輸入的批量樣本。在此我們引入批量歸一化方法REF_Ref74314641\r\h[19]處理，在對卷積神經(jīng)網(wǎng)絡(luò)進行練習的過程中,每一層的網(wǎng)絡(luò)參數(shù)會根據(jù)數(shù)據(jù)進行一個線性變化。為了統(tǒng)一每層網(wǎng)絡(luò)的數(shù)據(jù)分布,于是在每一層卷積層后引入批量歸一化,將每一層數(shù)據(jù)歸一化到均值為0,方差為1。批量化歸一公式為：xk=xk（4）在激活函數(shù)的選擇這一步上，使用之前提到的ReLu激活函數(shù)對原先的Sigmoid激活函數(shù)進行代替σx=11+在我們開始采用Sigmoid激活函數(shù)訓(xùn)練的過程中,有如下三個顯而易見的缺陷:1)當網(wǎng)絡(luò)的輸入比較大或比較小時,神經(jīng)元梯度會向0的方向無限地靠近,在反向傳播的過程中神經(jīng)元梯度會自動地消失,這最終會導(dǎo)致神經(jīng)網(wǎng)絡(luò)無法訓(xùn)練;2)Sigmoid激活函數(shù)的輸出結(jié)果均值為0,上一層的神經(jīng)元輸出的非0結(jié)果會作為下一層的神經(jīng)元系統(tǒng)的輸入數(shù)據(jù),當輸入數(shù)據(jù)是正值時,梯度會一直向正方向更新;3)Sigmoid激活函數(shù)的計算非常繁瑣,對范圍大的深度學習網(wǎng)絡(luò)神經(jīng)會增加對網(wǎng)絡(luò)的訓(xùn)練時長。ReLu激活函數(shù)公式為：YX=max0,X把Sigmoid激活函數(shù)和ReLU激活函數(shù)進行一個綜合的對比后發(fā)現(xiàn),在梯度傳播的方向上后者的特性非常契合此傳播方式。在總體計算量方面，后者的優(yōu)勢也能體現(xiàn)出來，ReLU激活函數(shù)只需要進行一次算數(shù)運算就可以比后者的效率高很多。ReLU激活函數(shù)的運算特性是把輸出結(jié)果大于0的位置全部當做1,這樣做的優(yōu)勢是可以穩(wěn)定住梯度的范圍，不會讓梯度過小同時也不會發(fā)生飽和的現(xiàn)象,這樣的優(yōu)勢又有助于在反向傳播的情形下梯度能更有效地傳遞到前面的網(wǎng)絡(luò)。說完了ReLU激活函數(shù)的優(yōu)勢，其也有不足的地方:ReLU激活函數(shù)也會有“失手”的時候，在確定情形下激活函數(shù)會失去對數(shù)據(jù)的激活現(xiàn)象，例如當一個龐大的梯度經(jīng)過神經(jīng)元時，激活函數(shù)失去原先的功能。所以在采用此激活函數(shù)時要注意的是先確定好激活函數(shù)的值穩(wěn)定在一定范圍內(nèi),以免會出現(xiàn)“DeadReLU”問題[20]。兩種激活函數(shù)如圖所示：圖3.8兩種激活函數(shù)如圖上圖所示,Sigmoid激活函數(shù)對中間的信號影響較大,對兩側(cè)的信號影響較小。ReLU激活函數(shù)是線性的分段函數(shù),當信號不大于0時,輸出信號為0,當信號大于0時,輸入和輸出信號保持一致。相比于Sigmoid激活函數(shù),ReLU激活函數(shù)能比較好地契合模擬訓(xùn)練的數(shù)據(jù),在反向傳播過程中有助于將梯度傳播到前面的網(wǎng)絡(luò),加速網(wǎng)絡(luò)模型的收斂,所以對卷積神經(jīng)網(wǎng)絡(luò)模型的改進是采納ReLU激活函數(shù)。（5）在圖片被輸入到改進的卷積神經(jīng)網(wǎng)絡(luò)中模擬之前，需要對交通標志圖像進行一個預(yù)解析，1)對數(shù)據(jù)集進行重新采樣，使得每類的交通標志標識個數(shù)均勻分散。2)為了方便訓(xùn)練和測試，需要對圖標的尺寸進行一個標準化，把所有圖標大小都變?yōu)?2*32。3)使用直方圖均衡化對圖像進行加強。其原理是通過改變像素的強度來增加對比度，將一副圖像的直方圖轉(zhuǎn)變?yōu)榫鶆蚍植肌?)圖像的像素范圍是0.255，將圖像像素統(tǒng)一到[.1,1]之間。5)將圖片翻轉(zhuǎn)的角度設(shè)為10°，圖片隨機水平或垂直偏移幅度設(shè)為0.88，圖片隨機縮放的參數(shù)設(shè)置為0.2。在此部分基于LeNet.5網(wǎng)絡(luò)這種典型卷積神經(jīng)網(wǎng)絡(luò)模型的原理,并比較分析了這種網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)缺點。在真實的生活場景中我們需要快速且精準地判斷出交通標志的意義,同時發(fā)揮出識別精確度的長處,改進過程中我們以LeNet.5網(wǎng)絡(luò)模型為基礎(chǔ)的情況下,引入Incepion模塊組來對網(wǎng)絡(luò)的范圍進行一個擴展,在我們綜合AlexNet[21]和GoogleNet兩種網(wǎng)絡(luò)的特點和長處后，最終提出一個輕量級的網(wǎng)絡(luò)模型。4實驗結(jié)果分析4.1交通標志圖像檢測實驗4.1.1模型訓(xùn)練曲線利用CCTSDB交通標志圖像，將不同派別下的各種交通標志圖像分別放入訓(xùn)練集和測試集，用OpenCV進行標記后處理，并采用Darknet框架訓(xùn)練交通標志識別模型，識別率達標后完成訓(xùn)練。圖4.1模型訓(xùn)練結(jié)果圖4.1.2交通標志prohibitory類，warning類、以及mandatory類識別程序運行結(jié)果截圖：可以看到程序優(yōu)化效果明顯，相較于原先的識別算法，改進后的圖像抓取更為精確，識別準度也更高。圖4.2對于兩種不同類型的交通標志進行同時識別圖4.3在光線較暗的環(huán)境下的識別圖4.4對于三個交通標識的同時識別圖4.5對于樹木遮擋下的標志識別圖4.6對復(fù)雜標識牌的識別4.2軟硬件配置本實驗使用的計算機實驗環(huán)境如下：CPU(英特爾)Intel(R)Core(TM)i7.4720HQ，CPU主頻是2.6Ghz，內(nèi)存為8G，操作系統(tǒng)是Windows10，顯卡配置是NVIDIAGeForceGTX960M，顯存為4G，主板是宏碁AspireVN7.591G。軟件平臺為visualstudio2017，Qt.opensource.windows.x86.5.9.9，Opencv.4.5.1，DevC++。5結(jié)束語深度學習方法具有強大的特征表達能力，相比于傳統(tǒng)的手工設(shè)計特征方法更加優(yōu)越，在復(fù)雜路況和光線較弱的交通場景中檢測識別交通標志應(yīng)具有準確率和實時性都較好的優(yōu)點。本設(shè)計的目的是對現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)算法進行一點改進，實現(xiàn)對交通標志識別的更精確和更迅速的效果。在充分閱讀各種參考資料和國內(nèi)外文獻后，又對相關(guān)的實驗技術(shù)進行基礎(chǔ)學習，搜索交通標志圖像數(shù)據(jù)集，最后嘗試將算法進行初步實現(xiàn)。在完成基本目標后對結(jié)果進行簡單的總結(jié)和報告，并調(diào)試相應(yīng)的程序。參考文獻[1]梁文龍.基于IVGG網(wǎng)絡(luò)的交通標志識別算法研究[D]長沙理工大學.2018(6)[2]湯桂桃.圖切技術(shù)和卷積網(wǎng)絡(luò)的交通標志數(shù)據(jù)集構(gòu)建方法[D]電子科技大學2017(4)[3]鎖雪萍.基于深度學習的監(jiān)控視頻目標檢測技術(shù)研究[D]天津科技大學2018[4]范磊,艾昌文.時滯過程中流量調(diào)節(jié)的自適應(yīng)學習方法研究[J]（云南大學信息學,,云南大學省電子計算中心,云南昆明650223）2020[5]史達.基于深度學習的商品圖像分類研究與實現(xiàn)[D]電子科技大學2020[6]王子哲.基于視頻的無人機目標檢測算法研究[D]鄭州大學2019[7]林明霞.關(guān)于圖像分類問題的幾種深度學習策略研究[R]廈門大學2015[8]王琳琳.基于聚類與極限學習機的入侵檢測方法研究[D]天津大學日期2017[9]湯桂桃.基于機器視覺的生產(chǎn)線關(guān)鍵崗位人員檢測[D]電子科技大學2017[10]王曉,關(guān)志強,王靜,王永強.基于卷積神經(jīng)網(wǎng)絡(luò)的彩色圖像聲吶目標檢測[J]期刊（云南大學信息學院,昆明,650000）2019[11]何君婷.基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學習的宮頸細胞學圖像異常區(qū)域檢測[D]華南理工大學2019-01-01[12]韓江洪,袁稼軒,衛(wèi)星,陸陽.基于深度學習的井下巷道行人視覺定位算法[J]作者單位（合肥工業(yè)大學計算機與信息學院,合肥230601;安全關(guān)鍵工業(yè)測控技術(shù)教育部工程研究中心,合肥230601,合肥工業(yè)大學計算機與信息學院,合肥,230601）2019[13]熊舒羽.基于深度學習技術(shù)的醫(yī)學圖像檢索方法研究[D