霧霾天氣下的交通限速標(biāo)志識(shí)別技術(shù)研究課件

1、霧霾天氣下的交通限速標(biāo)志識(shí)別技術(shù)研究THE RECOGNITION OF TRAFFIC SPEED LIMIT SIGNS IN HAZE WEATHER背景及意義論文主要工作總結(jié)與展望報(bào)告內(nèi)容課題背景及意義論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實(shí)現(xiàn)限速標(biāo)志的檢測(cè)利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識(shí)別分類(lèi)論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實(shí)現(xiàn)限速標(biāo)志的檢測(cè)利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識(shí)別分類(lèi)暗通道去霧大氣物理散射模型圖像去霧算法主要分為兩大類(lèi)：簡(jiǎn)單的圖像增強(qiáng)類(lèi)算法，代

2、表算法是多尺度Retinex算法根據(jù)大氣物理散射模型，推算出模型中的未知參數(shù)，實(shí)現(xiàn)對(duì)模型的逆變換，最終得到去霧后的圖像，代表算法是何凱明的基于暗通道先驗(yàn)原理的去霧算法。大氣物理散射模型：暗通道去霧暗通道原理暗通道原理：在霧霾天氣下，由于大氣光分量的影響，使得圖像亮度增加，對(duì)比度下降，暗通道值不再趨近于0由大氣物理散射模型可得透射率趨近于0的點(diǎn)即為最濃的點(diǎn)，霧最濃的點(diǎn)即為暗通道圖中亮度最高的點(diǎn)，推算全局光照強(qiáng)度的步驟如下：取出暗通道圖中亮度最高的前0.1%的點(diǎn)作為霧最濃的點(diǎn)；在待去霧圖像中，找出這些點(diǎn)的像素最高值作為全局光照強(qiáng)度。暗通道去霧推算全局光照強(qiáng)度存在的問(wèn)題：暗通道去霧推算全局光照強(qiáng)度創(chuàng)

3、新點(diǎn)一：改進(jìn)的全局光照強(qiáng)度推算過(guò)程取出暗通道圖中亮度最高的前0.1%的點(diǎn)作為霧最濃的點(diǎn)；在待去霧圖像中，計(jì)算這些點(diǎn)的像素的平均值，得到Aavg；比較Aavg與所設(shè)定的閾值最大全局光照強(qiáng)度Amax，取兩者中較小者 作為全局光照強(qiáng)度A假設(shè)透射率和全局大氣光值為定值，對(duì)大氣物理散射模型兩邊同時(shí)取窗口內(nèi)最小值和三個(gè)顏色通道中的最小值根據(jù)暗通道先驗(yàn)原理，可化簡(jiǎn)為得到的透射率利用導(dǎo)向?yàn)V波函數(shù)進(jìn)行細(xì)化，最終去霧公式為暗通道去霧計(jì)算透射率圖存在的問(wèn)題：透射率圖的計(jì)算需要耗費(fèi)較長(zhǎng)時(shí)間，難以滿足實(shí)時(shí)性要求暗通道去霧計(jì)算透射率圖創(chuàng)新點(diǎn)二：改進(jìn)的透射率圖計(jì)算過(guò)程在求解透射率圖之前，先對(duì)原始待去霧圖像下采樣為原始大小的

4、1/4，然后推算出下采樣圖的透射率圖，最后利用雙線性插值法將下采樣圖的透射率圖恢復(fù)為原始大小。經(jīng)實(shí)驗(yàn)驗(yàn)證，去霧效果沒(méi)有明顯變化，但處理速度有顯著提升。算法5幅圖像去霧處理時(shí)間(ms)平均處理時(shí)間(ms)未下采樣160.93153.25161.65161.53159.33159.34下采樣67.2170.4367.5262.1366.6866.79 (a)霧天圖像原圖 (b) 未下采樣去霧效果圖 (c) 下采樣去霧效果圖 下采樣對(duì)5幅圖像去霧處理時(shí)間的影響暗通道去霧實(shí)驗(yàn)對(duì)比結(jié)果 原圖 MSR 暗通道去霧 本文方法論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HO

5、G+SVM實(shí)現(xiàn)限速標(biāo)志的檢測(cè)利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識(shí)別分類(lèi)標(biāo)志檢測(cè)算法流程粗定位精確定位標(biāo)志檢測(cè)樣本統(tǒng)計(jì)樣本種類(lèi) 樣本數(shù)限速20km/h 85限速30km/h 79限速50km/h 81限速60km/h 30限速70km/h 68限速80km/h 63限速100km/h 60限速120km/h 57合計(jì) 527SVM分類(lèi)器正樣本分布表設(shè)定提取HOG特征的參數(shù)為：9個(gè)直方圖通道數(shù)、cell大小為4x4像素、block大小為4x4個(gè)cell、掃描步長(zhǎng)為0.5個(gè)block大小，因此每一個(gè)訓(xùn)練樣本所提取出的HOG特征的維數(shù)為9x4x4x3x3=1296維。標(biāo)志檢測(cè)實(shí)驗(yàn)結(jié)果選取線性核函數(shù)作

6、為SVM分類(lèi)器的核函數(shù)。利用查全率(Recall)和查準(zhǔn)率(Precision)來(lái)評(píng)價(jià)分類(lèi)器的性能測(cè)試集查全率查準(zhǔn)率標(biāo)準(zhǔn)測(cè)試集98.11%(260/265)98.86%(260/263)實(shí)際視頻測(cè)試集97.62%(82/84)96.47%(82/85)不同測(cè)試集下SVM分類(lèi)器查全率及查準(zhǔn)率結(jié)果分別采用標(biāo)準(zhǔn)數(shù)據(jù)測(cè)試集以及實(shí)際行車(chē)視頻中截取的含有限速標(biāo)志的85幅視頻幀圖像測(cè)試集(負(fù)樣本數(shù)為153)來(lái)驗(yàn)證檢測(cè)算法的有效性標(biāo)志檢測(cè)實(shí)驗(yàn)結(jié)果論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實(shí)現(xiàn)限速標(biāo)志的檢測(cè)利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識(shí)別分類(lèi)標(biāo)志識(shí)別卷

7、積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)最重要的兩個(gè)特點(diǎn)為稀疏連接和權(quán)值共享，利用這兩個(gè)特點(diǎn)可以大大減少網(wǎng)絡(luò)中連接權(quán)值的參數(shù)個(gè)數(shù)，提高網(wǎng)絡(luò)的訓(xùn)練速度與精度。(a) 全連接示意圖 (b) 稀疏連接示意圖 (c) 稀疏濾波器示意圖 假設(shè)圖像大小為10001000像素，共有1000000個(gè)隱藏單元，那么僅該層的連接權(quán)值的參數(shù)就達(dá)到了1012個(gè)；同樣是該幅圖像，大小為10001000像素，包含有1000000個(gè)隱藏單元，100個(gè)濾波器，設(shè)定接受域的大小為1010像素，那么該層的連接權(quán)值的參數(shù)變?yōu)?0000個(gè)。標(biāo)志識(shí)別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新點(diǎn)三： LeNet-5網(wǎng)絡(luò)訓(xùn)練前加入預(yù)處理、在LeNet-5網(wǎng)絡(luò)基礎(chǔ)上改進(jìn)神經(jīng)元數(shù)，

8、 利用Softmax激活函數(shù)代替tanh激活函數(shù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖標(biāo)志識(shí)別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)類(lèi)型 特征映射圖 神經(jīng)元結(jié)構(gòu)卷積核結(jié)構(gòu)0輸入圖像 1 3232 1 卷積層 6 2828 552采樣層 6 1414 22 3卷積層 12 1010 554采樣層 12 55 225卷積層 120 11 556全連接層 84 117全連接層 9 11表 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)原有的LeNet-5網(wǎng)絡(luò)中的激活函數(shù)使用的是tanh函數(shù)，本文選取softmax激活函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)。softmax激活函數(shù)可以將網(wǎng)絡(luò)中各層的輸出值軟性歸一化到0,1之間，且其和為1，減小輸出值之間的差?？梢詫oftmax函

9、數(shù)的輸出視作概率分布，選取概率最高的分量作為最終結(jié)果，使得網(wǎng)絡(luò)的輸出更加精準(zhǔn)。標(biāo)志識(shí)別樣本統(tǒng)計(jì)表 卷積神經(jīng)網(wǎng)絡(luò)正樣本分布表訓(xùn)練前，隨機(jī)地選取一半正樣本，共6453個(gè)，作為訓(xùn)練所用的正樣本，另一半共6453個(gè)，作為測(cè)試所用的正樣本，負(fù)樣本同樣隨機(jī)選取一半，共17029個(gè)，作為訓(xùn)練所用的負(fù)樣本，另一半共17028個(gè)作為測(cè)試所用的負(fù)樣本。正樣本示意圖負(fù)樣本示意圖樣本種類(lèi)樣本數(shù)限速20km/h1209限速30km/h1981限速50km/h1641限速60km/h1411限速70km/h1981限速80km/h1861限速100km/h1441限速120km/h1441合計(jì)12906標(biāo)志識(shí)別預(yù)處理實(shí)驗(yàn)

10、結(jié)果預(yù)處理方法測(cè)試集1測(cè)試集2測(cè)試集3測(cè)試集4測(cè)試集5全測(cè)試集原始圖像97.7%97.36%97.23%97.91%97.4%97.65%對(duì)比度增強(qiáng)98%97.76%97.31%98.1%97.76%97.92%直方圖均衡化97.8%97.78%97.38%97.89%97.4%97.83%自適應(yīng)直方圖均衡化98.65%98.31%97.66%98.63%98.13%98.51%預(yù)處理對(duì)卷積神經(jīng)網(wǎng)絡(luò)的影響預(yù)處理方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)影響對(duì)比圖標(biāo)志識(shí)別對(duì)比實(shí)驗(yàn)結(jié)果為了驗(yàn)證本文識(shí)別算法的有效性，本文主要與隨機(jī)森林分類(lèi)算法、基于HOG特征的SVM分類(lèi)算法以及人眼識(shí)別的分類(lèi)效果進(jìn)行對(duì)比。傳統(tǒng)分類(lèi)算法需要人

11、為提取物體的特征，特征提取的好壞對(duì)分類(lèi)器的性能有著巨大的影響。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，它從最低級(jí)的特征開(kāi)始逐級(jí)自動(dòng)地學(xué)習(xí)更高級(jí)的特征，特征的提取與識(shí)別分類(lèi)同時(shí)進(jìn)行，最終通過(guò)機(jī)器學(xué)習(xí)找到最適合表征物體的特征組合。分類(lèi)算法 識(shí)別率人眼97.63%隨機(jī)森林 95.95%HOG+SVM 89.2%本文算法 98.51%各分類(lèi)算法限速標(biāo)志識(shí)別實(shí)驗(yàn)結(jié)果標(biāo)志識(shí)別實(shí)驗(yàn)結(jié)果總結(jié)與展望展望：目前算法在霧特別濃時(shí)不能完全地恢復(fù)霧天圖像，存在一定的失真；算法當(dāng)限速標(biāo)志嚴(yán)重遮擋的情況下難以準(zhǔn)確地將其檢測(cè)出，影響識(shí)別的準(zhǔn)確性；目前算法的實(shí)現(xiàn)均是在Matlab平臺(tái)下完成的，下一步計(jì)劃將算法移植到OpenCV環(huán)境下進(jìn)一步驗(yàn)證算法的有效性?？偨Y(jié)：本文在原有暗通道去霧算法的基礎(chǔ)上改進(jìn)其全局光照強(qiáng)度以及透射率的求 解步驟，提升了算法的去霧效果和處理速度；2. 本文利用限速標(biāo)志的顏色和幾何特征對(duì)標(biāo)志進(jìn)行粗定位，利用HOG+SVM 實(shí)現(xiàn)對(duì)標(biāo)志的精確定位；3. 本文利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)限速標(biāo)志的識(shí)別分類(lèi)。研究生期間成果小論文題目：The recognition of traffic speed