霧霾天氣下的交通限速標(biāo)志識別技術(shù)研究課件

1、霧霾天氣下的交通限速標(biāo)志識別技術(shù)研究THE RECOGNITION OF TRAFFIC SPEED LIMIT SIGNS IN HAZE WEATHER背景及意義論文主要工作總結(jié)與展望報告內(nèi)容課題背景及意義論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實(shí)現(xiàn)限速標(biāo)志的檢測利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識別分類論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實(shí)現(xiàn)限速標(biāo)志的檢測利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識別分類暗通道去霧大氣物理散射模型圖像去霧算法主要分為兩大類：簡單的圖像增強(qiáng)類算法，代

2、表算法是多尺度Retinex算法根據(jù)大氣物理散射模型，推算出模型中的未知參數(shù)，實(shí)現(xiàn)對模型的逆變換，最終得到去霧后的圖像，代表算法是何凱明的基于暗通道先驗(yàn)原理的去霧算法。大氣物理散射模型：暗通道去霧暗通道原理暗通道原理：在霧霾天氣下，由于大氣光分量的影響，使得圖像亮度增加，對比度下降，暗通道值不再趨近于0由大氣物理散射模型可得透射率趨近于0的點(diǎn)即為最濃的點(diǎn)，霧最濃的點(diǎn)即為暗通道圖中亮度最高的點(diǎn)，推算全局光照強(qiáng)度的步驟如下：取出暗通道圖中亮度最高的前0.1%的點(diǎn)作為霧最濃的點(diǎn)；在待去霧圖像中，找出這些點(diǎn)的像素最高值作為全局光照強(qiáng)度。暗通道去霧推算全局光照強(qiáng)度存在的問題：暗通道去霧推算全局光照強(qiáng)度創(chuàng)

3、新點(diǎn)一：改進(jìn)的全局光照強(qiáng)度推算過程取出暗通道圖中亮度最高的前0.1%的點(diǎn)作為霧最濃的點(diǎn)；在待去霧圖像中，計算這些點(diǎn)的像素的平均值，得到Aavg；比較Aavg與所設(shè)定的閾值最大全局光照強(qiáng)度Amax，取兩者中較小者 作為全局光照強(qiáng)度A假設(shè)透射率和全局大氣光值為定值，對大氣物理散射模型兩邊同時取窗口內(nèi)最小值和三個顏色通道中的最小值根據(jù)暗通道先驗(yàn)原理，可化簡為得到的透射率利用導(dǎo)向?yàn)V波函數(shù)進(jìn)行細(xì)化，最終去霧公式為暗通道去霧計算透射率圖存在的問題：透射率圖的計算需要耗費(fèi)較長時間，難以滿足實(shí)時性要求暗通道去霧計算透射率圖創(chuàng)新點(diǎn)二：改進(jìn)的透射率圖計算過程在求解透射率圖之前，先對原始待去霧圖像下采樣為原始大小的

4、1/4，然后推算出下采樣圖的透射率圖，最后利用雙線性插值法將下采樣圖的透射率圖恢復(fù)為原始大小。經(jīng)實(shí)驗(yàn)驗(yàn)證，去霧效果沒有明顯變化，但處理速度有顯著提升。算法5幅圖像去霧處理時間(ms)平均處理時間(ms)未下采樣160.93153.25161.65161.53159.33159.34下采樣67.2170.4367.5262.1366.6866.79 (a)霧天圖像原圖 (b) 未下采樣去霧效果圖 (c) 下采樣去霧效果圖 下采樣對5幅圖像去霧處理時間的影響暗通道去霧實(shí)驗(yàn)對比結(jié)果 原圖 MSR 暗通道去霧 本文方法論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HO

5、G+SVM實(shí)現(xiàn)限速標(biāo)志的檢測利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識別分類標(biāo)志檢測算法流程粗定位精確定位標(biāo)志檢測樣本統(tǒng)計樣本種類 樣本數(shù)限速20km/h 85限速30km/h 79限速50km/h 81限速60km/h 30限速70km/h 68限速80km/h 63限速100km/h 60限速120km/h 57合計 527SVM分類器正樣本分布表設(shè)定提取HOG特征的參數(shù)為：9個直方圖通道數(shù)、cell大小為4x4像素、block大小為4x4個cell、掃描步長為0.5個block大小，因此每一個訓(xùn)練樣本所提取出的HOG特征的維數(shù)為9x4x4x3x3=1296維。標(biāo)志檢測實(shí)驗(yàn)結(jié)果選取線性核函數(shù)作

6、為SVM分類器的核函數(shù)。利用查全率(Recall)和查準(zhǔn)率(Precision)來評價分類器的性能測試集查全率查準(zhǔn)率標(biāo)準(zhǔn)測試集98.11%(260/265)98.86%(260/263)實(shí)際視頻測試集97.62%(82/84)96.47%(82/85)不同測試集下SVM分類器查全率及查準(zhǔn)率結(jié)果分別采用標(biāo)準(zhǔn)數(shù)據(jù)測試集以及實(shí)際行車視頻中截取的含有限速標(biāo)志的85幅視頻幀圖像測試集(負(fù)樣本數(shù)為153)來驗(yàn)證檢測算法的有效性標(biāo)志檢測實(shí)驗(yàn)結(jié)果論文主要工作利用改進(jìn)的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實(shí)現(xiàn)限速標(biāo)志的檢測利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)限速標(biāo)志的識別分類標(biāo)志識別卷

7、積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)最重要的兩個特點(diǎn)為稀疏連接和權(quán)值共享，利用這兩個特點(diǎn)可以大大減少網(wǎng)絡(luò)中連接權(quán)值的參數(shù)個數(shù)，提高網(wǎng)絡(luò)的訓(xùn)練速度與精度。(a) 全連接示意圖 (b) 稀疏連接示意圖 (c) 稀疏濾波器示意圖 假設(shè)圖像大小為10001000像素，共有1000000個隱藏單元，那么僅該層的連接權(quán)值的參數(shù)就達(dá)到了1012個；同樣是該幅圖像，大小為10001000像素，包含有1000000個隱藏單元，100個濾波器，設(shè)定接受域的大小為1010像素，那么該層的連接權(quán)值的參數(shù)變?yōu)?0000個。標(biāo)志識別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新點(diǎn)三： LeNet-5網(wǎng)絡(luò)訓(xùn)練前加入預(yù)處理、在LeNet-5網(wǎng)絡(luò)基礎(chǔ)上改進(jìn)神經(jīng)元數(shù)，

8、 利用Softmax激活函數(shù)代替tanh激活函數(shù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖標(biāo)志識別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)類型 特征映射圖 神經(jīng)元結(jié)構(gòu)卷積核結(jié)構(gòu)0輸入圖像 1 3232 1 卷積層 6 2828 552采樣層 6 1414 22 3卷積層 12 1010 554采樣層 12 55 225卷積層 120 11 556全連接層 84 117全連接層 9 11表 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)原有的LeNet-5網(wǎng)絡(luò)中的激活函數(shù)使用的是tanh函數(shù)，本文選取softmax激活函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)。softmax激活函數(shù)可以將網(wǎng)絡(luò)中各層的輸出值軟性歸一化到0,1之間，且其和為1，減小輸出值之間的差?？梢詫oftmax函

9、數(shù)的輸出視作概率分布，選取概率最高的分量作為最終結(jié)果，使得網(wǎng)絡(luò)的輸出更加精準(zhǔn)。標(biāo)志識別樣本統(tǒng)計表 卷積神經(jīng)網(wǎng)絡(luò)正樣本分布表訓(xùn)練前，隨機(jī)地選取一半正樣本，共6453個，作為訓(xùn)練所用的正樣本，另一半共6453個，作為測試所用的正樣本，負(fù)樣本同樣隨機(jī)選取一半，共17029個，作為訓(xùn)練所用的負(fù)樣本，另一半共17028個作為測試所用的負(fù)樣本。正樣本示意圖負(fù)樣本示意圖樣本種類樣本數(shù)限速20km/h1209限速30km/h1981限速50km/h1641限速60km/h1411限速70km/h1981限速80km/h1861限速100km/h1441限速120km/h1441合計12906標(biāo)志識別預(yù)處理實(shí)驗(yàn)

10、結(jié)果預(yù)處理方法測試集1測試集2測試集3測試集4測試集5全測試集原始圖像97.7%97.36%97.23%97.91%97.4%97.65%對比度增強(qiáng)98%97.76%97.31%98.1%97.76%97.92%直方圖均衡化97.8%97.78%97.38%97.89%97.4%97.83%自適應(yīng)直方圖均衡化98.65%98.31%97.66%98.63%98.13%98.51%預(yù)處理對卷積神經(jīng)網(wǎng)絡(luò)的影響預(yù)處理方法對卷積神經(jīng)網(wǎng)絡(luò)影響對比圖標(biāo)志識別對比實(shí)驗(yàn)結(jié)果為了驗(yàn)證本文識別算法的有效性，本文主要與隨機(jī)森林分類算法、基于HOG特征的SVM分類算法以及人眼識別的分類效果進(jìn)行對比。傳統(tǒng)分類算法需要人

11、為提取物體的特征，特征提取的好壞對分類器的性能有著巨大的影響。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，它從最低級的特征開始逐級自動地學(xué)習(xí)更高級的特征，特征的提取與識別分類同時進(jìn)行，最終通過機(jī)器學(xué)習(xí)找到最適合表征物體的特征組合。分類算法 識別率人眼97.63%隨機(jī)森林 95.95%HOG+SVM 89.2%本文算法 98.51%各分類算法限速標(biāo)志識別實(shí)驗(yàn)結(jié)果標(biāo)志識別實(shí)驗(yàn)結(jié)果總結(jié)與展望展望：目前算法在霧特別濃時不能完全地恢復(fù)霧天圖像，存在一定的失真；算法當(dāng)限速標(biāo)志嚴(yán)重遮擋的情況下難以準(zhǔn)確地將其檢測出，影響識別的準(zhǔn)確性；目前算法的實(shí)現(xiàn)均是在Matlab平臺下完成的，下一步計劃將算法移植到OpenCV環(huán)境下進(jìn)一步驗(yàn)證算法的有效性?？偨Y(jié)：本文在原有暗通道去霧算法的基礎(chǔ)上改進(jìn)其全局光照強(qiáng)度以及透射率的求 解步驟，提升了算法的去霧效果和處理速度；2. 本文利用限速標(biāo)志的顏色和幾何特征對標(biāo)志進(jìn)行粗定位，利用HOG+SVM 實(shí)現(xiàn)對標(biāo)志的精確定位；3. 本文利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對限速標(biāo)志的識別分類。研究生期間成果小論文題目：The recognition of traffic speed