霧霾天氣下的交通限速標志識別技術(shù)研究課件

1、霧霾天氣下的交通限速標志識別技術(shù)研究THE RECOGNITION OF TRAFFIC SPEED LIMIT SIGNS IN HAZE WEATHER背景及意義論文主要工作總結(jié)與展望報告內(nèi)容課題背景及意義論文主要工作利用改進的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實現(xiàn)限速標志的檢測利用改進的卷積神經(jīng)網(wǎng)絡實現(xiàn)限速標志的識別分類論文主要工作利用改進的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實現(xiàn)限速標志的檢測利用改進的卷積神經(jīng)網(wǎng)絡實現(xiàn)限速標志的識別分類暗通道去霧大氣物理散射模型圖像去霧算法主要分為兩大類：簡單的圖像增強類算法，代

2、表算法是多尺度Retinex算法根據(jù)大氣物理散射模型，推算出模型中的未知參數(shù)，實現(xiàn)對模型的逆變換，最終得到去霧后的圖像，代表算法是何凱明的基于暗通道先驗原理的去霧算法。大氣物理散射模型：暗通道去霧暗通道原理暗通道原理：在霧霾天氣下，由于大氣光分量的影響，使得圖像亮度增加，對比度下降，暗通道值不再趨近于0由大氣物理散射模型可得透射率趨近于0的點即為最濃的點，霧最濃的點即為暗通道圖中亮度最高的點，推算全局光照強度的步驟如下：取出暗通道圖中亮度最高的前0.1%的點作為霧最濃的點；在待去霧圖像中，找出這些點的像素最高值作為全局光照強度。暗通道去霧推算全局光照強度存在的問題：暗通道去霧推算全局光照強度創(chuàng)

3、新點一：改進的全局光照強度推算過程取出暗通道圖中亮度最高的前0.1%的點作為霧最濃的點；在待去霧圖像中，計算這些點的像素的平均值，得到Aavg；比較Aavg與所設(shè)定的閾值最大全局光照強度Amax，取兩者中較小者 作為全局光照強度A假設(shè)透射率和全局大氣光值為定值，對大氣物理散射模型兩邊同時取窗口內(nèi)最小值和三個顏色通道中的最小值根據(jù)暗通道先驗原理，可化簡為得到的透射率利用導向濾波函數(shù)進行細化，最終去霧公式為暗通道去霧計算透射率圖存在的問題：透射率圖的計算需要耗費較長時間，難以滿足實時性要求暗通道去霧計算透射率圖創(chuàng)新點二：改進的透射率圖計算過程在求解透射率圖之前，先對原始待去霧圖像下采樣為原始大小的

4、1/4，然后推算出下采樣圖的透射率圖，最后利用雙線性插值法將下采樣圖的透射率圖恢復為原始大小。經(jīng)實驗驗證，去霧效果沒有明顯變化，但處理速度有顯著提升。算法5幅圖像去霧處理時間(ms)平均處理時間(ms)未下采樣160.93153.25161.65161.53159.33159.34下采樣67.2170.4367.5262.1366.6866.79 (a)霧天圖像原圖 (b) 未下采樣去霧效果圖 (c) 下采樣去霧效果圖 下采樣對5幅圖像去霧處理時間的影響暗通道去霧實驗對比結(jié)果 原圖 MSR 暗通道去霧 本文方法論文主要工作利用改進的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HO

5、G+SVM實現(xiàn)限速標志的檢測利用改進的卷積神經(jīng)網(wǎng)絡實現(xiàn)限速標志的識別分類標志檢測算法流程粗定位精確定位標志檢測樣本統(tǒng)計樣本種類 樣本數(shù)限速20km/h 85限速30km/h 79限速50km/h 81限速60km/h 30限速70km/h 68限速80km/h 63限速100km/h 60限速120km/h 57合計 527SVM分類器正樣本分布表設(shè)定提取HOG特征的參數(shù)為：9個直方圖通道數(shù)、cell大小為4x4像素、block大小為4x4個cell、掃描步長為0.5個block大小，因此每一個訓練樣本所提取出的HOG特征的維數(shù)為9x4x4x3x3=1296維。標志檢測實驗結(jié)果選取線性核函數(shù)作

6、為SVM分類器的核函數(shù)。利用查全率(Recall)和查準率(Precision)來評價分類器的性能測試集查全率查準率標準測試集98.11%(260/265)98.86%(260/263)實際視頻測試集97.62%(82/84)96.47%(82/85)不同測試集下SVM分類器查全率及查準率結(jié)果分別采用標準數(shù)據(jù)測試集以及實際行車視頻中截取的含有限速標志的85幅視頻幀圖像測試集(負樣本數(shù)為153)來驗證檢測算法的有效性標志檢測實驗結(jié)果論文主要工作利用改進的暗通道去霧算法得到去霧后的交通道路圖像利用顏色幾何特征以及HOG+SVM實現(xiàn)限速標志的檢測利用改進的卷積神經(jīng)網(wǎng)絡實現(xiàn)限速標志的識別分類標志識別卷

7、積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡最重要的兩個特點為稀疏連接和權(quán)值共享，利用這兩個特點可以大大減少網(wǎng)絡中連接權(quán)值的參數(shù)個數(shù)，提高網(wǎng)絡的訓練速度與精度。(a) 全連接示意圖 (b) 稀疏連接示意圖 (c) 稀疏濾波器示意圖 假設(shè)圖像大小為10001000像素，共有1000000個隱藏單元，那么僅該層的連接權(quán)值的參數(shù)就達到了1012個；同樣是該幅圖像，大小為10001000像素，包含有1000000個隱藏單元，100個濾波器，設(shè)定接受域的大小為1010像素，那么該層的連接權(quán)值的參數(shù)變?yōu)?0000個。標志識別卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)創(chuàng)新點三： LeNet-5網(wǎng)絡訓練前加入預處理、在LeNet-5網(wǎng)絡基礎(chǔ)上改進神經(jīng)元數(shù)，

8、 利用Softmax激活函數(shù)代替tanh激活函數(shù)卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)示意圖標志識別卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)層數(shù)類型 特征映射圖 神經(jīng)元結(jié)構(gòu)卷積核結(jié)構(gòu)0輸入圖像 1 3232 1 卷積層 6 2828 552采樣層 6 1414 22 3卷積層 12 1010 554采樣層 12 55 225卷積層 120 11 556全連接層 84 117全連接層 9 11表 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)原有的LeNet-5網(wǎng)絡中的激活函數(shù)使用的是tanh函數(shù)，本文選取softmax激活函數(shù)作為網(wǎng)絡的激活函數(shù)。softmax激活函數(shù)可以將網(wǎng)絡中各層的輸出值軟性歸一化到0,1之間，且其和為1，減小輸出值之間的差?？梢詫oftmax函

9、數(shù)的輸出視作概率分布，選取概率最高的分量作為最終結(jié)果，使得網(wǎng)絡的輸出更加精準。標志識別樣本統(tǒng)計表 卷積神經(jīng)網(wǎng)絡正樣本分布表訓練前，隨機地選取一半正樣本，共6453個，作為訓練所用的正樣本，另一半共6453個，作為測試所用的正樣本，負樣本同樣隨機選取一半，共17029個，作為訓練所用的負樣本，另一半共17028個作為測試所用的負樣本。正樣本示意圖負樣本示意圖樣本種類樣本數(shù)限速20km/h1209限速30km/h1981限速50km/h1641限速60km/h1411限速70km/h1981限速80km/h1861限速100km/h1441限速120km/h1441合計12906標志識別預處理實驗

10、結(jié)果預處理方法測試集1測試集2測試集3測試集4測試集5全測試集原始圖像97.7%97.36%97.23%97.91%97.4%97.65%對比度增強98%97.76%97.31%98.1%97.76%97.92%直方圖均衡化97.8%97.78%97.38%97.89%97.4%97.83%自適應直方圖均衡化98.65%98.31%97.66%98.63%98.13%98.51%預處理對卷積神經(jīng)網(wǎng)絡的影響預處理方法對卷積神經(jīng)網(wǎng)絡影響對比圖標志識別對比實驗結(jié)果為了驗證本文識別算法的有效性，本文主要與隨機森林分類算法、基于HOG特征的SVM分類算法以及人眼識別的分類效果進行對比。傳統(tǒng)分類算法需要人

11、為提取物體的特征，特征提取的好壞對分類器的性能有著巨大的影響。卷積神經(jīng)網(wǎng)絡是深度學習的一種，它從最低級的特征開始逐級自動地學習更高級的特征，特征的提取與識別分類同時進行，最終通過機器學習找到最適合表征物體的特征組合。分類算法 識別率人眼97.63%隨機森林 95.95%HOG+SVM 89.2%本文算法 98.51%各分類算法限速標志識別實驗結(jié)果標志識別實驗結(jié)果總結(jié)與展望展望：目前算法在霧特別濃時不能完全地恢復霧天圖像，存在一定的失真；算法當限速標志嚴重遮擋的情況下難以準確地將其檢測出，影響識別的準確性；目前算法的實現(xiàn)均是在Matlab平臺下完成的，下一步計劃將算法移植到OpenCV環(huán)境下進一步驗證算法的有效性。總結(jié)：本文在原有暗通道去霧算法的基礎(chǔ)上改進其全局光照強度以及透射率的求 解步驟，提升了算法的去霧效果和處理速度；2. 本文利用限速標志的顏色和幾何特征對標志進行粗定位，利用HOG+SVM 實現(xiàn)對標志的精確定位；3. 本文利用改進的卷積神經(jīng)網(wǎng)絡實現(xiàn)對限速標志的識別分類。研究生期間成果小論文題目：The recognition of traffic speed