復雜背景下的快速車牌識別技術研究資料(共17頁)

1、復雜(fz)背景下的快速車牌識別技術研究車牌定位(dngwi)算法分析1.基于(jy)灰度圖像的車牌定位方法1.1基于邊緣檢測的車牌定位方法1.1.1通過字符邊緣特征定位首先利用邊緣檢測算子提取車牌字符邊緣,再對字符邊緣進行形態(tài)學連接,獲得車牌候選區(qū)域,然后采用投影方法去除偽車牌。優(yōu)點：有效地去除非邊緣噪聲,可以快速定位含有多個車牌的圖像;缺點：難以去除邊緣密集的偽車牌,而且無法定位污染嚴重的車牌圖像。1.1.2通過檢測車牌的外邊框定位首先利用邊緣檢測算法提取車牌邊框位置,然后用Hough變換算法檢測直線,確認外邊框的上下左右四條邊位置就確定了車牌在圖像中的位置。1.2基于紋理特征的車牌定位方

2、法利用車牌區(qū)域的灰度跳變特征,對圖像進行水平方向的掃描,找到灰度變化滿足車牌區(qū)域灰度變化規(guī)律的車牌線段,對已經找到的可能存在車牌的區(qū)域進行垂直方向的掃描,找到連續(xù)若干行均存在車牌線段,通過對連通區(qū)域的尺寸分析,滿足車牌的寬高比,由此確定一個車牌區(qū)域。缺點：灰化和二值化的闕值問題，傾斜車牌定位問題1.3基于投影法的車牌定位方法首先對車牌圖像進行二值化,由于車牌區(qū)域存在明顯的劇烈的字符與背景的灰度跳變,將跳變次數(shù)投影到垂直軸上,那么車牌區(qū)域對應的垂直軸上會有一個明顯的峰值,這樣可以得到車牌的上下邊界。然后對上下邊界內的區(qū)域進行水平投影,字符區(qū)域會出現(xiàn)明顯的峰值,這樣可以得到車牌的左右邊界。缺點：無

3、法準確定位復雜環(huán)境下的車牌2.基于彩色圖像的車牌定位方法首先利用彩色邊緣檢測算子Color-Prewitt檢測字符邊緣,并用數(shù)學形態(tài)學方法連接各個邊緣,最后利用車牌的先驗知識,確定車牌位置。缺點：車牌底色不同。受自然光照(gungzho)變化影響，車牌圖像色度變化范圍大3.基于字符邊緣特征的車牌定位(dngwi)方法3.1粗定位釆用簡單方法的車牌粗定位方法獲取邊緣密集的車牌候選區(qū)域,再采用復雜(fz)方法的車牌定位去除偽車牌區(qū)域。3.1.1灰度變換把需要處理的RGB圖像轉換為YUV（視頻數(shù)據(jù)）圖像中的Y分量灰度圖像。轉換公式:Y = 0.299*R + 0.587*G + 0.114*53.1

4、.2邊緣檢測（1）梯度算子梯度算子是一階導數(shù)算子，圖像的梯度是鄰域灰度值的差分，圖像中灰度值變化劇烈處的梯度值較大,圖像中灰度值變化輕微處的梯度值較小。表1 梯度算子（2）拉普拉斯(Laplacian)算子拉普拉斯邊緣檢測算子是二階導數(shù)算子，通過鄰域內各個點的灰度值的差分來實現(xiàn)。該算子無法提供邊緣方向,是一個與邊緣方向無關的邊緣算子,這在一定程度上可以有效地檢測出全部圖像邊緣,但其缺點是對圖像噪聲比較敏感。兩個(lin )模板：（3）Canny 算子(sun z)Canny算子是先平滑再求導的邊緣(binyun)檢測方法，它利用高閾值和低閾值分別檢測圖像中的強邊緣和弱邊緣,以強邊緣為基礎,搜索

5、和連接附近的弱邊緣,而且由于它在邊緣檢測之前進行了高斯濾波,因此Canny算子不但可以檢測出豐富的邊緣細節(jié),又可以有效地減少噪聲的干擾。原理：1.用高斯濾波器平滑圖像高斯平滑函數(shù)： (3.1) (3.2)2.用一階差分來計算梯度的幅值和方向選擇對噪聲有抑制作用的Sobel算子: (3.3) (3.4)梯度橫幅： （3.5）梯度方向： （3.6）3.對梯度幅值進行“非極大值抑制”非極大值抑制是指在梯度方向上只保留梯度幅值為極大值的點,抑制所有非極大值的點。將梯度角的變化范圍縮小到只有四個方向,標號0到3。對梯度圖像的每個像素點使用一個3x3的模板,將模板的中心像素X的梯度值與沿著梯度方向的兩個相

6、鄰(xin ln)像素的梯度值比較,如果X的梯度值均小于沿梯度方向的兩個像素的梯度值,則將X處的灰度值置零。對梯度(t d)圖像進行“非極大值抑制(yzh)”處理后,檢測到的邊緣只有一個像素的寬度。4.雙閾值檢測和邊緣連接利用高閾值T1對梯度圖像進行二值化,得到強邊緣二值圖像Edgelmgl;利用低閾值T2對梯度圖像進行二值化,得到弱邊緣二值圖像Edgelmg2。3.1.3水平跳變檢測邊緣密集區(qū)域通過輸入車牌寬度范圍，記最小車牌寬度為minPlateWidth,最大車牌寬度為maxPlateWidth。由最小車牌寬度可以計算出最小字符間距,表示字符邊緣的最小距離要求。對二值邊緣圖的每一行進行掃

7、描,將同時滿足邊緣間距和邊緣跳變的邊緣點連接起來。這樣可以快速檢測出車牌可能存在的區(qū)域3.1.4連通域分析獲得車牌候選區(qū)域獲得連通域的最小外接矩形，提取車牌的輪廓。通過去除Blob內部點的方式來得到輪廓。Blob內部點通常滿足3x3的鄰域內都含有白點。(1)車牌候選區(qū)域對應外接矩形的寬度Width:MinPlateWidth/2 Width MaxPlateHeight*2 (3.7)(2)車牌候選區(qū)域對應外接矩形的高度Height;MinPlateHeight 12 He ight 1 (3.9)3.2精細(jngx)定位3.2.1自適應(shyng)灰度拉伸根據(jù)原圖象的對比度進行自適應灰度

8、拉伸,如果圖像已經有合適的對比度,則可進一步增加(zngji)其對比度;如果圖像的對比度非常差,則圖像的拉伸范圍不宜設置過大,以免造成拉伸過度。灰度拉伸公式： （3.10） （3.11） （3.12）注：c(i)為圖像的累積直方圖根據(jù)(b-a)的取值,設置拉伸區(qū)域范圍： （3.13） （3.14） （3.15）q根據(jù)動態(tài)范圍p進行自適應設置 （3.16）3.2.2 Sobel垂直邊緣檢測3.2.3自適應二值化(1)全局閾值法全局閾值法是指二值化過程中只使用一個全局閾值T的方法若像素灰度值大于閾值T,則將像素灰度值設為前景色(白色);否則,設為背景色(黑色),以此實現(xiàn)灰度圖像到二值圖像的轉變。1

9、.雙峰法利用(lyng)灰度直方圖，圖包含兩個波峰,這兩個峰分別對應前景和背景數(shù)目較多的像素點,雙峰之間的波谷對應前景和背景的分界點,雙峰法便是利用這種直方圖中求出分離前景和背景的二值化閾值。2.迭代法I、求出圖像(t xin)的最大灰度值和最小灰度值,分別記為和，則得到的初始(ch sh)閾值為: （3.17）II、將圖像中大于閾值的部分設為前景,小于閾值的部分設為背景,然后分別求出前景部分和背景部分的平均灰度值和III、求出閾值 （3.18）V、若，則所得即為閾值,否則繼續(xù)迭代。3. OTSU法（大律法）基本思想是:將圖像分為兩部分,一部分為像素灰度值大于等于閾值T的部分,另一部分為像素灰

10、度值小于閾值T的部分,然后求出這兩部分的平均值方差(T2,也稱為類間方差,通過迭代求出使類間方差CT2最大的閾值T,該閾值即為二值化效果最好的閾值。OTSU方法是自動選取二值化閾值的較優(yōu)方法。算法具體步驟如下:令二值化闕值T=0;求出大于T和小于T的這兩類的像素總數(shù)占圖像的比例和平均灰度值計算類間方差T=T+1,循環(huán)到找到類間方差最大值的對應的T（2）局部閾值法由像素灰度值和像素周圍點局部灰度特性來確定像素的閾值的,通過定義考察點的領域,并由領域計算模板來實現(xiàn)考察點灰度與領域的比較,較全局方法有更廣泛的應用。Bemsen算法基本思想是將對應于灰度圖中任一像素的閾值選取為該像素一個鄰域內的最大灰

11、度值與最小灰度值的平均值T(x,y),考慮以任意一點(乂,7)為中心的(2 + 1)乂(2? + 1)窗口(chungku),f(x,y)表示為該點的灰度值,以平均值T(x,y)為閾值,對該鄰域的所有點進行二值化,大于等于閾值的點取255,小于閾值的點取值0。它對光照不均以及噪聲干擾有一定(ydng)的適應能力，缺點是：一是計算速度慢,鄰域計算模板越大,計算速度越慢;二是不能保證筆畫的完整性和連通性;三是容易出現(xiàn)“偽影”現(xiàn)象(xinxing)。3.2.4去除噪聲去噪方法需要對邊緣圖像掃描三次,第一次掃描記錄從邊緣左上點開始計數(shù)的邊緣長度,第二次掃描記錄從邊緣右下點開始計數(shù)的邊緣長度,第三次掃描

12、將前兩次的數(shù)據(jù)相加得到邊緣的真實長度,根據(jù)邊緣長度去除噪聲。3.2.5水平跳變檢測字符具有豐富的垂直邊緣信息,因此對邊緣圖像進行行掃描時,車牌區(qū)域的行灰度值跳變劇烈。3.2.6形態(tài)學膨脹3.2.7連通域分析與合并判斷各個Blob的外接矩形之間的間距,滿足允許間距范圍內的矩形框進行合并。3.2.8幾何特征蹄選車牌結果(1)車牌候選區(qū)域的Blob面積Area;(2)車牌候選區(qū)域的Blob外接矩形的寬度Width(3)車牌候選區(qū)域的Blob外接矩形的高度Height;(4)車牌候選區(qū)域的Blob外接矩形的寬高比Ratio。當拍攝車牌的場景確定時,車牌的幾何特征值在一定范圍內:MinPlateArea

13、 Area MaxPlateArea (3.19)MinPlate Width Width MaxPlateWidth (3.20)MinPlateHeight Height MaxPlateHeight (3.21)MinPlateRatio Ratio MaxPlateRatio (3.22)利用以上車牌的幾何特征,可以挑出(tio ch)車牌區(qū)域。字符分割(fng)算法分析4.基于字符輪廓(lnku)和模板匹配的字符分割方法4.1自適應灰度拉伸4.2估計車牌顏色4.2.1 HSV顏色模型RGB顏色空間和HSV顏色空間的轉換公式: （4.1） （4.2） （4.3）4.2.2基于HSV的車

14、牌顏色判斷將RGB圖像轉換為HSV圖像,然后對圖像上的每個像素的顏色進行判斷,統(tǒng)計整個車牌圖像的顏色分布,最后估計出車牌顏色。4.3拉普拉斯邊緣檢測4.4二值化采用OSTU算法將邊緣檢測后的車牌灰度圖進行二值化,把邊緣處置為前景,非邊緣處置為背景4.5估計字符高度4.6提取字符1.提取邊緣(binyun)完整的獨立普通字符將高度接近(jijn)估計的字符高度,并且高寬比接近標準字符高寬比(2:1)的字符提取到普通字符類別。2.分離粘連(zhnlin)的字符I、優(yōu)先處理字符與上下邊框的粘連，找到字符間隙即可分離出字符II、然后處理字符與字符的粘連,強行分割。III、最后處理字符與左右邊框的粘連,

15、左右邊框在二值化圖像的垂直方向上為連續(xù)的白色,去除一部分,降低其影響即可,避免傷及字體部分。3.提取斷裂的字符對斷裂的邊緣之間進行小范圍區(qū)域生長,邊緣之間連接成功后,提取滿足普通字符尺寸的字符。4.提取“1”、“J”、“T”、“L”對“1”字符進行空間擴展,頂部和底部進行區(qū)域生長搜索。5.二次確認4.7模板匹配字符模板匹配僅對提取到5個以上的字符情況作處理。由提取到的字符的平均寬度作為基礎,在此基礎減2,減1,加1,加2,用5個字符寬度可以得出5個不同大小的模板,用這5個不同大小的字符模板在提取到的字符上移動作匹配,求出匹配度最大的模板。最佳匹配度: (4.4)字符識別算法分析5.字符識別常用

16、方法5.1統(tǒng)計模式識別統(tǒng)計決策判別,對字符整體按規(guī)律進行統(tǒng)計,將統(tǒng)計到的信息作為識別特征,使用決策函數(shù)進行識別。優(yōu)點:對復雜背景有較好的抗噪能力、容易實施的決策判別函數(shù);缺點:難以區(qū)分相似字的細節(jié)部分。5.1.1模板匹配以整體字符作為識別特征,同字庫中的模板特征進行(jnxng)比較,找出最大匹配度對應的模板,即為字符識別結果。5.1.2變換(binhun)特征用變換方法(如Walsh變換、Hardama變換、K-L變換、Fourier變換、Cosine變換,Slant變換等)將字符圖像映射到變換域中,然后(rnhu)在變換域中進行特征提取。5.1.3筆畫密度特征在字符圖像的一個特定范圍內,字

17、符在垂直方向、水平方向或對角線方向上的筆畫個數(shù)。5.1.4幾何矩特征只有在線性變換下才具有不變性,但是現(xiàn)實環(huán)境中不一定具備線性變換的條件,因此,該特征缺乏實用性。5.1.5輪廓特征使用輪廓特征可以非常容易地實現(xiàn)字符的粗分類。5.2結構模式識別把將一個復雜的模式一部分一部分地加以描述,將復雜的模式分成若干個子模式,直至最簡單的子模式(基元)。是一種樹狀結構的表示方法。5.3人工神利用圖像的統(tǒng)計特征和幾何空間等特征,通過自學習、修改自身的結構的方式,提高圖像的分類精度,直到取得滿意的效果,而且ANN可以像人腦一樣積累經驗。具有良好的容錯性和自適應性。6. SVM理論概述6.1經驗風險最小化(ERM

18、)問題預測的期望風險： （6.1）大數(shù)定理得知,當樣本數(shù)量很大的時候,算術平均值就可以近似于數(shù)學期望,于是得到經驗風險： （6.2） 經驗風險最小化(ERM)原則(yunz)就是經驗風險的最小值代替期望風險的最小值。6.2統(tǒng)計(tngj)學習理論的核心內容真實風險(fngxin)由經驗風險和置信風險兩個部分構成,其中經驗風險表示分類器從訓練樣本得到的分類結果的經驗誤差,置信風險表示分類器對未知樣本分類結果的信任度。當樣本數(shù)越大,VC維越小,則置信風險越小;反之,則越大。6.2.1 VC維對一個指示函數(shù)集,如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2力種形式分開,則稱函數(shù)集能夠把h個樣本打

19、散,函數(shù)集的VC維就是它能打散的最大樣本數(shù)目如果函數(shù)。6.2.2推廣性的界經驗風險和真實風險滿足如下關系： （6.3） （6.4）樣本數(shù)n是不變的,只有當學習機器的VC維h趨于零時,也就是學習機器的復雜性最小時,得到的是無窮大,置信范圍才趨于零,所以需要同時考慮經驗風險最小化和選取較小的VC維,才能設計出期望風險最小的分類器。6.2.3結構風險最小化(SRM)為了取得最小的實際風險,把函數(shù)集構造為一個按照VC維的大小排列的函數(shù)子集序列,折中考慮每個子集的經驗風險和置信范圍。結構風險最小化原則的求取方法通常有兩種：第一種方法是首先求取每個子集的經驗風險最小值,然后將經驗風險最小值與置信范圍相加,

20、并且找到這兩者之和最小對應的子集,這種方法的缺點十分明顯,當子集數(shù)量非常龐大時,該方法低效費時。第二種方法是通過設計函數(shù)集的結構使得每個子集的經驗風險都最小,然后選擇部分子集使其置信范圍最小,這種方法的缺點是函數(shù)集的結構難以設計。6.3 SVM 原理(yunl)6.3.1最優(yōu)超平面從SVM的結構風險最小化準則來看,超平面既可以把樣本區(qū)分開,又要使兩類樣本的分類間隔最大,這就保證了超平面不管在訓練時還是在使用時都有好的分類效果(xiogu),是最優(yōu)超平面。其中分類間隔是指兩類樣本中離分類超平面最近的樣本與分類超平面的距離的和。 （6.5）為求最小,得到了廣義(gungy)的最優(yōu)分類面。6.3.2

21、線性支持向量機1.線性可分支持向量機約束條件：拉格朗日求解：最大優(yōu)化函數(shù)：約束條件：最優(yōu)分類函數(shù)：2.線性不可分支持向量機求解這個優(yōu)化問題的方法與線性可分情況基本一樣,只是約束條件有所不同，支持向量是那些系數(shù)a,.不等于0的樣本。約束條件：6.3.3支持向量機通過非線性變換的核函數(shù)將低維空間轉換到高維線性可分空間,然后在線性可分空間中求取最優(yōu)分類超平面。優(yōu)化函數(shù)：最優(yōu)分類(fn li)函數(shù)：6.3.4支持(zhch)向量機的核函數(shù)1.線性函數(shù)(hnsh)：這時得到的支持向量機是一個線性分類器。2.多項式核函數(shù)：這時得到的支持向量機時q階多項式分類器。3.徑向基函數(shù)型核函數(shù)(RBF)：這時得到的

22、支持向量是一種徑向基函數(shù)分類器。支持向量機的每個支持向量與每個函數(shù)的中心一一對應。4.Sigmoid 核函數(shù)這時得到的支持向量機是一個兩層的多層感知器神經網絡,這個神經網絡不但有網絡的權值,而且可以自動確定隱含層節(jié)點數(shù),且沒有局部極小點問題。6.4核函數(shù)及其參數(shù)的選擇6.4.1核函數(shù)的選擇方法1.單一驗證估計樣本數(shù)量趨近于無窮大時,該估計為無偏估計,但現(xiàn)實中處理的總是數(shù)量有限的樣本問題,所以此方法的應用范圍在一定程度上受到了限制。2.K折交叉驗證一種迭代方式,一共迭代K次,每次將所有訓練樣本分為K份相等的子集樣本,訓練樣本是選擇其中K-1份樣本,測試樣本是剩余的一個樣本。3.留一法基本思想是當

23、可用樣本數(shù)為N時,訓練集由其中N-1個樣本構成,測試樣本為剩余的一個樣本,經N次重復,使所有的樣本都參加過測試。但留一法計算量大，只要上界小,分類器的推廣能力就強。6.4.2徑向基核函數(shù)將樣本映射到一個更高維的空間,比多項式核函數(shù)需要更少的參數(shù),減少了模型的復雜度。6.4.2參數(shù)(cnsh)的選擇徑向(jn xin)基(RBF)核函數(shù)主要確定懲罰因子C和參數(shù)。1.網格法選取U個C和V個cr2,就會有t/xF的組合狀態(tài)(zhungti),每種組合狀態(tài)對應一種SVM分類器,通過測試對比,找出推廣識別率最高的C和組合。2.雙線性法對滿足上式的(C,),訓練SVM,根據(jù)對其推廣識別率的估算,得到最優(yōu)參

24、數(shù)。3.梯度下降搜索法泛化誤差：核函數(shù)：a將0置一個初始值b用一個標準的SVM解法(如SMO),求出SVM的解Lagrange乘子cd跳轉到b直至T最小4.遺傳算法過程：at=0b隨機選擇初始種群P(t)c計算個體適應度函數(shù)值F(t)d若種群中最優(yōu)個體所對應的適應度函數(shù)值足夠大或者算法已經連續(xù)運行多代,且個體的最佳適應度無明顯改進則轉到第h步et=t+lf應用選擇算子法從P(t-l)中選擇P(t)g對P(t)進行交叉、變異操作,轉到第c步h給出最佳的核函數(shù)參合和懲罰因子C,并用其訓練數(shù)據(jù)集以獲得全局最優(yōu)分類面。遺傳算法的缺點是收斂很慢,容易(rngy)受局部極小值干擾62。6.5基于(jy)S

25、VM的字符識別6.5.1字符(z f)歸一化與二值化把車牌字符統(tǒng)一成一個模板大小，對每個字符進行二值化,采用OTSU 二值化方法。6.5.2特征提取1.投影特征統(tǒng)計圖像在特定方向上的投影直方圖。投影可以分為四個方向:垂直,水平,正反對角線方向。投影特征可以區(qū)分分布明顯不同的字符,對一些相似的字符區(qū)分效果差。2.網格特征統(tǒng)計字符圖像在每個網格內的所有像素點的像素值的和作為特征。假設字符圖像大小為W*H,網格大小為M*N,則共有個格子。該方法需要設置合適的網格大小,不同的網格大小對識別率影響較大。3.內外輪廓特征“1”、“2”、“3”、“5”、“7”只有外輪廓,“4”、“6”、“8”、“9”、“0”有內外輪廓,但是對相近的字符區(qū)分效果分,比如“C”和“G”。4.拓撲特征穿線數(shù)特征是指從某一方向穿過字符圖像時,穿越的連續(xù)像素的段的數(shù)量。歐拉數(shù)特征是指字符圖形中的孔數(shù),例如字符“8”有兩個孔。5.幾何矩特征圖像的幾何矩是指圖像函數(shù)在間區(qū)域(qy)內的積分。