基于數(shù)學形態(tài)學的汽車車牌圖像處理方法

基于數(shù)學形態(tài)學的汽車車牌圖像處理方法

0影響有很大的影響圖像分割包括將圖像劃分為具有不同屬性的區(qū)域，提取感興趣目標的技術和過程。在劃分時，首先，根據(jù)目標和背景的初驗知識在圖像中標記和定位目標和背景，然后識別目標，從背景或其他偽目標中分離。然而，在實際應用中，快速有效地將感覺目標從復雜背景中分離出來是一個難以解決的問題。本文的目的就是要研究出一種將汽車的牌照從復雜的背景中分割出來,以便進一步識別的方法.由于車輛圖象自然背景及車身背景都很豐富,且光照條件(白天,黑夜)、天氣條件(陰、雨、霧、雪)也對車輛圖象有很大影響;另一方面,由于車牌本身會有不同程度的模糊、磨損和變形.這些都給車牌定位帶來很大困難,所以需要進行一系列預處理.為了準確快速地進行車牌定位,人們提出了很多分割算法,其中大部分分割算法都是基于車牌的不同特征進行的,目前所利用的車牌特征有:(1)車牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計特征;(2)車牌的幾何特征,即車牌的高、寬及高寬比;(3)車牌區(qū)域的紋理特征,即穿過車牌的水平直線,其灰度呈現(xiàn)連續(xù)的峰、谷、峰分布;(4)車牌區(qū)域圖象的水平(垂直)投影特征;(5)車牌形狀特征及字符排列格式特征,如車牌有矩形邊框;(6)頻譜特征.其分割方法有多種:如運用Hough變換,通過檢測直線來提取車牌邊界區(qū)域;使用灰度分割及區(qū)域生長來進行區(qū)域分割;使用紋理特征分析技術等等.但是Hough變換方法在車牌區(qū)域變形或圖象被污損時,失效的可能性會大大增加;相比之下,灰度分割卻比直線檢測的方法要穩(wěn)定,但當圖象有許多與車牌的灰度非常相似的區(qū)域時,該方法也無能為力;另外,紋理分析在遇到類似于車牌紋理特征的其他干擾時,車牌定位正確率也會受到影響.由于在具有復雜背景的汽車圖象中,非車牌區(qū)域可能會具有車牌區(qū)域的某一特征,所以若僅使用車牌的單一特征來分割車牌,效果往往不好,而綜合利用車牌的多個特征,則可以有效地濾除偽車牌,以獲得目標車牌.在以往的車牌分割算法中,也考慮了綜合運用各種車牌特征來提高車牌定位準確性的問題.在上述算法中,由于采用物體的形態(tài)特征來進行圖象分析,容易實現(xiàn)并行處理,且能較好的滿足車牌定位的實時性要求,因此,本文結合車牌紋理及車牌幾何形狀的特點,設計了一種基于數(shù)學形態(tài)學的車牌定位方法,與其他傳統(tǒng)分析方法相比,該方法在定位準確度、運算速度和抗干擾能力上有明顯優(yōu)勢.1象象處理與分析方法數(shù)學形態(tài)學的應用幾乎覆蓋了圖象處理的每個領域,包括抑制噪聲、特征提取、邊緣檢測、圖象分割、文字識別、圖象編碼壓縮等圖象處理問題.迄今為止,還沒有一種方法能像數(shù)學形態(tài)學那樣,既有堅實的理論基礎和簡潔、樸素、統(tǒng)一的基本思想,又具有如此廣泛的實際應用價值.數(shù)學形態(tài)學圖象處理的基本思想,是利用一個稱為結構元素的探針來收集圖象的信息.當探針在圖象中不斷移動時,不僅可根據(jù)圖象各個部分間的相互關系來了解圖象的結構特征,而且利用數(shù)學形態(tài)學基本運算還可以構造出許多非常有效的圖象處理與分析方法.其最基本的形態(tài)運算是腐蝕和膨脹.按定義,二值圖象上目標邊界點是指位于目標內(nèi)部,且至少有一個鄰點位于目標之外的像素.用B代表結構元素,對工作空間A(被處理的圖象)中的每一點x,腐蝕和膨脹的定義分別為腐蝕:A?B=∩{A-b:b∈B}(1)膨脹:A⊕B=∪{A+b:b∈B}(2)腐蝕具有使目標縮小、目標內(nèi)孔增大,以及外部孤立噪聲消除的效果;膨脹是將圖象中,與目標物體接觸的所有背景點合并到物體中的過程,結果是使目標增大、孔洞縮小,可填補目標中的空洞,使其形成連通域.在數(shù)學形態(tài)學圖象處理中,除了腐蝕和膨脹這兩種基本運算外,還有兩種非常重要的運算方法,即開運算和閉運算.其定義如下:開運算:A○B(yǎng)=(A?B)⊕B(3)閉運算:A●B=(A⊕B)?B(4)其中,先腐蝕、后膨脹的過程稱為開運算,它具有消除圖象上細小物體,并在物體影像纖細處(目標狹窄區(qū))分離物體和平滑較大物體邊界的作用;先膨脹后腐蝕的過程稱為閉運算,它具有填充物體影像內(nèi)細小空洞,連接鄰近物體和平滑邊界的作用.2車牌分割的局部特征盡管汽車圖象的背景很復雜,但車牌區(qū)域中的字符目標卻有一定的規(guī)律,如穿過車牌的水平直線,其灰度就呈現(xiàn)連續(xù)的峰、谷、峰的紋理分布,其一維灰度特征如圖1(b)所示.而牌照字符目標圖象,則具有如下特點:(1)牌照字符與牌照底交界處有較大的灰度值跳變;(2)牌照內(nèi)有多個字符,基本成水平排列,形成一個矩形區(qū)域;(3)不同圖象中,牌照的大小、位置雖不確定,但牌照大小變化有一定范圍,因此如何將上述3種車牌區(qū)域特點都被車牌分割算法所利用,是本文研究的重點.如圖1所示,車牌字符灰度具有如下特征:當橫向掃描線通過車牌圖象時,車牌區(qū)的灰度跳變明顯,但跳變寬度不超過兩倍字符寬度,而且在車牌區(qū)內(nèi)跳變密集分布(如圖1(b)所示).而其他區(qū)域,灰度變化不明顯或者灰度跳變不密集分布.任何分割算法,由于都是基于分割對象的特征,以及根據(jù)與周圍特征的差異來分割圖象的,所以車牌分割選取可靠的參數(shù)是關鍵性的問題.本文則選取車牌紋理及車牌幾何形狀作為特征來對車牌進行定位.車牌紋理雖具有很強的穩(wěn)定性和可識別性,但如何描述才能更加貼近車牌紋理是決定車牌正確分割的關鍵.一些研究者采用水平密集跳變數(shù)作為車牌紋理特征,雖能較好定位出“準車牌”,但由于定位出的“準車牌”較多,因而為后續(xù)準確定位車牌帶來了難度,這是因干擾及車體影像的局部灰度跳變特征與簡單的車牌紋理描述特征相似所致.但進一步觀察發(fā)現(xiàn),車牌灰度密集跳變的間距具有一定的寬度,其最大跳變寬度為兩倍車牌字符寬度,因此可利用這一特征來進行識別.如在實際的拍攝環(huán)境(十字路口,地下停車場等),設有相應的檢測設備(如車輛檢測線圈),當汽車闖紅燈時,檢測設備即被觸發(fā),并立即采集圖象,從觸發(fā)到采集圖象的時間小于40ms,如車以100km/s行駛速度算,也只走了1m,由于圖象中車牌大小變化很小(拍攝距離大于6m),因此可以把車牌字符間距作為可靠的特征來參與車牌定位的識別.為增強車牌大小變化的兼容性,本文取最大車牌字符間距a(單個車牌字符間距)和字符高度4b(4b為單個車牌字符高度)作為形態(tài)濾波的參數(shù).3重點特征模型的編碼由于一些研究者只考慮車牌紋理結構,而忽視車牌整體結構,或由于只考慮車牌整體結構,而忽視細小紋理結構,從而造成錯誤分割.這主要是由于細小紋理結構與車牌整體結構較難協(xié)調統(tǒng)一所致.近幾年來,研究者注意到基于兩種以上特征的車牌定位分割方法,具有更高的準確度,并研究出了很多算法,如基于車牌顏色和車牌幾何形狀的定位分割方法;基于車牌紋理水平密集跳變和車牌形狀的定位分割算法;基于邊緣提取和車牌形狀的定位分割算法等等.在上述的算法中,盡管也綜合考慮了兩種以上的車牌特征,但因基于各特征的定位算法都是獨立處理、串行工作的,難于相互協(xié)調,致使定位出的偽車牌數(shù)增加,從而增大了車牌定位的難度.近幾年來,隨著數(shù)學形態(tài)學在圖象處理中的廣泛運用,如今把數(shù)學形態(tài)學運用于車牌定位的分割算法,雖已屢見不鮮,但仍存在以下缺點:(1)由于在圖象處理的前期工作中,采用數(shù)學形態(tài)學的開(閉)運算,進行圖象處理后,依然存在大量不符合車牌長度的短線和孤立點,因此給后期的車牌定位帶來很大干擾和不確定因素;(2)由于預處理工作的不徹底,還需要進行一系列的基于點的數(shù)學形態(tài)學開閉運算,因此運算速度明顯下降,而本文綜合運用了數(shù)學形態(tài)學和評價函數(shù)方法,由于更貼近地表述了車牌的綜合特征及與周圍的差異特性,并極大地避免了因“偽車牌“的出現(xiàn),而造成錯誤分割的問題,因此具有更準確的分割效果和更強的抗干擾性能.作者運用數(shù)學形態(tài)學的膨脹算法,結合信號處理中的帶通濾波算法,把紋理結構與車牌整體結構特征相統(tǒng)一,由于兼顧兩種車牌特征而大大減少了誤判的概率,因此具有很高的識別率.在進行數(shù)學形態(tài)學運算前,先需將車牌圖象二值化,本文采用的掃描差分二值化閾值迭代算法的步驟如下:(1)將圖象中的任意點Ii,j與相鄰點Ii-1,j相減,然后取絕對值,存入矩陣Mi,j,令迭代次數(shù)k=1.(2)將矩陣Mi,j中的任意點mi,j與指定閾值T進行比較(如果k=1,則取T=110∑i=110TiΤ=110∑i=110Τi),然后將整個圖象二值化.如mi,j>T,則為1,否則為0.(3)運用數(shù)學形態(tài)學的膨脹算法.取長度為(2a+1)的一維結構元素B對二值圖象A進行膨脹運算.膨脹運算后,在車牌區(qū)的橫向掃描線上,因峰、谷、峰的紋理特征相互融合而轉變?yōu)榫哂幸欢▽挾鹊拿}沖,如圖1(c)所示.該脈沖寬度可近似視為車牌寬度.(4)對橫向掃描線上的方波進行直線帶通濾波.其中,對方波寬度小于車牌長度或大于2倍車牌長度的直線,即認為是干擾,予以濾除.(5)計算滿足帶通濾波規(guī)則的直線總數(shù)p,以及滿足帶通濾波規(guī)則的掃描線上的灰度跳變總數(shù)g,若不滿足評價函數(shù)f(p,g),且k=k+1,則轉步驟2,否則轉步驟6.(6)執(zhí)行數(shù)學形態(tài)學的線開運算(線運算類似于數(shù)學形態(tài)學的點運算,只是以直線為運算單位).如圖2(b)、圖3(b)所示,車牌區(qū)域在垂直方向上也是連續(xù)的.假定單個車牌字符高度為4b,則取長度為(2b+1)的一維結構元素B對二值圖象A進行開運算,而這種開運算將濾除小于2b高度的偽車牌區(qū).如果最大垂直連續(xù)區(qū)域小于車牌字符高度4b,則減小閾值T,且令k=k+1,并跳轉到步驟2,否則轉步驟7.(7)對處理過的二值圖象進行水平和垂直投影,定位出車牌區(qū)域.掃描差分二值化閾值T的選取貫穿于程序流程的始終.閾值的選取分為如下兩種方法:(1)將當前時刻以前的最近歷史記錄(取10幅汽車圖象)的掃描差分閾值T,取均值,作為當前圖象掃描差分二值化閾值T的初始值,該方法的目的是為了跟蹤光照強弱的變化,當光照條件很好時,差分二值化閾值普遍提高,當光照變暗時,差分二值化閾值普遍減小,以減少閾值的搜索時間;(2)采取迭代方法來改進閾值,算法流程如上所述.當光照強度變化時,圖象中目標與背景的對比度也相應地變化,例如,當光線變強(弱)時,一方面,圖象中觀測物體邊緣的相鄰像素間的差分值也在相應地變大(小);另一方面,對于拍攝的實際汽車圖象,由于具有類似紋理、長度、寬度及高寬比的塊區(qū)域,因此車牌區(qū)域具有最大(至少是次優(yōu)值)的連續(xù)跳變差分閾值.根據(jù)這些觀察結果,配以相應的評價函數(shù)f(p,g),以適應閾值變化.評價函數(shù)f(p,g)如下:H≤p≤4H;0.8Lp<g<1.2Lp.其中,H為字體像素高度,H=4b,L為車牌內(nèi)單線跳變數(shù),一般取L=14.同時為避免干擾,特提出如下兩個參數(shù):即滿足帶通濾波規(guī)則的直線總數(shù)p,以及滿足帶通濾波規(guī)則的掃描線上的灰度跳變總數(shù)g,當閾值T較低時,則滿足帶通濾波規(guī)則的直線總數(shù)p和灰度跳變總數(shù)g都會增加.p的引入是為了限制滿足帶通濾波規(guī)則的直線過多或過少,g的引入是為了濾除由于燥聲干擾和路面凸凹不平所形成的“偽車牌”.當直線總數(shù)p<H時,則閾值T=T-ΔT,當直線總數(shù)p>4H時,則T=T+ΔT;同樣,當直線總數(shù)p滿足評價函數(shù)時,則僅需判斷跳變總數(shù)g,再通過調整閾值T來滿足跳變總數(shù)g的要求.由圖2(b)、圖3(b)可見,盡管圖象背景復雜,但經(jīng)過水平膨脹及直線帶通濾波后,大部分干擾可被濾除,車牌區(qū)雖已經(jīng)顯示出來,但仍然存在干擾,因此需再經(jīng)過垂直方向的腐蝕運算,以極大程度地濾除干擾.另外,圖象經(jīng)過垂直方向上的開運算后,還需將其進行水平(垂直)投影.這樣經(jīng)過上述處理后,存在的干擾區(qū)就很少了,且界線分明,很容易定位車牌,從而避免了傳統(tǒng)定位方法在投影時,因干擾過多而引起的錯誤定位.并且由于評價函數(shù)f(p,g)的引入,使算法對干擾具有很強的魯棒性,而評價函數(shù)中直線總數(shù)p和水平灰度跳變總數(shù)g的引入,就是為抑制高頻和低頻干擾,而在性能指標中所加的限制.例如,由于一些水泥地面也具有局部灰度劇烈跳變的特性,但其跳變特性屬于大于車牌紋理跳變頻率的高頻特性或不滿足帶通濾波的寬度特性,當掃描差分閾值T較低時,水平灰度跳變總數(shù)g會急劇增大,甚至會超過評價函數(shù)f(p,g)的限制,因此應根據(jù)評判準則來提高差分閾值T=T+ΔT,將干擾予以濾除,以便通過抑制干擾來尋找到最佳車牌區(qū)域.4充分發(fā)揮了美國函數(shù)和一般圖象處理的發(fā)揮.在圖象處理時,對于描述對象的圖像,一般在百為了驗證本文算法的定位效果,對在不同照明條件下所采集到的一系列汽車圖象進行了大量的實驗.實驗是采用不同自然背景及車身背景,不同光照條件(白天,黑夜)的車輛圖象進行車牌定位.實驗結果如表1所示,其定位總正確率為98.5%.整個程序運算簡潔、快速,而且能正確定位.在圖象處理過程中,都是基于數(shù)學形態(tài)學運算,且基本上全是加減運算.為了提高處理速度,程序將二維形態(tài)濾波