車(chē)牌識(shí)別(附源代碼)

1、車(chē)牌識(shí)別電子1301 孫洪江 13一、目的與要求車(chē)牌定位系統(tǒng)的目的在于正確獲取整個(gè)圖像中車(chē)牌的區(qū)域，并識(shí)別出車(chē)牌號(hào)。通過(guò)設(shè)計(jì)實(shí)現(xiàn)車(chē)牌識(shí)別系統(tǒng)，能夠提高學(xué)生分析問(wèn)題和解決問(wèn)題的能力，還能培養(yǎng)一定的科研能力二、設(shè)計(jì)原理:牌照自動(dòng)識(shí)別是一項(xiàng)利用車(chē)輛的動(dòng)態(tài)視頻或靜態(tài)圖像進(jìn)行牌照號(hào)碼、牌照顏色自動(dòng)識(shí)別的模式識(shí)別技術(shù)。其硬件基礎(chǔ)一般包括觸發(fā)設(shè)備、攝像設(shè)備、照明設(shè)備、圖像采集設(shè)備、識(shí)別車(chē)牌號(hào)碼的處理機(jī)等，其軟件核心包括車(chē)牌定位算法、車(chē)牌字符分割算法和光學(xué)字符識(shí)別算法等。某些牌照識(shí)別系統(tǒng)還具有通過(guò)視頻圖像判斷車(chē)輛駛?cè)胍曇暗墓δ芊Q(chēng)之為視頻車(chē)輛檢測(cè)。一個(gè)完整的牌照識(shí)別系統(tǒng)應(yīng)包括車(chē)輛檢測(cè)、圖像采集、牌照識(shí)別等幾部分

2、。當(dāng)車(chē)輛檢測(cè)部分檢測(cè)到車(chē)輛到達(dá)時(shí)觸發(fā)圖像采集單元，采集當(dāng)前的視頻圖像。牌照識(shí)別單元對(duì)圖像進(jìn)行處理，定位出牌照位置，再將牌照中的字符分割出來(lái)進(jìn)行識(shí)別，然后組成牌照號(hào)碼輸出。 三、詳細(xì)設(shè)計(jì)步驟:為了進(jìn)行牌照識(shí)別，需要以下幾個(gè)基本的步驟：a.牌照定位，定位圖片中的牌照位置；b.牌照字符分割，把牌照中的字符分割出來(lái)；c.牌照字符識(shí)別，把分割好的字符進(jìn)行識(shí)別，最終組成牌照號(hào)碼。牌照識(shí)別過(guò)程中，牌照顏色的識(shí)別依據(jù)算法不同，可能在上述不同步驟實(shí)現(xiàn)，通常與牌照識(shí)別互相配合、互相驗(yàn)證。(1） 牌照定位:自然環(huán)境下，汽車(chē)圖像背景復(fù)雜、光照不均勻，如何在自然背景中準(zhǔn)確地確定牌照區(qū)域是整個(gè)識(shí)別過(guò)程的關(guān)鍵。首先對(duì)采集到

3、的視頻圖像進(jìn)行大范圍相關(guān)搜索，找到符合汽車(chē)牌照特征的若干區(qū)域作為候選區(qū)，然后對(duì)這些侯選區(qū)域做進(jìn)一步分析、評(píng)判，最后選定一個(gè)最佳的區(qū)域作為牌照區(qū)域，并將其從圖象中分割出來(lái)。（2）牌照字符分割 :完成牌照區(qū)域的定位后，再將牌照區(qū)域分割成單個(gè)字符，然后進(jìn)行識(shí)別。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符間或字符內(nèi)的間隙處取得局部最小值的附近，并且這個(gè)位置應(yīng)滿(mǎn)足牌照的字符書(shū)寫(xiě)格式、字符、尺寸限制和一些其他條件。利用垂直投影法對(duì)復(fù)雜環(huán)境下的汽車(chē)圖像中的字符分割有較好的效果。（3）牌照字符識(shí)別 :字符識(shí)別方法目前主要有基于模板匹配算法和基于人工神經(jīng)網(wǎng)絡(luò)算法?；谀０迤ヅ渌惴ㄊ紫葘⒎指?/p>

4、后的字符二值化,并將其尺寸大小縮放為字符數(shù)據(jù)庫(kù)中模板的大小，然后與所有的模板進(jìn)行匹配，最后選最佳匹配作為結(jié)果?；谌斯ど窠?jīng)元網(wǎng)絡(luò)的算法有兩種：一種是先對(duì)待識(shí)別字符進(jìn)行特征提取，然后用所獲得特征來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)分配器；另一種方法是直接把待處理圖像輸入網(wǎng)絡(luò)，由網(wǎng)絡(luò)自動(dòng)實(shí)現(xiàn)特征提取直至識(shí)別出結(jié)果。實(shí)際應(yīng)用中，牌照識(shí)別系統(tǒng)的識(shí)別率與牌照質(zhì)量和拍攝質(zhì)量密切相關(guān)。牌照質(zhì)量會(huì)受到各種因素的影響，如生銹、污損、油漆剝落、字體褪色、牌照被遮擋、牌照傾斜、高亮反光、多牌照、假牌照等等；實(shí)際拍攝過(guò)程也會(huì)受到環(huán)境亮度、拍攝亮度、車(chē)輛速度等等因素的影響。這些影響因素不同程度上降低了牌照識(shí)別的識(shí)別率，也正是牌照識(shí)別系統(tǒng)的困

5、難和挑戰(zhàn)所在。為了提高識(shí)別率，除了不斷的完善識(shí)別算法，還應(yīng)該想辦法克服各種光照條件，使采集到的圖像最利于識(shí)別。四、各個(gè)功能模塊的主要實(shí)現(xiàn)程序1.載入車(chē)牌圖像：I=imread(car1.jpg);figure(1),imshow(I);title(original image)；%將車(chē)牌的原圖顯示出來(lái)，結(jié)果如下：2.將彩圖轉(zhuǎn)換為灰度圖并繪制直方圖：I1=rgb2gray(I);%將彩圖轉(zhuǎn)換為灰度圖figure(2),subplot(1,2,1),imshow(I1);title(gray image);figure(2),subplot(1,2,2),imhist(I1);title(灰度圖直

6、方圖);%繪制灰度圖的直方圖結(jié)果如下所示：3. 用roberts算子進(jìn)行邊緣檢測(cè)：I2=edge(I1,roberts,0.18,both);%選擇閾值0.18，用roberts算子進(jìn)行邊緣檢測(cè)figure(3),imshow(I2);title(roberts operator edge detection image)；結(jié)果如下：4.圖像實(shí)施腐蝕操作：se=1;1;1;I3=imerode(I2,se);%對(duì)圖像實(shí)施腐蝕操作，即膨脹的反操作figure(4),imshow(I3);title(corrosion image);5.平滑圖像se=strel(rectangle,25,25);

7、%構(gòu)造結(jié)構(gòu)元素以正方形構(gòu)造一個(gè)seI4=imclose(I3,se); figure(5),imshow(I4);title(smothing image);結(jié)果如下所示：6. 刪除二值圖像的小對(duì)象 I5=bwareaopen(I4,2000);% 去除聚團(tuán)灰度值小于2000的部分figure(6),imshow(I5);title(remove the small objects); %用imshow函數(shù)顯示濾波后圖像結(jié)果如下所示 ：7.車(chē)牌定位y,x,z=size(I5);%返回I5各維的尺寸，存儲(chǔ)在x,y,z中myI=double(I5);%將I5轉(zhuǎn)換成雙精度tic %tic表示計(jì)時(shí)的開(kāi)

8、始，toc表示計(jì)時(shí)的結(jié)束 Blue_y=zeros(y,1);%產(chǎn)生一個(gè)y*1的零陣 for i=1:y for j=1:x if(myI(i,j,1)=1) Blue_y(i,1)= Blue_y(i,1)+1;%藍(lán)色像素點(diǎn)統(tǒng)計(jì) end end end temp MaxY=max(Blue_y);%Y方向車(chē)牌區(qū)域確定 PY1=MaxY; while (Blue_y(PY1,1)=5)&(PY11) PY1=PY1-1; end PY2=MaxY; while (Blue_y(PY2,1)=5)&(PY2y) PY2=PY2+1; end IY=I(PY1:PY2,:,:);Blue_x=ze

9、ros(1,x);%進(jìn)一步確定x方向的車(chē)牌區(qū)域 for j=1:x for i=PY1:PY2 if(myI(i,j,1)=1) Blue_x(1,j)= Blue_x(1,j)+1; end end end PX1=1; while (Blue_x(1,PX1)3)&(PX1x) PX1=PX1+1; end PX2=x; while (Blue_x(1,PX2)PX1) PX2=PX2-1; end PX1=PX1-1;%對(duì)車(chē)牌區(qū)域的校正 PX2=PX2+1; dw=I(PY1:PY2-8,PX1:PX2,:); t=toc; figure(7),subplot(1,2,1),imshow

10、(IY),title(Line direction areas); figure(7),subplot(1,2,2),imshow(dw),title(positioning color images);8.字符分割與識(shí)別對(duì)分割出的彩色車(chē)牌圖像進(jìn)行灰度轉(zhuǎn)換、二值化、均值濾波、腐蝕膨脹以及字符分割以從車(chē)牌圖像中分離出組成車(chē)牌號(hào)碼的單個(gè)字符圖像，對(duì)分割出來(lái)的字符進(jìn)行預(yù)處理（二值化、歸一化），然后分析提取，對(duì)分割出的字符圖像進(jìn)行識(shí)別給出文本形式的車(chē)牌號(hào)碼。代碼如下：imwrite(dw,dw.jpg);%將彩色車(chē)牌寫(xiě)入dw文件中a=imread(dw.jpg);%讀取車(chē)牌文件中的數(shù)據(jù)b=rgb2gr

11、ay(a);%將車(chē)牌圖像轉(zhuǎn)換為灰度圖imwrite(b,gray licence plate.jpg);%將灰度圖像寫(xiě)入文件中figure(8);subplot(3,2,1),imshow(b),title(車(chē)牌灰度圖像)g_max=double(max(max(b);g_min=double(min(min(b);T=round(g_max-(g_max-g_min)/3); % T 為二值化的閾值m,n=size(b);d=(double(b)=T); % d:二值圖像imwrite(d,binary licence plate.jpg);subplot(3,2,2),imshow(d),

12、title(before filtering binary licence plate)h=fspecial(average,3);d=im2bw(round(filter2(h,d);%使用指定的濾波器h對(duì)h進(jìn)行d即均值濾波imwrite(d,after average licence plate.jpg);subplot(3,2,3),imshow(d),title(after average licence plate)se=eye(2); % eye(n) returns the n-by-n identity matrix 單位矩陣m,n=size(d);%返回矩陣b的尺寸信息， 并

13、存儲(chǔ)在m,n中if bwarea(d)/m/n=0.365 %計(jì)算二值圖像中對(duì)象的總面積與整個(gè)面積的比是否大于0.365 d=imerode(d,se);%如果大于0.365則圖像進(jìn)行腐蝕elseif bwarea(d)/m/n=0.235 %計(jì)算二值圖像中對(duì)象的總面積與整個(gè)面積的比是否小于0.235 d=imdilate(d,se);%如果小于則實(shí)現(xiàn)膨脹操作endimwrite(d,expansion or corrosion the licence plate.jpg);subplot(3,2,4),imshow(d),title(expansion or corrosion the li

14、cence plate)；運(yùn)行結(jié)果如下所示：9.字符分割在汽車(chē)牌照自動(dòng)識(shí)別過(guò)程中，字符分割有承前啟后的作用。它在前期牌照定位的基礎(chǔ)上進(jìn)行字符的分割，然后再利用分割的結(jié)果進(jìn)行字符識(shí)別。字符識(shí)別的算法很多，因?yàn)檐?chē)牌字符間間隔較大，不會(huì)出現(xiàn)字符粘連情況，所以此處采用的方法為尋找連續(xù)有文字的塊，若長(zhǎng)度大于某閾值，則認(rèn)為該塊有兩個(gè)字符組成，需要分割。一般分割出來(lái)的字符要進(jìn)行進(jìn)一步的處理，以滿(mǎn)足下一步字符識(shí)別的需要。但是對(duì)于車(chē)牌的識(shí)別，并不需要太多的處理就已經(jīng)可以達(dá)到正確識(shí)別的目的。在此只進(jìn)行了歸一化處理，然后進(jìn)行后期處理。% 尋找連續(xù)有文字的塊，若長(zhǎng)度大于某閾值，則認(rèn)為該塊有兩個(gè)字符組成，需要分割%首先

15、創(chuàng)建子函數(shù)qiege與getword，而后調(diào)用子程序，將車(chē)牌的字符分割開(kāi)并且進(jìn)行歸一化處理d=qiege(d);m,n=size(d);subplot(3,2,5),imshow(d),title(n)k1=1;k2=1;s=sum(d);j=1;while j=n while s(j)=0 j=j+1; end k1=j; while s(j)=0 & j=round(n/6.5) val,num=min(sum(d(:,k1+5:k2-5); d(:,k1+num+5)=0; % 分割 endendd=qiege(d);y1=10;y2=0.25;flag=0;word1=;while f

16、lag=0 m,n=size(d); left=1;wide=0; while sum(d(:,wide+1)=0 wide=wide+1; endif widey2 flag=1;word1=temp; % WORD 1 end d(:,1:wide)=0;d=qiege(d); endend word2,d=getword(d); word3,d=getword(d); word4,d=getword(d); word5,d=getword(d); word6,d=getword(d); word7,d=getword(d);figure(9);subplot(2,7,1),imshow(

17、word1),title(1);subplot(2,7,2),imshow(word2),title(2);subplot(2,7,3),imshow(word3),title(3);subplot(2,7,4),imshow(word4),title(4);subplot(2,7,5),imshow(word5),title(5);subplot(2,7,6),imshow(word6),title(6);subplot(2,7,7),imshow(word7),title(7);m,n=size(word1);word1=imresize(word1,40 20);word2=imresi

18、ze(word2,40 20);word3=imresize(word3,40 20);word4=imresize(word4,40 20);word5=imresize(word5,40 20);word6=imresize(word6,40 20);word7=imresize(word7,40 20);subplot(2,7,8),imshow(word1),title(1);subplot(2,7,9),imshow(word2),title(2);subplot(2,7,10),imshow(word3),title(3);subplot(2,7,11),imshow(word4)

19、,title(4);subplot(2,7,12),imshow(word5),title(5);subplot(2,7,13),imshow(word6),title(6);subplot(2,7,14),imshow(word7),title(7);imwrite(word1,1.jpg);imwrite(word2,2.jpg);imwrite(word3,3.jpg);imwrite(word4,4.jpg);imwrite(word5,5.jpg);imwrite(word6,6.jpg);imwrite(word7,7.jpg);運(yùn)行結(jié)果如下：10.車(chē)牌識(shí)別：模板匹配是圖象識(shí)別方法

20、中最具代表性的基本方法之一，它是將從待識(shí)別的圖象或圖象區(qū)域f(i,j)中提取的若干特征量與模板T(i,j)相應(yīng)的特征量逐個(gè)進(jìn)行比較，計(jì)算它們之間規(guī)格化的互相關(guān)量，其中互相關(guān)量最大的一個(gè)就表示期間相似程度最高，可將圖象歸于相應(yīng)的類(lèi)。也可以計(jì)算圖象與模板特征量之間的距離，用最小距離法判定所屬類(lèi)。此處采用相減的方法來(lái)求得字符與模板中哪一個(gè)字符最相似，然后找到相似度最大的輸出。汽車(chē)牌照的字符一般有七個(gè)，大部分車(chē)牌第一位是漢字，通常代表車(chē)輛所屬省份，緊接其后的為字母與數(shù)字。車(chē)牌字符識(shí)別與一般文字識(shí)別在于它的字符數(shù)有限，漢字共約50多個(gè)，大寫(xiě)英文字母26個(gè)，數(shù)字10個(gè)。為了實(shí)驗(yàn)方便，結(jié)合本次設(shè)計(jì)所選汽車(chē)牌

21、照的特點(diǎn)，只建立了7個(gè)數(shù)字26個(gè)字母與10個(gè)數(shù)字的模板。其他模板設(shè)計(jì)的方法與此相同。首先取字符模板，接著依次取待識(shí)別字符與模板進(jìn)行匹配，將其與模板字符相減，得到的0越多那么就越匹配。把每一幅相減后的圖的0值個(gè)數(shù)保存，即為識(shí)別出來(lái)的結(jié)果源代碼如下：liccode=char(0:9 A:Z 蘇豫陜魯京遼浙); %建立自動(dòng)識(shí)別字符代碼表 SubBw2=zeros(40,20);l=1;for I=1:7 ii=int2str(I); t=imread(ii,.jpg); SegBw2=imresize(t,40 20,nearest); SegBw2=double(SegBw2)20; if l=1

22、 %第一位漢字識(shí)別 kmin=37; kmax=43; elseif l=2 %第二位 AZ 字母識(shí)別 kmin=11; kmax=36; else l=3 %第三位以后是字母或數(shù)字識(shí)別 kmin=1; kmax=36; end for k2=kmin:kmax fname=strcat(字符模板,liccode(k2),.jpg); SamBw2 = imread(fname); SamBw2=double(SamBw2)1; for i=1:40 for j=1:20 SubBw2(i,j)=SegBw2(i,j)-SamBw2(i,j); end end % 以上相當(dāng)于兩幅圖相減得到第三

23、幅圖 Dmax=0; for k1=1:40 for l1=1:20 if ( SubBw2(k1,l1) 0 | SubBw2(k1,l1) =5)&(PY11) PY1=PY1-1; end PY2=MaxY; while (Blue_y(PY2,1)=5)&(PY2y) PY2=PY2+1; end IY=I(PY1:PY2,:,:); %行方向車(chē)牌區(qū)域確定 Blue_x=zeros(1,x);%進(jìn)一步確定x方向的車(chē)牌區(qū)域 for j=1:x for i=PY1:PY2 if(myI(i,j,1)=1) Blue_x(1,j)= Blue_x(1,j)+1; end end end PX

24、1=1; while (Blue_x(1,PX1)3)&(PX1x) PX1=PX1+1; end PX2=x; while (Blue_x(1,PX2)PX1) PX2=PX2-1; endPX1=PX1-1;%對(duì)車(chē)牌區(qū)域的校正 PX2=PX2+1; dw=I(PY1:PY2-8,PX1:PX2,:); t=toc; figure(7),subplot(1,2,1),imshow(IY),title(車(chē)牌行方向);%行方向車(chē)牌區(qū)域確定figure(7),subplot(1,2,2),imshow(dw),title(車(chē)牌區(qū)域);%定位后的車(chē)牌區(qū)域如下所示：imwrite(dw,dw.jpg)

25、;%將彩色車(chē)牌寫(xiě)入dw文件中a=imread(dw.jpg);%讀取車(chē)牌文件中的數(shù)據(jù)b=rgb2gray(a);%將車(chē)牌圖像轉(zhuǎn)換為灰度圖figure(8);subplot(3,2,1),imshow(b),title(車(chē)牌灰度圖像)g_max=double(max(max(b);g_min=double(min(min(b);T=round(g_max-(g_max-g_min)/3); % T 為二值化的閾值m,n=size(b);d=(double(b)=T); % d:二值圖像subplot(3,2,2),imshow(d),title(二值化圖像)%均值濾波前% 濾波h=fspecia

26、l(average,3);%建立預(yù)定義的濾波算子，average為均值濾波，模板的尺寸為3*3d=im2bw(round(filter2(h,d);%使用指定的濾波器h對(duì)h進(jìn)行d即均值濾波subplot(3,2,3),imshow(d),title(濾波后圖像)se=eye(2); % eye(n) returns the n-by-n identity matrix 單位矩陣m,n=size(d);%返回矩陣b的尺寸信息， 并存儲(chǔ)在m,n中if bwarea(d)/m/n=0.365 %計(jì)算二值圖像中對(duì)象的總面積與整個(gè)面積的比是否大于0.365 d=imerode(d,se);%如果大于0.

27、365則圖像進(jìn)行腐蝕elseif bwarea(d)/m/n=0.235 %計(jì)算二值圖像中對(duì)象的總面積與整個(gè)面積的比是否小于0.235 d=imdilate(d,se);%如果小于則實(shí)現(xiàn)膨脹操作endsubplot(3,2,4),imshow(d),title(膨脹或腐蝕圖像);d=qiege(d);m,n=size(d);subplot(3,2,5),imshow(d),title(n)k1=1;k2=1;s=sum(d);j=1;while j=n while s(j)=0 j=j+1; end k1=j; while s(j)=0 & j=round(n/6.5) val,num=min

28、(sum(d(:,k1+5:k2-5); d(:,k1+num+5)=0; % 分割 endend% 再切割d=qiege(d);% 切割出 7 個(gè)字符y1=10;y2=0.25;flag=0;word1=;while flag=0 m,n=size(d); left=1;wide=0; while sum(d(:,wide+1)=0 wide=wide+1; end if widey2 flag=1;word1=temp; % WORD 1 end d(:,1:wide)=0;d=qiege(d); endend% 分割出第二個(gè)字符word2,d=getword(d);% 分割出第三個(gè)字符w

29、ord3,d=getword(d);% 分割出第四個(gè)字符word4,d=getword(d);% 分割出第五個(gè)字符word5,d=getword(d);% 分割出第六個(gè)字符word6,d=getword(d);% 分割出第七個(gè)字符word7,d=getword(d);figure(9);subplot(2,7,1),imshow(word1),title(1);subplot(2,7,2),imshow(word2),title(2);subplot(2,7,3),imshow(word3),title(3);subplot(2,7,4),imshow(word4),title(4);subp

30、lot(2,7,5),imshow(word5),title(5);subplot(2,7,6),imshow(word6),title(6);subplot(2,7,7),imshow(word7),title(7);m,n=size(word1);word1=imresize(word1,40 20);word2=imresize(word2,40 20);word3=imresize(word3,40 20);word4=imresize(word4,40 20);word5=imresize(word5,40 20);word6=imresize(word6,40 20);word7=imresize(word7,40 20);subplot(2,7,8),imshow(word1),title(1);subplot(2,7,9),imshow(word2),title(2);subplot(2,7,10),imshow(word3),title(3);subplot(2,7,11),imshow(word4),title(4);subplot(2,7,12),imshow(word5),title(5);subplot(2,7,13),imshow(word6),title(6)