基于matlab的文字識別算法課程設(shè)計

1、摘要本課程設(shè)計主要運用MATLAB的仿真平臺設(shè)計進行文字識別算法的設(shè)計與仿真。也就是用于實現(xiàn)文字識別算法的過程。從圖像中提取文字屬于信息智能化處理的前沿課題，是當前人工智能與模式識別領(lǐng)域中的研究熱點。由于文字具有高級語義特征，對圖片內(nèi)容的理解、索引、檢索具有重要作用，因此，研究圖片文字提取具有重要的實際意義。又由于靜態(tài)圖像文字提取是動態(tài)圖像文字提取的基礎(chǔ)，故著重介紹了靜態(tài)圖像文字提取技術(shù)。隨著計算機科學(xué)的飛速發(fā)展，以圖像為主的多媒體信息迅速成為重要的信息傳遞媒介，在圖像中，文字信息（如新聞標題等字幕）包含了豐富的高層語義信息，提取出這些文字,對于圖像高層語義的理解、索引和檢索非常有幫助。關(guān)鍵字

2、：文字識別算法；靜態(tài)圖像文字提取；檢索目錄1課程設(shè)計目的32課程設(shè)計要求43相關(guān)知識54課程設(shè)計分析85系統(tǒng)實現(xiàn)96系統(tǒng)測試與分析176.1 文字識別算法仿真結(jié)果176.2 基于字符及單詞的識別196.2.1 基于字符的識別196.2.2 基于單詞的識別206.3 現(xiàn)存算法的問題216.3.1 大多文字識別方法依賴于人工定義的特征216.3.2 脫離上下文的字符識別易造成顯著的歧義216.3.3 簡單的單詞整體識別有著較大的局限性226.3.4 訓(xùn)練樣本制作繁瑣227參考文獻231圖像文字提取又分為動態(tài)圖像文字提取和靜態(tài)圖像文字提取兩種，其中，靜態(tài)圖像文字提取是動態(tài)圖像文字提取的基礎(chǔ)，其應(yīng)用范

3、圍更為廣泛，對它的研究具有基礎(chǔ)性，所以本文主要討論靜態(tài)圖像的文字提取技術(shù)。靜態(tài)圖像中的文字可分成兩大類：一種是圖像中場景本身包含的文字，稱為場景文字；另一種是圖像后期制作中加入的文字，稱為人工文字，如右圖所示。場景文字由于其出現(xiàn)的位置、小、顏色和形態(tài)的隨機性，一般難于檢測和提取；而人工文字則字體較規(guī)范、大小有一定的限度且易辨認，顏色為單色，相對與前者更易被檢測和提取，又因其對圖像內(nèi)容起到說明總結(jié)的作用，故適合用來做圖像的索引和檢索關(guān)鍵字。對圖像中場景文字的研究難度大，目前這方面的研究成果與文獻也不是很豐富，本文主要討論圖像中人工文字提取技術(shù)。靜態(tài)圖像中文字的特點靜態(tài)圖像中文字(本文特指人工文字

4、，下同)具有以下主要特征：(1)文字位于前端，且不會被遮擋；(2)文字一般是單色的；(3)文字大小在一幅圖片中固定，并且寬度和高度大體相同，從滿足人眼視覺感受的角度來說，圖像中文字的尺寸既不會過大也不會過小；(4)文字的分布比較集中，排列一般為水平方向或垂直方向；(6)多行文字之間，以及單行內(nèi)各個字之間存在不同于文字區(qū)域的空隙。在靜態(tài)圖片文字的檢測與提取過程中，一般情況下都是依據(jù)上述特征進行處理的。數(shù)字圖象處理靜態(tài)圖像文字提取一般分為以下步驟：文字區(qū)域檢測與定位、文字分割與文字提取、文字后處理。其流程如圖所示。圖1靜態(tài)文字處理流程圖2在高速發(fā)展的計算機軟硬件技術(shù)的支撐下，多媒體技術(shù)的發(fā)展非常迅

5、速，計算機技術(shù)從傳統(tǒng)的辦公和計算逐漸向人工智能和數(shù)字娛樂發(fā)展。在人工智能技術(shù)中，對環(huán)境信息的拾取處理和響應(yīng)顯得尤為重要，其中文本信息占環(huán)境信息很大一部分，為了使人工智能系統(tǒng)更為完善，則需要系統(tǒng)能夠像人眼一樣對周圍環(huán)境信息進行理解，尤其是環(huán)境信息中的文本信息。實驗表明，人類日常生活中，50%以上的信息量來源于眼睛捕捉的周圍環(huán)境的圖像，人眼可以快速捕捉到圖像中感興趣的信息，而對于計算機來說，一幅圖像僅僅是雜亂的數(shù)據(jù)，如何讓計算機想人眼一樣快速讀取圖像中的信息并進行分類及檢索等相應(yīng)處理，一直是多年來計算機視覺和模式識別研究者們探索的問題，如果能很好解決這些問題，能給工業(yè)生產(chǎn)及國防科技帶來巨大的改進。

6、文字是信息存儲和傳遞的重要載體，在很多由攝像設(shè)備拍攝的圖片中，都存在或多或少的文字，比如路牌、店名、車站牌、商品簡介等，識別圖片中的文字對計算機理解圖像的整體內(nèi)容有非常重大的作用。如何將圖片中的文字信息抽象出來形成具有完整語義的信息，再將其表達出來用于信息傳遞，從而輔助人類的生產(chǎn)和生活是研究計算機視覺的學(xué)者們多年來一直致力于解決的問題。研究如何對自然場景圖片中的字符進行識別，提取出有用信息，在獲取圖片文本信息的各個領(lǐng)域都有極大的商業(yè)價值。場景文字識別在日常生活也有著重要的地位，例如車牌的識別，盲人對周邊環(huán)境信息的獲取、圖書館管理的數(shù)字化和高效化，以及網(wǎng)絡(luò)中對指定的內(nèi)容的圖像和視頻的檢索等。自然

7、場景文本識別，就是將提取出來的自然場景圖片中的進行識別，提取出信息用于進一步的處理。在對場景文字識別的研究中，獲取自然場景圖片時候，由于背景物體、光線、陰影、拍攝角度引起的圖片背景千變?nèi)f化，攝像器材的精度、拍攝人員的技術(shù)等軟硬件的不同為拍攝同樣的自然場景圖片也帶來了相當大的差別，被拍攝的圖片中包含的文字大小、顏色、書寫風(fēng)格的各不相同等因素都為自然場景文字識別的實現(xiàn)增加的相當?shù)碾y度。需要對自然場景圖片中的識別首先需要對圖片中的文本進行定位，然后再對己經(jīng)精確定位的圖片進行識別。文本定位技術(shù)作為整個自然場景文本信息獲取系統(tǒng)中的基礎(chǔ)技術(shù)，已經(jīng)得到較好發(fā)展，相同地，文本識別技術(shù)在近年來也得到了比較好的發(fā)

8、展，但是由于文本的復(fù)雜性和隨機性，較文本定位技術(shù)來說，文本識別技術(shù)發(fā)展較為緩慢。3相關(guān)知識1 .在Matlab中調(diào)用i1=imread('8.jpg；可得到原始圖像，如圖所示:8圖2文字識別算法調(diào)制器模型2 .調(diào)用i2=rgb2gray(i1),則得到了灰度圖像，如圖所示：8圖3灰度圖像調(diào)用a=size(i1);b=size(i2);可得到：a=3,b=2即三維圖像變成了二維灰度圖像3 .調(diào)用i3=(i2»=thresh)洪中thresh為門限，介于圖4所示之間fOj12<tliresh1J2rl圖4thresh門限值iZ_Bai=double(maz(nax(12)：

9、獲取亮度最大值i2_min=doubl&L.min步i】二芹現(xiàn)高度晶小埴thresh=round(i2_max_(.圖5取得二值得到二值圖像，如圖所示:圖6二值圖像4 .把二值圖像放大觀察，可看到離散的黑點對其采用腐蝕膨脹處理，得到處理后的圖像，如圖所示圖7腐蝕膨脹處理后的二值圖像可見，腐蝕膨脹處理后的圖像質(zhì)量有了很大的改觀。橫向、縱向分別的腐蝕膨脹運算比橫向、縱向同時的腐蝕膨脹運算好上很多。5、對腐蝕膨脹后的圖像進行Y方向上的區(qū)域選定，限定區(qū)域后的圖像如圖所示：掃描方法：中間往兩邊掃。6、對腐蝕膨脹后的圖像進行X方向上的區(qū)域選定，限定區(qū)域后的圖像如圖11所示：掃描方法：兩邊往中間掃，

10、縱向掃描后的圖像與原圖像的對照。7.調(diào)用i8=(iiXY=1),使背景為黑色(0),字符為白色(1),便于后期處理。8.調(diào)用自定義函數(shù)(字符獲取函數(shù))i9=getchar(i8)。9、調(diào)用自定義的字符獲取函數(shù)對圖像進行字符切割，并把切割的字符裝入一維陣列。10 .調(diào)用以下代碼，可將陣列word中的字符顯示出來。forj=1:cnum%cnum為統(tǒng)計的字符個數(shù)subplot(5,8,j),imshow(wordj),title(int2str(j);%顯示字符end11 .調(diào)用以下代碼，將字符規(guī)格化，便于識別：forj=1:cnumwordj=imresize(wordj,4040);%字符規(guī)格

11、化成40>40end12 .調(diào)用以下代碼創(chuàng)建字符集：code=char(由于作者水平有限書中難免存在缺點和疏漏之處懇請讀批評指正，。);將創(chuàng)建的字符集保存在一個文件夾里面，以供匹配時候調(diào)用。13 .字符匹配采用模板匹配算法：將現(xiàn)有字符逐個與模板字符相減，認為相減誤差最小的現(xiàn)有字符與該模板字符匹配。假說:字符.！=100J00100100，模板字符.=1100ri00,模板字符了二1001V00L丹(義"7(£協(xié)5(/47)=8.$1用仆打"火/?心4一十)犯下2-*-d-lihLiIt聚#.Id»圖8字符匹配也就是說，字符A與模板字符T1更相似，我

12、們可以認為字符集中的字符T2就是字符Ao經(jīng)模板匹配。14、調(diào)用以下代碼，將字符放入newtxt.txt文本：new='newtxt''.txt;'c=fopen(new,，a+，;fprintf(c,'%b',Code(1:cnum);fclose(c);41、算法具有局限性。對于左右結(jié)構(gòu)的字符（如：川）容易造成誤識別，“川”字將會被識別成三部分。當圖片中文字有一定傾斜角度時，這將造成識別困難。2、模板匹配效率低。對于處理大小為m&TImes;m的字符，假設(shè)有n個模板字符，則識別一個字符至少需要m&TImes;mXnX2次運算，由

13、于漢字有近萬個，這將使得運算量十分巨大！此次字符識別一共花了2.838秒。3、伸縮范圍比較小。對于受污染的圖片，轉(zhuǎn)換成二值圖像將使字符與污染源混合在一起。對于具體的圖片，需反復(fù)選擇合適的thresh進行二值化處理，甚至在處理之前必須進行各種濾波。5文字識別算法仿真代碼如下：functionStroke=StrDetect01(LeftD,Y1,Y2,ST,PT)%ST為結(jié)構(gòu)閾值，為了指定高度和寬度結(jié)構(gòu)變化的不同SL=0;SR=0;SV=0;Count=0;%PT=5;%突變的閾值Str='T'%T表示結(jié)構(gòu)未定，Str用于保存當前的基本結(jié)構(gòu)Stroke='T'%用

14、于保存基本結(jié)構(gòu)Range=Y2-Y1+1;%字符的寬度或者高度forj=Y1:Y2Count=Count+1;if(abs(LeftD(j)<PT)if(LeftD(j)<0)SL=SL+1;elseif(LeftD(j)>0)SR=SR+1;elseSV=SV+1;endendelse%檢測到突變的決策if(Count>=fix(Range/4)+1)%設(shè)定字符輪廓可能發(fā)生的突變范圍if(SL>=3)&&(SR>=3)Str='C'elseif(SV>=2*(SL+SR)&&(max(SL,SR)<

15、;3)|(min(SL,SR)<2)Str='V'elseif(SL>SR)&&(SL>=0.5*SV)&&(SR<=1)|(SL>(SR+SV)Str='L'elseif(SR>SL)&&(SR>=0.5*SV)&&(SL<=1)|(SL>(SR+SV)Str='R'elseif(max(SL,SR)>=3)&&(min(SL,SR)>=2)Str='C'endendendendend

16、Stroke=StrokeStr;endif(j>=2+Y1)&&(j<=Y2-2)Stroke=Stroke'P'endSL=0;SR=0;SV=0;Count=0;Str='T'endend%=提取結(jié)構(gòu)=%if(Count>=fix(Range/4)+1)%發(fā)生突變后，剩余部分可能無法形成字符結(jié)構(gòu)if(SL>=ST)&&(SR>=ST)Str='C'elseif(SV>=2*(SL+SR)&&(max(SL,SR)<3)|(min(SL,SR)<2

17、)Str='V'elseif(SL>SR)&&(SL>=0.5*SV)&&(SR<=2)|(SL>=(SR+SV)Str='L'elseif(SR>SL)&&(SR>=0.5*SV)&&(SL<=2)|(SL>=(SR+SV)Str='R'elseif(max(SL,SR)>=3)&&(min(SL,SR)>=2)Str='C'endendendendendStroke=StrokeStr;f

18、unctionNumeral=Recognition(StrokeTop,StrokeLeft,StrokeRight,StrokeBottom,Comp)%采用四邊的輪廓結(jié)構(gòu)特征和筆劃統(tǒng)計(僅針對0和8)識別殘缺數(shù)字%Comp是用于識別0和8的底部補充信息StrT='T'StrL='T'StrR='T'StrB='T'RStr='T'%用于保存識別出的數(shù)字tempXT=size(StrokeTop);tempXL=size(StrokeLeft);tempXR=size(StrokeRight);%tempXB=

19、size(StrokeBottom);forTi=2:XTif(StrokeTop(Ti)='C')if(XL=2)&&(XR=2)if(Comp>=3)|(StrokeBottom(2)='C')&&(StrokeLeft(2)='C')&&(StrokeRight(2)='C')RStr='8'elseRStr='0'endelseif(StrokeLeft(XL)='L')&&(StrokeLeft(XL-1

20、)='P')&&(StrokeLeft(2)='C')RStr='2'elseif(StrokeLeft(2)='C')&&(XL>=3)&&(StrokeLeft(3)='P')RStr='9'elseif(XL>2)forLi=2:XLif(StrokeLeft(Li)='P')RStr='3'endendelseif(XL=2)forRi=2:XR-1if(StrokeRight(Ri)='P&

21、#39;)RStr='6'endendendendendendendelseif(StrokeTop(Ti)='V')%Topif(XR=2)&&(StrokeRight(2)='C')%數(shù)字3右端只有一個結(jié)構(gòu)RStr='3'elseif(XR=2)&&(StrokeLeft(2)='P')|(StrokeLeft(3)='P')|(StrokeLeft(XL)='V')RStr='7'elseif(XR>2)forRi=2:XR

22、if(StrokeRight(Ri)='P')RStr='5'endendendendI0=imread('8.jpg');%必須為二值圖像I=im2bw(I0,0.4);y0x0=size(I);Range=sum(I);Hy=0;forj=1:y0if(Range(j)>=1)Hy=Hy+1;endendRangeX=sum(I);Wx=0;fori=1:x0if(RangeX(i)>=1)Wx=Wx+1;endendAmp=24/Hy;%將文字圖像歸一化到24像素點的高度。I=imresize(I,Amp);yx=size(I)

23、;%I=bwmorph(I,'skel',Inf);%I=I;tic%=基本結(jié)構(gòu)=%第一類：豎(V);左斜(L);右斜(R);突變(P)%第二類：左半圓弧(C);右半圓弧(Q)%的三類：結(jié)構(gòu)待定(T);%=%Left=zeros(1,y);%左端輪廓檢測forj=1:yi=1;while(i<=x)&&(I(j,i)=1)i=i+1;endif(i<=x)Left(j)=i;endendforj=1:y-1LeftD(j)=Left(j+1)-Left(j);end%=結(jié)構(gòu)特征提取=%j=1;while(Left(j)<1)&&

24、(j<y)j=j+1;endY1=j;j=y;while(Left(j)<1)&&(j>1)j=j-1;endY2=j-1;%去掉急劇變化的兩端%=右邊=%Right=zeros(1,y);%左端輪廓檢測forj=1:yi=x;while(i>=1)&&(I(j,i)=1)i=i-1;endif(i>=1)Right(j)=i;endendforj=1:y-1RightD(j)=Right(j+1)-Right(j);end%=%Top=zeros(1,x);%頂端輪廓檢測fori=1:xj=1;while(j<=y)&

25、;&(I(j,i)=1)j=j+1;endif(j<=y)Top(i)=j;endendfori=1:x-1TopD(i)=Top(i+1)-Top(i);end%=%i=1;while(Top(i)<1)&&(i<x)i=i+1;endX1=i;i=x;while(Top(i)<1)&&(i>1)i=i-1;endX2=i-1;%去掉急劇變化的兩端%=%Bottom=zeros(1,x);%底部輪廓檢測fori=1:xj=y;while(j>=1)&&(I(j,i)=1)j=j-1;endif(j&g

26、t;=1)Bottom(i)=j;endendfori=1:x-1BottomD(i)=Bottom(i+1)-Bottom(i);end%=數(shù)字1的寬度特征=%Width=zeros(1,y);forj=1:yWidth(j)=Right(j)-Left(j);endW=m6系統(tǒng)測試與分析6.1文字識別算法仿真結(jié)果識別原圖如圖9(a)所示，仿真結(jié)果如圖9(b)所示。圖9(a)識別原圖圃FiX文編查捶工匐副楷I*事Fiqar#14口Xp豆餐由湍樂舊展2總4胤ftj)<fll(DlflnWWH)曰與寶，母|B目|口若輪廓1816141210&6420D51015202590IaFi

27、gureZ-文恃舊呆聲日杏看M16Afl)TmE更面D)SOW"曰Hi口修U修|琳|羯式0電電/,多日的I口圖9(b)仿真結(jié)果6.2 基于字符及單詞的識別6.2.1 基于字符的識別Strokelets:ALearnedMulti-scaleRepresentationforSceneTextRecognitionCVPR2014)通過聚類圖像塊來學(xué)習(xí)中層筆畫特征，然后使用霍夫(HOG)投票算法檢測字符。在筆畫特征和HOG特征的基礎(chǔ)上，使用隨機森林分類器來進行字符分類。End-to-endscenetextrecognition(2011)借鑒計算機視覺通用的目標檢測方法，提出了一個新

28、的文本識別系統(tǒng)。他們利用字符置信度以及字符之間的空間約束關(guān)系，給出最可能的檢測和識別結(jié)果。但是該算法只能用于水平方向排列的文本的檢測識別。End-to-EndTextRecognitionwithHybridHMMMaxoutModels(2013)和PhotoOCR:ReadingTextinUncontrolledConditions(2013)等人通過無監(jiān)督的二分類技術(shù)或有監(jiān)督的分類器，將單詞圖像分割為潛在的字符區(qū)域。End-to-EndTextRecognitionwithHybridHMMMaxoutModels(2013)使用一種復(fù)雜的，包含分割、矯正以及字符識別的CNN網(wǎng)絡(luò)，結(jié)合

29、使用固定詞典的隱馬爾科夫模型(HMM),生成最終的識別結(jié)果。PhotoOCR系統(tǒng)使用基于HOG特征的神經(jīng)網(wǎng)絡(luò)分類器，對分割得到的候選結(jié)果進行打分，使用結(jié)合N元語言模型(N-gram)的Beam搜索算法，得到候選字符集合。最后，再進一步使用語言模型和形狀模型對候選字符組合進行重新排序。DeepFeaturesforTextSpotting(2014)結(jié)合了文本一非文本分類器、字符分類器、二元語言模型分類器，對整張圖進行稠密的基于滑動窗口的掃描。最后結(jié)合固定詞典，對圖片中的單詞進行分析?；谧址淖R別技術(shù)依賴于使用字符分類器對圖像進行逐字符識別，最終將識別得到的字符進行集成，得到圖像中的整個單詞。

30、6.2.2 基于單詞的識別SceneTextRecognitionusingHigherOrderLanguagePrior以及Large-LexiconAttribute-ConsistentTextRecognitioninNaturalImages的工作依舊依賴于顯式的字符分類器，但是通過構(gòu)建一個圖結(jié)構(gòu)來推導(dǎo)整個單詞。這會遇到和基于字符識別方法類似的困難。WholeisGreaterthanSumofParts:RecognizingSceneTextWords2013)使用整張文字圖片來識別單詞：他們使用基于梯度的特征圖與預(yù)先制作好的單詞圖像進行對比，利用動態(tài)k近鄰來判斷當前圖片所包含

31、的單詞。該方法依賴于一個固定詞典以及預(yù)先生成的單詞圖片。Labelembeddingfortextrecognition(2013)使用集成的Fisher向量以及結(jié)構(gòu)化的支持向量機框架來建立圖片和整個單詞編碼的關(guān)系。WordSpottingandRecognitionwithEmbeddedAttributes(2014)進一步探索了單詞編碼的概念，他們?yōu)閳D片和單詞字符串創(chuàng)建了一個編碼空間。這其實是Supervisedmid-levelfeaturesforwordimagerepresentation(2014)方法的擴展：顯式利用字符級別的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)中間特征。Multi-digitNu

32、mberRecognitionfromStreetViewImageryusingDeepConvolutionalNeuralNetworks,(2013)等人使用深度CNN對整張圖片進行編碼，并使用多個位置敏感的字符級分類器來進行文字識別。他們在街景門牌號識別任務(wù)中取得了極大的成功。他們還將該模型應(yīng)用到長達8位的驗證碼識別任務(wù)上，并使用了合成的訓(xùn)練數(shù)據(jù)對模型進行訓(xùn)練。該方法在goggle街景門牌號識別任務(wù)中獲得了96%以上的識別率。同時還在對goggle驗證碼識別任務(wù)中獲得了99%以上的識別率。SyntheticDataandArtificialNeuralNetworksforNatur

33、alSceneTextRecognition(2014)和ReadingTextintheWildwithConvolutionalNeuralNetworks(2014)對上述模型做了細微變動:取消了預(yù)測字符長度的分類器，并引入了結(jié)束符表示文字結(jié)尾。他們隨后證明了，使用合成的訓(xùn)練數(shù)據(jù)訓(xùn)練出的模型，能夠成功應(yīng)用到現(xiàn)實世界的識別問題中。將單詞編碼為向量是一種可行的詞典單詞識別方法，但是在無約束情況下，字符之間可以任意組合。當字符數(shù)量足夠多時，基于固定長度向量編碼的方法性能會顯著下降。但是依然存在一些不足：一些研究將深度學(xué)習(xí)技術(shù)用于單個字符的識別步驟中，但整體框架依舊遵循傳統(tǒng)處理流程設(shè)計，因此在其它步驟中依舊會遇到緒論所述問題。Goodfellow等人的研究使用純神經(jīng)網(wǎng)絡(luò)直接完成整個識別流程，取得了業(yè)界領(lǐng)先的成績。但是由于他們需要使用固定大小的圖像作為輸入，并且將輸入圖像編碼為固定長度的特征向量，在圖片中字符較多的情況下，模型的識別精度會顯著下降。另一方面，由于他們的模型沒有對圖