基于特征點(diǎn)的漢字字體識(shí)別研究

1、第30卷第2期電子與信息學(xué)報(bào)Vol.30No.2 2008年2月Journal of Electronics & Information Technology Feb. 2008基于特征點(diǎn)的漢字字體識(shí)別研究王愷靳簡明史廣順王慶人(南開大學(xué)機(jī)器智能研究所天津 300071(NEC中國研究院北京 100084摘 要:該文提出了整體分析法和個(gè)體分析法的概念,并在分析它們各自適用范圍的基礎(chǔ)上,指出個(gè)體分析法更適合于解決印刷體漢字字體識(shí)別。在此基礎(chǔ)上,提出一種基于特征點(diǎn)的個(gè)體分析法來解決漢字字體識(shí)別問題,與以往方法相比,該方法具有3個(gè)優(yōu)點(diǎn):識(shí)別可信度可控;處理速度快;適用于多語混排情況。實(shí)驗(yàn)結(jié)果

2、表明,該方法有效解決了印刷體漢字字體識(shí)別問題,其性能大大優(yōu)于以往方法。關(guān)鍵詞:字體識(shí)別;光學(xué)字符識(shí)別;特征點(diǎn)中圖分類號(hào):TP391.43 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-5896(200802-0272-05 Chinese Font Recognition Based on Feature PointWang KaiJin Jian-mingShi Guang-shunWang Qing-ren(Institute of Machine Intelligence, Nankai University, Tianjin 300071, China(NEC Laboratories, Bei

3、jing 100084, ChinaAbstract: Global analysis method and individual analysis method are proposed in this paper. By analyzing their traits, it is concluded that individual analysis method is more suitable for machine-printed Chinese font recognition.A feature point based individual analysis method is p

4、roposed to resolve Chinese font recognition problem.Compared with previous methods, there are mainly three advantages: The recognition reliability is controllable;the processing speed is fast; it is suitable for multi-lingual document image processing. Experimental results show that the proposed met

5、hod is more effective than previous methods.Key words: Font recognition; Optical character recognition (OCR; Feature point1引言我國自70年代末80年代初開始進(jìn)行漢字識(shí)別方面的研究工作,經(jīng)過二十多年來的努力,成熟的中文OCR軟件已經(jīng)應(yīng)用于實(shí)際中,為中文書籍的電子化做出了巨大貢獻(xiàn)。然而,在中文OCR中還存在一些亟待解決的問題:一方面,現(xiàn)有的中文OCR系統(tǒng)往往將所有字體混合識(shí)別,隨著待識(shí)別字體的增多,必然會(huì)造成誤識(shí)率的上升和識(shí)別速度的下降;另一方面,復(fù)雜版面的恢復(fù),實(shí)現(xiàn)文檔的所

6、見即所得。這兩方面都涉及到了字體識(shí)別問題:在中文OCR系統(tǒng)中加入字體識(shí)別模塊,根據(jù)字體識(shí)別結(jié)果將圖像送入相應(yīng)字體的字符識(shí)別器中,這可以很好地解決上述第一個(gè)問題;字體信息是版面恢復(fù)的內(nèi)容之一,正確的字體信息有助于提高版面恢復(fù)的精度。然而,漢字字體識(shí)別這一研究課題尚未引起學(xué)者們的足夠重視,僅有少數(shù)文章進(jìn)行過這方面的研究工作。本文認(rèn)為,以往關(guān)于漢字字體識(shí)別的研究工作可以分為兩類:整體分析法和個(gè)體分析法。(1整體分析法在整體分析法中,以整塊文字區(qū)域圖像2006-07-31收到,2007-05-07改回作為處理對(duì)象,經(jīng)過頻域變換獲取到用于字體分類的特征。當(dāng)前,采用這種方法的研究工作較多。比如,文獻(xiàn)1基于

7、多尺度非冗余小波紋理分析抽取字體分類特征;文獻(xiàn)2利用Gabor濾波器提取文字區(qū)域的全局紋理特征作為字體分類特征;文獻(xiàn)3利用小波包對(duì)文字區(qū)域圖像作多級(jí)分解,提取用于字體分類的紋理特征;文獻(xiàn)4和文獻(xiàn)5基于經(jīng)驗(yàn)?zāi)Ｊ椒纸鈴奈淖謪^(qū)域圖像中抽取用于字體分類的特征。(2個(gè)體分析法在個(gè)體分析法中,以單個(gè)漢字的字符圖像作為處理對(duì)象。比如,文獻(xiàn)6對(duì)單個(gè)漢字的字符圖像進(jìn)行小波分解,并在變換圖像上提取小波特征,該方法在不知道漢字內(nèi)容的前提下,識(shí)別單個(gè)漢字的字體。一般來說,整體分析法不需要切分出單獨(dú)的字符圖像,非常適用于難以進(jìn)行字符切分的情況。然而,印刷體漢字的切分并不困難7,整體分析法的這一優(yōu)勢在漢字字體識(shí)別中無法體

8、現(xiàn)。此外,與個(gè)體分析法相比較,采用整體分析法進(jìn)行印刷體漢字的字體識(shí)別,還存在以下兩點(diǎn)不足之處:(1從統(tǒng)計(jì)學(xué)的角度來說,個(gè)體分析法可以通過多個(gè)漢字投票表決來確定字體,并且隨著參與字體識(shí)別的個(gè)體數(shù)目的增多,其分類可信度能夠持續(xù)上升;而整體分析法的分類可信度則很難提升。(2文獻(xiàn)15均未考慮中文文檔中夾雜著英文的情第2期 王 愷等:基于特征點(diǎn)的漢字字體識(shí)別研究 273 況,實(shí)際上,隨著全球一體化,多語文檔的出現(xiàn)越來越普遍,文檔中其它語種的存在必然會(huì)對(duì)整體分析法的性能造成很大的負(fù)面影響。因此,對(duì)于漢字字體識(shí)別來說,個(gè)體分析法更為適用。目前,僅有文獻(xiàn)6采用個(gè)體分析法,但文獻(xiàn)6中的方法也存在一些問題:(1在

9、未知漢字內(nèi)容的情況下識(shí)別字體,認(rèn)為每個(gè)漢字對(duì)字體識(shí)別所起的作用是確定性的;而實(shí)際上,不同字體中不同漢字的相似度不同,對(duì)字體識(shí)別所起的作用大小也必然是隨機(jī)變化的。不認(rèn)識(shí)到這一點(diǎn),難以構(gòu)造出一個(gè)具有高穩(wěn)定性的漢字字體識(shí)別器。(2對(duì)每一個(gè)漢字圖像都通過小波分解抽取特征,這大大增加了計(jì)算復(fù)雜度,難以應(yīng)用于實(shí)際中。鑒于以往工作的不足,本文提出一種基于特征點(diǎn)的個(gè)體分析法來解決漢字字體識(shí)別問題。特征點(diǎn)方法在文獻(xiàn)8中首先應(yīng)用于漢字識(shí)別中,并通過大量實(shí)驗(yàn)證明了該方法具有較好的性能。之后,特征點(diǎn)方法被應(yīng)用于相似字的判別中,表現(xiàn)出了優(yōu)良的性能911,說明特征點(diǎn)方法具有對(duì)細(xì)微差別進(jìn)行辨別的能力,可以較好地解決相似字的

10、混識(shí)問題。同時(shí),不同字體同一漢字的整體結(jié)構(gòu)是一致的,僅在一些細(xì)節(jié)上存在著差別,這與相似字的判別類似,因此,將特征點(diǎn)的方法用于漢字字體識(shí)別完全可行。本文提出的基于特征點(diǎn)的個(gè)體分析法具有:穩(wěn)定性高、簡單高效、通用性好的優(yōu)點(diǎn),所以比以往方法具有更好的實(shí)用性。本文的內(nèi)容組織如下:第2節(jié)討論多字符字體識(shí)別原理,第3節(jié)介紹基于特征點(diǎn)的字體識(shí)別,第4節(jié)給出基于漢字字體識(shí)別的漢英混排OCR 系統(tǒng)框架,第5節(jié)是實(shí)驗(yàn)結(jié)果及分析,第6節(jié)是對(duì)本文工作的總結(jié)。2 多字符字體識(shí)別原理 不同字體中不同漢字的相似度不同,對(duì)字體識(shí)別所起的作用大小也必然是隨機(jī)變化的。為了能夠反映這種變化,每個(gè)漢字h 的第i 個(gè)字體識(shí)別模板中都包

11、含一個(gè)n 維向量:T 12(|,(|,(|hi hi hi hi n p w p w p w = (1 其中n 為待識(shí)別字體數(shù)目,hi 表示具體識(shí)別模板,(|hi j p w 表示輸入漢字h 屬于字體j w 時(shí)匹配模板為hi 的概率。(|hi j p w 需要通過對(duì)實(shí)際樣本的學(xué)習(xí)獲得,同其它大多數(shù)基于樣本的學(xué)習(xí)方法一樣,訓(xùn)練樣本越多,所得到的結(jié)果越逼近真正分布。1(,(|,(,(|(|(m m m m m m k kk kh i h i h i j j h i h i h i h i h i h i mh ij j k n m h i r r k r p w p w p p w p w p w

12、 p w = (2為保證能夠以最大的概率得到正確的結(jié)果,應(yīng)該判斷這些漢字所屬字體為11221,arg max (|,m m c r h i h i h i r nw p w = (3通過增加用于字體識(shí)別的漢字?jǐn)?shù)目m ,可以提高字體識(shí)別可信度,只有可信度高于預(yù)先定義的期望可信度時(shí),才返回字體識(shí)別結(jié)果。因此,與以往方法相比,本文方法具有更高的穩(wěn)定性。3 基于特征點(diǎn)的字體識(shí)別3.1 預(yù)處理由于掃描分辨率、字號(hào)等的不同,會(huì)造成同一漢字的圖像大小不同,為了獲得穩(wěn)定的漢字結(jié)構(gòu)信息,須在處理前將漢字圖像歸一成為同一尺寸。 3.2 穩(wěn)定點(diǎn)圖生成根據(jù)式(4和式(5,得到漢字h 的穩(wěn)定黑點(diǎn)圖h B 以及穩(wěn)定白點(diǎn)圖

13、h W 。不失一般性,以1表示黑,0表示白。i h h iB I = (4i h h iW I =(5式(4的物理意義是:對(duì)于一個(gè)漢字h ,如果它的所有訓(xùn)練字樣i h 在點(diǎn)(,x y 處的值都為1,那么在該漢字的穩(wěn)定黑點(diǎn)圖中該點(diǎn)取值為1,否則取值為0;式(5的物理意義是:對(duì)于一個(gè)漢字h ,如果它的所有訓(xùn)練字樣i h 在點(diǎn)(,x y 處的值都為0,那么在該漢字的穩(wěn)定白點(diǎn)圖中該點(diǎn)取值為0,否則取值為1。 3.3 黑特征點(diǎn)抽取首先介紹黑特征點(diǎn)抽取過程中用到的3個(gè)操作,如圖1所示。圖1 脫殼處理,H 操作和V 操作示意圖(1脫殼處理 先以行序優(yōu)先方式掃描h B ,當(dāng)黑點(diǎn)與白點(diǎn)水平相鄰時(shí),若刪除該黑點(diǎn)不

14、破壞字符連通性,則刪除該黑點(diǎn)。再以列序優(yōu)先方式掃描h B ,當(dāng)黑點(diǎn)與白點(diǎn)豎直相鄰時(shí),若刪除該黑點(diǎn)不破壞字符連通性,則刪除該黑點(diǎn)。(2H 操作 以行序優(yōu)先方式掃描h B ,如果連續(xù)黑點(diǎn)個(gè)數(shù)大于一定數(shù)值,則保留兩端黑點(diǎn)并將中間黑點(diǎn)變?yōu)榘c(diǎn),274 電 子 與 信 息 學(xué) 報(bào) 第30卷 如圖2所示。 (3V 操作 以列序優(yōu)先掃描h B ,如果連續(xù)黑點(diǎn)個(gè)數(shù)大于一定數(shù)值,則保留兩端黑點(diǎn)并將中間黑點(diǎn)變?yōu)榘c(diǎn),如圖3所示。 圖2 H 操作 圖3 V 操作設(shè)h C 是h B 兩次脫殼處理后的點(diǎn)陣圖。令1V(H(h B C =,2H(V(h B C =,由式(6得到只包含候選黑特征點(diǎn)的點(diǎn)陣圖0B 。1201(,

15、1(,1(,0,B i j B i j B i j ,= 或其他 (6 以行序優(yōu)先方式掃描0B ,選擇大小為m m ×的窗口,若窗口中候選特征點(diǎn)的數(shù)目多于兩個(gè),則將它們合并成一個(gè)特征點(diǎn),位于原來幾個(gè)候選特征點(diǎn)的重心上。 3.4 白特征點(diǎn)抽取根據(jù)h W 把背景點(diǎn)區(qū)域分隔為若干凸區(qū)域,每個(gè)凸域的中心點(diǎn)作為白特征點(diǎn)。 3.5 基于特征點(diǎn)的漢字字體識(shí)別一幅漢字圖像包含兩方面的信息:字符識(shí)別信息和字體識(shí)別信息。因此,在抽取特征點(diǎn)的過程中,同樣可以從兩方面來進(jìn)行:(1抽取字符識(shí)別特征點(diǎn) 將所有字體的漢字混合,抽取特征點(diǎn)時(shí)只考慮如何區(qū)分字符,而不考慮區(qū)分字體。(2抽取字體識(shí)別特征點(diǎn) 對(duì)不同字體的每

16、一漢字分別抽取特征點(diǎn),并選出那些能夠反映字體差異的特征點(diǎn)。如圖4所示是字體識(shí)別特征點(diǎn)抽取示例,其中抽取出來的特征點(diǎn)是為了區(qū)分宋體與其它6種字體。從圖中可以明顯看出,黑體、楷體、隸書和魏體這4種字體與特征點(diǎn)的匹配程度很低;仿宋和幼圓這兩種字體與特征點(diǎn)的匹配程度雖然看上去稍高一些,但實(shí)際上,仿宋與3個(gè)特征點(diǎn)無法匹配,而幼圓與4個(gè)特征點(diǎn)無法匹配;對(duì)于宋體來說,則可以與所有特征點(diǎn)匹配?？梢?僅通過7個(gè)特征點(diǎn),即可以很好地區(qū)分宋體和其它6種字體。對(duì)于單幅漢字圖像,首先通過字符識(shí)別特征點(diǎn)匹配方法圖4 字體識(shí)別特征點(diǎn)示例圖識(shí)別字符內(nèi)容,然后根據(jù)該字符對(duì)應(yīng)的字體識(shí)別特征點(diǎn)識(shí)別字體。本文提出的基于特征點(diǎn)的漢字字

17、體識(shí)別方法,在系統(tǒng)具體實(shí)現(xiàn)時(shí)只需在空間域中進(jìn)行特征點(diǎn)匹配,因此,比以往基于頻率域的方法更加快速、實(shí)用。4 基于漢字字體識(shí)別的漢英混排OCR 系統(tǒng)框架基于漢字字體識(shí)別的漢英混排OCR 系統(tǒng)框架如圖5所示,在文獻(xiàn)7中提出的漢英混排OCR 系統(tǒng)中加入了漢字字體識(shí)別模塊。圖5 基于漢字字體識(shí)別的漢英混排OCR 系統(tǒng)由于漢字保持“單擺浮隔”(即每個(gè)漢字所占寬度相等、相鄰字符保持間隔式排版,中文文本行具有明顯的全局特性 字符中心的等間距性(圖6。大量實(shí)驗(yàn)表明:基于這一特性,可以以很高的正確率切分出漢字圖像7。這一系統(tǒng)流程,保證了僅將漢字圖像送入漢字字體識(shí)別模塊,有效克服了由于受其它語種文字干擾而造成漢字字

18、體 圖6 漢字字符中心的等間距性第2期 王 愷等:基于特征點(diǎn)的漢字字體識(shí)別研究 275 識(shí)別模塊性能下降這一問題。在當(dāng)前已有的漢字字體識(shí)別研究工作中,只有本文考慮了多語混排情況,因而設(shè)計(jì)出來的方法也具有更好的通用性。5 仿真實(shí)驗(yàn)本文主要針對(duì)宋、仿宋、黑、楷、魏、隸書、幼圓7種字體進(jìn)行實(shí)驗(yàn),字符集為國標(biāo)一級(jí)漢字集,共3755個(gè)漢字,對(duì)每種字體每個(gè)漢字分別采36個(gè)不同的訓(xùn)練樣本,為了保證結(jié)果能夠更接近真實(shí)分布,在采樣過程中:(1采用不同的分辨率;(2采用不同的亮度;(3采用不同的傾斜度。根據(jù)采集條件的不同,最終訓(xùn)練集包含36組樣本。從中選出18組樣本按照3.1節(jié)至3.4節(jié)中描述的方法抽取字符識(shí)別特

19、征點(diǎn)和字體識(shí)別特征點(diǎn),并構(gòu)建模板庫;然后,對(duì)于每一個(gè)漢字h ,用相應(yīng)的屬于字體j w 的字體識(shí)別模板分別對(duì)另外18組樣本進(jìn)行評(píng)測,統(tǒng)計(jì)出與模板hi 匹配的概率(|,(1,2,7hi j p w j = 。本實(shí)驗(yàn)設(shè)定期望正確率須在99%以上,用于字體識(shí)別的最大漢字?jǐn)?shù)目為20。為了驗(yàn)證方法的有效性,根據(jù)以下標(biāo)準(zhǔn)進(jìn)行采樣:(1測試集為激光打印樣張和書籍雜志的掃描圖像; (2掃描分辨率包括300DPI 和400DPI ;(3包括宋、仿宋、黑、楷、魏、隸書、幼圓7組樣本,每組樣本包含100個(gè)段落,每個(gè)段落中混雜著不同比例的英文;(4測試樣本質(zhì)量與文獻(xiàn)15中給出的示例樣本質(zhì)量相似(含少量噪音。本實(shí)驗(yàn)的字體

20、識(shí)別結(jié)果如表1所示,期望正確率為根據(jù)式(2和式(3估計(jì)出來的正確分類概率,實(shí)際正確率表示實(shí)際得到的結(jié)果,平均長度表示參與字體識(shí)別的漢字?jǐn)?shù)目的均值?？梢?本方法能夠達(dá)到很高的正確率,并且對(duì)用于字體識(shí)別的漢字?jǐn)?shù)目的要求也較低,在實(shí)際應(yīng)用中完全可以滿足。表1 本文方法的字體識(shí)別正確率(%字體宋仿宋黑楷魏隸書幼圓文獻(xiàn)6中并未給出多字符漢字字體識(shí)別的準(zhǔn)確率,文獻(xiàn)1中得到的結(jié)果不穩(wěn)定,因此,本實(shí)驗(yàn)只與文獻(xiàn)25中的結(jié)果進(jìn)行了比較,如表2所示?？梢?本文所提出的方法大大優(yōu)于文獻(xiàn)25中的方法。表2 本文方法與以往方法的實(shí)驗(yàn)結(jié)果比較(字體識(shí)別的準(zhǔn)確率% 字體宋仿宋黑楷魏隸書 幼圓 平均本文 100 100 100

21、 100 100 100 100 100文獻(xiàn)3 97.4 99.6 96 94.4 99.2 6 結(jié)束語本文提出了整體分析法和個(gè)體分析法的概念,并在分析它們各自適用范圍的基礎(chǔ)上,指出個(gè)體分析法更適合于解決印刷體漢字字體識(shí)別這一問題。在分析以往研究工作不足的基礎(chǔ)上,本文提出一種基于特征點(diǎn)的個(gè)體分析法來解決漢字字體識(shí)別問題,該方法主要具有以下3個(gè)優(yōu)點(diǎn):(1穩(wěn)定性高:可以通過調(diào)整用于字體判別的漢字?jǐn)?shù)目,控制漢字字體識(shí)別的期望可信度;(2簡單高效:直接在空間域中通過特征點(diǎn)比對(duì)方法就能夠以較高的可信度判別出輸入漢字的字體,避免了由空間域到頻率域變換所引起的高計(jì)算代價(jià);(3通用性好:在當(dāng)前已有的漢字字體識(shí)

22、別研究工作中,只有本文考慮了多語混排情況,因而設(shè)計(jì)出來的方法也具有更好的通用性,能夠有效克服文檔中其它語種文字對(duì)漢字字體識(shí)別的干擾。實(shí)驗(yàn)結(jié)果表明,本文提出的基于特征點(diǎn)的個(gè)體分析法有效解決了印刷體漢字字體識(shí)別這一問題,其性能大大優(yōu)于以往方法。參 考 文 獻(xiàn)1曾理, 唐遠(yuǎn)炎, 陳廷槐. 基于多尺度小波紋理分析的文字種類自動(dòng)識(shí)別. 計(jì)算機(jī)學(xué)報(bào), 2000, 23(7: 699-704.Zeng Li, Tang Yuan-yan and Chen Ting-huai. Multi-scale wavelet texture-based script identification method. Ch

23、inese Journal of Computers , 2000, 23(7: 699-704.2 Zhu Yong, Tan Tieniu, and Wang Yunhong. Fontrecognition based on global texture analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2001, 23(10: 1192-1200. 3王洪, 汪同慶, 劉建勝, 朱永權(quán), 黃甫征聲. 基于小波包紋理分析的字體識(shí)別方法. 光電工程, 2002, 29(S1: 62-65.W

24、ang Hong, Wang Tong-qing, Liu Jian-sheng, Zhu Yong-quan,and Huangfu Zheng-sheng. Method for character font recognition based on wavelet package texture analysis. Opto -electronic Engineering, 2002, 29(S1: 62-65. 4楊志華, 齊東旭, 楊力華, 吳力軍. 基于經(jīng)驗(yàn)?zāi)Ｊ椒纸獾臐h字字體識(shí)別方法. 軟件學(xué)報(bào), 2005, 16(8: 1438-1444.276 電子與信息學(xué)報(bào)第30卷Yang

25、Zhi-hua, Qi Dong-xu, Yang Li-hua, and Wu Li-jun. AChinese font recognition method based on empirical mode decomposition. Journal of Software, 2005, 16(8: 1438-1444.5 Yang Zhihua, Yang Li-hua, and Suen Ching Y. A newmethod of recognizing Chinese fonts. Proceedings of the 2005Eight International Confe

26、rence on Document Analysis and Recognition, Seoul, Korea, 29 August 1 September 2005: 962-966.6 陳力, 丁曉青. 基于小波特征的單字符漢字字體識(shí)別. 電子學(xué)報(bào), 2004, 32(2: 177-180.Chen Li and Ding Xiao-qing. Font recognition of single Chinese character based on wavelet feature. Acta ElectronicaSinica, 2004, 32(2: 177-180.7 王愷, 王慶

27、人. 中英文混合文章識(shí)別研究. 軟件學(xué)報(bào), 2005,16(5: 786-798.Wang Kai and Wang Qing-ren. Research on Chinese/Englishmixed document recognition. Journal of Software, 2005, 16(5: 786-798.8 張炘中, 閆昌德, 劉秀英. 漢字識(shí)別的特征點(diǎn)法及其一種應(yīng)用.中文信息學(xué)報(bào), 1987, 11(3: 13-19.Zhang Xin-zhong, Yan Chang-de and Liu Xiu-ying. A method of chinese recognition based on characteristic dot Matching. Journal of Chin