利用多幀信息融合提高視頻車牌識(shí)別系統(tǒng)性能的研究

1、利用多幀信息融合提高視頻車牌識(shí)別系統(tǒng)性能的研究趙永輝 劉長(zhǎng)松(清華大學(xué) 電子工程系 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，北京 100084)摘要：針對(duì)視頻車牌識(shí)別系統(tǒng)中，同一車輛被多次采樣，多次識(shí)別的情況，本文提出了一種結(jié)果融合的策略。該策略能從同一車輛產(chǎn)生的多次結(jié)果中選取一個(gè)最可靠的結(jié)果輸出。該策略主要有兩個(gè)部分組成：1） 找出由同一車輛產(chǎn)生的所有結(jié)果。2）從這些結(jié)果中選取最可靠的一個(gè)作為輸出。通過實(shí)驗(yàn)表明，采用此策略的系統(tǒng)識(shí)別率比相同質(zhì)量的圖像識(shí)別率提高6個(gè)百分點(diǎn)以上。關(guān)鍵詞：模版匹配 識(shí)別分?jǐn)?shù) 匹配分?jǐn)?shù) 識(shí)別獎(jiǎng)勵(lì) Research on Video Vehicle License Plate

2、Recognition System PerformanceImprovement using Multi-frame Information AmalgamationZHAO Yong-hui LIU Chang-songState Key Laboratory of Intelligent Technology and SystemsDept. of Electronic Engineering, Tsinghua University, Beijing 100084 ChinaAbstract:In this paper, a result amalgamation method in

3、video vehicle license plate recognition (LPR) system is proposed. This method can choose the best result from several results of the same car, since a car can be sampled several times in video LPR system. The method is divided into two steps: 1) find the results of the same car, and 2) judging which

4、 result is the best. An experiment has been performed to prove the effect. The correct rate of our video LPR system is 6 percent more than the same quality images correct rate.Keywords: Template Matching Recognition Score Match Score Recognition Award1 引言作為智能交通系統(tǒng)的重要組成部分，視頻車牌自動(dòng)識(shí)別系統(tǒng)可以大大提高車輛管理的工作效率，加速交

5、通管理自動(dòng)化和智能化的步伐。因此，視頻車牌識(shí)別系統(tǒng)在高速公路收費(fèi)管理和超速監(jiān)控、公安海關(guān)車輛管理、城市交通路口監(jiān)控、交通參數(shù)調(diào)查等方面有著廣泛的應(yīng)用前景。圖1出示了圖像車牌識(shí)別系統(tǒng)結(jié)構(gòu)。從中可以看出，圖像車牌識(shí)別系統(tǒng)主要由車牌定位，車牌切分和字符識(shí)別三部分組成。圖1 傳統(tǒng)車牌識(shí)別系統(tǒng)結(jié)構(gòu)一般的視頻車牌識(shí)別方法是針對(duì)于單幅圖片，通過地感線圈1，紅外觸發(fā)，背景差法2等方式獲得車輛經(jīng)過的信號(hào)，抓拍一張圖像識(shí)別。而實(shí)際上在車輛經(jīng)過的過程中，攝像機(jī)可以取得多幀圖像，車牌在多幀圖像中由于位置和視角不同，其信息具有相當(dāng)大的互補(bǔ)性，充分融合和利用多幀圖像中的信息，是提高識(shí)別率的重要手段。由于同一車輛會(huì)被采樣在

6、多幅圖像中，對(duì)每一幅圖像都進(jìn)行識(shí)別后如果沒有識(shí)別結(jié)果融合，那么同一車輛會(huì)對(duì)應(yīng)多個(gè)識(shí)別結(jié)果，而且這些識(shí)別結(jié)果可能并不相同。通常要求對(duì)同一車輛只輸出一個(gè)結(jié)果，因此識(shí)別結(jié)果融合是視頻車牌識(shí)別系統(tǒng)中一個(gè)重要部分。一個(gè)好的融合策略能從多個(gè)識(shí)別結(jié)果中挑選出一個(gè)最可靠的結(jié)果輸出，因此融合策略對(duì)提高視頻車牌識(shí)別系統(tǒng)的性能很重要。 對(duì)每一幀圖像都進(jìn)行檢測(cè)識(shí)別后通過分析每幀圖像的車牌檢測(cè)和識(shí)別信息，還可以對(duì)視頻圖像中通過的車輛進(jìn)行統(tǒng)計(jì)和監(jiān)控，不需要地感線圈等外觸發(fā)設(shè)備，大大方便系統(tǒng)的使用。本文提出的識(shí)別結(jié)果融合算法主要分為兩步：1. 通過識(shí)別結(jié)果的相似性判斷出同一車輛對(duì)應(yīng)的多個(gè)識(shí)別結(jié)果。2. 從這些候選結(jié)果中選取

7、一個(gè)最可靠的結(jié)果輸出。2 識(shí)別結(jié)果的歸屬和可靠性判斷對(duì)圖像識(shí)別后，如果有識(shí)別結(jié)果產(chǎn)生，那么可以得到的附加信息有：車牌的號(hào)碼，車牌的類型（圖2）, 車牌的顏色（藍(lán)底白字，黑底白字，白底黑字，黃底黑字）。a) 標(biāo)準(zhǔn)車牌b) 警車車牌c) 武警車牌d) 個(gè)性化車牌 e) 黃色雙排圖2 車牌的類型以及其他附加信息：車牌的匹配分?jǐn)?shù)3,每個(gè)字符的識(shí)別分?jǐn)?shù)以及車牌的寬度。車牌的匹配分?jǐn)?shù)是車牌切分的矩形框結(jié)果按照一個(gè)最佳比例縮放后和對(duì)應(yīng)模版的吻合度。匹配分?jǐn)?shù)越高，說明這個(gè)車牌切分的越可靠。圖3是一個(gè)標(biāo)準(zhǔn)車牌的模版。圖3 標(biāo)準(zhǔn)車牌的模版2.1 識(shí)別結(jié)果的歸屬判斷 背景重建和背景差法2是一種常見的判斷是否有新的車

8、輛到來方法。其原理是：假設(shè)攝像頭位置不變，重建出一個(gè)背景。以后每幀圖像與這個(gè)背景比較當(dāng)差別超出一個(gè)閾值后，認(rèn)為有新車到來，當(dāng)差別恢復(fù)為0時(shí)則認(rèn)為此車已經(jīng)離開。背景重建和背景差法有如下3個(gè)缺點(diǎn)：1. 攝像頭不能移動(dòng)。2. 當(dāng)車流量較大，攝像頭范圍內(nèi)不止一個(gè)車時(shí)，容易被誤判成同一車輛。3. 背景重建和背景求差消耗的時(shí)間相對(duì)于整個(gè)識(shí)別過程較長(zhǎng)。對(duì)兩個(gè)識(shí)別結(jié)果，判斷是否是同一車輛產(chǎn)生的最簡(jiǎn)單可行的方法就是檢查兩個(gè)結(jié)果的相似程度。檢查兩個(gè)結(jié)果相似度前，首先判斷車牌類型和車牌顏色是否相同，如果不同的話就不用繼續(xù)判斷了，這兩項(xiàng)結(jié)果不同的話肯定不是同一車輛產(chǎn)生。在滿足類型和顏色都相同后，繼續(xù)判斷結(jié)果的相似程度

9、。如果兩個(gè)車牌的類型和顏色都相同，而且一一對(duì)應(yīng)的位置上有4個(gè)以上字符相同的話，我們認(rèn)為這兩個(gè)結(jié)果是同一車輛產(chǎn)生的。下面以最普遍的標(biāo)準(zhǔn)車牌為例來分析不同車輛產(chǎn)生的兩個(gè)結(jié)果被判為同一車輛產(chǎn)生的誤判率和同一車輛產(chǎn)生的兩個(gè)結(jié)果被判為不同車輛產(chǎn)生的誤判率。標(biāo)準(zhǔn)車牌共7個(gè)字符，第一位只能出現(xiàn)漢字， 第二位到第四位可能出現(xiàn)字母和數(shù)字，最后三位則只能出現(xiàn)數(shù)字。第一位的漢字可能有30多種（各個(gè)省以及其他特殊字)，第二位到第四位字母和數(shù)字的可能有36種，最后三位可能有10種。為計(jì)算簡(jiǎn)單期間把前四位字符歸為一類每個(gè)字符共36種可能，后三位字符歸為另一類每個(gè)字符共10種可能。 為兩個(gè)不同車輛產(chǎn)生的結(jié)果中前四位某一位相

10、同的概率 為兩個(gè)不同車輛產(chǎn)生的結(jié)果中后三位某一位相同的概率因此不同車輛產(chǎn)生的兩個(gè)結(jié)果被判為同一車輛產(chǎn)生的誤判率為： 是7個(gè)字符中有且只有位字符相同的概率。 假設(shè)進(jìn)行比較的兩個(gè)結(jié)果互相獨(dú)立，顯然有下面分析同一車輛產(chǎn)生的兩個(gè)結(jié)果被判為不同車輛產(chǎn)生的誤判率。以下的分析是在車牌中字符切分正確的假設(shè)下所進(jìn)行的。如果切分錯(cuò)誤那么識(shí)別出來的結(jié)果肯定是錯(cuò)誤，而且與正確切分的識(shí)別結(jié)果相差很大。我們只考慮只有兩個(gè)對(duì)應(yīng)位置的字符都被識(shí)別對(duì)了才可能相同的情況，不考慮兩個(gè)字符都被識(shí)別錯(cuò)了而且還相同的情況。為簡(jiǎn)單起見假設(shè)每一位字符被識(shí)別正確的概率相同為，則某一位相同的概率為。那么同一車輛產(chǎn)生的兩個(gè)結(jié)果被判為不同車輛產(chǎn)生的

11、誤判率為： 是7個(gè)字符中有且只有位字符相同的概率。 現(xiàn)在需要對(duì)進(jìn)行估計(jì)，由于在相同質(zhì)量的圖像測(cè)試庫上(513個(gè)樣本)測(cè)得的識(shí)別率是，由于每一位的識(shí)別是獨(dú)立的，因此可以認(rèn)為有， 取估計(jì)得 ，都很低，因此采用這個(gè)方法來判斷兩個(gè)識(shí)別結(jié)果是否是屬于同一輛車是可以接受的。2.2 識(shí)別結(jié)果的可靠性判斷對(duì)同一車輛多次識(shí)別的結(jié)果，根據(jù)識(shí)別后的附加信息來判斷哪一個(gè)識(shí)別結(jié)果最可靠。顯然車牌的匹配分?jǐn)?shù)以及每個(gè)字符的識(shí)別分?jǐn)?shù)4越高越可靠，匹配和識(shí)別分?jǐn)?shù)最高都是100。車牌的寬度越大越可靠，因?yàn)檐嚺茖挾缺容^大說明該車離攝像頭比較近，圖像質(zhì)量比較高不容易識(shí)別錯(cuò)。當(dāng)兩個(gè)結(jié)果中同一位置的結(jié)果相同時(shí)，比較字符對(duì)應(yīng)的識(shí)別分?jǐn)?shù)就失

12、去了意義了。因此重新定義一種識(shí)別獎(jiǎng)勵(lì)來代替識(shí)別分?jǐn)?shù)，當(dāng)兩個(gè)結(jié)果中同一位置的結(jié)果不同時(shí)，識(shí)別分?jǐn)?shù)高的結(jié)果對(duì)應(yīng)的識(shí)別獎(jiǎng)勵(lì)加1分，識(shí)別分?jǐn)?shù)低的結(jié)果對(duì)應(yīng)的識(shí)別獎(jiǎng)勵(lì)不變。有了識(shí)別獎(jiǎng)勵(lì)后，可以用識(shí)別獎(jiǎng)勵(lì)，匹配分?jǐn)?shù)，車牌寬度3個(gè)指標(biāo)來衡量結(jié)果的可靠性。我們采用一定的權(quán)重把這3個(gè)指標(biāo)線性加權(quán)起來得到一個(gè)可靠性評(píng)價(jià)分?jǐn)?shù)，可靠性評(píng)價(jià)分?jǐn)?shù)高則結(jié)果更可靠。系統(tǒng)采用的權(quán)重：匹配分?jǐn)?shù)的權(quán)重為1，識(shí)別獎(jiǎng)勵(lì)的權(quán)重為3，車牌寬度的權(quán)重為1。則評(píng)價(jià)分?jǐn)?shù)計(jì)算公式如下：3 利用融合的方法實(shí)時(shí)檢測(cè)和識(shí)別通過的車輛視頻車牌識(shí)別系統(tǒng)中采用融合的方法需要達(dá)到的目的是：實(shí)時(shí)的盡量準(zhǔn)確的為每一個(gè)識(shí)別出結(jié)果的車輸出一個(gè)且僅一個(gè)識(shí)別結(jié)果。由于必須等

13、車輛通過視頻采集設(shè)備后即此后無該車的識(shí)別結(jié)果出現(xiàn)才會(huì)確定所有的候選結(jié)果，因此融合策略是延時(shí)的輸出最佳結(jié)果。但長(zhǎng)時(shí)間的延時(shí)是又違背了實(shí)時(shí)的要求，我們要求車輛的識(shí)別結(jié)果在車輛通過視頻采集設(shè)備后的一定時(shí)間內(nèi)必須輸出。為了實(shí)現(xiàn)只輸出最佳結(jié)果我們需要用一個(gè)緩存區(qū)保存著當(dāng)前最佳結(jié)果。如果當(dāng)前結(jié)果和緩存區(qū)的結(jié)果是同一車輛產(chǎn)生的，則只要決定是否更新最佳結(jié)果即可，否則輸出緩存區(qū)最佳結(jié)果，把當(dāng)前結(jié)果存入緩存區(qū)。識(shí)別結(jié)果融合的算法主要流程如下：1 對(duì)每次采集的視頻圖像識(shí)別后有結(jié)果產(chǎn)生轉(zhuǎn)2，否則轉(zhuǎn)32 緩存區(qū)不為空轉(zhuǎn)4，否則轉(zhuǎn)53 緩存區(qū)有結(jié)果長(zhǎng)時(shí)間未輸出，輸出未輸出的結(jié)果返回1，否則返回14 緩存區(qū)的結(jié)果和此次結(jié)果

14、是同一輛車產(chǎn)生的，轉(zhuǎn)6，否則轉(zhuǎn)75 將當(dāng)前結(jié)果存入緩存區(qū)，返回16 當(dāng)前結(jié)果優(yōu)于緩存區(qū)的結(jié)果，更新緩存區(qū)返回1，否則返回17 緩存區(qū)的結(jié)果未曾輸出，轉(zhuǎn)8，否則轉(zhuǎn)98 輸出緩存區(qū)結(jié)果，將當(dāng)前結(jié)果保存在緩存區(qū)返回19 將當(dāng)前結(jié)果保存在緩存區(qū)返回1圖4為系統(tǒng)框架圖： Initialization：參數(shù)初始化Sample Image Input：視頻采樣圖像輸入Recognition：車牌識(shí)別Result Output：有結(jié)果輸出BufAns：緩存區(qū)保存的結(jié)果，每次都保存著截至目前最可靠的結(jié)果，初始化為空CurAns：當(dāng)前圖像識(shí)別出的結(jié)果，初始化為空OutAns：上次輸出的結(jié)果，初始化為空Count：

15、時(shí)間計(jì)數(shù)器，初始化為0T：時(shí)間計(jì)數(shù)器閾值，防止緩存區(qū)的結(jié)果長(zhǎng)時(shí)間未輸出，初始化為15幀Empty：結(jié)果為空=：賦值：兩個(gè)識(shí)別結(jié)果近似相同，認(rèn)為是同一輛車產(chǎn)生的：兩個(gè)識(shí)別結(jié)果不同better than：前一個(gè)識(shí)別結(jié)果比后一個(gè)更可靠圖4 識(shí)別結(jié)果融合策略的系統(tǒng)框架4 實(shí)驗(yàn)結(jié)果本文中的實(shí)驗(yàn)采用文獻(xiàn)3中的車牌識(shí)別算法來識(shí)別每一幅單幀圖像。測(cè)試視頻是在河南省內(nèi)某公路旁DV拍攝的視頻，長(zhǎng)度一小時(shí)。所分析的車輛是迎著攝像頭開來的車。該視頻截圖所組成的圖像測(cè)試庫的識(shí)別率是。實(shí)驗(yàn)方法：采用此融合策略的系統(tǒng)對(duì)該視頻輸出結(jié)果的圖像和識(shí)別結(jié)果共同保存下來，然后由人工進(jìn)行比對(duì)。實(shí)驗(yàn)結(jié)果：共有車輛804個(gè)，識(shí)別正確的車輛785個(gè)，識(shí)別錯(cuò)誤的19個(gè)。識(shí)別率為，相對(duì)于圖像測(cè)試庫提高了6個(gè)以上百分點(diǎn)。重復(fù)輸出結(jié)果的共39個(gè)，重復(fù)輸出率為。原因分析：重復(fù)輸出中的13個(gè)是由于攝像頭拍攝范圍內(nèi)同時(shí)有兩個(gè)車輛，導(dǎo)致的間隔輸出，即一輛車的兩個(gè)輸出結(jié)果之間有另一車輛的結(jié)果輸出。其余26個(gè)重復(fù)輸出是由于切分錯(cuò)誤導(dǎo)致的識(shí)別結(jié)果不相似。造成切分錯(cuò)誤的主要原因是由于攝像頭位置在公路旁邊，導(dǎo)致很多車輛開始出現(xiàn)在攝像頭內(nèi)的車牌并不完整。沒有一例是由切分正確而識(shí)別錯(cuò)誤導(dǎo)致的重復(fù)輸出，這一點(diǎn)和前面的分析相吻合。參考文獻(xiàn)1 許海波，羅以寧，米蘭. 基于線圈與