智能相機(jī)在實(shí)時(shí)眼動(dòng)識(shí)別中的應(yīng)用

1、智能相機(jī)在實(shí)時(shí)眼動(dòng)識(shí)別中的應(yīng)用智能相機(jī)在實(shí)時(shí)眼動(dòng)識(shí)別中的應(yīng)用摘 要 : 對(duì)基于智能相機(jī)的眼動(dòng)識(shí)別系統(tǒng)和方法進(jìn)行了研究和設(shè)計(jì)，并對(duì)該系 統(tǒng)在常見的各種測(cè)試條件下進(jìn)行了大量的實(shí)驗(yàn)和應(yīng)用分析。 基于智能相機(jī)的眼動(dòng) 識(shí)別系統(tǒng)結(jié)構(gòu)小巧緊湊 ,檢測(cè)速度快 ,準(zhǔn)確度高，較基于 PC 的檢測(cè)系統(tǒng)和頭盔式 檢測(cè)設(shè)備的性能有大幅的提高。關(guān)鍵詞 : 眼動(dòng)識(shí)別 ; 模板匹配 ; 智能相機(jī) ; 嵌入 式系統(tǒng) ; 應(yīng)用開發(fā)眼動(dòng)識(shí)別是一種通過在視頻幀中不斷檢測(cè)眼睛及眼球位置來判斷眼球注視 以及移動(dòng)方向的過程。眼動(dòng)識(shí)別有非常重要的研究意義，在心理學(xué)、醫(yī)學(xué)、設(shè)計(jì) 學(xué)1 、工效安全、人機(jī)交互 2-3 和軍事領(lǐng)域 4 上都有廣泛的

2、應(yīng)用和深遠(yuǎn)的前景。 當(dāng)下最尖端的眼動(dòng)識(shí)別系統(tǒng)主要是通過 PC 組合 Web camera 來進(jìn)行視覺處理5-6 。然而 PC 用作主要計(jì)算處理單元體積過于龐大，不足以滿足實(shí)際應(yīng)用的 環(huán)境要求，僅能作為實(shí)驗(yàn)環(huán)境測(cè)試之用。由此頭盔式的眼動(dòng)識(shí)別設(shè)備應(yīng)運(yùn)而生， 這類產(chǎn)品雖能夠部分解決無法攜帶的問題， 但是使用者的舒適感較差， 更重要的 是運(yùn)算的速度和準(zhǔn)確度卻大大降低。 而智能相機(jī)以其嵌入式、 低功耗的處理 器，使快速算法成為可能， 尤其在自動(dòng)化檢測(cè)應(yīng)用中其優(yōu)越和穩(wěn)定的性能，配合 小巧緊湊的結(jié)構(gòu)，非常適合于實(shí)時(shí)眼動(dòng)識(shí)別應(yīng)用程序的執(zhí)行。 1 眼動(dòng)識(shí)別算法 提出 Fleck 等提出在智能相機(jī)中使用 FPGA

3、 模塊，通過粒子濾波器模型來實(shí) 時(shí)識(shí)別跟蹤 7 ，這個(gè)方法需要用大量的樣本，環(huán)境越復(fù)雜，描述后驗(yàn)概率分布 所需要的樣本數(shù)量就越多， 算法的復(fù)雜度就越高。 另外，重采樣造成的樣本有效 性和多樣性的損失，會(huì)導(dǎo)致樣本貧化現(xiàn)象。本文在虹膜識(shí)別應(yīng)用的基礎(chǔ)上 8 ， 設(shè)計(jì)開發(fā)了應(yīng)用在智能相機(jī)中的軟件來完成眼動(dòng)識(shí)別的功能， 包括模板匹配、 邊 緣檢測(cè)、識(shí)別和標(biāo)識(shí)黑眼球中心位置等。 在一般的眼動(dòng)識(shí)別算法中，進(jìn)行眼動(dòng)識(shí) 別前，首先要對(duì)人臉進(jìn)行檢測(cè)，以提高眼動(dòng)識(shí)別追蹤算法的精確度 9 。本文提 出直接選定左眼為感興趣區(qū)域的方法， 快而準(zhǔn)確， 然后在感興趣區(qū)域內(nèi)匹配黑眼 球相對(duì)眼睛的位置， 不同位置標(biāo)明不同眼動(dòng)方向

4、， 以此識(shí)別當(dāng)前眼動(dòng)狀態(tài)，若隨 時(shí)間變化實(shí)時(shí)檢測(cè)就能起到眼球運(yùn)動(dòng)識(shí)別的效果。 2 基于智能相機(jī)的眼動(dòng)識(shí)別設(shè)計(jì) 2.1 眼動(dòng)識(shí)別方法流程分析將攝像頭設(shè)定為連續(xù)檢測(cè)眼動(dòng)信息的狀態(tài)，進(jìn)行圖像采集和檢測(cè)。圖 1 所示為實(shí)時(shí)眼動(dòng)識(shí)別算法的流程圖。(1)圖像獲?。河脠D像傳感器獲取測(cè)試對(duì)象的圖片，設(shè)置光圈、曝光時(shí)間和 增益。 (2) 圖像預(yù)處理：將原始圖像轉(zhuǎn)換成灰度圖像。設(shè)計(jì)目標(biāo)是每秒數(shù)十 幀的實(shí)時(shí)檢測(cè)，灰度圖足以表現(xiàn)面部為主圖像的邊緣和特征,能夠快速進(jìn)行大量的模板匹配算法。(3) 眼部檢測(cè)：預(yù)先設(shè)計(jì)制作眼部區(qū)域的模板。因?yàn)槿祟愌劬υ谏砩暇哂须p眼旋轉(zhuǎn)運(yùn)動(dòng)協(xié)調(diào)特性， 故單眼模板兼具速度和可信度。 運(yùn)用 模板

5、匹配的方法在當(dāng)前幀圖像中檢測(cè)與模板相似的部分，設(shè)置相似度的度量值， 由于制作模板民實(shí)際檢測(cè)時(shí)光照條件不完全相同， 還存在圖像的形變， 根據(jù)測(cè)試 通常將最小閾值設(shè)定在 600 左右最佳 (最大為 1 000) 。(4) 前視模板、左視模板和右視模板： 對(duì)感興趣區(qū)域依次匹配黑眼球位置的模板， 默認(rèn)常態(tài)下眼睛處 于前視狀態(tài)， 若不匹配則再嘗試匹配左視和右視模板。 在三個(gè)模板的匹配范圍內(nèi) 都不符合時(shí)， 記錄為無匹配方向。 無匹配方向的意義， 例如用于行車安全系統(tǒng)中， 可認(rèn)為視線脫離安全駕駛狀態(tài)。(5) 確定眼球方向：將第 (4)步中識(shí)別到的匹配模板對(duì)應(yīng)返回一個(gè)眼動(dòng)方向，并記錄、顯示于屏幕上。 (6)

6、記錄眼睛坐標(biāo)： 計(jì)算黑眼球的中心坐標(biāo)。 正視時(shí)取正圓的圓心， 左、右視時(shí)取橢圓兩焦點(diǎn)的中點(diǎn)， 作為當(dāng)前眼睛的坐標(biāo)點(diǎn)。 (7) 標(biāo)識(shí)當(dāng)前位置：將第 (6)步的坐標(biāo)作為坐標(biāo)系原 點(diǎn)，創(chuàng)建坐標(biāo)系，并疊加于圖像的圖層上，完成當(dāng)前幀圖像的檢測(cè)，開始下一幀 采集。 這種方法可以應(yīng)用于各種類型的智能相機(jī)上， 并可運(yùn)用各種編程語言 來實(shí)現(xiàn)。本文采用 “G” 語言(圖形化的程序語言) ，它提供了儀器 編程和數(shù)據(jù)采集的便捷途徑，在進(jìn)行原理研究、設(shè)計(jì)、測(cè)試并實(shí)現(xiàn)儀器系統(tǒng)時(shí)， 可以大大提高工作效率。 2.2 硬件平臺(tái)設(shè)計(jì) 通過 NI 1772 SMART CAMERA 和觸控屏

7、 (或顯示屏 ),即可獨(dú)立完成實(shí)時(shí)眼動(dòng)識(shí)別的圖像采集、 圖像處理、圖像分 析和信息反饋等步驟。 系統(tǒng)非常精簡(jiǎn)， 大大降低了可以應(yīng)用場(chǎng)合的限制。 NI1772智能相機(jī)使用In tel Atom Z530(1.6 GHz處理器)，內(nèi)有512 MB的RAM ; 圖像傳感器為 Kodak KAI-0340S 單色 CCD(分辨率 640×480(VGA), 最大可用幀速率 114 f/s) 。通過 RS232 串行連接動(dòng)態(tài)地控制照明，通過千兆以 太網(wǎng) I/P 和 TCP/IP 協(xié)議，實(shí)現(xiàn)與觸摸屏 （HMIS） 相連接進(jìn)行人機(jī)交互，完成配置 調(diào)整和檢測(cè)圖像和參數(shù)實(shí)時(shí)反饋。 2.3 軟

8、件設(shè)計(jì)與實(shí)現(xiàn) ，根據(jù)圖 1 所示流程 算法，設(shè)計(jì)了軟件程序。VBAI 編譯的算法程序分兩個(gè)步驟，首先要規(guī)劃子模塊的次序，合理布局分 支的結(jié)構(gòu)， 降低幀率的損失， 提高程序可讀性便于修改。然后對(duì)應(yīng)每個(gè)子模塊的 作用，完善各個(gè)模塊的功能。 由箭頭相連接的為子模塊，方框內(nèi)是具體每個(gè) 模塊的子函數(shù)。 子模塊 acq 實(shí)現(xiàn)采集圖像 ,子模塊 Inspect center 、Inspect left 、 Inspect right完成尋找眼部感興趣區(qū)域（本文中使用左眼為ROI），并對(duì)該區(qū)域進(jìn) 行多次匹配，確定當(dāng)前眼球所處狀態(tài)， 顯示對(duì)應(yīng)狀態(tài)的反饋提示； 子模塊 Inspect 2 提示處 理檢測(cè)過 程中的

9、錯(cuò)誤 信息，與用 戶顯示界 面進(jìn)行信息 傳遞等。 （1）acq （圖像獲?。┲凶雍瘮?shù)： Acquire Image: 通過智能相機(jī)的圖像傳感 器獲取單幀圖像， 圖像為灰度圖。 （2）Inspect center 、Inspect left 、Inspect right（正視檢測(cè)、左視檢測(cè)、右視檢測(cè)）中分別有以下4個(gè)子函數(shù)：EyeMatch Pattern: 眼動(dòng)匹配。在調(diào)試階段預(yù)先設(shè)置好匹配模板，分左視模板（橢圓形模板 ）、正視 （圓形模板 ）、右視 （橢圓形模板 ）3 個(gè)。測(cè)試檢測(cè)時(shí)，先匹配感興趣 區(qū)域，減少需要處理的圖像范圍，然后在感興趣區(qū)域內(nèi)依次匹配 3 個(gè)模板，找 到與某個(gè)模板的灰度特

10、性相似的區(qū)域（設(shè)置在 ±45° 范圍內(nèi)旋轉(zhuǎn)的區(qū)域都符合識(shí)別范圍），個(gè)數(shù)指定為最多一個(gè)。若沒有匹配對(duì)象也進(jìn)行第步。Set Coordinate System:構(gòu)建坐標(biāo)系統(tǒng)。計(jì)算第步中匹配區(qū)域的大小，并 記錄該區(qū)域中心點(diǎn)位置 （正圓的圓心或橢圓兩焦點(diǎn)的中點(diǎn) ）和匹配區(qū)域與模板對(duì) 比傾斜的角度。對(duì)沒有匹配對(duì)象的幀跳過當(dāng)前步驟。Create Region ofInterest: 建立感興趣區(qū)域。 以第步的中心點(diǎn)位置為坐標(biāo)原點(diǎn)， 將感興趣區(qū)域設(shè) 置為匹配到的眼動(dòng)區(qū)域， 用圓標(biāo)記出眼球的位置。 沒有匹配對(duì)象的幀則跳過當(dāng)前步驟。 Draw Eye & T

11、rack:標(biāo)識(shí)眼動(dòng)檢測(cè)結(jié)果。在采集到的實(shí)時(shí)圖 像上覆蓋一個(gè)圖層， 將眼球區(qū)域的中心點(diǎn)標(biāo)記在該圖層上。 程序只記錄所有成功 匹配的幀，此時(shí)匹配狀態(tài)值為真，在程序前面板上將匹配到的模板用對(duì)應(yīng)的 “LEFT” 、“CENTER” 、 “RIGHT” 指示進(jìn)行標(biāo)識(shí)。（3）Inspect 2 （檢測(cè)統(tǒng)計(jì)）中有以下 3 個(gè)子函數(shù)： Calibrate Image at Eye Match Pattern:校正圖像坐標(biāo)。Set InspectionStatus: 檢測(cè)狀態(tài)反饋。反饋此幀圖像

12、是否順利進(jìn)行了眼動(dòng)信息識(shí)別，檢測(cè)過程 中有無報(bào)錯(cuò)，若值為 “FAULT” 則此幀檢測(cè)結(jié)果無效。Update Eye-tracking Result: 自定義一個(gè)前面板， 即用戶界面。 顯示實(shí)時(shí)采集 到的圖像、檢測(cè)狀態(tài)、注視方向、標(biāo)識(shí)眼球位置等。 3 眼動(dòng)識(shí)別實(shí)驗(yàn)分析 3.1 實(shí) 驗(yàn)方法 考慮到眼動(dòng)識(shí)別應(yīng)具有應(yīng)用的廣泛性， 需要能夠在不同光照環(huán)境下工 作，因此需要在不同光照條件下可以通過調(diào)整曝光時(shí)間來獲取較高質(zhì)量的檢測(cè)圖 像，測(cè)試環(huán)境越暗，曝光時(shí)間越長(zhǎng)，幀率越低。反之，光線越好的環(huán)境下幀率越 高。實(shí)驗(yàn)中，模擬駕駛時(shí)眼部及頭部的自然狀態(tài)， 對(duì)實(shí)時(shí)眼動(dòng)識(shí)別算法

13、進(jìn)行應(yīng)用 實(shí)驗(yàn)。 以 1 min 內(nèi)獲得的實(shí)時(shí)數(shù)據(jù)作為分析樣本，分別測(cè)試了系統(tǒng)在無干 擾測(cè)試狀態(tài)、 頭部左右轉(zhuǎn)動(dòng)干擾 （左右各 45° 以內(nèi)）、面部角度傾斜干擾和特 殊情況 （佩戴眼鏡等局部遮擋 ）條件下的準(zhǔn)確性。每個(gè)測(cè)試條件分別在光線環(huán)境不 同處，分 40 f/s 、50 f/s 、60 f/s 、80 f/s 、100 f/s 、112 f/s（max）6 種不同 圖像采集的速度進(jìn)行對(duì)比 ,并在幀率最高的情況下統(tǒng)計(jì)檢測(cè) 100 幀圖像的效率。3.2實(shí)驗(yàn)數(shù)據(jù)與分析在&dquo;Set Inspection Status”的值為真的條件下，若識(shí)別到的眼動(dòng)狀態(tài) （左視、正視、右視、其他區(qū)域 ）與實(shí)際眼動(dòng)的狀 態(tài)相符 ,則認(rèn)為是一次成功的檢測(cè) ,反之亦然。 1 min 內(nèi)測(cè)試正確率的數(shù)據(jù)整理后 如表 1 所示由表 2 可知， 平均對(duì) 100 幀圖片進(jìn)行識(shí)別需要約 40 ms ，每幀僅需要 0.4 ms ，模板匹配部分作為識(shí)別檢測(cè)的重點(diǎn)占 80%，實(shí)時(shí)性好，接近使用高性能的PC 進(jìn)行圖像運(yùn)算，完全能夠應(yīng)用于實(shí)時(shí)在線眼動(dòng)識(shí)別檢測(cè)。 本文設(shè)計(jì)搭建 了一個(gè)基于智能相機(jī)的實(shí)時(shí)眼動(dòng)識(shí)別系統(tǒng)， 拓寬了眼動(dòng)識(shí)別能夠應(yīng)用的場(chǎng)合， 并 自主設(shè)計(jì)了在該硬件系統(tǒng)平臺(tái)上可以運(yùn)行的眼動(dòng)識(shí)別軟件， 進(jìn)行了大量不同環(huán)