一種用于自然光的視野跟蹤系統(tǒng)

一種用于自然光的視野跟蹤系統(tǒng)

1紅外光動(dòng)態(tài)視線跟蹤技術(shù)面部跟蹤是評(píng)估用戶(hù)視覺(jué)方向的技術(shù)。廣泛應(yīng)用于人類(lèi)疾病和疾病的診斷和治療領(lǐng)域，如輔助殘疾人、車(chē)輛安全駕駛、市場(chǎng)研究和廣告分析、認(rèn)知障礙診斷和虛擬現(xiàn)實(shí)。隨著電子技術(shù)、計(jì)算機(jī)技術(shù)、圖像處理技術(shù)的迅速發(fā)展,基于眼睛視頻圖像處理的視線跟蹤技術(shù)逐漸成為當(dāng)前的研究熱點(diǎn),該技術(shù)具有對(duì)使用者干擾少、精度高和操用簡(jiǎn)單等優(yōu)點(diǎn),其基本工作原理為:先利用攝像機(jī)獲取人眼或臉部圖像,然后用軟件實(shí)現(xiàn)圖像中人臉和人眼的定位與跟蹤,從而估算用戶(hù)在屏幕上的注視點(diǎn)位置。在基于眼睛視頻圖像處理的視線跟蹤技術(shù)中,使用瞳孔-角膜反射(PCCR)方法較為普遍,即通過(guò)一個(gè)或多個(gè)紅外光源照射眼部,由于眼睛瞳孔對(duì)紅外光的反射和吸收與眼睛其他部分不同,因此很容易在眼睛圖像中定位到瞳孔中心,同時(shí)眼睛角膜在紅外光照射下會(huì)在角膜表面產(chǎn)生亮斑,根據(jù)瞳孔中心與角膜亮斑的相對(duì)位置關(guān)系,使用基于二維映射的視線估計(jì)方法或直接的三維視線估計(jì)方法,可以計(jì)算出視線方向。然而,基于主動(dòng)紅外光的視線跟蹤方法使用起來(lái)有很多限制:1)紅外光會(huì)受室外光線的影響,因而在室外無(wú)法使用;2)紅外光源與攝像機(jī)之間的相對(duì)位置需要復(fù)雜的標(biāo)定過(guò)程;3)瞳孔和角膜反射亮斑通常在圖像中較小,因而需要分辨率較高的攝像機(jī);4)對(duì)于戴有眼鏡的使用者,眼鏡鏡面對(duì)紅外光會(huì)產(chǎn)生反射亮斑,會(huì)對(duì)角膜亮斑的提取產(chǎn)生干擾而導(dǎo)致視線跟蹤算法的失效。目前,也有很多在自然光條件下的視線跟蹤方法。如文獻(xiàn)使用雙攝像機(jī),其中一個(gè)攝像機(jī)用來(lái)估計(jì)使用者的頭部姿態(tài),另一個(gè)攝像機(jī)用來(lái)跟蹤眼睛,先通過(guò)標(biāo)定算法獲得眼睛視線模型的參數(shù),然后結(jié)合頭部姿態(tài),得到眼睛在空間中的視線方向;文獻(xiàn)利用眼睛虹膜在攝像機(jī)拍攝的圖像中投影映射為橢圓,然后根據(jù)橢圓的形狀特征來(lái)估計(jì)人眼視線;文獻(xiàn)直接利用眼睛虹膜中心與眼角的相對(duì)位置關(guān)系來(lái)估計(jì)人眼視線。但是以上的方法還存在一定的缺點(diǎn):1)標(biāo)定過(guò)程對(duì)使用者限制較多,如文獻(xiàn)視線跟蹤標(biāo)定過(guò)程中需要使用者保持頭部靜止不動(dòng),不夠人性化;2)采用的眼睛視線模型沒(méi)有考慮到眼睛視軸與光軸之間存在的夾角,精度不高,如文獻(xiàn)。針對(duì)以上的問(wèn)題,通過(guò)雙目立體視覺(jué)系統(tǒng)獲取眼睛特征和頭部姿態(tài)參數(shù),構(gòu)建了一種在自然光條件下允許頭部在較小范圍內(nèi)自然移動(dòng)的視線跟蹤系統(tǒng)。對(duì)雙目立體視覺(jué)系統(tǒng)進(jìn)行標(biāo)定,獲得攝像機(jī)內(nèi)外參數(shù),同時(shí)確定雙攝像機(jī)的相對(duì)位置,建立統(tǒng)一的世界坐標(biāo)系,對(duì)于視線跟蹤系統(tǒng)中的特征點(diǎn)使用雙目立體視覺(jué)系統(tǒng)來(lái)獲取其空間三維坐標(biāo)。提出了一種視線跟蹤系統(tǒng)中的個(gè)人參數(shù)標(biāo)定方法和頭部姿態(tài)估計(jì)方法,先對(duì)使用者進(jìn)行個(gè)人參數(shù)標(biāo)定,獲得使用者眼球中心在頭部坐標(biāo)系中的坐標(biāo)、眼睛視軸與光軸的夾角,然后結(jié)合頭部姿態(tài)估計(jì)結(jié)果,獲得人眼視線在空間中的視線向量;最后,對(duì)屏幕空間位置進(jìn)行標(biāo)定,獲得屏幕平面在世界坐標(biāo)系下的平面方程,通過(guò)求取眼睛視線向量與屏幕平面的交點(diǎn),得到最終的視線估計(jì)值。2面部跟蹤系統(tǒng)2.1數(shù)字視頻監(jiān)控系統(tǒng)構(gòu)建的視線跟蹤系統(tǒng)如圖1所示,具體的硬件設(shè)備為:兩臺(tái)UNIQ公司生產(chǎn)的分辨率為1380pixel×1030pixel的UP-1800/UP-1800CL攝像機(jī)、MatroxSolios圖像采集卡、處理器為Core2的計(jì)算機(jī)、19inch(48.26cm)的Dell液晶顯示器。使用者在使用時(shí),戴著頭戴式標(biāo)定板注視屏幕,由設(shè)立在屏幕前方的雙攝像機(jī)分別獲取人臉圖像,然后通過(guò)圖像采集卡傳到電腦主機(jī),通過(guò)對(duì)提取到的特征參數(shù)進(jìn)行處理,獲得眼睛視線與屏幕的交點(diǎn)來(lái)得到眼睛視線估計(jì)值。2.2視力點(diǎn)的估計(jì)根據(jù)眼睛的結(jié)構(gòu),采用圖2中簡(jiǎn)化的眼睛視線模型,定義眼球?yàn)橐粋€(gè)幾何中心為Q,半徑為r的圓球體,眼睛虹膜中心P和中央凹F為圓球體表面上的點(diǎn)。眼球的光軸為眼球中心到虹膜中心的連線,眼睛的視軸為中央凹到虹膜中心的連線,眼睛的視線估計(jì)點(diǎn)為眼睛視軸與空間平面的交點(diǎn)。眼睛以眼球中心為旋轉(zhuǎn)中心轉(zhuǎn)動(dòng)眼球來(lái)改變視線方向,因此當(dāng)頭部移動(dòng)時(shí),可以認(rèn)為眼球中心與頭部相對(duì)靜止。由于中央凹并不在人眼光軸軸線上,所以眼睛視線方向與眼睛光軸存在一定的夾角,也稱(chēng)之為Kappa角。眼睛視軸與光軸在水平方向上的夾角大約為5°,其中左眼5°左右,右眼-5°左右,垂直方向上的夾角大約為2°~3°,Kappa角因人而異,并沒(méi)有固定值。由于眼睛的視線結(jié)構(gòu)較為復(fù)雜,眼睛視軸方向一般不能直接得到,通常需要在估計(jì)到眼睛光軸方向后,加入眼睛視軸與光軸之間的補(bǔ)償夾角,即Kappa角,進(jìn)而得到眼睛視線方向。為了更好地描述眼睛視軸與光軸之間的空間位置關(guān)系,建立如圖3所示的空間坐標(biāo)系,坐標(biāo)系中的X軸、Y軸、Z軸分別與世界坐標(biāo)系的XW軸、YW軸、ZW軸平行,眼睛光軸與坐標(biāo)系水平方向和垂直方向的夾角分別為θ和φ,則眼睛光軸在世界坐標(biāo)系下的單位向量可表示為且θ和φ可以通過(guò)光軸在空間中的單位向量g得到設(shè)視軸與光軸在水平和垂直方向的夾角分別為αeye、βeye,則眼睛視軸在水平方向和垂直方向上的夾角分別為θ+αeye、φ+βeye,則空間中的視線向量v可以表示為通過(guò)(2)式、(3)式可以得到當(dāng)使用者看著空間中的視線點(diǎn)G時(shí),G點(diǎn)位于眼睛視線方向上,且滿足式中P為虹膜中心坐標(biāo),t為參數(shù),v為視線在空間中的單位向量,(5)式寫(xiě)成參數(shù)方程形式為眼睛的視線估計(jì)點(diǎn)為眼睛視線與空間平面的交點(diǎn),如果已知空間的平面方程為聯(lián)立(6)式、(7)式可得參數(shù)把t代入(5)式即可得到視線估計(jì)點(diǎn)。根據(jù)上面的討論,要得到眼睛視線點(diǎn)的估計(jì)值,需要知道眼球中心Q與虹膜中心P的空間三維坐標(biāo)、眼睛視軸與光軸在水平和垂直方向上的夾角αeye與βeye、屏幕的空間平面方程。首先為了補(bǔ)償頭部移動(dòng)帶來(lái)的視線估計(jì)誤差,需要建立頭部坐標(biāo)系,對(duì)攝像機(jī)獲取的每幀圖像都進(jìn)行頭部姿態(tài)估計(jì),得到頭部坐標(biāo)系相對(duì)于世界坐標(biāo)系的變換關(guān)系,通過(guò)個(gè)人參數(shù)標(biāo)定可以得到眼球中心在頭部坐標(biāo)系下的坐標(biāo),然后經(jīng)過(guò)坐標(biāo)變換可以得到各幀圖像中眼球中心在世界坐標(biāo)系下的坐標(biāo)Q;虹膜中心P的空間三維坐標(biāo)可以通過(guò)在左右攝像機(jī)圖像中分別定位虹膜中心,然后結(jié)合雙攝像機(jī)標(biāo)定結(jié)果計(jì)算得到;眼睛視軸與光軸之間的夾角αeye與βeye可以通過(guò)對(duì)使用者進(jìn)行個(gè)人參數(shù)標(biāo)定得到;屏幕的空間平面方程可以通過(guò)屏幕標(biāo)定得到。3視覺(jué)跟蹤系統(tǒng)的測(cè)量3.1單立體視覺(jué)系統(tǒng)的校正3.1.1攝像機(jī)與網(wǎng)絡(luò)參數(shù)設(shè)置攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺(jué)和三維測(cè)量中最基本、最重要的工作,現(xiàn)有的攝像機(jī)標(biāo)定方法可分為傳統(tǒng)標(biāo)定方法、主動(dòng)視覺(jué)標(biāo)定方法和攝像機(jī)自標(biāo)定方法,其主要目的是確定攝像機(jī)的內(nèi)、外部參數(shù),在基于雙目立體視覺(jué)的視線跟蹤系統(tǒng)中,還需要確定雙攝像機(jī)之間的相對(duì)位置關(guān)系,從而建立統(tǒng)一的世界坐標(biāo)系,使整個(gè)視線跟蹤系統(tǒng)處于同一個(gè)坐標(biāo)系統(tǒng)中。對(duì)單攝像機(jī)進(jìn)行標(biāo)定,采用Zhang提出的一種基于平面模板的攝像機(jī)標(biāo)定方法,這種方法計(jì)算簡(jiǎn)單,穩(wěn)定性好,精度高,獲得的攝像機(jī)標(biāo)定參數(shù)較為準(zhǔn)確。通過(guò)分別對(duì)左右攝像機(jī)參數(shù)進(jìn)行標(biāo)定,可以得到左右攝像機(jī)的內(nèi)、外部參數(shù)。確定雙攝像機(jī)的相對(duì)位置關(guān)系,設(shè)空間中一點(diǎn)I在世界坐標(biāo)系下非齊次坐標(biāo)為XW,在左攝像機(jī)坐標(biāo)系中的非齊次坐標(biāo)為Xcl,在右攝像機(jī)坐標(biāo)系中的非齊次坐標(biāo)為Xcr,對(duì)任意點(diǎn)I從世界坐標(biāo)轉(zhuǎn)換到攝像機(jī)坐標(biāo),左右攝像機(jī)分別有則可以得出兩者的相對(duì)關(guān)系式中R=RrRl-1,T=Tr-RrRl-1Tl。R,T就是右攝像機(jī)相對(duì)左攝像機(jī)的姿態(tài)和位置。通過(guò)確立雙攝像機(jī)的相對(duì)位置關(guān)系,最終建立統(tǒng)一的世界坐標(biāo)系。3.1.2攝像機(jī)坐標(biāo)系的位置雙目視覺(jué)系統(tǒng)中空間點(diǎn)的三維坐標(biāo)通過(guò)空間交匯法來(lái)獲取,具體測(cè)量原理如圖4所示。設(shè)空間中任意一點(diǎn)I在左右攝像機(jī)中成的像點(diǎn)分別為Il、Ir,左右兩個(gè)攝像機(jī)坐標(biāo)系的原點(diǎn)分別位于其光心Ol,Or處,根據(jù)攝像機(jī)的成像原理,點(diǎn)I同時(shí)位于OlIl與OrIr兩條直線上。在理想情況下,OlIl與OrIr的交點(diǎn)應(yīng)為物點(diǎn)I的真實(shí)空間位置。但是由于在實(shí)際中存在噪聲等問(wèn)題,OlIl與OrIr往往構(gòu)成異面直線,此時(shí)取OlIl與OrIr構(gòu)成的異面直線的公垂線中點(diǎn)W的三維坐標(biāo),認(rèn)為是I點(diǎn)的三維坐標(biāo)。3.2標(biāo)定過(guò)程及標(biāo)定過(guò)程個(gè)人參數(shù)標(biāo)定的目的是求得眼球中心Q、眼睛視軸與光軸在水平和垂直方向上的夾角αeye與βeye,其標(biāo)定過(guò)程如圖5所示。首先在屏幕上設(shè)置一系列已知的視線點(diǎn),然后讓使用者帶著頭戴式標(biāo)定板,在自然光照和允許頭部自然移動(dòng)的情況下,分別注視屏幕上這些已知視線點(diǎn),然后用攝像機(jī)拍攝圖像,獲取眼睛虹膜中心和頭戴式標(biāo)定板上標(biāo)志圓的圓心等特征信息,最后使用本文提出的個(gè)人參數(shù)標(biāo)定方法來(lái)獲取使用者的個(gè)人參數(shù)信息。3.2.1標(biāo)定板上一個(gè)大圓的圓形標(biāo)志點(diǎn)的匹配關(guān)系人的視線由頭部姿態(tài)和眼球方向共同決定,當(dāng)頭部靜止時(shí)可通過(guò)旋轉(zhuǎn)眼球來(lái)改變視線方向,當(dāng)眼球相對(duì)頭部靜止時(shí)可通過(guò)改變頭部的姿態(tài)來(lái)改變視線方向,因此,在視線估計(jì)中首先需要知道頭部姿態(tài)。頭部姿態(tài)可以通過(guò)提取臉部特征點(diǎn)來(lái)估計(jì),如鼻孔、眼角和嘴角等特征點(diǎn)。為了檢驗(yàn)本文提出的個(gè)人參數(shù)標(biāo)定方法的有效性,在使用者頭上戴一個(gè)標(biāo)定板,然后提取上面的特征標(biāo)志點(diǎn)來(lái)估計(jì)頭部姿態(tài)。標(biāo)定板如圖6(a)所示,由于圓形標(biāo)識(shí)點(diǎn)易于識(shí)別、圓心提取的精度高,因此選取用圓形標(biāo)識(shí)點(diǎn)制成的圓陣列標(biāo)定板。對(duì)攝像機(jī)獲取的頭戴式標(biāo)定板圖像用自適應(yīng)閾值分割可以得到圖6(b),經(jīng)過(guò)邊緣檢測(cè)和圓形目標(biāo)濾波可以得到圖6(c),用最小二乘法進(jìn)行橢圓擬合可以得到每個(gè)標(biāo)志圓的圓心、長(zhǎng)軸半徑和短軸半徑,如圖6(d),最后取橢圓長(zhǎng)軸和短軸半徑的平均值作為圓形標(biāo)志點(diǎn)的半徑特征,根據(jù)半徑大小可以把圓形標(biāo)志點(diǎn)區(qū)分為大圓和小圓。計(jì)算5個(gè)大圓圓心相互之間的距離,可以得出一對(duì)相互距離最小的大圓,以及一對(duì)相互距離最大的大圓,除去這4個(gè)大圓,還得到1個(gè)唯一的大圓,根據(jù)其他大圓圓心與這個(gè)唯一的大圓圓心之間連線的斜率,可以確定標(biāo)定板上5個(gè)大圓的圓心在圖像中坐標(biāo)的匹配關(guān)系,然后可以得到標(biāo)定板上其他小圓圓心的匹配關(guān)系。這樣建立了左攝像機(jī)中圖像上的圓心與右攝像機(jī)中圖像上的圓心的匹配關(guān)系,然后結(jié)合攝像機(jī)標(biāo)定結(jié)果,可以求得其在世界坐標(biāo)系下的三維坐標(biāo)。取相互矩離最大的2個(gè)大圓的中間點(diǎn)為頭部坐標(biāo)系原點(diǎn),按如圖7所示方向建立頭部坐標(biāo)系,由于標(biāo)定板是平面,所以標(biāo)定板上的點(diǎn)在頭部坐標(biāo)系中Z軸方向的分量都為0,且標(biāo)定板上大圓與小圓為陣列分布,因此,標(biāo)定板上5個(gè)大圓的圓心在頭部坐標(biāo)系中的非齊次坐標(biāo)從上至下、從左至右依次為(-1,1,0),(0,1,0),(-2,0,0),(2,0,0),(0,-1,0),其他小圓圓心在頭部坐標(biāo)系中的坐標(biāo)也可以依次確定。設(shè)頭部坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣為R,平移矩陣為T(mén),尺度因子為s,則頭部姿態(tài)可用旋轉(zhuǎn)矩陣R、平移向量T、尺度因子s來(lái)描述。假設(shè)頭部坐標(biāo)系中某一點(diǎn)I在世界坐標(biāo)系與頭部坐標(biāo)系下的齊次坐標(biāo)分別是(XW,YW,ZW,1)T、(XH,YH,ZH,1)T,存在如下的坐標(biāo)變換關(guān)系式中R為3×3正交單位矩陣,T為三維平移向量,因此設(shè)由于R為正交單位矩陣,則R中的參數(shù)必定滿足條件(11)式中共有13個(gè)未知參數(shù),對(duì)于N對(duì)匹配的坐標(biāo)點(diǎn),共有3N+6個(gè)表達(dá)式,所以理論上只要N>3就可以解得頭部坐標(biāo)系與世界坐標(biāo)系之間的坐標(biāo)變換矩陣M。頭戴式標(biāo)定板上共有15個(gè)特征標(biāo)志點(diǎn),經(jīng)過(guò)雙目立體視覺(jué)系統(tǒng)三維重構(gòu)可以得到15對(duì)匹配的坐標(biāo)點(diǎn),通過(guò)采用單位四元數(shù)的方法可以解得頭部坐標(biāo)系與世界坐標(biāo)系之間的坐標(biāo)變換矩陣M。3.2.2圖像主體視角設(shè)眼球的中心為Q,當(dāng)眼睛改變視線方向時(shí),以眼球中心為旋轉(zhuǎn)中心轉(zhuǎn)動(dòng)睛球來(lái)改變視線方向,因此可以認(rèn)為眼球中心在頭部坐標(biāo)系中的坐標(biāo)保持不變,眼球中心在世界坐標(biāo)系中的位置由頭部姿態(tài)決定。對(duì)于攝像機(jī)獲取的每一幀圖像,設(shè)眼球中心在頭部坐標(biāo)系中的坐標(biāo)為QH,在世界坐標(biāo)系下的坐標(biāo)為QiQ,經(jīng)過(guò)頭部姿態(tài)估計(jì)可以得到每幀圖像中頭部坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣RQH,i,平移矩陣tQH,i,尺度因子s,則有為了估計(jì)眼球中心在頭部坐標(biāo)系中的坐標(biāo)QH,先假設(shè)眼睛視軸與光軸重合,則視線點(diǎn)G位于眼睛光軸方向上。設(shè)在每一幀圖像中通過(guò)虹膜定位得到的虹膜中心的空間坐標(biāo)為Pi,對(duì)于每一個(gè)空間中已知坐標(biāo)的視線點(diǎn)Gi,眼睛虹膜中心Pi滿足式中r為眼球半徑,設(shè)b′i=r/|Gi-Qi|,則有設(shè)b=b′/(1-b′),a=1/(1-b′),則有設(shè)用來(lái)進(jìn)行個(gè)人參數(shù)的標(biāo)定的圖像共有nframe,則可以得到方程組通過(guò)解(19)式的方程組,可以得到眼球中心在頭部坐標(biāo)系中的坐標(biāo)QH、參數(shù)ai、bi,則眼球半徑r可以得出得到的眼球半徑值可以用來(lái)判斷解得的參數(shù)是否正確,因?yàn)檠矍虻钠骄霃皆?2mm左右,因此求得的眼球半徑值應(yīng)該在[10mm,14mm]范圍內(nèi),如果超出此范圍,說(shuō)明參數(shù)求解失敗。3.2.3視力光軸偏轉(zhuǎn)對(duì)于攝像機(jī)獲得的每一幀圖像,在得到眼球中心在頭部坐標(biāo)系中的空間坐標(biāo)QH后,根據(jù)頭部坐標(biāo)系相對(duì)于世界坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系,即旋轉(zhuǎn)矩陣為RQH,i,平移矩陣tQH,i,尺度因子s,由(15)式經(jīng)過(guò)坐標(biāo)轉(zhuǎn)換后,可以得到眼球中心在世界坐標(biāo)系下的坐標(biāo)QiQ,經(jīng)過(guò)虹膜定位可以得到虹膜中心Pi,則眼睛光軸的空間單位向量gi為眼睛視軸的空間單位向量vi為由(4)式可以求出每幀圖像中眼睛視軸與光軸之間的夾角眼睛視軸與光軸之間的夾角αeye,βeye的最后估計(jì)值為各幀圖像中計(jì)算得到的夾角αeye,i,βeye,i的平均值,即3.2.4基于lenger-roquart非線性算法的目標(biāo)函數(shù)由于眼睛視軸與光軸之間存在一定的夾角,同時(shí)在個(gè)人參數(shù)標(biāo)定過(guò)程中會(huì)存在一定的噪聲,因此標(biāo)定得到的個(gè)人參數(shù)結(jié)果會(huì)與真實(shí)值存在一定的誤差。為了得到更高精度的結(jié)果,在得到眼球中心、眼睛視軸與光軸夾角的初始估計(jì)值后,可以用Levenberg-Marquart非線性?xún)?yōu)化算法進(jìn)行優(yōu)化來(lái)求取最佳值,優(yōu)化的目標(biāo)函數(shù)為式中Gi為空間中已知的視線點(diǎn),為經(jīng)過(guò)計(jì)算得到的視線估計(jì)點(diǎn),由(5)式可知視線點(diǎn)的估計(jì)為關(guān)于眼睛模型中眼球中心Q、視軸與光軸的空間夾角αeye與βeye、虹膜中心P、參數(shù)t的函數(shù)。而在標(biāo)定過(guò)程中,虹膜中心P可以通過(guò)三維重構(gòu)得到,同時(shí)由于視線點(diǎn)坐標(biāo)已知,因此參數(shù)t也可以得到,視線點(diǎn)為關(guān)于Q、αeye、βeye的函數(shù),故目標(biāo)函數(shù)可以表示為經(jīng)過(guò)優(yōu)化,最后可以求得最佳的用戶(hù)個(gè)人參數(shù)。3.3視頻線的空間位置根據(jù)圖2所示的視線估計(jì)模型,視線估計(jì)點(diǎn)為眼睛視線與屏幕空間平面的交點(diǎn),因而需要確定屏幕的空間位置,但屏幕并不在雙攝像機(jī)的可視范圍內(nèi),因而不能直接確定其空間位置。使用平面鏡反射的方法可以確定屏幕的空間位置,首先在屏幕上顯示一幅標(biāo)定圖像,用貼有標(biāo)定圖像的平面鏡反射屏幕上的圖像到攝像機(jī)的視野之內(nèi),雙攝像機(jī)可以獲得平面鏡上的標(biāo)定點(diǎn)和平面鏡反射屏幕上的標(biāo)定點(diǎn),用平面鏡上的標(biāo)定點(diǎn)進(jìn)行平面擬合可以得到平面鏡的空間位置,然后根據(jù)平面鏡反射原理,可以得到屏幕上的標(biāo)定點(diǎn)的空間坐標(biāo),進(jìn)而得到屏幕平面的空間位置。4實(shí)驗(yàn)4.1圖像誤差估計(jì)使用平面標(biāo)定板在雙攝像機(jī)前轉(zhuǎn)動(dòng)多個(gè)角度,左右攝像機(jī)各拍攝4幅不同姿態(tài)的標(biāo)定板圖像,獲得如圖8所示的標(biāo)定板圖像。然后采用張正友等提出的一種基于平面模板圖像的標(biāo)定方法,經(jīng)過(guò)攝像機(jī)標(biāo)定后得到的雙攝像機(jī)內(nèi)、外部參數(shù)如表1所示。圖9是頭戴式標(biāo)定板上的特征點(diǎn)經(jīng)過(guò)三維重構(gòu)得到的空間點(diǎn),根據(jù)這些標(biāo)志點(diǎn)在頭部坐標(biāo)系與世界坐標(biāo)系中的對(duì)應(yīng)關(guān)系,可以求得頭部坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)變換矩陣。為了評(píng)價(jià)頭部姿態(tài)的估計(jì)精度,設(shè)圓形標(biāo)志點(diǎn)Si在頭部坐標(biāo)系統(tǒng)中的坐標(biāo)為(XH,i,YH,i,ZH,i)T,在世界坐標(biāo)系中的坐標(biāo)為(XW,i,YW,i,ZW,i)T,經(jīng)過(guò)計(jì)算得到的坐標(biāo)之間的旋轉(zhuǎn)矩陣為R,平移向量為T(mén),尺度因子為s,那么頭部坐標(biāo)系中的點(diǎn)(XH,i,YH,i,ZH,i)轉(zhuǎn)換到世界坐標(biāo)系下坐標(biāo)為頭部姿態(tài)的估計(jì)精度ε(i)為得到的誤差曲線如圖10所示,圖中橫坐標(biāo)為標(biāo)定板上的坐標(biāo)點(diǎn)的序號(hào),縱坐標(biāo)為誤差,誤差值以像素為單位。從圖10中可以看出,頭部姿態(tài)誤差控制在8pixel以?xún)?nèi),因此頭部姿態(tài)估計(jì)的精度可以滿足視線跟蹤系統(tǒng)的要求。圖11為攝像機(jī)獲取的帶有平面鏡上標(biāo)定板和屏幕上標(biāo)定板的圖像,首先對(duì)得到圖像進(jìn)行閾值分割、邊緣檢測(cè)、圓形目標(biāo)濾波、輪廓跟蹤、橢圓擬合與中心提取,可以分別得到左右攝像機(jī)圖像上特征點(diǎn)在圖像中的坐標(biāo),接著結(jié)合雙攝像機(jī)標(biāo)定數(shù)據(jù),使用空間交匯法可以得到這些點(diǎn)的空間三維坐標(biāo),然后對(duì)這些點(diǎn)進(jìn)行平面擬合可以得到平面鏡平面及屏幕鏡像平面,最后根據(jù)鏡面反射原理可以求得屏幕像平面關(guān)于平面鏡的對(duì)稱(chēng)平面,即顯示器屏幕在空間坐標(biāo)中的位置。標(biāo)定的過(guò)程如圖12所示,首先通過(guò)在屏幕上設(shè)置4個(gè)坐標(biāo)已知的視線點(diǎn),然后讓使用者帶著頭戴式標(biāo)定板,在自然光條件和頭部自然移動(dòng)的情況下,分別看著這些坐標(biāo)已知的視線點(diǎn),然后通過(guò)攝像機(jī)獲取眼睛虹膜中心和頭部標(biāo)定板上標(biāo)志圓的圓心等特征信息,每個(gè)標(biāo)定點(diǎn)視線停留3s以上,左右攝像機(jī)分別拍攝4幅圖像,4個(gè)點(diǎn)共16對(duì)圖像,接著用提出的個(gè)人參數(shù)標(biāo)定方法來(lái)獲取使用者個(gè)人參數(shù)信息。圖13是通過(guò)虹膜定位算法分別在左右攝像機(jī)圖像中定位到的眼睛虹膜,然后結(jié)合雙攝像機(jī)標(biāo)定結(jié)果,可以獲得雙眼虹膜中心的空間三維坐標(biāo),根據(jù)個(gè)人參數(shù)標(biāo)定得到的眼球中心的三維坐標(biāo)點(diǎn)以及眼睛光軸與視軸之間的補(bǔ)償夾角,可以得到眼睛視線的空間向量,然后求取眼睛視線向量與屏幕空間平面方程的交點(diǎn),最終取左右兩眼視線估計(jì)的平均值作為視線估計(jì)值。4.2不同用戶(hù)視線跟蹤系統(tǒng)對(duì)比在經(jīng)過(guò)攝像機(jī)標(biāo)定與屏幕空間位置標(biāo)定后,選取20位測(cè)試者,距離顯示器平面800mm左右,顯示器屏幕19inch(48.26cm),分辨率為1280pixel×1024pixel。先使用提出的個(gè)人參數(shù)標(biāo)定方法,求得個(gè)人參數(shù)后,在顯示器屏幕上預(yù)先設(shè)定9個(gè)注視點(diǎn),然后讓每位測(cè)試者依次注視屏幕上的注視點(diǎn),其中每個(gè)注視點(diǎn)至少注視2s以上時(shí)間,雙攝像機(jī)采集此時(shí)圖像。數(shù)據(jù)采集完成后,在Matlab2010a平臺(tái)上進(jìn)行數(shù)據(jù)離線處理,根據(jù)系統(tǒng)標(biāo)定結(jié)果,逆向求得眼睛視線估計(jì)值。圖14給出視線估計(jì)結(jié)果,圖中圓形表示屏幕上預(yù)先設(shè)定的視線點(diǎn),十字形代表著經(jīng)過(guò)計(jì)算得到的視線估計(jì)點(diǎn),從圖中可以看出,提出的視線跟蹤算法精度較高,視線的估計(jì)值比較接近視線真實(shí)值。表2列出了部分測(cè)試者的視線估計(jì)誤差,其中εx,εy分別代表視線估計(jì)值與真實(shí)視線值在屏幕平面水平和垂直方向上的誤差,其計(jì)算公式為式中點(diǎn)(xi,yi)為視線估計(jì)點(diǎn)在屏幕平面中的坐標(biāo),點(diǎn)(x′i,y′i)為真實(shí)視線點(diǎn)在屏幕平面中的坐標(biāo)。表2中括號(hào)內(nèi)的數(shù)值為換算成角度來(lái)表示的視線跟蹤誤差,其計(jì)算公式為式中d為使用者到屏幕的距離,ε為屏幕平面上水平或垂直方向上的誤差。從表2可以看出,視線估計(jì)的精度在不同使用者之間存在著細(xì)微的差異,如第3個(gè)使用者的誤差精度就比其