發(fā)明專利案例-人臉識別方法

1、說明書一種人臉比對方法技術(shù)領(lǐng)域本發(fā)明涉及生物特征識別技術(shù)領(lǐng)域，尤其涉及一種人臉比對的方法。背景技術(shù)人臉是人的重要信息，是區(qū)分不同的人的重要依據(jù)，因此人臉比對是較指紋、虹膜等 技術(shù)更自然、更直接的比對方式。人臉比對是將圖像或視頻輸入的人臉通過提取特定的人臉特征信息，與數(shù)據(jù)庫中已注 冊的人臉特征信息相比較，獲得匹配的人臉極其相似度，確認(rèn)是否與數(shù)據(jù)庫中人臉為同一。人臉比對在很多場合下都具有非常重要的作用，例如手機(jī)彩信中的視頻彩信、人機(jī)界 面、權(quán)限控制、智能監(jiān)視系統(tǒng)等。比對的準(zhǔn)確性、精度和魯棒性問題一直是業(yè)界關(guān)心的主 要問題。另外，在人臉比對中，如果當(dāng)前輸入一張靜態(tài)照片，其與數(shù)據(jù)庫中已注冊人臉相比對，

2、 也會得出匹配的結(jié)果，這將導(dǎo)致識別的客體并不是真實(shí)的人臉，導(dǎo)致無權(quán)限的人得到權(quán)限。 因此，判斷當(dāng)前輸入為真實(shí)的人的臉還是靜態(tài)的照片非常重要，而現(xiàn)有技術(shù)還無法解決。因此，業(yè)界急需一種能夠確保輸入真實(shí)、具有較高準(zhǔn)確性與魯棒性的人臉比對技術(shù)。發(fā)明內(nèi)容為彌補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明目的是提供一種人臉比對方法，解決人臉表情變化和 姿態(tài)變化的影響，提高比對的準(zhǔn)確性、精度和魯棒性，保障比對的真實(shí)性。為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：一種人臉比對方法，包含：人臉比對方法，其特征在于，包含：步驟601，人臉跟蹤，獲取特征點(diǎn)；步驟603，提取詳細(xì)的人臉特征數(shù)據(jù)；步驟605人臉比對，將該人臉特征數(shù)據(jù)與人臉數(shù)據(jù)庫

3、中的每一個人臉的特征數(shù)據(jù)進(jìn)行比對，獲得其相似性；具體方法為:（1） 選取數(shù)據(jù)庫中的一個人臉k的特征模板庫G Gj，k 0,K ；（2） 對特征模板Gj J" G，j 0,M，計算輸入人臉的特征Ji與J'i之間的相 似度Skji ；（3） 計算輸入人臉與特征模板Gj的相似度Skj丄 Skji ；jj N i j（4） 計算輸入人臉與人臉k的相似度為Sk max Skj ；j（5） 重復(fù)步驟（1）-（ 4），獲得輸入人臉與數(shù)據(jù)庫中所有 K個人臉的相似度，取其中最大者Smax max Sk，得到其對應(yīng)的人臉k '；k其中，M為人的特征模板個數(shù)，N為選取的人的人臉特征點(diǎn)個數(shù)，

4、i為人臉特征。 步驟607，判斷是否已找到匹配的人臉；為相似度閾值，若Smax，則判斷輸入人臉與數(shù)據(jù)庫中的人臉k'相匹配；步驟608，判斷表情是否有顯著變化；根據(jù)連續(xù)多幀人臉特征點(diǎn)進(jìn)行分析，包括但不 限于：嘴巴的張開與閉合，眼睛的張開與閉合，判斷人臉的表情是否發(fā)生了顯著的變化；在人臉表情有顯著變化時，執(zhí)行步驟 609，輸出比中的人臉。其中，該步驟603提取詳細(xì)的人臉特征數(shù)據(jù)的具體方法為：根據(jù)步驟601人臉檢測跟蹤得到的精確的人臉特征點(diǎn)位置，插值獲得其他選取的人臉 特征點(diǎn)的位置；根據(jù)雙眼位置對圖像進(jìn)行歸一化處理；計算得到人臉特征點(diǎn)i的Gabor特征J'i，所有特征點(diǎn)的Gabor特

5、征即組成一個人臉 特征數(shù)據(jù)Gj J'i，i 1,2,., N，N為選取的人臉特征點(diǎn)個數(shù)。其中，該人臉特征點(diǎn)為人臉上的顯著特征點(diǎn)， 人臉特征點(diǎn)的特征選取所有80個Gabor 復(fù)系數(shù)，表達(dá)完整的人臉信息，完整表達(dá)不同人臉之間的差異性。其中，該步驟601人臉跟蹤，獲取特征點(diǎn)所選取的人臉特征為人臉的共同性的特征。 進(jìn)一步的，該人臉比對方法還包含步驟604人臉注冊；保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫；具體方法為：將步驟603獲得的詳細(xì)人臉特征數(shù)據(jù)加入此人的人臉特征模板庫G Gj ，j 0,M , M為此人的特征模板個數(shù)，保存至數(shù)據(jù)庫。其中，該步驟601人臉跟蹤，獲取特征點(diǎn)的具體包含離線訓(xùn)練方法和在線跟

6、蹤方法； 該離線訓(xùn)練方法包含多層結(jié)構(gòu)人臉模型訓(xùn)練方法和人臉特征點(diǎn)的離線模板訓(xùn)練方法； 該多層結(jié)構(gòu)人臉模型訓(xùn)練方法為該在線跟蹤方法提供人臉模型，該離線模板訓(xùn)練方法 為該在線跟蹤方法提供人臉特征點(diǎn)離線模板；該多層結(jié)構(gòu)人臉模型訓(xùn)練方法包含如下步驟：步驟301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本；步驟302，對人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記；步驟3031-3061，得到基準(zhǔn)形狀模型；步驟3032-3062，得到全局形狀模型；步驟3033-3063，得到局部形狀模型。其中，該基準(zhǔn)形狀模型、該全局形狀模型與該局部形狀模型的獲得方法為：用s表示一個人臉形狀向量：s s Pb，其中，s為平均人臉形狀；P為一組正交的主形

7、狀變化模式；b為形狀參數(shù)向量；人臉形狀向量s表示為（Sr,Sg,Sl）t，其中sr、sg和Sl分別表示基準(zhǔn)特征點(diǎn)、全局特 征點(diǎn)和局部特征點(diǎn)；剛性基準(zhǔn)形狀的點(diǎn)分布模型Sr SR PRbRFGi,LibGi,Li全局基準(zhǔn)形狀的點(diǎn)分布模型sg sG FGbG局部形狀模型的點(diǎn)分布模型SGi, LiSGi, Li第i個局部形狀向量為SGi,LiSGi,SLi，其中SGi，SLi分別表示屬于第i個局部形狀的全局和局部特征點(diǎn)。其中，該人臉特征點(diǎn)的表達(dá)方法為:給定灰度圖像l(x)中的一個像素 x (x, y)，其附近的局部圖像 l(X')中的像素為 x' (x，y)，一系列Gabor系數(shù)Jj(

8、x)可表達(dá)該點(diǎn)附近的局部外觀，定義為：Jj(x)l(x') j(x x')d2x'其中Gabor核j為高斯包絡(luò)函數(shù)限定的平面波,j(x)kj22expkj2x2exp(ikjX)exp(kjkjxkjykv cos kv sin,kv 2 2其中，kv為頻率,k為方向，kj為特征小波矢量,kkkjx為特征小波x方向矢量，kjy為特征小波y方向矢量，I為復(fù)數(shù)算子，優(yōu)選v 01，,9，°,1，,7，j 8v，i 1，且頻率波寬設(shè)為 2 ；Gabor核由10個頻率、8個方向組成80個Gabor復(fù)系數(shù)，用以表達(dá)像素點(diǎn)附近的 外觀特征，用一個jet向量J Jj表示這些系

9、數(shù)，Jj jexp(i j)，j 0,1,.,79其中，j和j分別為第j個Gabor系數(shù)的幅值和相位；對80個Gabor復(fù)系數(shù)進(jìn)行實(shí)驗(yàn)篩選，得到該人臉特征點(diǎn)表達(dá)所用的小波特征。其中，該人臉特征點(diǎn)的離線模板訓(xùn)練方法如下：步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本;步驟402，對人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記；步驟403，對圖像進(jìn)行歸一化處理；步驟404，計算所有樣本的Gabor特征；步驟405，獲得各樣本Gabor特征之間的相似度；S (J,J')j j 'j cos( j 'j dkj)/ 2 '2j j j其中，J和J'為Gabor特征'j和&#

10、39;j分別為Gabor系數(shù)的幅值和相位，； d為J和J'之間的相對位移；d(J,J')dxdy1xx yy xy yxyyyxxxyxxy女口果 xx yyxy yx 0，其中xj j j kjx ( jj )，xyj j 'j kjxkjy，yxxyx和yy類似地進(jìn)行定義;對每個特征點(diǎn)，計算N個Gabor特征兩兩之間的相似度，當(dāng)其相似度大于閾值St時即認(rèn)為兩者相似，St可通過實(shí)驗(yàn)選取，選取0.85 ；步驟406，計算各樣本Gabor特征的相似特征數(shù)n ；步驟407，選擇n最大的樣本Gabor特征；步驟408，判斷n是否大于nT；若步驟408的判斷結(jié)果為否，則執(zhí)行步驟

11、 411，處理下一特征點(diǎn)，然后返回步驟 404 繼續(xù)執(zhí)行；若步驟408的判斷結(jié)果為是，則執(zhí)行步驟409，將Gabor特征加入離線模板；對每一 個Gabor特征，設(shè)有m個與其相似的Gabor特征，將ni值最大且大于閾值nT的Gabor 特征加入樣本特征集J：，nT也通過實(shí)驗(yàn)選取，選取nt =2 ；步驟410，將該Gabor特征從樣本中刪除，同時將與其相似度大于閾值St'的Gabor特征從J,中刪除，St'大于St，選取0.9 ；返回步驟405，對步驟405-409作迭代計算；對J,重復(fù)上述過程，直到選不出樣本為止；最終的樣本特征集J',即為該人臉特征點(diǎn)的特征樣本，作為人臉

12、特征的離線模板提供給該在線跟蹤方法使用。其中，該在線跟蹤方法包含：步驟501，初始化，初始化變量和參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色空間，跟蹤模式；步驟502，輸入一幀圖像；步驟503，圖像歸一化，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像；步驟504，判斷是否重新檢測；若步驟504的判斷結(jié)果為是，則執(zhí)行步驟 505，禾I用基準(zhǔn)形狀模型，基于 ASM形狀 約束，對齊基準(zhǔn)特征點(diǎn)；文檔大全步驟506，利用全局形狀模型，基于 ASM形狀約束，對齊全局特征點(diǎn)；步驟507，禾I用局部形狀模型，基于 ASM形狀約束，對齊局部特征點(diǎn)；步驟508，更新在線特征模板，根據(jù)得到的臉部特征點(diǎn)的位置更新其小波特征作

13、為該 人臉的在線特征模板；步驟515，估計人臉姿態(tài)，根據(jù)六個基礎(chǔ)點(diǎn)的位置估計人臉的姿態(tài)；返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟 502至步驟508以及步驟515并執(zhí)行步驟 516，輸出人臉特征點(diǎn)及人臉姿態(tài)信息；若步驟504的判斷結(jié)果若為否，則執(zhí)行步驟 509，基于在線特征模板更新眼角點(diǎn)；然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點(diǎn)；然后執(zhí)行步驟511，更新其他特征點(diǎn)；然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀；然后執(zhí)行步驟513，基于形狀約束更新全局特征點(diǎn)；然后執(zhí)行步驟514，基于形狀約束更新局部特征點(diǎn)；然后返回步驟508，繼續(xù)執(zhí)行在線跟蹤方法步驟 509至步驟514。

14、本發(fā)明的有益效果是：1. 本發(fā)明選取人臉上的顯著特征點(diǎn)作為比對依據(jù)，人臉特征點(diǎn)的特征從所有80個Gabor復(fù)系數(shù)中選取，表達(dá)了完整的人臉信息，使不同人臉之間的差異最大化，人臉比對 的準(zhǔn)確性和魯棒性較好。2. 使用本發(fā)明的人臉比對方法，消除了人臉表情、姿態(tài)的影響，在比對中判斷出了人 臉的真實(shí)性，使得跟蹤和比對準(zhǔn)確性、精度和魯棒性更高。3使用本發(fā)明，能夠判斷當(dāng)前輸入為真實(shí)的人臉還是靜態(tài)的照片。附圖說明下面結(jié)合附圖，通過對本發(fā)明的具體實(shí)施方式的詳細(xì)描述，將使本發(fā)明的技術(shù)方案及 其他有益效果顯而易見。圖1為本發(fā)明人臉跟蹤方法的組成框架圖；圖2為本發(fā)明的人臉特征點(diǎn)示意圖；圖3為本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練

15、方法的流程圖；圖4為本發(fā)明人臉特征點(diǎn)的離線模板訓(xùn)練方法流程圖;圖5為本發(fā)明人臉跟蹤方法的流程圖；圖6為本發(fā)明人臉比對方法的流程圖。具體實(shí)施方式為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面進(jìn)一 步闡述本發(fā)明。本發(fā)明人臉比對方法主要包括兩個部分，一是訓(xùn)練部分，即注冊部分，一是比對部分無論是訓(xùn)練部分，還是比對部分，都需先對人臉特征進(jìn)行檢測、跟蹤，從而得到精確的人 臉特征點(diǎn)的位置。圖1-圖5示出了人臉檢測跟蹤、獲取特征點(diǎn)的具體方法。下面詳細(xì)說明：圖1表示了本發(fā)明跟蹤方法的組成框架。本發(fā)明人臉跟蹤方法包含離線訓(xùn)練方法102和在線跟蹤方法101兩部分。離線訓(xùn)練方法102包含：多層

16、結(jié)構(gòu)人臉模型訓(xùn)練方法 1021 和人臉特征點(diǎn)的離線模板訓(xùn)練方法1022 ；前者為在線跟蹤方法101提供人臉模型103，后 者為人臉跟蹤方法101提供人臉特征點(diǎn)離線模板104。圖2為本發(fā)明人臉特征點(diǎn)示意圖。圖3為本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法的流程圖。 下面結(jié)合圖2與圖3詳細(xì)說明本發(fā)明多層結(jié)構(gòu)人臉模型訓(xùn)練方法。人的面部特征具有很大的相似性，這些特征點(diǎn)的相對運(yùn)動表達(dá)了人臉表情和人臉姿態(tài)的變化。給定這些人臉的特征點(diǎn)，用人臉特征點(diǎn)集的統(tǒng)計關(guān)系表示人臉模型，即可以構(gòu)建出一 個點(diǎn)分布模型（PDM ）來表達(dá)人臉的可能的形狀變化。本發(fā)明基于ASM的原理，從一系列人臉圖像訓(xùn)練得到多層結(jié)構(gòu)人臉模型。多層結(jié)構(gòu)人臉模

17、型訓(xùn)練方法首先執(zhí)行步驟 301，選取適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。然 后執(zhí)行步驟302，對人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記。然后執(zhí)行步驟3031-3061，得到基準(zhǔn)形狀模型。具體為：步驟 3031，基于剛性基準(zhǔn)點(diǎn) 組成形狀向量，來表示基準(zhǔn)特征點(diǎn)的位置；然后執(zhí)行步驟 3041，根據(jù)Procrustes變換對齊所 有形狀向量到一個統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟 3051，由PCA方法獲得形狀約束參數(shù)， 步驟3061，得到基準(zhǔn)形狀模型。執(zhí)行步驟3032-3062，得到全局形狀模型。具體為：步驟3032，基于全局基準(zhǔn)點(diǎn)組成形 狀向量，來表示全局特征點(diǎn)的位置；然后執(zhí)行步驟3042，根據(jù)Procrustes變換對齊

18、所有形狀向量到一個統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟 3052，由PCA方法獲得形狀約束參數(shù)，步驟 3062，得到全局形狀模型。執(zhí)行步驟3033-3063，得到局部形狀模型。具體為：步驟3033，基于局部基準(zhǔn)點(diǎn)組成形 狀向量，來表示局部特征點(diǎn)的位置；然后執(zhí)行步驟3043，根據(jù)Procrustes變換對齊所有形狀向量到一個統(tǒng)一的坐標(biāo)框架下；然后執(zhí)行步驟 3053，由PCA方法獲得形狀約束參數(shù)，步驟 3063，得到局部形狀模型。步驟3031-3061、步驟3032-3062 和步驟3033-3063 的計算方法具體為：用向量s表示一個人臉形狀：s s Pb，（ i）其中，s為平均人臉形狀；P為一組正交

19、的主形狀變化模式；b為形狀參數(shù)向量?，F(xiàn)有的ASM方法通過迭代過程搜索人臉形狀，迭代中所有的特征點(diǎn)位置同時更新，也 就是說特征點(diǎn)之間的相互影響是簡單的平行關(guān)系。鑒于人臉的復(fù)雜結(jié)構(gòu)，以及表情豐富的 特點(diǎn)，這種簡單的平行機(jī)制并不足以描述特征點(diǎn)之間的相互關(guān)系。例如，假設(shè)眼角位置固 定，則眼睛的開閉并不能影響口、鼻的特征點(diǎn)定位。本發(fā)明將人臉特征點(diǎn)組織為多個層次，以更好地適應(yīng)頭部運(yùn)動、表情變化等對特征點(diǎn) 位置的不同影響，我們稱為多層結(jié)構(gòu)人臉模型。第一類為基準(zhǔn)特征點(diǎn)，基本只受頭部姿態(tài) 的影響，如眼角、鼻端等。第二類為全局特征點(diǎn)，用來約束整個人臉的全局形狀，包括基 準(zhǔn)特征點(diǎn)和其他關(guān)鍵點(diǎn)、如嘴角、眉端等。第三類

20、為局部特征點(diǎn)，只用來約束人臉各組成 部分如眼、嘴、眉的細(xì)部特征，位于其輪廓邊界上，如上下嘴唇的輪廓點(diǎn)，上下眼瞼等， 主要受表情變化影響?；诖?，本發(fā)明構(gòu)建的多層結(jié)構(gòu)人臉模型說明如下：如上所述，人臉形狀向量s可表示為（Sr,Sg,Sl）t，其中Sr、sg和Sl分別表示基準(zhǔn)特 征點(diǎn)、全局特征點(diǎn)和局部特征點(diǎn)?；诖?，人臉形狀模型可分為剛性基準(zhǔn)形狀、全局基準(zhǔn)形狀、以及以下局部形狀：左眉、右眉、左眼、右眼、鼻、嘴等。對于剛性基準(zhǔn)形狀和全局基準(zhǔn)形狀，其點(diǎn)分布模型（PDM ）可以從訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到如下，(3)Sr Sr pRbR（2）SGSGPG bG對于局部形狀模型，第i個局部形狀向量為SGi,LiSGi

21、,SLi，其中SGi，SLi分別表示屬于第i個局部形狀的全局和局部特征點(diǎn)。亦有,SGi,LiSGi,LiPGi,Li bGi,Li以上（2）、（3）、（4）三式即構(gòu)成了本發(fā)明的多層結(jié)構(gòu)人臉模型。其中各參數(shù)均基于ASM的原理通過訓(xùn)練得到。圖2顯示了本發(fā)明優(yōu)選的一組特征點(diǎn)，其中所有的星形點(diǎn) 201 為基準(zhǔn)特征點(diǎn)，所有的星形點(diǎn)201和空心原點(diǎn)202組成全局特征點(diǎn)，實(shí)心原點(diǎn)203為局部 特征點(diǎn)。圖4為本發(fā)明人臉特征點(diǎn)的離線模板訓(xùn)練方法流程圖。人臉特征點(diǎn)的特征表達(dá)有很多種，如灰度特征、邊緣特征、小波特征等等。本發(fā)明采用多尺度多方向Gabor小波來建模特征點(diǎn)附近的局部外觀，表達(dá)人臉特征點(diǎn)?；贕abor小

22、波的特征表達(dá)具有人類視覺的心理物理基礎(chǔ)，并且對于光照變化以及外觀變化下的表情 識別、人臉識別和特征點(diǎn)表示等都具有很好的魯棒性。本發(fā)明小波特征的計算方法為：給定灰度圖像I（x）中的一個像素 x （x, y），其附近的局部圖像|（X'）中的像素為rX' （X,y），系列Gabor系數(shù)Jj（x）可表達(dá)該點(diǎn)附近的局部外觀，定義為：Jj（x）I（x'） j（x x'）d2x'（5）其中Gabor核j為高斯包絡(luò)函數(shù)限定的平面波j(x)k2expkj2x2exp(ikjX) exp(2）kjxkjykv cos kv sin2 2(7)其中，kv為頻率，為方向，kj為

23、特征小波矢量，kjx為特征小波x方向矢量，kjy為特征小波y方向矢量，i為復(fù)數(shù)算子，優(yōu)選v 01，9，°，1，7，j 8v，i 1，且頻率波寬設(shè)為2 。由此，本發(fā)明優(yōu)選的Gabor核由10個頻率、8個方向組成80個Gabor復(fù)系數(shù)，用 以表達(dá)像素點(diǎn)附近的外觀特征。特別地，可用一個jet向量J Jj表示這些系數(shù)，可寫成Jjje）p（i j），j 0,1,.,79（8）其中，j和j分別為第j個Gabor系數(shù)的幅值和相位。給定一幅圖像，每個標(biāo)記的人臉特征點(diǎn)都可以計算得到 Gabor小波的jet向量，該jet 向量即表達(dá)了該點(diǎn)的特征。然而，針對每一個人臉特征點(diǎn)，并非所有80個Gabor復(fù)系數(shù)

24、均適合表達(dá)該特征。為使其能表達(dá)各種人臉的共同特征，須對 80個Gabor復(fù)系數(shù)進(jìn)行實(shí) 驗(yàn)篩選。以嘴角特征點(diǎn)為例，本發(fā)明優(yōu)選的 Gabor復(fù)系數(shù)為：j 24,.,55。由此，優(yōu)選出的即為本發(fā)明方法中所用的小波特征。本發(fā)明人臉特征點(diǎn)的離線模板訓(xùn)練方法如下：首先執(zhí)行步驟401，選取N張適當(dāng)?shù)娜四槇D像作為訓(xùn)練樣本。步驟402，對人臉圖像的特征點(diǎn)進(jìn)行標(biāo)記。步驟403，對圖像進(jìn)行歸一化處理，以保證所有特征點(diǎn)的Gabor特征的計算條件是相近的，從而保證特征采樣的精確性。根據(jù)雙眼的位置，得到雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼 的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對圖像進(jìn)行旋轉(zhuǎn)，同時對圖像進(jìn)行 縮放以使雙眼

25、之間的距離（瞳距）達(dá)到一特定值。通過這種歸一化處理后能保證Gabor特征表達(dá)的精度和魯棒性。然后執(zhí)行步驟404，計算所有樣本的Gabor特征。具體方法是：將標(biāo)記的特征點(diǎn)坐標(biāo)轉(zhuǎn)換至歸一化圖像中，對每個人臉特征點(diǎn)，根據(jù)式（5）-（8）計算其Gabor特征。則對每一個特征點(diǎn)而言，共得 N個Gabor特征Ji ， i 0,., N。然后，執(zhí)行步驟405，獲得各樣本Gabor特征之間的相似度；方法為：假設(shè)Gabor特征J和J'，其相似度可由下式計算得到：(9)j 'jCos(j'j dkj)其中，d為J和J'之間的相對位移，可由下式求得d(j,j')dxdyyyy

26、xxx yy xy yxxyxx（10）y如果xx yy xy yx 0，其中j j 'jkjx( j 'j)，xyj j 'jkjxkjy，y， xx， yx和yy類似地進(jìn)行定義對每個特征點(diǎn)，根據(jù)式（9）、（ 10）計算N個Gabor特征兩兩之間的相似度，當(dāng)其相 似度大于閾值St時即認(rèn)為兩者相似，St可通過實(shí)驗(yàn)選取，選取0.85。然后執(zhí)行步驟406，計算各樣本Gabor特征的相似特征數(shù)n。然后執(zhí)行步驟407，選擇n最大的樣本Gabor特征。然后執(zhí)行步驟408，判斷n是否大于nT。若步驟408的判斷結(jié)果為否，則執(zhí)行步驟411，處理下一特征點(diǎn)。然后返回步驟404， 繼續(xù)執(zhí)

27、行本發(fā)明方法。若步驟408的判斷結(jié)果為是，則執(zhí)行步驟409，將Gabor特征加入離線模板。對每一 個Gabor特征，設(shè)有m個與其相似的Gabor特征，將ni值最大且大于閾值nT的Gabor 特征加入樣本特征集J', ，nT也通過實(shí)驗(yàn)選取，選取nT =2。然后執(zhí)行步驟410，將該Gabor特征從樣本中刪除，同時將與其相似度大于閾值St'的Gabor特征從Ji中刪除，這里St'應(yīng)大于St，選取0.9。然后返回步驟405，對步驟405-409作迭代計算。對J,重復(fù)上述過程，直到選不出樣本 為止。最終的樣本特征集J',即為該人臉特征點(diǎn)的特征樣本，作為人臉特征的離線模板提

28、供給 在線跟蹤使用。圖5為本發(fā)明人臉跟蹤方法的流程圖。本發(fā)明方法包含：步驟501，初始化。本步驟主要初始化引擎，包含：初始化變量，參數(shù)設(shè)置，參數(shù)包 括圖像格式、分辨率、顏色空間，跟蹤模式等。然后執(zhí)行步驟502，輸入一幀圖像。本步驟是根據(jù)步驟 501設(shè)置好的格式輸入一幀圖 像數(shù)據(jù)。然后執(zhí)行步驟503，圖像歸一化。本步驟是對輸入圖像進(jìn)行歸一化處理。即根據(jù)前一 幀的人臉信息，主要為雙眼的位置信息，將輸入圖像轉(zhuǎn)換成標(biāo)準(zhǔn)尺寸的圖像，優(yōu)選的尺寸 可為 256 X256。對人臉圖像進(jìn)行歸一化處理，是為了保證所有特征點(diǎn)的計算條件相近，從而保證特征 采樣的精確性。根據(jù)雙眼的位置，得到雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼的

29、連線作為圖像的橫 軸，雙眼連線的中垂線作為縱軸，對圖像進(jìn)行旋轉(zhuǎn)，同時對圖像進(jìn)行縮放以使雙眼之間的 距離（瞳距）達(dá)到一特定值。通過這種歸一化處理后能保證Gabor特征表達(dá)的精度和魯棒性。然后執(zhí)行步驟504，判斷是否重新檢測。本步驟是根據(jù)前一幀的檢測結(jié)果判斷是否重 新進(jìn)行人臉特征檢測，若為第一幀圖像，則直接進(jìn)行特征檢測。步驟504的判斷結(jié)果若為是，則繼續(xù)步驟 505，基于形狀約束獲得基準(zhǔn)特征點(diǎn)。本步 驟是利用基準(zhǔn)形狀模型517，基于ASM形狀約束對齊基準(zhǔn)特征點(diǎn)，基準(zhǔn)特征點(diǎn)不會因?yàn)楸?情的變化而運(yùn)動，如眼角、鼻端?；鶞?zhǔn)形狀模型517的獲得方法請參見圖2和圖3及其對應(yīng)說明。步驟505基于形狀約束獲得基

30、準(zhǔn)特征點(diǎn)的具體方法為：首先需對圖像進(jìn)行歸一化預(yù)處理。其次，根據(jù)雙眼的位置確定剛性基準(zhǔn)點(diǎn)的位置。根據(jù)雙眼位置和人臉模型中的剛性基 準(zhǔn)形狀模型對齊剛性基準(zhǔn)點(diǎn)，獲得這些基準(zhǔn)點(diǎn)的初始位置。然后根據(jù)式（2）迭代更新其形狀參數(shù)，直到滿足迭代終止條件，即獲得剛性基準(zhǔn)點(diǎn)的準(zhǔn)確位置。迭代過程中，剛性基準(zhǔn) 點(diǎn)的精度根據(jù)其Gabor特征與離線特征模板的相似度進(jìn)行判斷。具體步驟如下：（1） 對每一剛性基準(zhǔn)點(diǎn)i，計算其當(dāng)前位置Xi （Xj,yj的Gabor特征Ji ;（2） 根據(jù)式（9）、（ 10）計算Ji與離線特征模板J'i中每個Gabor特征的相似度，取相似度最大者作為J與模板的相似度Si，并獲得其相對位移

31、為di（3） 當(dāng)滿足以下條件之一時，迭代過程結(jié)束，否則轉(zhuǎn)入步驟4）: a）所有剛性基準(zhǔn)點(diǎn)的平均相似度S小于上一次迭代的平均相似度Siast ； b） 90%以上的點(diǎn)的絕對位移值足夠小，即di v'dXi2 dy, d，這里閾值dT根據(jù)所需保證的精度確定，如可選 dT =2 ；（4） 對相對位移值di進(jìn)行限定，減少突變誤差，使得dXi dxdyi dyT，這里閾值dxT和dyT根據(jù)所需保證的精度確定，如可選 dxT = dyT =10 ；（5） 根據(jù)di對剛性基準(zhǔn)點(diǎn)坐標(biāo)進(jìn)行更新：Xi Xi di ；（6） 根據(jù)更新的坐標(biāo)Xi和剛性基準(zhǔn)形狀模型及式（2）更新形狀參數(shù)。根據(jù)更新的形狀參數(shù)獲得

32、新的剛性基準(zhǔn)點(diǎn)坐標(biāo)值；（7） 迭代次數(shù)t增加1次。若t超過閾值，則迭代過程結(jié)束，否則轉(zhuǎn)入步驟（1 ）。然后執(zhí)行步驟506，基于形狀約束獲得全局特征點(diǎn)。本步驟是利用全局形狀模型 518， 基于ASM形狀約束，對齊全局特征點(diǎn)。全局特征點(diǎn)除包括8個基準(zhǔn)特征點(diǎn)外，還包括其他 受表情影響較小的點(diǎn)，如嘴角、眉尖等。獲得全局形狀模型 518的具體方法請參見圖2和 圖3及其對應(yīng)說明。步驟506的基于形狀約束獲得全局特征點(diǎn)的具體方法與步驟505相同，不同的是其利用剛性基準(zhǔn)點(diǎn)的位置以及全局基準(zhǔn)形狀模型，并在迭代中固定剛性基準(zhǔn)點(diǎn)的位置不變。然后執(zhí)行步驟507，基于形狀約束獲得局部特征點(diǎn)。本步驟是針對人臉的每一個局部

33、 特征，利用局部形狀模型519，基于ASM形狀約束對齊局部特征點(diǎn)。本發(fā)明人臉的局部特 征點(diǎn)主要包括左眼、右眼、嘴、鼻的輪廓點(diǎn)，如左（右）眼包括眼角、上、下眼瞼等，嘴 部包括兩個嘴角、上/下唇的中點(diǎn)，以及上/下唇中點(diǎn)與嘴角之間的輪廓點(diǎn)等。獲得局部形狀 模型519的具體方法請參見圖2和圖3及其對應(yīng)說明。步驟507基于形狀約束獲得局部特征點(diǎn)的具體方法與步驟 505相同，不同的是其利用局 部形狀模型，并固定全局基準(zhǔn)點(diǎn)的位置不變。然后執(zhí)行步驟508，更新在線特征模板。本步驟是根據(jù)得到的臉部特征點(diǎn)計算其 Gabor 小波特征，作為新的在線特征模板 Ji"。然后執(zhí)行步驟515，估計人臉姿態(tài)。本步驟

34、是根據(jù)6個基礎(chǔ)點(diǎn)的位置估計人臉的姿態(tài)，文檔大全6個基礎(chǔ)點(diǎn)為：4個眼角點(diǎn)和2個鼻端點(diǎn)。本發(fā)明既可以構(gòu)建多層結(jié)構(gòu)人臉模型以適應(yīng)人臉表情的變化，也可以構(gòu)建不同角度下 的人臉形狀模型以適應(yīng)人臉角度的變化，不再贅述。然而，構(gòu)建的人臉模型畢竟只能采樣有限的角度，如正面人臉，左側(cè)面人臉45度，右側(cè)面人臉45度，等等。為保證人臉特征跟蹤的精度，需估計出人臉的角度以選取適當(dāng)?shù)娜?臉形狀模型，并對其進(jìn)行角度的補(bǔ)償。本發(fā)明根據(jù)人臉的剛性基準(zhǔn)特征點(diǎn)的位置即能較好 地估計出人臉角度，說明如下。為減少人臉表情的影響，需選取人臉的基準(zhǔn)特征點(diǎn)進(jìn)行人臉姿態(tài)的估計，本發(fā)明選擇4 個眼角點(diǎn)和2個鼻端點(diǎn)作為參考。為估計人臉的姿態(tài)，這

35、六個點(diǎn)的三維坐標(biāo)必須先進(jìn)行初 始化。一般地，特征點(diǎn)的三維坐標(biāo) Xi 知丫匚憶 由通用的三維人臉模型，實(shí)際應(yīng)用中，可 要求用戶面向攝像頭以獲得其正面人臉圖像，根據(jù)檢測結(jié)果，特征點(diǎn)的人和yi值自動調(diào)整為該用戶的值，深度值則仍采用三維模型的值進(jìn)行近似。設(shè)人臉姿態(tài)參數(shù)facepan 7 tilt 7 swing ?，其中pan'諷swing為人臉三個方向的歐拉角,為人臉大小的縮放值。步驟515估計人臉姿態(tài)的具體步驟如下：1） 構(gòu)建N個三角形。選擇任意三個非共線性的特征點(diǎn)組成一個三角形 Ti，對每一個Ti， 構(gòu)建一個局部坐標(biāo)系統(tǒng)Ct。2）由每個三角形獲得投影矩陣 M。圖像坐標(biāo)與局部坐標(biāo)系統(tǒng)Ct的

36、關(guān)系可表示為(11)CC0MXtXt0rr。yty其中，c，r表示坐標(biāo)系統(tǒng)Ct中三維點(diǎn)Xt,yt,0的投影圖像，Co,ro是參考點(diǎn)Xt0,yt0,0的投影圖像，M是2 X2的投影矩陣。通過限定歐拉角在到-的范圍，可以從M恢復(fù)出2 2兩組人臉姿態(tài)參數(shù)，進(jìn)而生成完全投影矩陣Pi，但其中只有一個是正確的。3 ）計算完全投影矩陣的投影偏差。根據(jù)完全投影矩陣P將特征點(diǎn)的三維坐標(biāo)投影到圖像中，進(jìn)而獲得其與實(shí)際特征點(diǎn)圖像坐標(biāo)的偏差derror。如果derror大于閾值d，則刪除該矩陣；否則保留該矩陣，并設(shè)置其權(quán)重為d error4）加權(quán)得到最終結(jié)果。通過對 N個三角形的檢測，最終得到 K個完全投影矩陣Pii

37、 1 K，及其對應(yīng)的權(quán)重'，i 1 K o對每個P，可得到唯一的一組參數(shù)i pan，諷，swing,。最終的人臉姿態(tài)參數(shù)為:K(12 )i 1 i ifaceKi 1 i然后返回步驟502循環(huán)執(zhí)行在線跟蹤方法步驟 502至508以及步驟515，并執(zhí)行步驟516，輸出人臉特征點(diǎn)及人臉姿態(tài)信息。步驟504的判斷結(jié)果若為否，則執(zhí)行步驟 509，基于在線模板更新眼角點(diǎn)。本步驟是基于在線模板與特征點(diǎn)的上一幀位置的小波特征進(jìn)行比較，計算4個眼角點(diǎn)的位移，從而得到眼角的新位置。步驟509的具體獲得方法為:(1)根據(jù)前一幀的雙眼位置對圖像進(jìn)行歸一化預(yù)處理;(2)根據(jù)在線特征模板更新剛性基準(zhǔn)點(diǎn)中的眼角特

38、征點(diǎn)：對于眼角特征點(diǎn)Xi（x,yj，計算其在當(dāng)前圖像的Gabor特征Jj，然后根據(jù)式（10）計算Ji與在線特征模板J"的位移d"i，則眼角特征點(diǎn)可更新為：Xi Xi d"i o然后執(zhí)行步驟510，基于離線特征模板調(diào)整眼角點(diǎn)。本步驟是計算離線訓(xùn)練的特征模板與在線特征模板的距離和相似度，根據(jù)該距離和相似度對眼角位置進(jìn)行修改得到新的位置。獲得離線特征模板的具體方法見圖 4及其對應(yīng)的說明。步驟510的具體計算方法為：根據(jù)離線特征模板對眼角特征點(diǎn)進(jìn)行再修正：對于眼角特征點(diǎn)Xi （x,yi），根據(jù)式（9）、（ 10）計算在線特征模板J"i與離線特征模板J'i

39、的相似度S'i和位移di，則眼角特征點(diǎn)可進(jìn)一步修正為 Xid'iXi 2（1 exp（10（麗，其中 為相似度調(diào)整值，根據(jù)精度要求進(jìn)行設(shè)置，如優(yōu)選可設(shè)為0.55 o然后執(zhí)行步驟511，更新其他特征點(diǎn)。首先,計算新的眼角特征點(diǎn)位置與上一幀位置的平均位移作為人臉剛性運(yùn)動的初步估計，更新其他特征點(diǎn)所有特征點(diǎn)的坐標(biāo)為:XiXi davg。然后對每一特征點(diǎn)，重復(fù)步驟509與510，對眼角特征點(diǎn)以外的其他特征點(diǎn)的位置進(jìn)行更新。然后執(zhí)行步驟512，根據(jù)前一幀的人臉姿態(tài)更新各形狀模型的平均形狀。本步驟是根 據(jù)前一幀估計的人臉姿態(tài)進(jìn)行誤差補(bǔ)償，對人臉的形狀模型進(jìn)行更新，以得到該姿態(tài)下的 形狀模型

40、。然后執(zhí)行步驟513，基于形狀約束更新全局特征點(diǎn)。本步驟是對全局特征點(diǎn)，根據(jù)補(bǔ) 償?shù)娜中螤钅Ｐ瓦M(jìn)行形狀約束，獲得形狀參數(shù)，根據(jù)該形狀參數(shù)獲得準(zhǔn)確的全局特征點(diǎn)。 本步驟是基于步驟512所更新的形狀模型約束更新全局特征點(diǎn)的位置。然后執(zhí)行步驟514，基于形狀約束更新局部特征點(diǎn)。本步驟是針對人臉的每一個局部 特征，這一過程中，全局特征點(diǎn)不再更新。本步驟是基于步驟512所更新的形狀模型約束更新其局部特征點(diǎn)的位置。然后執(zhí)行步驟508，對所有特征點(diǎn)，計算其 Gabor特征作為新的在線特征模板以上過程根據(jù)檢測的人臉及人眼的位置完成了人臉特征點(diǎn)的檢測定位。由于各個人臉的差異性，其特征點(diǎn)的Gabor特征與離線特

41、征模板的相似度各不相同。為此，根據(jù)當(dāng)前人臉 特征點(diǎn)位置獲得其Gabor特征作為后續(xù)幀人臉跟蹤的特征模板，即在線特征模板Ji"，以提高人臉特征跟蹤的效率和精度。圖6為本發(fā)明人臉比對方法的流程圖。本發(fā)明方法包含：步驟601，人臉跟蹤，獲取特征點(diǎn)。本步驟對輸入的視頻或者攝像頭實(shí)時畫面中的人 臉進(jìn)行處理，獲取特征點(diǎn)的精確位置。其詳細(xì)方法在圖1-圖5及其對應(yīng)的說明書中詳細(xì)說明。應(yīng)該注意的是，本發(fā)明的跟蹤部分選取的人臉特征為人臉的共同性的特征，如圖2中所示28個特征點(diǎn)。然后執(zhí)行步驟602，檢測圖像質(zhì)量，判斷是否滿足條件。本步驟是對于步驟601所獲取的圖像質(zhì)量進(jìn)行判斷，判斷圖像以及特征點(diǎn)的提取結(jié)果

42、是否滿足注冊或比對的條件。檢 測的參數(shù)包括圖像的亮度、光照的均勻性等。若步驟602的判斷結(jié)果為否，則執(zhí)行步驟 610。若步驟602的判斷結(jié)果為是，則執(zhí)行步驟 603，提取詳細(xì)的人臉特征數(shù)據(jù)。應(yīng)注意的 是：為完整表達(dá)不同人臉之間的差異性，需提取適當(dāng)?shù)娜四樚卣鼽c(diǎn)，以便充分表達(dá)人臉信 息。本發(fā)明選取人臉上的顯著特征點(diǎn)作為比對依據(jù)，除了圖2中所示28個特征點(diǎn)外，還增加雙眉之間的中點(diǎn)、鼻根即雙眼之間的中點(diǎn)、鼻尖，等等。根據(jù)精度、運(yùn)算性能等要求， 可對特征點(diǎn)的選取適當(dāng)進(jìn)行調(diào)整。而人臉特征點(diǎn)的特征必須選取式（8）中所有80個Gabor復(fù)系數(shù)，表達(dá)完整的人臉信息，以使不同人臉之間的差異最大化。步驟603的具體

43、方法為：根據(jù)人臉檢測跟蹤得到的精確的人臉特征點(diǎn)位置，插值獲得其他選取的人臉特征點(diǎn)的位置，如：鼻根為雙眼位置的中點(diǎn)、鼻尖為 4個鼻測點(diǎn)的中心點(diǎn)，等等。根據(jù)雙眼位置對圖像進(jìn)行歸一化處理。根據(jù)式（8）計算得到人臉特征點(diǎn)i的Gabor特征J',，所有特征點(diǎn)的Gabor特征即組 成一個人臉特征模板GjJ'i，i 1,2,., N，N為選取的人臉特征點(diǎn)個數(shù)。然后執(zhí)行步驟604人臉注冊或者步驟605人臉比對。步驟604人臉注冊是保存人臉特征數(shù)據(jù)至人臉數(shù)據(jù)庫。具體方法為：將步驟603獲得的詳細(xì)的人臉特征數(shù)據(jù)與此人已有的人臉特征模板庫進(jìn)行比較，若其 相似度S>St，則不保存該特征，否則將該特征加入此人的人臉特征模板庫G Gj，