發(fā)明專利案例-人臉識(shí)別方法

發(fā)明專利事例-人臉鑒識(shí)方法發(fā)明專利事例-人臉鑒識(shí)方法發(fā)明專利事例-人臉鑒識(shí)方法說(shuō)明書(shū)一種人臉比對(duì)方法技術(shù)領(lǐng)域本發(fā)明波及生物特色鑒識(shí)技術(shù)領(lǐng)域，特別波及一種人臉比對(duì)的方法。背景技術(shù)人臉是人的重要信息，是劃分不同樣的人的重要依據(jù)，所以人臉比對(duì)是較指紋、虹膜等技術(shù)更自然、更直接的比對(duì)方式。人臉比對(duì)是將圖像或視頻輸入的人臉經(jīng)過(guò)提取特定的人臉特色信息，與數(shù)據(jù)庫(kù)中已注冊(cè)的人臉特色信息比較較，獲取般配的人臉極其相像度，確認(rèn)能否與數(shù)據(jù)庫(kù)中人臉為同一。人臉比對(duì)在好多場(chǎng)合下都擁有特別重要的作用，比方手機(jī)彩信中的視頻彩信、人機(jī)界面、權(quán)限控制、智能督查系統(tǒng)等。比對(duì)的正確性、精度和魯棒性問(wèn)題向來(lái)是業(yè)界關(guān)懷的主要問(wèn)題。其余，在人臉比對(duì)中，假如目前輸入一張靜態(tài)照片，其與數(shù)據(jù)庫(kù)中已注冊(cè)人臉比較對(duì)，也會(huì)得出般配的結(jié)果，這將致使識(shí)其余客體其實(shí)不是真切的人臉，致使無(wú)權(quán)限的人獲取權(quán)限。所以，判斷目前輸入為真切的人的臉仍是靜態(tài)的照片特別重要，而現(xiàn)有技術(shù)還沒(méi)法解決。所以，業(yè)界急需一種可以保證輸入真切、擁有較高正確性與魯棒性的人臉比對(duì)技術(shù)。發(fā)明內(nèi)容為填補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明目的是供應(yīng)一種人臉比對(duì)方法，解決人臉表情變化和姿態(tài)變化的影響，提升比對(duì)的正確性、精度和魯棒性，保障比對(duì)的真切性。為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案以下：一種人臉比對(duì)方法，包含：人臉比對(duì)方法，其特色在于，包含：步驟601，人臉追蹤，獲取特色點(diǎn)；步驟603，提取詳盡的人臉特色數(shù)據(jù)；步驟605人臉比對(duì)，將該人臉特色數(shù)據(jù)與人臉數(shù)據(jù)庫(kù)中的每一個(gè)人臉的特色數(shù)據(jù)進(jìn)行比對(duì)，獲取其相像性；詳盡方法為：（）采納數(shù)據(jù)庫(kù)中的一個(gè)人臉k的特色模板庫(kù)GGj，k0,...,K；1（2）對(duì)特色模板Gj{J'i}G，j0,...,M，計(jì)算輸入人臉的特色Ji與J'i之間的相似度Skji；1Skji；（3）計(jì)算輸入人臉與特色模板Gj的相像度SkjNi（）計(jì)算輸入人臉與人臉k的相像度為SkmaxSkj；4j）（），獲取輸入人臉與數(shù)據(jù)庫(kù)中全部K個(gè)人臉的相像度，取其（5）重復(fù)步驟（1-4中最大者SmaxmaxSk，獲取其對(duì)應(yīng)的人臉k’；k此中，M為人的特色模板個(gè)數(shù)，N為采納的人的人臉特色點(diǎn)個(gè)數(shù)，i為人臉特色。步驟607，判斷能否已找到般配的人臉；為相像度閾值，若Smax，則判斷輸入人臉與數(shù)據(jù)庫(kù)中的人臉k’相般配；步驟608，判斷表情能否有顯著變化；依據(jù)連續(xù)多幀人臉特色點(diǎn)進(jìn)行分析，包含但不限于：嘴巴的張開(kāi)與閉合，眼睛的張開(kāi)與閉合，判斷人臉的表情能否發(fā)生了顯著的變化；在人臉表情有顯著變化時(shí)，履行步驟609，輸出比中的人臉。此中，該步驟603提取詳盡的人臉特色數(shù)據(jù)的詳盡方法為：依據(jù)步驟601人臉檢測(cè)追蹤獲取的精準(zhǔn)的人臉特色點(diǎn)地點(diǎn)，插值獲取其余采納的人臉特色點(diǎn)的地點(diǎn)；依據(jù)雙眼地點(diǎn)對(duì)圖像進(jìn)行歸一化辦理；計(jì)算獲取人臉特色點(diǎn)i的Gabor特色J'i，全部特色點(diǎn)的Gabor特色即構(gòu)成一個(gè)人臉特征數(shù)據(jù)

Gj

J'i

，i

1,2,...,N

，N為采納的人臉特色點(diǎn)個(gè)數(shù)。此中，該人臉特色點(diǎn)為人臉上的顯著特色點(diǎn)，人臉特色點(diǎn)的特色采納全部

80個(gè)

Gabor復(fù)系數(shù)，表達(dá)圓滿的人臉信息，圓滿表達(dá)不同樣人臉之間的差別性。此中，該步驟601人臉追蹤，獲取特色點(diǎn)所采納的人臉特色為人臉的共同性的特色。進(jìn)一步的，該人臉比對(duì)方法還包含步驟604人臉注冊(cè)；保存人臉特色數(shù)據(jù)至人臉數(shù)據(jù)庫(kù)；詳盡方法為：將步驟603獲取的詳盡人臉特色數(shù)據(jù)加入這人的人臉特色模板庫(kù)GGj，j0,...,M，M為這人的特色模板個(gè)數(shù)，保存至數(shù)據(jù)庫(kù)。此中，該步驟601人臉追蹤，獲取特色點(diǎn)的詳盡包含離線訓(xùn)練方法和在線追蹤方法；該離線訓(xùn)練方法包含多層構(gòu)造人臉模型訓(xùn)練方法和人臉特色點(diǎn)的離線模板訓(xùn)練方法；該多層構(gòu)造人臉模型訓(xùn)練方法為該在線追蹤方法供應(yīng)人臉模型，該離線模板訓(xùn)練方法為該在線追蹤方法供應(yīng)人臉特色點(diǎn)離線模板；該多層構(gòu)造人臉模型訓(xùn)練方法包含以下步驟：步驟301，采納合適的人臉圖像作為訓(xùn)練樣本；步驟302，對(duì)人臉圖像的特色點(diǎn)進(jìn)行標(biāo)志；步驟3031-3061，獲取基準(zhǔn)形狀模型；步驟3032-3062，獲取全局形狀模型；步驟3033-3063，獲取局部形狀模型。此中，該基準(zhǔn)形狀模型、該全局形狀模型與該局部形狀模型的獲取方法為：用s表示一個(gè)人臉形狀向量：ssPb，此中，s為均勻人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量；人臉形狀向量s表示為(sR,sG,sL)T，此中sR、sG和sL分別表示基準(zhǔn)特色點(diǎn)、全局特色點(diǎn)和局部特色點(diǎn)；剛性基準(zhǔn)形狀的點(diǎn)散布模型sRsRPRbR全局基準(zhǔn)形狀的點(diǎn)散布模型sGsGPGbG局部形狀模型的點(diǎn)散布模型sGi,LisGi,LiPGi,LibGi,Li第i個(gè)局部形狀向量為sGi,Li{sGi,sLi}，此中sGi，sLi分別表示屬于第i個(gè)局部形狀的全局和局部特色點(diǎn)。此中，該人臉特色點(diǎn)的表達(dá)方法為：給定灰度圖像I(x)中的一個(gè)像素x(x,y)，其周邊的局部圖像rI(x')中的像素為rx'(x,y)，一系列Gabor系數(shù)Jj(x)可表達(dá)該點(diǎn)周邊的局部外觀，定義為：Jj(x)I(x')j(xx')d2x'此中Gabor核j為高斯包絡(luò)函數(shù)限制的平面波，22x22j(x)kjkj)2exp2exp(ikjx)exp(22kjxkvcosv2kj,kv22,kjykvsin8此中，kv為頻次，為方向，kj為特色小波矢量，kjx為特色小波x方向矢量，kjy為特色小波y方向矢量，i為復(fù)數(shù)算子，精選v0,1,...,9，0,1,...,7，j8v，i1，且頻次波寬設(shè)為2；Gabor核由10個(gè)頻次、8個(gè)方向構(gòu)成80個(gè)Gabor復(fù)系數(shù)，用以表達(dá)像素點(diǎn)周邊的外觀特色，用一個(gè)jet向量JJj表示這些系數(shù)，Jjjexp(ij)，j0,1,...,79此中，j和j分別為第j個(gè)Gabor系數(shù)的幅值和相位；對(duì)80個(gè)Gabor復(fù)系數(shù)進(jìn)行實(shí)驗(yàn)精選，獲取該人臉特色點(diǎn)表達(dá)所用的小波特色。此中，該人臉特色點(diǎn)的離線模板訓(xùn)練方法以下：步驟401，采納N張合適的人臉圖像作為訓(xùn)練樣本；步驟402，對(duì)人臉圖像的特色點(diǎn)進(jìn)行標(biāo)志；步驟403，對(duì)圖像進(jìn)行歸一化辦理；步驟404，計(jì)算全部樣本的Gabor特色；步驟405，獲取各種本Gabor特色之間的相像度；jj'jcos(j'jdkj)S(J,J')2j'2jj此中，J和J'為Gabor特色'j和'j分別為Gabor系數(shù)的幅值和相位，；為J和J'之間的相對(duì)位移；d(J,J')dx1yyyxxdyxxyyxyyxxyxxy假如xxyyxyyx0，此中xjj'jkjx(j'j)，xyjj'jkjxkjy，，xx，yx和yy近似地進(jìn)行定義；對(duì)每個(gè)特色點(diǎn)，計(jì)算N個(gè)Gabor特色兩兩之間的相像度，當(dāng)其相像度大于閾值ST時(shí)即以為二者相像，ST可經(jīng)過(guò)實(shí)驗(yàn)采納，采納；步驟406，計(jì)算各種本Gabor特色的相像特色數(shù)n；步驟407，選擇n最大的樣本Gabor特色；步驟408，判斷n能否大于nT；若步驟408的判斷結(jié)果為否，則履行步驟411，辦理下一特色點(diǎn)，此后返回步驟404繼續(xù)履行；若步驟408的判斷結(jié)果為是，則履行步驟409，將Gabor特色加入離線模板；對(duì)每一個(gè)Gabor特色，設(shè)有ni個(gè)與其相像的Gabor特色，將ni值最大且大于閾值nT的Gabor特色加入樣本特色集J'i，nT也經(jīng)過(guò)實(shí)驗(yàn)采納，采納nT=2；步驟410，將該Gabor特色從樣本中刪除，同時(shí)將與其相像度大于閾值ST’的Gabor特色從Ji中刪除，ST’大于ST，采納；返回步驟405，對(duì)步驟405-409作迭代計(jì)算；對(duì)Ji重復(fù)上述過(guò)程，直到選不出樣本為止；最后的樣本特色集J'i即為該人臉特色點(diǎn)的特色樣本，作為人臉特色的離線模板供應(yīng)給該在線追蹤方法使用。此中，該在線追蹤方法包含：步驟501，初始化，初始化變量和參數(shù)設(shè)置，參數(shù)包含但不限于圖像格式、分辨率、顏色空間，追蹤模式；步驟502，輸入一幀圖像；步驟503，圖像歸一化，將輸入圖像變換成標(biāo)準(zhǔn)尺寸的圖像；步驟504，判斷能否從頭檢測(cè)；若步驟504的判斷結(jié)果為是，則履行步驟505，利用基準(zhǔn)形狀模型，鑒于ASM形狀拘束，對(duì)齊基準(zhǔn)特色點(diǎn)；步驟506，利用全局形狀模型，鑒于ASM形狀拘束，對(duì)齊全局特色點(diǎn)；步驟507，利用局部形狀模型，鑒于ASM形狀拘束，對(duì)齊局部特色點(diǎn)；步驟508，更新在線特色模板，依據(jù)獲取的臉部特色點(diǎn)的地點(diǎn)更新其小波特色作為該人臉的在線特色模板；步驟515，預(yù)計(jì)人臉姿態(tài)，依據(jù)六個(gè)基礎(chǔ)點(diǎn)的地點(diǎn)預(yù)計(jì)人臉的姿態(tài)；返回步驟502循環(huán)履行在線追蹤方法步驟502至步驟508以及步驟515并履行步驟516，輸出人臉特色點(diǎn)及人臉姿態(tài)信息；若步驟504的判斷結(jié)果若為否，則履行步驟509，鑒于在線特色模板更新眼角點(diǎn)；此后履行步驟510，鑒于離線特色模板調(diào)整眼角點(diǎn)；此后履行步驟511，更新其余特色點(diǎn)；此后履行步驟512，依據(jù)前一幀的人臉姿態(tài)更新各形狀模型的均勻形狀；此后履行步驟513，鑒于形狀拘束更新全局特色點(diǎn)；此后履行步驟514，鑒于形狀拘束更新局部特色點(diǎn)；此后返回步驟508，連續(xù)履行在線追蹤方法步驟509至步驟514。本發(fā)明的有利見(jiàn)效是：1.本發(fā)明采納人臉上的顯著特色點(diǎn)作為比對(duì)依據(jù)，人臉特色點(diǎn)的特色從全部80個(gè)Gabor復(fù)系數(shù)中采納，表達(dá)了圓滿的人臉信息，使不同樣人臉之間的差別最大化，人臉比對(duì)的正確性和魯棒性較好。使用本發(fā)明的人臉比對(duì)方法，除去了人臉表情、姿態(tài)的影響，在比對(duì)中判斷出了人臉的真切性，使得追蹤和比瞄正確性、精度和魯棒性更高。使用本發(fā)明，可以判斷目前輸入為真切的人臉仍是靜態(tài)的照片。附圖說(shuō)明下邊聯(lián)合附圖，經(jīng)過(guò)對(duì)本發(fā)明的詳盡實(shí)行方式的詳盡描繪，將使本發(fā)明的技術(shù)方案及其余有利見(jiàn)效不言而喻。圖1為本發(fā)明人臉追蹤方法的構(gòu)成框架圖；圖2為本發(fā)明的人臉特色點(diǎn)表示圖；圖3為本發(fā)明多層構(gòu)造人臉模型訓(xùn)練方法的流程圖；圖4為本發(fā)明人臉特色點(diǎn)的離線模板訓(xùn)練方法流程圖；圖5為本發(fā)明人臉追蹤方法的流程圖；圖6為本發(fā)明人臉比對(duì)方法的流程圖。詳盡實(shí)行方式為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特色、達(dá)成目的與功能易于理解認(rèn)識(shí)，下邊進(jìn)一步論述本發(fā)明。本發(fā)明人臉比對(duì)方法主要包含兩個(gè)部分，一是訓(xùn)練部分，即注冊(cè)部分，一是比對(duì)部分。不論是訓(xùn)練部分，仍是比對(duì)部分，都需先對(duì)人臉特色進(jìn)行檢測(cè)、追蹤，從而獲取精準(zhǔn)的人臉特色點(diǎn)的地點(diǎn)。圖1-圖5示出了人臉檢測(cè)追蹤、獲取特色點(diǎn)的詳盡方法。下邊詳盡說(shuō)明：圖1表示了本發(fā)明追蹤方法的構(gòu)成框架。本發(fā)明人臉追蹤方法包含離線訓(xùn)練方法102和在線追蹤方法101兩部分。離線訓(xùn)練方法102包含：多層構(gòu)造人臉模型訓(xùn)練方法1021和人臉特色點(diǎn)的離線模板訓(xùn)練方法1022；前者為在線追蹤方法101供應(yīng)人臉模型103，后者為人臉追蹤方法101供應(yīng)人臉特色點(diǎn)離線模板104。圖2為本發(fā)明人臉特色點(diǎn)表示圖。圖3為本發(fā)明多層構(gòu)造人臉模型訓(xùn)練方法的流程圖。下邊聯(lián)合圖2與圖3詳盡說(shuō)明本發(fā)明多層構(gòu)造人臉模型訓(xùn)練方法。人的面部特色擁有很大的相像性，這些特色點(diǎn)的相對(duì)運(yùn)動(dòng)表達(dá)了人臉表情和人臉姿態(tài)的變化。給定這些人臉的特色點(diǎn)，用人臉特色點(diǎn)集的統(tǒng)計(jì)關(guān)系表示人臉模型，即可以建立出一個(gè)點(diǎn)散布模型（PDM）來(lái)表達(dá)人臉的可能的形狀變化。本發(fā)明鑒于ASM的原理，從一系列人臉圖像訓(xùn)練獲取多層構(gòu)造人臉模型。多層構(gòu)造人臉模型訓(xùn)練方法第一履行步驟301，采納合適的人臉圖像作為訓(xùn)練樣本。此后履行步驟302，對(duì)人臉圖像的特色點(diǎn)進(jìn)行標(biāo)志。此后履行步驟3031-3061，獲取基準(zhǔn)形狀模型。詳盡為：步驟3031，鑒于剛性基準(zhǔn)點(diǎn)構(gòu)成形狀向量，來(lái)表示基準(zhǔn)特色點(diǎn)的地點(diǎn)；此后履行步驟3041，依據(jù)Procrustes變換對(duì)齊全部形狀向量到一個(gè)一致的坐標(biāo)框架下；此后履行步驟3051，由PCA方法獲取形狀拘束參數(shù)，步驟3061，獲取基準(zhǔn)形狀模型。履行步驟3032-3062，獲取全局形狀模型。詳盡為：步驟3032，鑒于全局基準(zhǔn)點(diǎn)構(gòu)成形狀向量，來(lái)表示全局特色點(diǎn)的地點(diǎn)；此后履行步驟3042，依據(jù)Procrustes變換對(duì)齊全部形狀向量到一個(gè)一致的坐標(biāo)框架下；此后履行步驟3052，由PCA方法獲取形狀拘束參數(shù)，步驟3062，獲取全局形狀模型。履行步驟3033-3063，獲取局部形狀模型。詳盡為：步驟3033，鑒于局部基準(zhǔn)點(diǎn)構(gòu)成形狀向量，來(lái)表示局部特色點(diǎn)的地點(diǎn)；此后履行步驟3043，依據(jù)Procrustes變換對(duì)齊全部形狀向量到一個(gè)一致的坐標(biāo)框架下；此后履行步驟3053，由PCA方法獲取形狀拘束參數(shù)，步驟3063，獲取局部形狀模型。步驟3031-3061、步驟3032-3062和步驟3033-3063的計(jì)算方法詳盡為：用向量s表示一個(gè)人臉形狀：ssPb，（1）此中，s為均勻人臉形狀；P為一組正交的主形狀變化模式；b為形狀參數(shù)向量?，F(xiàn)有的ASM方法經(jīng)過(guò)迭代過(guò)程搜尋人臉形狀，迭代中全部的特色點(diǎn)地點(diǎn)同時(shí)更新，也就是說(shuō)特色點(diǎn)之間的互相影響是簡(jiǎn)單的平行關(guān)系。鑒于人臉的復(fù)雜構(gòu)造，以及表情豐富的特色，這類(lèi)簡(jiǎn)單的平行系統(tǒng)其實(shí)不足以描繪特色點(diǎn)之間的互相關(guān)系。比方，假定眼角地點(diǎn)固定，則眼睛的開(kāi)閉其實(shí)不可以影響口、鼻的特色點(diǎn)定位。本發(fā)明將人臉特色點(diǎn)組織為多個(gè)層次，以更好地適應(yīng)頭部運(yùn)動(dòng)、表情變化等對(duì)特色點(diǎn)地點(diǎn)的不同樣影響，我們稱為多層構(gòu)造人臉模型。第一類(lèi)為基準(zhǔn)特色點(diǎn)，基本只受頭部姿態(tài)的影響，如眼角、鼻端等。第二類(lèi)為全局特色點(diǎn)，用來(lái)拘束整個(gè)人臉的全局形狀，包含基準(zhǔn)特色點(diǎn)和其余重點(diǎn)點(diǎn)、如嘴角、眉端等。第三類(lèi)為局部特色點(diǎn)，只用來(lái)拘束人臉各構(gòu)成部分如眼、嘴、眉的細(xì)部特色，位于其輪廓界限上，如上下嘴唇的輪廓點(diǎn)，上下眼瞼等，主要受表情變化影響。鑒于此，本發(fā)明建立的多層構(gòu)造人臉模型說(shuō)明以下：如上所述，人臉形狀向量

s可表示為

(sR,sG,sL)T

，此中

sR、sG

和sL

分別表示基準(zhǔn)特征點(diǎn)、全局特色點(diǎn)和局部特色點(diǎn)。鑒于此，人臉形狀模型可分為剛性基準(zhǔn)形狀、全局基準(zhǔn)形狀、以及以下局部形狀：左眉、右眉、左眼、右眼、鼻、嘴等。關(guān)于剛性基準(zhǔn)形狀和全局基準(zhǔn)形狀，其點(diǎn)散布模型（PDM）可以從訓(xùn)練數(shù)據(jù)學(xué)習(xí)獲取以下，sRsRPRbR（2）sGsGPGbG（3）關(guān)于局部形狀模型，第i個(gè)局部形狀向量為sGi,Li{sGi,sLi}，此中sGi，s分別表示Li屬于第i個(gè)局部形狀的全局和局部特色點(diǎn)。亦有，sGi,LisGi,LiPGi,LibGi,Li（4）以上（2）、（3）、（4）三式即構(gòu)成了本發(fā)明的多層構(gòu)造人臉模型。此中各參數(shù)均鑒于ASM的原理經(jīng)過(guò)訓(xùn)練獲取。圖2顯示了本發(fā)明精選的一組特色點(diǎn)，此中全部的星形點(diǎn)201為基準(zhǔn)特色點(diǎn)，全部的星形點(diǎn)201和空心原點(diǎn)202構(gòu)成全局特色點(diǎn)，實(shí)心原點(diǎn)203為局部特色點(diǎn)。圖4為本發(fā)明人臉特色點(diǎn)的離線模板訓(xùn)練方法流程圖。人臉特色點(diǎn)的特色表達(dá)有好多種，如灰度特色、邊沿特色、小波特色等等。本發(fā)明采用多尺度多方向Gabor小波來(lái)建模特色點(diǎn)周邊的局部外觀，表達(dá)人臉特色點(diǎn)。鑒于Gabor小波的特色表達(dá)擁有人類(lèi)視覺(jué)的心理物理基礎(chǔ)，而且關(guān)于光照變化以及外觀變化下的表情鑒識(shí)、人臉鑒識(shí)和特色點(diǎn)表示等都擁有很好的魯棒性。本發(fā)明小波特色的計(jì)算方法為：給定灰度圖像I(x)中的一個(gè)像素x(x,y)，其周邊的局部圖像rI(x')中的像素為rJj(x)x'(x,y)，一系列Gabor系數(shù)可表達(dá)該點(diǎn)周邊的局部外觀，定義為：Jj()I(')(')2x'（）xxjxxd5此中Gabor核j為高斯包絡(luò)函數(shù)限制的平面波2222kjkjx（6）j(x)2exp22exp(ikjx)exp(2)kjxkvcosv2kj,kv22,（7）kjykvsin8此中，kv為頻次，為方向，kj為特色小波矢量，kjx為特色小波x方向矢量，kjy為特色小波y方向矢量，i為復(fù)數(shù)算子，精選v0,1,...,9，0,1,...,7，j8v，i1，且頻次波寬設(shè)為2。由此，本發(fā)明精選的Gabor核由10個(gè)頻次、8個(gè)方向構(gòu)成80個(gè)Gabor復(fù)系數(shù)，用以表達(dá)像素點(diǎn)周邊的外觀特色。特別地，可用一個(gè)jet向量JJj表示這些系數(shù)，可寫(xiě)成Jjjexp(ij)，j0,1,...,79（8）此中，j和j分別為第j個(gè)Gabor系數(shù)的幅值和相位。給定一幅圖像，每個(gè)標(biāo)志的人臉特色點(diǎn)都可以計(jì)算獲取Gabor小波的jet向量，該jet向量即表達(dá)了該點(diǎn)的特色。但是，針對(duì)每一個(gè)人臉特色點(diǎn)，其實(shí)不是全部80個(gè)Gabor復(fù)系數(shù)均合適表達(dá)該特色。為使其能表達(dá)各種人臉的共同特色，須對(duì)80個(gè)Gabor復(fù)系數(shù)進(jìn)行實(shí)驗(yàn)篩選。以嘴角特色點(diǎn)為例，本發(fā)明精選的Gabor復(fù)系數(shù)為：j24,...,55。由此，精選出的即為本發(fā)明方法中所用的小波特色。本發(fā)明人臉特色點(diǎn)的離線模板訓(xùn)練方法以下：第一履行步驟401，采納N張合適的人臉圖像作為訓(xùn)練樣本。步驟402，對(duì)人臉圖像的特色點(diǎn)進(jìn)行標(biāo)志。步驟403，對(duì)圖像進(jìn)行歸一化辦理，以保證全部特色點(diǎn)的Gabor特色的計(jì)算條件是周邊的，從而保證特色采樣的精準(zhǔn)性。依據(jù)雙眼的地點(diǎn)，獲取雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對(duì)圖像進(jìn)行旋轉(zhuǎn)，同時(shí)對(duì)圖像進(jìn)行縮放以使雙眼之間的距離（瞳距）達(dá)到一特定值。經(jīng)過(guò)這類(lèi)歸一化辦理后能保證Gabor特色表達(dá)的精度和魯棒性。此后履行步驟404，計(jì)算全部樣本的Gabor特色。詳盡方法是：將標(biāo)志的特色點(diǎn)坐標(biāo)變換至歸一化圖像中，對(duì)每一個(gè)人臉特色點(diǎn)，依據(jù)式（5）-（8）計(jì)算其Gabor特色。則對(duì)每一個(gè)特色點(diǎn)而言，共得N個(gè)Gabor特色Ji，i0,...,N。此后，履行步驟405，獲取各種本Gabor特色之間的相像度；方法為：假定Gabor特色J和J'，其相像度可由下式計(jì)算獲取：jj'jcos(j'jdkj)S(J,J')（9）j2j'2j此中，d為J和J'之間的相對(duì)位移，可由下式求得d(J,J')dx1yyyxx（10）dyxyxxyxxyyxyyx假如xxyyxyyx0，此中xjj'jkjx(j'j)，xyjj'jkjxkjy，，xx，yx和yy近似地進(jìn)行定義。對(duì)每個(gè)特色點(diǎn)，依據(jù)式（9）、（10）計(jì)算N個(gè)Gabor特色兩兩之間的相像度，當(dāng)其相像度大于閾值ST時(shí)即以為二者相像，ST可經(jīng)過(guò)實(shí)驗(yàn)采納，采納。此后履行步驟406，計(jì)算各種本Gabor特色的相像特色數(shù)n。此后履行步驟407，選擇n最大的樣本Gabor特色。此后履行步驟408，判斷n能否大于nT。若步驟408的判斷結(jié)果為否，則履行步驟411，辦理下一特色點(diǎn)。此后返回步驟404，連續(xù)履行本發(fā)明方法。若步驟408的判斷結(jié)果為是，則履行步驟409，將Gabor特色加入離線模板。對(duì)每一個(gè)Gabor特色，設(shè)有ni個(gè)與其相像的Gabor特色，將ni值最大且大于閾值nT的Gabor特色加入樣本特色集J'i，nT也經(jīng)過(guò)實(shí)驗(yàn)采納，采納nT=2。此后履行步驟

410，將該

Gabor特色從樣本中刪除，同時(shí)將與其相像度大于閾值

ST’的Gabor特色從Ji中刪除，這里ST’應(yīng)大于ST，采納。此后返回步驟405，對(duì)步驟405-409作迭代計(jì)算。對(duì)Ji重復(fù)上述過(guò)程，直到選不出樣本為止。最后的樣本特色集J'i即為該人臉特色點(diǎn)的特色樣本，作為人臉特色的離線模板供應(yīng)給在線追蹤使用。圖5為本發(fā)明人臉追蹤方法的流程圖。本發(fā)明方法包含：步驟501，初始化。本步驟主要初始化引擎，包含：初始化變量，參數(shù)設(shè)置，參數(shù)包含圖像格式、分辨率、顏色空間，追蹤模式等。此后履行步驟502，輸入一幀圖像。本步驟是依據(jù)步驟501設(shè)置好的格式輸入一幀圖像數(shù)據(jù)。此后履行步驟503，圖像歸一化。本步驟是對(duì)輸入圖像進(jìn)行歸一化辦理。即依據(jù)前一幀的人臉信息，主要為雙眼的地點(diǎn)信息，將輸入圖像變換成標(biāo)準(zhǔn)尺寸的圖像，精選的尺寸可為256×256。對(duì)人臉圖像進(jìn)行歸一化辦理，是為了保證全部特色點(diǎn)的計(jì)算條件周邊，從而保證特色采樣的精準(zhǔn)性。依據(jù)雙眼的地點(diǎn)，獲取雙眼的中點(diǎn)作為基準(zhǔn)點(diǎn)，雙眼的連線作為圖像的橫軸，雙眼連線的中垂線作為縱軸，對(duì)圖像進(jìn)行旋轉(zhuǎn)，同時(shí)對(duì)圖像進(jìn)行縮放以使雙眼之間的距離（瞳距）達(dá)到一特定值。經(jīng)過(guò)這類(lèi)歸一化辦理后能保證Gabor特色表達(dá)的精度和魯棒性。此后履行步驟504，判斷能否從頭檢測(cè)。本步驟是依據(jù)前一幀的檢測(cè)結(jié)果判斷能否從頭進(jìn)行人臉特色檢測(cè)，若為第一幀圖像，則直接進(jìn)行特色檢測(cè)。步驟504的判斷結(jié)果若為是，則連續(xù)步驟505，鑒于形狀拘束獲取基準(zhǔn)特色點(diǎn)。本步驟是利用基準(zhǔn)形狀模型517，鑒于ASM形狀拘束對(duì)齊基準(zhǔn)特色點(diǎn)，基準(zhǔn)特色點(diǎn)不會(huì)因?yàn)楸砬榈淖兓\(yùn)動(dòng)，如眼角、鼻端?；鶞?zhǔn)形狀模型517的獲取方法請(qǐng)拜見(jiàn)圖2和圖3及其對(duì)應(yīng)說(shuō)明。步驟505鑒于形狀拘束獲取基準(zhǔn)特色點(diǎn)的詳盡方法為:第一需對(duì)圖像進(jìn)行歸一化預(yù)辦理。其次，依據(jù)雙眼的地點(diǎn)確立剛性基準(zhǔn)點(diǎn)的地點(diǎn)。依據(jù)雙眼地點(diǎn)和人臉模型中的剛性基準(zhǔn)形狀模型對(duì)齊剛性基準(zhǔn)點(diǎn)，獲取這些基準(zhǔn)點(diǎn)的初始地點(diǎn)。此后依據(jù)式（2）迭代更新其形狀參數(shù)，直到知足迭代停止條件，即獲取剛性基準(zhǔn)點(diǎn)的正確地點(diǎn)。迭代過(guò)程中，剛性基準(zhǔn)點(diǎn)的精度依據(jù)其Gabor特色與離線特色模板的相像度進(jìn)行判斷。詳盡步驟以下：（1）對(duì)每一剛性基準(zhǔn)點(diǎn)i，計(jì)算其目前地點(diǎn)Xi(xi,yi)的Gabor特色Ji；（2）依據(jù)式（9）、（10）計(jì)算Ji與離線特色模板J'i中每個(gè)Gabor特色的相像度，取相像度最大者作為J與模板的相像度Si，并獲取其相對(duì)位移為di。（3）當(dāng)知足以下條件之一時(shí)，迭代過(guò)程結(jié)束，不然轉(zhuǎn)入步驟4）：a)全部剛性基準(zhǔn)點(diǎn)的均勻相像度S小于前一次迭代的均勻相像度Slast；b)90%以上的點(diǎn)的絕對(duì)位移值足夠小，即didxi2dyi2dT，這里閾值dT依據(jù)所需保證的精度確立，如可選dT=2；（4）對(duì)相對(duì)位移值di進(jìn)行限制，減少突變偏差，使得dxidxT,dyidyT，這里閾值dxT和dyT依據(jù)所需保證的精度確立，如可選dxTdyT；==10（5）依據(jù)di對(duì)剛性基準(zhǔn)點(diǎn)坐標(biāo)進(jìn)行更新：XiXidi；（6）依據(jù)更新的坐標(biāo)Xi和剛性基準(zhǔn)形狀模型及式（2）更新形狀參數(shù)。依據(jù)更新的形狀參數(shù)獲取新的剛性基準(zhǔn)點(diǎn)坐標(biāo)值；（7）迭代次數(shù)t增添1次。若t超出閾值，則迭代過(guò)程結(jié)束，不然轉(zhuǎn)入步驟（）。1此后履行步驟506，鑒于形狀拘束獲取全局特色點(diǎn)。本步驟是利用全局形狀模型518，鑒于ASM形狀拘束，對(duì)齊全局特色點(diǎn)。全局特色點(diǎn)除包含8個(gè)基準(zhǔn)特色點(diǎn)外，還包含其余受表情影響較小的點(diǎn)，如嘴角、眉尖等。獲取全局形狀模型518的詳盡方法請(qǐng)拜見(jiàn)圖2和圖3及其對(duì)應(yīng)說(shuō)明。步驟506的鑒于形狀拘束獲取全局特色點(diǎn)的詳盡方法與步驟505同樣,不同樣的是其利用剛性基準(zhǔn)點(diǎn)的地點(diǎn)以及全局基準(zhǔn)形狀模型，并在迭代中固定剛性基準(zhǔn)點(diǎn)的地點(diǎn)不變。此后履行步驟507，鑒于形狀拘束獲取局部特色點(diǎn)。本步驟是針對(duì)人臉的每一個(gè)局部特征，利用局部形狀模型519，鑒于ASM形狀拘束對(duì)齊局部特色點(diǎn)。本發(fā)明人臉的局部特色點(diǎn)主要包含左眼、右眼、嘴、鼻的輪廓點(diǎn)，如左（右）眼包含眼角、上、下眼瞼等，嘴部包括兩個(gè)嘴角、上/下唇的中點(diǎn)，以及上/下唇中點(diǎn)與嘴角之間的輪廓點(diǎn)等。獲取局部形狀模型519的詳盡方法請(qǐng)拜見(jiàn)圖2和圖3及其對(duì)應(yīng)說(shuō)明。步驟507鑒于形狀拘束獲取局部特色點(diǎn)的詳盡方法與步驟505同樣,不同樣的是其利用局部形狀模型，并固定全局基準(zhǔn)點(diǎn)的地點(diǎn)不變。此后履行步驟508，更新在線特色模板。本步驟是依據(jù)獲取的臉部特色點(diǎn)計(jì)算其Gabor小波特色，作為新的在線特色模板Ji"。此后履行步驟515，預(yù)計(jì)人臉姿態(tài)。本步驟是依據(jù)6個(gè)基礎(chǔ)點(diǎn)的地點(diǎn)預(yù)計(jì)人臉的姿態(tài)，6個(gè)基礎(chǔ)點(diǎn)為：4個(gè)眼角點(diǎn)和2個(gè)鼻端點(diǎn)。本發(fā)明既可以建立多層構(gòu)造人臉模型以適應(yīng)人臉表情的變化，也可以建立不同樣角度下的人臉形狀模型以適應(yīng)人臉角度的變化，不再贅述。但是，建立的人臉模型畢竟只好采樣有限的角度，如正面人臉，左邊面人臉45度，右側(cè)面人臉45度，等等。為保證人臉特色追蹤的精度，需預(yù)計(jì)出人臉的角度以采納合適的人臉形狀模型，并對(duì)其進(jìn)行角度的賠償。本發(fā)明依據(jù)人臉的剛性基準(zhǔn)特色點(diǎn)的地點(diǎn)即能較好地預(yù)計(jì)出人臉角度，說(shuō)明以下。為減少人臉表情的影響，需采納人臉的基準(zhǔn)特色點(diǎn)進(jìn)行人臉姿態(tài)的預(yù)計(jì)，本發(fā)明選擇4個(gè)眼角點(diǎn)和2個(gè)鼻端點(diǎn)作為參照。為預(yù)計(jì)人臉的姿態(tài)，這六個(gè)點(diǎn)的三維坐標(biāo)必然先進(jìn)行初始化。一般地，特色點(diǎn)的三維坐標(biāo)Xixi,yi,zi由通用的三維人臉模型，實(shí)質(zhì)應(yīng)用中，可要求用戶面向攝像頭以獲取其正面人臉圖像，依據(jù)檢測(cè)結(jié)果，特色點(diǎn)的xi和yi值自動(dòng)調(diào)整為該用戶的值，深度值則仍采納三維模型的值進(jìn)行近似。設(shè)人臉姿態(tài)參數(shù)facepan,tilt,swing,，此中pan,tilt,swing為人臉三個(gè)方向的歐拉角，為人臉大小的縮放值。步驟515預(yù)計(jì)人臉姿態(tài)的詳盡步驟以下：1）建立N個(gè)三角形。選擇隨意三個(gè)非共線性的特色點(diǎn)構(gòu)成一個(gè)三角形Ti，對(duì)每一個(gè)Ti，建立一個(gè)局部坐標(biāo)系統(tǒng)Ct。）由每個(gè)三角形獲取投影矩陣M。圖像坐標(biāo)與局部坐標(biāo)系統(tǒng)Ct的關(guān)系可表示為2cc0xtxt0（11）rr0Myt0yt此中，c,r表示坐標(biāo)系統(tǒng)Ct中三維點(diǎn)xt,yt,0的投影圖像，c0,r0是參照點(diǎn)xt0,yt0,0的投影圖像，M是×的投影矩陣。經(jīng)過(guò)限制歐拉角在到的范圍，可以從M恢復(fù)出兩2222組人臉姿態(tài)參數(shù)，從而生成圓滿投影矩陣Pi，但此中只有一個(gè)是正確的。3

Pi將特色點(diǎn)的三維坐標(biāo)投影到圖像中，從而獲取其與實(shí)質(zhì)特色點(diǎn)圖像坐標(biāo)的偏差

derror

。假如

derror

大于閾值

d，則刪除該矩陣；不然保存該矩陣，并設(shè)置其權(quán)重為idderror2。）加權(quán)獲取最后結(jié)果。經(jīng)過(guò)對(duì)N個(gè)三角形的檢測(cè)，最后獲取K個(gè)圓滿投影矩陣Pi，4i1K，及其對(duì)應(yīng)的權(quán)重i，i1K。對(duì)每個(gè)Pi，可獲取唯一的一組參數(shù)ipan,tilt,swing,。最后的人臉姿態(tài)參數(shù)為：Ki1ii（12）faceKi1i此后返回步驟502循環(huán)履行在線追蹤方法步驟502至508以及步驟515，并履行步驟516，輸出人臉特色點(diǎn)及人臉姿態(tài)信息。步驟504的判斷結(jié)果若為否，則履行步驟509，鑒于在線模板更新眼角點(diǎn)。本步驟是基于在線模板與特色點(diǎn)的上一幀地點(diǎn)的小波特色進(jìn)行比較，計(jì)算4個(gè)眼角點(diǎn)的位移，從而得到眼角的新地點(diǎn)。步驟

509的詳盡獲取方法為：1）依據(jù)前一幀的雙眼地點(diǎn)對(duì)圖像進(jìn)行歸一化預(yù)辦理；2）依據(jù)在線特色模板更新剛性基準(zhǔn)點(diǎn)中的眼角特色點(diǎn)：關(guān)于眼角特色點(diǎn)Xi

(xi,yi)，計(jì)算其在目前圖像的

Gabor特色

Ji，此后依據(jù)式（

10）計(jì)算

Ji與在線特色模板

J"i

的位移

d"i

，則眼角特色點(diǎn)可更新為：

Xi

Xi

d"i

。此后履行步驟510，鑒于離線特色模板調(diào)整眼角點(diǎn)。本步驟是計(jì)算離線訓(xùn)練的特色模板與在線特色模板的距離和相像度，依據(jù)該距離和相像度對(duì)眼角地點(diǎn)進(jìn)行改正獲取新的地點(diǎn)。獲取離線特色模板的詳盡方法見(jiàn)圖4及其對(duì)應(yīng)的說(shuō)明。步驟510的詳盡計(jì)算方法為：依據(jù)離線特色模板對(duì)眼角特色點(diǎn)進(jìn)行再修正：關(guān)于眼角特色點(diǎn)Xi(xi,yi)，依據(jù)式（9）、（10）計(jì)算在線特色模板J"i與離線特色模板J'i的相像度S'i和位移d'i，則眼角特色點(diǎn)可進(jìn)一步修正為XiXid'i，此中為相像2(1exp(10(S'i)))度調(diào)整值，依據(jù)精度要求進(jìn)行設(shè)置，如精選可設(shè)為0.55。此后履行步驟511，更新其余特色點(diǎn)。第一，計(jì)算新的眼角特色點(diǎn)地點(diǎn)與上一幀地點(diǎn)的均勻位移作為人臉剛性運(yùn)動(dòng)的初步預(yù)計(jì)，更新其余特色點(diǎn)全部特色點(diǎn)的坐標(biāo)為：XiXidavg。此后對(duì)每一特色點(diǎn)，重復(fù)步驟509與510，對(duì)眼角特色點(diǎn)之外的其余特色點(diǎn)的地點(diǎn)進(jìn)行更新。此后履行步驟512，依據(jù)前一幀的人臉姿態(tài)更新各形狀模型的均勻形狀。本步驟是依據(jù)前一幀預(yù)計(jì)的人臉姿態(tài)進(jìn)行偏差賠償，對(duì)人臉的形狀模型進(jìn)行更新，以獲取該姿態(tài)下的形狀模型。此后履行步驟513，鑒于形狀拘束更新全局特色點(diǎn)。本步驟是對(duì)全局特色點(diǎn)，依據(jù)賠償?shù)娜中螤钅Ｐ瓦M(jìn)行形狀拘束，獲取形狀參數(shù)，依據(jù)該形狀參數(shù)獲取正確的全局特色點(diǎn)。本步驟是鑒于步驟512所更新的形狀模型拘束更新全局特色點(diǎn)的地點(diǎn)。此后履行步驟514，鑒于形狀拘束更新局部特色點(diǎn)。本步驟是針對(duì)人臉的每一個(gè)局部特征，這一過(guò)程中，全局特色點(diǎn)不再更新。本步驟是鑒于步驟512所更新的形狀模型拘束更新其局部特色點(diǎn)的地點(diǎn)。此后履行步驟508，對(duì)全部特色點(diǎn)，計(jì)算其

Gabor特色作為新的在線特色模板

Ji"以上過(guò)程依據(jù)檢測(cè)的人臉及人眼的地點(diǎn)達(dá)成了人臉特色點(diǎn)的檢測(cè)定位。因?yàn)楦鱾€(gè)人臉的差別性，其特色點(diǎn)的Gabor特色與離線特色模板的相像度各不同樣。為此，依據(jù)目祖先臉特色點(diǎn)地點(diǎn)獲取其Gabor特色作為后續(xù)幀人臉追蹤的特色模板，即在線特色模板Ji"，以提升人臉特色追蹤的效率和精度。圖6為本發(fā)明人臉比對(duì)方法的流程圖。本發(fā)明方法包含：步驟601，人臉追蹤，獲取特色點(diǎn)。本步驟對(duì)輸入的視頻或許攝像頭及時(shí)畫(huà)面中的人臉進(jìn)行辦理，獲取特色點(diǎn)的精準(zhǔn)地點(diǎn)。其詳盡方法在圖1-圖5及其對(duì)應(yīng)的說(shuō)明書(shū)中詳盡說(shuō)明。應(yīng)當(dāng)注意的是，本發(fā)明的追蹤部分采納的人臉特色為人臉的共同性的特色，如圖2中所示28個(gè)特色點(diǎn)。此后履行步驟602，檢測(cè)圖像質(zhì)量，判斷能否知足條件。本步驟是關(guān)于步驟601所獲取的圖像質(zhì)量進(jìn)行判斷，判斷圖像以及特色點(diǎn)的提取結(jié)果能否知足注冊(cè)或比對(duì)的條件。檢測(cè)的參數(shù)包含圖像的亮度、光照的均勻性等。若步驟602的判斷結(jié)果為否，則履行步驟610。若步驟602的判斷結(jié)果為是，則履行步驟603，提取詳盡的人臉特色數(shù)據(jù)。應(yīng)注意的是：為圓滿表達(dá)不同樣人臉之間的差別性，需提取合適的人臉特色點(diǎn)，以便充分表達(dá)人臉信息。本發(fā)明采納人臉上的顯著特色點(diǎn)作為比對(duì)依據(jù)，除了圖2中所示28個(gè)特色點(diǎn)外，還增添雙眉之間的中點(diǎn)、鼻根即雙眼之間的中點(diǎn)、鼻尖，等等。依據(jù)精度、運(yùn)算性能等要求，可對(duì)特色點(diǎn)的采納合適進(jìn)行調(diào)整。而人臉特色點(diǎn)的特色必然采納式（8）中全部80個(gè)Gabor復(fù)系數(shù)，表達(dá)圓滿的人臉信息，以使不同樣人臉之間的差別最大化。步驟603的詳盡方法為：依據(jù)人臉檢測(cè)追蹤獲取的精準(zhǔn)的人臉特色點(diǎn)地點(diǎn)，插值獲取其余采納的人臉特色點(diǎn)的地點(diǎn)，如：鼻根為雙眼地點(diǎn)的中點(diǎn)、鼻尖為4個(gè)鼻測(cè)點(diǎn)的中心點(diǎn)，等等。依據(jù)雙眼地點(diǎn)對(duì)圖像進(jìn)行歸一化辦理。依據(jù)式（8）計(jì)算獲取人臉特色點(diǎn)i的Gabor特色J'i，全部特色點(diǎn)的Gabor特色即構(gòu)成一個(gè)人臉特色模板GjJ'i，i1,2,...,N，N為采納的人臉特色點(diǎn)個(gè)數(shù)。此后履行步驟604人臉注冊(cè)或許步驟605人臉比對(duì)。步驟604人臉注冊(cè)是保存人臉特色數(shù)據(jù)至人臉數(shù)據(jù)庫(kù)。詳盡方法為：將步驟603獲取的詳盡的人臉特色數(shù)據(jù)與這人已有的人臉特色模板庫(kù)進(jìn)行比較，若其相像度SST，則不保存該特色，不然將該特色加入這人的人臉特色模板庫(kù)GGj，>0,...,M，M為這人的特色模板個(gè)數(shù)，保存至數(shù)據(jù)庫(kù)。閾值ST依據(jù)實(shí)驗(yàn)采納，其相像度S的詳盡計(jì)算方法為：（1）對(duì)特色模板Gj{J'i}G，j0,...,M，依據(jù)式（9）計(jì)算輸入人臉的特色Ji與J'i之間的相像度Sji；（2）計(jì)算輸入人臉與特色模板Gj1Sji；的相像度為：SjNi（3）計(jì)算輸入人臉與人臉k的相像度為：SmaxSj。j步驟604履行完今后，履行606退出。步驟605是將該人臉特色數(shù)據(jù)與人臉數(shù)據(jù)庫(kù)中的每一個(gè)人臉的特色數(shù)據(jù)進(jìn)行比對(duì)，獲取其相像性，保存其與數(shù)據(jù)庫(kù)中各人臉的相像度值。詳盡方法為：假定數(shù)據(jù)庫(kù)中有K個(gè)人臉的特色模板庫(kù)，則（1）采納數(shù)據(jù)庫(kù)中的一個(gè)人臉k的特色模板庫(kù)GGj，k0,...,K；（2）對(duì)特色模板Gj{J'i}G，j0,...,M，依據(jù)式（9）計(jì)算輸入人臉的特色Ji與J'i之間的相像度Skji；1Skji；（3）計(jì)算輸入人臉與特色模板Gj的相像度為：SkjNi（）計(jì)算輸入人臉與人臉k的相像度為：SkmaxSkj；4j）（），獲取輸入人臉與數(shù)據(jù)庫(kù)中全部K個(gè)人臉的相像度，取其（5）重復(fù)步驟（1-4中最大者SmaxmaxSk，獲取其對(duì)應(yīng)的人臉k’。k此中，M為人的特色模板個(gè)數(shù)，N為采納的人的人臉特色點(diǎn)個(gè)數(shù)，i為人臉特色。此后履行步驟607