一種多姿態(tài)的人臉識別方法

一種多姿態(tài)的人臉識別方法

中國第二代身份的使用為識別人臉識別的應(yīng)用奠定了重要基礎(chǔ)。文中選取二代身份證照片作為人臉識別的訓(xùn)練樣本,進(jìn)行人臉識別研究。使用二代身份證照片進(jìn)行人臉識別時(shí),只有一張訓(xùn)練樣本,如果此時(shí)使用常規(guī)的算法進(jìn)行人臉識別,那么識別率會變得極其低,或者算法失效,這就是人臉識別的單樣本問題單樣本問題正逐漸引起相關(guān)研究者的關(guān)注,成為人臉識別領(lǐng)域一個(gè)新的研究熱點(diǎn),針對這一問題,研究者們提出了一些解決方法。文獻(xiàn)[4-5]使用積分投影與原圖像合成新圖像,再進(jìn)行識別,來提高人臉識別率;文獻(xiàn)[4,6]先對原始圖像進(jìn)行一定的處理,生成一定數(shù)量的虛擬樣本,再進(jìn)行特征提取和人臉識別,取得了不錯(cuò)的效果。由于現(xiàn)今多樣本人臉識別技術(shù)較為成熟,可以取得較好的識別性能,所以通過虛擬樣本生成技術(shù)擴(kuò)充訓(xùn)練樣本數(shù)目,使單樣本人臉識別問題轉(zhuǎn)化為一般的多樣本人臉識別問題是一種很好的方案。虛擬樣本生成就是模擬現(xiàn)實(shí)中人臉取樣的各種情況,但是現(xiàn)有的虛擬樣本生成方法往往只模擬了人臉在圖像平面內(nèi)變化的圖像,生成的虛擬樣本比較單一。而大量的實(shí)驗(yàn)表明文中分析了現(xiàn)有虛擬圖像生成方法的優(yōu)缺點(diǎn),提出了一種多姿態(tài)的虛擬樣本生成方法,該方法不僅能生成人臉在圖像平面內(nèi)變化的模擬圖像,還能生成人臉在立體空間內(nèi)變化的模擬圖像。使用該方法產(chǎn)生的訓(xùn)練樣本,在自建的身份證人臉庫上的實(shí)驗(yàn)結(jié)果表明,相對于單樣本識別率提高了近60%,相對于已有的虛擬樣本生成方法對多姿態(tài)的人臉識別率提高了近10%。1圖像平面內(nèi)虛擬圖像的模擬操作1)鏡像變換這種操作可減小頭部旋轉(zhuǎn)對識別率的影響,對提高有姿態(tài)變化的人臉識別準(zhǔn)確率有一定的效果。由于身份證照片中人臉是標(biāo)準(zhǔn)的水平居中,而且人臉基本對稱,所以可對身份證照片P進(jìn)行垂直中心軸的鏡像變換,得到P2)尺度變換增加尺度變化的虛擬樣本,就是模擬現(xiàn)實(shí)成像時(shí)人臉離攝像設(shè)備遠(yuǎn)近不同或焦距不同時(shí)的情形,因?yàn)殡m然人臉檢測時(shí)會對人臉進(jìn)行標(biāo)準(zhǔn)化處理,但由于存在誤差,標(biāo)準(zhǔn)化后同一個(gè)人的照片仍然會存在尺度上的差異,所以虛擬產(chǎn)生尺度變化的圖像,可以當(dāng)作有效的訓(xùn)練樣本。與常規(guī)方法中不同的是,本文實(shí)驗(yàn)中,在將身份證原始圖像P進(jìn)行縮小操作時(shí),由于身份證圖像的背景為純白色,所以必須要對空出的部分進(jìn)行補(bǔ)白操作。對P進(jìn)行放大操作時(shí),要對放大圖像的四周進(jìn)行剪切使其與原圖P大小相同。兩種操作均保持人臉位置相對不變。3)傾斜變換增加傾斜操作的圖像,就是模擬現(xiàn)實(shí)成像時(shí)人頭部側(cè)向傾斜不同角度時(shí)的情形。將原始圖像P在圖像平面內(nèi)繞中心旋轉(zhuǎn)一定的角度,就得到新的圖像作為訓(xùn)練樣本。不過要得到與原始圖像P大小相同的圖像,還需要進(jìn)行插值和剪切操作,圖像旋轉(zhuǎn)后會有一部分超出原圖像范圍,需要剪切操作;同時(shí)會有部分背景空出,需要進(jìn)行補(bǔ)白操作。4)平移變換增加像素平移的圖像,就是模擬現(xiàn)實(shí)成像時(shí)人臉在設(shè)備成像窗口中位置或焦距不同時(shí)的情形?？梢詫D像作為一個(gè)整體向右、向下、向左、向上平移幾個(gè)像素得到平移后的圖像作為新的訓(xùn)練樣本圖像。在本文的實(shí)際應(yīng)用中,為減少計(jì)算的復(fù)雜度,采用了組合平移的方式。平移后會使原始圖像P的一部分移出邊框,要去除;同時(shí)也會有部分空出的,要進(jìn)行補(bǔ)白操作。2圖像旋轉(zhuǎn)模擬人臉新工藝圖1為定義的三維人臉及其坐標(biāo)軸,其中XOY與圖像平面平行。二代身份證照片為標(biāo)準(zhǔn)的正面照,圖像平面內(nèi)模擬生成的訓(xùn)練樣本都還是人臉正面圖像,其旋轉(zhuǎn)也僅限于左右旋轉(zhuǎn)(XOY內(nèi)繞Z軸旋轉(zhuǎn)),缺少模擬現(xiàn)實(shí)成像時(shí)更加復(fù)雜的姿態(tài),也就是缺少對XOZ和YOZ平面內(nèi)人臉變化的模擬。本文對XOZ和YOZ平面內(nèi)的人臉旋轉(zhuǎn)進(jìn)行研究,提出了模擬人臉側(cè)向旋轉(zhuǎn)(繞X軸)和模擬俯仰旋轉(zhuǎn)(繞Y軸),以及組合旋轉(zhuǎn)姿態(tài)的虛擬人臉生成方法。1)對照片P中人臉進(jìn)行模擬人臉側(cè)向旋轉(zhuǎn)。人臉側(cè)向旋轉(zhuǎn)的過程,可以看做是人臉上所有點(diǎn)繞頸脖到頭頂軸(繞X軸)旋轉(zhuǎn)的一個(gè)過程。圖2為模擬人臉側(cè)向旋轉(zhuǎn)變化的示意圖。首先把頭部ZOY平面內(nèi)的人臉輪廓近似為一個(gè)圓,O點(diǎn)為人頭部旋轉(zhuǎn)的中心,O′點(diǎn)為人臉圖像上Y軸方向的起點(diǎn),A為人臉上任一點(diǎn),A點(diǎn)在人臉旋轉(zhuǎn)θ角度后到達(dá)A′點(diǎn),y、y′分別是旋轉(zhuǎn)前后A點(diǎn)在圖像上的位置。令O′A與X軸夾角為α;A轉(zhuǎn)動θ角度后到達(dá)A′,即角度∠AO′A′=θ;圓半徑為n/2,n為人臉照片的Y方向的尺寸。可以列出方程組:可以解出y′=n/2+(y-n/2)cosθ+sinθ姨y(n-y),為旋轉(zhuǎn)后A點(diǎn)在圖像上的新位置,新圖像中的A點(diǎn)的坐標(biāo):定義新圖像P2)模擬俯仰變化,即模擬人臉繞Y軸旋轉(zhuǎn)的情形。假設(shè)人臉在XOZ平面內(nèi)的輪廓為一個(gè)圓,抬頭或低頭旋轉(zhuǎn)的角度為θ,就可以用1)中的原理求出新圖像中對應(yīng)的坐標(biāo)為:m為圖像在X軸方向的尺寸,θ為頭部轉(zhuǎn)動的角度,根據(jù)θ取正值或負(fù)值,就能得到模擬抬頭和低頭的圖像,此原理可在一定程度上模擬現(xiàn)實(shí)成像時(shí)人抬頭低頭的情形。3)組合模擬,即模擬人臉既有傾斜,又有旋轉(zhuǎn)的姿態(tài)。這種立體變換可以更加全面的模擬現(xiàn)實(shí)取樣時(shí)復(fù)雜的人臉姿態(tài)。方法為:先對人臉進(jìn)行一定角度的模擬旋轉(zhuǎn)變化,再進(jìn)行一定角度的傾斜變化,就可以得到對立體姿態(tài)進(jìn)行模擬的虛擬圖像。3hmm模型擬然概率隱馬爾可夫模型具體的過程為,首先對每人的身份證圖像和虛擬生成的圖像進(jìn)行采樣生成觀察值序列,然后對這些觀察值序列使用Viterbi和Baum-Welch算法1)首先對待識別的人臉圖像進(jìn)行采樣,得到觀察向量序列;2)計(jì)算此人臉觀察向量序列與人臉數(shù)據(jù)庫中各個(gè)人臉的HMM模型的最大似然概率,最大似然概率的計(jì)算可以通過前向-后向算法或者Viterbi算法得出;3)最大似然概率反映了待識別人臉觀察向量序列與數(shù)據(jù)庫中的人臉HMM模型的相似程度。計(jì)算出每一個(gè)模型產(chǎn)生該序列的最大似然概率,最大值的模型即為待識別人臉?biāo)鶎俚念?。HMM能提取人臉的主要特征,它把面部器官特征和一個(gè)狀態(tài)轉(zhuǎn)移模型聯(lián)系起來,這種模型既考慮了人臉各器官的不同特征,又考慮了它們的相互關(guān)聯(lián),比孤立利用各器官的數(shù)值特征有概念上的進(jìn)步,該模型的參數(shù)能較好地表征具體人臉模型。該方法魯棒性較好,對表情、姿態(tài)變化不太敏感,對于不同角度的人臉圖像和不同光照條件,都能達(dá)到滿意的識別精度。所以本文選用HMM進(jìn)行人臉識別。4模擬人臉姿態(tài)變化對人臉識別的有效性測試實(shí)驗(yàn)所用人臉庫為一個(gè)身份證照片庫和一個(gè)攝像照片庫。身份證人臉庫:因?yàn)闆]有公開的身份證人臉庫,所以本文建立了一個(gè)含有20人身份證照片的身份證人臉庫。測試人臉庫:測試人臉庫含有對應(yīng)20人每人10張各種設(shè)定姿態(tài)(3張不同焦距的正面照,兩張20度左右人臉側(cè)向旋轉(zhuǎn)照,抬頭/低頭照,笑臉照,兩張左右傾斜30度人臉照)的攝像照,總計(jì)為200張測試照片。為更加全面的測試不同姿態(tài)的人臉對算法識別準(zhǔn)確率的影響,測試照片具體分為10個(gè)測試集(表1),每測試集含有各人相同的姿態(tài)照片,各測試集對應(yīng)人臉姿態(tài)如下:1)為驗(yàn)證增加的虛擬樣本的有效性,首先必須測試出使用單樣本時(shí)的人臉識別率。測試時(shí)只采用每人的二代身份證照片進(jìn)行訓(xùn)練,其余10張攝像采集圖像為測試圖像,分次進(jìn)行測試,統(tǒng)計(jì)平均識別率,結(jié)果列在表2的實(shí)驗(yàn)1中。2)為驗(yàn)證虛擬樣本的有效性,訓(xùn)練樣本中加入對原始身份證圖像P進(jìn)行下列操作得到的虛擬樣本:鏡像變化得到的P1;尺度縮小0.9倍得到的P2;尺度放大1.1倍得到的P3;向左傾斜5度得到的P4;向右傾斜5度得到的P5;向上右方向各移動5個(gè)的像素得到的P6;向下左方向各移動5個(gè)像素得到的P7。P1-P7與二代身份證照片P共計(jì)8張一起進(jìn)行訓(xùn)練,如圖3所示,進(jìn)行測試驗(yàn)證增加虛擬圖像對人臉識別率的影響。結(jié)果列在表2的實(shí)驗(yàn)2中。3)為驗(yàn)證模擬姿態(tài)變化的虛擬圖像對識別率的有效性,現(xiàn)在訓(xùn)練樣本中加入以下的模擬人臉姿態(tài)變化的虛擬樣本:向右側(cè)向旋轉(zhuǎn)10度得到的P8;向左側(cè)向旋轉(zhuǎn)10度得到的P9;仰頭10度得到的P10;俯頭10度得到的P11;向右側(cè)向旋轉(zhuǎn)10度再向左傾斜5度得到的P12;向左側(cè)向旋轉(zhuǎn)10度再向右傾斜5度得到的P13。如圖4所示6張圖像,與P、P1-P7一起,共計(jì)14張圖像進(jìn)行訓(xùn)練,再進(jìn)行識別,驗(yàn)證模擬姿態(tài)變化的虛擬樣本對人臉識別正確率的影響。結(jié)果列在表2的實(shí)驗(yàn)3中。表2的實(shí)驗(yàn)結(jié)果表明加入虛擬樣本,增加訓(xùn)練樣本數(shù)量,對單樣本人臉識別的準(zhǔn)確率的提高非常有效。實(shí)驗(yàn)2的結(jié)果表明,增加圖像平面變化的虛擬樣本對識別率的提高非常有效,特別是對正面人臉的識別,平均識別率達(dá)到了90%,同時(shí)實(shí)驗(yàn)結(jié)果也表明了,在增加的虛擬樣本都為正面人臉時(shí),對具有姿態(tài)變化的人臉進(jìn)行識別,識別率相對較低。其中實(shí)驗(yàn)3的結(jié)果表明,增加模擬側(cè)向旋轉(zhuǎn)和俯仰旋轉(zhuǎn)姿態(tài)變化的虛擬樣本,在對姿態(tài)變化較大的人臉進(jìn)行識別時(shí),識別率提升明顯,同時(shí)平均識別率也得到一定程度的提高。證明模擬姿態(tài)變化的虛擬樣本對提高非正面人臉識別是有效的。5虛擬樣本生成方法文中在研