人臉識(shí)別綜述與展望

人臉識(shí)別綜述與展望

摘要本文綜述了人臉識(shí)別理論的研究現(xiàn)狀，根據(jù)人臉自動(dòng)識(shí)別技術(shù)發(fā)展的時(shí)間進(jìn)行了分類，分析和比較各種識(shí)別方法優(yōu)缺點(diǎn)，討論了其中的關(guān)鍵技術(shù)及發(fā)展前景。關(guān)鍵詞人臉識(shí)別；特征提取

1人臉識(shí)別技術(shù)概述近年來，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，人臉自動(dòng)識(shí)別技術(shù)得到廣泛研究與開發(fā)，人臉識(shí)別成為近30年里模式識(shí)別和圖像處理中最熱門的研究主題之一。人臉識(shí)別的目的是從人臉圖像中抽取人的個(gè)性化特征，并以此來識(shí)別人的身份。一個(gè)簡單的自動(dòng)人臉識(shí)別系統(tǒng)，包括以下4個(gè)方面的內(nèi)容：(1)人臉檢測(Detection)：即從各種不同的場景中檢測出人臉的存在并確定其位置。(2)人臉的規(guī)范化(Normalization)：校正人臉在尺度、光照和旋轉(zhuǎn)等方面的變化。(3)人臉表征(FaceRepresentation)：采取某種方式表示檢測出人臉和數(shù)據(jù)庫中的已知人臉。(4)人臉識(shí)別(Recognition)：將待識(shí)別的人臉與數(shù)據(jù)庫中的已知人臉比較，得出相關(guān)信息。

2人臉識(shí)別算法的框架人臉識(shí)別算法描述屬于典型的模式識(shí)別問題，主要有在線匹配和離線學(xué)習(xí)兩個(gè)過程組成，如圖1所示。圖1一般人臉識(shí)別算法框架在人臉識(shí)別中，特征的分類能力、算法復(fù)雜度和可實(shí)現(xiàn)性是確定特征提取法需要考慮的因素。所提取特征對(duì)最終分類結(jié)果有著決定性的影響。分類器所能實(shí)現(xiàn)的分辨率上限就是各類特征間最大可區(qū)分度。因此，人臉識(shí)別的實(shí)現(xiàn)需要綜合考慮特征選擇、特征提取和分類器設(shè)計(jì)。

3人臉識(shí)別的發(fā)展歷史及分類人臉識(shí)別的研究已經(jīng)有相當(dāng)長的歷史，它的發(fā)展大致可以分為四個(gè)階段：第一階段：人類最早的研究工作至少可追朔到二十世紀(jì)五十年代在心理學(xué)方面的研究和六十年代在工程學(xué)方面的研究。J.S.Bruner于1954年寫下了關(guān)于心理學(xué)的Theperceptionofpeople，Bledsoe在1964年就工程學(xué)寫了FacialRecognitionProjectReport，國外有許多學(xué)校在研究人臉識(shí)別技術(shù)[1]，其中有從感知和心理學(xué)角度探索人類識(shí)別人臉機(jī)理的，如美國TexasatDallas大學(xué)的Abdi和Tool小組[2、3]，由Stirling大學(xué)的Bruce教授和Glasgow大學(xué)的Burton教授合作領(lǐng)導(dǎo)的小組等；也有從視覺機(jī)理角度進(jìn)行研究的，如英國的Graw小組[4、5]和荷蘭Groningen大學(xué)的Petkov小組等。第二階段：關(guān)于人臉的機(jī)器識(shí)別研究開始于二十世紀(jì)七十年代。Allen和Parke為代表，主要研究人臉識(shí)別所需要的面部特征。研究者用計(jì)算機(jī)實(shí)現(xiàn)了較高質(zhì)量的人臉灰度圖模型。這一階段工作的特點(diǎn)是識(shí)別過程全部依賴于操作人員，不是一種可以完成自動(dòng)識(shí)別的系統(tǒng)。第三階段：人機(jī)交互式識(shí)別階段。Harmon和Lesk用幾何特征參數(shù)來表示人臉正面圖像。他們采用多維特征矢量表示人臉面部特征，并設(shè)計(jì)了基于這一特征表示法的識(shí)別系統(tǒng)。Kaya和Kobayashi則采用了統(tǒng)計(jì)識(shí)別方法，用歐氏距離來表征人臉特征。但這類方法需要利用操作員的某些先驗(yàn)知識(shí)，仍然擺脫不了人的干預(yù)。第四階段：20世紀(jì)90年代以來，隨著高性能計(jì)算機(jī)的出現(xiàn)，人臉識(shí)別方法有了重大突破，才進(jìn)入了真正的機(jī)器自動(dòng)識(shí)別階段。在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，國際上形成了以下幾類主要的人臉識(shí)別方法：1）基于幾何特征的人臉識(shí)別方法基于幾何特征的方法是早期的人臉識(shí)別方法之一。常采用的幾何特征有人臉的五官如眼睛、鼻子、嘴巴等的局部形狀特征。臉型特征以及五官在臉上分布的幾何特征。提取特征時(shí)往往要用到人臉結(jié)構(gòu)的一些先驗(yàn)知識(shí)。識(shí)別所采用的幾何特征是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，本質(zhì)上是特征矢量之間的匹配，其分量通常包括人臉指定兩點(diǎn)間的歐式距離、曲率、角度等?；趲缀翁卣鞯淖R(shí)別方法比較簡單、容易理解，但沒有形成統(tǒng)一的特征提取標(biāo)準(zhǔn)；從圖像中抽取穩(wěn)定的特征較困難，特別是特征受到遮擋時(shí)；對(duì)較大的表情變化或姿態(tài)變化的魯棒性較差。2）基于相關(guān)匹配的方法基于相關(guān)匹配的方法包括模板匹配法和等強(qiáng)度線方法。①模板匹配法：Poggio和Brunelli[10]專門比較了基于幾何特征的人臉識(shí)別方法和基于模板匹配的人臉識(shí)別方法，并得出結(jié)論：基于幾何特征的人臉識(shí)別方法具有識(shí)別速度快和內(nèi)存要求小的優(yōu)點(diǎn)，但在識(shí)別率上模板匹配要優(yōu)于基于幾何特征的識(shí)別方法。②等強(qiáng)度線法：等強(qiáng)度線利用灰度圖像的多級(jí)灰度值的等強(qiáng)度線作為特征進(jìn)行兩幅人臉圖像的匹配識(shí)別。等強(qiáng)度曲線反映了人臉的凸凹信息。這些等強(qiáng)度線法必須在背景與頭發(fā)均為黑色，表面光照均勻的前提下才能求出符合人臉真實(shí)形狀的等強(qiáng)度線。3）基于子空間方法常用的線性子空間方法有：本征子空間、區(qū)別子空間、獨(dú)立分量子空間等。此外，還有局部特征分析法、因子分析法等。這些方法也分別被擴(kuò)展到混合線性子空間和非線性子空間。Turk等[11]采用本征臉(Eigenfaces)方法實(shí)現(xiàn)人臉識(shí)別。由于每個(gè)本征矢量的圖像形式類似于人臉，所以稱本征臉。對(duì)原始圖像和重構(gòu)圖像的差分圖像再次進(jìn)行K-L變換，得到二階本征空間，又稱二階本征臉[12]。Pentland等[13]提出對(duì)于眼、鼻和嘴等特征分別建立一個(gè)本征子空間，并聯(lián)合本征臉子空間的方法獲得了好的識(shí)別結(jié)果。Shan等[14]采用特定人的本征空間法獲得了好于本征臉方法的識(shí)別結(jié)果。Albert等[15]提出了TPCA(TopologicalPCA)方法，識(shí)別率有所提高。Penev等[16]提出的局部特征分析(LFALocalFeatureAnalysis)法的識(shí)別效果好于本征臉方法。當(dāng)每個(gè)人有多個(gè)樣本圖像時(shí)，本征空間法沒有考慮樣本類別間的信息，因此，基于線性區(qū)別分析(LDALinearDiscriminantAnalysis)，Belhumeur等[17]提出了Fisherfaces方法，獲得了較好的識(shí)別結(jié)果。Bartlett等[18]采用獨(dú)立分量分析(ICA，IndependentComponentAnalysis)的方法識(shí)別人臉，獲得了比PCA方法更好的識(shí)別效果。4）基于統(tǒng)計(jì)的識(shí)別方法該類方法包括有：KL算法、奇異值分解(SVD)、隱馬爾可夫(HMM)法。①KL變換：將人臉圖像按行(列)展開所形成的一個(gè)高維向量看作是一種隨機(jī)向量，因此采用K-L變換獲得其正交K-L基底，對(duì)應(yīng)其中較大特征值基底具有與人臉相似的形狀。國外，在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，比較有影響的有MIT的Media實(shí)驗(yàn)室的Pentland小組，他們主要是用基于KL變換的本征空間的特征提取法，名為“本征臉(Eigenface)[19]。②隱馬爾可夫模型：劍橋大學(xué)的Samaria和Fallside[20]對(duì)多個(gè)樣本圖像的空間序列訓(xùn)練出一個(gè)HMM模型，它的參數(shù)就是特征值；基于人臉從上到下、從左到右的結(jié)構(gòu)特征；Samatia等[21]首先將1-DHMM和2-DPseudoHMM用于人臉識(shí)別。Kohir等[22]采用低頻DCT系數(shù)作為觀察矢量獲得了好的識(shí)別效果，如圖2(a)所示。Eickeler等[23]采用2-DPseudoHMM識(shí)別DCT壓縮的JPEG圖像中的人臉圖像；Nefian等采用嵌入式HMM識(shí)別人臉[24]，如圖2(b)所示。后來集成coupledHMM和HMM通過對(duì)超狀態(tài)和各嵌入狀態(tài)采用不同的模型構(gòu)成混合系統(tǒng)結(jié)構(gòu)[25]?；贖MM的人臉識(shí)別方法具有以下優(yōu)點(diǎn)：第一，能夠允許人臉有表情變化，較大的頭部轉(zhuǎn)動(dòng)；第二，擴(kuò)容性好.即增加新樣本不需要對(duì)所有的樣本進(jìn)行訓(xùn)練；第三，較高的識(shí)別率。(a)(b)圖2(a)人臉圖像的1-DHMM(b)嵌入式隱馬爾科夫模型5）基于神經(jīng)網(wǎng)絡(luò)的方法Gutta等[26]提出了混合神經(jīng)網(wǎng)絡(luò)、Lawrence等[27]通過一個(gè)多級(jí)的SOM實(shí)現(xiàn)樣本的聚類，將卷積神經(jīng)網(wǎng)絡(luò)CNN用于人臉識(shí)別、Lin等[28]采用基于概率決策的神經(jīng)網(wǎng)絡(luò)方法、Demers等[29]提出采用主元神經(jīng)網(wǎng)絡(luò)方法提取人臉圖像特征，用自相關(guān)神經(jīng)網(wǎng)絡(luò)進(jìn)一步壓縮特征，最后采用一個(gè)MLP來實(shí)現(xiàn)人臉識(shí)別。Er等[30]采用PCA進(jìn)行維數(shù)壓縮，再用LDA抽取特征，然后基于RBF進(jìn)行人臉識(shí)別。Haddadnia等[31]基于PZMI特征，并采用混合學(xué)習(xí)算法的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別。神經(jīng)網(wǎng)絡(luò)的優(yōu)勢是通過學(xué)習(xí)的過程獲得對(duì)這些規(guī)律和規(guī)則的隱性表達(dá)，它的適應(yīng)性較強(qiáng)。6）彈性圖匹配方法

摘要本文綜述了人臉識(shí)別理論的研究現(xiàn)狀，根據(jù)人臉自動(dòng)識(shí)別技術(shù)發(fā)展的時(shí)間進(jìn)行了分類，分析和比較各種識(shí)別方法優(yōu)缺點(diǎn)，討論了其中的關(guān)鍵技術(shù)及發(fā)展前景。關(guān)鍵詞人臉識(shí)別；特征提取

1人臉識(shí)別技術(shù)概述近年來，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，人臉自動(dòng)識(shí)別技術(shù)得到廣泛研究與開發(fā)，人臉識(shí)別成為近30年里模式識(shí)別和圖像處理中最熱門的研究主題之一。人臉識(shí)別的目的是從人臉圖像中抽取人的個(gè)性化特征，并以此來識(shí)別人的身份。一個(gè)簡單的自動(dòng)人臉識(shí)別系統(tǒng)，包括以下4個(gè)方面的內(nèi)容：(1)人臉檢測(Detection)：即從各種不同的場景中檢測出人臉的存在并確定其位置。(2)人臉的規(guī)范化(Normalization)：校正人臉在尺度、光照和旋轉(zhuǎn)等方面的變化。(3)人臉表征(FaceRepresentation)：采取某種方式表示檢測出人臉和數(shù)據(jù)庫中的已知人臉。(4)人臉識(shí)別(Recognition)：將待識(shí)別的人臉與數(shù)據(jù)庫中的已知人臉比較，得出相關(guān)信息。

2人臉識(shí)別算法的框架人臉識(shí)別算法描述屬于典型的模式識(shí)別問題，主要有在線匹配和離線學(xué)習(xí)兩個(gè)過程組成，如圖1所示。圖1一般人臉識(shí)別算法框架在人臉識(shí)別中，特征的分類能力、算法復(fù)雜度和可實(shí)現(xiàn)性是確定特征提取法需要考慮的因素。所提取特征對(duì)最終分類結(jié)果有著決定性的影響。分類器所能實(shí)現(xiàn)的分辨率上限就是各類特征間最大可區(qū)分度。因此，人臉識(shí)別的實(shí)現(xiàn)需要綜合考慮特征選擇、特征提取和分類器設(shè)計(jì)。

3人臉識(shí)別的發(fā)展歷史及分類人臉識(shí)別的研究已經(jīng)有相當(dāng)長的歷史，它的發(fā)展大致可以分為四個(gè)階段：第一階段：人類最早的研究工作至少可追朔到二十世紀(jì)五十年代在心理學(xué)方面的研究和六十年代在工程學(xué)方面的研究。J.S.Bruner于1954年寫下了關(guān)于心理學(xué)的Theperceptionofpeople，Bledsoe在1964年就工程學(xué)寫了FacialRecognitionProjectReport，國外有許多學(xué)校在研究人臉識(shí)別技術(shù)[1]，其中有從感知和心理學(xué)角度探索人類識(shí)別人臉機(jī)理的，如美國TexasatDallas大學(xué)的Abdi和Tool小組[2、3]，由Stirling大學(xué)的Bruce教授和Glasgow大學(xué)的Burton教授合作領(lǐng)導(dǎo)的小組等；也有從視覺機(jī)理角度進(jìn)行研究的，如英國的Graw小組[4、5]和荷蘭Groningen大學(xué)的Petkov小組等。第二階段：關(guān)于人臉的機(jī)器識(shí)別研究開始于二十世紀(jì)七十年代。Allen和Parke為代表，主要研究人臉識(shí)別所需要的面部特征。研究者用計(jì)算機(jī)實(shí)現(xiàn)了較高質(zhì)量的人臉灰度圖模型。這一階段工作的特點(diǎn)是識(shí)別過程全部依賴于操作人員，不是一種可以完成自動(dòng)識(shí)別的系統(tǒng)。第三階段：人機(jī)交互式識(shí)別階段。Harmon和Lesk用幾何特征參數(shù)來表示人臉正面圖像。他們采用多維特征矢量表示人臉面部特征，并設(shè)計(jì)了基于這一特征表示法的識(shí)別系統(tǒng)。Kaya和Kobayashi則采用了統(tǒng)計(jì)識(shí)別方法，用歐氏距離來表征人臉特征。但這類方法需要利用操作員的某些先驗(yàn)知識(shí)，仍然擺脫不了人的干預(yù)。第四階段：20世紀(jì)90年代以來，隨著高性能計(jì)算機(jī)的出現(xiàn)，人臉識(shí)別方法有了重大突破，才進(jìn)入了真正的機(jī)器自動(dòng)識(shí)別階段。在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，國際上形成了以下幾類主要的人臉識(shí)別方法：1）基于幾何特征的人臉識(shí)別方法基于幾何特征的方法是早期的人臉識(shí)別方法之一。常采用的幾何特征有人臉的五官如眼睛、鼻子、嘴巴等的局部形狀特征。臉型特征以及五官在臉上分布的幾何特征。提取特征時(shí)往往要用到人臉結(jié)構(gòu)的一些先驗(yàn)知識(shí)。識(shí)別所采用的幾何特征是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，本質(zhì)上是特征矢量之間的匹配，其分量通常包括人臉指定兩點(diǎn)間的歐式距離、曲率、角度等?；趲缀翁卣鞯淖R(shí)別方法比較簡單、容易理解，但沒有形成統(tǒng)一的特征提取標(biāo)準(zhǔn)；從圖像中抽取穩(wěn)定的特征較困難，特別是特征受到遮擋時(shí)；對(duì)較大的表情變化或姿態(tài)變化的魯棒性較差。2）基于相關(guān)匹配的方法基于相關(guān)匹配的方法包括模板匹配法和等強(qiáng)度線方法。①模板匹配法：Poggio和Brunelli[10]專門比較了基于幾何特征的人臉識(shí)別方法和基于模板匹配的人臉識(shí)別方法，并得出結(jié)論：基于幾何特征的人臉識(shí)別方法具有識(shí)別速度快和內(nèi)存要求小的優(yōu)點(diǎn)，但在識(shí)別率上模板匹配要優(yōu)于基于幾何特征的識(shí)別方法。②等強(qiáng)度線法：等強(qiáng)度線利用灰度圖像的多級(jí)灰度值的等強(qiáng)度線作為特征進(jìn)行兩幅人臉圖像的匹配識(shí)別。等強(qiáng)度曲線反映了人臉的凸凹信息。這些等強(qiáng)度線法必須在背景與頭發(fā)均為黑色，表面光照均勻的前提下才能求出符合人臉真實(shí)形狀的等強(qiáng)度線。3）基于子空間方法常用的線性子空間方法有：本征子空間、區(qū)別子空間、獨(dú)立分量子空間等。此外，還有局部特征分析法、因子分析法等。這些方法也分別被擴(kuò)展到混合線性子空間和非線性子空間。Turk等[11]采用本征臉(Eigenfaces)方法實(shí)現(xiàn)人臉識(shí)別。由于每個(gè)本征矢量的圖像形式類似于人臉，所以稱本征臉。對(duì)原始圖像和重構(gòu)圖像的差分圖像再次進(jìn)行K-L變換，得到二階本征空間，又稱二階本征臉[12]。Pentland等[13]提出對(duì)于眼、鼻和嘴等特征分別建立一個(gè)本征子空間，并聯(lián)合本征臉子空間的方法獲得了好的識(shí)別結(jié)果。Shan等[14]采用特定人的本征空間法獲得了好于本征臉方法的識(shí)別結(jié)果。Albert等[15]提出了TPCA(TopologicalPCA)方法，識(shí)別率有所提高。Penev等[16]提出的局部特征分析(LFALocalFeatureAnalysis)法的識(shí)別效果好于本征臉方法。當(dāng)每個(gè)人有多個(gè)樣本圖像時(shí)，本征空間法沒有考慮樣本類別間的信息，因此，基于線性區(qū)別分析(LDALinearDiscriminantAnalysis)，Belhumeur等[17]提出了Fisherfaces方法，獲得了較好的識(shí)別結(jié)果。Bartlett等[18]采用獨(dú)立分量分析(ICA，IndependentComponentAnalysis)的方法識(shí)別人臉，獲得了比PCA方法更好的識(shí)別效果。4）基于統(tǒng)計(jì)的識(shí)別方法該類方法包括有：KL算法、奇異值分解(SVD)、隱馬爾可夫(HMM)法。①KL變換：將人臉圖像按行(列)展開所形成的一個(gè)高維向量看作是一種隨機(jī)向量，因此采用K-L變換獲得其正交K-L基底，對(duì)應(yīng)其中較大特征值基底具有與人臉相似的形狀。國外，在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，比較有影響的有MIT的Media實(shí)驗(yàn)室的Pentland小組，他們主要是用基于KL變換的本征空間的特征提取法，名為“本征臉(Eigenface)[19]。②隱馬爾可夫模型：劍橋大學(xué)的Samaria和Fallside[20]對(duì)多個(gè)樣本