第8章-人臉檢測

第八章人臉檢測吳士泓人臉檢測問題最初作為自動人臉識別系統(tǒng)的定位環(huán)節(jié)被提出，近年來由于其在安全訪問控制、視覺監(jiān)測、基于內(nèi)容的檢索和新一代人機界面等領(lǐng)域的應用價值，開始作為一個獨立的課題受到研究者的普遍重視。8.1引言人臉檢測（FaceDetection）是指在輸入圖象中確定所有人臉（如果存在）的位置、大小、位姿的過程。人臉檢測問題最初來源于人臉識別（FaceRecognition）。人臉檢測研究具有重要的學術(shù)價值。人臉是一類具有相當復雜的細節(jié)變化的自然結(jié)構(gòu)目標，此類目標的檢測問題的挑戰(zhàn)性在于：（1）人臉由于外貌、表情、膚色等不同，具有模式的可變性；（2）一般意義下的人臉上，可能存在眼鏡、胡須等附屬物；（3）作為三維物體的人臉的影像不可避免地受由光照產(chǎn)生的陰影的影響。8.2人臉檢測問題的分類與人臉模式分析

人臉檢測問題所包含的內(nèi)容十分廣泛，從不同的角度可以有多種分類方法（表1）人臉圖象所包含的模式特征十分豐富，如圖1所示。這些特征中哪些是最有用的、如何利用這些特征，是人臉檢測要研究一個關(guān)鍵問題。人臉模式具有復雜而細致的變化，因此一般需要采用多種模式特征綜合的方法，如圖2所示。

歸納起來，根據(jù)利用特征的色彩屬性可以將人臉檢測方法分為基于膚色特征的方法和基于灰度特征的方法兩類。前者適用于構(gòu)造快速的人臉檢測和人臉跟蹤算法，后者利用了人臉區(qū)別于其它物體的更為本質(zhì)的特征，是人臉檢測領(lǐng)域研究的重點。根據(jù)特征綜合時采用的不同模型，可以將基于灰度特征的方法分為兩大類：基于啟發(fā)式（知識）模型的方法和基于統(tǒng)計模型的方法。由于人臉檢測問題的復雜性，無論那一類方法都無法適應所有的情況，一般都針對人臉檢測領(lǐng)域內(nèi)某個或某些特定的問題。8.3人臉模式的特征提取膚色特征灰度特征8.3.1膚色特征膚色是人臉的重要信息，不依賴于面部的細節(jié)特征，對于旋轉(zhuǎn)，表情等變化情況都能適用，具有相對的穩(wěn)定性并且和大多數(shù)背景物體的顏色相區(qū)別。因此膚色特征在人臉檢測中是最常用的一種特征。膚色特征主要由膚色模型描述?？梢詮膬蓚€方面考察某種色度空間：（1）在該色度空間中能否用給定的模型描述“膚色”區(qū)域的分布；（2）色度空間中“膚色”與“非膚色”區(qū)域的重疊有多少。人臉檢測常用的色度空間主要有：RGB（紅、綠、藍三基色）、rgb（亮度歸一化的三基色）、SHI（飽和度、色調(diào)、亮度）、YIQ（NTSC制的光亮度和色度模型）、YUV（PAL制的光亮度和色度模型）、YCbCr（CCIR601編碼方式的色度模型，與YUV在數(shù)學上具有等價性）、CIEL*a*b（國際照明委員會提出的基于色度學的彩色模型）等。常用的膚色模型有高斯模型、混合高斯模型和直方圖模型。除上述三種膚色模型外，還有直接利用幾何參數(shù)描述膚色區(qū)域分布范圍的模型、三維投影模型、基于神經(jīng)網(wǎng)的膚色模型等。此外也有同時考慮“膚色”與“非膚色”象素分布的基于貝葉斯方法的模型。8.3.2灰度特征灰度特征包括人臉輪廓特征、人臉灰度分布特征（鑲嵌圖特征、直方圖特征等）、器官特征（對稱性等）、模板特征等。輪廓是人頭部的重要特征。人臉核心區(qū)域（眼睛、鼻子、嘴區(qū)域）具有獨特的灰度分布特征。人臉區(qū)域內(nèi)的各個器官（如雙眼、鼻子、嘴等）是人臉的重要特征。人臉區(qū)域的灰度本身可以作為模板特征，通常取僅包含雙眼、鼻子和嘴的面部中心區(qū)域作為共性的人臉模板特征，排除掉頭發(fā)、臉頰兩側(cè)變化很大的部分。被廣泛地用于基于統(tǒng)計學習的人臉檢測方法中。8.4人臉模式的特征綜合人臉的檢測過程實際上就是對人臉模式特征的綜合判斷過程，包括如下方法。膚色區(qū)域分割與人臉驗證方法基于啟發(fā)式模型的方法基于統(tǒng)計模型的方法8.4.1膚色區(qū)域分割與人臉驗證方法對于彩色圖象，在確定膚色模型之后，首先可以進行膚色檢測。在檢測出膚色象素后，需要根據(jù)它們在色度上的相似性和空間上的相關(guān)性分割出可能的人臉區(qū)域，同時利用區(qū)域的幾何特征或灰度特征進行是否是人臉的驗證，以排除其它色彩類似膚色的物體。區(qū)域分割與驗證在很多方法中是密切結(jié)合、統(tǒng)一考慮的。在一些情況下，僅根據(jù)膚色象素的聚積特性即可完成區(qū)域分割。對于較為復雜的情況，則需要考慮兩方面的問題：（1）由于光照和臉部器官的影響，人臉可能被割裂為若干互不連通的膚色區(qū)域；（2）人臉區(qū)域可能與其它類膚色區(qū)域連接在一起。聚類－歸并－驗證策略是較常用的解決方法：首先將膚色象素按照較為嚴格的顏色一致性和幾何約束條件聚類為區(qū)域，然后按照一定規(guī)則進行歸并，歸并后或歸并過程中利用其它特征進行驗證。另一種策略是先用較弱的條件將膚色象素聚類為區(qū)域，再將符合一定條件的區(qū)域分裂開。還有一些方法使用膚色模板進行搜索匹配。此外，還有在分割之前就將膚色檢測的結(jié)果與其它特征融合在一起的方法.8.4.2基于啟發(fā)式模型的方法基于啟發(fā)式模型的方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗它們是否符合人臉的先驗知識。Govindaraju等使用變形模板（DeformableTemplate）匹配頭頂輪廓線和左右兩條面頰輪廓線，實現(xiàn)人臉定位。Yang等提出了基于鑲嵌圖（MosaicImage，又稱為馬賽克圖）的人臉檢測方法。人臉區(qū)域內(nèi)的各個器官也具有較為恒定的模式，因此一些方法首先檢測器官（如雙眼、鼻子、嘴等）或局部特征，然后根據(jù)它們的相對位置關(guān)系判斷整個區(qū)域是否為人臉。人臉灰度模板也可以看作是一種啟發(fā)式模型。梁路宏等使用了直接的平均臉模板匹配方法。該方法考慮到眼睛在人類辨識人臉過程中的特殊作用，使用雙眼模板首先進行粗篩選，然后使用不同長寬比的人臉模板進行匹配，最后使用馬賽克規(guī)則進行驗證。使用的模板參見圖3。此外還有Lv等根據(jù)投影直方圖分析首先確定人臉的旋轉(zhuǎn)角度，然后使用基于鑲嵌圖的方法檢測人臉；Dai等根據(jù)空間灰度共現(xiàn)矩陣特征檢測人臉等等。利用人臉的輪廓、對稱性等少量特征的方法適用于較強約束條件下（如簡單背景、頭肩圖象）的人臉檢測。由于使用的特征較少，此類算法可以達到較高的檢測速度，實現(xiàn)實時檢測與跟蹤。利用人臉五官分布特征的知識模型方法能夠在一定程度上適用于復雜背景圖象中的人臉檢測，同時達到較高的檢測速度。但是需要看到，要想進一步提高知識模型的適應能力，需要綜合更多的特征，這實際上涉及到圖象理解這一困難的問題。這是此類方法進一步發(fā)展遇到的主要障礙。

8.4.3基于統(tǒng)計模型的方法由于人臉圖象的復雜性，顯式地描述人臉特征具有一定困難，因此另一類方法——基于統(tǒng)計模型的方法越來越受到重視。此類方法將人臉區(qū)域看作一類模式，即模板特征，使用大量的“人臉”與“非人臉”樣本訓練、構(gòu)造分類器，通過判別圖象中所有可能區(qū)域?qū)儆谀念惸Ｊ降姆椒▽崿F(xiàn)人臉的檢測。實際上，人臉檢測問題被轉(zhuǎn)化為統(tǒng)計模式識別的二分類問題。基于特征空間的方法基于人工神經(jīng)網(wǎng)的方法基于概率模型的方法基于支持向量機的方法1）基于特征空間的方法

此類方法將人臉區(qū)域圖象變換到某一特征空間，根據(jù)其在特征空間中的分布規(guī)律劃分“人臉”與“非人臉”兩類模式。主分量分析(PCA,Principal-ComponentAnalysis)是一種常用的方法。它根據(jù)圖象的統(tǒng)計特性進行的正交變換（K-L變換），以消除原有向量各個分量間的相關(guān)性。變換得到對應特征值依次遞減的特征向量，即特征臉。了基于事例學習的方法，同時使用了19×19象素分辨率的“人臉”和“非人臉”樣本。。樣本預處理后按行列順序展開為樣本向量進行主分量分解。采用k-均值聚類方法在特征空間中建立6個“人臉”簇(Clusters)，同時建立包圍“人臉”簇的六個“非人臉”簇，以使“人臉”與“非人臉”模式的邊界更為清晰。屬于特征空間方法的還有因子分解方法（FactorAnalysis,FA）和Fisher準則方法(FisherLinearDiscriminant,FLD)。2）基于人工神經(jīng)網(wǎng)的方法

人工神經(jīng)網(wǎng)（ANN）方法是把模式的統(tǒng)計特性隱含在ANN的結(jié)構(gòu)和參數(shù)之中，對于人臉這類復雜的、難以顯式描述的模式，基于ANN的方法具有獨特的優(yōu)勢。

CMU的Rowley等使用了多個ANN檢測多姿態(tài)的人臉，算法的框架如圖4所示。在上述框架下，Rowley等對正面端正人臉和正面旋轉(zhuǎn)人臉的檢測單獨進行了研究。對于正面端正的人臉，僅使用了正面人臉檢測ANN，是一種三層前向網(wǎng)：輸入層對應20×20象素的圖象區(qū)域；隱層節(jié)點分為對應不同人臉區(qū)域的若干組，與輸入層部分連接；ANN輸出1到-1區(qū)間的值表示這個區(qū)域是否為人臉。Rowley等使用相同的“人臉”樣本和不同“自舉”過程收集的“非人臉”樣本訓練了多個正面人臉檢測ANN，對它們的檢測結(jié)果進行仲裁，以進一步減少錯誤報警。對于正面旋轉(zhuǎn)人臉的檢測使用了旋轉(zhuǎn)角度檢測器及正面人臉檢測ANN，并使用相似的多ANN仲裁方法降低錯誤報警。3）基于概率模型的方法

基于概率模型方法的一種思路是計算輸入圖象區(qū)域region屬于人臉模式object的后驗概率p(object|region)，據(jù)此對所有可能的圖象窗口進行判別。一種基于后驗概率估計的人臉檢測方法。該方法利用貝葉斯原理將后驗概率估計轉(zhuǎn)化為一個似然度求解問題：將難以估計的先驗概率

P(object)和用一個比率參數(shù)

P(object)λ代替，作為調(diào)節(jié)檢測器敏感度的參量。另一種概率模型是用于描述信號統(tǒng)計特性的隱馬爾可夫模型(HiddenMarkovModels,HMM)，目前也被應用于人臉檢測與識別。Nefian等據(jù)正面人臉由上到下各個區(qū)域（頭發(fā)、額頭、雙眼、鼻子、嘴）具有自然不變的順序這一事實，使用一個包含五個狀態(tài)的一維連續(xù)HMM加以表示。將頭部圖象按照這五個區(qū)域劃分為互有重疊的條塊，對各塊進行K-L變換，選取前若干個變換系數(shù)作為觀測向量訓練HMM。Nefian等還提出了基于嵌入式HMM的人臉檢測方法。該方法同時考慮到人臉由左到右各個特征的自然順序，使用了二維HMM，并且采用二維DCT變換的系數(shù)作為觀察向量。此外還有Meng等使用HMM描述人臉的小波特征中不同級間的相關(guān)性等方法?；贖MM的方法一般只使用“人臉”樣本進行訓練，主要針對用于人臉識別的頭肩部圖象。4）基于支持向量機的方法

支持向量機（SupportVectorMachines，SVM）是Vapnik等提出的基于結(jié)構(gòu)風險最小化原理（StructuralRiskMinimizationPrinciple,SRM）的統(tǒng)計學習理論

，用于分類與回歸問題。SRM使VC（Vapnik

Cherovnenkis）維數(shù)的上限最小化，這使得SVM方法比基于經(jīng)驗風險最小化（EmpiricalRiskMinimizationPrinciple,ERM）的人工神經(jīng)網(wǎng)方法具有更好的泛化能力。Osuna等將SVM方法用于人臉檢測，取得了較好的實驗結(jié)果。該方法的基本思路是對每一個19×19象素的檢測窗口使用SVM進行分類，以區(qū)分“人臉”和“非人臉”窗口。SVM的訓練使用了大量人臉樣本和“自舉”方法收集的“非人臉”樣本，并且使用逼近優(yōu)化的方法減少支持矢量的數(shù)量。需要說明的是，長期以來SVM的訓練需要求解計算復雜度極高的二次規(guī)劃問題，限制了該方法的應用。Platt提出的SMO（SequentialMinimalOptimization）算法解決了SVM訓練困難的問題。

基于統(tǒng)計模型的方法總結(jié)

不依賴于人臉的先驗知識和參數(shù)模型，可以避免不精確或不完整的知識造成的錯誤；采用了實例學習的方法獲取模型的參數(shù)，統(tǒng)計意義上更為可靠；通過增加學習的實例可以擴充檢測模式的范圍、提高檢測系統(tǒng)的魯棒性。基于統(tǒng)計模型的方法大多適用于復雜背景圖象中的人臉檢測。

目前基于統(tǒng)計模型的方法主要針對正面端正人臉的檢測。評估不同方法的性能需要共同的測試集，目前比較公認的測試集是Sung等的MIT測試集和Rowley等的CMU測試集（涵蓋了Sung等的測試集）。表2列出了幾個具有代表性的算法在該測試集上的檢測結(jié)果統(tǒng)計?；诮y(tǒng)計模型的方法具有很強的適應能力和魯棒性，但由于需要對所有可能的檢測窗口進行窮舉搜索，計算復雜度很高，因此檢測速度有待于提高，另外“非人臉”樣本的選取仍然是一個較為困難的問題。此類方法主要針對正面端正人臉的檢測，旋轉(zhuǎn)人臉、多姿態(tài)人臉的檢測由于比較復雜和困難，有效的方法還不多。8.5小結(jié)隨著人機交互技術(shù)日益成為當前研究的一個中心，人臉檢測問題越來越受到重視，成為模式識別與計算機視覺領(lǐng)域研究的一個熱點。人臉檢測問題的內(nèi)涵十分廣泛，已有的方法一般都是針對某一類問題提出的。由于人臉檢測問題的復雜性，實現(xiàn)通用的人臉檢測方法還不現(xiàn)實，因此解決特定約束條件下或某種應用背景下的人臉檢測問題仍將是該領(lǐng)域