模式識(shí)別論文——PCA與SVD融合人臉識(shí)別算法設(shè)計(jì)

1、.PCA與SVD相融合的人臉識(shí)別算法設(shè)計(jì)與系統(tǒng)實(shí)現(xiàn)摘 要：主成分分析是基于K-L變換思想的優(yōu)秀線性分類算法之一，根據(jù)方差最大化原理，將信號(hào)在一組新的規(guī)范正交基下展開，其在人臉識(shí)別中具有重要應(yīng)用價(jià)值，所形成的算法稱為本征臉方法，然而，由于該方法將圖像變換為本征臉空間的一點(diǎn)，因此對(duì)光照，角度和平移等因素比較敏感。奇異值分解作為一種有效的代數(shù)特征提取方法，將圖像看作矩陣進(jìn)行處理，具有位移，旋轉(zhuǎn)不變性等優(yōu)點(diǎn)，恰好彌補(bǔ)了PCA在這方面的不足，兩者相融合的算法可以有效地提高識(shí)別率，通過ORL庫的測試，可以證實(shí)這一算法的優(yōu)勢。最后，設(shè)計(jì)了基于Matlab GUIDE的人臉識(shí)別系統(tǒng)。關(guān)鍵詞：主成分分析，奇異值

2、分解，人臉識(shí)別，K-L變換1. 介紹隨著社會(huì)的發(fā)展以及技術(shù)的進(jìn)步，尤其是最近十年內(nèi)計(jì)算機(jī)的軟硬件性能的飛速提升，以及社會(huì)各方面對(duì)快速高效的自動(dòng)身份驗(yàn)證的要求日益迫切，生物識(shí)別技術(shù)在科研領(lǐng)域取得了極大的重視和發(fā)展。其中，人臉識(shí)別技術(shù)的研究近些年受到普遍重視，它與指紋識(shí)別、視網(wǎng)膜識(shí)別等同屬于生物特征識(shí)別。在公安、安全驗(yàn)證系統(tǒng)、醫(yī)學(xué)、金融、視頻會(huì)議、交通量控制等方面有著巨大的應(yīng)用前景，因而成為當(dāng)前人工智能領(lǐng)域和模式識(shí)別的一個(gè)研究熱點(diǎn)。人臉識(shí)別的研究始于60 年代末，在90年代取得重大突破，而得到前所未有的重視。早期的人臉識(shí)別研究主要集中于兩大方向1，一是提取人臉幾何特征的方法, 包括人臉部件歸一化的

3、點(diǎn)間距離和比率以及人臉的一些特征點(diǎn)；二是模板匹配的方法, 主要是利用計(jì)算模板和圖像灰度的自相關(guān)性來實(shí)現(xiàn)識(shí)別功能。目前的研究也主要有兩個(gè)方向：其一是基于整體的研究方法，它考慮了模式的整體屬性，包括特征臉（Eigenface）方法、SVD分解的方法2、人臉等密度線分析匹配方法3、彈性圖匹配（Elastic Graph Matching）方法4、隱馬爾可夫模型（Hidden Markov Model）方法5以及神經(jīng)網(wǎng)絡(luò)的方法等；其二是基于特征分析的方法, 將人臉基準(zhǔn)點(diǎn)的相對(duì)比率和其它描述人臉臉部特征的形狀參數(shù)或類別參數(shù)等一起構(gòu)成識(shí)別特征向量。這類基于整體臉識(shí)別方法的優(yōu)勢在于保留了更多的信息，而基于部

4、件的識(shí)別可以有效地提取指定特征，然而卻沒有表達(dá)識(shí)別部件的可靠模型?？偟脕碚f，人臉檢測是一個(gè)整體識(shí)別與特征識(shí)別共同作用的結(jié)果，其中前者提供低層次特征，遠(yuǎn)距離進(jìn)行辨別時(shí)更重要，而后者提供高層次特征，在近距離的人臉識(shí)別中，特征部件的識(shí)別更重要。本文的結(jié)構(gòu)安排如下：第一部分主要進(jìn)行人臉識(shí)別的總體介紹，包括其應(yīng)用背景和研究現(xiàn)狀；第二部分為相關(guān)算法描述與分析，即對(duì)KL變換、主成分分析（Principle Component Analysis，PCA）和奇異值分解（Singular Value Decomposition，SVD）進(jìn)行詳細(xì)推導(dǎo)與分析；第三部分為算法設(shè)計(jì)，提出基于PCA和SVD相融合的分類算法

5、；第四部分為系統(tǒng)設(shè)計(jì)，針對(duì)于人臉認(rèn)證登錄這一應(yīng)用，基于Matlab GUIDE開發(fā)出實(shí)際系統(tǒng)；第五部分為實(shí)驗(yàn)結(jié)果，分為兩個(gè)部分，其一，對(duì)所提出的算法進(jìn)行性能驗(yàn)證，測試樣本取自于劍橋大學(xué)ORL人臉庫，其二，對(duì)所開發(fā)的系統(tǒng)進(jìn)行實(shí)際測試；最后得出本文結(jié)論，并提出幾種算法的優(yōu)化改進(jìn)策略。2. 相關(guān)算法描述與分析2.1 Karhunen-Loeve變換Karhunen-Loeve變換簡稱為K-L變換，是模式識(shí)別中常用的一種特征提取方法。K-L變換是從K-L展開引出的，對(duì)于某一個(gè)樣本，可以在一組規(guī)范正交基上展開，即（2-1）式（2-1）同時(shí)左乘，得（2-2）由此，K-L變換思想可以表述為，將向量在一組規(guī)范

6、正交基上展開，得到新的向量（其中和的各分量均為在各自基上的線性組合系數(shù)）。其目的是使的各分量具有最小的相關(guān)性，從而達(dá)到降維的目的。如果只用有限項(xiàng)（）來逼近，即（2-3）則該估計(jì)的均方誤差為，（2-4）記，為的自相關(guān)矩陣（K-L變換的產(chǎn)生矩陣）。將均方誤差作為目標(biāo)函數(shù)，則問題轉(zhuǎn)變?yōu)樽钚』繕?biāo)函數(shù)，（2-5）Lagrange方程為，（2-6）令，得（2-7）即為矩陣的特征值，為對(duì)應(yīng)的特征向量，此時(shí)，取得極值。將此條件代入目標(biāo)函數(shù)式（2-4），得，（2-8）因此，K-L變換可以總述為，以矩陣最大個(gè)特征值對(duì)應(yīng)的特征向量作為規(guī)范正交基，構(gòu)成新的特征空間，使在其上展開，展開系數(shù)組成了新的向量，則通過這樣的

7、變換，誤差最小。表示成矩陣形式，（2-9）K-L變換具有如下性質(zhì)：第一，自相關(guān)矩陣可以相似對(duì)角化，因此，有（2-10）通過K-L變換，消除了原有向量分量間的相關(guān)性，從而有可能去掉那些帶有較少信息或不含信息的冗余分量，以達(dá)到降維的目的；第二，K-L變換是信號(hào)的最佳的壓縮表示，也叫最優(yōu)線性變換，用維K-L變換特征代表原始信號(hào)，所帶來的誤差在所有維正交坐標(biāo)變換中最??；第三，用K-L坐標(biāo)系代表原始數(shù)據(jù)表示熵最小，樣本方差信息最大程度低集中在少數(shù)的維度上。2.2 主成分分析（PCA）PCA是基于K-L變換思想的特征提取方法，它的出發(fā)點(diǎn)是從一組特征中計(jì)算出一組按重要性從大到小排列的新特征，它們是原有特征的

8、線性組合，且相互之間是不相關(guān)的。PCA的目標(biāo)是使新特征的方差達(dá)到極大值，可用于線性分類，最大化類間離散度。最重要的應(yīng)用之一，便是人臉識(shí)別，該方法最早由Turk和Pentland提出，成為本征臉（eigenface）方法6。本征臉方法具體可描述為，對(duì)于一幅個(gè)像素組成的人臉圖像，可以將其看作一個(gè)特征為維向量的樣本。設(shè)訓(xùn)練樣本集有類樣本，每類樣本的個(gè)數(shù)為，則所有樣本個(gè)數(shù)為，樣本集表示為。樣本集的平均臉向量表示為，（2-11）每個(gè)樣本減去平均臉，得到差值臉，（2-12）協(xié)方差矩陣（也稱總體散布矩陣）表示為，（2-13）其中，因?yàn)榫仃嚨木S度為，因此考慮另一個(gè)矩陣，它的維度為，通常M<N2。矩陣的特

9、征方程為，（2-14）兩邊同時(shí)左乘，得，（2-15）記，則式（2-15）可寫成（2-16）因此，維的矩陣和維矩陣具有相同的特征值，特征向量具有如下關(guān)系，（2-17）兩規(guī)范化特征向量的關(guān)系為，（2-18）式（2-18）可用下節(jié)介紹奇異值分解定理解釋。與矩陣一樣，矩陣最多具有個(gè)非零特征值。由于每個(gè)特征向量仍然是一個(gè)維的向量，即仍然是一個(gè)的圖像。這些特征向量的圖像仍然具有一些人臉的特點(diǎn)，因此被稱作“本征臉”。將特征值從大到小排列，選取前個(gè)特征值，滿足一定的貢獻(xiàn)率，即（2-19）則這個(gè)特征值在這些新的規(guī)范正交基上的投影構(gòu)成了對(duì)原圖像的降維表示，所在空間為特征臉空間。根據(jù)K-L變換的性質(zhì)，這種降維表示是

10、所有相同維數(shù)的線性表示中誤差最小的。特征臉空間可用矩陣表示，其列向量為規(guī)范正交基，即，（2-20）式（2-12）表示的差值臉在其上投影，投影系數(shù)可表示為，（2-21）而本征臉可通過下式重構(gòu)出原始圖像，（2-22）總得來說，PCA算法通過利用規(guī)范正交基的線性組合描述、表達(dá)人臉和逼近人臉，因此可以進(jìn)行人臉的識(shí)別和重建。然而，PCA具有兩點(diǎn)不足：其一，將二維圖像一維向量化，丟失了圖像中像素的鄰域相關(guān)信息；其二，圖像中所有像素點(diǎn)的權(quán)重相同，沒有突出人臉信息，因此，本質(zhì)上來說并不能稱作“本征臉”。2.3 奇異值分解（SVD）SVD是一種有效的代數(shù)特征提取方法，基于SVD的人臉識(shí)別方法將圖像看作一個(gè)矩陣，

11、對(duì)任何一個(gè)矩陣，都可以利用SVD分解為對(duì)角陣。SVD原理可表述為，對(duì)于任意矩陣，都存在兩個(gè)正交矩陣和，以及對(duì)角矩陣，使得，（2-23）其中，同時(shí)是矩陣和的特征值，和分別是矩陣和對(duì)應(yīng)于的特征向量，稱為奇異值（SV）。在識(shí)別人臉時(shí)，將奇異值構(gòu)成的向量作為特征向量，將訓(xùn)練樣本圖像得到特征向量記為，將待測圖像得到的特征向量記為，可以利用最近鄰法進(jìn)行分類。SVD將圖像看作一個(gè)矩陣進(jìn)行分解，是一種代數(shù)特征提取方法。因?yàn)槠淇紤]到圖像時(shí)空域的相關(guān)性，因此用它描述圖像特征具有穩(wěn)定性，且具有轉(zhuǎn)置、旋轉(zhuǎn)、平移以及鏡像不變形等優(yōu)點(diǎn)7。3. PCA和SVD相融合的算法設(shè)計(jì)融合的目的是獲得比單個(gè)分類器更高的分類精度，分類

12、器融合分為特征層上的融合和決策層上的融合8，本算法所涉及的是特征層上的融合，對(duì)一幅圖像提取主分量PCA特征和奇異值SV特征，融合這兩種特征來完成最后的分類。融合能提高分類性能的前提是，不同特征具有獨(dú)立性與信息互補(bǔ)性。由于PCA將圖像變換為特征臉空間中的一點(diǎn)，因此該方法對(duì)光線、角度和平移等變化比較敏感，并且由于將二維圖像一維向量化，丟失了像素鄰域相關(guān)信息，而SVD恰好可以彌補(bǔ)這些方面的不足，因此考慮將兩者進(jìn)行融合。本文采用加權(quán)平均的融合策略，PCA和SVD的權(quán)重相等。樣本特征融合階段的大致過程如下所述。首先，分別使用式（2-21）和式（2-23）提取待識(shí)別人臉的PCA特征和SVD特征；然后，使用

13、式（3-1）和式（3-2）計(jì)算待識(shí)別樣本特征與樣本集中各樣本特征的歐式距離和，其中表示類別，表示類別中樣本；（3-1）（3-2）接下來，求出融合后的距離，（3-3）利用最近鄰法完成分類，（3-4）則該待測樣本屬于第類。整個(gè)PCA與SVD相融合算法的執(zhí)行框圖如圖3-1所示。圖3-1 PCA與SVD相融合算法的執(zhí)行框圖4. 系統(tǒng)實(shí)現(xiàn)本文所實(shí)現(xiàn)的實(shí)現(xiàn)是人臉認(rèn)證登錄系統(tǒng)，基于Matlab GUIDE開發(fā)設(shè)計(jì)，從而模擬Android 4.0系統(tǒng)的人臉識(shí)別認(rèn)證功能。由于這種界面登錄系統(tǒng)的環(huán)境特定性，需要考慮的干擾因素并不多，因此對(duì)算法的要求并不高。與多類分類識(shí)別不同的是，該識(shí)別算法只需判斷待測樣本與訓(xùn)練樣

14、本是否足夠相近，即滿足一定的閾值，給出“屬于”和“不屬于”兩個(gè)結(jié)果。系統(tǒng)實(shí)現(xiàn)流程上可大致分為兩類，其一為訓(xùn)練階段，其二為識(shí)別階段。在訓(xùn)練階段中，系統(tǒng)進(jìn)行次采樣，樣本圖像規(guī)模為，構(gòu)成樣本集，首先進(jìn)行PCA和SVD投影，分別得到特征向量和，求出其均值和，（4-1）（4-2）然后，求出均值向量與所有特征向量的歐式距離，并作PCA與SVD融合，最后將其中最大距離作為判別閾值。（4-3）（4-4）（4-5）（4-6）在識(shí)別階段，系統(tǒng)獲得待測樣本，對(duì)其進(jìn)行PCA和SVD投影，分別得到特征向量和，接下來求出與訓(xùn)練樣本特征向量的最小融合距離，（4-7）若滿足，表示待測樣本與訓(xùn)練樣本足夠接近，識(shí)別成功，反之失敗

15、。圖4-1為系統(tǒng)界面，圖4-2為整個(gè)系統(tǒng)實(shí)現(xiàn)的流程圖。圖4-1人臉認(rèn)證登錄系統(tǒng)的界面圖4-2 人臉認(rèn)證登錄系統(tǒng)的流程圖5. 實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)采用劍橋大學(xué)ORL人臉庫，該人臉庫包含了40個(gè)人臉，每個(gè)人有10幅不同的圖像。圖像包含了一定的光照變化、表情變化（睜眼和閉眼，笑與不笑）、面部細(xì)節(jié)變化（戴眼鏡與不戴眼鏡）以及一定范圍內(nèi)的旋轉(zhuǎn)，包含比較齊全。這些圖像分辨率大小都是112×92像素的9。圖5-1是ORL人臉數(shù)據(jù)庫中某人的人臉圖像。圖5-1 ORL人臉數(shù)據(jù)庫中某人的人臉圖像測試階段，在每類中隨機(jī)抽取抽取個(gè)樣本作為訓(xùn)練樣本，剩下的個(gè)樣本則作為測試樣本，當(dāng)分別選作5和7時(shí)，測試結(jié)果如表5-1和

16、5-2所示。表5-1 樣本數(shù)的測試識(shí)別率表5-1 樣本數(shù)的測試識(shí)別率從任意一表都可以看出，單獨(dú)SVD的識(shí)別率低于單獨(dú)PCA，但PCA+SVD的識(shí)別率卻高于任意一種，這說明了該算法的有效性。并且對(duì)比兩表可以看出，當(dāng)樣本數(shù)量增加，則識(shí)別率明顯提高。同時(shí)，對(duì)于人臉認(rèn)證登錄系統(tǒng)，也作了相關(guān)測試，如圖5-2至5-5所示。通過實(shí)際測試，驗(yàn)證了該P(yáng)CA與SVD相融合的識(shí)別算法的有效性。圖5-2 人臉認(rèn)證登錄系統(tǒng)測試一圖5-3 人臉認(rèn)證登錄系統(tǒng)測試二圖5-4 人臉認(rèn)證登錄系統(tǒng)測試三圖 5-5人臉認(rèn)證登錄系統(tǒng)測試四6. 結(jié)論由于PCA和SVD具有信息的互補(bǔ)性，因此兩者相融合的算法可以提高識(shí)別性能，本文使用ORL

17、人臉庫的數(shù)據(jù)進(jìn)行測試，驗(yàn)證了該算法的優(yōu)越性。最后設(shè)計(jì)并實(shí)現(xiàn)了人臉認(rèn)證登錄系統(tǒng)，并進(jìn)行了實(shí)際的識(shí)別測試，該系統(tǒng)可以在以下三個(gè)方面進(jìn)行完善。一、圖像預(yù)處理。根據(jù)PCA算法分析所述，圖像中每個(gè)點(diǎn)的權(quán)重是一樣的，因此為了增大人臉信息的權(quán)重，可采用相關(guān)人臉檢測算法，對(duì)所拍的圖像進(jìn)行剪切，提取出人臉部分，去除背景；二、使用顏色特征?？梢杂萌ǖ赖腞GB圖像作為樣本，而非灰度圖像，因?yàn)轭^發(fā)或面部等顏色特征有助于人臉識(shí)別；三、整體與部件特征相結(jié)合。如本文介紹部分所述，整體臉與部件亦具有信息互補(bǔ)性，而PCA和SVD同屬基于整體臉的識(shí)別，加入某些部件特征會(huì)進(jìn)一步提高識(shí)別率。參考文獻(xiàn)1 蘇光大, 張翠平. 人臉識(shí)

18、別技術(shù)綜述J. 中國圖形圖像學(xué)報(bào), 2000, 5(11): 885-894.2 Ziquan Hong. Algebraic feature extraction of image for recognitionJ. Pattern Recognition, 1991, 24(3): 211-219.3 Nakamura O, Mathur S, Minami T. Identification of human faces based on isodensity mapsJ. Pattern Recognition, 1991, 24(3): 263-272.4 LadesM, Vorbuggen J, Buhmann Jetal. Distortion invariant object recognition in the dynamic link architectureJ. IEEE Trans.on Computers, 1991, 42(3): 300-311.5 Samaria F, Young S. HMM-based architecture for face identificationJ. Image and Vision Computing, 1994, 12(8).6 Turk M,