核非負(fù)稀疏表示在人臉識別中的應(yīng)用

核非負(fù)稀疏表示在人臉識別中的應(yīng)用

0基于核非負(fù)稀疏表示的人臉識別算法人臉識別是計(jì)算機(jī)視覺和模式識別領(lǐng)域的一個(gè)重要研究主題，在安全控制、人機(jī)交互和現(xiàn)實(shí)改進(jìn)等方面發(fā)揮著廣泛的作用。人臉識別算法已經(jīng)被研究了很多年,很多學(xué)者提出了不同的人臉識別算法(如基于主成分分析的人臉識別算法、基于線性判決分析的人臉識別算法、基于局部保留映射的人臉識別算法、彈性束圖匹配算法、基于局部二值特征的人臉識別算法、基于Gabor相位直方圖的人臉識別算法、最近子空間算法等),但是由于人臉圖像外觀存在大量內(nèi)在和外在的變化(如年齡、表情、光照、遮擋等),人臉識別依然是一個(gè)極富有挑戰(zhàn)性的研究課題。近年來,隨著稀疏表示和壓縮感知理論的發(fā)展和完善,它們被越來越多用于處理計(jì)算機(jī)視覺和模式識別問題(如人臉識別、圖像超分辨、圖像修復(fù)、視覺跟蹤等方面)。2009年,Wright等提出了稀疏表示分類框架,并將其用于人臉識別。在該算法框架中,一個(gè)待測試的人臉圖像可以看作所有訓(xùn)練人臉圖像的稀疏線性組合,并利用L1最小化技術(shù)來求解組合系數(shù)(也稱為表示系數(shù))。在獲得表示系數(shù)后,利用最小類殘留(即類重構(gòu)誤差最小)的方式進(jìn)行分類。受到該算法的啟發(fā),很多學(xué)者開始嘗試?yán)孟∈璞硎舅惴▉磉M(jìn)行人臉識別。Yang等在稀疏表示分類框架中利用Gabor特征取代裸像素特征,并通過學(xué)習(xí)一個(gè)遮擋字典來處理遮擋的人臉圖像。Zhou等稀疏表示分類框架中引入了遮擋像素的空間連續(xù)性,利用一階馬爾可夫隨機(jī)場來建模連續(xù)的遮擋。文獻(xiàn)[14-15]提出了基于核的稀疏表示分類算法,并將其用于人臉識別和分類領(lǐng)域。此外,Zhang等還對文獻(xiàn)中的稀疏表示分類框架進(jìn)行了深入的分析,指出在稀疏分類框架中協(xié)同表示的作用大于稀疏限制的作用,據(jù)此提出了一種基于均方L2范數(shù)限制的協(xié)同表示算法,很大程度上提升了識別的速度。本文提出了一種基于核非負(fù)稀疏表示的人臉識別算法。首先,該算法在稀疏表示的基礎(chǔ)上引入了對表示系數(shù)的非負(fù)限制,保證了人臉圖像數(shù)據(jù)的加性組合,并通過利用核函數(shù)進(jìn)行隱式的非線性映射,使得分類框架能夠利用非線性特征或度量;其次,本文對目標(biāo)函數(shù)進(jìn)行了變型和松弛,將其轉(zhuǎn)化為一個(gè)非負(fù)最小均方問題,并設(shè)計(jì)了乘性梯度下降算法進(jìn)行求解,理論上可以保證獲得全局最優(yōu)解;最后,本文實(shí)現(xiàn)了利用核非負(fù)稀疏表示進(jìn)行人臉識別實(shí)驗(yàn),實(shí)驗(yàn)利用了局部二元特征和漢明核來捕捉人臉數(shù)據(jù)間的非線性關(guān)系。實(shí)驗(yàn)結(jié)果表明,與其他算法相比,本文提出的算法具有很好的識別精度。1表類別個(gè)數(shù)的稀疏表示本章簡述了基于稀疏表示的分類算法,令A(yù)i=[ai,1,ai,2,…,ai,ni]∈Rm×ni代表第i類人臉樣本集合,A=[A1,A2,…,Ak]代表整個(gè)訓(xùn)練樣本集合(也稱為字典),其中k代表類別個(gè)數(shù)。給定一個(gè)測試樣本y∈Rm×1,稀疏表示分類算法首先將其表示為字典A的稀疏線性組合y≈Ax,這一過程可以通過求解式(1)中的優(yōu)化問題來實(shí)現(xiàn)。其中:目標(biāo)函數(shù)的第一項(xiàng)對應(yīng)重構(gòu)誤差(即假設(shè)測試樣本y能夠由所有訓(xùn)練樣本集合A來協(xié)同表示);第二項(xiàng)為正則化項(xiàng),根據(jù)文獻(xiàn),L1范數(shù)正則化(即‖x‖1)可以獲得稀疏解。在獲取表示系數(shù)x后,可以利用最小類特定殘留來進(jìn)行分類。稀疏表示分類算法可以總結(jié)為以下4步。1)將字典A的每一列進(jìn)行歸一化,使其L2范數(shù)為1。2)利用字典A對測試樣本y進(jìn)行稀疏線性表示,求解獲得表示系數(shù)x。3)根據(jù)表示系數(shù)計(jì)算類殘留,ri=‖y-Aixi‖22。4)選擇類殘留最小的類作為最終的類別輸出:2負(fù)稀疏表示算法和分類框架2.1彈性網(wǎng)正則化法假定存在一個(gè)映射函數(shù)φ(·),它能夠?qū)⒕€性的特征非線性地映射到一個(gè)高維空間中,即測試樣本y映射為y→φ(y),字典A映射為,本文的目標(biāo)函數(shù)定義如下:其中:第一項(xiàng)假設(shè)非線性映射后的樣本能夠由非線性映射后的字典進(jìn)行線性表示,第二項(xiàng)為L1范數(shù)正則化項(xiàng)用以實(shí)現(xiàn)稀疏限制,第三項(xiàng)為L2范數(shù)正則化來保證求解的穩(wěn)定性,x≥0引入了對系數(shù)x的非負(fù)性限制。根據(jù)非負(fù)矩陣分解(Non-negativeMatrixFactorization,NMF)的相關(guān)理論和分析可知,非負(fù)性限制可以保證數(shù)據(jù)的非加性描述,從而能夠保證相應(yīng)描述在表示上具有一定程度的稀疏性,并且能夠使得數(shù)據(jù)的描述具有更加直觀的物理意義。最初的稀疏表示算法僅僅采用L1正則化來強(qiáng)調(diào)稀疏性,根據(jù)文獻(xiàn)的分析和討論可知,僅僅采用L1正則化可能導(dǎo)致求解的不穩(wěn)定性。為了進(jìn)一步保證求解的穩(wěn)定性,文獻(xiàn)提出了彈性網(wǎng)(ElasticNet,EN)正則化方式,即混合L1和L2范數(shù)的正則化方式(其中λ2只需選擇一個(gè)很小的常數(shù)即可)。由于系數(shù)x存在非負(fù)限制,所以L1正則化項(xiàng)可以寫為‖x‖1=1Tx。為了便于求解,本文將1Tx松弛為(1Tx)2,式(2)中的優(yōu)化問題就可以重寫為式(3)中的優(yōu)化問題:目標(biāo)函數(shù)J(x)可以寫為:其中:從式(4)可以看出,目標(biāo)函數(shù)J(x)可以看作一個(gè)典型的最小二乘準(zhǔn)則。優(yōu)化問題(3)可以看作為一個(gè)非負(fù)最小二乘問題。對目標(biāo)函數(shù)J(x)進(jìn)行求導(dǎo),獲得其對應(yīng)的無限制梯度表達(dá)式:據(jù)此,可以利用梯度下降法來求解優(yōu)化問題(3),其對應(yīng)的加法迭代準(zhǔn)則為:其中ηi為迭代步長。為了保證表示系數(shù)x的非負(fù)性,可以選擇迭代步長為:則有:因此,式(7)中的加性迭代準(zhǔn)則可以轉(zhuǎn)換為式(9)中的乘性迭代準(zhǔn)則,從而保證了表示系數(shù)x的非負(fù)性。引入核函數(shù)κ(xi,xj)=φ(xi)Tφ(xj)來描述高位空間中的內(nèi)積。隨后定義一個(gè)n×n大小的矩陣KAA([KAA]ij=κ(ai,aj))以及定義一個(gè)n×1大小的矩陣KAy([KAy]i=κ(ai,y)),其中n代表訓(xùn)練樣本個(gè)數(shù)以及ai代表訓(xùn)練樣本矩陣A的第i列。結(jié)合式(5),可以獲得如下關(guān)系:最終,可以獲得基于核的乘性迭代準(zhǔn)則:目標(biāo)函數(shù)J(x)是一個(gè)典型的非負(fù)最小均方問題,由文獻(xiàn)的理論分析結(jié)果可知,乘性迭代算法(13)可以達(dá)到局部最小值。由于目標(biāo)函數(shù)J(x)是一個(gè)凸函數(shù),因此在理論上來講,本文提出的乘性迭代算法可以達(dá)到全局最小值。2.2最小類殘留分類給定任意一個(gè)測試樣本y,可以利用2.1節(jié)提出的乘性迭代算法求解獲得表示系數(shù)x。在獲得表示系數(shù)x之后,參考稀疏表示分類框架,本文采用最小類殘留的方式進(jìn)行分類,即:其中:Ai=[ai,1,ai,2,…,ai,ni]代表第i類訓(xùn)練樣本集合,xi代表在第i類訓(xùn)練樣本集合Ai對應(yīng)的表示系數(shù)。根據(jù)核矩陣的定義,存在如下關(guān)系:3結(jié)果與分析3.1局部二元模式本文利用ExtendYaleB和AR人臉數(shù)據(jù)庫來評估本文提出的識別算法和其他相關(guān)算法,包括最近鄰算法(NearestNeighbor,NN)、支持向量機(jī)(SupportVectorMachine,SVM)、最近子空間(NearestSubspace,NS)、稀疏表示(SparseRepresentation,SR)、協(xié)同表示(CollaborativeRepresentation,CR)。正則化參數(shù)λ1設(shè)置為0.05,λ2設(shè)置為0.001。對于本文提出的KNSR(Kernel-basedNon-negativeSparseRepresentation)算法來說,本文采用局部二元特征結(jié)合漢明核來實(shí)現(xiàn)核表示。局部二元模式(LocalBinaryPattern,LBP)利用圖像中心像素和鄰域像素的大小關(guān)系來編碼圖像的局部紋理特征,將圖像像素值轉(zhuǎn)化為一串二值編碼。早期Ahonen等采用LBP直方圖和χ2匹配來進(jìn)行人臉識別,而文獻(xiàn)指出LBP編碼輸出與漢明距離相結(jié)合更加有效。本文利用LBP編碼(LBP8,1:由像素的3×3鄰域形成的8位二值碼)和漢明核來進(jìn)行人臉識別,具體定義如下:其中:xi和xj代表兩幅人臉圖像的LBP二值編碼,HD(·)代表漢明距離,L代表編碼的長度。3.2算法3:knsr算法ExtendYaleB人臉數(shù)據(jù)庫由來自38人、64種光照條件下的2414張人臉圖像組成。本文采用的圖像數(shù)據(jù)庫與文獻(xiàn)相同,其中每一張人臉圖像被歸一化到32×32大小。對每個(gè)人隨機(jī)選擇l幅圖像組成訓(xùn)練集用于訓(xùn)練,其他圖像用作測試(l=5,10,20,30,40,50)。表1顯示了在不同訓(xùn)練樣本個(gè)數(shù)條件下,本文提出的KNSR算法與其他算法的比較結(jié)果,其中粗體代表最好的識別結(jié)果。從表1中可以看出,本文KNSR算法的識別精度高于其他算法,這體現(xiàn)了核稀疏表示算法(LBP特征和漢明核)在處理光照變化方面的優(yōu)勢。盡管其他識別算法(NN除外)在每類訓(xùn)練樣本個(gè)數(shù)足夠的情況下(如l>20)也取得了不錯(cuò)的識別精度,本文的KNSR算法更加魯棒(尤其在小訓(xùn)練樣本的情況下(l=5))。其潛在的原因是,LBP操作算子能夠很好地捕捉圖像的內(nèi)在結(jié)構(gòu)且能很好地處理光照變化,核表示框架能夠成功地利用漢明核的屬性來度量LBP特征的相似度。圖1顯示了在ExtendYaleB數(shù)據(jù)庫上關(guān)于一個(gè)測試樣本的迭代算法收斂曲線(具體顯示了兩步迭代間系數(shù)的變化趨勢val(i)=‖xi-xi-1‖2/‖xi-1‖2),從圖2中可以看出,當(dāng)?shù)螖?shù)大于80時(shí)算法能夠很好地達(dá)到收斂。3.3無遮擋測試結(jié)果AR人臉數(shù)據(jù)庫包含來自126個(gè)人超過4000幅正面人臉圖像。參考文獻(xiàn),本文選擇了50個(gè)男性的人臉圖像和50個(gè)女性的人臉圖像(共計(jì)100個(gè)人)。每一個(gè)人包含14張無遮擋的圖像、6張被眼鏡遮擋的圖像和6張被圍巾遮擋的圖像(圖2為AR遮擋數(shù)據(jù)庫圖像示意)。所有的人臉圖像均被歸一化到32×32大小。為了評估算法在無遮擋情況下的表示,在無遮擋數(shù)據(jù)子集上對每個(gè)人隨機(jī)選擇l幅圖像組成訓(xùn)練集用于訓(xùn)練,其余的無遮擋圖像用作測試(l=2,4,6,8,10,12)。表2顯示了AR數(shù)據(jù)庫上無遮擋人臉識別的測試結(jié)果。此外,本文來利用AR數(shù)據(jù)庫評測算法在處理實(shí)際遮擋或偽裝時(shí)的表現(xiàn)(此時(shí)利用無遮擋的人臉數(shù)據(jù)作為訓(xùn)練樣本,遮擋的人臉數(shù)據(jù)作為測試樣本),其中粗體代表最好的識別結(jié)果。表3顯示了在遮擋數(shù)據(jù)庫子集(眼鏡遮擋和圍巾遮擋)不同人臉識別算法的結(jié)果,其中SR(Patch)和CR(Patch)代表文獻(xiàn)和中采用分塊策略處理遮擋的結(jié)果,粗體代表最好的識別結(jié)果。從表2~3中可以看出,與其他算法相比,本文提出的KNSR算法(特別在小訓(xùn)練樣本和