山世光-人臉識別技術(shù)概述

山世光——人臉識別技術(shù)概述第1頁/共187頁2引子人世間找不兩張完全一樣的臉！人臉是人類賴以區(qū)分不同人的基本途徑誰決定了你的長相？基因+成長環(huán)境雙胞胎夫妻相世間一切盡在臉上！第2頁/共187頁3提綱相關(guān)背景人臉識別的基本原理人臉檢測典型方法人臉識別的典型方法開放問題及討論第3頁/共187頁4無處不在的身份驗證如何證明你的身份？設(shè)想你被警察攔下...傳統(tǒng)方法Whatyouhave身份證，暫住證，結(jié)婚證，工作證，銀行卡，鑰匙...WhatyouknowPassword，information(去清華)...Whatyouare/howyoudo一種新的技術(shù)手段——Biometrics第4頁/共187頁5傳統(tǒng)方法有什么問題？卡、鑰匙丟失青年公寓的鑰匙牌...密碼危機密碼遺忘紐約每天1000人以上忘記密碼密碼被猜中生日、電話號碼、車號、宿舍...Heavywebusershaveanaverageof21passwords;81%ofusersselectacommonpasswordand30%writetheirpasswordsdownorstoretheminafile.(2002NTAMonitorPasswordSurvey)損失2002年，僅美國330萬人次的身份盜用；670萬信用卡詐騙案第5頁/共187頁6一種新的技術(shù)手段生物特征識別技術(shù)Biometrics什么是Biometrics?Bio——生物Metrics——測量事實含義通過人體自身的生理特征(whatyouare)或行為特征(howyoudo)進(jìn)行身份驗證的技術(shù)第6頁/共187頁7Biometrics生理特征(whatyouare)Finger,face,palm,hand,foot,iris,vein...行為特征(howyoudo)步態(tài)，聲音，敲擊鍵盤，簽名...人人擁有，人各不同！第7頁/共187頁8生物特征識別技術(shù)(Biometrics)第8頁/共187頁9Biometrics孰優(yōu)孰劣？Universality(alluserspossessthisbiometric)Uniqueness(variesacrossusers)Permanence(doesnotchangeovertime)Collectability(canbemeasuredquantitatively)Performance(Lowerrorratesandprocessingtime)Acceptability(isitacceptabletotheusers?)Circumvention(canitbeeasilyspoofed?)第9頁/共187頁10Biometrics比較BiometricsUniversalityUniquenessPermanenceCollectabilityPerformanceAcceptabilityCircumventionFaceHLMHLHLFingerprintMHHMHMLHandGeometryMMMHMMMIrisHHHMHLHRetinalScanHHMLHLHSignatureLLLHLHLVoiceMLLMLHLFacialThermogramHHLHMHH第10頁/共187頁11為什么要做人臉識別？多學(xué)科領(lǐng)域的挑戰(zhàn)性難題模式識別：最典型、最困難的模式識別問題人工智能：人類智能的基本體現(xiàn)計算機視覺：實現(xiàn)人眼的功能下一代人機交互讓計算機不再“熟視無睹”讓計算機具有人類的情感廣泛的應(yīng)用前景…人臉識別相比其他生物特征識別的優(yōu)勢…

第11頁/共187頁12應(yīng)用模式典型具體應(yīng)用特點說明應(yīng)用領(lǐng)域身份識別出入境管理過濾敏感人物（間諜、恐怖分子等）國家安全公共安全嫌疑人照片比對公安系統(tǒng)用于確定犯罪嫌疑人身份敏感人物智能監(jiān)控監(jiān)控敏感人物（間諜、恐怖分子等）網(wǎng)上追逃在PDA等移動終端上進(jìn)行現(xiàn)場比對會議代表身份識別防止非法人員進(jìn)入會場帶來危險因素關(guān)鍵場所視頻監(jiān)控如銀行大廳，預(yù)警可能的不安全因素家政服務(wù)機器人能夠識別家庭成員的智能機器人人機交互自動系統(tǒng)登陸自動識別用戶身份，提供個性化界面智能Agent自動識別用戶身份，提供個性化界面真實感虛擬游戲提供真實感的人物面像，增加交互性身份驗證護(hù)照、身份證、駕照等各類證件查驗海關(guān)、港口、機要部門等查驗持證人的身份是否合法公共安全準(zhǔn)考證查驗防止替考問題教育機要部門物理門禁避免鑰匙和密碼被竊取造成失竊公共安全機要信息系統(tǒng)門禁避免單純的密碼被竊取造成信息被竊信息安全面像考勤系統(tǒng)方便，快捷，杜絕代考勤問題企業(yè)應(yīng)用金融用戶身份驗證避免單純的密碼被竊取造成財產(chǎn)損失金融安全電子商務(wù)身份驗證安全可靠的身份驗證手段金融安全智能卡安全可靠的授權(quán)信息安全會議代表身份驗證防止非法人員進(jìn)入會場帶來危險因素公共安全屏幕保護(hù)程序方便快捷的允許合法用戶打開屏保人機交互第12頁/共187頁13人臉識別相關(guān)研究內(nèi)容生物特征識別人臉、指紋、虹膜、視網(wǎng)膜、掌紋、人機交互(HCI)人臉圖像編碼/壓縮表情分析，情感計算人臉動畫faceanimation人臉屬性分類種族、性別、年齡Attractiveness判別第13頁/共187頁14與其他生物特征識別的比較生物特征識別：未來的身份驗證方法！生物：指紋、虹膜、人臉、掌紋、手形、視網(wǎng)膜、紅外溫譜行為：筆跡、步態(tài)、聲紋人臉識別的優(yōu)點可以隱蔽操作，特別適用于安全問題、罪犯監(jiān)控與抓逃應(yīng)用非接觸式采集，沒有侵犯性，容易接受方便、快捷、強大的事后追蹤能力符合我們?nèi)祟惖淖R別習(xí)慣，可交互性強，無需專家評判人臉識別的不足不同人臉的相似性大安全性低，識別性能受外界條件的影響非常大第14頁/共187頁15技術(shù)挑戰(zhàn)第15頁/共187頁16Fromthesameperson?Yes?No?…第16頁/共187頁17沒有想象的那么簡單！Howmanyindividualsinthispicture?第17頁/共187頁18沒有想象的那么簡單！Howmanyindividualsinthispicture?第18頁/共187頁19人臉識別的基本原理

及其計算模型探討第19頁/共187頁20我們?nèi)祟惪渴裁醋R別？天賦的能力還是后天獲得的？臉形，面部器官結(jié)構(gòu)國田由用，目甲風(fēng)申皮膚和膚色光滑/粗糙，黝黑/白皙局部特性黑痣，刀疤，鷹勾鼻子，獨眼龍動態(tài)特征酒窩，皺紋第20頁/共187頁21人類視覺識別系統(tǒng)特性簡介及其借鑒意義

人臉識別是否是一個特定的過程？證據(jù)：“人臉識別能力缺失癥（Prosopagnosia）”患者的存在，患有此癥的人可以正常的識別其他物體，甚至可以正確的識別鼻子眼睛和嘴巴等面部器官，但是就是不能認(rèn)出熟悉的人臉，因此有理由懷疑其人臉識別功能區(qū)遭到了破壞。全局特征與局部特征孰輕孰重？全局特征主要包括人臉的膚色特征（比如白皙、黝黑）、總體輪廓（比如圓臉、鴨蛋臉、方臉、長臉等）、以及面部五官的分布特征（比如，在繪畫界就有“國田由用，目甲風(fēng)申”8種臉形之說），中醫(yī)也將人臉按照總體結(jié)構(gòu)特征劃分為“金木水火土”五行（側(cè)重人臉3D結(jié)構(gòu)和肌肉凸凹情況）而局部特征則主要指面部五官的特點，比如濃眉毛、丹鳳眼、鷹勾鼻、大豁嘴、八字胡須、尖下巴等，以及面部的一些奇異特征，比如黑痣、傷痕、酒窩等等二者對識別都是必要的，但全局特征一般用來進(jìn)行粗略的匹配，局部特征則提供更為精細(xì)的確認(rèn)。

第21頁/共187頁22局部特征vs全局特征明星漫畫：夸大了獨特之處問題：Howtofindthesesalientfeaturesautomatically?第22頁/共187頁23平均臉第23頁/共187頁24局部特征vs全局特征ThatcherIllusion第24頁/共187頁25人類視覺識別系統(tǒng)特性簡介及其借鑒意義面部特征對識別的重要性分析不同的面部區(qū)域?qū)θ四樧R別的重要性是不同的，一般認(rèn)為面部輪廓、眼睛和嘴巴等特征對人臉識別是更重要的，人臉的上半?yún)^(qū)域?qū)ψR別的意義明顯比下半?yún)^(qū)域重要；鼻子在側(cè)面人臉識別中的重要性要高于其他特征異族人臉識別困難現(xiàn)象這涉及到識別算法的適應(yīng)性和泛化能力問題，一方面可能需要盡可能大的學(xué)習(xí)集，另一方面也需要學(xué)習(xí)集必須具有較大的覆蓋能力性別和年齡階段對于識別性能的影響女性要比男性更難識別；年輕人比老年人更難識別頻域特性與人臉識別的關(guān)系低頻分量其實更多的是對人臉圖像外觀總體分布特性的描述，而高頻分量則對應(yīng)局部的細(xì)節(jié)變化要想保留某人面部的一顆黑痣的信息，高頻分量是無能為力的，必須保留足夠的高頻分量才可以

第25頁/共187頁26Mark第26頁/共187頁27人類視覺識別系統(tǒng)特性簡介及其借鑒意義特異度對人臉識別的影響最“漂亮的”、最“丑陋的”、最“奇異的”的人臉都是最容易被記住的，而大眾化的人臉則不太容易被記住“大眾臉”并不等于“平均臉”，大眾臉是指經(jīng)?？梢砸姷降摹澳槨?，而“平均臉”并不多見光照變化與人臉識別反相照片（負(fù)片）的識別時很困難的；下方光源人臉圖像難以識別姿態(tài)不變性不變性？運動人臉圖像序列提供了更多的信息第27頁/共187頁28人臉識別的分類傳感器可見光——模擬眼睛紅外主動被動3D人臉識別輸入模式靜態(tài)照片動態(tài)視頻序列第28頁/共187頁29基于可見光的人臉識別通常我們所說的人臉識別是基于可見光人臉圖像的身份識別與驗證的簡稱光學(xué)人臉圖像（以下簡稱人臉圖像）是外界光源（包括太陽光、室內(nèi)人造光源和其他物體表面反射而來的光線）發(fā)出的光線照射在人臉上，經(jīng)人臉表面反射后傳輸?shù)綌z像機傳感器的光線強度的度量。

入射光反射光第29頁/共187頁30簡化的人臉成像模型Lambert反射模型（漫反射模型）分別為物體表面點漫反射系數(shù)，法向量方向，光源的方向，二者夾角；k為入射光強度與視點無關(guān)（區(qū)別鏡面反射）第30頁/共187頁31人臉圖像的生成要素人臉圖像實際上是三大類關(guān)鍵要素共同作用的結(jié)果人臉內(nèi)部屬性F人臉3D形狀（表面法向量方向）包括人臉表面的反射屬性（包括反射系數(shù)等，通常簡稱為紋理）人臉表情、胡須等屬性的變化；外部成像條件L包括光源（位置和強度等）其他物體或者人體其他部件對人臉的遮擋（比如眼鏡、帽子、頭發(fā)）等。攝像機成像參數(shù)C包括攝像機位置（視點）、攝像機的焦距、光圈、快門速度等內(nèi)外部參數(shù)

對識別人臉無益的干擾因素！第31頁/共187頁32理想的識別模型從人臉圖像中剝離出人臉穩(wěn)定不變的本質(zhì)屬性（3D形狀與表面反射率）外界條件及其攝像參數(shù)變化導(dǎo)致的圖像變化然后，從3D形狀與表面反射率屬性中提取不同人臉的差異信息，饋入到后端的判別分類器中進(jìn)行識別遺憾一個病態(tài)問題！第32頁/共187頁33退而求其次…目前的多數(shù)系統(tǒng)采用的人臉建模方法仍然停留在圖像層面上，并沒有顯式地分離出3D形狀和紋理的步驟而是直接通過從“圖像”中提取人臉表示特征并進(jìn)行分類來完成識別2D結(jié)構(gòu)信息——基于幾何結(jié)構(gòu)的人臉特征出現(xiàn)了少量利用3D信息進(jìn)行識別的方法：Morphablemodels2D圖像灰度數(shù)據(jù)統(tǒng)計特征—如模板匹配,Eigenface,Fisherface2D圖像變換特征——如Gabor,DCT,FFT…2D圖像的低維子空間分布線性：子空間，光照錐非線性：Kernel學(xué)習(xí)，流形等主流：Appearance-basedmethods第33頁/共187頁34從“圖像”中識別的道理何在？“圖像”中包含什么？亮度變化(影調(diào)，shading)、陰影等反應(yīng)了3D形狀A(yù)lbedo()：表面反射率表面反射率表面皮膚材質(zhì)特別是五官區(qū)域第34頁/共187頁35問題分解人臉識別/確認(rèn)面部特征定位人臉檢測X=(x1,x2,…

,xn)第35頁/共187頁36FaceDetection第36頁/共187頁37自動人臉識別系統(tǒng)第37頁/共187頁38FaceRecognition第38頁/共187頁39基于幾何特征的例子建模：用面部關(guān)鍵特征的相對位置、大小、形狀、面積等參數(shù)來描述人臉人臉圖像f特征向量v

v

=(x1,x2,…,xn)對所有已知人臉提取同樣描述的幾何特征

D={v1,v2,..,vp}待識別的人臉f提取的幾何特征為vf計算vf與D中所有vi的相似度s(vf,vi)(比如歐式距離、cosine(.)等)，進(jìn)行排序根據(jù)相似度最大的已知人臉的身份即可判斷待識別人臉的身份信息第39頁/共187頁40國內(nèi)外研究現(xiàn)狀及其分析第40頁/共187頁41國內(nèi)外研究現(xiàn)狀——研究機構(gòu)國外研究機構(gòu)情況以美歐為主，各知名大學(xué)、研究所、企業(yè)研究院均設(shè)立了與人臉識別相關(guān)的研究組大學(xué)：CMU,MIT,UMD,USC,MichiganStateUniversity,UCLA,UniversityofManchester,UniversityofSurrey…評測：FERET(94-97),FRVT(2000/2002/2006),(X)M2VTS,FVC…國內(nèi)研究機構(gòu)簡況大學(xué)：清華大學(xué)3家，哈爾濱工業(yè)大學(xué)，中山大學(xué)，南京理工大學(xué)，南京大學(xué)，上海交大，浙大，北交大…研究所：計算所，自動化所等第41頁/共187頁42人臉識別的最高學(xué)術(shù)水平1997FERET測試結(jié)果測試類(訓(xùn)練/測試數(shù))最高識別率(大學(xué)，方法)

所有參評方法的平均識別率FB(1196/1195)96%(UMD,PCA+LDA) 83%FC(1196/194) 82%(USC,EBGM) 30%DI(1196/722) 59%(USC,EBGM) 40%DII(864/234) 51%(USC,EBGM) 21%#數(shù)據(jù)來源：2000年P(guān).J.Phillips的PAMI文章*說明（四種測試類均為正面人臉照片，略有表情變化，無眼鏡等飾物）：FB：訓(xùn)練、測試集同一采集過程中在嚴(yán)格控制的光照條件下采集，略有表情變化，視覺效果上與訓(xùn)練集數(shù)據(jù)相差不大；FC：訓(xùn)練、測試集同一采集過程中不同攝像頭，有光照變化；DI：訓(xùn)練、測試集同一年內(nèi)，不同時間采集，有光照變化DII：一年后，不同攝像頭，不同光照條件第42頁/共187頁43人臉識別的最高學(xué)術(shù)水平FERET測試(大于等于1196人的人臉庫上測試)*在同一攝像條件下采集的正面圖像識別中，典型的識別率為95%以上而對用不同的攝像機和不同的光照條件采集的正面測試圖像，典型的識別率驟降為80%以下而對一年后采集的正面測試圖像，最大的準(zhǔn)確率也僅僅接近50%*來源于2000年發(fā)表在PAMI上的文章，實際測試在1997年進(jìn)行性能下降很快！第43頁/共187頁44從評測看當(dāng)前人臉識別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識別系統(tǒng)識別率95%左右非理想條件下，200人左右正面人臉識別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）人臉識別(Identification)最高首選識別率73%人臉驗證(Verification)的等錯誤率大約為5%-7%錯誤接收率為0.01%時，最低錯誤拒絕率30%左右錯誤接受率為0.1%時，最低錯誤拒絕率18%左右錯誤接受率為1%時，最低錯誤拒絕率10%左右第44頁/共187頁45從評測看當(dāng)前人臉識別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識別系統(tǒng)識別率95%左右非理想條件下，200人左右正面人臉識別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯誤接受率為1%)Gallery:787人正面中性表情，室內(nèi)為白熾燈光源室外同一天Probe庫包括435人(444幅圖像)，首選識別率54%室外152-505天之間的Probe庫包括103人(145幅圖像)，首選識別率46%第45頁/共187頁46從評測看當(dāng)前人臉識別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識別系統(tǒng)識別率95%左右非理想條件下，200人左右正面人臉識別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯誤接受率為1%)不同的姿態(tài)測試(Verification，錯誤接受率為1%測試圖像為同樣光照)87人正面圖像作為Gallery左轉(zhuǎn)45度：40%右轉(zhuǎn)45度：55%抬頭30度：47%低頭30度：55%第46頁/共187頁47從評測看當(dāng)前人臉識別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識別系統(tǒng)識別率95%左右非理想條件下，200人左右正面人臉識別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯誤接受率為1%)不同的姿態(tài)測試(Verification，錯誤接受率為1%測試圖像為同樣光照時間跨度問題對大約3年后的照片，在錯誤接受率為1%時最高首選識別率60%左右而錯誤拒絕率為15%第47頁/共187頁48從評測看當(dāng)前人臉識別技術(shù)的研究水平FERET’1997理想條件下1000人左右的正面人臉識別系統(tǒng)識別率95%左右非理想條件下，200人左右正面人臉識別率驟降至50%左右FRVT2002較理想條件下（37437人(121,589幅圖像)的正面人臉簽證照）非理想條件測試(Verification，錯誤接受率為1%)不同的姿態(tài)測試(Verification，錯誤接受率為1%測試圖像為同樣光照時間跨度問題其它結(jié)論對視頻序列圖像的識別效果并不比對靜態(tài)圖像的識別效果好?數(shù)據(jù)庫的規(guī)模每增加一倍，總體性能下降大約2到3個百分點男性比女性更易于識別年輕人比老年人難識別第48頁/共187頁49國際研究現(xiàn)狀在比較良好的環(huán)境條件情況下，對1000人左右基本正面人臉進(jìn)行識別的性能：首選識別率：95%以上等錯誤率：2%以下在環(huán)境比較糟糕的情況下，對基本正面人臉進(jìn)行識別的性能：首選識別率：80%以下等錯誤率：10%以上第49頁/共187頁50WhoiswhoinFRcommunitySimonBaker,&T.Kanade,CMUThomasVetterRamaChellappaBabackMoghaddamAlexPentlandMichaelBlackPeterBelhumeurDavidKriegmanDavidYacobsRonenBasriAmnonShashuaSeong-WhanLeeC.vonMalsburgMattiPietik?inenT.PoggioA.ShashuaPaulViolaHarryWechlerTimCootesJosefKittlerJonathanPhillipsAliceO'TooleMatthewTurkTomHuangXiaoouTangWenyiZhaoChengjunLiuZhengyouZhangM.H.YangJieYangHaizhouAi…Toomanytolistallhere.第50頁/共187頁51人臉圖像數(shù)據(jù)庫人臉庫FERET人臉庫，1196人CMU-PIE姿態(tài)光照表情人臉庫，68人CAS-PEAL人臉庫,1040人,姿態(tài)表情飾物光照AR人臉庫，126人XM2VTS多模態(tài)人臉庫，200多人YaleFaceDatabaseB光照人臉庫，10人ORL,40人，Yale15人第51頁/共187頁52文獻(xiàn)來源ProceedingofthefolLingconferencesCVPR,ICCV,ECCV,FG,ICPRJournalsIJCVIEEETrans.onPAMI,IP,NN,KDE,SMC(A/B)PatternRecognition,PatternRecognitionLettersImageandVisionComputingCVIUNeurocomputationNeurocomputing第52頁/共187頁53國際商業(yè)系統(tǒng)國際上比較著名的商業(yè)系統(tǒng)CognitecAG——FaceVACSIdentix(LFA)——FaceItNevenVisionVissageFaceFINDER?來自ViisageTechnologyInc.(PCA)Hunter?來自LAUTechnologies

(PCA)FaceSnap?RECORDER來自C-VIS(EBGM)TrueFace來自eTrueInc.(NeuralNetwork)SpotIt!來自ITCBioID…第53頁/共187頁54人臉檢測典型方法介紹第54頁/共187頁55人臉檢測方法基于規(guī)則/知識方法人臉模式的變化滿足一定的規(guī)律，所以可以歸納描述人臉特征的規(guī)則，如灰度分布、比例關(guān)系、紋理信息等基于模板的方法固定模板法，可變形模板法基于不變特征的方法，如彩色信息人臉的膚色在彩色空間中的分布相對比較集中，所以可用來檢測和跟蹤人臉?；谕庥^學(xué)習(xí)的方法---目前的主流方法將人臉檢測視為區(qū)分“非人臉樣本”與“人臉樣本”的模式識別問題，通過對人臉樣本集和非人臉樣本集的學(xué)習(xí)產(chǎn)生分類器第55頁/共187頁56基于膚色特征的檢測在很多人臉檢測和手的跟蹤應(yīng)用中，人的膚色信息已被證明是一種非常有效的特征有很多顏色空間可用來表征膚色，包括RGB,normalizedRGB,HSV(orHSI),YIQ,YES,CIEXYZ,和CIELUV等有許多建立膚色模型的方法最簡單的方法是用Cr,Cb值定義膚色區(qū)域，選定閾值[Cr1,Cr2]和[Cb1,Cb2]一個像素點被歸為膚色點，如果它的(Cr,Cb)值落入下面的范圍：Cr1≤Cr≤Cr2andCb1≤Cb≤Cb2第56頁/共187頁57多種膚色模型J.L.CrowleyandF.Berard,“Multi-modeltrackingoffacesforvideocommunications將膚色區(qū)域的RGB顏色歸一化，用其中的(r,g)值的顏色直方圖h(r,g)獲取膚色變量的閾值M.H.Yang,N.Ahuja,“Detectinghumanfacesincolorimages”認(rèn)為人臉膚色區(qū)域的顏色值呈高斯分布，用高斯分布的均值和方差確定膚色變量的閾值T.S.JebaraandA.Pentland,“Parameterizedstructurefrommotionfro3Dadaptivefeedbacktrackingoffaces”認(rèn)為不同的種族和國家的人的膚色分布不同，在顏色直方圖上形成多個聚類，可用高斯混合模型來表示第57頁/共187頁58顏色空間RGB到“rg”空間RGB到Y(jié)UV(YCrCb)空間，再轉(zhuǎn)化到“FI”空間第58頁/共187頁59高斯膚色模型一元正態(tài)分布膚色模型（以F顏色特征為例）第59頁/共187頁60高斯膚色模型二元正態(tài)分布膚色模型（以rg顏色特征為例）第60頁/共187頁61

多人臉訓(xùn)練膚色模型訓(xùn)練膚色模型手工標(biāo)注部分人臉(膚色區(qū)域)人臉圖像統(tǒng)計方法得到設(shè)置合適的閾值截斷測試階段逐像素判斷其是否在設(shè)定的膚色

特征范圍內(nèi)rg第61頁/共187頁62提取膚色區(qū)域?qū)z測到的膚色區(qū)域進(jìn)行分析接近橢圓形有部分非膚色區(qū)域(五官、頭發(fā))第62頁/共187頁63膚色模型的缺點膚色模型難以適應(yīng)各種環(huán)境光照變化對于背景和前景的光照變化，膚色通常不穩(wěn)定單純的膚色信息對于人臉檢測通常是不充分的如何適應(yīng)在不同光照下的人臉跟蹤如果環(huán)境光照有變化，原有的膚色模型可能不再適用，如何建立一個自適應(yīng)的膚色模型需要進(jìn)一步的研究第63頁/共187頁64基于Appearance的方法ANNSVMNa?veBayesClassifierAdaBoost遍歷所有可能的“矩形窗口”，判斷每個小窗口是否人臉？第64頁/共187頁65基于AdaBoost

的快速人臉檢測第65頁/共187頁66AdaBoost算法簡介在2001年的ICCV上，當(dāng)時在Compaq的研究員PaulViola和MichaelJ.Jones發(fā)表的文章介紹一個實時人臉檢測系統(tǒng)圖像大小為384x288時，其速度是平均每秒15幀第一個準(zhǔn)實時的(準(zhǔn)正面)人臉檢測系統(tǒng)可以較容易的擴展到多姿態(tài)人臉檢測系統(tǒng)在技術(shù)上的三個貢獻(xiàn)：1.用簡單的Haar-like矩形特征作特征，可快速計算2.基于AdaBoost的分類器設(shè)計3.采用了Cascade(分級分類器)技術(shù)提高檢測速度第66頁/共187頁67人臉的特征表示方法矩形特征（Haar-like特征）矩形特征的值是所有白色矩形中點的亮度值的和減去所有灰色矩形中點的亮度值的和，所得到的差有4種類型的矩形特征第67頁/共187頁68Haar-like特征的表示具體特征可以用一個五元組表示r(x,y,w,h,style)比如：r(2,2,4,2,A)表示下面的特征特征值即為白色四個像素與黑色四個像素的差值

第68頁/共187頁69問題如何快速計算任意矩形內(nèi)

所有像素的亮度之和？請大家設(shè)計一個算法要求計算量盡可能的小第69頁/共187頁70需要一幅輔助圖像（積分圖）如下圖所示：特征的快速計算ii(x,y)=該點左上面(紅色)區(qū)域內(nèi)所有像素值的和！

?￡￡=yyxxyxiyxii',')','(),(第70頁/共187頁71從左到右、從上到下掃描一遍圖像，對圖像進(jìn)行如下操作，得到每個像素位置的積分圖像ii(x,y)ii(x,y)=ii(x,y-1)+s(x,y)s(x,y)=s(x-1,y)+I(x,y) 積分圖的計算I(x,y)棕紅色區(qū)域面積

ii(x,y-1)黃色區(qū)域面積s(x,y)

第71頁/共187頁72Haar-Like特征的快速計算矩形特征的計算像素點1的積分值是矩形A中所有點的亮度值的和像素點2的積分值是A+B像素點3的積分值是A+C，像素點4的積分值是A+B+C+D.矩形D內(nèi)像素積分值：ii(4)－[ii(2)＋ii(3)]＋ii(1)第72頁/共187頁73輸入圖像積分圖像基于積分圖像的Haar-like特征計算第73頁/共187頁74何以快速？全部為定點加/減法操作！矩形區(qū)域和：2次加法1次減法矩形特征計算：1次減法，或2次減法，或者2次加法1次減法沒有乘法！第74頁/共187頁75AdaBoost分類器AdaBoost分類器Adaboost學(xué)習(xí)算法是用來提高簡單分類算法的性能的通過對一些弱分類器的組合來形成一個強分類器功能將分類性能不好的弱分類器提升為分類性能好的強分類器的學(xué)習(xí)算法思想學(xué)習(xí)一系列分類器，在這個序列中每一個分類器對它前一個分類器導(dǎo)致的錯誤分類樣例給予更大的重視第75頁/共187頁76AdaBoost用于人臉模式分類弱分類器其中，h表示弱分類器的值，表示弱學(xué)習(xí)算法尋找出的閾值，表示特征值，表示一個Harr-like特征。fi正例

(人臉)反例

(非人臉)第76頁/共187頁77AdaBoost用于人臉模式分類輸入1.訓(xùn)練用人臉和非臉樣本2.指定要挑選出來的弱分類器的數(shù)目T這也是程序循環(huán)的次數(shù)

3.利用先驗知識初始化權(quán)值向量一般可以平均設(shè)置第77頁/共187頁78Adaboost學(xué)習(xí)算法流程挑選出的分類器數(shù)目<T？挑選錯誤率最小的弱分類器加入強分類器，根據(jù)其錯誤率計算其在強分類器中的系數(shù)。根據(jù)挑選出的分類器的錯誤率更改每個樣本的權(quán)值，正確的權(quán)值減小，錯誤的權(quán)值不變應(yīng)用當(dāng)前樣本的權(quán)值，計算每個弱分類器的錯誤率否結(jié)束是第78頁/共187頁79AdaBoost學(xué)習(xí)算法輸入訓(xùn)練樣本集合(x1,y1),

(x2,y2),...,(xn,yn)

其中：每個樣本固定大小如20x20像素計算全部可能的Haar-like特征（數(shù)十萬個）訓(xùn)練樣本可能多達(dá)100,000個初始化T，初始化每個樣本的權(quán)重第79頁/共187頁80AdaBoost學(xué)習(xí)算法學(xué)習(xí)流程Fort=1,...,T1.歸一化權(quán)重，使得wt為一個概率分布：2.對每個特征j，訓(xùn)練一個弱分類器hj

并計算其帶權(quán)重的錯誤率3.選擇誤差最小的弱分類器ht4.更新每個樣本的權(quán)重

其中：xi被正確分類，ei=0，否則ei=1正確分類則權(quán)重下降，否則不變；錯誤率越小，Beta也越小第80頁/共187頁81AdaBoost學(xué)習(xí)算法最終得到的強分類器弱分類器錯誤率越小，β就越小，α就越大H(x)為+，則為正例（人臉）H(x)為-，則為反例（非人臉）第81頁/共187頁82人臉檢測器怎么應(yīng)用？第82頁/共187頁83檢測系統(tǒng)的構(gòu)建——遍歷所有位置第83頁/共187頁84檢測系統(tǒng)的構(gòu)建——遍歷不同大小第84頁/共187頁85如何進(jìn)一步加速？遍歷所有可能的位置、大小，需要做多少次分類？320x240圖像，20x20模板，每次走1個像素，尺度縮小因子0.9，則大約有：300x220+278x196+240x174+213x155+190x137+169x122+150x108+133x95+118x83+103x73+91x64+80x55+...=30多萬如果再考慮3個角度的旋轉(zhuǎn)，

則會超過100萬次分類！問題如何進(jìn)一步加速？第85頁/共187頁86類比一下分析非人臉模式里面大量與人臉極其不同！只有少量的模式很難與人臉分開！類比篩沙子輸入：巨石，大石頭，小石頭，沙礫，粗沙，細(xì)沙目標(biāo)：只留下細(xì)沙（人臉）假設(shè)：大孔篩子容易做便宜，小細(xì)孔篩子難做昂貴方法1只用一個篩子，網(wǎng)眼非常小，所有的都要過這個篩子方法2用一系列篩子，網(wǎng)眼從大到小非常容易被截住的巨石首先被排除，然后是大石頭，再是小石頭，沙礫，粗沙，最后是細(xì)沙第86頁/共187頁87基于AdaBoost的快速人臉檢測基于分級分類器的加速策略大量候選窗口可以利用非常少量的特征（簡單快速的分類器）就可以排除是人臉的可能性！只有極少數(shù)需要大量的特征（更復(fù)雜的更慢的分類器來判別是否人臉）第87頁/共187頁88分級分類器的構(gòu)建采用由粗到細(xì)的思想（coarsetofine）將少量區(qū)分性好的特征構(gòu)成的簡單分類器置于前面若干層效果：放過檢測絕大多數(shù)人臉的同時，排除大量非臉后面層包含更多次重要的特征對非臉進(jìn)行進(jìn)一步排除訓(xùn)練方法關(guān)鍵思路每層訓(xùn)練用非臉樣本使用前面層分類器誤判為人臉的那些樣本第88頁/共187頁89檢測過程流程圖AdaBoostLearnerFeaturesetFeatureSelect&ClassifierStage1False(Reject)AdaBoostLearnerStage2PassFalse(Reject)AdaBoostLearnerStage3PassFalse(Reject)Rejectasmanynegativesaspossible(minimizethefalsenegative)100%DetectionRate50%FalsePositive第89頁/共187頁90分級分類器的訓(xùn)練算法第90頁/共187頁91一些檢測結(jié)果第91頁/共187頁92Project2人臉檢測系統(tǒng)兩種可選的方法基于膚色模型的方法最多2人1組基于AdaBoost的方法不要求大家實現(xiàn)Cascade，只需要實現(xiàn)AdaBoost即可最多3人1組第92頁/共187頁93人臉識別的主要方法第93頁/共187頁94發(fā)展階段1964~19901991~19971998-Current

主要特征作為一般識別問題被研究；基于特征的方法是主流重點解決的是較理想條件下、用戶配合、中小規(guī)模人臉數(shù)據(jù)庫上的人臉識別問題；基于Appearance的2D人臉圖像線性子空間分析和統(tǒng)計模式識別方法是主流；重點研究非理想條件下、用戶不配合、大規(guī)模人臉數(shù)據(jù)庫上的人臉識別問題；基于3D模型和非線性建模的方法等可能是發(fā)展趨勢代表性的人臉識別技術(shù)與方法及其關(guān)鍵性事件和作品已知的最早的自動人臉識別研究論文Bledsoe[1964]Eigenface[Turk&Pentland,1991]光照錐技術(shù)Georghiades,Kriegman，Belhumeur，1998]

基于特征的方法與基于模板的方法的對比

[Brunelli&Poggio，1992]支持向量機SVM用于人臉識別中[Phillips,1999]第一個半自動人臉識別系統(tǒng)美國DARPA啟動FERET測試項目[Philips&Moon1994,1995]3D可變形模型[Vetter,1999]第一篇自動人臉識別方面的博士論文[Kanade,1973]局部特征分析（LFA）人臉識別方法發(fā)展成為Visionics公司FaceIt商業(yè)系統(tǒng)[Atick,1995]基于AdaBoost的人臉檢測技術(shù)[Viola,1999]

基于剪影分析的（Profile）人臉識別基于雙子空間的貝葉斯概率學(xué)習(xí)[Moghaddam，1995]FaceRecognitionVendorTest2000[FRVT測試2000]

人臉識別研究綜述[Chellappa,1995]朗博反射與線性子空間分析[Basri&Jacobs,2001]

人臉的低維表示[Sirovich&Kirby,1987，1990]Fisherface[Belhumeur,1997]基于商圖像的人臉識別方法[Shashua,2001]

彈性圖匹配技術(shù)[Wiskott，1997]人臉檢測綜述[Yang&Kriegman,2002]

柔性模型，ASM,AAM[Cootes&Taylor,1997]FRVT2002測試

FERET’1996測試[Philips&Moon,1996]

技術(shù)特點基于特征的方法基于模板的方法

---基于神經(jīng)網(wǎng)絡(luò)的人臉識別方法---

---統(tǒng)計學(xué)習(xí)理論

---基于Appearance的2D人臉子空間分析與建模

---非線性流形分析技術(shù)

基于2D圖像模型的人臉識別基于3D模型的人臉識別

第94頁/共187頁95典型方法基于幾何特征的識別方法基于模板匹配的識別方法基于AdaBoost的人臉檢測特征臉(Eigenface)可變形模板方法主動模型ASM/AAMFisherface,subspaceLDA雙子空間貝葉斯判別方法3DMorphableModelElasticGraphMatching局部特征分析(LFA)其他SVMrelatedLFArelatedGaborfeaturebasedmethodsIlluminationconesQuotientimagesSphericalharmonicsandLinearsubspacesAdaBoost-basedfacerecognitionManifoldanalysisfornon-linearmodelingICA,kernellearning,ISOMAP,LLE第95頁/共187頁96重點介紹的幾個方法特征定位可變形模板方法ASM/AAM基礎(chǔ)知識：主成分分析識別方法基于幾何特征的識別方法基于模板匹配的識別方法特征臉(Eigenface)Fisherface雙子空間貝葉斯判別方法3DMorphableModel局部特征與全局特征的融合第96頁/共187頁97基于可變形模板

的面部特征自動定位第97頁/共187頁98面部特征提取可變形模板匹配DeformableTemplate第98頁/共187頁99用可變形模板進(jìn)行面部特征定位可變形模板概念要點模板T：器官形狀的參數(shù)描述形式(先驗)直線、圓、拋物線、四次曲線等能量函數(shù)F=S(Tp,I)參數(shù)p定義的模板Tp與輸入圖像I的匹配程度參數(shù)優(yōu)化問題

多參數(shù)非線性函數(shù)極小化p*=argminp(F)梯度下降法坐標(biāo)輪換法其它優(yōu)化算法第99頁/共187頁100特征形狀模板第100頁/共187頁101可變形模板——以下巴檢測為例參數(shù):(xc,yc),a,b,c,左側(cè)拋物線:右側(cè)拋物線:能量函數(shù):其中:上：模板；下：邊緣圖第101頁/共187頁102搜索流程第102頁/共187頁103檢測結(jié)果第103頁/共187頁104基于主動模型的特征定位方法PCAASMAAM第104頁/共187頁105主成分分析PCA方法第105頁/共187頁2004-07-05主成分分析PCA概況問題描述為給定輸入：n維圖像空間中的m個點（圖像）尋求一個維的變換矩陣使得，各維之間數(shù)據(jù)的相關(guān)性最小——亦即一個去相關(guān)的過程Wy’xyxix’yi第106頁/共187頁107如何去相關(guān)？相關(guān)性的度量：協(xié)方差兩個隨機變量ξη各自離差的乘積的數(shù)學(xué)期望稱為這兩個隨機變量的協(xié)方差（也叫相關(guān)矩），記作：協(xié)方差矩陣隨機向量X=(x1,x2,...,xn)的各個元素之間協(xié)方差組成協(xié)方差矩陣C，即：Cij=cov(xi,xj)第107頁/共187頁108PCA：協(xié)方差矩陣的特征值分解協(xié)方差矩陣的性質(zhì)實對稱矩陣半正定矩陣所有的特征值大于或等于0特征值分解存在一個變換W，滿足對角線元素為特征值，W列向量為特征向量即：去相關(guān)Y=WTX，則Y的協(xié)方差矩陣為“對角陣”，對角線元素非0(特征值，方差)，非對角線元素為0，即：Y的不同元素之間的協(xié)方差為0對角陣第108頁/共187頁2004-07-05PCA：協(xié)方差矩陣計算輸入訓(xùn)練樣本集合的協(xié)方差矩陣定義為：其中是樣本均值。記：則上述公式變?yōu)椋旱?09頁/共187頁2004-07-05PCA：計算方法計算過程為：計算樣本均值

m中心平移每個訓(xùn)練樣本

xi計算訓(xùn)練集合的樣本協(xié)方差矩陣對協(xié)方差矩陣進(jìn)行特征值分解

取協(xié)方差矩陣的特征向量形成變換矩陣W

變換重構(gòu)第110頁/共187頁2004-07-05PCA：用于降維PCA:Reducespacedimensionalitywithminimumlossofdescriptioninformation.原始高維數(shù)據(jù)壓縮后低維數(shù)據(jù)第111頁/共187頁2004-07-05PCA降維:Theory在變換后的特征空間中，每個特征向量wi對應(yīng)的特征值λi的大小代表該特征向量所描述的方向上的方差的大小所以…從W中去掉那些對應(yīng)較小特征值的特征向量，意味著在信息丟失最小的意義上降維!第112頁/共187頁2004-07-05PCA降維:Practice按照其所相應(yīng)的特征值的大小對特征向量排序選擇頭d個對應(yīng)最大特征值的特征向量構(gòu)成變換矩陣Wnxd

原始數(shù)據(jù)(n維)壓縮（d維)

從n維空間到d維空間的投影(d<n)!第113頁/共187頁2004-07-05數(shù)據(jù)約減：理想情況圖示原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差為0，沒有信息，可以完全去掉，而沒有任何損失！x1x22Ddatay11Ddata第114頁/共187頁115數(shù)據(jù)約減：非理想情況圖示x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+m原始數(shù)據(jù)空間中，其中一維數(shù)據(jù)的方差比較小，包含少量信息，去掉后有少量損失！第115頁/共187頁2004-07-05PCA降維:數(shù)據(jù)損失分析投影后數(shù)據(jù)部分丟失，但是可以證明：在只使用前d個特征向量的情況下，xi與其逆PCA重構(gòu)x’i之間的均方誤差為：最小均方誤差意義下的最佳變換x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+m第116頁/共187頁2004-07-05PCA:小結(jié)一種多元統(tǒng)計分析方法變換后各維數(shù)據(jù)之間的相關(guān)性最小最小均方誤差意義下的最佳變換限定有效的參數(shù)空間范圍（在訓(xùn)練集合對象變化論域下）第117頁/共187頁118主動統(tǒng)計模型第118頁/共187頁119主動形狀模型ASM統(tǒng)計形狀模型從訓(xùn)練圖像集合中可以派生出一個形狀模型集合對其進(jìn)行PCA分析，可以得到統(tǒng)計形狀模型其中為統(tǒng)計形狀參數(shù)第119頁/共187頁120主動形狀模型ASMASM模型局部紋理模型全局形狀約束PCA表達(dá)的統(tǒng)計模型ASM基本思路首先進(jìn)行不可靠但效率

很高的局部匹配，然后

通過全局形狀的統(tǒng)計約

束來對其進(jìn)行規(guī)范化i=1i=2i=3頭3個形狀模式的變化情況第120頁/共187頁121ASM:搜索過程圖示初始化(平均)特征點局部紋理模型匹配統(tǒng)計形狀模型約束(PCA)最終結(jié)果迭代第121頁/共187頁122特征點局部紋理模型匹配對每個特征點，在其法線鄰域內(nèi)搜索，尋找局部紋理模型的最佳匹配點局部紋理模型：法線方向紋理梯度，稱為Profile每個特征點的Profile模型都在訓(xùn)練時建立統(tǒng)計模型匹配方法在法線上逐點運算，選擇馬氏距離最小的候選點每個特征點都是一個在法線上移動的小機器人，以發(fā)現(xiàn)與自己Profile特征最佳匹配的候選點！第122頁/共187頁123統(tǒng)計形狀模型約束(PCA)局部搜索的結(jié)果每個特征點局部“最優(yōu)”，全局形狀可能異常所有特征點全局結(jié)構(gòu)統(tǒng)計約束修改得直接效果少數(shù)服從多數(shù)的折衷平滑效果，去除了鋸齒等異常形狀特征第123頁/共187頁124ASM評價優(yōu)點局部紋理匹配簡單，匹配速度快全局統(tǒng)計形狀約束可以有效防止無效形狀缺點算法收斂約束條件不夠強，沒有顯式的最優(yōu)值附近局部凸的匹配度目標(biāo)函數(shù)因此，經(jīng)常會出現(xiàn)非常遺憾的情況某次迭代搜索到一個正確結(jié)果，繼續(xù)迭代則逐漸遠(yuǎn)離該正確結(jié)果第124頁/共187頁125ASM結(jié)果示例左側(cè)為根據(jù)眼睛位置給出的初始形狀，右側(cè)為ASM結(jié)果第125頁/共187頁126FaceAlignment第126頁/共187頁127主動表觀模型AAMAppearance=Shape+TextureShape如前所述Texture：形狀無關(guān)的灰度圖像面片Warp到變?yōu)檩斎雸D像標(biāo)準(zhǔn)形狀紋理第127頁/共187頁128AAM:訓(xùn)練數(shù)據(jù)準(zhǔn)備(續(xù))形狀平均形狀紋理第128頁/共187頁129

AAM:形狀模型示例：訓(xùn)練得到的3種不同的形狀模式如前所述第129頁/共187頁130AAM:紋理模型紋理訓(xùn)練集合紋理模型訓(xùn)練得到的第一紋理模式變化第130頁/共187頁131主動表觀模型AAM表觀模型=形狀模型+紋理模型紋理紋理模型統(tǒng)計表觀模型形狀和紋理串聯(lián)得到b后，再次應(yīng)用PCA，建立統(tǒng)計表觀模型用于合成模型圖像Warp到變?yōu)檩斎雸D像標(biāo)準(zhǔn)形狀紋理3種變化模式第131頁/共187頁132AAM:示例AAM作者的自畫像彩色模型(byGarethEdwards)3種變化模式HisshapeAmodeofthemodelTimCootes第132頁/共187頁133AAM:用于圖像分析Given:anappearancemodel,anovelimage,astartingapproximationc0Find:thebestmatchingsyntheticimagetogettheparametersc問題描述：第133頁/共187頁134AAM及其搜索策略AAM搜索策略基于合成的分析技術(shù)(Analysisbysynthesis)目標(biāo)：求取模型參數(shù)，使得模型能夠最佳逼近輸入故問題可以轉(zhuǎn)化為最小化下述目標(biāo)函數(shù)的參數(shù)優(yōu)化問題：為輸入圖像紋理為當(dāng)前模型參數(shù)產(chǎn)生的模型紋理基于紋理差預(yù)測參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程假設(shè)：模型紋理和當(dāng)前輸入紋理之差（紋理差）與模型參數(shù)變化之間存在近似的線性關(guān)系從而利用可以采用線性回歸的方法來預(yù)測參數(shù)的變化，從而實現(xiàn)啟發(fā)式的參數(shù)優(yōu)化第134頁/共187頁135AAM:搜索算法對當(dāng)前模型參數(shù)c計算模型圖像和當(dāng)前圖像之差：dg=gs-gm預(yù)測模型參數(shù)變化:dc=Adg嘗試新的模型參數(shù)：c’=c–kdc,k=1計算新的誤差函數(shù)：dg’如果|dg’|<|dg|

，則接受c’作為新的估計參數(shù)如果c’

不被接受，嘗試k=1.5;0.5;0.25等迭代上述過程直到

|dg|不再發(fā)生變化為止第135頁/共187頁136AAM：基于合成的圖像分析3D人臉2D人臉

圖像AnalysisSynthesis統(tǒng)計外觀模型SAM圖像表示模型參數(shù)c*第136頁/共187頁137AAM優(yōu)化搜索過程實例第137頁/共187頁138AAM總結(jié)與評價優(yōu)點不僅利用了全局形狀約束，還考慮了紋理約束，因為定位可以更精確；基于合成的分析技術(shù)，有明確的優(yōu)化目標(biāo)函數(shù)，最優(yōu)值附近滿足局部凸性質(zhì)，從而可以基本保證收斂到局部最優(yōu)解；采用了基于紋理差預(yù)測模型參數(shù)變化的啟發(fā)式參數(shù)優(yōu)化過程，提高了搜索速度缺點盡管采用了啟發(fā)式參數(shù)優(yōu)化方法，但優(yōu)化過程仍然速度較慢；由于利用了紋理差與模型參數(shù)變化的線性假設(shè)，這種線性假設(shè)在紋理差別很大時并不存在，因而可能出現(xiàn)陷入局部極小；沒有利用特征點的局部紋理，因而局部匹配能力較低，個別點的定位難以足夠精確第138頁/共187頁139基于面部幾何結(jié)構(gòu)的人臉識別基于模板匹配的人臉識別方法第139頁/共187頁140基于幾何特征的例子建模：用面部關(guān)鍵特征的相對位置、大小、形狀、面積等參數(shù)來描述人臉人臉圖像f特征向量v

v

=(x1,x2,…,xn)對所有已知人臉提取同樣描述的幾何特征

D={v1,v2,..,vp}待識別的人臉f提取的幾何特征為vf計算vf與D中所有vi的相似度s(vf,vi)(比如歐式距離、cosine(.)等)，進(jìn)行排序根據(jù)相似度最大的已知人臉的身份即可判斷待識別人臉的身份信息第140頁/共187頁141基于模板匹配的例子建模2D灰度矩陣，按行向量化為1D向量所有圖像均表示為這樣的向量識別計算輸入圖像的向量與已知人臉庫中所有向量的相似度，排序即可給出識別結(jié)果第141頁/共187頁2004-07-05EigenfacePCAPrincipalComponentAnalysis也稱為Hotteling變換或者Karhunen-Loeve變換（KLT）.尋求一個正交的坐標(biāo)系統(tǒng)，使得不同坐標(biāo)軸之間的相關(guān)性最??！第142頁/共187頁143Eigenface人臉識別方法x為輸入圖像y作為提取的特征S(x1,x2)=S(y1,y2)可以采用歐式距離也可以采用Cosine+y1*

+…+ym

≈+δ(I)第143頁/共187頁144Eigenfaces—EigenvectorsoftheCovariancematrix可視化的“特征臉”Leading8D:validsignalLast8D:DifferenceandNoise第144頁/共187頁145EigenFace-basedfacerecognitionmethodDFFS第145頁/共187頁146Fisherface：子空間線性判別分析EigenfaceandFisherfaceEigenface:PCAorKLTTurk&Pentland,(MIT)1991最佳的描述特征MostExpressiveFeatures(MEFs)FisherfaceBelhumeur,Hespanha&Kriegman,1997,TPAMIFisherLinearDiscriminantAnalysis最佳的判別特征MostDiscriminatingFeatures(MDFs)第146頁/共187頁147Fisher判別分析——FisherfacePCA’sproblem!!第147頁/共187頁148基本思想FLD選擇一種最優(yōu)的投影變換，滿足:類間散度矩陣類內(nèi)散度矩陣第148頁/共187頁149FDA的計算優(yōu)化分析表明，滿足上述最大化的W是下述方程的解：

進(jìn)一步假設(shè)是非奇異的。則可以通過求解下面的廣義特征值問題來得到W如果Sw是奇異的，怎么辦？第149頁/共187頁150Bayesian方法類內(nèi)差別（）相同個體的多幅圖象之間的差別，即包含了表情、不同光照條件、不同姿態(tài)等差別；類間差別（）不同人的人臉圖象之間的差別，包含了身份變化的信息；第150頁/共187頁151基于雙子空間分析的Bayesian方法貝葉斯方法兩張圖象的相似度可以表示為它們之間的差屬于類內(nèi)差別的概率其中第151頁/共187頁152類內(nèi)差別與類間差別(3)傳統(tǒng)的方法假設(shè)類內(nèi)差別與類間差別的分布為正態(tài)分布，則類條件概率密度為第152頁/共187頁153類條件概率密度的計算對協(xié)方差矩陣做特征分解:第153頁/共187頁154類條件概率密度的計算其中的取值為：DIFSDFFSx1x2u2u1第154頁/共187頁155類條件概率密度的計算第155頁/共187頁156Bayesian方法的實現(xiàn)形成兩類模式空間和的訓(xùn)練集合分別進(jìn)行PCA分析分別得到變換矩陣和對角陣（特征值）通過下式計算兩幅人臉圖像的相似度或者M(jìn)APML第156頁/共187頁157若干值得關(guān)注的技術(shù)趨勢3D可變性模型方法光照錐方法商圖像法基于Gabor特征的人臉識別技術(shù)Sphericalharmonicsforilluminationmodelingbasedonlinearsubspaces基于流形學(xué)習(xí)的非線性建模方法ICA,Principalcurvesandsurface,kernellearning,ISOMAP,LLE,第157頁/共187頁158局部特征與全局特征的融合單獨的slides第158頁/共187頁159基于3D變形模型的人臉建模：

Analysis-by-Synthesis技術(shù)的一個應(yīng)用3DWorld圖像AnalysisSynthesis圖像模型圖像表示模型參數(shù)第159頁/共187頁160基于3D變形模型的人臉建模輸入圖像Modeler結(jié)果DatabaseFaceAnalyzer3D人臉MorphableFaceModel3Dshape參數(shù)(PCA)Texture參數(shù)(PCA)光照模型、Camera內(nèi)外參數(shù)等，共22個第160頁/共187頁161基于3D變形模型的人臉建模......3D形狀紋理第161頁/共187頁1623DMorphableModelExtrinsicparametersmodeledusingPhysicalRelations:

-Pose:3x3Rotationmatrix

-Illumination: Phongshadingaccountsforcast shadowsandspecularHlights

NoLambertianAssumption.

第162頁/共187頁163Photo-realisticimages