（畢業(yè)論文）基于深度學(xué)習(xí)的人臉遮擋檢測(cè)技術(shù)研究

浙江工業(yè)大學(xué)碩士學(xué)位論文Inordertoevadesurveillancecamerasarrangedinthepublicsecurityfield,manysuspectsinthecrimeareusuallyinappearancedisguise,suchaswearingsunglassesorwearingmasks,forobscuringthefaceinformation.Thisbehaviorbringsgreatdifficultiesforthepolicementocatchthecriminalsuspect.Therefore,ifawarningissenttothemonitoringcenterandthussomeactionsareadoptedwhenthesurveillancesystemautomaticallydetectstheoccludedfaceofacustomer,thecrimeislikelytobeBasedonthepowerfulabilityoffeaturerepresentationandadaptivelearningabilityofdeeplearning,thisthesisexploresthefaceocclusiondetectionbasedondeeplearning,andproposesacascadedconvolutionalneuralnetworkbasedfaceocclusiondetectionalgorithm.Becauseeyesandmouthareoftenoccludedformanysuspectsinthecrime,threecascadedconvolutionalneuralnetworkaredesignedfordetectingthehead,eyesandmouthwithocclusion,respectivelyintheproposedalgorithm.Foreachkindofconvolutionalneuralnetworkstrainedinthispaper,twoconvolutionalneuralnetworksarecascadedtoimplementcoarse-to-fineocclusiondetection.Ourfaceocclusiondetectionalgorithmachievessatisfactoryresultsintwofacedatabaseusedinourexperiments.Furthermore,anattendancerecordsystemisdesignedandimplementedwhichintegratestheproposedfaceocclusiondetectionalgorithmandconvolutionalneuralnetworksbasedfacerecognitionalgorithm.Theattendancerecordsystemcandetecttheoccurrenceoffaceocclusionduringtheprocessofcheckingattendanceandgiveanalarmtotheattendancepersonnelwithocclusion.KeyWords:FaceOcclusionDetection,Facerecognition,ConvolutionalNeuralNetwork,Caffeji浙江工業(yè)大學(xué)碩士學(xué)位論文 iABSTRACT 11.1論文研究背景 11.2研究現(xiàn)狀 41.3論文研究?jī)?nèi)容 61.4論文組織結(jié)構(gòu) 7第2章卷積神經(jīng)網(wǎng)絡(luò)介紹 9 9 2.3本章小結(jié) 第3章基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)方法 3.1算法框架 3.2人頭檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò) 3.3眼睛檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò) 3.4嘴巴檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò) 20-3.5級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練庫(kù) 3.6測(cè)試結(jié)果 24-3.7本章小結(jié) 26-第4章智能人臉考勤系統(tǒng) 27-4.1系統(tǒng)設(shè)計(jì)……………27-浙江工業(yè)大學(xué)碩士學(xué)位論文—2—4.2人臉識(shí)別模塊 4.2.3實(shí)驗(yàn)結(jié)果 4.3系統(tǒng)實(shí)現(xiàn) 4.4本章小結(jié) 第5章結(jié)論與展望 37-5.2展望…………………38-39-42-攻讀學(xué)位期間參加的科研項(xiàng)目和成果………43-浙江工業(yè)大學(xué)碩士學(xué)位論文1.1論文研究背景人臉識(shí)別技術(shù)以其主動(dòng)性、非侵犯性、用戶友好性、非接觸性、不易察覺(jué)性和唯一性等優(yōu)點(diǎn)，具有重要的學(xué)術(shù)研究?jī)r(jià)值以及廣闊的應(yīng)用前景[1]。人臉識(shí)別技術(shù)在近幾十年中得到了飛速的發(fā)展，在中國(guó)就已廣泛的應(yīng)用于公安、安全、海關(guān)、金融、軍隊(duì)、機(jī)場(chǎng)、邊防口岸、安防等多個(gè)重要行業(yè)及領(lǐng)域，以及智能門(mén)禁、門(mén)鎖、考勤、手機(jī)、數(shù)碼相機(jī)、智能玩具等民用市場(chǎng)。然而，在實(shí)際應(yīng)用中，人臉識(shí)別依然面臨著諸多的挑戰(zhàn)?，F(xiàn)有的人臉識(shí)別算法通常在室內(nèi)可控環(huán)境下可以達(dá)到滿意的結(jié)果。然而，在實(shí)際應(yīng)用中，人臉認(rèn)證系統(tǒng)對(duì)于人臉圖像的采集一般均在非配合的環(huán)境下進(jìn)行，并且人臉很容易受到光照、遮擋及表情等諸多因素的影響。這些干擾因素導(dǎo)致所獲取的人臉圖像之間存在較大的差異，給人臉識(shí)別帶來(lái)了極大的困難，使其識(shí)別率難以達(dá)到理想水平。因此，隨著人臉識(shí)別應(yīng)用需求的不斷增長(zhǎng)，人臉識(shí)別這一課題還存在很多地方值得深入研究，特別是無(wú)約束環(huán)境下如何增強(qiáng)人臉識(shí)別系統(tǒng)的魯棒性得到了廣泛的關(guān)注和研究，已經(jīng)成為當(dāng)前研究的熱點(diǎn)。遮擋是眾多影響人臉識(shí)別性能的因素中非常重要也是不可避免的一個(gè)因素，特別是在安全領(lǐng)域中尤其突出。造成遮擋的原因是多種多樣。隨著人們?nèi)粘Ｉ钪信宕餮坨R的比例增大，由眼鏡遮擋造成的問(wèn)題也就越來(lái)越普遍；環(huán)境污染造成了出門(mén)佩戴口罩也越來(lái)越普遍了；在實(shí)際應(yīng)用中，比如智能門(mén)禁、視頻監(jiān)控、保安系統(tǒng)、罪犯識(shí)別等，基本均在非配合的環(huán)境下進(jìn)行人臉圖像的采集，易被其他人或者物所遮擋。此外，環(huán)境、飾物、劉海或胡須等均可造成遮擋現(xiàn)象的出現(xiàn)。圖1-1給出了常用人臉數(shù)據(jù)庫(kù)LFW數(shù)據(jù)庫(kù)l21和AR人臉數(shù)據(jù)庫(kù)[3]中給出的部分遮擋的人臉圖像樣本，圖1-2給出了一些日常生活中的遮擋實(shí)例4。造成遮擋的這些干擾因素使得成像設(shè)備獲取的人臉數(shù)據(jù)不完整，引起人臉部分信息甚至全部信2圖1-1人臉遮擋樣本圖1-2實(shí)際生活場(chǎng)景中的遮擋實(shí)例浙江工業(yè)大學(xué)碩士學(xué)位論文3如何有效檢測(cè)和去除遮擋物的影響，成為了人臉檢測(cè)與識(shí)別技術(shù)中亟待解決的關(guān)鍵問(wèn)題。特別是在安防領(lǐng)域，為了逃避安防系統(tǒng)中監(jiān)控?cái)z像頭的監(jiān)視，進(jìn)而實(shí)現(xiàn)其逃避法律處罰的目的，很多違法犯罪嫌疑人使用墨鏡、圍巾、口罩或者直接蒙面的方式來(lái)刻意遮擋自己的人臉特征(如圖1-3所示),這種情況下的遮擋給嫌疑人抓捕和案件偵破帶來(lái)了困難。如果能夠利用人臉遮擋檢測(cè)算法及時(shí)發(fā)現(xiàn)不法人員，然后自動(dòng)向監(jiān)控中心等部門(mén)報(bào)警，構(gòu)建預(yù)警機(jī)制，則可以有效的阻止犯罪，降低犯罪率。尤其是報(bào)警并阻止蒙面人進(jìn)入銀行、政府區(qū)域、商場(chǎng)或者其他公共場(chǎng)所，能有效的阻止犯罪。針對(duì)安防領(lǐng)域中人臉遮擋問(wèn)題而提出的、面向應(yīng)用的課題，是指用視頻智能分析的方法檢測(cè)出視頻場(chǎng)景中是否有戴墨鏡、戴圍巾、戴口罩、戴面具、蒙面等遮擋物遮擋而不能被識(shí)別或者分類(lèi)的人臉。通常，人臉遮擋檢測(cè)系統(tǒng)利用監(jiān)控?cái)z像機(jī)連續(xù)的采集場(chǎng)景中的監(jiān)控圖像，利用計(jì)算機(jī)視覺(jué)技術(shù)檢測(cè)監(jiān)控圖像中的人臉，并分析人臉上的器官是否不全(比如因?yàn)槊擅娴仍蚴刮骞俨糠只蛉勘徽趽跗饋?lái)),如果是則向監(jiān)控中心報(bào)警。人臉遮擋檢測(cè)最初是基于銀行大廳[6]、ATM機(jī)[7-14]的自動(dòng)監(jiān)控系統(tǒng)提出來(lái)的，旨在實(shí)現(xiàn)監(jiān)控的智能化，及時(shí)發(fā)現(xiàn)不法人員并自動(dòng)向監(jiān)控中心報(bào)警?，F(xiàn)在，人臉遮擋檢測(cè)技術(shù)已經(jīng)被擴(kuò)展應(yīng)用到其他安防領(lǐng)域，例如智慧社區(qū)的訪客系統(tǒng)，基于人臉識(shí)別的移動(dòng)支付等領(lǐng)域。本文針對(duì)人臉識(shí)別在實(shí)際應(yīng)用中所存在的遮擋問(wèn)題，以安防領(lǐng)域?yàn)檠芯勘尘埃M(jìn)行深入的探討和系統(tǒng)的研究，結(jié)合信號(hào)表示與處理理論的最新發(fā)展，把深度學(xué)習(xí)理論應(yīng)用到人臉遮擋檢測(cè)問(wèn)題，提高人臉識(shí)別系統(tǒng)在實(shí)際應(yīng)用過(guò)程中的可操作性。因此，本文的研究既有一定的理論意義，也具有較強(qiáng)的實(shí)際應(yīng)用價(jià)值。1.2研究現(xiàn)狀目前，相關(guān)文獻(xiàn)中已經(jīng)提出了一些人臉遮擋檢測(cè)方法，這些方法一般可分為(1)基于特定遮擋類(lèi)型的人臉遮擋檢測(cè)方法：該類(lèi)方法只檢測(cè)特定的遮擋類(lèi)型，例如戴頭盔、戴墨鏡、戴口罩、戴圍巾等，遮擋物也相對(duì)固定?；谔囟ㄕ趽躅?lèi)型的檢測(cè)方法通常根據(jù)不同種類(lèi)的遮擋物利用HOG[15]、LBP[16]、SIFT等特征提取方法來(lái)提取特征信息，然后基于這些提取到的特征信息利用支持向量機(jī)(SVM)[20]、AdaBoost[21]、神經(jīng)網(wǎng)絡(luò)l22]等機(jī)器學(xué)習(xí)方法訓(xùn)練相應(yīng)的分類(lèi)模型，再使用訓(xùn)練出的分類(lèi)模型來(lái)判斷是否為異常人臉以及屬于哪種異常類(lèi)型。文獻(xiàn)[5]提出了基于顏色統(tǒng)計(jì)的墨鏡檢測(cè)方法，基于直線檢測(cè)和顏色統(tǒng)計(jì)結(jié)合的口罩檢測(cè)方法。文獻(xiàn)[6]在序列圖像的人頭定位的基礎(chǔ)上，依據(jù)正常人臉與異常人臉特征的差異來(lái)定位和識(shí)別異常人臉，實(shí)現(xiàn)了基于人臉中心線檢測(cè)的墨鏡檢測(cè)、基于區(qū)域灰度分布特征的眼部區(qū)域的墨鏡檢測(cè)和基于直線檢測(cè)的口罩檢測(cè)。在文獻(xiàn)[23-25]中，針對(duì)犯罪嫌疑人經(jīng)常使用安全頭盔遮擋人臉的情況，分別利用改進(jìn)的霍夫變換、Canny檢測(cè)和Gabor濾波提出了針對(duì)佩戴安全頭盔的人臉遮擋檢測(cè)方法。文獻(xiàn)[26]利用提取簡(jiǎn)單小波特征來(lái)實(shí)現(xiàn)遮擋物為眼鏡的人臉遮擋檢測(cè)。在文獻(xiàn)[29]中，人臉遮擋被分為口罩圍巾類(lèi)的矩形遮擋和墨鏡類(lèi)的橢圓遮擋，然后利用基于自相連神經(jīng)網(wǎng)絡(luò)的分類(lèi)器來(lái)檢測(cè)輸入人臉圖像的遮擋區(qū)域。基于特定遮擋類(lèi)型的人臉遮擋檢測(cè)方法通常能穩(wěn)定的檢測(cè)具有這些特定遮擋物的遮擋人臉。然而，在實(shí)際的應(yīng)用當(dāng)中，由于遮擋物的多變性，使得佩戴同樣類(lèi)型遮擋物的不同人臉表現(xiàn)出來(lái)的特征也不完全一樣，例如同樣是戴墨鏡類(lèi)型的異常人臉，墨鏡的形狀是多種多樣的，可以是圓的、方的、扁的，墨鏡的顏色種類(lèi)也非常多，例如黑色的、褐色的、紅色的等，再加上使用場(chǎng)景中光照因素的影響，墨鏡表現(xiàn)出的特征也不盡相同。另外，在實(shí)際的監(jiān)控應(yīng)用場(chǎng)景中，還可能會(huì)出現(xiàn)非預(yù)期的遮擋物情況，使得該類(lèi)方法具有很大的局限性。浙江工業(yè)大學(xué)碩士學(xué)位論文5(2)基于膚色的遮擋檢測(cè)方法：該類(lèi)方法主要利用遮擋物和人臉中的重要器官的位置、膚色之間的差異來(lái)確定遮擋人臉，將不同顏色空間下不同膚色模型應(yīng)用到人臉檢測(cè)中來(lái)。按照經(jīng)驗(yàn)，通過(guò)分區(qū)域計(jì)算膚色比來(lái)判斷是否遮擋，可以適應(yīng)多樣化的人臉遮擋情況。但該類(lèi)方法通常對(duì)光照比較敏感。文獻(xiàn)[10]用基于YCbCr顏色空間橢圓模型檢測(cè)算法對(duì)區(qū)域人臉進(jìn)行檢測(cè)，以預(yù)先定義的異常行為語(yǔ)義來(lái)判斷是否出現(xiàn)蒙面或臉部遮擋偽裝取款的情況。文獻(xiàn)[11]通過(guò)在YCbCr顏色空間中定義一系列非線性變換的規(guī)則，將膚色范圍擬合到一個(gè)橢圓區(qū)域內(nèi)，然后通過(guò)分區(qū)域的方法進(jìn)行遮擋判定。文獻(xiàn)[12]在定位人臉后通過(guò)計(jì)算皮膚面積比來(lái)確定人臉是否被遮擋。文獻(xiàn)[14]利用基于經(jīng)驗(yàn)規(guī)則的人臉定位方法和自適應(yīng)的橢圓擬合法來(lái)兩步定位人臉，然后利用AdaBoost來(lái)連接皮膚色彩檢測(cè)和人臉模板匹配，最終實(shí)現(xiàn)ATM監(jiān)控下的異常人臉檢測(cè)。文獻(xiàn)[31]利用基于B樣條的主動(dòng)輪廓法和橢圓擬合方法來(lái)估計(jì)人臉位置，然后利用測(cè)量到的不同區(qū)域的膚色比來(lái)確定遮擋類(lèi)型。(3)基于正面裸露人臉的檢測(cè)方法：該類(lèi)方法根據(jù)眼睛、嘴部、鼻子、眉毛等正常人臉的特征檢測(cè)正常的人臉及五官，如果發(fā)現(xiàn)已知有人的場(chǎng)景中檢測(cè)不到人臉或五官，再根據(jù)不同種類(lèi)的特征判斷是否為異常人臉以及是何種異常[5]。該類(lèi)方法把人臉遮擋檢測(cè)問(wèn)題轉(zhuǎn)變成正常人臉檢測(cè)和非正常人臉條件下的異常種類(lèi)判斷問(wèn)題。文獻(xiàn)[7]提出基于與或圖技術(shù)的多通道人臉檢測(cè)技術(shù)來(lái)定位人臉區(qū)域，然后依據(jù)眼睛、鼻子、嘴等局部特征是否缺失來(lái)確定是否是異常人臉。文獻(xiàn)[8]將人臉區(qū)域分為眼部區(qū)域和嘴部區(qū)域兩部分，訓(xùn)練了基于Haar特征的人眼分類(lèi)器來(lái)判斷眼部是否存在遮擋，采用基于Hough變換的水平直線檢測(cè)結(jié)合分類(lèi)器搜索的方法來(lái)檢測(cè)嘴部區(qū)域的異常。文獻(xiàn)[9]提取Harr-like特征表示人臉，采用“積分圖”方法提高計(jì)算速度，采用基于Adaboost算法進(jìn)行正常人臉和異常人臉的分類(lèi)。文獻(xiàn)[11]提出了基于Adaboost的人臉部件檢測(cè)器的遮擋判定方法，使用降級(jí)后的正面人眼檢測(cè)器和嘴巴檢測(cè)器，通過(guò)分區(qū)域的方法進(jìn)行遮擋判定。文獻(xiàn)[13]利用人臉器官局部區(qū)域識(shí)別能力和人臉的全局表征來(lái)雙重確定是否是遮擋人臉，然后通過(guò)訓(xùn)練特定的遮擋檢測(cè)器來(lái)提高檢測(cè)精度。在文獻(xiàn)[27]中，Yoon和Kee第一次針對(duì)ATM機(jī)的安防需求，提出遮擋人臉的概念，并利用集成主成份分析(PCA)和SVM的方法來(lái)區(qū)分正常人臉和遮擋人臉。文獻(xiàn)[30]通過(guò)AdaBoost浙江工業(yè)大學(xué)碩士學(xué)位論文檢測(cè)器檢測(cè)兩只眼睛和嘴巴，使用神經(jīng)網(wǎng)絡(luò)分類(lèi)正?；蛘叻钦５娜四槨Ｔ趯?shí)際應(yīng)用場(chǎng)景中，人臉的檢測(cè)通常是采用提取五官信息特征的方法來(lái)進(jìn)行檢測(cè)，但是當(dāng)出現(xiàn)異常人臉情況時(shí)，五官往往是被遮擋住的，這樣就給人臉檢測(cè)帶來(lái)困難，由于視頻是動(dòng)態(tài)的，在這種情況下也比較難定位出精確的人臉位置，從而給異常人臉類(lèi)型的判斷帶來(lái)困難。1.3論文研究?jī)?nèi)容近兩年，深度學(xué)習(xí)的出現(xiàn)使人臉識(shí)別取得了突破性進(jìn)展[32-34]。深度學(xué)習(xí)的初衷是模擬人腦的認(rèn)知機(jī)理。在某些重要的人臉識(shí)別測(cè)試集上，深度學(xué)習(xí)模型已經(jīng)達(dá)到甚至超出了人類(lèi)的識(shí)別水平。這啟發(fā)我們未來(lái)可以在更廣的范圍內(nèi)更深入地研究這些模型中神經(jīng)元響應(yīng)的性質(zhì)，并與認(rèn)知科學(xué)的研究成果相結(jié)合，相互印證和啟發(fā)。人臉識(shí)別的最新研究成果[35]表明，深度學(xué)習(xí)得到的人臉特征表達(dá)具有手工特征表達(dá)所不具備的重要特性，例如它是中度稀疏的、對(duì)人臉身份和人臉屬性有很強(qiáng)的選擇性、對(duì)局部遮擋具有良好的魯棒性。這些特性是通過(guò)大數(shù)據(jù)訓(xùn)練自然得到的，并未對(duì)模型加入顯式約束或后期處理。這說(shuō)明深度學(xué)習(xí)并非單純擬合數(shù)據(jù)集，其計(jì)算單元有清晰的語(yǔ)義含義，其高識(shí)別率可以通過(guò)這些特性來(lái)解釋。在2014年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議(CVPR2014)上，兩個(gè)采用深度學(xué)習(xí)的團(tuán)隊(duì)--來(lái)自臉譜的團(tuán)隊(duì)[36]和香港中文大學(xué)的團(tuán)隊(duì)[371,在允許利用有標(biāo)簽外部數(shù)據(jù)且非限定的測(cè)試條件下，在LFW數(shù)據(jù)庫(kù)[2]上分別報(bào)告了97.35%和97.45%的平均分類(lèi)精度，比高維LBP特征方法的分類(lèi)錯(cuò)誤率降低了50%。上述兩個(gè)團(tuán)隊(duì)均采用了卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)的變種架構(gòu)。其中，臉譜的DeepFace方法[361強(qiáng)調(diào)前端的人臉3D對(duì)齊和虛擬正面化預(yù)處理，以削弱姿態(tài)變化的影響；而香港中文大學(xué)的DeepID方法[37則強(qiáng)調(diào)采用多個(gè)人臉區(qū)塊分別訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，并最終融合形成人臉特征表示。最近，該團(tuán)隊(duì)進(jìn)一步開(kāi)發(fā)了DeepID2+系統(tǒng)[35],在上述測(cè)試環(huán)境下取得了99.47%的正確分類(lèi)精度，錯(cuò)誤率比DeepID降低約80%。Google推出的FaceNet38]再次刷上人臉驗(yàn)證的效果記錄。目前關(guān)于人臉遮擋檢測(cè)對(duì)于人臉的拍攝角度、采集過(guò)程中的光照、遮擋物類(lèi)型的多變性以及場(chǎng)景的復(fù)雜性等魯棒性較弱，無(wú)法同時(shí)兼顧多種影響因素，很難滿足實(shí)際要求。深度學(xué)習(xí)在人臉識(shí)別領(lǐng)域中得到了廣泛的研究與應(yīng)用，并取得浙江工業(yè)大學(xué)碩士學(xué)位論文7了很大的進(jìn)展，但并沒(méi)有相關(guān)工作把深度學(xué)習(xí)和人臉遮擋檢測(cè)結(jié)合起來(lái)，因此，本文引入深度學(xué)習(xí)技術(shù)來(lái)研究異常人臉識(shí)別問(wèn)題，利用深度學(xué)習(xí)強(qiáng)大的特征表達(dá)能力和學(xué)習(xí)能力來(lái)實(shí)現(xiàn)人臉遮擋檢測(cè)。事實(shí)上，在本文的寫(xiě)作過(guò)程中，發(fā)現(xiàn)已有文獻(xiàn)[39]在2015年8月召開(kāi)的模糊系統(tǒng)與知識(shí)挖掘國(guó)際會(huì)議(201512thInternationalConferenceonFuzzySystemsandKnowledgeDiscovery,FSKD15)上提出了結(jié)合多任務(wù)學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)方法，該方法所用的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1-4所示。文獻(xiàn)[39]的出現(xiàn)在很大程度上表明了本文提出的利用深度學(xué)習(xí)技術(shù)解決人臉遮擋檢測(cè)思路的可行性和創(chuàng)新性。和文獻(xiàn)[39]不同，本文利用Caffel401框架將深度學(xué)習(xí)應(yīng)用到遮擋人臉的識(shí)別中，提出了一種先利用級(jí)聯(lián)人頭卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人頭定位，然后再基于眼睛級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)和嘴巴級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉眼睛、嘴巴部位的遮擋檢測(cè)方法，進(jìn)而設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)具有人臉遮擋檢測(cè)功能的基于人臉識(shí)別的智能考勤系統(tǒng)。圖1-4基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(CNN)的人臉遮擋檢測(cè)39]Fig1-4Faceocclusiondetectionbasedonmulti-taskconvolutionneuralnetwork全文共分五章，具體內(nèi)容如下：第1章：緒論，闡述了課題的研究背景和意義，總結(jié)了國(guó)內(nèi)外關(guān)于人臉遮擋檢測(cè)的現(xiàn)狀。第2章：深度學(xué)習(xí)理論介紹，介紹了卷積神經(jīng)網(wǎng)絡(luò)相關(guān)深度學(xué)習(xí)理論和Caffe深度學(xué)習(xí)框架的結(jié)構(gòu)。第3章：基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)，介紹了本文提出的基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人頭檢測(cè)和基于眼睛和嘴巴的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉遮擋檢測(cè)方法的具體實(shí)現(xiàn)過(guò)程。第4章：智能人臉考勤系統(tǒng)，介紹了集成了本文提出的基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)算法的智能考勤系統(tǒng)的系統(tǒng)框架設(shè)計(jì)和實(shí)現(xiàn)。第5章：結(jié)論與展望，總結(jié)了本文的主要工作，指出了系統(tǒng)設(shè)計(jì)部分存在的不足和有待改進(jìn)的地方，并對(duì)下一步工作進(jìn)行了展望，提出了有待解決的問(wèn)題。第2章卷積神經(jīng)網(wǎng)絡(luò)介紹卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)是一種深層神經(jīng)網(wǎng)絡(luò)模型。卷積網(wǎng)絡(luò)最初是受視覺(jué)神經(jīng)機(jī)制的啟發(fā)而設(shè)計(jì)的，是為識(shí)別二維形狀而設(shè)計(jì)的一個(gè)多層感知器。這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。1962年Hubel和Wiesel41]通過(guò)對(duì)貓視覺(jué)皮層細(xì)胞的研究，提出了感受野的概念；1984年Fukushima[42]基于感受野概念提出的神經(jīng)認(rèn)知機(jī)模型，可以看作是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)，也是感受野概念在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的首次應(yīng)用。神經(jīng)認(rèn)知機(jī)將一個(gè)視覺(jué)模式分解成許多子模式，然后進(jìn)入分層式相連的特征平面進(jìn)行處理，它試圖將視覺(jué)系統(tǒng)模型化，使其能夠在即使物體有位移或輕微變形的時(shí)候，也能完成識(shí)別。神經(jīng)認(rèn)知機(jī)能夠利用位移恒定能力從激勵(lì)模式中學(xué)習(xí)，并且可識(shí)別這些模式的變化。在其后的應(yīng)用研究中，F(xiàn)ukushima將神經(jīng)認(rèn)知機(jī)主要用于手寫(xiě)數(shù)字的識(shí)別。隨后，國(guó)內(nèi)外的研究人員提出了多種卷積神經(jīng)網(wǎng)絡(luò)形式，在郵政編碼識(shí)別、車(chē)牌識(shí)別和人臉識(shí)別等方面得到了廣泛的應(yīng)卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)框架是基于最小化預(yù)處理數(shù)據(jù)而產(chǎn)生的，它通過(guò)共享局部權(quán)值有效降低了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度，具有局部連接和權(quán)值共享特性。卷積神經(jīng)網(wǎng)絡(luò)(CNN)已經(jīng)是現(xiàn)代智能識(shí)別語(yǔ)音和圖像等信息的研究熱點(diǎn)。它的局部連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度(對(duì)于很難學(xué)習(xí)的深層結(jié)構(gòu)來(lái)說(shuō)，這是非常重要的),減少了權(quán)值的數(shù)量。尤其在多維圖像和大圖像中該優(yōu)點(diǎn)表現(xiàn)最為突出，可以直接將圖像輸入到網(wǎng)絡(luò)中，不需要做更多的麻煩的傳統(tǒng)特征提取和數(shù)據(jù)重建。2.1卷積神經(jīng)網(wǎng)絡(luò)CNNCNN是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法。它利用權(quán)值共享來(lái)達(dá)到減少學(xué)習(xí)參數(shù)以用來(lái)提高BackPropagation(BP)算法的訓(xùn)練性能。CNN是一個(gè)最小化預(yù)處理要求下的深度學(xué)習(xí)框架。在CNN中，圖像的一部分(局部感受區(qū)域)作為層級(jí)結(jié)構(gòu)的最底層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過(guò)一浙江工業(yè)大學(xué)碩士學(xué)位論文—10—個(gè)數(shù)字濾波器去獲得觀測(cè)數(shù)據(jù)的最顯著的特征。這個(gè)方法能夠獲取對(duì)平移、縮放和旋轉(zhuǎn)不變的觀測(cè)數(shù)據(jù)的顯著特征，因?yàn)閳D像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問(wèn)到最基礎(chǔ)的特征，例如定向邊緣或者角點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平C3C3圖2-1卷積神經(jīng)網(wǎng)絡(luò)的概念示范圖2-1展示了卷積神經(jīng)網(wǎng)絡(luò)概念示范：輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，卷積后在C1層產(chǎn)生三個(gè)特征映射圖，然后特征映射圖中每組的四個(gè)像素再進(jìn)行求和、加權(quán)值、加偏置，通過(guò)一個(gè)Sigmoid函數(shù)得到三個(gè)S2層的特征映射圖。這些映射圖再進(jìn)過(guò)濾波得到C3層。這個(gè)層級(jí)結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神2.1.1卷積層神經(jīng)網(wǎng)絡(luò)中的每個(gè)層有多個(gè)特征映射，每個(gè)特征映射通過(guò)一種卷積濾波器提取輸入的一種特征，然后每個(gè)特征映射有多個(gè)神經(jīng)元。卷積運(yùn)算一個(gè)重要的特點(diǎn)就是，通過(guò)卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低噪音。假設(shè)第1層為卷積層，則第1層第j個(gè)特征映射的計(jì)算公式如(2.1)所示。浙江工業(yè)大學(xué)碩士學(xué)位論文上面的*號(hào)實(shí)質(zhì)是讓卷積核k在第1-1層所有關(guān)聯(lián)的特征映射上做卷積運(yùn)算，然后求和，再加上一個(gè)偏置參數(shù)，取Sigmoid得到最終激勵(lì)值的過(guò)程。2.1.2子采樣層對(duì)于子采樣層來(lái)說(shuō)，有N個(gè)輸入特征映射，就有N個(gè)輸出特征映射都變小了。采樣公式如(2.2)所示。x/=f(β'down(x/-)+b/)個(gè)輸出特征映射，只是每down(.)表示一個(gè)下采樣函數(shù)。典型的操作一般是在輸入特征矩陣中不同n×n的塊中取均值或最大值。這樣輸出圖像在兩個(gè)維度上都縮小了n倍。每個(gè)輸出map都對(duì)應(yīng)一個(gè)屬于自己的乘性偏置β和一個(gè)加性偏置b。2.1.3稀疏連接卷積網(wǎng)絡(luò)通過(guò)在相鄰兩層之間強(qiáng)制使用局部連接模式來(lái)利用圖像的空間局部特性，在第m層的隱層單元只與第m-1層的輸入單元的局部區(qū)域有連接，第m-1層的這些局部區(qū)域被稱為空間連續(xù)的接受域?？蓪⑦@種結(jié)構(gòu)描述如下：設(shè)第m-1層為視網(wǎng)膜輸入層，第m層的接受域的寬度為3,也就是說(shuō)該層的每個(gè)單元僅與輸入層的3個(gè)相鄰的神經(jīng)元相連，第m層與第m+1層具有類(lèi)似的鏈接規(guī)則，如圖2-2所示。圖2-2稀疏連接示意圖可以看到m+1層的神經(jīng)元相對(duì)于第m層的接受域的寬度也為3,但相對(duì)于輸入層的接受域?yàn)?,這種結(jié)構(gòu)將學(xué)習(xí)到的過(guò)濾器限制在局部空間模式。從圖2-2也可以看出，多個(gè)這樣的層堆疊起來(lái)后，會(huì)使得過(guò)濾器逐漸成為全局的。例如上圖中第m+1層的神經(jīng)元可以對(duì)寬度為5的輸入進(jìn)行一個(gè)非線性的特征編碼。浙江工業(yè)大學(xué)碩士學(xué)位論文—12—2.1.4權(quán)值共享在卷積網(wǎng)絡(luò)中，每個(gè)稀疏過(guò)濾器通過(guò)共享權(quán)值都會(huì)覆蓋整個(gè)可視域，這些共享權(quán)值的單元構(gòu)成一個(gè)特征映射，如圖2-3所示?！稹稹饒D2-3特征映射在圖2-3中，有3個(gè)隱層單元，他們屬于同一個(gè)特征映射。同種顏色的鏈接的權(quán)值是相同的，可以使用梯度下降的方法來(lái)學(xué)習(xí)這些權(quán)值，只需要對(duì)原始算法做一些小的改動(dòng)，這里共享權(quán)值的梯度是所有共享參數(shù)的梯度的總和。一方面，重復(fù)單元能夠?qū)μ卣鬟M(jìn)行識(shí)別，而不考慮它在可視域中的位置。另一方面，權(quán)值共享能更有效的進(jìn)行特征抽取，因?yàn)樗鼧O大的減少了需要學(xué)習(xí)的自由變量的個(gè)數(shù)。通過(guò)控制模型的規(guī)模，卷積網(wǎng)絡(luò)對(duì)視覺(jué)問(wèn)題可以具有很好的泛化能力。Softmax回歸其實(shí)就相當(dāng)于多類(lèi)別情況下的邏輯回歸，對(duì)比如下。(1)邏輯回歸的假設(shè)函數(shù)(hypothesis)公式(2.3)給出了邏輯回歸的假設(shè)函數(shù)。整個(gè)邏輯回歸模型的參數(shù)就是θ,題，找出最合適的θ便是最重要的步驟，這是最優(yōu)化問(wèn)題。一般通過(guò)定義代價(jià)函數(shù)，然后最小化代價(jià)函數(shù)來(lái)求解，邏輯回歸的代價(jià)函數(shù)如公式(2.4)所示。(2)Softmax的假設(shè)函數(shù)—13—公式(2.5)給出了Softmax的假設(shè)函數(shù)。邏輯回歸里將-O*x作為sigmoid函數(shù)的輸入，得到的是0或者1,兩個(gè)類(lèi)別。而Softmax有k個(gè)類(lèi)別，并且將-0*x樣做就實(shí)現(xiàn)了歸一化，使得輸出的k個(gè)數(shù)的和為1,而每一個(gè)數(shù)就代表那個(gè)類(lèi)別出現(xiàn)的概率。因此，Softmax的假設(shè)函數(shù)輸出的是一個(gè)k維列向量，每一個(gè)維度的數(shù)就代表那個(gè)類(lèi)別出現(xiàn)的概率。Softmax的代價(jià)函數(shù)如公式(2.6)所示：本質(zhì)上跟邏輯回歸是一樣的，采用代價(jià)函數(shù)NLL,如果加上權(quán)重衰減項(xiàng)(正則化項(xiàng)),則為：最小化代價(jià)函數(shù)，同樣可以采用簡(jiǎn)單而有效的梯度下降，需要提到的是，在程序?qū)崿F(xiàn)中，一般采用批量隨機(jī)梯度下降，即minibatchStochasticGradientDescent(MSGD),簡(jiǎn)單來(lái)說(shuō)，就是每遍歷完一個(gè)batch的樣本才計(jì)算梯度和更新參數(shù)，一個(gè)batch一般有幾十到幾百的單個(gè)樣本。2.2Caffe架構(gòu)Caffe[51]是一個(gè)清晰而高效的深度學(xué)習(xí)框架，在處理圖像方面有著獨(dú)具一格是純粹的C++/CUDA架構(gòu)，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接無(wú)縫切換。浙江工業(yè)大學(xué)碩士學(xué)位論文(1)上手快：模型與相應(yīng)優(yōu)化都是以文本形式而非代碼形式給出。Caffe140給出了模型的定義、最優(yōu)化設(shè)置以及預(yù)訓(xùn)練的權(quán)重，方便立即上手。(2)速度快：能夠運(yùn)行最棒的模型與海量的數(shù)據(jù)。Caffe與cuDNN結(jié)合使用，測(cè)試AlexNet模型，在K40上處理每張圖片只需要1.17ms。(3)模塊化：方便擴(kuò)展到新的任務(wù)和設(shè)置上?？梢允褂肅afe提供的各層類(lèi)型來(lái)定義自己的模型。(4)開(kāi)放性：公開(kāi)的代碼和參考模型用于再現(xiàn)。(5)社會(huì)好：可以通過(guò)BSD-2參與開(kāi)發(fā)與討論。Caffel40]主要分為四個(gè)大類(lèi)：Blob,Layer,Net,Solver。低到高，貫穿了整個(gè)Caffel40]。(1)Blob:是基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，是用來(lái)保存學(xué)習(xí)到的參數(shù)以及網(wǎng)絡(luò)傳輸過(guò)程中產(chǎn)生數(shù)據(jù)的類(lèi)。(2)Layer:是網(wǎng)絡(luò)的基本單元，由此派生出了各種層類(lèi)。修改這部分的人主要是研究特征表達(dá)方向的。(3)Net:是網(wǎng)絡(luò)的搭建，將Layer所派生出層類(lèi)組合成網(wǎng)絡(luò)。(4)Solver:是Net的求解，修改這部分人主要會(huì)是研究DL求解方向的。浙江工業(yè)大學(xué)碩士學(xué)位論文人…上thread√ConvLayerFig2-4FlowchartofCaffe圖2-4展示了Caffel40工作的流程。基本上，Caffel40]遵循了神經(jīng)網(wǎng)絡(luò)的一個(gè)簡(jiǎn)單假設(shè)——所有的計(jì)算都是以層的形式表示的，每層做的事情就是獲取一些數(shù)據(jù)，然后輸出一些計(jì)算以后的結(jié)果。比如說(shuō)卷積，就是輸入一個(gè)圖像，然后和這一層的參數(shù)過(guò)濾器做卷積，然后輸出卷積的結(jié)果。每一層需要做兩個(gè)計(jì)算：前向反饋是從輸入計(jì)算輸出，然后反向反饋是從上面給的梯度來(lái)計(jì)算相對(duì)于輸入的梯度。只要這兩個(gè)函數(shù)實(shí)現(xiàn)了以后，就可以把很多層連接成一個(gè)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)做的事情就是輸入數(shù)據(jù)(圖像或者語(yǔ)音或者其它的),然后來(lái)計(jì)算需要的輸出(比如說(shuō)識(shí)別的標(biāo)簽)。在訓(xùn)練的時(shí)候，可以根據(jù)已有的標(biāo)簽來(lái)計(jì)算損失和梯度，然后用梯度值來(lái)更新網(wǎng)絡(luò)的參數(shù)。這個(gè)就是Caffel40]的一個(gè)基本流程。2.3本章小結(jié)卷積神經(jīng)網(wǎng)絡(luò)是一種深層神經(jīng)網(wǎng)絡(luò)模型，已經(jīng)是現(xiàn)代智能識(shí)別語(yǔ)音和圖像等信息的研究熱點(diǎn)。本章首先簡(jiǎn)要介紹了卷積神經(jīng)網(wǎng)絡(luò)CNN相關(guān)理論，然后介紹了本文所采用的深度學(xué)習(xí)工具Caffe[40]的基本框架。浙江工業(yè)大學(xué)碩士學(xué)位論文第3章基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)方法現(xiàn)有的人臉遮擋檢測(cè)算法通常需要事先設(shè)計(jì)人頭檢測(cè)或擬合算法來(lái)定位人頭，然后利用各種特征提取方法提取特征，將空間域像素信息映射到高層次，以更抽象的形式進(jìn)行表征，然后利用不同的機(jī)器學(xué)習(xí)算法訓(xùn)練分類(lèi)器，最終利用訓(xùn)練好的分類(lèi)器判斷輸入的圖像是否包含遮擋的人臉。在這個(gè)過(guò)程中人臉遮擋檢測(cè)算法的精度通常取決于所設(shè)計(jì)的人頭定位算法的精度、所抽取的特征對(duì)遮擋檢測(cè)的有效性。深度學(xué)習(xí)本質(zhì)上是一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過(guò)一些簡(jiǎn)單的、非線性的模型轉(zhuǎn)變成為更高層次的、更加抽象的表達(dá)，進(jìn)而強(qiáng)化輸入數(shù)據(jù)的判別能力，同時(shí)削弱不相關(guān)因素。此外，深度學(xué)習(xí)另一個(gè)優(yōu)點(diǎn)是各層的特征都不是利用人工工程來(lái)設(shè)計(jì)的，而是使用一種通用的學(xué)習(xí)過(guò)程從數(shù)據(jù)中學(xué)到的，從而避免了在人臉遮擋檢測(cè)過(guò)程進(jìn)行特征抽取算法的選擇。因此，利用深度學(xué)習(xí)技術(shù)來(lái)提高人臉遮擋檢測(cè)的精度是一種可行的思路。然而相關(guān)研究工作還沒(méi)有引起關(guān)注，在本文寫(xiě)作過(guò)程中才檢索到一篇基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉遮擋檢測(cè)的論文[39]。3.1算法框架臉部局部特征中比較明顯的部位有眼睛、鼻子和嘴，由于這些特征的形狀、大小和結(jié)構(gòu)上的差異使得人臉千差萬(wàn)別。這些局部特征可作為人臉檢測(cè)的重要特征。而眼睛和嘴巴是最經(jīng)常被遮擋的器官，因此，本文主要考慮檢測(cè)人臉部眼睛和嘴巴的遮擋。本章提出通過(guò)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)來(lái)定位人頭，在此基礎(chǔ)上分別利用眼睛和嘴巴的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)人臉遮擋情況，有效利用深度學(xué)習(xí)結(jié)構(gòu)的自主學(xué)習(xí)能力，克服單一低層特征判別力較差的缺點(diǎn)。本章基于Caffel40]框架的人臉遮擋檢測(cè)采集靜態(tài)二維圖像進(jìn)行級(jí)聯(lián)網(wǎng)絡(luò)的人頭檢測(cè)，同時(shí)以卷積神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)眼睛和嘴巴特征，分別進(jìn)行眼睛檢測(cè)和嘴巴檢測(cè)。為了加快檢測(cè)速度和檢測(cè)準(zhǔn)確率，本章各個(gè)部分的檢測(cè)網(wǎng)絡(luò)均有兩個(gè)浙江工業(yè)大學(xué)碩士學(xué)位論文卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)而成，其中第一級(jí)網(wǎng)絡(luò)主要是清除大部分虛警區(qū)域，確定檢測(cè)的目標(biāo)區(qū)域。眼睛檢測(cè)第一級(jí)人頭檢測(cè)第一級(jí)人頭檢測(cè)人頭檢測(cè)第二級(jí)人頭檢測(cè)第一級(jí)眼睛檢測(cè)第一級(jí)嘴巴檢測(cè)第二級(jí)眼睛檢測(cè)第二級(jí)嘴巴檢測(cè)圖3-1遮擋檢測(cè)算法框架嘴巴檢測(cè)Fig3-1Algorithmframewor3.2人頭檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)人頭檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)如圖3-2所示，此網(wǎng)絡(luò)結(jié)構(gòu)輸入圖像為灰度圖，為了快速排除非人頭區(qū)域，第一級(jí)網(wǎng)絡(luò)輸入樣本大小為16×16,經(jīng)過(guò)一個(gè)卷積層和一個(gè)池化層以及一個(gè)全連接層，最后進(jìn)行人頭/非人頭的兩類(lèi)分類(lèi)；而第二級(jí)網(wǎng)絡(luò)為了準(zhǔn)確定位人頭區(qū)域，其網(wǎng)絡(luò)結(jié)構(gòu)較之第一級(jí)網(wǎng)絡(luò)較為復(fù)雜，其輸入圖像大小為32×32,在第一級(jí)網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)卷積層，為了兼顧圖像的全局特征和局部特征，池化層與第二個(gè)卷積層同時(shí)連接至全連接層，具體主要處理過(guò)程包括第一級(jí)人頭檢測(cè)和第二級(jí)人頭檢測(cè)。(1)輸入16×16錯(cuò)誤!未找到引用源。的灰度圖像進(jìn)入網(wǎng)絡(luò)；(2)對(duì)圖像進(jìn)行3×3錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為1的卷積操作，得到16個(gè)14×14錯(cuò)誤!未找到引用源。的特征圖；(3)以Relu函數(shù)進(jìn)行激活操作，并對(duì)激活操作后的特征數(shù)據(jù)進(jìn)行歸一化處理進(jìn)行4×4錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為2的池化操作，得到16個(gè)6×6錯(cuò)浙江工業(yè)大學(xué)碩士學(xué)位論文(4)與128個(gè)神經(jīng)元全連接；(5)128個(gè)神經(jīng)元進(jìn)行Relu方法激活，最后進(jìn)行Softmax二類(lèi)分類(lèi)。這樣可以快速有效地排除虛警區(qū)域，大致定位到人頭區(qū)域。3.2.2第二級(jí)人頭檢測(cè)過(guò)程經(jīng)第一級(jí)篩選得到的區(qū)域，進(jìn)入第二級(jí)網(wǎng)絡(luò)進(jìn)行進(jìn)一步判斷，其具體過(guò)程是：(1)為了對(duì)人頭區(qū)域的準(zhǔn)確定位，其輸入圖像會(huì)比第一級(jí)網(wǎng)絡(luò)稍大些，第一級(jí)人頭檢測(cè)網(wǎng)絡(luò)以大小為32×32錯(cuò)誤!未找到引用源。的灰度圖像為輸入；(2)對(duì)圖像進(jìn)行5×5錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為1的卷積操作，得到20個(gè)28×28錯(cuò)誤!未找到引用源。的特征圖；(3)以Relu函數(shù)進(jìn)行激活操作，隨后進(jìn)行4×4錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為2的池化操作，得到20個(gè)13×13錯(cuò)誤!未找到引用源。的特征圖；(4)對(duì)歸一化處理后的采樣數(shù)據(jù)進(jìn)行5×5錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為2的卷積操作，得到40個(gè)5×5錯(cuò)誤!未找到引用源。的特征圖；(5)為了有效提取圖像的全局特征和局部特征，將池化層輸出與第二層歸一化處理后的特征同時(shí)與64個(gè)神經(jīng)元全連接；(6)得到128維特征，并對(duì)激活操作后的特征進(jìn)行二類(lèi)分類(lèi)。全連接分類(lèi)6池化Pooling卷積激活Relu(a)第一級(jí)人頭檢測(cè)網(wǎng)絡(luò)RelulRelul5歸一化Norm25卷積卷積*13歸一化Norml*13輸入全連接輸入全連接激活分類(lèi)Relu2Pooling(b)第二級(jí)人頭檢測(cè)網(wǎng)絡(luò)浙江工業(yè)大學(xué)碩士學(xué)位論文圖3-2人頭檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)Fig3-2Cascadednetworkofheaddetection3.3眼睛檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)眼睛檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)如圖3-3所示，其中(a)為眼睛檢測(cè)的第一級(jí)網(wǎng)絡(luò)，(b)為其第二級(jí)網(wǎng)絡(luò)，可以發(fā)現(xiàn)第二級(jí)網(wǎng)絡(luò)是在第一級(jí)網(wǎng)絡(luò)的基礎(chǔ)上再增加了一個(gè)卷積和池化組合。為了加快對(duì)檢測(cè)到人頭的眼睛檢測(cè)，眼睛檢測(cè)均在歸一化為[120,120]的人頭圖像中進(jìn)行，其中為了增加網(wǎng)絡(luò)提取到更多的眼睛特征信息，以大小為25×25的彩色眼睛圖像作為輸入眼睛檢測(cè)網(wǎng)絡(luò)的樣本，具體主要處理過(guò)程包括第一級(jí)眼睛檢測(cè)網(wǎng)絡(luò)和第二級(jí)眼睛檢測(cè)網(wǎng)絡(luò)。3.3.1第一級(jí)眼睛檢測(cè)過(guò)程(1)對(duì)輸入圖像進(jìn)行5×5錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為2的卷積操作，得到9個(gè)11×11錯(cuò)誤!未找到引用源。的特征圖；(2)以Relu函數(shù)進(jìn)行激活操作，并對(duì)激活操作后的特征數(shù)據(jù)進(jìn)行歸一化處理，進(jìn)行3×3錯(cuò)誤!未找到引用源。大小、步長(zhǎng)為1的池化操作，得到9個(gè)9×9錯(cuò)誤!未找到引用源。的特征圖；(3)與96個(gè)神經(jīng)元全連接；96個(gè)神經(jīng)元進(jìn)行Relu方法激活，最后進(jìn)行Softmax二分類(lèi)。這樣可以快速有效地排除虛警區(qū)域，大致定位到眼睛區(qū)域。輸入卷積激活歸一化Norm1池化分類(lèi)全連接激活分類(lèi)全連接(a)眼睛檢測(cè)第一級(jí)網(wǎng)絡(luò)浙江工業(yè)大學(xué)碩士學(xué)位論文池化Pooling13池化6歸一化6激活Relul卷積6卷積Relul歸一化Norm1全連接2Relu3(b)眼睛檢測(cè)第二級(jí)網(wǎng)絡(luò)圖3-3眼睛檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)Fig3-3Cascadednetworkofeyedetection3.3.2第二級(jí)眼睛檢測(cè)過(guò)程經(jīng)第一級(jí)篩選得到的區(qū)域，進(jìn)入第二級(jí)網(wǎng)絡(luò)進(jìn)行進(jìn)一步判斷，為了準(zhǔn)確檢測(cè)給定人頭中是否存在未遮擋的眼睛，第二級(jí)網(wǎng)絡(luò)在第一級(jí)網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)4×4大小、步長(zhǎng)為1的卷積操作，并且對(duì)卷積后的特征進(jìn)行Relu函數(shù)進(jìn)行激活以及歸一化操作，然后以2×2大小、步長(zhǎng)為2對(duì)特征進(jìn)行采樣操作，最終采樣后的特征與96個(gè)神經(jīng)元進(jìn)行全連接，進(jìn)行Softmax二分類(lèi)。3.4嘴巴檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)類(lèi)似于人頭檢測(cè)和眼睛檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)，為了判斷檢測(cè)得到的人頭是否存在嘴巴遮擋，采用的策略是檢測(cè)給定的檢測(cè)人頭中是否有未遮擋的嘴巴，如圖3-4所示為嘴巴檢測(cè)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似于人頭檢測(cè)網(wǎng)絡(luò)。全連接激活4卷積2分類(lèi)輸入(a)第一級(jí)嘴巴檢測(cè)網(wǎng)絡(luò)浙江工業(yè)大學(xué)碩士學(xué)位論文53輸入卷積池化卷積池化卷積Conv1Pooling1Conv2PoolingConv3全連接分類(lèi)(b)第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)圖3-4嘴巴檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)Fig3-4Cascadednetworkofmouthdetection3.5級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練庫(kù)由于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)需要較大數(shù)量的樣本，本文在訓(xùn)練人頭網(wǎng)絡(luò)時(shí)主要采用CACD2000數(shù)據(jù)庫(kù)以及中科院的AR公開(kāi)人頭數(shù)據(jù)庫(kù)，根據(jù)其給定的特征標(biāo)定點(diǎn)，截取訓(xùn)練所需的人頭樣本，負(fù)樣本主要為網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片，以及動(dòng)物世界視頻中截取的圖片，第二級(jí)網(wǎng)絡(luò)的負(fù)樣本為第一級(jí)網(wǎng)絡(luò)測(cè)試得到的誤判樣本。同樣的，眼睛和嘴巴網(wǎng)絡(luò)的正樣本為CACD2000數(shù)據(jù)庫(kù)中根據(jù)特征點(diǎn)截取的眼睛和嘴巴作為訓(xùn)練樣本，其第二級(jí)網(wǎng)絡(luò)的負(fù)樣本均來(lái)自第一級(jí)網(wǎng)絡(luò)測(cè)試人頭圖片后得到的誤判樣本組成，所有的訓(xùn)練樣本均根據(jù)訓(xùn)練網(wǎng)絡(luò)要求進(jìn)行歸一化處理。圖3-5、3-6、3-7分別給出了訓(xùn)練三個(gè)級(jí)聯(lián)檢測(cè)網(wǎng)絡(luò)的正樣本和負(fù)樣本的實(shí)例。人頭檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)中，第一級(jí)檢測(cè)網(wǎng)絡(luò)中正樣本根據(jù)給定的特征標(biāo)定點(diǎn)進(jìn)行裁剪，并歸一化到16×16,其中對(duì)中科院AR公開(kāi)數(shù)據(jù)庫(kù)裁剪得到的人頭樣本進(jìn)行了左右翻轉(zhuǎn)，負(fù)樣本則對(duì)網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片，以及動(dòng)物世界視頻中截取的圖片進(jìn)行隨機(jī)裁剪并進(jìn)行歸一化處理，最終得到人頭檢測(cè)訓(xùn)練庫(kù)，共計(jì)正樣本141038例，負(fù)樣本128253例；第二級(jí)檢測(cè)網(wǎng)絡(luò)中正樣本與第一級(jí)訓(xùn)練樣本不同之處在于對(duì)裁剪的圖像歸一化至32×32,負(fù)樣本為第一級(jí)網(wǎng)絡(luò)測(cè)試自然圖像后得到的誤判樣本，共計(jì)負(fù)樣本1532667例。浙江工業(yè)大學(xué)碩士學(xué)位論文(a)兩級(jí)人頭檢測(cè)網(wǎng)絡(luò)訓(xùn)練正樣本樣例(b)第一級(jí)人頭檢測(cè)網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例(c)第二級(jí)人頭檢測(cè)網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例圖3-5人頭檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負(fù)樣本樣例Fig3-5Samplesofcascadednetworkofhead浙江工業(yè)大學(xué)碩士學(xué)位論文(a)兩級(jí)眼睛檢測(cè)網(wǎng)絡(luò)訓(xùn)練正樣本樣例(b)第一級(jí)眼睛檢測(cè)網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例浙江工業(yè)大學(xué)碩士學(xué)位論文(c)第二級(jí)眼鏡檢測(cè)網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例圖3-6眼睛檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負(fù)樣本樣例Fig3-6Samplesofcascadednetworkofeyedetection(a)兩級(jí)嘴巴檢測(cè)網(wǎng)絡(luò)訓(xùn)練正樣本樣例(b)第一級(jí)嘴巴檢測(cè)網(wǎng)絡(luò)訓(xùn)練負(fù)樣本樣例圖3-7嘴巴檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)訓(xùn)練正、負(fù)樣本樣例Fig3-7Samplesofcascadednetworkofmouthdetection眼睛檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)中，第一級(jí)檢測(cè)網(wǎng)絡(luò)中正樣本根據(jù)給定的特征標(biāo)定點(diǎn)進(jìn)行裁剪，得到左眼和右眼，并歸一化到25×25,負(fù)樣本則對(duì)網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片，動(dòng)物世界視頻中截取的圖片以及小部分對(duì)人臉?lè)茄劬^(qū)域隨機(jī)截取的圖片和眼睛遮擋圖片，同樣對(duì)截取的圖片進(jìn)行歸一化處理，最終得到第一級(jí)眼睛檢測(cè)訓(xùn)練庫(kù)，共計(jì)正樣本154056例，負(fù)樣本240558例；第二級(jí)檢測(cè)網(wǎng)絡(luò)中正樣本與第一級(jí)訓(xùn)練樣本相同，負(fù)樣本則為第一級(jí)網(wǎng)絡(luò)測(cè)試得到的誤判樣本組成。嘴巴檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)中訓(xùn)練樣本與眼睛檢測(cè)網(wǎng)絡(luò)類(lèi)似，其中第一級(jí)檢測(cè)網(wǎng)絡(luò)中正樣本根據(jù)給定的特征標(biāo)定點(diǎn)進(jìn)行裁剪，并歸一化到32×64,負(fù)樣本為隨機(jī)截取網(wǎng)絡(luò)上搜索得到的自然風(fēng)景、古跡、植物圖片并進(jìn)行歸一化處理，最終得到第一浙江工業(yè)大學(xué)碩士學(xué)位論文級(jí)嘴巴檢測(cè)訓(xùn)練庫(kù)，共計(jì)正、負(fù)樣本201876例；第二級(jí)檢測(cè)網(wǎng)絡(luò)中正樣本與第一級(jí)訓(xùn)練樣本相同，負(fù)樣本則為第一級(jí)網(wǎng)絡(luò)測(cè)試得到的誤判樣本組成。3.6測(cè)試結(jié)果圖3-8為人臉遮擋檢測(cè)流程圖，如圖所示，首先獲得視頻圖像。將圖像歸一化，并且復(fù)制兩份，一份用于人頭檢測(cè)，另一份根據(jù)人頭檢測(cè)出的人臉區(qū)域，截取出人臉，對(duì)此人臉進(jìn)行眼睛和嘴巴的檢測(cè)。先進(jìn)行人頭檢測(cè)，將圖像做灰度處理，并且判斷亮暗，做適當(dāng)?shù)木饣幚?，然后以滑?dòng)窗口的形式將窗口輸入人頭檢測(cè)級(jí)聯(lián)網(wǎng)絡(luò)檢測(cè)人頭。對(duì)檢測(cè)到的人頭窗口做聚類(lèi)分析得出最佳的人頭窗口區(qū)域。將此區(qū)域坐標(biāo)傳給第二份原圖像(彩色圖),截取出人頭區(qū)域，對(duì)此區(qū)域進(jìn)行亮暗判斷，若過(guò)亮或過(guò)暗，做Gamma變換，然后分別進(jìn)入眼睛級(jí)聯(lián)網(wǎng)絡(luò)與嘴巴級(jí)聯(lián)網(wǎng)絡(luò)檢測(cè)眼睛和嘴巴。若沒(méi)檢測(cè)到眼睛或者嘴巴，則認(rèn)為眼睛或者嘴巴被遮擋。開(kāi)始開(kāi)始視頻圖像獲取圖像歸一化圖片2灰度化人頭截取并歸一化判斷全局亮度RGB2HSV過(guò)亮或過(guò)暗?均衡化處理沒(méi)檢測(cè)到人頭否人頭?坐標(biāo)聚類(lèi)分析是寸亮度判斷過(guò)亮或過(guò)暗?是Gamma變換眼睛?嘴巴?是嘴巴被遮擋眼睛被遮擋圖像1否否浙江工業(yè)大學(xué)碩士學(xué)位論文圖3-8人臉遮擋檢測(cè)流程圖Fig3-8Flowchartoffaceocclusiondetection表3-1為AR庫(kù)上算法測(cè)試結(jié)果。AR庫(kù)人臉圖片總數(shù)為1899張，其中眼睛被遮擋圖片數(shù)量459張，嘴巴被遮擋數(shù)量547張，其余人臉圖片無(wú)遮擋。由表3-1可見(jiàn)，與文獻(xiàn)[50]和文獻(xiàn)[51]比較，本文算法在一定程度上提高了準(zhǔn)確率。文獻(xiàn)[50]對(duì)AR庫(kù)將近兩千張圖片都進(jìn)行了測(cè)試，文獻(xiàn)[51]隨機(jī)抽選AR庫(kù)中100張圖片進(jìn)行測(cè)試，只針對(duì)眼睛遮擋進(jìn)行了檢測(cè)。表3-1AR庫(kù)測(cè)試結(jié)果算法名稱眼睛檢測(cè)準(zhǔn)確率嘴巴檢測(cè)準(zhǔn)確率人臉遮擋檢測(cè)準(zhǔn)確率本文算法投影灰度差算法[51]表3-2自建人臉庫(kù)測(cè)試準(zhǔn)確率算法名稱人頭檢測(cè)準(zhǔn)確率嘴巴檢測(cè)準(zhǔn)確率人臉遮擋檢測(cè)準(zhǔn)確率本文算法表3-2為實(shí)驗(yàn)室自建人臉數(shù)據(jù)庫(kù)，總數(shù)為515張人臉圖片，包括148張無(wú)遮擋人臉圖片，117張眼睛遮擋圖片，139張嘴巴被遮擋圖片，111張眼睛和嘴巴都被遮擋圖片。自建人臉數(shù)據(jù)庫(kù)與AR庫(kù)不同的是，自建數(shù)據(jù)庫(kù)均為彩色圖像，且擁有大量背景信息，口罩和墨鏡樣式多種多樣，拍攝為現(xiàn)實(shí)場(chǎng)景，檢測(cè)流程比在AR庫(kù)上多了先檢測(cè)人頭的步驟，然后進(jìn)行人臉遮擋檢測(cè)。自建人臉庫(kù)樣本舉例如圖3-9所示。人臉遮擋檢測(cè)準(zhǔn)確率與在AR庫(kù)上相似，說(shuō)明本文遮擋檢測(cè)算法就較強(qiáng)的魯棒性，可適應(yīng)多種復(fù)制場(chǎng)景，且單張圖片檢測(cè)平均速度為1112ms,可投入實(shí)際場(chǎng)景使用。浙江工業(yè)大學(xué)碩士學(xué)位論文圖3-9自建人臉測(cè)試庫(kù)3.7本章小結(jié)本章詳細(xì)敘述了基于卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋檢測(cè)算法，該檢測(cè)流程首先對(duì)采集圖像進(jìn)行人頭檢測(cè)，然后對(duì)檢測(cè)到的人頭檢測(cè)進(jìn)行眼睛和嘴巴檢測(cè)，以判斷采集的圖像是否存在遮擋情況。在用于檢測(cè)人頭、眼睛和嘴巴的級(jí)聯(lián)網(wǎng)絡(luò)中，第一級(jí)網(wǎng)絡(luò)主要是清除大部分虛景區(qū)域，確定檢測(cè)目標(biāo)的大致范圍；第二級(jí)網(wǎng)絡(luò)對(duì)第一級(jí)篩選得到的區(qū)域再次進(jìn)行判斷，得到真正的目標(biāo)區(qū)域。從實(shí)驗(yàn)結(jié)果上看在不同的場(chǎng)景不同款式的墨鏡口罩，不同的拍攝工具也可以取得不錯(cuò)的識(shí)別率，具有一定的通用性。浙江工業(yè)大學(xué)碩士學(xué)位論文第4章智能人臉考勤系統(tǒng)4.1系統(tǒng)設(shè)計(jì)人臉遮擋檢測(cè)技術(shù)通常作為智能監(jiān)控系統(tǒng)或其他應(yīng)用系統(tǒng)的一部分，本章把本文提出的人臉遮擋檢測(cè)技術(shù)集成到智能人臉考勤系統(tǒng)中，實(shí)現(xiàn)了一個(gè)基于人臉識(shí)別的智能考勤系統(tǒng)。該智能人臉考勤系統(tǒng)分為人臉遮擋檢測(cè)和人臉識(shí)別兩個(gè)主要功能模塊，如圖4-1所示?；谌四樧R(shí)別的智能考勤系統(tǒng)主要用于身份認(rèn)證，防止陌生人和其他非法用戶的入侵，同時(shí)可以免去繁瑣的密碼輸入，交互更加快捷方便。此軟件需配合攝像頭使用，要使用人臉認(rèn)證。注冊(cè)前，用戶需打開(kāi)攝像頭，此時(shí)攝像頭采集的實(shí)時(shí)畫(huà)面會(huì)顯示在軟件畫(huà)面上，當(dāng)畫(huà)面中有人臉時(shí)智能考勤軟件會(huì)將人臉圖像用方框框出。用戶使用時(shí)需先進(jìn)行注冊(cè)，注冊(cè)時(shí)用戶需輸入姓名?！信息，然后正面面對(duì)攝像頭，采集人臉圖像存入數(shù)據(jù)庫(kù)供今后認(rèn)證時(shí)比對(duì)使用，注冊(cè)過(guò)程大約會(huì)持續(xù)5-10秒。人人臉識(shí)別模塊人臉遮擋檢測(cè)模塊圖4-1智能人臉考勤系統(tǒng)功能模塊圖Fig4-1Intelligentfaceattendancesystem浙江工業(yè)大學(xué)碩士學(xué)位論文注冊(cè)時(shí)可以適當(dāng)增加人臉表情變化，適當(dāng)調(diào)整面對(duì)攝像頭的角度，以增加人臉認(rèn)證的成功率。進(jìn)行人臉認(rèn)證時(shí)用戶正面面對(duì)攝像頭，采集人臉圖像進(jìn)行認(rèn)證。假如識(shí)別到人臉有遮擋則會(huì)提示人臉有遮擋，然后要求用戶重新采集認(rèn)證人臉圖像。基于人臉識(shí)別的智能考勤系統(tǒng)考勤系統(tǒng)流程如圖4-2所示。用戶登記人臉人臉遮擋檢測(cè)否人臉識(shí)別是考勤成功考勤失敗結(jié)束重新登記圖4-2智能人臉考勤系統(tǒng)流程Fig4-2Flowchartofintellig4.2人臉識(shí)別模塊對(duì)于一張自由拍攝的人臉圖像，在獲取人臉特征之前，需要首先根據(jù)人臉對(duì)圖像進(jìn)行歸一化操作，包括平移、旋轉(zhuǎn)、縮放等，將人臉置于一個(gè)相對(duì)固定的角浙江工業(yè)大學(xué)碩士學(xué)位論文度和位置，去除因拍攝條件引起的干擾。使用經(jīng)過(guò)歸一化操作的圖像作為深度網(wǎng)絡(luò)的輸入訓(xùn)練，也可以減小樣本空間的自由度，防止網(wǎng)絡(luò)容量不足而導(dǎo)致不收斂的情況。進(jìn)行人臉歸一化操作，通常利用人臉關(guān)鍵點(diǎn)的定位算法。首先得到圖像中人臉關(guān)鍵點(diǎn)部位的坐標(biāo)，用這些坐標(biāo)以及一組標(biāo)準(zhǔn)化的關(guān)鍵點(diǎn)坐標(biāo)，將人臉歸一化到標(biāo)準(zhǔn)化的坐標(biāo)上。本文使用了Dlib開(kāi)源庫(kù)[44]中程序計(jì)算人臉檢測(cè)和人臉歸一化，歸一化之后的圖像直接作為深度網(wǎng)絡(luò)的輸入，歸一化前后的圖像如圖4-3所(a)歸一化前圖4-3人臉歸一化Fig4-3Facenormalization4.2.1基于深度學(xué)習(xí)的人臉識(shí)別算法特征提取的網(wǎng)絡(luò)如圖4-4(a)所示，主要包括4個(gè)卷積層以及相應(yīng)的激活和池化層。輸入為110×110的RGB彩色圖像，第1層卷積層采用了步長(zhǎng)為2的方式，并且在激活層之后帶有一個(gè)5×5尺寸的歸一化操作，歸一化參數(shù)為α=0.0001,β=0.75。最后計(jì)算特征時(shí)將第3層的特征和第4層的特征進(jìn)行串聯(lián)并輸入一個(gè)全連接層，這樣得到的特征同時(shí)帶有最深層和較深層的特征信息，這一點(diǎn)對(duì)于人臉圖像這種帶有不同層次特征的圖像有非常好的效果。最后的輸出特征為1024維訓(xùn)練特征的網(wǎng)絡(luò)如圖4-4(b)所示，同時(shí)使用分類(lèi)信號(hào)和驗(yàn)證信號(hào)。分類(lèi)信號(hào)浙江工業(yè)大學(xué)碩士學(xué)位論文用特征層連接一個(gè)全連接層和一個(gè)Softmax回歸層，從而進(jìn)行一個(gè)多分類(lèi)任務(wù)訓(xùn)練，其中每一個(gè)分類(lèi)為同一個(gè)人的人臉，分類(lèi)信號(hào)下得到的代價(jià)函數(shù)為分類(lèi)代價(jià)輸入串聯(lián)步長(zhǎng)2Conv3全連接Fc激活Relu激活Relu激活Relu激活Relu特征層(a)特征提取的網(wǎng)絡(luò)示意圖人臉圖像1人臉圖像1輸入1代價(jià)函數(shù)代價(jià)函數(shù)特征網(wǎng)絡(luò)1024回歸回歸全連接全連接人臉圖像2特征網(wǎng)絡(luò)代價(jià)函數(shù)比對(duì)標(biāo)簽特征1輸入2特征2(b)訓(xùn)練特征的網(wǎng)絡(luò)示意圖圖4-4訓(xùn)練網(wǎng)絡(luò)示意圖驗(yàn)證信號(hào)使用Siamese網(wǎng)絡(luò)訓(xùn)練結(jié)構(gòu)，同時(shí)輸入兩個(gè)圖像樣本，兩個(gè)特征以及比對(duì)標(biāo)簽一起輸入到Contrastive_Loss層，得到的代價(jià)函數(shù)為驗(yàn)證代價(jià)函數(shù)Loss_verify。浙江工業(yè)大學(xué)碩士學(xué)位論文—32—總的代價(jià)函數(shù)為分類(lèi)代價(jià)函數(shù)和驗(yàn)證代價(jià)函數(shù)的綜合，如公式(4.1)所示。其中λ是一個(gè)可調(diào)的超參數(shù)，用以控制分類(lèi)代價(jià)函數(shù)和驗(yàn)證代價(jià)函數(shù)的權(quán)重，本實(shí)驗(yàn)中λ取值為1。4.2.2PCA降維PCA是一種將多個(gè)變量通過(guò)線性變換以選出較少個(gè)數(shù)重要變量的一種多元統(tǒng)計(jì)分析方法。PCA算法的基本思想是設(shè)法將原來(lái)眾多具有一定相關(guān)性的變量，重新組合成一組新的互相無(wú)關(guān)的綜合指標(biāo)來(lái)代替原來(lái)的變量。通常數(shù)學(xué)上的處理就是將原來(lái)的多個(gè)變量作線性組合，作為新的綜合變量。PCA算法的基本步驟如下：4.2.3實(shí)驗(yàn)結(jié)果訓(xùn)練樣本選用中科院提供的互聯(lián)網(wǎng)人臉庫(kù)，共包含10575人的49萬(wàn)張人臉圖像樣本，每個(gè)人的樣本個(gè)數(shù)為10到200張不等。從中取出樣本個(gè)數(shù)最多的7000浙江工業(yè)大學(xué)碩士學(xué)位論文個(gè)人用于深度網(wǎng)絡(luò)的訓(xùn)練，剩余的樣本用于PCA訓(xùn)練，最終結(jié)果在LFWl21庫(kù)上進(jìn)行準(zhǔn)確度測(cè)試。測(cè)試標(biāo)準(zhǔn)使用LFW庫(kù)[2]上非限制外部帶標(biāo)簽數(shù)據(jù)的測(cè)試標(biāo)準(zhǔn)，測(cè)試集分為10組，每一組包含300對(duì)正樣本和300對(duì)負(fù)樣本，每一對(duì)樣本為兩張圖片，用交叉驗(yàn)證的方法，對(duì)于每一組，使用其他9組的樣本選取一個(gè)使準(zhǔn)確率達(dá)到最大的最佳閾值，并用該閾值對(duì)當(dāng)前組進(jìn)行準(zhǔn)確度測(cè)量。準(zhǔn)確度的計(jì)算公其中TP為識(shí)別結(jié)果正確的正樣本個(gè)數(shù)，TN為識(shí)別結(jié)果正確的負(fù)樣本個(gè)數(shù)，S為全部樣本個(gè)數(shù)。實(shí)驗(yàn)測(cè)試了不同相似度方式使用和不使用PCA下的測(cè)試結(jié)果，測(cè)試結(jié)果列于表4-1中。算法性能的另一個(gè)度量指標(biāo)是ROC曲線，ROC曲線即為虛警率-擊中率曲線，其中虛警率FPR表示被錯(cuò)誤判斷為正的負(fù)樣本，擊中率TPR表示正確判斷為正的正樣本，通過(guò)改變閾值得到一系列的FPR和TPR的對(duì)應(yīng)關(guān)系并作出的曲圖4-5所示，AUC結(jié)果列于表4-1中。表4-1準(zhǔn)確度和AUC無(wú)PCA降維，歐氏距離無(wú)PCA降維，余弦距離PCA降維，歐氏距離PCA降維，余弦距離精確度Accuracy(%)AUC(%)浙江工業(yè)大學(xué)碩士學(xué)位論文圖4-54.3系統(tǒng)實(shí)現(xiàn)系統(tǒng)有人臉注冊(cè)、簽到功能。為了方便描述，將本章所述的智能人臉考勤系統(tǒng)簡(jiǎn)稱為“人臉通”,該系統(tǒng)具體使用說(shuō)明如下：(1)系統(tǒng)主界面圖4-6為人臉通主界面圖，該系統(tǒng)分為兩個(gè)功能，一個(gè)注冊(cè)，寫(xiě)入個(gè)人信息和注冊(cè)人臉信息，注冊(cè)完之后可以簽到，簽到則為認(rèn)證人臉。在使用系統(tǒng)時(shí)請(qǐng)用戶盡量保持畫(huà)面背景簡(jiǎn)單，如果畫(huà)面背景過(guò)于復(fù)雜可能會(huì)引起人臉的誤判。圖4-6人臉通主界面浙江工業(yè)大學(xué)碩士學(xué)位論文(2)人臉注冊(cè)陸洋陸洋否置為管理類(lèi)確定獲取取消確定圖4-7人臉通注冊(cè)圖4-7為注冊(cè)前輸入個(gè)人信息圖，寫(xiě)入姓名·身份證號(hào)碼，身份證號(hào)碼將做真實(shí)性校驗(yàn)，還可以設(shè)置管理員。點(diǎn)擊獲取則可以通過(guò)刷身份證讀卡器獲得姓名輸入個(gè)人信息后開(kāi)始人臉注冊(cè)，此界面為注冊(cè)時(shí)界面。人臉注冊(cè)時(shí)注意正面面對(duì)攝像頭，并且在左上角人臉關(guān)鍵點(diǎn)顯示位置準(zhǔn)確然后確定保存圖片，如圖4-8所示。圖4-8人臉注冊(cè)界面圖浙江工業(yè)大學(xué)碩士學(xué)位論文(3)人臉認(rèn)證簽到圖4-9簽到界面圖Fig4-9FaceauthenticationofFacePassSystem用戶點(diǎn)擊簽到按鈕則進(jìn)入人臉認(rèn)證，認(rèn)證成功則提示驗(yàn)證到的注冊(cè)人姓名··好。并且將考勤時(shí)間和人臉數(shù)據(jù)記錄到后臺(tái)數(shù)據(jù)庫(kù)中，如圖4-9所示。假如簽到時(shí)人臉被墨鏡遮擋則會(huì)提示墨鏡遮擋，此時(shí)認(rèn)證不能通過(guò)，如圖4-10所示。假如簽到時(shí)人臉被口罩遮擋則會(huì)提示口罩遮擋，此時(shí)認(rèn)證不能通過(guò)，如圖4-11所示。以上就是系統(tǒng)的全部功能，可以用作考勤機(jī)使用，后期可以完善后臺(tái)，方便統(tǒng)計(jì)考勤信息等。圖4-10人臉被墨鏡遮擋Fig4-10Faceoc浙江工業(yè)大學(xué)碩士學(xué)位論文圖4-11人臉被口罩遮擋4.4本章小結(jié)本章詳細(xì)敘述了一個(gè)智能人臉考勤系統(tǒng)，該系統(tǒng)集成了本文所闡述的基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉遮擋算法。當(dāng)前該系統(tǒng)能夠?qū)崿F(xiàn)基于人臉認(rèn)證的考勤功能，能夠檢測(cè)認(rèn)證過(guò)程中考勤員工的遮擋現(xiàn)象，并給予相關(guān)處理。浙江工業(yè)大學(xué)碩士學(xué)位論文第5章結(jié)論與展望在安防領(lǐng)域，為了逃避安防系統(tǒng)中監(jiān)控?cái)z像頭的監(jiān)視，進(jìn)而實(shí)現(xiàn)其逃避法律處罰的目的，很多違法犯罪嫌疑人使用墨鏡、圍巾、口罩或者直接蒙面的方式來(lái)刻意遮擋自己的人臉特征，這種情況下的遮擋給嫌疑人抓捕和案件偵破帶來(lái)了困難。如果能夠利用人臉遮擋檢測(cè)算法及時(shí)發(fā)現(xiàn)不法人員，然后自動(dòng)向監(jiān)控中心等部門(mén)報(bào)警，構(gòu)建預(yù)警機(jī)制，則可以有效的阻止犯罪，降低犯罪率。尤其是報(bào)警并阻止蒙面人進(jìn)入銀行、政府區(qū)域、商場(chǎng)或者其他公共場(chǎng)所能有效的阻止犯罪。目前關(guān)于人臉遮擋檢測(cè)對(duì)于人臉的拍攝角度、采集過(guò)程中的光照、遮擋物類(lèi)型的多變性以及場(chǎng)景的復(fù)雜性等魯棒性較弱，無(wú)法同時(shí)兼顧多種影響因素，很難滿足實(shí)際要求。由于深度學(xué)習(xí)得到的人臉特征表達(dá)具有手工特征表達(dá)所不具備的重要特性，例如它是中度稀疏的、對(duì)人臉身份和人臉屬性有很強(qiáng)的選擇性、對(duì)局部遮擋具有良好的魯棒性[35],因此，本文利用深度學(xué)習(xí)技術(shù)來(lái)研究人臉遮擋檢測(cè)問(wèn)題，主要工作包括：(1)提出了一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的遮擋人臉檢測(cè)算法，該檢測(cè)流程首先利用人頭級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)對(duì)采集圖像進(jìn)行人頭檢測(cè)，然后對(duì)檢測(cè)到的人頭分別利用眼睛和嘴巴級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)進(jìn)行眼睛和嘴巴檢測(cè)，以判斷采集的圖像是否存在遮擋情況。在用于檢測(cè)人頭、眼睛和嘴巴的級(jí)聯(lián)網(wǎng)絡(luò)中，第一級(jí)網(wǎng)絡(luò)主要是清除大部分虛警區(qū)域，確定檢測(cè)目標(biāo)的大致范圍；第二級(jí)網(wǎng)絡(luò)對(duì)第一級(jí)篩選得到的區(qū)域再次進(jìn)行判斷，得到真正的目標(biāo)區(qū)域。所實(shí)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)在CACD2000數(shù)據(jù)庫(kù)和中科院的人頭數(shù)據(jù)庫(kù)上取得了令人滿意的效果。(2)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)集成基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的遮擋人臉檢測(cè)算法和基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法的智能考勤系統(tǒng)，能夠?qū)崿F(xiàn)基于人臉認(rèn)證的考勤功能，能夠檢測(cè)認(rèn)證過(guò)程中考勤員工的遮擋現(xiàn)象，并給予相關(guān)處理。本文所設(shè)計(jì)并實(shí)現(xiàn)的基于深度學(xué)習(xí)的人臉遮擋檢測(cè)和識(shí)別算法在實(shí)驗(yàn)數(shù)據(jù)集上取得了顯著效果。但當(dāng)前所實(shí)現(xiàn)的算法只是對(duì)眼睛和嘴巴進(jìn)行遮擋檢測(cè)。而在實(shí)際應(yīng)用中，遮擋類(lèi)型多樣、位置隨機(jī)、大小不確定，導(dǎo)致目前所實(shí)現(xiàn)的基于深度學(xué)習(xí)的遮擋人臉檢測(cè)和識(shí)別算法還需要進(jìn)一步改善以滿足實(shí)際應(yīng)用。依托本文所設(shè)計(jì)并實(shí)現(xiàn)的人臉通考勤系統(tǒng)目前功能還比較簡(jiǎn)單，需要進(jìn)一步完善與豐富系統(tǒng)的功能。浙江工業(yè)大學(xué)碩士學(xué)位論文[1]劉丹.分塊SRC算法在遮擋人臉圖像識(shí)別中的應(yīng)用研究[D].[2]GaryB.Huang,ManuRamesh,TamaraBerg,andErikLearned-Miller.Labeledfthewild:adatabaseforstudyingfacerecognitioninunconstrainedenvironments.UniveofMassachusetts,Amherst,TechnicalReport07-49,October,2007.[4]歐衛(wèi)華.基于稀疏表示和非負(fù)矩陣分解的部分遮擋人臉識(shí)別研究[D].武漢：華中科技大學(xué)，[6]袁寶華.異常人臉的定位與識(shí)別[D].南京：南京理工大學(xué)，2005[7]吳雪平.基于與或圖的異常人臉檢測(cè)技術(shù)研究[D].北京：北京理工大學(xué)，2011[9]陳瓊.基于計(jì)算機(jī)視覺(jué)的ATM操作的異常行為檢測(cè)[D].西安電子科技大學(xué)，2012[10]宋丙菊.基于ATM機(jī)的用戶異常行為識(shí)別的研究[D].蘭州理工大學(xué)，2012[12]DawTungLin,MingJuLiu.Faceocclusionsurveillance[C].ProcofFirstPacificRimSymposiumAdvancesinImageandVideoapplicationswithexceptionalocclusionhandling[C].ProcofIEEEComputerSocietyCononComputerVisionandPatternRecdetectioninATM[C].2014InternationalConferenceonAudio,Languageand[16]TimoOjala,MattiPietikainen,DavidHarwood.Acomparativestudyoftexturemeasureswithclassificationbasedonfeatureddistributions.PatterinternationalconferenceonComputerVision,1999:1150-1157JournalofComputerVision,2004,60(2):91-110[19]PaulA.Viola,MichaelJ.Jone[20]ChristopherJ.C.Burges.ATutorialonSupportVectorMachinesfor浙江工業(yè)大學(xué)碩士學(xué)位論文DataMiningandKnowledge[21]YoavFreund,RobertE.Schapire.Adecision-theoreticgeneralizationofon-linelearningandanapplicationtoboosting[J].Journalofcomputerandsystemsciences,1997,55(1):119-139.[22]MartinT.Hagan,HowardB.Demuth,MarkH.Beale,OrlandoDeJesús.Neuralnetworkdesign[M].Boston:PWSPublishingCompany,2014[23]CheYenWen,ShihHsuanChiu,JiunJianLiaw,ChuanPinLu.ThesafetyhelmetdetectionforATM'ssurveillancesystemviathemodifiedHoughtransform[C].SecurityTechnologyIEEE37thAnnual2003InternationalCarnahanConference,2003:364-369.[24]Chen-ChungLiu,Jhen-SyunLiao,Wen-YuanChen,andJi-HongChen.Thefullmotorcyclehelmetdetectionschemeusingcannydetection[C].18thIPPRConferenceonComputerVision,GraphicsandImageProcessing(CVGIP).2005:1104-1110.[25]BoWu,HaizhouAi,RanLiu.Glassesdetectionbyboostingsimplewaveletfeatures[C].The17thInternationalConferenceonPatternRecognition,2004,1:292-295.[26]C.Wen,S.Chiu,Y.Tseng,C.Lu.TheMaskDetectionTechnologyforOccludedFaceAnalysisintheSurveillanceSystem[J]JournalofForensicScience,2005,50(3):1-9.[27]S.Yoon,S.Kee.Detectionofpartiallyoccludedfaceusingsupportvectormachines[C].IAPRConferenceonMachineVisionApplications,2002:546-549.[28]JieChen,ShiguangShan,ShengyeYang,XilinChen,WenGao.ModificationoftheAdaBoost-basedDetectorforPartiallyOccludedFaces[C].18thInternationalConferenceonPatternRecognition,2006,2:516-519.[29]T.Kurita,M.Pic,T.Takahashi.Recognitionanddetectionofoccludedfacesbyaneuralnetworkclassifierwithrecursivedatareconstruction[C].IEEEConferenceonAdvancedVideoandSignalBasedSurveillance,2003:53-58.[30]InhoChoi,DaijinKim.Facialfrauddiscriminationusingdetectionandclassification[C].6thInternationalSymposiumAdvancesinVisualComputing,2010:199-208[31]GahyunKim,JaeKyuSuhr,HoGiJung,JaihieKim.FaceocclusiondetectionbyusingB-splineactivecontourandskincolorinformation[C].The1lthInternationalConferenceonControlAutomationRobotics&Vision(ICARCV),2010:627-632.[35]YiSun,XiaogangWang,XiaoouTang.Deeplylearnedfacerepresentationsaresparse,selective,androbust[C].ProceedingsofIEEEComputerSocietyConferenceonCom