人臉活體檢測關(guān)鍵技術(shù)研究報告

1、. -. . 可修編.1621.381 1 6 4 6TP391公開：_密級：_：_ 單位代碼：_碩士學位論文論文題目：人臉活體檢測關(guān)鍵技術(shù)研究 1111082021*華成學 號：_電路與系統(tǒng)姓 名：_信息科學與工程學院專 業(yè) 名 稱：_王讓定 教授學 院：_指 導 教 師：_論文提交日期：2021年 4月 15日.1A Thesis Submitted to Ningbo University for the Masters DegreeThe Gordian Technique research on Face Liveness DetectionCandidate： Huacheng L

2、iuSupervisors：Professor Rangding WangFaculty of Information Science and EngineeringNingbo UniversityApril15, 2021獨 創(chuàng) 性 聲 明本人重聲明：所呈交的論文是我個人在導師指導下進展的研究工作及取得研究成果。盡我所知，除了文中特別加以標注和致的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫的研究成果，也不包含為獲得大學或其他教育機構(gòu)的學位或證書所使用過的材料。與我一同工作的同志對本研究所做的任何奉獻均已在論文中做了明確的說明并表示了意。假設有不實之處，本人愿意承擔相關(guān)法律責任。簽名：_ 日期

3、：_關(guān)于論文使用授權(quán)的聲明本人完全了解大學有關(guān)保存、使用學位論文的規(guī)定，即：學校有權(quán)保存送交論文的復印件，允許論文被查閱和借閱；學?？梢怨颊撐牡娜炕蚓植咳?，可以采用影印、縮印或其他復制手段保存論文。的論文在解密后應遵循此規(guī)定簽名：_ 導師簽名：_ 日期：_. -. . 可修編.1人臉活體檢測關(guān)鍵技術(shù)研究摘 要人臉識別系統(tǒng)正面臨著照欺騙的威脅,因為一合法身份的照片也可以入侵人臉識別系統(tǒng)。人臉圖像包含著豐富的圖像特征信息，是復雜的機器視覺模式。數(shù)字化的人臉圖像有形狀，紋理，輪廓等一系列信息，可以表征年齡，膚質(zhì)，人臉真?zhèn)?，身份等。比方一?40像素，高320像素大小的RGB圖像，像素維數(shù)可達24

4、0320維，可見它反映一個人的信息是相當豐富的,也可以用來區(qū)分圖像的真?zhèn)?。隨著科學技術(shù)不斷進步，計算機迅速開展，模式識別為圖像取證開創(chuàng)了一片新天地。針對人臉真實圖像和欺騙照片的特征差異，本文用不同方式提取數(shù)字照片的紋理統(tǒng)計信息，研究了鑒別人臉真實性的方法，本文算法只需要采集單圖像就能識別是真實人臉還是欺騙的照片，從獲取的人臉圖像規(guī)律出發(fā)，在人臉識別的活體檢測中取得了良好的性能。(1) DCT變換能夠?qū)⒒铙w真實人臉圖像的大部重要信息映射到DCT域低頻局部，而高頻局部大多為噪聲?？紤]到可以在DCT域?qū)⒏哳l噪聲因素去除，而低頻系數(shù)更好的反映真實人臉與翻拍人臉的差異，提出了將人臉圖像進展均值濾波、直方

5、圖均衡后再提取DCT系數(shù)低頻系數(shù)作為特征，用SVM分類器能很好地將真?zhèn)稳四槄^(qū)分開來。(2) 圖像的紋理特征是場景組織構(gòu)造的真實反映，不同的紋理算子描繪了圖像灰度信息的分布規(guī)律。紋理分析是圖像處理技術(shù)中一種重要的手段。紋理是表征活體真實人與翻拍照片輪廓細節(jié)信息的有效方式，因此選擇適宜的紋理描述算子可以將兩者區(qū)分開。選取灰度共生矩陣，邊緣方向直方圖，LBP等作為圖像特征提取的研究目標。通過實驗分析，提出了基于Tamura紋理特征和LAP紋理等檢測算法，在區(qū)分活體真實人照片與翻拍照片上得了很好的效果。(3) 數(shù)字圖像直方圖在圖像的分析與觀察中占有重要地位，一幅圖像的直方圖描述了不同色階在當前圖像中的

6、比例，反映了色彩的統(tǒng)計規(guī)律，它在圖像模式識別和圖像分割中有著重要意義。在研究了真實人臉照片和假冒的翻拍照片之后，發(fā)現(xiàn)兩類照片直方圖呈現(xiàn)不同分布，因此提出了基于HSV顏色直方圖的活體檢測方法。(4)由于圖像的像素灰度值可構(gòu)成一個矩陣，可以用矩陣的奇異值來描述圖像關(guān)鍵詞：活體檢測，人臉識別， 翻拍照片， 紋理特征的在屬性。奇異值是對矩陣中數(shù)字信息的本質(zhì)反映，而且奇異值對矩陣中的數(shù)字輕微波動并不敏感，具有鏡像穩(wěn)定性、比例不變性、旋轉(zhuǎn)不變性等優(yōu)點，在進展圖像識別時魯棒性更強。經(jīng)實驗發(fā)現(xiàn)，用不同方式提取圖像的奇異值在區(qū)分能力上，也有較大差異。因此本文提出了一種合理的特征提取方式，用來進展活體檢測。The

7、 Gordian Technique Research on Face Liveness DetectionAbstractFace recognition system is under threat, because we can login in a face recognition system by using a face image of the valid user. Face image contains rich information, which is a ple* pattern of machine visions. Digital face image conta

8、ins a series of information, such as shape, te*ture and contour which can be used to characterize the age, skin, identity and etc. For e*ample, a color image, with width of 240 pi*els and height of 320 pi*els, has 230400 dimensions. So it is abundant to reflect the face information. With the continu

9、ous progress of science and technology, the rapid development of puter science, pattern recognition has broken new ground for image forensics. Therefore, it is great significance to authenticate whether the scene of the digital image is authentic.In this paper, according to the difference between re

10、al images and false photos, te*ture and statistical feature are e*tracted in different ways, several algorithms are proposed to identify whether the face in front of the camera is alive or not. The algorithms the paper proposed only utilize a single image to identity. The method proposed in this pap

11、er has been further improved pared to the former method, and showed a good performance. First,discrete cosine transformation can be used to map the import face information to the low frequency of DCT domain. However, there are varieties of noise in the high frequency part of the image. Considering t

12、he noise factor can be eliminated by removing the high frequency part, we propose to use the low-frequency coefficients to serve as feature, and the SVM classifier will be used to classify the face samples. Second,te*ture is one of the most import features for image, which represents the gray level

13、distribution of the pi*els in the neighborhood. Te*ture analysis plays an important role in the image research. Te*ture is an effective way to characterize the difference between the live face and the impostor. So the two class photos can be taken apart by choosing the suitable te*ture descriptor. S

14、elect the gray level co-occurrence matri*(GLCM), HOG ( Histogram of Gradient) of the image as the research target .pared with the other descriptors, The tamura te*ture and LAP te*ture we proposed achieved very good results.Third,the histogram of digital image plays an important role in the analysis

15、and observation of an image. Histogram of an image describes the different color gradations of image, which reflects the statistical law of the color, and it is also very useful in pattern recognition and image segmentation. After heavy researches on the real face photos and fake reproductions of ph

16、otos, we found the two kind of photos show different distribution in histogram, so the algorithm based on HSV color histogram is put forward.Fourth,because the pi*el gray values of the image can be used to form a matri*, the singular values of matri* can be used to describe the inherent attribute of

17、 the image. Singular value reflect the essential rules of an image, and the singular value is stable, scale invariance, rotation invariance and other advantages, which is more robust in pattern recognition . A number of e*periments show that distinguishing ability are tremendous differences when the

18、 singular feature are e*tracted in different ways. This paper presents a reasonable method for feature e*traction, which is used for face liveness detection.Key words：face liveness detection, face recognition, recaptured photos, te*tural features.1目 錄 TOC o 1-3 h z u HYPERLINK l _Toc386394738引言 PAGE

19、REF _Toc386394738 h 1HYPERLINK l _Toc3863947391 緒論 PAGEREF _Toc386394739 h 3HYPERLINK l _Toc3863947401.1 研究背景和研究意義 PAGEREF _Toc386394740 h 3HYPERLINK l _Toc3863947411.2 國外研究現(xiàn)狀 PAGEREF _Toc386394741 h 5HYPERLINK l _Toc386394742基于視頻場景的活體檢測方法 PAGEREF _Toc386394742 h 5HYPERLINK l _Toc386394743基于單照片活體檢測方

20、法 PAGEREF _Toc386394743 h 11HYPERLINK l _Toc386394744多膜態(tài)活體檢測技術(shù) PAGEREF _Toc386394744 h 14HYPERLINK l _Toc386394745研究現(xiàn)狀小結(jié) PAGEREF _Toc386394745 h 15HYPERLINK l _Toc3863947461.3 本課題研究思路及主要容 PAGEREF _Toc386394746 h 16HYPERLINK l _Toc3863947472 圖像數(shù)據(jù)庫構(gòu)建和相關(guān)理論分析 PAGEREF _Toc386394747 h 18HYPERLINK l _Toc38

21、63947482.1用于活體檢測的人臉圖像庫構(gòu)建 PAGEREF _Toc386394748 h 18HYPERLINK l _Toc386394749現(xiàn)有人臉庫介紹 PAGEREF _Toc386394749 h 18HYPERLINK l _Toc386394750活體檢測圖像庫構(gòu)建 PAGEREF _Toc386394750 h 19HYPERLINK l _Toc3863947512.2翻拍圖像與真實人臉圖像生成原理 PAGEREF _Toc386394751 h 20HYPERLINK l _Toc3863947522.3 常用的圖像處理技術(shù) PAGEREF _Toc38639475

22、2 h 21HYPERLINK l _Toc3863947532.3.1 圖像灰度化 PAGEREF _Toc386394753 h 21HYPERLINK l _Toc3863947542.3.2 圖像的直方圖均衡化 PAGEREF _Toc386394754 h 21HYPERLINK l _Toc3863947552.3.3 同態(tài)濾波 PAGEREF _Toc386394755 h 22HYPERLINK l _Toc3863947562.4基于Adaboost的人臉檢測方法 PAGEREF _Toc386394756 h23HYPERLINK l _Toc3863947572.5 SV

23、M分類器理論 PAGEREF _Toc386394757 h 26HYPERLINK l _Toc3863947582.6 本章小結(jié) PAGEREF _Toc386394758 h 28HYPERLINK l _Toc3863947593 基于HSV顏色空間直方圖的活體檢測技術(shù)研究 PAGEREF _Toc386394759 h 29HYPERLINK l _Toc3863947603.1 雙線性插值法 PAGEREF _Toc386394760 h 29HYPERLINK l _Toc3863947613.2 RGB顏色空間到HSV顏色空間轉(zhuǎn)換 PAGEREF _Toc386394761 h

24、 29HYPERLINK l _Toc3863947623.3 基于HSV顏色直方圖活體檢測 PAGEREF _Toc386394762 h 30HYPERLINK l _Toc3863947633.4 實驗效果驗證 PAGEREF _Toc386394763 h 33HYPERLINK l _Toc3863947643.5 本章小結(jié) PAGEREF _Toc386394764 h 35HYPERLINK l _Toc3863947654 基于DCT系數(shù)的活體檢測算法 PAGEREF _Toc386394765 h 36HYPERLINK l _Toc3863947664.1 離散余弦變換 P

25、AGEREF _Toc386394766 h 36HYPERLINK l _Toc3863947674.2 圖像預處理 PAGEREF _Toc386394767 h 37HYPERLINK l _Toc3863947684.3 圖像DCT變換并提取DCT系數(shù) PAGEREF _Toc386394768 h 37HYPERLINK l _Toc3863947694.4數(shù)據(jù)采集與實驗分析 PAGEREF _Toc386394769 h 38HYPERLINK l _Toc3863947704.5 本章小結(jié) PAGEREF _Toc386394770 h 40HYPERLINK l _Toc386

26、3947715 基于SVD和HSV直方圖活體檢測算法 PAGEREF _Toc386394771 h 41HYPERLINK l _Toc3863947725.1 圖像的奇異值提取 PAGEREF _Toc386394772 h 41HYPERLINK l _Toc3863947735.2圖像奇異值特征的優(yōu)點 PAGEREF _Toc386394773 h 42HYPERLINK l _Toc3863947745.2.1 穩(wěn)定性 PAGEREF _Toc386394774 h 42HYPERLINK l _Toc3863947755.2.2 轉(zhuǎn)置不變性 PAGEREF _Toc38639477

27、5 h 42HYPERLINK l _Toc3863947765.2.3 旋轉(zhuǎn)不變性 PAGEREF _Toc386394776 h 42HYPERLINK l _Toc3863947775.2.4 鏡像不變性 PAGEREF _Toc386394777 h 43HYPERLINK l _Toc3863947785.3 基于奇異特征分解的圖像特征提取 PAGEREF _Toc386394778 h 43HYPERLINK l _Toc3863947795.4 實驗 PAGEREF _Toc386394779 h 44HYPERLINK l _Toc3863947805.5 本章小結(jié) PAGER

28、EF _Toc386394780 h 47HYPERLINK l _Toc3863947816 基于Tamura紋理和LAP的活體檢測研究 PAGEREF _Toc386394781 h 49HYPERLINK l _Toc3863947826.1 Tamura紋理特征提取 PAGEREF _Toc386394782 h 49HYPERLINK l _Toc3863947836.1.1 粗糙度 PAGEREF _Toc386394783 h 49HYPERLINK l _Toc3863947846.1.2 比照度 PAGEREF _Toc386394784 h 49HYPERLINK l _T

29、oc386394785方向度 PAGEREF _Toc386394785 h 50HYPERLINK l _Toc3863947866.2 LAP特征提取 PAGEREF _Toc386394786 h 50HYPERLINK l _Toc3863947876.3 LAP與Tamura紋理特征實驗 PAGEREF _Toc386394787 h 52HYPERLINK l _Toc3863947886.4本章小結(jié)PAGEREF _Toc386394788 h 53HYPERLINK l _Toc3863947897 總結(jié)與展望 PAGEREF _Toc386394789 h 54HYPERLI

30、NK l _Toc3863947907.1本文工作總結(jié) PAGEREF _Toc386394790 h 54HYPERLINK l _Toc3863947917.2研究工作展望 PAGEREF _Toc386394791 h 55HYPERLINK l _Toc386394792參考文獻 PAGEREF _Toc386394792 h 57HYPERLINK l _Toc386394793在校研究成果 PAGEREF _Toc386394793 h 61HYPERLINK l _Toc386394794致 PAGEREF _Toc386394794 h 62.1引 言生物認證技術(shù)是一門用于人身

31、份驗證的新興技術(shù)，在現(xiàn)階段主要有虹膜識別、指紋識別、聲紋識別、手寫筆跡識別和人臉識別等。從上世紀70年代開場，生物認證技術(shù)在學術(shù)界引起了廣泛重視，隨著計算機運算速度和對人體生物特征認識的不斷深入，生物識別逐漸從實驗室走向?qū)嶋H應用。目前，生物特征已經(jīng)應用到了門禁系統(tǒng)、公安機關(guān)偵查、用戶密碼等方面。傳統(tǒng)的身份驗證方式有鑰匙、網(wǎng)絡密鑰等。在門禁系統(tǒng)中，鑰匙是使用非常廣泛的一種，但非法分子可以模仿原來的鑰匙偽造，而且開鎖的工匠對鎖的構(gòu)造了如指掌，可以輕松破解各種門鎖。網(wǎng)絡密碼也有許多缺點，如容易遺忘、容易遭受黑客攻擊等?；ヂ?lián)時代改變了人們的生活方式，同時也蘊藏著各種信息平安隱患。如今，儲蓄卡、信用卡、

32、電子支票和電子錢包等電子支付手段使消費方式變得越來越便捷。由于密碼存在自身的一些缺陷，平安問題是迫切需要解決的問題。因為生物特征識別技術(shù)可以彌補傳統(tǒng)密碼的缺乏，抑制容易被遺忘，暴力破解，黑客軟件截獲等缺點，生物識別技術(shù)具備下一代新型密碼的潛力。人的生物特征不能被盜走的，無法猜測和獨一無二的，人的生物特征又是極其豐富的，因此它可以用來取代傳統(tǒng)的認證方式。人臉識別在公安偵察、門禁系統(tǒng)和攝像監(jiān)視系統(tǒng)中廣泛使用。它可以在智能視頻系統(tǒng)中鑒別人的身份，可以取代指紋識別，虹膜識別。指紋識別易受汗液等異物影響，虹膜識別對設備要求太高，因此人臉識別有著具大的優(yōu)勢。然而，生物認證技術(shù)的平安可靠性是社會應用的前提。

33、隨著虛擬物品，虛擬貨幣等電子交易的普及，身份認證的平安問題成了各行各業(yè)備受關(guān)注的問題。比方人臉識別中照片和視頻攻擊對人臉認證系統(tǒng)帶來了巨大的平安隱患，而人造的塑料指紋，可以破解指紋識別系統(tǒng)，語音合成可以攻擊傳統(tǒng)的語音識別系統(tǒng)。由于這些仿冒手段的出現(xiàn)，對身份人臉識別的開展帶來了不利的影響，阻礙著技術(shù)的開展和取代傳統(tǒng)密碼的可能。欺騙身物認證系統(tǒng)的方法歸納起來有復制、刻印和人工塑造等。了解和研究欺騙的方法是防患平安漏洞的有效方式。在電子貨幣日趨盛行的今天，平安問題正受到嚴峻挑戰(zhàn)。如何在識別前檢測生物信息的真實性是保證身份認證系統(tǒng)平安認證的前提。近年來，在人臉識別系統(tǒng)中活體檢測技術(shù)已經(jīng)顯得非常重要，也

34、在學術(shù)界掀起了一股熱潮。新加坡吳天沖教授率先構(gòu)建了手機翻拍照片庫，并在ICME等學術(shù)會議上討論了應對照片欺騙人臉識別的策略。譚曉陽和翼所在的團隊先后在CCPR、ECCV等會議上發(fā)表相關(guān)論文數(shù)篇。現(xiàn)有的活體檢測方法主要判斷人臉是否有生理活動，由于視頻欺騙也有生理活動、檢測復雜度高等多種弊端，還不能真正應用于實際中。人臉識別的平安問題還沒有得到解決，人臉活體檢測的研究還處理在起步階段。由于真實人臉與欺騙照片成像存在本質(zhì)差異，本課題探究了兩類圖像的紋理信息和統(tǒng)計特征的先驗知識，用模式識別方法對人臉圖像進展辨識。本文從真人臉與欺騙人臉在相機中成像的差異出發(fā)，提出了幾種非常實用的人臉活體檢測算法，與以往

35、的算法相比有復雜度低、不需要人主動配合、魯棒性強等優(yōu)點。1 緒論1.1 研究背景和研究意義隨著生物特征識別技術(shù)1的日臻完善，人臉識別2，指紋識別3等生物特征識別將在身份驗證中扮演著重要角色，作為主流技術(shù)的人臉識別，有著認證自然，可視化并符合人類習慣的優(yōu)點。它可以取代比較頻繁使用的密碼，而且密碼在一定條件下可以被別人破譯，甚至遺忘。人的生物特征有著唯一并不可取代的特點，不用去記住長串的密碼，不用擔憂被別人截獲等許多優(yōu)點。人臉識別已經(jīng)在最近幾十年取得了飛速的開展，并且已經(jīng)逐漸應用到各行各業(yè)中，人臉識別技術(shù)作為當今有效的身份認證方案，其應用圍勢必擴大，而且會給人們帶來了更多的便利。但伴隨著一些問題也

36、發(fā)生了，一些不法分子，利用一些技術(shù)仿冒人的生物特征去欺騙識別系統(tǒng)。給合法用戶帶來了經(jīng)濟財產(chǎn)損失，造成社會紛擾。為了更平安的進展身份認證和檢測身份來源的真實性，活體檢測技術(shù)就誕生了。對認證系統(tǒng)進展欺騙的對象一般都是剛性的，僵硬的物體，因此通過活體檢測技術(shù)來防欺騙也是很有意義有效的手段。圖 1.1 人臉識別中活體檢測技術(shù)意義Fig 1.1 the face liveness detection technology in face recognition在我們生活環(huán)境中，人臉認證系統(tǒng)中主要容易受到這種手段欺騙：(1)用偷拍的照片假冒真實人；(2)在公開場合錄的視頻或網(wǎng)上公開的視頻片段；(3)用計算

37、機輔助軟件設計的三維模型欺騙;(4)用蠟或塑料等材質(zhì)構(gòu)造的三維雕像欺騙。其中，照片欺騙是最輕易、最簡單的欺騙方法。由于信息技術(shù)已經(jīng)滲入到我們生活的各個方面，因此對于我們大多數(shù)人而言，一個人的臉部圖像通常是非常容易獲取的。比方，從博客等個人空間下載、不知情的情況下通過照相機抓拍等。圖1.1顯示了打印的照片欺騙人臉識別系統(tǒng)的過程。入侵者可能將人臉圖片在圖像采集設備前旋轉(zhuǎn)、翻轉(zhuǎn)、彎曲、搖擺等方法造成一種類似于合法用戶的真人效果去欺騙認證系統(tǒng)。所以到了人臉識別系統(tǒng)走向應用的階段，驗證獲取的人像是現(xiàn)實活體人臉還是進展欺騙的照片是必不可少的一個環(huán)節(jié)。圖 1.2 用數(shù)碼照片對人臉識別系統(tǒng)進展欺騙Fig 1.

38、2 spoofing face recognition systems by digital image圖1.2展示了用高清的數(shù)碼照片對人臉識別系統(tǒng)欺騙的一種方式。用高清照片對人臉識別系統(tǒng)欺騙是具有很大威脅的一種手段，這種高清圖像呈現(xiàn)出的效果和真實人臉的效果非常相似，而合法用戶的臉部照片可以通過隱秘的針孔攝像頭獲取。并且這種方法錄取的視頻具有各種姿態(tài)，可以從視頻中截取各式各樣的照片，這種照片可以采集到人臉許多特征，如臉部表情、眼睛開閉狀態(tài)等。三維模型4具有人臉的三維信息，然而這些信息是剛性的并且缺少生理信息。因此我們認為，在現(xiàn)有的技術(shù)環(huán)境和階段，塑造鮮活的三維模型是不可能的，并且能塑造的也是姿

39、態(tài)僵硬，面無表情的物體，在現(xiàn)有的技術(shù)下要仿造一個活人的三維模型是非常困難的。因此，用照片欺騙人臉識別系統(tǒng)是最為常見的方式。人類在區(qū)分是真實人臉或者是假冒人臉是輕易而舉的事，因為人類能夠很容易的識別出很多是活體的物理特性，比方，人臉表情變化、嘴部變化、頭部旋轉(zhuǎn)、眼睛變化。然而，捕獲這些細節(jié)特征對于計算機而言是非常困難的，而在不受控的環(huán)境之下，會更加的困難。目前商用的人臉識別系統(tǒng)通常是基于用可見光或者近紅外光采集得到的數(shù)字圖像。因此，這些系統(tǒng)通常可以劃分為兩類:基于二維圖像的人臉識別系統(tǒng)和基于立體空間信息三維人臉識別系統(tǒng)。二維人臉識別系統(tǒng)收集、處理單一的二維人臉圖像;三維人臉識別系統(tǒng)采用諸如各模式

40、照明光或者旁軸視角來構(gòu)建人臉的三維模型。人臉識別中的活體檢測算法、圖像真?zhèn)舞b別是保證當前社會信息平安的另一把鑰匙，正是由于社會迫切的需要，數(shù)字圖像領(lǐng)域的各種真假區(qū)分技術(shù)應運而生。當年，華南虎事件鬧得沸沸揚揚，最后才被認定為偽造的照片，這也是數(shù)字取證技術(shù)的典型應用。檢測數(shù)字信息的真實性為保障每個人社會權(quán)益提供了可靠的依據(jù)。綜上所述，人臉識別中用活體檢測技術(shù)是抵御對生物特征識別系統(tǒng)攻擊的一種有效方法，對提高系統(tǒng)的平安和可靠性是必不可少的?；趫D像的真實人活體檢測技術(shù)是不需要人主動配合，本錢低廉，平安可靠的一種方式，是一個很值得關(guān)注的一個領(lǐng)域。因此照片與活體人臉的鑒別問題已成為信息技術(shù)領(lǐng)域的一個重要

41、課題。1.2 國外研究現(xiàn)狀人臉識別技術(shù)可追溯到上世紀六七年代，國人臉識別技術(shù)始于80年代，取得了令人矚目的成果。然而人臉識別中的活體檢測技術(shù)卻是近些年來才著手研究的，伴隨著人們對平安意識的逐漸提高而產(chǎn)生。從2000年后，人臉識別技術(shù)逐漸走向市場，人們開場關(guān)心人臉識別平安問題，于是構(gòu)建了模型來模擬活體人與假冒物體對識別系統(tǒng)的欺騙。2002年，L. Thalheim通過實驗發(fā)現(xiàn)，用照片或簡短的視頻畫面可以輕易地入侵人臉識別系統(tǒng)，繞過了身份的驗證5。人臉識別的平安隱患得以更加表達，因此人們越來越意識到活體檢測的重要性。類似地，Matsumoto等人用發(fā)現(xiàn)用畫質(zhì)非常清晰的照片也可以攻擊虹膜識別系統(tǒng)，這

42、給生物認證識別系統(tǒng)的平安性敲響了警鐘。指紋識別系統(tǒng)中利用斷點、分叉點和轉(zhuǎn)折點作為特征點，這些點是系統(tǒng)提取特征信息的主要依據(jù)。然而，Willis發(fā)現(xiàn)指紋的這些紋路信息容易用蠟和硅膠等材料仿制。他針對電容式和光感式指紋識別系統(tǒng)做了一些實驗，發(fā)現(xiàn)用仿制的假指紋能夠順利地進入大局部的系統(tǒng)42。同時，Tsutomu Matsumoto教授也對活體指紋系統(tǒng)的攻擊方法進展了一些測試，發(fā)現(xiàn)11種常用的指紋識別方法容易被樹膠制作的假指紋欺騙，通過概率超過三分二。T. Masuko43,44等研究了語音身份認證系統(tǒng)的特點，他用隱馬爾可夫模型合成的語音可以成功欺騙語音識身份認證系統(tǒng)，通過率達80%。所以用高斯混合模

43、型訓練的語音識別系統(tǒng)可能會受到語音變換技術(shù)的欺騙45。H. Cheng等人通過實驗發(fā)現(xiàn)，用塑料或石膏制作的人工手來仿冒人的手形。假冒的手形可以欺騙手形識別系統(tǒng)46?；铙w的人包含有各種生理信息，包括可見的和不可見的。不可見的包括血液流動，心跳等。而可見的有臉部肌肉活動，眼睛閉合，嘴唇活動等。 基于人生理信息的活體檢測技術(shù)有許多，如在指紋中還可以使用溫度傳感器31、阻抗測量32，檢測汗液33，皮膚光譜反射屬性34等方法。在這些方法中都有一個共性，都需要其它設備加以輔助，大大增加了適應的難度。而且被用來檢測的設備也容易遭受其它欺騙，所以不用增加其它設備的方法還是首要考慮的方式。活體檢測技術(shù)是最近幾年

44、興起來的一個領(lǐng)域，是起步較晚，被人們關(guān)注較少的領(lǐng)域。當前人臉活體檢測主要由這些方法：基于單照片的光線反射分量分析6，多照片序列統(tǒng)計分析，結(jié)合生理活動、聯(lián)合語音識別的多膜生物特征融合等。基于視頻場景的活體檢測方法在人臉識別的過程中，系統(tǒng)會提取人臉圖像的特征信息。而人的高清照片與真實人有著幾乎一樣的特點，因此傳統(tǒng)的身份識別系統(tǒng)可以用照片去欺騙。從人臉的成像特點和照片生成環(huán)境出發(fā)，可以別離出抗欺騙更可靠的算法來保證認證系統(tǒng)的平安性。也為人臉識別的迅速推廣適用打下根底。為了增強系統(tǒng)魯棒性，學者們提取假冒物體與真人身份的特征加以區(qū)分，以到達平安認證個人身份信息的目的。近期有些研究者利用人臉表現(xiàn)活動的形式

45、來判斷是否是活體真人，因為照片是外表靜止的，不具有這些特性。隨著技術(shù)不斷開展更新，學者們首先提出了用人的生理活動來判斷是否是活體真人的方法來抵抗照片和視頻欺騙。如霖等41人用是否有眨眼動作和場景上下文線索來檢測是否有活體特征。如果受到了假冒照片或視頻攻擊，攝像系統(tǒng)將物體場景映入顯示系統(tǒng)時，它會包括回放視頻的播放器邊界。但如果是真實人臉它的場景會是連續(xù)的。他們通過幾種算子分析比照場景的差異來區(qū)分是否是活體真實人。麻省理工學院Pentland12, 40所在團隊將眼睛、鼻子和嘴巴作為特征點，從人臉部運動中估計這些特征點的三維深度坐標。他們的一個根本出發(fā)點是考慮到照片畢竟是一個平面構(gòu)造，則照片中上述

46、特征點所對應的三維深度坐標應當是接近的或是一樣的，而活體人臉的這些特征點所對應的三維深度坐標必然有所不同?？梢杂肏ession，Hairr作為特征算子來定位圖像的特征點，由于形變的圖像特征點相應的位置不發(fā)生變化，可以用這些特征點來重構(gòu)三維深度信息。真實場景中的人體會發(fā)生左右擺動，頭部旋轉(zhuǎn)等動作，所以計算得到的深度信息會隨著時間呈現(xiàn)不同的波動，而靜止照片的深度卻是幾乎不變的。但這種活體檢測策略需要使用者頭部發(fā)生一定幅度的運動，因為當使用者處于靜止狀態(tài)時深度值幾乎是不變的。在圖1.3中，描述了活體真實人臉和靜止照片在攝像頭面前的深度曲線。圖 1.3 真實人臉和靜止人臉深度信息曲線Fig 1.3 t

47、he depth curve of the real face and spoofing face有攻擊者在使用照片進展欺騙時，通過將照片進展彎曲，也會使三維人臉深度信息發(fā)生變化。另一方面，該策略中三維深度坐標的估計采用了擴展卡爾曼濾波模型，因此算法復雜度也是一個問題。還有此種方法受光照變化，噪聲等影響，魯棒性不高。瑞典哈勒姆斯塔德大學K.Kollreder等人提出了人機交互法，要求判別者在攝像頭面前默讀0到9的幾個數(shù)字，計算機獲取唇部的圖像，然后提取唇部的圖像特征。按圖1.4所示方法將唇分成六個區(qū)，每個區(qū)域?qū)鸵粋€投影方向，然后通過模糊均值聚類。用這種方法可以確定20個點，并在附近截取一塊面

48、積，在這塊圖像上提取40維特征，這樣就得到了總大小為160維的特征向量，如果截取連續(xù)視頻流的5幀作為樣本，就可以用5160維向量表示一個讀音的特征，將提取到的特征用監(jiān)視學習的支持向量機進展識別。圖 1.4 人的口型特征提取Fig 1.4 the feature e*traction of the mouth shape 另外，利用光流場13分析人臉各個部位的活動信息，從而實現(xiàn)人臉活體檢測，這也是人臉活體檢測中相當?shù)湫偷囊环N思路。最典型的工作是Kollreider研究團隊所開展的工作15-17。這種方法一般需要用戶配合，而且必須有高清的成像設備用來捕獲臉部眼、嘴等細節(jié)的變化，但是在外部照片遠近變

49、化左右移動時也會呈現(xiàn)這種線性光流變化，因此也有一些考慮不周全的方面。為了抑制這種方式的缺點，他又使用了一種全新的光流方法，對于構(gòu)造量和視頻流中的動態(tài)圖像估計有較好的作用。在實驗的過程中，他觀察了動態(tài)的光流變化，發(fā)現(xiàn)3圖片就能很好地描述光學能量。于是采用了Gabor濾波器18來實現(xiàn)。Gabor濾波器能很好地描述人的視覺特征，有供選用的多種特征。他將獲得的特征用支持向量機分類器來歸類。他們通過實驗發(fā)現(xiàn)人臉在旋轉(zhuǎn)運動時，對于真實活體人臉而言，在人臉中間區(qū)域如鼻子產(chǎn)生的二維運動相對于人臉兩側(cè)區(qū)域如耳朵要大一些，而對于照片而言，人臉不同區(qū)域的二維運動幅度是一樣的。該方法也同樣要求使用者頭部做出少量運動，

50、同時由于光流估計算法的性能容易受到光線強度變化的干擾，另一方面也無法解決攻擊者成心彎曲照片的行為。圖1.5顯示了用光流進展活體檢測的畫面。光流的計算公式如 公式1.1當在水平面發(fā)生的運動較大時，就用下面公式計算，值： 公式1.2當在垂直面發(fā)生較大運動時，計算公式如1.3 (公式1.3)圖 1.5 用光流法進展活體檢測Fig 1.5 face liveness detection by optical-flow kollreider定義公式1.4來度量人臉的活潑度。 公式1.4)通過L來度量物體運動的值，根據(jù)活體因子的大小來判斷是否是活體人臉。實驗證明這是一種非常有效的活體人臉檢測方法。除此之外

51、，還有穩(wěn)定性和平安性比較高的人臉熱紅外分析方法19-21，熱紅外成像與可見光不同，它應用了熱輻射情況。人臉是活體本身是溫度分布的曲面，分布各不一樣。但它受周圍環(huán)境的影響較大，也可能有遮擋物隔離的情況發(fā)生。熱紅外檢測系統(tǒng)正在開發(fā)階段，而且需要專用的額外設備，代價較大。因此在用戶一般情況不會使用?；诠饬鞯姆椒ㄟ€有檢測指紋彎曲運動36、臉部運動等37。鄧剛22提出了基于眨眼狀態(tài)的活體檢測方法，該方法將對眼睛分為睜開和閉住兩個狀態(tài)，通過訓練睜開和閉眼的樣本建立模型，用二分類SVM分類器來判斷是哪種狀態(tài)。它假設真實人眼睛是睜著的，如果判定眼睛是閉住的，則它就認定是活體真實的，這種方法也有一些缺點，如果

52、照片人臉是本身就是閉住的，將直接通過認證，無法抵抗照片攻擊。HyungKeun Jee等人利用5連續(xù)的人眼圖像序列作為活體檢測依據(jù)，將采集到的人眼圖像進展二值化，測試發(fā)現(xiàn)活體二值化的活體人眼圖像比照片人眼圖像變化明顯。因此采用漢明距離計算連續(xù)5幀圖像的距離，通過實驗設定一個閾值來判別是否是活體真實人臉37，圖1.6表示了這種方法的流程圖。圖 1.6 利用二值化的人眼漢明距離進展活體檢測Fig 1.6 face liveness detection by hamming distance of binary eyesHyung-Keun Jee測試的樣本如圖1.7所示，其中a組圖為原始人臉圖像，

53、b組圖是經(jīng)過商圖法規(guī)整化后的圖像。圖1.8中a組圖、b組圖分別顯示了照片人臉的二值化人眼和活體人臉的二值化人眼，可以觀察到兩者呈現(xiàn)一定的區(qū)別。經(jīng)測試，在普通的嵌入式平臺上識別真假人臉平均耗時400ms，準確率達93.5%。這種方法的缺點是無法抵抗視頻的攻擊。ab圖 1.7 測試樣本Fig. 1.7 face samples used for testingab圖 1.8活體人臉和欺騙人臉二值化后的人眼部位Fig. 1.8 the binary images of real and spoofing eyes大學計算機科學學院霖和綱所在的團隊創(chuàng)造了另一種預防視頻回放攻擊的方法41。分別用Gabo

54、r、SIFT和LBP等特征描述算法子對人臉圖像和背景圖像進展特征點的定位和特征值提取,如圖1.9所示，然后用歐氏距離度量兩個特征點的相似度，并測試了這幾種方法的準確率。實驗發(fā)現(xiàn)，基于補償?shù)腉abor算子在進展活體和偽裝視頻判斷時有更好的檢測準確率，優(yōu)于SIFT和LBP等方法。圖 1.9 基于尺度空間的特征點定位Fig. 1.9 feature position by multi-scales spaces由于Gabor描述算子可以在多個方向、多個尺度上對圖像進展特征描述，而且Gabor小波更符合人的視覺感知特性。它能很好地提取目標的局部空間和頻域空間信息，在特定參數(shù)下可構(gòu)成緊框架，對目標邊緣敏

55、感，而對環(huán)境變化的影響較小，背景和人臉的差異對Gabor特征影響較為敏感。LBP算子則采用8領(lǐng)域，半徑為1的來提取特征。SITF算子則更具備強大的局部特征檢測功能，能抵抗形變，光照等影響?；铙w檢測度量因子如公式(1.5)所示。 (公式1.5)在式1.5中表示人臉圖像所在背景的Gabor特征，而表示人臉圖像中的Gabor特征。如果此種方法與相位補償相結(jié)合更能減少光照、照片扭曲和照片晃動等欺騙手法。中科院模式識別實驗室所在團隊提出用多種人臉線索來檢測人臉47，考慮背景的連續(xù)性、人臉的非剛性等。用低秩稀疏矩陣來描述人臉的非剛性，用混合高斯模型對背景進展建模，判斷人臉場景是否在連續(xù)人臉背景中，同時用小

56、波變換來判斷獲取的圖像質(zhì)量是否存在帶狀效應?；趩握掌铙w檢測方法基于圖像分析的活體檢測是不需要人主動配合，最自然的方式。翼等10,11人分析了靜態(tài)照片與活體真實人序列圖像的傅里葉頻譜成分。通過建立一個高頻動態(tài)描述算子來測量人臉的活潑度。比較以往其它方法，這種方法有許多優(yōu)點，更好的實用性。但受光照變化不穩(wěn)定時檢測效果會受到影響。因為平面照片沒有三維深度信息，只要分析各圖像序列中的高頻成分。對于動態(tài)變化的臉部，受環(huán)境噪音等影響，高頻信息會更加豐富。即使是照片來回擺動，上下左右移動，但它只是二維的，部表情姿態(tài)不會出現(xiàn)任何變化。因此可以假想如果是照片，攝像頭所獲得的圖像序列的頻譜方差比姿態(tài)變化的活體

57、真實人頻譜方差小。真實人由于身體是活動的，所以高頻成分能量比照片分布更多，圖1.10顯示了活體真實人臉與欺騙的照片的高頻能量曲線。通過設定一個高頻能量閾值，來區(qū)分是否是活體真實人。他通過實驗測量真實人與照片的高頻與低頻局部的比例，然后在通過實驗得出這個閾值的大小。圖 1.10 真實人臉和欺騙照片能量曲線圖Fig. 1.10 the energy curve of real face and spoofing photoPei*oto23等以提出一種能在弱光下檢測面部是否是活體真實人的方案，能將顯示在屏幕和打印在紙上的高質(zhì)量翻拍的圖像檢測出來。他認為經(jīng)過翻拍過的圖像輪廓會變得模糊，真實感會發(fā)生變

58、化。因此他用高斯差分濾波器濾掉高頻噪聲，獲得中高頻的輪廓信息，用直方圖統(tǒng)計輪廓信息。然后用稀疏邏輯回歸函數(shù)將兩類圖像分類判別。YU等7學者對紙上的翻拍進展了分析研究，發(fā)現(xiàn)照片拍攝并翻的照片反射分量直方圖呈瑞利分布，而自然獲取的反射分量直方圖呈高斯分布，可用這一特性可區(qū)分真人與欺騙的假冒人，它們的各自直方圖如圖1.11所示。這種方法一定程度上可以用來有防御翻拍的數(shù)碼照片攻擊。用這個原理進展照片欺騙檢測的流程如圖1.12所示。圖 1.11 華南虎的真實照片與仿冒照片反射分量直方圖Fig 1.11 the histogram of reflect lights distribution 圖 1.12

59、 照片反射分量直方圖分析流程Fig 1.12 the analysis flow-chart of the real face and recaptured faceGAO8等分析研究了真實照片與翻拍的在LCD的照片的紋理差異,提取真實人與翻拍照片像素的光滑度，比照度等特征來加以分類區(qū)分。他通過設想真實人包含更多的紋理細節(jié)來確認是真實人，而經(jīng)過翻拍的過的照片是由于圖像質(zhì)量退化，可確認為是假冒的，不具有活體特征。京等9人用離散雙樹復小波，離散雙樹小波分解真人圖像與翻拍圖像，并通過閾值法濾掉高頻噪聲，然后原始圖像減去重構(gòu)的差值圖像，獲得噪聲圖像，再提取噪聲圖像均值，方差等特征。把得到的特征通過SV

60、M分類器24,27分類。他提出的另一種方法是判斷獲取的照片是否經(jīng)過二次壓縮，來確認是否是經(jīng)過翻拍的照片。Robson Schwartz25融合了獲取的圖像梯度直方圖27，顏色直方圖28，灰度共生矩陣29等特征，用偏最小二乘分類分類器進展分類，在NNUA圖像庫30上取得良好的效果。 2021年，M Hanuma Teja統(tǒng)計了照片人臉與活體人臉圖像的DCT系數(shù)能量，發(fā)現(xiàn)各自能量直方圖有所不同，因此將連續(xù)幾幀圖像的DCT能量作為判別活體人臉的依據(jù)，但這種方法往往受外界因素影響較大，如果閾值選取不合理對檢測性能影響較大48。同時，GahyunKim等人在2021年提出了基于單照片的活體檢測方法，他們