三維人臉識(shí)別系統(tǒng)的設(shè)計(jì)思路

三維人臉識(shí)別系統(tǒng)的設(shè)計(jì)思路發(fā)布:2022-2-0316:29|作者：李華明|來(lái)源:CSAI|查看:376次|進(jìn)入軟件測(cè)試論壇爭(zhēng)論一、序言基于生物特征的身份認(rèn)證技術(shù)近年來(lái)進(jìn)展快速，這其中，采用人臉特征進(jìn)行身份驗(yàn)證又是最自然直接的手段，相比其它人體生物特征它具有直接、友好、便利的特點(diǎn)，易于為用戶所接受。因此計(jì)算機(jī)人臉識(shí)別技術(shù)是生物特征最為活躍最有挑戰(zhàn)性的領(lǐng)域之一。它結(jié)合了認(rèn)知科學(xué)、圖象處理、計(jì)算機(jī)圖形學(xué)、機(jī)器視覺(jué)和模式識(shí)別等多個(gè)爭(zhēng)論領(lǐng)域，爭(zhēng)論的成果有著寬闊的應(yīng)用前景。計(jì)算機(jī)人臉識(shí)別由于有著廣泛的應(yīng)用前景而成為計(jì)算機(jī)模式識(shí)別領(lǐng)域的一個(gè)非?；钴S的爭(zhēng)論課題。計(jì)算機(jī)人臉識(shí)別技術(shù)也就是采用計(jì)算機(jī)分析人臉圖像，進(jìn)而從中提取出有效的識(shí)別信息，用來(lái)"辨?quot;身份的一門技術(shù)。人臉識(shí)別技術(shù)應(yīng)用背景廣泛，例如：可用于公安系統(tǒng)的罪犯身份識(shí)別、駕駛執(zhí)照及護(hù)照等與實(shí)際持證人的核對(duì)、銀行及海關(guān)的監(jiān)控系統(tǒng)及自動(dòng)門衛(wèi)系統(tǒng)等。特殊是在非接觸環(huán)境和不驚動(dòng)被檢測(cè)人的狀況下，人臉識(shí)別技術(shù)的優(yōu)越性遠(yuǎn)遠(yuǎn)超過(guò)已有的虹膜、指紋等檢測(cè)方法。在眾多科研人員的不懈努力下，迄今為止在計(jì)算機(jī)人臉識(shí)別方面已經(jīng)取得很多科研成果，產(chǎn)生了一系列的方法與理論，但均存在著這樣或那樣的限制，如識(shí)別率易受姿勢(shì)、表情、光照等因素的影響。它的困難體現(xiàn)在：Q）人臉?biāo)苄宰冃危ㄈ绫砬榈龋┑牟淮_定性；⑵人臉模式的多樣性（如胡須、發(fā)型、眼鏡、化妝等）;⑶圖像獵取過(guò)程中的不確定性（如光照的強(qiáng)度、光源方向等）。識(shí)別人臉主要依據(jù)人臉上的特征，也就是說(shuō)依據(jù)那些在不同個(gè)體之間存在較大差異而對(duì)于同一個(gè)人則比較穩(wěn)定的度量。由于人臉變化簡(jiǎn)單，因此特征表述和特征提取非常困難。這諸多因素使得人臉識(shí)別成為一項(xiàng)極富挑戰(zhàn)性的課題。通常的面貌識(shí)別系統(tǒng)多是針對(duì)二維照片或動(dòng)態(tài)視頻序列進(jìn)行爭(zhēng)論，以圖象處理技術(shù)為基礎(chǔ)，但是，基于二維照片進(jìn)行識(shí)別存在嚴(yán)峻的障礙，無(wú)法解決上述的問(wèn)題對(duì)識(shí)別的影響。產(chǎn)生這些問(wèn)題的主要緣由是人的面貌本身是三維的，而照片是對(duì)三維面貌進(jìn)行平面投影的結(jié)果，在此過(guò)程中必定丟掉一部分重要信息。采納三維識(shí)別與傳統(tǒng)的方法最大的區(qū)分就在于，人臉的信息可以更好的表現(xiàn)和存儲(chǔ)，例如人臉的特征點(diǎn)的深度信息及點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)等等。通過(guò)更全面的信息，可以較好的解決識(shí)別過(guò)程中的誤識(shí)率和虛警率問(wèn)題，同時(shí)由于三維人臉模型具備光照無(wú)關(guān)性和姿勢(shì)無(wú)關(guān)性的特點(diǎn)，能夠正確反映出人臉的基本特性，同時(shí)人臉主要的三維拓?fù)浣Y(jié)構(gòu)不受表情的影響，從而形成相對(duì)穩(wěn)定的人臉特征表述。因此基于三維人臉模型的識(shí)別方法可以很好的解決目前在這一領(lǐng)域存在的爭(zhēng)論瓶頸。國(guó)外爭(zhēng)論者已經(jīng)開(kāi)頭爭(zhēng)論三維的面貌識(shí)別系統(tǒng)，但爭(zhēng)論很不充分，并且針對(duì)實(shí)際應(yīng)用系統(tǒng)的爭(zhēng)論更少。正是基于這樣的緣由，我們開(kāi)頭了三維人臉識(shí)別系統(tǒng)的爭(zhēng)論二、三維人臉識(shí)別過(guò)程及系統(tǒng)功能真正的三維面貌鑒別是自80年月末期開(kāi)頭，目前已經(jīng)取得了肯定的進(jìn)展。國(guó)外三維人臉識(shí)別的典型方法主要是采用深度圖象自身的幾何特征，采用深度圖象處理技術(shù)，分析面貌曲面的曲率等幾何特征，對(duì)面貌曲面進(jìn)行凹凸區(qū)域的分割、正側(cè)面輪廓邊緣的提取。最早對(duì)三維圖象面貌識(shí)別的爭(zhēng)論有Lapreste提出的基于輪廓線的方法，通過(guò)對(duì)人臉面貌曲率的分析，提取輪廓線上的特征點(diǎn),采用輪廓線作為特征進(jìn)行面貌的識(shí)別。Lee&Milios從人臉面貌深度圖象中抽取凸區(qū)域，這些凸區(qū)域形成了特征集，計(jì)算出全部凸區(qū)域相關(guān)的擴(kuò)展高斯圖，兩幅面貌特征的匹配就是采用這些擴(kuò)展高斯圖象進(jìn)行的。當(dāng)然還有很多基于輪廓窗口凸區(qū)域的改進(jìn)方法，例如：凸凹點(diǎn)多階段融合過(guò)程方法、輪廓線的歐氏距離識(shí)別方法、輪廓線曲率比較方法等等。但這些方法還停留在理論爭(zhēng)論的層次，沒(méi)有實(shí)質(zhì)的自動(dòng)化系統(tǒng)的消失。對(duì)于國(guó)內(nèi)而言，三維人臉識(shí)別的爭(zhēng)論也相應(yīng)的綻開(kāi)，但與國(guó)外的爭(zhēng)論相比還處于剛起步的狀態(tài)。目前，三維數(shù)據(jù)獵取已經(jīng)成為可能，并已經(jīng)成熟的在實(shí)際工作中使用(如三維激光掃描技術(shù)、CT成像技術(shù)、結(jié)構(gòu)光方法等)，使得三維圖形識(shí)別技術(shù)得到了應(yīng)用的可能，可以快速地完成人頭三維面貌數(shù)據(jù)獵取。這也為我們的爭(zhēng)論供應(yīng)了實(shí)現(xiàn)的基礎(chǔ)?？偟膩?lái)說(shuō)，要實(shí)現(xiàn)一個(gè)自動(dòng)的人臉識(shí)別系統(tǒng)主要要完成以下的4個(gè)功能：①人臉檢測(cè)(Detection)與分割(Segmentation)。從任意的場(chǎng)景中檢測(cè)人臉的存在并進(jìn)行定位，提取出一個(gè)人臉。②人臉的法律規(guī)范化(Normalization)。校正人臉在尺度、光照和旋轉(zhuǎn)等方面的變化。③人臉表征(FaceRepresentation)。采納某種方法表示出數(shù)據(jù)庫(kù)中的已知人臉和檢測(cè)出的人臉，通常的方法有幾何特征、代數(shù)特征、特征臉、固定特征模板等。④人臉識(shí)別(Recognition)。依據(jù)人臉的表征方法,選擇適當(dāng)?shù)钠ヅ洳呗詫⒌玫降娜四樑c轆庫(kù)中的已知人臉相匕徽。我們爭(zhēng)論的基于三維模型的人臉識(shí)別方法，與以往的系統(tǒng)的最主要區(qū)分就在于：人臉庫(kù)中紀(jì)錄的不是象以前一樣，紀(jì)錄著每個(gè)人的各種姿勢(shì)、位置、表情的頭部照片，而是存儲(chǔ)的一個(gè)人臉的三維空間模型。由這個(gè)區(qū)分引申出人臉的表征和識(shí)別的方法也與二維識(shí)別方法不同。由人臉表征的區(qū)分，三維人臉識(shí)別系統(tǒng)也分兩類，一是純?nèi)S之間的對(duì)比，例如通過(guò)多角度拍照，系統(tǒng)自動(dòng)構(gòu)建人臉的三維模型,與庫(kù)中的三維模型進(jìn)行匕喉。這種方法中人臉的表征是一個(gè)基于三維的特征向量。由于人臉的三維重構(gòu)目前還是一個(gè)正在爭(zhēng)論的領(lǐng)域,其過(guò)程依舊是一個(gè)病態(tài)的過(guò)程。因此我們沒(méi)有選擇這種方法進(jìn)行我們的系統(tǒng)開(kāi)發(fā)。其次種系統(tǒng)是通過(guò)三維模型增加了的二維之間的對(duì)比。即通過(guò)對(duì)三維模型的變化，我們可以找到和成像環(huán)境全都的三維模型的位置，通過(guò)他的平面投影得到一個(gè)二維的圖片，和原有的照片進(jìn)行二維上的比較，實(shí)現(xiàn)識(shí)別的過(guò)程。在選擇人臉表征時(shí)，使用了實(shí)時(shí)性最好的特征點(diǎn)表示法。使用人臉關(guān)鍵特征點(diǎn)所形成的幾何特征來(lái)對(duì)人進(jìn)行區(qū)分。由這個(gè)主導(dǎo)思想，產(chǎn)生的新的人臉識(shí)別系統(tǒng)的主要功能如下：①人臉檢測(cè)與分割。從任意的場(chǎng)景中、視頻數(shù)據(jù)中檢測(cè)人臉的存在，提取出一個(gè)人臉及各個(gè)區(qū)域部分。在人臉上自動(dòng)標(biāo)記出我們需要的特征點(diǎn),例如外眼點(diǎn)、內(nèi)眼點(diǎn)、眉間點(diǎn)、鼻下點(diǎn)、頜下點(diǎn)、嘴角點(diǎn)，等等。這個(gè)領(lǐng)域的爭(zhēng)論目前已經(jīng)消失了很多的成熟的方法，在這里就不一介紹了。②人臉的法律規(guī)范化。計(jì)算出人臉在尺度和旋轉(zhuǎn)等方面的變化，得到攝像過(guò)程中人臉的實(shí)際位置，將庫(kù)中的人臉三維模型也變化到同樣的位置。這是幾何特征識(shí)別的一個(gè)關(guān)鍵的問(wèn)題。由于人臉的幾何特征的相像性比較，受人臉拍攝角度的影響很大，當(dāng)人臉偏轉(zhuǎn)超過(guò)肯定的角度的時(shí)候，很多重要的特征點(diǎn)在二維上不行見(jiàn)了，因此也無(wú)法計(jì)算出對(duì)應(yīng)的特征向量。假如不能將人臉模型和照片保持在同樣的偏轉(zhuǎn)環(huán)境下,識(shí)別的可信性就不具備。經(jīng)過(guò)肯定水平及仰俯偏轉(zhuǎn)三維人臉模型正常的三維人臉模型對(duì)這個(gè)問(wèn)題的解決可以結(jié)合人類學(xué)、面貌測(cè)量學(xué)多年來(lái)由統(tǒng)計(jì)而來(lái)的閱歷公式來(lái)完成。③人臉表征。采納標(biāo)記出的特征點(diǎn)的幾何特性（例如：特征點(diǎn)分布?xì)W氏距離、B樣條曲面等方法）表示出數(shù)據(jù)庫(kù)中的已知人臉和檢測(cè)出的人臉。對(duì)同一個(gè)照片的特征點(diǎn)實(shí)行多層次描述的方法，形成多個(gè)幾何特征向量，這種多層次描述的方法可以有效的降低人臉識(shí)別過(guò)程中的誤識(shí)現(xiàn)象的消失。同樣，識(shí)別的過(guò)程也是實(shí)行多分類器合作的模式識(shí)別方法。④人臉識(shí)別。依據(jù)獲得的人臉照片特征點(diǎn)，計(jì)算出人臉的偏轉(zhuǎn)角度，同時(shí)計(jì)算出多個(gè)特征向量，從數(shù)據(jù)庫(kù)中取出已知的人臉特征點(diǎn)信息，構(gòu)建出三維人臉特征點(diǎn)拓?fù)淠Ｐ?，?duì)此模型進(jìn)行偏轉(zhuǎn)，使之與二維人臉照片的拍攝環(huán)境全都。計(jì)算出三維模型的多個(gè)特征向量,通過(guò)面貌特征的多層次描述、多分類器合作的模式識(shí)別方法，對(duì)投影結(jié)果與二維相應(yīng)照片進(jìn)行相像性度量。在進(jìn)行識(shí)別時(shí)，對(duì)每個(gè)分類器設(shè)定一個(gè)閥值，對(duì)全部的特征向量的結(jié)果也設(shè)置一個(gè)閥值，一旦全部的度量結(jié)果都達(dá)到閥值的要求，即認(rèn)定此次識(shí)別是勝利的，否則連續(xù)從數(shù)據(jù)庫(kù)中讀數(shù)據(jù),進(jìn)行識(shí)別。三、技術(shù)路線與設(shè)計(jì)方案為了實(shí)現(xiàn)上面的爭(zhēng)論內(nèi)容我們選擇了一個(gè)可行的解決方案。使用Microsoft的VisualStudio作為系統(tǒng)的開(kāi)發(fā)平臺(tái)，采用他供應(yīng)的強(qiáng)大的圖形圖象處理功能，使用OPENGL專業(yè)三維引擎，最終協(xié)作Oracle數(shù)據(jù)庫(kù)對(duì)異構(gòu)數(shù)據(jù)的管理功能，實(shí)現(xiàn)我們的系統(tǒng)。其中，人臉三維數(shù)據(jù)的獵取采納加拿大polhemus公司生產(chǎn)的手持式三維激光掃描儀FastSCAN以及Inspeck公司基于結(jié)構(gòu)光柵拍攝的三維數(shù)據(jù)建模設(shè)施（Inspeck）。整個(gè)系統(tǒng)的用例圖如下所示：系統(tǒng)用例圖其中的關(guān)鍵技術(shù)如下：1）供系統(tǒng)管理人員使用的管理平臺(tái)。主要進(jìn)行人臉三維數(shù)據(jù)的獵取和預(yù)處理以及三維特征點(diǎn)的選擇和存儲(chǔ)等功能。采用VisualC++和OPENGL開(kāi)發(fā)的三維模型的管理系統(tǒng)，通過(guò)激光掃描儀或結(jié)構(gòu)光拍攝相演得原始的人臉三維模型,由于得到的三維數(shù)據(jù)坐標(biāo)不統(tǒng)一，為了便于計(jì)算使用，要進(jìn)行坐標(biāo)的統(tǒng)一，通過(guò)平臺(tái)實(shí)現(xiàn)對(duì)原始模型的光滑平順，坐標(biāo)變換，依據(jù)辨別率要求，生成三維面貌表面數(shù)據(jù)。由于人臉的三維特征點(diǎn)的選取工作不要求太強(qiáng)的實(shí)時(shí)性，故可以實(shí)行手工選取的方式，由系統(tǒng)管理員通過(guò)平臺(tái)對(duì)特征點(diǎn)進(jìn)行標(biāo)定。全部標(biāo)定結(jié)束后，紀(jì)錄入后臺(tái)數(shù)據(jù)庫(kù)中。當(dāng)然管理平臺(tái)還具備其他的功能，例如新用戶的添加、用戶的刪除、信息修改等常用數(shù)據(jù)庫(kù)管理功能。2）基于VisualC++、OPENGL和DirectShow開(kāi)發(fā)出人臉的自動(dòng)化識(shí)別系統(tǒng)。首先通過(guò)DirectShow對(duì)視頻流進(jìn)行分析，自動(dòng)檢測(cè)出人臉的存在并從圖象中將其分割出來(lái)。找到人臉后，使用VC實(shí)現(xiàn)的ASM主動(dòng)外形模型對(duì)人臉特征點(diǎn)進(jìn)行自動(dòng)的標(biāo)定。得到特征點(diǎn)后，依據(jù)主要的特征點(diǎn)位置，計(jì)算出拍攝角度。對(duì)三維數(shù)據(jù)的進(jìn)行讀取,讀取后使用OPENGL構(gòu)建出人臉的抽象三維模型，同時(shí)依據(jù)拍攝角度的變化模型。當(dāng)三維模型的平面投影和二維照片中人臉的旋轉(zhuǎn)角度相同時(shí)，通過(guò)多特征向量生成、多分類器判別及閥值設(shè)定的方法實(shí)現(xiàn)識(shí)3）底層數(shù)據(jù)庫(kù)使用Oracle數(shù)據(jù)庫(kù)，采用它良好的異構(gòu)數(shù)據(jù)存儲(chǔ)性和大量數(shù)據(jù)的處理力量，實(shí)現(xiàn)系統(tǒng)需要使用到的三維空間信息和屬性信息的統(tǒng)一存貯，以及對(duì)海量數(shù)據(jù)的查詢檢索。4）不論是管理平臺(tái)還是自動(dòng)識(shí)別系統(tǒng)，對(duì)人臉數(shù)據(jù)庫(kù)的讀取都通過(guò)數(shù)據(jù)庫(kù)中間件完成,統(tǒng)一的進(jìn)行信息讀取、維護(hù)、操作。最終形成一個(gè)基于三維數(shù)據(jù)庫(kù)中間件的三層C/S體系的應(yīng)用程序。這個(gè)設(shè)計(jì)方案可以用下圖表示：系統(tǒng)設(shè)計(jì)方案示例圖四、總結(jié)這個(gè)系統(tǒng)與已有的各種人臉識(shí)別系統(tǒng)的最大的區(qū)分就在于，數(shù)據(jù)庫(kù)中紀(jì)