人臉識(shí)別與人臉檢測(cè)

1、北京林業(yè)大學(xué)本科論文（設(shè)計(jì)） 1緒論1.1人臉表情識(shí)別研究的目的和意義人臉是人最重要的外貌特征，由于臉部信息可以通過(guò)非接觸的方式（如攝像頭）取得，所以非常適合于作為身份鑒別的依據(jù)。人臉識(shí)別就是對(duì)于輸入的人臉圖像或者視頻，首先判斷其中是否存在人臉，如果存在人臉，則進(jìn)一步確定每張人臉的位置、大小和各個(gè)主要面部器官的位置信息，并依據(jù)這些信息，進(jìn)一步提取每張人臉中所蘊(yùn)含的身份特征，并將其與已知人臉庫(kù)中的人臉進(jìn)行對(duì)比，從而識(shí)別每張人臉?biāo)淼膫€(gè)人。人臉識(shí)別是一個(gè)交叉學(xué)科，它的研究?jī)?nèi)容涉及計(jì)算機(jī)視覺(jué)、模式識(shí)別、計(jì)算機(jī)圖形學(xué)、圖像處理、生理學(xué)、心理學(xué)、認(rèn)知科學(xué)等。人臉識(shí)別技術(shù)可采用非接觸式的、連續(xù)的和實(shí)時(shí)的

2、方式，在國(guó)家安全、軍事安全和公安、司法、民政、金融、民航、海關(guān)、邊境、口岸、保險(xiǎn)及民用等領(lǐng)域?qū)嶋H應(yīng)用具有極廣闊的前景。這一技術(shù)典型應(yīng)用如下：（1）身份鑒定（一對(duì)多的搜索）：在鑒定模式下，確定一個(gè)人的身份，該技術(shù)可以快速地計(jì)算出實(shí)時(shí)采集到的面紋數(shù)據(jù)與面像數(shù)據(jù)庫(kù)中已知人員的面紋數(shù)據(jù)之間的相似度，給出一個(gè)按相似度遞減排列的可能的人員列表，或簡(jiǎn)單地返回鑒定結(jié)果（相似度最高的）和相對(duì)應(yīng)的可信度。（2）身份確認(rèn)（一對(duì)一的比對(duì)）：在確認(rèn)模式下，待確認(rèn)人已知的面紋數(shù)據(jù)可以存儲(chǔ)在智能卡中或數(shù)碼記錄中，該技術(shù)只需要簡(jiǎn)單地將實(shí)時(shí)的面紋數(shù)據(jù)與存儲(chǔ)的數(shù)據(jù)相比對(duì)，如果可信度超過(guò)一個(gè)指定的閥值，則比對(duì)成功，身份得到確認(rèn)。（

3、3）監(jiān)視：可以在監(jiān)控范圍內(nèi)發(fā)現(xiàn)人臉，而不論其遠(yuǎn)近和位置，能連續(xù)地跟蹤該人臉圖像并將其從背景中分離出來(lái)，將面像與監(jiān)控列表進(jìn)行比對(duì)。整個(gè)過(guò)程完全是無(wú)需干預(yù)的，連續(xù)的和實(shí)時(shí)的。（4）面像數(shù)據(jù)壓縮：能將面紋數(shù)據(jù)壓縮到84字節(jié)以便用于智能卡、條形碼或其他僅含有有限存儲(chǔ)空間的設(shè)備中。（5）多通道的人機(jī)交互界面:可以把跟蹤得到的人臉表情作為一種人機(jī)交互的手段。為使用者提供一個(gè)個(gè)性化、智能、便捷的工作環(huán)境，這也是智能計(jì)算機(jī)研究的重要內(nèi)容。人臉表情識(shí)別研究的主要目的在于：（1）在人機(jī)接口中實(shí)現(xiàn)計(jì)算機(jī)對(duì)人臉面部表情的自動(dòng)識(shí)別；（2）在視頻片段檢索中實(shí)現(xiàn)面部表情的跟蹤與識(shí)別；（3）研究人臉表情編碼模型，解決低帶寬的

4、臉部數(shù)據(jù)傳輸、多媒體中的臉部圖像壓縮等問(wèn)題。進(jìn)行這項(xiàng)研究的意義在于：（1）作為情感計(jì)算研究的重要組成部分，可以有效地促進(jìn)人機(jī)交互系統(tǒng)的發(fā)展和計(jì)算機(jī)圖像理解的研究；（2）對(duì)實(shí)現(xiàn)人體語(yǔ)言與自然語(yǔ)言的融合，以及語(yǔ)言與表情連接模型的建立與實(shí)現(xiàn)具有重要意義；（3）可以為表情合成、與表情無(wú)關(guān)的人臉檢測(cè)與跟蹤、人臉識(shí)別等領(lǐng)域的研究提供理論基礎(chǔ)；這些年表情識(shí)別技術(shù)發(fā)展相當(dāng)迅速，北京奧運(yùn)將首次使用人臉識(shí)別綜合報(bào)警系統(tǒng)，這里我們簡(jiǎn)單介紹一下在2008年北京奧運(yùn)會(huì)使用的人臉識(shí)別系統(tǒng)的主要功能：（1）對(duì)所有進(jìn)出機(jī)場(chǎng)、海關(guān)、火車(chē)站、奧運(yùn)場(chǎng)館的人通過(guò)攝像機(jī)自動(dòng)識(shí)別;人員通行考勤、外人登記、生物特征人臉識(shí)別驗(yàn)證真?zhèn)巍＃?）

5、對(duì)于危險(xiǎn)人攝像機(jī)自動(dòng)識(shí)別，向網(wǎng)絡(luò)報(bào)警中心報(bào)警。（3）對(duì)不受歡迎的人，一經(jīng)錄入，自動(dòng)識(shí)別防止進(jìn)入。（4）各種工人、后勤、食品運(yùn)送人員自動(dòng)人臉識(shí)別，未經(jīng)登記授權(quán)限制進(jìn)入。（5）對(duì)于恐怖行危險(xiǎn)人員、情緒偏激不穩(wěn)定人員、牽連到奧運(yùn)場(chǎng)館和奧運(yùn)活動(dòng)區(qū)域群體事件的問(wèn)題人員和等影響社會(huì)穩(wěn)定人員，自動(dòng)識(shí)別人臉，防止進(jìn)入奧運(yùn)區(qū);并且根據(jù)人臉等生物特征智能查詢進(jìn)出紀(jì)錄。（6）對(duì)于奧運(yùn)場(chǎng)館和奧運(yùn)活動(dòng)區(qū)域內(nèi)各種服務(wù)實(shí)現(xiàn)不用帶卡的自動(dòng)人臉識(shí)別安全服務(wù)和優(yōu)質(zhì)服務(wù)。（7）對(duì)于黨和政府的領(lǐng)導(dǎo)通過(guò)聯(lián)網(wǎng)自動(dòng)人臉識(shí)別掌握奧運(yùn)活動(dòng)區(qū)域準(zhǔn)確人員管理情況、預(yù)估風(fēng)險(xiǎn)實(shí)現(xiàn)遠(yuǎn)程管理和控制。人臉表情識(shí)別和理解（FaceRecognition）的研

6、究范圍廣義上大致包括以下5個(gè)方面的內(nèi)容：（1）人臉檢測(cè)（FaceDetection）:即從各種不同的場(chǎng)景中檢測(cè)出人臉的存在并確定其位置。這一任務(wù)主要受光照、噪聲、面部?jī)A斜度以及各種各樣遮擋的影響。（2）人臉表征（FaceRepresentation）:即采取某種表示方式表示檢測(cè)出的人臉和數(shù)據(jù)庫(kù)中的已知人臉。通常的表示法包括幾何特征（如歐氏距離、曲率、角度）、代數(shù)特征如矩陣特征矢量）、固定特征模板、特征臉等。（3）人臉識(shí)別（FaceIdentification）:即將待識(shí)別的人臉與數(shù)據(jù)庫(kù)中的已知人臉比較，得出相關(guān)信息。這一過(guò)程的核心是選擇適當(dāng)?shù)娜四樀谋碚鞣绞脚c匹配策略，系統(tǒng)的構(gòu)造與人臉的表征方式

7、密切相關(guān)。（4）表情/姿態(tài)分析（Expression/GestureAnalysis）:即對(duì)待識(shí)別人臉的表情或姿態(tài)信息進(jìn)行分析，并對(duì)其加以歸類(lèi)。（5）生理分類(lèi)（PhysicalClassification）即對(duì)待識(shí)別人臉的生理特征進(jìn)行，得出其年齡、性別等相關(guān)信息。1.2表情識(shí)別的現(xiàn)狀現(xiàn)階段的研究當(dāng)中，完整的人臉識(shí)別系統(tǒng)至少包括三個(gè)主要環(huán)節(jié)。首先在輸入圖像中找到人臉的位置，將人臉從背景中分割出來(lái)；其次，將分割后的人臉圖像進(jìn)行特征提取和定，最后根據(jù)提取的特征進(jìn)行人臉識(shí)別。如圖1.1所示：輸入圖像卜H人臉檢測(cè)卜”特征定位卜”人臉識(shí)別卜”身份輸出圖1.1識(shí)別過(guò)程簡(jiǎn)圖Fig1.1Identifyproc

8、esssimplediagram1.2.1人臉圖像檢測(cè)方法現(xiàn)狀人臉圖像檢測(cè)與定位就是在輸入圖像中找到人臉確切的位置,它是人臉表情識(shí)別的第一步。人臉檢測(cè)的基本思想是用知識(shí)或統(tǒng)計(jì)的方法對(duì)人臉建模,比較待檢測(cè)對(duì)象與所建的人臉模型的匹配程度,從而得到可能存在人臉的區(qū)域。根據(jù)思想的不同基本上分為下面兩種檢測(cè)方法:（1）基于統(tǒng)計(jì)的人臉檢測(cè)是將人臉圖像視為一個(gè)高維向量,將人臉檢測(cè)問(wèn)題轉(zhuǎn)化為高維空間中分布信號(hào)的檢測(cè)問(wèn)題。（2）基于知識(shí)的人臉檢測(cè)是利用人的知識(shí)建立若干規(guī)則,從而將人臉檢測(cè)問(wèn)題轉(zhuǎn)化為假設(shè)一驗(yàn)證問(wèn)題。1.2.2基于統(tǒng)計(jì)的人臉檢測(cè)方法（1）樣本學(xué)習(xí):將人臉檢測(cè)視為從非人臉樣本中識(shí)別人臉樣本的模式分類(lèi)問(wèn)

9、題,通過(guò)比較人臉樣本和非人臉樣本來(lái)提取各自的特征，進(jìn)行學(xué)習(xí)來(lái)產(chǎn)生分類(lèi)器。目前國(guó)際上普遍采用的是人工神經(jīng)網(wǎng)絡(luò)。（2）模板法:模板法是把測(cè)試樣本與參考模板進(jìn)行比較,由閾值大小來(lái)判斷測(cè)試樣本是否是人臉。閾值一般是通過(guò)對(duì)大量的模板進(jìn)行統(tǒng)計(jì)得來(lái)的，并不是一個(gè)固定的值。（3）子空間方法:Pentland將KL變換引入了人臉檢測(cè)，利用主元子空間（特征臉），而人臉檢測(cè)利用的是次元子空間（特征臉空間的補(bǔ)空間）。用待檢測(cè)區(qū)域在次元子空間上的投影能量,也即待檢測(cè)區(qū)域到特征臉子空間的距離作為檢測(cè)統(tǒng)計(jì)量，距離越小，表明越像人臉。子空間方法的特點(diǎn)在于簡(jiǎn)便易行，但由于沒(méi)有利用反例樣本信息，對(duì)與人臉類(lèi)似的物體辨別能力不足。1

10、.2.3基于知識(shí)建模的人臉檢測(cè)方法（1）人臉規(guī)則:人臉規(guī)則是人臉遵循的一些幾乎是普遍適用的空間相關(guān)性。它包括:灰度分布規(guī)則。如五官的空間位置分布大致符合“三停五眼”等,人臉不同區(qū)域的明暗關(guān)系不變,眼睛的灰度總是比前額和顴骨低，鼻梁的灰度一般比兩側(cè)亮等。輪廓規(guī)則。人臉的輪廓可以簡(jiǎn)單地看成一個(gè)近似橢圓，而人臉檢測(cè)可以通過(guò)橢圓檢測(cè)來(lái)完成。運(yùn)動(dòng)規(guī)則。通常相對(duì)背景人總是在運(yùn)動(dòng)的，利用運(yùn)動(dòng)信息可以簡(jiǎn)單有效地將人從任意復(fù)雜背景中分割出來(lái)。（2）顏色、紋理信息:同一種族人的面部膚色在顏色空間中的分布相對(duì)比較集中,顏色信息在一定程度上可以將人臉從大部分背景區(qū)分開(kāi)來(lái)。（3）對(duì)稱(chēng)性:人臉具有一定的軸對(duì)稱(chēng)性,各器官也

11、具有一定的對(duì)稱(chēng)性。Reisfeld提出廣義對(duì)稱(chēng)變換方法1檢測(cè)局部對(duì)稱(chēng)性強(qiáng)的點(diǎn)來(lái)進(jìn)行人臉器官定位。1.3本文的結(jié)構(gòu)本文的章節(jié)做如下安排。第一章緒論介紹量表情識(shí)別研究的目的意義和現(xiàn)狀；第二章對(duì)人臉檢測(cè)與定位方法、臉部特征定位方法、人臉識(shí)別方法作了綜述；第三章在上述方法的基礎(chǔ)上，重點(diǎn)敘述了畢業(yè)設(shè)計(jì)采用的方法，并用VB開(kāi)發(fā)了一個(gè)人臉表情識(shí)別系統(tǒng)；第四章對(duì)面部表情識(shí)別技術(shù)以后的發(fā)展方向和工作重點(diǎn)做了總結(jié)。相關(guān)技術(shù)綜述2.1引言情緒使人產(chǎn)生生理和行為的顯著變化，面部表情是情緒的外顯行為的一個(gè)重要方面。眼、眉、嘴、鼻、臉色等的變化最能表示一個(gè)人的情緒。如兩眼閃光之驚喜，眼淚汪汪之悲哀委屈，眉毛緊鎖之憂愁，揚(yáng)

12、眉之得意，雙目圓睜之憤怒，嗤之以鼻之厭惡，臉色蒼白之驚恐等。這是由于人的各種情緒同臉部肌肉和血管等的變化有關(guān)，故而臉部肌肉和血管的變化能表示一定的情緒狀態(tài)。例如，喜悅與顴肌有關(guān)，痛苦與皺眉肌有關(guān)，憂傷與三角肌有關(guān)，羞愧因血管舒張而臉紅，恐怖因血管收縮而蒼白。本文就是通過(guò)對(duì)人面部表情進(jìn)行識(shí)別來(lái)達(dá)到對(duì)人的情緒的判斷。人們做出各種表情，正是表情肌肉運(yùn)動(dòng)的結(jié)果2。2.2人臉模式的特征人臉模式的特征包括膚色特征和灰度特征。2.2.1膚色特征膚色是人臉的重要信息，不依賴于面部的細(xì)節(jié)特征，對(duì)于人臉表情發(fā)生的任何變化情況都能適用，具有相對(duì)的穩(wěn)定性并且和大多數(shù)背景物體的顏色相區(qū)別。因此膚色特征在人臉檢測(cè)中是最常

13、用的一種特征。膚色特征主要由膚色模型描述，常用的膚色模型有高斯模型、混合高斯模型和直方圖模型。2.2.2灰度特征灰度特征包括人臉輪廓特征、人臉灰度分布特征（鑲嵌圖特征、直方圖特征等）、器官特征（對(duì)稱(chēng)性等）、模板特征等。本文所采取的人臉識(shí)別方法就是基于灰度特征，具體的識(shí)別方法將在下文敘述。2.3面部表情的分類(lèi)由于表情產(chǎn)生的原因、表情表現(xiàn)得程度、人們對(duì)表情的控制能力和表情的傾向等多方面的原因，使得表情的變化細(xì)微而復(fù)雜，對(duì)表情的概括也變得更為復(fù)雜。例如，恐懼表情可能同時(shí)伴隨著悲傷生氣、厭惡的產(chǎn)生。一中混合的表情也就表現(xiàn)出來(lái)了。最經(jīng)常的是恐懼和驚奇的混合表現(xiàn)即驚恐。關(guān)于情緒的類(lèi)別，長(zhǎng)期以來(lái)說(shuō)法不一。我

14、國(guó)古代有喜、怒、憂、思、悲、恐、驚的七情說(shuō)；美國(guó)心理學(xué)家普拉切克（Plutchik）提出了八種基本情緒：悲痛、恐懼、驚奇、接受、狂喜、狂怒、警惕、表2.1表情特征Table2.1expressioncharacteristic額頭眉毛眼睛臉的下半部分1眉毛抬起，以至于變高變1眼睛睜大，上眼皮抬高，下眼下頜下落，嘴張開(kāi)，以至于唇和齒分開(kāi),彎，眉毛以下的皮膚被拉皮下落；2眼白可能在瞳孔的上但嘴部并不緊張，也不拉伸。伸；2皺紋可能橫跨額頭。邊或者下邊露出來(lái)。1.眉毛抬起并皺在一起；2.上眼瞼抬起，下眼皮非常緊張,嘴張開(kāi)，嘴唇或者輕微緊張，向后拉,額頭的皺紋只集中在中部,并且被拉上來(lái)?；蚶L(zhǎng)，同時(shí)向后

15、拉。而不橫跨真?zhèn)€額頭。1.上唇抬起；2.下唇與上唇緊閉，推動(dòng)眉毛壓低，同時(shí)壓低上眼瞼。在下眼皮下部出現(xiàn)了橫紋，臉頰推動(dòng)其向上，并不緊張。上唇向上，嘴角下拉，唇輕微凸起；3.鼻子皺起；4.；臉頰被抬起。1下眼皮非常緊張，可能不被抬眉毛皺在一起，并且被壓1唇有兩中基本位置：緊閉，唇角拉直起。2上眼皮緊張，在眉的動(dòng)作低；2在眉宇間出現(xiàn)了豎直或向下；張開(kāi)，仿佛要喊；2鼻孔可能下可能被壓低；3眼睛憤怒的瞪皺紋。張大。著，可能鼓起。額頭眉毛眼睛臉的下半部分下眼瞼下邊可能有皺紋，可能鼓1.唇角向后拉并抬咼；2.最可能張大,和中性表情相比，基本沒(méi)變起，但并不緊張；2魚(yú)尾紋從外牙齒可能露出；3一道皺紋從鼻子一直

16、化。眼角向外擴(kuò)張。延伸到嘴角外部；4.臉頰被抬起。眉毛內(nèi)角皺在一起，抬高,眼內(nèi)角的上眼皮被抬高。1最角下拉；2嘴角可能在顫抖。帶動(dòng)眉毛下的皮膚運(yùn)動(dòng)。憎恨；湯姆金也列出八種基本情緒：興趣、快樂(lè)、驚奇、痛苦、恐懼、憤怒、羞怯、輕蔑；還有的心理學(xué)家提出了九種類(lèi)別。雖然類(lèi)別很多，但一般認(rèn)為有四種基本情緒，即快樂(lè)、憤怒、恐懼和悲針對(duì)表情廣義性，表2.1中總結(jié)出了每種表情的特點(diǎn)及其在生成過(guò)程中所涉及到的重點(diǎn)表情區(qū)域的動(dòng)作。由表2.1我們可以看出，樣本表情必須非常典型，而且有點(diǎn)夸張。因此要求采集的樣本在做出各種表情時(shí)，各個(gè)重點(diǎn)位置的表情必須符合表2-1的動(dòng)作，這樣才能正確的辨別樣本表情。2.4人臉檢測(cè)與定位

17、方法近年來(lái),人臉和面部表情識(shí)別已經(jīng)吸引了更多科研人員的注意。任何人臉處理系統(tǒng)的第一步都是檢測(cè)人臉在圖像中的位置。但是,從一幅圖像中檢測(cè)人臉是一項(xiàng)極具挑戰(zhàn)性的任務(wù),因?yàn)槠涑叨取⑽恢?、方向和位姿都是變化?面部表情、遮擋和光照條件也是變化的。人臉檢測(cè)（FaceDetection）是指在輸入圖像中確定所有人臉（如果存在）的位置、大小和位姿的過(guò)程。人臉檢測(cè)作為人臉信息處理中的一項(xiàng)關(guān)鍵技術(shù),近年來(lái)已成為模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)一項(xiàng)受到普遍重視,研究十分活躍的課題。人臉識(shí)別或辨認(rèn)、人臉定位以及人臉追蹤等都與人臉檢測(cè)密切相關(guān)。人臉定位的目的是確定圖像中人臉的位置。假設(shè)一幅圖像中只存在一張臉,則面部特征檢測(cè)

18、的目的是檢測(cè)特征的存在和位置,如眼睛、鼻子（鼻孔）、眉毛、嘴（嘴唇）、耳朵等。人臉識(shí)別或辨認(rèn)是將輸入圖像與數(shù)據(jù)庫(kù)中的圖像比對(duì),如果存在,報(bào)告匹配結(jié)果。人臉識(shí)別的目的是檢驗(yàn)輸入圖像中的個(gè)體的身份,而人臉追蹤方法是實(shí)時(shí)地、連續(xù)地估計(jì)在圖像序列中的人臉的位置和可能的方向。而面部表情識(shí)別涉及識(shí)別人類(lèi)的情感狀態(tài)（高興、悲傷、厭惡，驚恐等）。很明顯,在任何解決上述問(wèn)題的自動(dòng)識(shí)別系統(tǒng)中,人臉檢測(cè)是第一步。在第一章中我們給出了人臉檢測(cè)兩種基本方法，這只是粗略的分類(lèi)方法，在這里我們把從一幅圖像中檢測(cè)人臉的方法可以分為以下四種3:（1）基于知識(shí)的方法（Knowledge-basedMethods）：它將典型的人臉

19、形成規(guī)則庫(kù)對(duì)人臉進(jìn)行編碼。通常,通過(guò)面部特征之間的關(guān)系進(jìn)行人臉定位。（2）特征不變方法（FeatureInvariantApproaches）：該算法的目的是在姿態(tài)、視角或光照條件改變的情況下找到存在的結(jié)構(gòu)特征,然后使用這些特征確定人臉。（3）模板匹配方法（TemplateMatchingMethods）：存儲(chǔ)幾種標(biāo)準(zhǔn)的人臉模式用來(lái)分別描述整個(gè)人臉和面部特征;計(jì)算輸入圖像和存儲(chǔ)的模式間的相互關(guān)系并用于檢測(cè)。（4）基于外觀的方法（Appearance-basedMethods）：與模板匹配方法相反從訓(xùn)練圖像集中進(jìn)行學(xué)習(xí)從而獲得模型（或模板）,并將這些模型用于檢測(cè)。2.4.1基于知識(shí)的方法基于知識(shí)

20、的方法實(shí)質(zhì)是基于規(guī)則的人臉檢測(cè)方法,而這種規(guī)則來(lái)源于研究者關(guān)于人臉的先驗(yàn)知識(shí)。一般比較容易提出簡(jiǎn)單的規(guī)則來(lái)描述人臉特征和它們的相互關(guān)系,如在一幅圖像中出現(xiàn)的人臉,通常具有互相對(duì)稱(chēng)的兩只眼睛、一個(gè)鼻子和一張嘴。特征之間的相互關(guān)系可以通過(guò)它們的相對(duì)距離和位置來(lái)描述。在輸入圖像中首先提取面部特征,確定基于規(guī)則的人臉候選區(qū)域。這種方法存在的問(wèn)題是很難將人類(lèi)知識(shí)轉(zhuǎn)換為明確定義的規(guī)則。如果規(guī)則是嚴(yán)格的,由于輸入圖像很可能不能通過(guò)所有的規(guī)則檢測(cè)而導(dǎo)致失敗；相反，如果規(guī)則太簡(jiǎn)單，可能會(huì)有較高的錯(cuò)誤接收率，輸入許多錯(cuò)誤圖像。此外,很難將這種方法擴(kuò)展到在不同的情況下檢測(cè)人臉,因?yàn)榱信e所有的情況是一項(xiàng)很困難的工作。

21、許多表情識(shí)別方面的專(zhuān)家通過(guò)研究，提出了一些克服這些缺點(diǎn)的方法。Yang和Huang使用分層的基于知識(shí)的人臉檢測(cè)方法曰他們的系統(tǒng)由三級(jí)規(guī)則組成。在最高級(jí)，通過(guò)掃描輸入圖像的窗口和應(yīng)用每個(gè)位置的規(guī)則集找到所有可能的人臉候選區(qū)。較高級(jí)的規(guī)則通常描述人臉看起來(lái)像什么，而較低級(jí)的規(guī)則依賴于面部特征的細(xì)節(jié)。多分辨率的分層圖像通過(guò)平均和二次采樣生成，如圖2.1所示。編碼規(guī)則通常在較低的分辨率下確定人臉的候選區(qū)，包括人臉的中心部分（圖2.2中較淺的陰影部分），其中有四個(gè)基本上相同的灰度單元。、心A_Fti嗎豐1Hit営*1勺圖2.1分層圖像Fig.2.1Layeringpicture圖2.2人臉侯選區(qū)Fig2

22、.1FaceDistrict在人臉的上層周?chē)糠志哂邢嗤幕叶?。人臉的中心部分和上層周?chē)幕叶炔煌Ｗ畹头直媛实模↙everl）圖像用于搜索人臉的候選區(qū)并在后面較精細(xì)的分辨率下作進(jìn)一步處理。在Lever2完成人臉候選區(qū)的局部直方圖均衡化，并進(jìn)行邊緣檢測(cè)，以縮小后選區(qū)。繼續(xù)存在的候選區(qū)在Lever3用其他的人臉特征,如眼睛、嘴等對(duì)應(yīng)的規(guī)則進(jìn)行檢查。這種方法的特點(diǎn)是用從粗到細(xì)的策略來(lái)減少所需要的計(jì)算，雖然它沒(méi)有很高的檢測(cè)率，但采用多分辨率分層的思想和指導(dǎo)搜索的規(guī)則已經(jīng)用到后面的人臉北京林業(yè)大學(xué)本科論文(設(shè)計(jì))北京林業(yè)大學(xué)本科論文(設(shè)計(jì)) 檢測(cè)工作中5。Kotropoulos和Pitas5提出了一種

23、基于規(guī)則的定位方法。用投影方法確定面部特征,I(x,y)是mxn圖像中(x,y)位置的灰度值，圖像的水平和垂直投影定義為HI(x)=XI(x,y)和VI(y)=XI(x,y)。通y-1y=i過(guò)對(duì)投影曲線的分析可知。整個(gè)曲線看起來(lái)會(huì)有兩個(gè)較大的凹槽和凸起，人臉的眼睛和嘴的位置正好對(duì)應(yīng)曲線的這兩個(gè)谷值區(qū)域，即在這條曲線上找到一個(gè)具有最大剃度值的點(diǎn)和一個(gè)具有最小剃度值的點(diǎn)，由此可以粗略的檢測(cè)出眼睛和嘴的位置。2.4.2基于特征的方法基于特征的方法不僅可以從已有的面部特征而且可以利用面部特征點(diǎn)的幾何關(guān)系進(jìn)行人臉檢測(cè)。這種方法是尋找人臉的不變特征用于人臉檢測(cè)，這與基于知識(shí)的方法正好相反。人們已經(jīng)提出了許

24、多先檢測(cè)人臉面部特征,后推斷人臉是否存在的方法。面部特征,如眉毛、眼睛、鼻子、嘴和發(fā)際,一般利用邊緣檢測(cè)器提取,根據(jù)提取的特征,通過(guò)與統(tǒng)計(jì)模型比較來(lái)確定人臉是否存在。基于特征的算法存在的問(wèn)題是,由于光照、噪聲和遮擋等使圖像特征被嚴(yán)重地破壞,人臉的特征邊界被弱化,陰影可能引起很強(qiáng)的邊緣,而這些邊緣可能使得算法難以使用。Sirohey提出了從復(fù)雜的背景中分割人臉進(jìn)行人臉識(shí)別的定位方法6。它使用邊緣圖和啟發(fā)式算法來(lái)去除和組織邊緣,而只保存一個(gè)邊緣輪廓,然后用一個(gè)橢圓擬合頭部區(qū)域和背景間的邊界。Graf等人提出定位灰度圖像的面部特征和人臉的檢測(cè)方法7。在濾波以后,用形態(tài)學(xué)的方法增強(qiáng)具有高亮度、含有某些

25、形狀(如眼睛)的區(qū)域。Leung等人提出一種基于局部特征檢測(cè)器和任意圖匹配的概率方法,在復(fù)雜場(chǎng)景中定位人臉8。其目標(biāo)是找到確定的面部特征的排列。典型的人臉用五個(gè)特征(兩只眼睛、兩個(gè)鼻孔和鼻子與嘴唇的連接處)來(lái)描述。Yow和Cipolla提出了一種基于特征的方法910。在第一階段，應(yīng)用了二階微分Gaussian濾波器，在濾波器響應(yīng)的局部最大點(diǎn)檢測(cè)感興趣的點(diǎn),指出人臉特征可能的位置;第二階段,檢查感興趣點(diǎn)周?chē)倪吘壊⑺鼈兘M成區(qū)域。這種方法的優(yōu)點(diǎn)是可以在不同的方向和位姿上檢測(cè)人臉11。Han等人提出了一種基于形態(tài)學(xué)的技術(shù)進(jìn)行眼部分割進(jìn)而實(shí)現(xiàn)人臉檢測(cè)的方法12。他們認(rèn)為眼睛和眼眉是人臉最突出和穩(wěn)定的

26、特征,特別適合人臉檢測(cè)。彭進(jìn)業(yè)等人提出了一種在圖像的反對(duì)稱(chēng)雙正交小波分解數(shù)據(jù)域中,實(shí)現(xiàn)多尺度對(duì)稱(chēng)變換的方法,并將它應(yīng)用于臉部圖像中主要特征點(diǎn)的定位13。王延江等人提出了一種快速的彩色圖像中復(fù)雜背景下人臉檢測(cè)方法14。其方法首先計(jì)算對(duì)彩色圖像中與人的膚色相似的像素進(jìn)行聚類(lèi)和區(qū)域分割,然后利用小波分解對(duì)每一個(gè)候選區(qū)域進(jìn)行人臉特征分析,如所檢測(cè)到的區(qū)域特征分布與某一預(yù)先定義的人臉模型相似,則確認(rèn)該區(qū)域代表人臉。皮膚顏色通常不能獨(dú)自進(jìn)行人臉檢測(cè)和追蹤。近年來(lái),人們已經(jīng)提出幾種使用形狀分析、顏色分割和運(yùn)動(dòng)信息結(jié)合的模塊化系統(tǒng)在圖像序列中用于定位和追蹤頭部和人臉的方法。2.4.3模板匹配方法Sakai等人

27、使用眼睛、鼻子、嘴和人臉輪廓等子模板建模，檢測(cè)照片中的正面人臉1習(xí)。每一個(gè)子模板按照線分割定義?；谧畲筇荻茸兓崛≥斎雸D像的線,然后與子模板匹配。計(jì)算子圖像和輪廓模板之間的相互關(guān)系去檢測(cè)人臉的候選區(qū)域，完成用其他子模板在候選區(qū)域的匹配。Craw等人提出了一種基于正面人臉的形狀模板(也就是人臉的外形)定位方法a】。用Sobe1濾波器提取邊緣，將邊緣組織在一起，根據(jù)幾個(gè)約束條件去搜索人臉模板。在頭輪廓定位以后，用相同的過(guò)程以不同的尺度重復(fù)定位眼睛、眼眉和嘴唇等特征。Miao等人提出了用于人臉檢測(cè)的層次模板匹配方法17。在第一階段，為了處理旋轉(zhuǎn)圖像，輸入圖像從-2020旋轉(zhuǎn)，每次旋轉(zhuǎn)5。多分辨率圖

28、像層次形成和邊緣提取使用Lap1a2cian操作符。人臉模板通過(guò)六個(gè)人臉成分產(chǎn)生的邊緣組成:兩個(gè)眼眉、兩只眼睛、一個(gè)鼻子和一張嘴。最后，應(yīng)用啟發(fā)式確定人臉的存在。實(shí)驗(yàn)結(jié)果表明在圖像含有單個(gè)人臉要比圖像中含有多個(gè)人臉的結(jié)果好。2.4.4基于外觀的方法模板匹配中的模板是由專(zhuān)家預(yù)定義的，與模板匹配中的方法不同，基于外觀方法中的模板是從圖像中的樣本學(xué)習(xí)的。通常，基于外觀的方法依靠統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)找到相應(yīng)的人臉和非人臉圖像的特征。學(xué)習(xí)的特征由分布模型或判別函數(shù)形成，用于人臉檢測(cè)，同時(shí)，由于計(jì)算效率和檢測(cè)有效性的原因通常需要降維。這種方法中最常用的是用貝也斯(Bayesian)分類(lèi)器或最大自然函數(shù)將

29、一個(gè)候選圖像位置分類(lèi)為人臉或非人臉；另外，隱藏Markov模型(HiddenMarkovModel,HMM)和支持向量機(jī)(SupportVectorMachines,SVMs)方法也比較常用。在這里我們就不做介紹了。2.5臉部特征定位方法分類(lèi)近年來(lái)，國(guó)內(nèi)外學(xué)者們已提出了許多種臉部特征定位方法。根據(jù)定位所依據(jù)的基本信息的類(lèi)型，以將現(xiàn)有方法分為基于先驗(yàn)規(guī)則、基于幾何形狀信息、基于色彩信息、基于外觀信息和基于關(guān)聯(lián)信息等5類(lèi)：(1)基于先驗(yàn)規(guī)則根據(jù)臉部特征的一般特點(diǎn)總結(jié)出一些經(jīng)驗(yàn)規(guī)則，搜索前，先對(duì)輸人圖像作變換使目標(biāo)特征得到強(qiáng)化，而后根據(jù)上述規(guī)則從圖中篩選出候選點(diǎn)或區(qū)域。(2)基于幾何形狀信息北京林業(yè)

30、大學(xué)本科論文（設(shè)計(jì)）北京林業(yè)大學(xué)本科論文（設(shè)計(jì)） 根據(jù)臉部特征的形狀特點(diǎn)構(gòu)造一個(gè)帶可變參數(shù)的幾何模型，并設(shè)定一個(gè)評(píng)價(jià)函數(shù)量度被檢測(cè)區(qū)域與模型的匹配度。搜索時(shí)不斷調(diào)整參數(shù)使評(píng)價(jià)函數(shù)最小化，從而使模型收斂于待定位的臉部特征。（3）基于色彩信息使用統(tǒng)計(jì)方法建立起臉部特征的色彩模型，搜索時(shí)遍歷候選區(qū)域，根據(jù)被測(cè)點(diǎn)的色彩與模型的匹配度篩選出候選點(diǎn)。（4）基于外觀信息將臉部特征附近一定區(qū)域（窗口）內(nèi)的子圖像作為一個(gè)整體，映射為高維空間中的一個(gè)點(diǎn)，這樣，同類(lèi)臉部特征就可以用高維空間中的點(diǎn)集來(lái)描述，并可以使用統(tǒng)計(jì)方法得到其分布模型。在搜索中，通過(guò)計(jì)算待測(cè)區(qū)域與模型的匹配度即可判定其是否包含目標(biāo)臉部特征。（5）

31、基于關(guān)聯(lián)信息在局部信息的基礎(chǔ)上，引人臉部特征之間的相對(duì)位置信息，以縮小候選點(diǎn)范圍，從運(yùn)算量、準(zhǔn)確率與魯棒性（包括圖像質(zhì)量需求和姿態(tài)表情光照等影響）3個(gè)方面對(duì)各類(lèi)方法的性能作了粗略的比較。2.5.1先驗(yàn)規(guī)則先驗(yàn)規(guī)則是關(guān)于臉部特征一般特點(diǎn)的經(jīng)驗(yàn)描述，人臉圖像有一些明顯的基本特征，如臉部區(qū)域通常包括雙眼、鼻和嘴等臉部特征，其亮度一般低于周邊區(qū)域;雙眼大致對(duì)稱(chēng)，鼻、嘴分布在對(duì)稱(chēng)軸上等。為了利用這些基本特征進(jìn)行臉部特征定位，一般要先對(duì)輸人圖像作變換，使所要使用的特征得到強(qiáng)化，而后根據(jù)規(guī)則從圖中篩選出候選點(diǎn)或區(qū)域.此類(lèi)方法的難點(diǎn)在于，如何將人們的直觀印象精確地表述為可應(yīng)用的代碼化規(guī)則，以及如何處理規(guī)則的精

32、確性與適用性之間的矛盾。（1）鑲嵌圖鑲嵌圖18方法是先將圖像劃分成一組相同大小的方格，每個(gè)方格中像素灰度的平均值作為這個(gè)方格的灰度值，根據(jù)一組規(guī)則確定可能為人臉的區(qū)域;確定人臉的區(qū)域之后再將方格的邊長(zhǎng)減半，重新構(gòu)建新的鑲嵌圖，并根據(jù)一組規(guī)則分別定位出眼、鼻、嘴等臉部特征;最后，將前兩步所得到的臉部區(qū)域二值化，并使用邊緣檢測(cè)裝置最終確定臉部特征的位置，為了實(shí)現(xiàn)尺寸無(wú)關(guān)性，對(duì)所有可能的方格尺寸都作了測(cè)試，因此算法的運(yùn)算量很大，準(zhǔn)確率也不高但是這種由粗到精的搜索策略對(duì)后來(lái)的研究有很大的影響。使用長(zhǎng)寬比可變的矩形單元代替方格田，以便更好地?cái)M合人臉。為了設(shè)定矩形單元的長(zhǎng)寬比，利用灰度值在X和y方向上的投

33、影確定眼、鼻、嘴和臉頰邊界的位置，從而確定出臉部的大致范圍，據(jù)此設(shè)定矩形單元的長(zhǎng)寬比.這樣縮小了搜索的范圍，也避免了循環(huán)測(cè)試，不但使運(yùn)算量大幅減少，也使準(zhǔn)確率大大提高（在M2VTS數(shù)據(jù)庫(kù)19上，對(duì)眼、鼻、嘴等的定位準(zhǔn)確率均在94.6%以上），但是他們的算法無(wú)法處理復(fù)雜背景或多人的情況，對(duì)目標(biāo)對(duì)象姿態(tài)的變化較敏感。（2）幾何投影幾何投影是臉部特征領(lǐng)域中最經(jīng)典的算法，它利用臉部特征灰度值比皮膚灰度值低的特點(diǎn)，先統(tǒng)計(jì)出X或Y方向上的灰度值，畫(huà)出灰度值曲線，找出曲線中特定的變化點(diǎn)，然后通過(guò)先驗(yàn)規(guī)則與變化點(diǎn)比較，即可得到臉部特征的位置.Kanade等首先將這一方法應(yīng)用于人臉識(shí)別20，Brunelli等在

34、投影中使用X,Y兩個(gè)方向上的梯度信息，以取代原始灰度值，從而減小了對(duì)光照條件的敏感度，增加了識(shí)別的準(zhǔn)確性。Feng和Yuen等提出使用VPF（VarianceProjectionFunction方差投影函數(shù)）函數(shù)來(lái)定位21臉部特征，該函數(shù)的作用是計(jì)算指定方向上的所有像素的灰度值方差，與簡(jiǎn)單求和相比，它對(duì)復(fù)雜背景的適應(yīng)力較強(qiáng)他們?cè)谌搜凵隙x了6個(gè)特征點(diǎn)，分別對(duì)應(yīng)于VPF函數(shù)值在X,Y方向上的特定突變點(diǎn)，同時(shí)假定瞳孔為圓形，上下眼眶為拋物線搜索時(shí)，先依據(jù)人體測(cè)量標(biāo)準(zhǔn)在人臉區(qū)域上劃出搜索范圍，然后根據(jù)其中VPF函數(shù)值的變化情況求出特征點(diǎn)位置，最后根據(jù)眼形假設(shè)擬合出瞳孔形狀和眼眶線與可變形模板法相比，

35、該方法計(jì)算量較小，對(duì)初始搜索位置要求不高，但在眼睛狀態(tài)變化的情況下容易失效。姜軍等提出以或運(yùn)算代替求和運(yùn)算的廣義投影運(yùn)算，他們先將圖像二值化，而后在一定高度范圍內(nèi)作水平方向投影得到一系列短線，最后根據(jù)先驗(yàn)規(guī)則對(duì)短線兩兩配對(duì)，從而篩選出最終結(jié)果該算法能應(yīng)對(duì)多人的情況，運(yùn)行速度很快，但錯(cuò)誤接受率較高。幾何投影法計(jì)算量較低，但在大的姿態(tài)變化或復(fù)雜背景下容易失效。（3）二值化定位LimingZhang等先用直方圖問(wèn)值法將圖像二值化，然后根據(jù)其中黑色區(qū)域的面積、形狀和相對(duì)位置等幾何特征確定出瞳孔的位置，最后通過(guò)邊緣追蹤依次找到上眼眶、眼角和下眼眶22。范宏深等提出了一種與其類(lèi)似的方法23，即將圖像二值化

36、后，計(jì)算出黑色區(qū)域的有效面積、質(zhì)心、外接矩形、圓性質(zhì)和添實(shí)度（即黑斑的有效面積與黑斑外接矩形面積之比）等幾何特征，然后依據(jù)經(jīng)驗(yàn)標(biāo)準(zhǔn)篩去一部分黑色區(qū)域，并將余下的黑色區(qū)域作配對(duì)篩選，從而得到雙眼位置。此類(lèi)方法運(yùn)算量很小，但易受光照條件和圖像質(zhì)量的影響，在追蹤邊界時(shí)容易發(fā)生斷線問(wèn)題，穩(wěn)定性無(wú)法保證。（4）廣義對(duì)稱(chēng)對(duì)稱(chēng)性是識(shí)別物體可利用的基本性質(zhì)之一，它包括點(diǎn)對(duì)稱(chēng)性（也叫中心對(duì)稱(chēng)性）和軸對(duì)稱(chēng)性絕大多數(shù)自然物體或人造物體都存在著這兩種對(duì)稱(chēng)性，對(duì)于人臉圖像來(lái)說(shuō)，人眼、眉毛、嘴等都具有很強(qiáng)的點(diǎn)對(duì)稱(chēng)性，所以對(duì)稱(chēng)性被大量用于表情識(shí)別。2.5.2基于幾何形狀信息幾何形狀信息，即目標(biāo)對(duì)象的幾何形狀特征，易于理解和

37、應(yīng)用，并且具有很好的直觀性。因而很早就在模式識(shí)別領(lǐng)域得到廣泛的使用。基于幾何形狀信息類(lèi)方法的一般思路是:根據(jù)臉部特征的形狀特點(diǎn)構(gòu)造一個(gè)帶可變參數(shù)的幾何模型，并設(shè)定一個(gè)相應(yīng)的評(píng)價(jià)函數(shù)以度量被檢測(cè)區(qū)域與模型的匹配度，搜索時(shí)，不斷調(diào)整參數(shù)使能量函數(shù)最小化，使模型逐漸收斂于待定位的臉部特征。基于色彩信息色彩信息類(lèi)方法的基本思想是用統(tǒng)計(jì)方法對(duì)目標(biāo)對(duì)象的色彩建模，在搜索中根據(jù)被測(cè)點(diǎn)的色彩與模型匹配的程度，篩選出待測(cè)特征的可能位置.色彩信息在人臉檢測(cè)中有廣泛的應(yīng)用，而在臉部特征定位方面的應(yīng)用則相對(duì)較少，這是因?yàn)槟w色在色彩空間中具有聚合性，而臉部特征的色彩信息較為復(fù)雜，如眼與嘴，以及眼睛的瞳孔與眼白的色彩有顯

38、著區(qū)別，這給統(tǒng)一建模造成了一定的難度。一種簡(jiǎn)單的解決辦法是直接利用臉部特征與皮膚在色彩上的差異如在已找到的皮膚區(qū)域上搜索“空洞”，并根據(jù)空洞的面積、相對(duì)位置等判斷其是否為臉部特征。這種方法避開(kāi)了對(duì)臉部特征色彩信息的直接建模，直接利用了基于色彩信息的人臉檢測(cè)的搜索結(jié)果，速度快，但精度不高?；谕庥^信息與幾何信息類(lèi)方法和色彩信息類(lèi)方法不同的是，外觀（Appearance）信息類(lèi)方法不再面向像素級(jí)判斷，而是將一定區(qū)域（窗口）內(nèi)的圖像整體視作一個(gè)隨機(jī)變量，并映射為高維空間中的一個(gè)點(diǎn)，這樣，同一類(lèi)型的臉部特征就可以描述為高維空間中的一個(gè)點(diǎn)集，可以用統(tǒng)計(jì)方法對(duì)其分布規(guī)律建模，在搜索中，通過(guò)計(jì)算待測(cè)區(qū)域與模

39、型的匹配度即可判定其是否包含目標(biāo)臉部特征.這類(lèi)方法對(duì)圖像質(zhì)量、環(huán)境條件和目標(biāo)對(duì)象狀態(tài)等方面的變化有較好的適應(yīng)能力，近年來(lái)引起研究者們的廣泛關(guān)注。色彩信息類(lèi)方法對(duì)光照條件和圖像采集設(shè)備的特性較為敏感，易受環(huán)境因素的干擾，精度難以穩(wěn)定，但其優(yōu)勢(shì)在于系統(tǒng)的運(yùn)行速度快，受姿態(tài)、尺寸表情等變化的影響小，適合于粗定位或一些對(duì)運(yùn)行時(shí)間有較高要求的應(yīng)用?；陉P(guān)聯(lián)信息上述方法大多從局部著眼，試圖依據(jù)像素本身（色彩信息類(lèi)方法）或鄰近像素之間的相互關(guān)系（幾何、外觀類(lèi)方法）來(lái)做出判斷，但局部信息的區(qū)分度有限，在不受限制的條件下往往存在著大量的相似點(diǎn)，這就增大了后期處理的難度。為了解決這個(gè)問(wèn)題，研究者們引人了關(guān)聯(lián)信息，

40、試圖利用臉部特征之間存在著的較穩(wěn)定的相對(duì)位置關(guān)系來(lái)縮小候選點(diǎn)范圍與前面提到的先驗(yàn)知識(shí)不同的是，這些方法所使用的關(guān)聯(lián)信息都是通過(guò)統(tǒng)計(jì)學(xué)習(xí)得到的。表2.2算法分類(lèi)臉部特征的定位與匹配度計(jì)算可以同步完成，而且還可以利用相似人臉的經(jīng)驗(yàn)信息來(lái)確定搜索的初始位置。這可以說(shuō)是目前臉部特征定位研究的一個(gè)重要趨勢(shì)。隨著使用信息類(lèi)型的增多，定位的準(zhǔn)確率隨之提高，對(duì)眼睛狀態(tài)、目標(biāo)對(duì)象姿態(tài)上的變化有一定的適應(yīng)能力，但同時(shí)也增大了算法的運(yùn)皆冃算量。上文只是對(duì)人臉特征定位方法作了簡(jiǎn)單的介紹，在下表中給出了這幾種方法的算法分類(lèi)。對(duì)于表中的算法除了先驗(yàn)規(guī)則的之外，我們不做介紹。在本文中采用的特征定位方法是先驗(yàn)規(guī)則中的幾何投影

41、。在表2.2中總結(jié)了臉部特征定位方法。2.6表情識(shí)別方法分類(lèi)關(guān)于人臉表情特征提取與識(shí)別的方法可概述如下:2.6.1基于幾何特征的識(shí)別方法人臉由眼睛、鼻子、嘴巴、下巴等部件構(gòu)成,正因?yàn)檫@些部件的形狀、大小和相對(duì)位置的各種變化才使得人臉表情千差萬(wàn)別,因此對(duì)這些部件的形狀和結(jié)構(gòu)關(guān)系等特征的變化,可以作為人臉表情識(shí)別的重要特征。最早,研究人員利用人臉特征的顯著點(diǎn)導(dǎo)出一組用于識(shí)別的特征進(jìn)行人臉24及其表情識(shí)別。采用幾何特征進(jìn)行正面人臉表情識(shí)別一般通過(guò)提取眼、口、鼻等重要特征點(diǎn)的位置和眼睛等重要器官的幾何形狀作為識(shí)別特征。Lanitis用臉部一系列的特征點(diǎn)組成可變形的模型，通過(guò)測(cè)量特征點(diǎn)的相互位置和形狀來(lái)

42、識(shí)別人臉表情（如圖2.3所示）。左圖為訓(xùn)練圖像中定位特征點(diǎn),右圖說(shuō)明變形模板上關(guān)鍵的14個(gè)點(diǎn)。圖2.3特征點(diǎn)Fig.2.3Thecharacteristicorder其基本思想是:對(duì)每一種表情（高興、悲傷、驚奇、恐懼、厭惡、憤怒和平靜共七種）在選出來(lái)的訓(xùn)練圖像中建立全局參數(shù)的分布，以便對(duì)一幅新的人臉圖像計(jì)算其全局參數(shù)，以此來(lái)識(shí)別人臉表情。他們?cè)趯?shí)驗(yàn)中具體的運(yùn)用了可變形模型，通過(guò)計(jì)算特征點(diǎn)的相互位置和形狀來(lái)識(shí)別表情，達(dá)到74%的識(shí)別率?；趲缀翁卣鞯姆椒ê艽蟪潭壬蠝p少了輸入的數(shù)據(jù)，但是用有限的特征點(diǎn)來(lái)代表人臉圖像，一些重要的表情識(shí)別和分類(lèi)信息就會(huì)丟失。實(shí)驗(yàn)研究表明幾何特征提取的精確性結(jié)果不容樂(lè)觀

43、。現(xiàn)在對(duì)于人臉圖像處理技術(shù)，基于整體的正面灰度信息的方法越來(lái)越引起重視。2.6.2基于整體的識(shí)別方法與基于幾何特征的識(shí)別方法相比，基于整體的識(shí)別方法主要強(qiáng)調(diào)盡可能多的保留原始人臉表情圖像中的信息，并允許分類(lèi)器發(fā)現(xiàn)表情圖像中相關(guān)的特征，通過(guò)對(duì)整幅人臉表情圖像進(jìn)行變換，獲取特征來(lái)進(jìn)行識(shí)別。這種全局表情特征未必有明確的含義，但在某種意義上是易于分類(lèi)的。由于基于全局的人臉表情識(shí)別方法具有強(qiáng)相關(guān)性及高冗余度，因此如何在抽取優(yōu)化特征的同時(shí)提高識(shí)別的自適應(yīng)性，至今還沒(méi)有一個(gè)行之有效的方法。基于整體的識(shí)別方法中最有代表性，應(yīng)用最廣泛的就是主元分析（PCA）方法。主元分析就是要找到一個(gè)正交的維數(shù)空間來(lái)說(shuō)明數(shù)據(jù)中

44、變化的主要方向。而坐標(biāo)軸就成了稱(chēng)之為Holo2ns【26和EigenfacesN啲近似人臉的模板圖像軸。它是最小方差準(zhǔn)則條件下基于圖片的最優(yōu)描述方法,將輸入空間的維數(shù)從板中的象素?cái)?shù)減少到特征臉的數(shù)目。如圖2.4所示:Ekman和Friese得到的基于形狀無(wú)關(guān)的人臉表情圖像的特征臉27。主元分析現(xiàn)在已成功的用于人臉表情識(shí)別和人臉識(shí)別。圖2.4特征臉Fig.2.4Characteristicface另一種基于整體的識(shí)別方法是運(yùn)用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)模型由簡(jiǎn)單的、并行處理的互連處理單元構(gòu)成,每個(gè)神經(jīng)元與其它神經(jīng)元相連并從與其相連的神經(jīng)元接受輸入,輸入加權(quán)后輸出送給其它的神經(jīng)元,各神經(jīng)元之間的連接強(qiáng)度通

45、過(guò)連接權(quán)值來(lái)描述。2.6.3基于模版的識(shí)別方法基于模板的方法又可以分為特征臉?lè)椒?、基于相關(guān)匹配的方法、線性判別分析方法、奇異值分解方法、神經(jīng)網(wǎng)絡(luò)方法、動(dòng)態(tài)連接匹配方法等。其中最具有代表性，也是最成功的是特征臉?lè)椒?。?）特征臉?lè)椒═urk在1991年提出特征臉的方法，它根據(jù)一組人臉訓(xùn)練圖像構(gòu)造主元子空間，由于主元具有臉的形狀，也稱(chēng)為特征臉。識(shí)別時(shí)將測(cè)試圖像投影到主元子空間上，得到一組投影系數(shù)，和各個(gè)已知的人臉圖像比較進(jìn)行識(shí)別該算法取得了較好的效果，但系統(tǒng)在進(jìn)行特征臉?lè)椒ㄖ靶枰鞔罅款A(yù)處理工作如歸一化等。（2）神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別應(yīng)用中有很長(zhǎng)的歷史。早期用于人臉識(shí)別的神經(jīng)網(wǎng)絡(luò)主要是K

46、ohenon自聯(lián)想映射神經(jīng)網(wǎng)絡(luò)，用于人臉的回憶仏所謂回憶I是指當(dāng)圖像上的人臉受噪聲污染嚴(yán)重或部分缺損時(shí),能用Kohenon網(wǎng)絡(luò)恢復(fù)出原來(lái)完整的臉。2.6.4基于模型的識(shí)別方法現(xiàn)在很多人臉表情識(shí)別系統(tǒng)是基于人臉物理模型的方法。它是將人臉圖像建模為可變形的3D網(wǎng)格表面，將人臉表情識(shí)別問(wèn)題轉(zhuǎn)化成為可變形曲面的彈性匹配問(wèn)題，把空間和灰度放在一個(gè)3D空間中北京林業(yè)大學(xué)本科論文(設(shè)計(jì))北京林業(yè)大學(xué)本科論文(設(shè)計(jì)) # 同時(shí)考慮。Essa和Pentland28在Terzopoulos和Watwes27啲基礎(chǔ)上構(gòu)建了一個(gè)基于解剖學(xué)的人臉模型并且把它用于識(shí)別人臉表情(如圖2.5所示)。圖2.5人臉模型Fig.2

47、.5Facemodel2.6.5其他方法由于小波理論已逐漸成為一種成熟的技術(shù),用小波方法進(jìn)行圖像識(shí)別的技術(shù)也已日趨成熟。日本九州大學(xué)刖提出用Gabor小波進(jìn)行面部表情信息的壓縮編碼，但在圖像序列中只考慮特征點(diǎn)位移紋理信息,并未運(yùn)用顏色信息。美國(guó)CMU30運(yùn)用隱馬爾可夫模型(HMM)分析人臉表情的細(xì)微變化，自動(dòng)區(qū)別各種基于FACS表情活動(dòng)單元(AU)的細(xì)微面部表情。為實(shí)現(xiàn)自動(dòng)識(shí)別運(yùn)用了三種提取面部表情信息的方法:特征點(diǎn)跟蹤、流跟蹤和邊緣檢測(cè)。Peng和Hayes31研究了人臉表情的建模與合成，用基于模型圖像編碼的方法使用遺傳算法來(lái)編碼、識(shí)別與合成各種不同的表情。2.7本章小結(jié)本章介紹了面部表情的

48、分類(lèi)，重點(diǎn)研究了人臉檢測(cè)方法、人臉特征定位方法以及表情識(shí)別方法。為下一章人臉表情識(shí)別系統(tǒng)的設(shè)計(jì)奠定了基礎(chǔ)。北京林業(yè)大學(xué)本科論文（設(shè)計(jì)）北京林業(yè)大學(xué)本科論文（設(shè)計(jì)） 人臉表情識(shí)別系統(tǒng)的設(shè)計(jì)3.1引言人臉表情識(shí)別包括三方面的內(nèi)容：人臉檢測(cè)（定位），人臉表情特征提取，表情識(shí)別，人其具體方法在第二章已經(jīng)做了詳細(xì)說(shuō)明。本章的研究重點(diǎn)是利用表情識(shí)別的方法開(kāi)發(fā)一個(gè)基于VB6.0的人臉表情識(shí)別系統(tǒng)。為了評(píng)價(jià)一個(gè)人臉表情識(shí)別系統(tǒng)，需要有一定的測(cè)試標(biāo)準(zhǔn)。一個(gè)完整的人臉表情識(shí)別系統(tǒng)的測(cè)試標(biāo)準(zhǔn)應(yīng)該有一個(gè)大容量的人臉表情數(shù)據(jù)庫(kù)（表3.1中提供了大量表情庫(kù)）。但是人臉表情庫(kù)很難在線獲得，這里要感謝陳鋒軍老師提供的CKAC

49、FEID人臉表情庫(kù)。這個(gè)庫(kù)里面包括了18到50歲共210位成年人（69為女性，31為男性）的臉部表情序列圖像。其中81的白種人，13的非洲人和6其它種族的人。在本章中人臉表情識(shí)別系統(tǒng)的設(shè)計(jì)和評(píng)價(jià)都是利用了這個(gè)人臉表情庫(kù)。表3.1常用人臉表情庫(kù)Fig3.1Commonfacedata人臉表情庫(kù)鏈接特點(diǎn)CKACFEID人臉庫(kù)M2VTS人臉庫(kù)MTT人臉庫(kù)ORI人臉庫(kù)Yale人臉庫(kù)FERET人臉庫(kù)UMIST人臉庫(kù)Harvard人臉庫(kù)PurdueAR人臉庫(kù)Kodsk人臉庫(kù)CMUPIE圖象庫(kù)Bern大學(xué)人臉庫(kù) HYPERLINK http:/poseidon.csd.auth.gr/M2VTS/index

50、.html/pub/images http:/poseidon.csd.auth.gr/M2VTS/index.html/pub/images HYPERLINK HYPERLINK HYPERLINK /humanid/feret /humanid/feret HYPERLINK http:/image.ee.umist.ac.uk/danny/databased.htmlhttp:/ftp,/pub/faces http:/image.ee.umist.ac.uk/danny/databased.htmlhttp:/ftp,/pub/faces HYPERLINK /aleix/aleix

51、_face_DB.html /aleix/aleix_face_DB.htmlEastmanKodakCorporation HYPERLINK /projects/project_418.htmlftp:/iamftp.unibe.ch/pub/Images/FaceIages/ /projects/project_418.htmlftp:/iamftp.unibe.ch/pub/Images/FaceIages/8到50歲共210位成年人包含圖像序列16人，每人27幅，有光照、尺度和頭部偏轉(zhuǎn)變化40人，每人10幅有表情、光照變化及眼鏡大量的男女臉像，有表情變化20人564幅圖像，包含從正面

52、到側(cè)面的各個(gè)角度各種光照條件下，臉像經(jīng)裁剪和掩蓋3276張臉像，有表情、光照變化和遮擋彩色圖像，有尺寸、姿態(tài)和光照變化每人13種姿態(tài)、43種光照條件和4種表情30人，每人10伏正面像和5幅側(cè)面像3.2預(yù)處理人臉表情圖像的預(yù)處理在人臉圖像的識(shí)別過(guò)程中占有舉足輕重的位置，它為表情特征的提取和識(shí)別奠定了基礎(chǔ)。根據(jù)算法的要求，本文中預(yù)處理包括歸一化、灰度化和二值化。3.2.1歸一化由于在每幅人臉圖像的大小不同，因此可能導(dǎo)致眼睛、鼻子、口等的位置發(fā)生誤差，因而會(huì)導(dǎo)致識(shí)別結(jié)果發(fā)生錯(cuò)誤，所以在對(duì)人臉表情特征提取和分類(lèi)之前一般需要做幾何歸一化和灰度歸一化幾何歸一化是指根據(jù)人臉定位結(jié)果將圖像中人臉變換到同一位置

53、和同樣大?。换叶葰w一化是指對(duì)圖像進(jìn)行光照補(bǔ)償?shù)忍幚?光照補(bǔ)償能夠一定程度地克服光照變化的影響而提高識(shí)別率，如果不進(jìn)行歸一化在下一步中會(huì)遇到很多困難。幾何歸一化的算法我們將在3.4節(jié)中討論。3.2.2灰度化灰度圖（Grayscale）是指只含亮度信息，不含色彩信息的圖像?；叶然幚硎前押辛炼群蜕实牟噬珗D像變換成灰度圖像的過(guò)程?；叶然幚碓谠S多圖像處理中是很重要的一步，他的結(jié)果就是后續(xù)處理的基礎(chǔ)。所以，尋求一種正確有效的灰度化處理方法尤其重要。位圖圖像一般分為單色圖像、灰度圖像和彩色圖像。單色圖像只有黑色和白色兩種顏色,整個(gè)圖像由單純的黑色點(diǎn)和白色點(diǎn)組成，就是我們下面要介紹的二值圖像。彩色圖像

54、的像素點(diǎn)是由R（紅色）、G（綠色）、B（藍(lán)色）三元色混合而成的，不同含量的R、G、B組成不同的顏色，每一個(gè)記錄單個(gè)像素的位數(shù)據(jù)單元可表示任意一種顏色。根據(jù)這個(gè)記錄單個(gè)像素信息的位數(shù)據(jù)單元所占位數(shù)大小,可分為8位、16位、24位和32位等幾種位圖。8位位圖是指圖像一個(gè)像素點(diǎn)的顏色信息用8個(gè)位（一個(gè)字節(jié)）來(lái)表示；同樣,16位位圖用16個(gè)位（二個(gè)字節(jié)）來(lái)表示，其中R、G、B分別占5位，另外1位他用;24位位圖用24個(gè)位（三個(gè)字節(jié)）來(lái)表示，其中R占8位、G占8位、B占8位。得到灰度圖象圖3.1灰度化流程圖Fig3.1Theashdegreeturnsflowchart灰度圖像與單色圖像的區(qū)別是加上顏色

55、深度的概念，單純的看，灰度圖也是黑白的，就像黑白電視顯示的圖像一樣,但是點(diǎn)與點(diǎn)之間黑的程度是不一樣的,這就是深度。如果稱(chēng)不同深度的顏色為一色的話,灰度圖像就不止只有黑色和白色兩種顏色,一般使用的灰度圖為256級(jí)灰度圖,就是說(shuō)圖像由256種不同灰度級(jí)的顏色組成32一般的對(duì)于256色的位圖圖像，它的每個(gè)像素占8位，正好是一個(gè)字節(jié)。它的像素值存儲(chǔ)的并不是像素的顏色，而是一個(gè)圖像顏色表中的索引，在顏色表中則存儲(chǔ)了256種顏色值。在彩色圖像中，圖像的像素值存儲(chǔ)的就是像素的顏色。一般的對(duì)于256色的位圖圖像，它的每個(gè)像素占8位，正好是一個(gè)字節(jié)。它的像素值存儲(chǔ)的并不是像素的顏色，而是一個(gè)圖像顏色表中的索引，

56、在顏色表中則存儲(chǔ)了256種顏色值。通過(guò)以上的分析，可很容易地得到圖像的灰度化及灰度特征的提取算法,灰度化流程見(jiàn)圖3.1。3.2.3二值化（1）灰度圖像：灰度圖像矩陣元素的取值范圍通常為0,255。因此其數(shù)據(jù)類(lèi)型一般為8位無(wú)符號(hào)整數(shù)的（int8）,這就是人們經(jīng)常提到的256灰度圖像。0”表示純黑色，255”表示純白色，中間的數(shù)字從小到大表示由黑到白的過(guò)渡色。在某些軟件中，灰度圖像也可以用雙精度數(shù)據(jù)類(lèi)型（double）表示，像素的值域?yàn)?，1，0代表黑色，1代表白色，0到1之間的小數(shù)表示不同的灰度等級(jí)。二值圖像可以看成是灰度圖像的一個(gè)特例。（2）二值圖像：一幅二值圖像的二維矩陣僅由0、1兩個(gè)值構(gòu)成

57、，0”代表黑色，1”代白色。由于每一像素（矩陣中每一元素）取值僅有0、1兩種可能，所以計(jì)算機(jī)中二值圖像的數(shù)據(jù)類(lèi)型通常為1個(gè)二進(jìn)制位。二值化的通常用的方法如下：選擇某個(gè)閾值T，將原始圖像變換為二值圖像：當(dāng)f（x,y）=T時(shí)，f（i,j）=l；當(dāng)f（x,y）T時(shí)，f（i,j）=0.圖像閾值化這個(gè)看似簡(jiǎn)單的問(wèn)題，在過(guò)去的四十年里受到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注，產(chǎn)生了數(shù)以百計(jì)的閾值選取方法，但是遺憾的是，如同其他圖像分割算法一樣，沒(méi)有一個(gè)現(xiàn)有方法對(duì)各種各樣的圖像都能得到令人滿意的結(jié)果，甚至也沒(méi)有一個(gè)理論指導(dǎo)我們選擇特定方法處理特定圖像。在這里給出了幾種常用的閾值確定方法：基于點(diǎn)的全局閾值方法；基于區(qū)域的全局

58、閾值方法；局部閾值方法和多閾值方法；在本系統(tǒng)中采用的是第一方法，其具體用法在下節(jié)中有具體介紹。二值化過(guò)程如圖3.2。得到二值圖像圖3.2二值化流程圖Fig3.2Twovaluesturnflowchart3.3基于黑斑的特征識(shí)別方法我們之所以采用基于下半部分人臉的表情識(shí)別算法，主要是有以下三個(gè)原因：臉的下半部分特征比較穩(wěn)定，無(wú)論是彩色圖、灰度圖還是三值圖，都可以清楚的分辨出；而像眉角、額頭等臉的上半部分的特征在二值以后的質(zhì)量不是很好，因此要對(duì)臉的上半部分的特征進(jìn)行提取難度很大，而且很容易產(chǎn)生誤差，導(dǎo)致識(shí)別結(jié)果的錯(cuò)誤。四種基本表情都可以通過(guò)嘴角和下頜的特征變化表現(xiàn)和區(qū)別出來(lái)。而像額頭、眼神變化對(duì)

59、高興、驚訝、平靜、悲傷等表情的變化表現(xiàn)不出來(lái)。對(duì)于二值化以后的圖像，黑斑的特征比較明顯，嘴角附近的黑斑變化可以反映出四種表情的變化?；谏鲜鲈颍覀冞x擇了符合我們?cè)O(shè)計(jì)要求和目的的算法。整個(gè)的識(shí)別過(guò)程流程如圖3.3：開(kāi)始輸入人臉圖像人臉圖像歸一化人臉圖像灰度化人臉圖像二值化積分投影法定位眼睛和嘴的位置嘴角是否有高梯度成分輸出：高興”輸出：驚訝N”輸入：悲傷嘴角下拉下巴收緊圖3.3程序流程圖Fig.3.3Procedureflowchart通過(guò)對(duì)大量人臉頭像的識(shí)別，發(fā)現(xiàn)人臉的下半部分的標(biāo)志在二值化以后非常明顯，尤其是嘴角附近黑斑的變化可以反映出人的表情。如圖3.4的三個(gè)人的12幅人臉圖像，在“驚

60、訝”“高興”“悲傷”“平靜”時(shí)具有同樣的黑斑特征。整個(gè)過(guò)程的思路是首先識(shí)別“高興”表情，最明顯的特征是：嘴角上翹，從嘴角到鼻翼有高剃度成分；其次是“悲傷”表情，特征是：嘴巴張開(kāi)，并且嘴角內(nèi)收（特別是和“高興”的表情相比較，嘴角明顯的內(nèi)收）。通過(guò)以上的黑斑就可以明顯的區(qū)分出“高興”和“驚訝”的表情。接下來(lái)是悲傷的表情，特征是：嘴角下拉，下巴收緊（反映在二值圖上就是下唇和下巴之間的黑斑）；最后是“平靜”的表情，特征是：嘴角基本沒(méi)有上下移動(dòng)，下巴放松。驚訝嘴巴黑斑高興嘴角黑斑悲傷下巴黑斑平靜無(wú)特殊黑斑（a）驚訝嘴巴黑斑高興嘴角黑斑悲傷下巴黑斑平靜無(wú)特殊黑斑（b）I連q藝丨逵巨驚訝嘴巴黑斑高興嘴角黑斑