人臉表情識(shí)別技術(shù)的發(fā)展

人臉表情識(shí)別技術(shù)的發(fā)展

1人機(jī)交互模式發(fā)展人類對(duì)面部表情的研究可以追溯到19世紀(jì)。19世紀(jì)，作家協(xié)會(huì)的作者在《人類和動(dòng)物的面部表情》一書中研究和比較了人類和動(dòng)物的面部表情。心理學(xué)家Mehrabian提出,在人們的交流中,只有7%的信息是通過語言來傳遞,而通過面部表情傳遞的信息量卻達(dá)到了55%。人機(jī)交互模式已從語言命令交互階段、圖像用戶界面交互階段發(fā)展到自然和諧的人機(jī)交互階段。同時(shí),由麻省理工學(xué)院Picard教授提出的情感計(jì)算(affectivecomputing)領(lǐng)域正蓬勃興起,其目標(biāo)是使計(jì)算機(jī)擁有情感,即能夠像人類一樣識(shí)別和表達(dá)情感,使人機(jī)交互更加人性化。為了使人機(jī)交互更加和諧與自然,新型的人機(jī)交互技術(shù)正逐漸成為研究熱點(diǎn)。人臉表情識(shí)別是人機(jī)交互與情感計(jì)算研究的重要組成部分。由于人臉表情包含豐富的行為信息,因此對(duì)人臉表情進(jìn)行識(shí)別有利于了解人類的情感等心理狀態(tài),并可進(jìn)行有效的人機(jī)交互。人臉表情識(shí)別涉及心理學(xué)、社會(huì)學(xué)、人類學(xué)、生命科學(xué)、認(rèn)知科學(xué)、生物學(xué)、病理學(xué)、計(jì)算機(jī)科學(xué)等研究領(lǐng)域。可見,人臉表情識(shí)別的進(jìn)展對(duì)提高人工情感智能水平和探索人類情感及認(rèn)知能力極具科學(xué)意義,并將促進(jìn)相關(guān)學(xué)科的發(fā)展。2國內(nèi)人臉溫度識(shí)別研究現(xiàn)狀隨著計(jì)算機(jī)技術(shù)的發(fā)展,人臉表情識(shí)別技術(shù)也逐漸發(fā)展起來。20世紀(jì)90年代,對(duì)人臉表情識(shí)別的研究變得非常活躍。國外較為著名的研究機(jī)構(gòu)有麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)、匹茲堡大學(xué)、馬里蘭大學(xué)、加利福尼亞大學(xué)、代爾夫特理工大學(xué)等。國內(nèi)的研究始于20世紀(jì)90年代末,近幾年開展研究的單位較多,例如哈爾濱工業(yè)大學(xué)、中國科學(xué)院、清華大學(xué)、中國科學(xué)技術(shù)大學(xué)、浙江大學(xué)、南京理工大學(xué)、東南大學(xué)、北方交通大學(xué)、北京航空航天大學(xué)、北京科技大學(xué)、西南交通大學(xué)、大連理工大學(xué)、天津大學(xué)、湖南大學(xué)等都對(duì)人臉表情識(shí)別進(jìn)行了研究。本文將從人臉表情數(shù)據(jù)庫、表情特征提取、表情分類方法、魯棒的表情識(shí)別、精細(xì)的表情識(shí)別、混合表情識(shí)別、非基本表情識(shí)別等方面對(duì)人臉表情識(shí)別的研究現(xiàn)狀進(jìn)行分析。2.1人臉溫度分布由于人臉表情數(shù)據(jù)庫可為人臉表情識(shí)別提供必需的人臉表情數(shù)據(jù),因此,建立豐富、有效的人臉表情數(shù)據(jù)庫對(duì)人臉表情識(shí)別技術(shù)的發(fā)展具有重要意義。目前的人臉表情數(shù)據(jù)庫大致分為以下兩類:一類人臉表情數(shù)據(jù)庫是基于6種基本情感(高興、悲傷、害怕、嫌惡、驚訝和生氣),例如,馬里蘭大學(xué)人臉表情數(shù)據(jù)庫包含40個(gè)不同種族和文化背景被試者的圖像序列。每個(gè)圖像序列持續(xù)大約9秒鐘,包含1~3種基本表情。日本女性人臉表情數(shù)據(jù)庫(JAFFE)包含10個(gè)日本女性的6種情感表情和中性表情共213個(gè)圖像。另一類人臉表情數(shù)據(jù)庫則集中于提取人臉更加細(xì)微的表情。這些表情一般采用面部動(dòng)作編碼系統(tǒng)(FACS)進(jìn)行編碼,其可用44個(gè)不同的動(dòng)作單元來描述表情特征的細(xì)微變化。例如卡內(nèi)基梅隆大學(xué)機(jī)器人研究所和心理學(xué)系共同建立的Cohn-KanadeAU-Coded人臉表情數(shù)據(jù)庫就包含了單一運(yùn)動(dòng)單元和復(fù)合運(yùn)動(dòng)單元共23種表情?，F(xiàn)有210個(gè)18歲到50歲成年人的臉部表情圖像序列。此外,還有一些人臉數(shù)據(jù)庫包含了部分非基本表情,如Yale人臉數(shù)據(jù)庫包含了困乏、眨眼等常見表情;PIE(pose,illumination,andexpression)人臉數(shù)據(jù)庫包含了眨眼等表情;AR人臉數(shù)據(jù)庫包含了尖叫等表情;韓國人臉數(shù)據(jù)庫(KFDB)包含有眨眼表情。在國內(nèi),清華大學(xué)的清華人臉表情數(shù)據(jù)庫包含常見的8類情感類表情和中文語音發(fā)音的說話類表情。北京航空航天大學(xué)毛峽教授等人建立了基于多種情感的北航人臉表情數(shù)據(jù)庫,包含有18種單一表情、3種混合表情和4種復(fù)雜表情,具有多種在其他人臉數(shù)據(jù)庫中未曾出現(xiàn)的情感表情。中國科學(xué)院計(jì)算技術(shù)研究所的CAS-PEAL人臉數(shù)據(jù)庫包含了7種類別(姿勢、表情、飾品、光照、背景、距離和時(shí)間)的人臉圖像。其中表情子數(shù)據(jù)集包含中性、微笑、皺眉、驚訝、閉眼和張嘴等6種表情。2.2變分類型表情特征的提取方法分為基于運(yùn)動(dòng)與基于形變的兩類。其中運(yùn)動(dòng)是指表情發(fā)生時(shí)面部特征隨時(shí)間的變化,而形變則是指有表情的臉相對(duì)于中性表情臉的差異。2.2.1下頜模型測試面部表情圖像的運(yùn)動(dòng)特征包括特征點(diǎn)運(yùn)動(dòng)距離的大小及運(yùn)動(dòng)方向,其可以反映人臉的表情及其變化。代表性的方法包括光流法、運(yùn)動(dòng)模型、特征點(diǎn)跟蹤方法等。佐治亞理工學(xué)院的Essa和麻省理工學(xué)院的Pentland使用光流法進(jìn)行了運(yùn)動(dòng)估計(jì),并使用面部肌肉運(yùn)動(dòng)模型描述了面部的運(yùn)動(dòng)。馬里蘭大學(xué)計(jì)算機(jī)視覺研究室的Yacoob和Davis等人提出了面部的局部參數(shù)運(yùn)動(dòng)模型,同時(shí)構(gòu)建了面部運(yùn)動(dòng)的中級(jí)描述,并使用啟發(fā)式規(guī)則對(duì)6種表情進(jìn)行了分類。薩諾夫公司的Zhu等人提出了一種檢測28個(gè)面部特征點(diǎn)的方法,其對(duì)各種表情和姿勢的變化具有魯棒性。該方法首先基于眼睛的位置用一個(gè)訓(xùn)練的人臉網(wǎng)格來評(píng)估面部特征的大致位置;然后,在預(yù)估位置的周圍搜索精確的面部特征位置。美國倫斯勒理工學(xué)院的Tong等人提出了多狀態(tài)層級(jí)方法用來跟蹤面部特征點(diǎn)。其中統(tǒng)計(jì)形狀模型的層級(jí)表達(dá),用于表征人臉的全局形狀約束和面部組件的局部結(jié)構(gòu)細(xì)節(jié);Gabor小波和灰度級(jí)輪廓用于表征面部特征點(diǎn);多狀態(tài)局部形狀模型用于處理面部組件的形狀變化。這樣通過一個(gè)多模跟蹤方法即可動(dòng)態(tài)評(píng)價(jià)面部組件的狀態(tài)和面部特征點(diǎn)的位置。2.2.2局部特征識(shí)別面部特征的形變可以由形狀和紋理兩方面來描述,又可以分為基于模型的方法和基于圖像的方法兩類。其中基于模型的方法有活動(dòng)外觀模型(AAM)、點(diǎn)分布模型(PDM)等;基于圖像的方法有Gabor變換、主成分分析(PCA)等。英國曼徹斯特大學(xué)的Cristinacce等人提出一種特征響應(yīng)成對(duì)增強(qiáng)算法(PRFR)和AAM相結(jié)合的方法,用以檢測面部眼眶、鼻尖及嘴角等局部區(qū)域的特征點(diǎn)及邊緣的一些特征。Tang等人使用AAM來提取特征點(diǎn),并結(jié)合局部形狀特征識(shí)別表情。法國格勒諾布爾國立理工學(xué)院Hammal等人先通過轉(zhuǎn)移可信度模型(TBM)提取基本情感表情的輪廓信息,然后由基于規(guī)則的決策系統(tǒng)對(duì)距離系數(shù)進(jìn)行分類。美國加利福尼亞大學(xué)的Yu等人提出了一種基于規(guī)劃的遺傳方法,該方法使用Gabor小波表征原始特征,并使用線性和非線性的算子合成新的特征,再由支持向量機(jī)對(duì)表情進(jìn)行分類。香港科技大學(xué)的Liao等人提出了基于兩組特征的表情識(shí)別方法。其中一組特征采用了強(qiáng)度和梯度圖的局部二元模式特征和Gabor濾波器的Tsallis能量;另一組特征通過對(duì)訓(xùn)練圖像的線性判別分析(LDA)來獲得。希臘亞歷士多德大學(xué)的Kotsia等人通過提取表情的紋理和形狀信息,并采用神經(jīng)網(wǎng)絡(luò)進(jìn)行融合來對(duì)基本表情和表情動(dòng)作單元進(jìn)行識(shí)別。2.3動(dòng)態(tài)市場網(wǎng)絡(luò)識(shí)別目前用于表情分類的方法可以分為時(shí)空域方法和空域方法兩類。其中時(shí)空域方法包括隱馬爾可夫模型方法、回歸神經(jīng)網(wǎng)絡(luò)方法、空時(shí)運(yùn)動(dòng)能量模板方法等;空域方法包括神經(jīng)網(wǎng)絡(luò)方法、支持向量機(jī)方法、AdaBoost方法、基于規(guī)則推理的方法、主成分分析、獨(dú)立分量分析、Fisher線性判別分析等。近年來,隱馬爾可夫模型、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和Adaboost算法等成為主流的表情識(shí)別方法。隱馬爾可夫模型(HMM)是一種用于描述隨機(jī)過程信號(hào)統(tǒng)計(jì)特性的概率模型。中科院自動(dòng)化研究所的Zhou等人提出一種基于Adaboost的嵌入式隱馬爾可夫模型,實(shí)現(xiàn)了面部表情的實(shí)時(shí)識(shí)別。加拿大滑鐵盧大學(xué)的Miners等人利用模糊隱馬爾可夫模型進(jìn)行了動(dòng)態(tài)的面部表情識(shí)別,并在人機(jī)交互中取得了很好的識(shí)別效果。人工神經(jīng)網(wǎng)絡(luò)(ANN)是對(duì)人腦神經(jīng)系統(tǒng)的模擬,具有較強(qiáng)的自學(xué)習(xí)、自組織、聯(lián)想及容錯(cuò)能力。美國卡內(nèi)基梅隆大學(xué)的Tian等人提出一個(gè)基于Gabor小波特征和FACS系統(tǒng)的自動(dòng)面部活動(dòng)分析系統(tǒng),該系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)作為分類器,識(shí)別率可達(dá)90%。伊朗大不里士大學(xué)的Seyedarabi等人先從正面圖像序列抽取面部特征點(diǎn),然后通過光流自動(dòng)跟蹤這些特征點(diǎn),最后使用RBF神經(jīng)網(wǎng)絡(luò)和模糊推理系統(tǒng)對(duì)特征向量進(jìn)行分類。加拿大肯考迪亞大學(xué)的Ma等人先對(duì)人臉圖像進(jìn)行2維離散余弦變換(DCT),然后使用前饋神經(jīng)網(wǎng)絡(luò)作為分類器對(duì)表情進(jìn)行分類。土耳其東地中海大學(xué)的Soyel等人將3維面部特征點(diǎn)的距離矢量通過神經(jīng)網(wǎng)絡(luò)識(shí)別7種基本情感,獲得了91.3%的平均識(shí)別率。支持向量機(jī)(SVM)作為一種模式識(shí)別方法,具有出色的學(xué)習(xí)性能和結(jié)構(gòu)風(fēng)險(xiǎn)最小化的優(yōu)點(diǎn),其能夠解決小樣本情況下的學(xué)習(xí)問題。美國加利福尼亞大學(xué)的Littlewort等人提出了基于Gabor濾波的SVM分類器,用于從連續(xù)的視頻序列中識(shí)別表情。東南大學(xué)的Xu等人提出了一種層級(jí)結(jié)構(gòu)的支持向量機(jī)樹,用于進(jìn)行表情識(shí)別,獲得了比其他方法更高的識(shí)別精確性和魯棒性。Adaboost算法作為一種健壯、快速的檢測算法,已成為對(duì)象檢測領(lǐng)域的研究熱點(diǎn)。清華大學(xué)的Wang等人使用基于boostingHaar特征的look-up-table類型的弱分類器來提取面部表情,自動(dòng)的識(shí)別出7種表情。韓國科學(xué)技術(shù)院的Jung等人提出一種新型的矩形特征,并使用Adaboost算法從所有可能矩形中選擇矩形特征,取得了比使用Haar矩形特征更好的識(shí)別效果。但AdaBoost方法在小樣本情況下的性能并不好。2.4人臉溫度識(shí)別與受控環(huán)境下的人臉表情識(shí)別相比,魯棒表情識(shí)別的研究相對(duì)較少。近些年,由于魯棒人臉檢測和魯棒人臉識(shí)別的快速發(fā)展,逐漸有一些解決光照、頭部運(yùn)動(dòng)、噪聲和局部遮擋情況的魯棒表情識(shí)別的研究成果。施樂帕羅奧多研究中心的Black等人、美國斯坦福大學(xué)的Gokturk等人研究了與視角無關(guān)的表情識(shí)別,使其對(duì)頭部運(yùn)動(dòng)具有魯棒性。例如,Gokturk等人提出了一種魯棒的與觀察角度無關(guān)的表情識(shí)別方法。該系統(tǒng)使用一個(gè)3維的基于模型的跟蹤器,同時(shí)魯棒地提取每一幀中人臉的姿勢和外形。日本工學(xué)院大學(xué)的Ebine等人、日本佳能研究中心的Matsugu等人研究了與人無關(guān)的魯棒表情識(shí)別。例如,Matsugu等人描述了一個(gè)基于規(guī)則的算法,用來識(shí)別人臉表情,解決了表情識(shí)別中與人無關(guān)、平移、旋轉(zhuǎn)和尺度變換等問題。實(shí)驗(yàn)結(jié)果表明,對(duì)10余人的5600個(gè)靜態(tài)圖像的微笑表情的識(shí)別率達(dá)到了97.6%。英國倫敦大學(xué)的Shan等人研究了對(duì)圖像分辨率具有魯棒性的表情識(shí)別。他們引入了一種低計(jì)算量的判別特征空間,在不同精度的圖像上實(shí)現(xiàn)了魯棒的表情識(shí)別。更多的研究者則針對(duì)面部遮擋或噪聲提出了一些表情識(shí)別方法。一些研究者使用局部特征進(jìn)行魯棒的表情識(shí)別。英國斯塔福德郡大學(xué)的Bourel等人提出了表情特征的局部表征,并對(duì)分類器輸出進(jìn)行數(shù)據(jù)融合,用來對(duì)存在面部遮擋的視頻序列進(jìn)行表情識(shí)別。后來,他們又提出了基于局部空間幾何面部模型和基于狀態(tài)的面部運(yùn)動(dòng)模型的表情表示方法,用于從視頻序列魯棒識(shí)別人臉表情。實(shí)驗(yàn)顯示,其在面部有局部遮擋和特征有不同水平的噪音的情況下,表情的識(shí)別率有較少的下降。美國卡內(nèi)基梅隆大學(xué)的Gross等人使用魯棒主成分分析(RPCA)訓(xùn)練具有遮擋的人臉圖像來得到活動(dòng)外觀模型(AAM)的人臉圖像灰度變化模型,并提出了具有魯棒性的活動(dòng)外觀模型方法,其對(duì)于有遮擋情況下的人臉跟蹤取得了很好的識(shí)別效果。一些研究者也使用整體特征進(jìn)行魯棒表情識(shí)別。希臘亞歷士多德大學(xué)的Buciu等人提出了基于Gabor小波的特征提取和兩種分類器(最大相關(guān)分類器和余弦相似度度量),獲得了對(duì)局部遮擋(如眼部遮擋和嘴部遮擋)魯棒的表情識(shí)別。英國倫敦大學(xué)學(xué)院的Towner等人基于主成分分析提出了3種方法,用來對(duì)不完整的人臉表情進(jìn)行重構(gòu),并取得了較好的表情識(shí)別效果。清華大學(xué)的劉曉旻使用模板匹配的方法檢測塊狀區(qū)域內(nèi)的遮擋情況,對(duì)于遮擋部分的局部特征進(jìn)行了丟棄。但其使用平均臉來進(jìn)行模板匹配,在人臉結(jié)構(gòu)差異較大的情況下,并不能獲得好的識(shí)別效果?；趯?duì)局部遮擋的魯棒性觀點(diǎn),與考慮整個(gè)人臉的模型相比,采用局部面部信息的人臉模型具有較多優(yōu)點(diǎn)。雖然基于局部特征點(diǎn)和局部幾何表征的人臉模型對(duì)局部遮擋具有魯棒性,但由于基于局部信息的方法會(huì)造成一些模型參數(shù)的丟失,因此分類器必須能夠處理部分輸入數(shù)據(jù),并能進(jìn)行重新訓(xùn)練。以上研究雖提出了各種方法用來提取特征,以獲得對(duì)面部遮擋的魯棒性,但由于沒有去除這些遮擋,因此難以避免引入錯(cuò)誤。2.5基于符號(hào)表達(dá)的一般動(dòng)作編碼對(duì)于面部表情的變化,存在以下兩種表情分類的方法:一種是基于消息評(píng)價(jià)的方法,即把面部表情直接與情感狀態(tài)相對(duì)應(yīng),如Ekman提出的6種基本表情;另一種是基于符號(hào)表達(dá)的方法,即先把面部的各種運(yùn)動(dòng)和形變進(jìn)行細(xì)致的編碼,再根據(jù)表情字典將編碼與某種表情對(duì)應(yīng),或用于描述各種表情。如Ekman和Friesen提出的面部動(dòng)作編碼系統(tǒng)。相對(duì)于基本表情的識(shí)別,對(duì)表情單元的識(shí)別實(shí)現(xiàn)了精細(xì)的表情識(shí)別。2.5.1動(dòng)態(tài)動(dòng)態(tài)識(shí)別研究者們通常使用局部特征分析和光流法等運(yùn)動(dòng)分析技術(shù)來對(duì)表情單元進(jìn)行識(shí)別?？▋?nèi)基梅隆大學(xué)的Lien通過區(qū)別表情單元(運(yùn)動(dòng)單元或混合運(yùn)動(dòng)單元)來理解面部肌肉的獨(dú)立機(jī)制。它考慮了3個(gè)上面部表情單元和6個(gè)下面部表情單元,并對(duì)其進(jìn)行自動(dòng)識(shí)別和強(qiáng)度測量。這些表情是經(jīng)常出現(xiàn)的表情,并存在細(xì)微差別。匹茲堡大學(xué)的Cohn和卡內(nèi)基梅隆大學(xué)的Kanade等人使用光流法來識(shí)別面部表情的細(xì)微變化。他們通過評(píng)價(jià)光流的分級(jí)算法來自動(dòng)跟蹤選取的面部特征,并對(duì)眉毛和嘴巴區(qū)域的動(dòng)作單元和混合動(dòng)作單元進(jìn)行識(shí)別。加利福尼亞大學(xué)的Donato等人采用光流法、主成分分析、獨(dú)立成分分析、局部特征分析、線性判別分析、Gabor小波和局部主成分等方法對(duì)12個(gè)面部單元進(jìn)行了識(shí)別,并對(duì)這些方法的識(shí)別效果進(jìn)行了比較。荷蘭代爾夫特工業(yè)大學(xué)的Pantic等人建立了一個(gè)集成了各種方法的表情識(shí)別專家系統(tǒng),該系統(tǒng)可以識(shí)別正面和側(cè)面兩個(gè)視角的16個(gè)動(dòng)作單元和6種基本表情。美國卡內(nèi)基梅隆大學(xué)機(jī)器人研究所的Tian和Kanade等人開發(fā)了自動(dòng)人臉分析系統(tǒng),先基于永久性和暫時(shí)性的面部特征分析面部表情,然后將面部表情的細(xì)微變化識(shí)別為面部動(dòng)作單元,并分為中性表情、6個(gè)上部動(dòng)作單元和10個(gè)下部動(dòng)作單元。麻省理工學(xué)院媒體實(shí)驗(yàn)室的Kapoor等人提出了一種全自動(dòng)的面部動(dòng)作單元分析系統(tǒng),該系統(tǒng)先使用紅外相機(jī)檢測瞳孔,然后通過主成分分析提取參數(shù),并用支持向量機(jī)來識(shí)別上部面部動(dòng)作單元及其混合動(dòng)作單元。微表情是指持續(xù)時(shí)間不超過1/4s的簡短表情。微表情經(jīng)常不自覺地發(fā)生,可以表現(xiàn)非故意表達(dá)的情感,但大多數(shù)人不能夠感知自己或他人的微表情。在Diogenes研究項(xiàng)目中,心理學(xué)家Ekman發(fā)現(xiàn),微表情可以用于測謊。對(duì)于微表情的自動(dòng)識(shí)別難度很大,目前還未有研究涉及。2.5.2確定情緒特征提取與強(qiáng)度估計(jì)的方法對(duì)人臉表情強(qiáng)度的識(shí)別有助于計(jì)算機(jī)理解人的情緒及其變化。由于不同個(gè)體表達(dá)同一種表情存在變化速度、幅度和持續(xù)時(shí)間上的差別,而且對(duì)面部表情強(qiáng)度的感知還依賴于如性別、文化背景和交流語境等諸多因素,因此具有較大難度。表情單元的強(qiáng)度可以從微量(trace)變化到最大(maximum)(如圖1所示)。微量指面部的運(yùn)動(dòng)剛剛能被注意到;輕微(slight)指外觀上有一個(gè)或更多的變化可以被觀察到;顯著(marked/pronounced)可以由一系列與指定動(dòng)作單元相關(guān)的準(zhǔn)則確定,以區(qū)別于輕微;極度(severe/extreme)由類似于顯著與輕微間的差別確定;最大(maximum)指具有最大的外觀變化。日本東京理科大學(xué)的Kobayashi等人通過神經(jīng)網(wǎng)絡(luò)對(duì)面部各器官的形變與表情強(qiáng)度之間的關(guān)系構(gòu)建強(qiáng)度模型,將“弱”和“強(qiáng)”的面部特征點(diǎn)位置輸入神經(jīng)網(wǎng)絡(luò),由一個(gè)輸出神經(jīng)單元給出6種基本表情的強(qiáng)度值,取得了較高的識(shí)別率。日本圖像信息科技實(shí)驗(yàn)室的Kimura和大阪大學(xué)的Yachida先利用彈性網(wǎng)格模型提取面部表情形變信息,然后通過K-L變換將面部的多元運(yùn)動(dòng)向量投影到低維空間,再由投影向量的大小估計(jì)表情強(qiáng)度的大小,用于對(duì)每種表情構(gòu)建一個(gè)強(qiáng)度模型。美國匹茲堡大學(xué)電子工程系的Lien等人基于FACS系統(tǒng)進(jìn)行面部特征提取與強(qiáng)度估計(jì),即先通過特征點(diǎn)跟蹤、密度流跟蹤、主成分分析、時(shí)空域高梯度成分分析等方法提取表情變化信息,然后將圖像序列投影在特征空間用于估計(jì)表情的類型和強(qiáng)度。日本大阪大學(xué)的Wang等人先通過B樣條曲線構(gòu)造表情變化模型來表征面部特征運(yùn)動(dòng)與表情變化的關(guān)系,然后用匹配圖標(biāo)記的方法跟蹤面部特征點(diǎn)的運(yùn)動(dòng),并依據(jù)面部特征點(diǎn)的位移軌跡來估計(jì)高興、驚訝和生氣表情序列的表情強(qiáng)度。日本京都大學(xué)的Yang等人建立的實(shí)時(shí)表情識(shí)別系統(tǒng)是先將面部運(yùn)動(dòng)單元分為上部、中部和下部,然后計(jì)算不同特征點(diǎn)的距離變化,并由模糊規(guī)則推理人臉各部分的6種基本情感強(qiáng)度。香港中文大學(xué)的Lee等人先通過提取表情變化特征,從面部運(yùn)動(dòng)軌跡中抽取表情強(qiáng)度值;然后分別使用層疊神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)通過建立表情強(qiáng)度模型來對(duì)表情強(qiáng)度值進(jìn)行預(yù)測。其開發(fā)的視覺系統(tǒng)可以估計(jì)高興、生氣和悲傷等情感的表情強(qiáng)度。湖南大學(xué)的李燕先采用等容特征映射進(jìn)行表情特征降維,然后從高維的面部特征點(diǎn)運(yùn)動(dòng)軌跡中抽取出表示表情強(qiáng)度的1維流形,并將支持向量機(jī)用于表情強(qiáng)度等級(jí)的度量。該論文對(duì)特定個(gè)體的高興表情進(jìn)行了強(qiáng)度度量,但沒有對(duì)其他情感表情進(jìn)行強(qiáng)度度量。表情強(qiáng)度的度量涉及到細(xì)微的面部運(yùn)動(dòng),要求面部特征提取具有較高的準(zhǔn)確性和魯棒性,這使得人機(jī)交互中對(duì)表情強(qiáng)度進(jìn)行識(shí)別的難度較大。2.6混合溫度識(shí)別混合表情是由多種情緒引起的復(fù)雜表情。某一混合表情并不等同于幾種基本表情的簡單疊加。與基本表情識(shí)別相比,混合表情識(shí)別對(duì)特征提取及識(shí)別方法的要求更高,識(shí)別難度更大。目前,對(duì)混合表情的研究較少,研究者主要采用模糊理論及較為成熟的模式識(shí)別方法對(duì)混合表情進(jìn)行識(shí)別。日本東京理科大學(xué)的Kobayashi等人將混合表情圖像的面部特征點(diǎn)位置輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,對(duì)測試混合表情的識(shí)別率達(dá)到了70%。對(duì)于混合表情的選擇標(biāo)準(zhǔn)是,當(dāng)一種情感表情的強(qiáng)度變?nèi)鯐r(shí),還能夠感知到另一種情感表情。神經(jīng)網(wǎng)絡(luò)的輸出有6個(gè)神經(jīng)元,每個(gè)神經(jīng)元對(duì)應(yīng)一種情感,與獲得的最大值神經(jīng)元對(duì)應(yīng)的情感即為識(shí)別結(jié)果。但該系統(tǒng)將表情識(shí)別結(jié)果歸為單一情感,這明顯不符合人們對(duì)混合表情的感覺。日本國際模糊工程研究實(shí)驗(yàn)室Ralescu等人首先利用模糊邏輯對(duì)表情圖像進(jìn)行語言建模,然后采用了基于模糊邏輯的定性建模對(duì)6種表情進(jìn)行識(shí)別,并且對(duì)兩種混合表情“悲傷且微笑表情”和“微笑且悲傷表情”進(jìn)行識(shí)別。在表情建模中,由于同一表情圖像可能被識(shí)別為幾種表情,并有對(duì)應(yīng)的強(qiáng)度,所以要采用幾種表情來定義每一表情圖像。哈爾濱工業(yè)大學(xué)的金輝和中國科學(xué)院的高文提出了一種人臉面部混合表情識(shí)別系統(tǒng),首先把臉部分成各個(gè)表情特征區(qū)域,分別提取其運(yùn)動(dòng)特征,并按時(shí)序組成特征序列;然后通過分析不同特征區(qū)域所包含的不同表情信息的含義和表情的含量;最后通過概率融合來理解、識(shí)別任意時(shí)序長度的、復(fù)雜的混合表情圖像序列。其各種表情的總體識(shí)別率達(dá)到96.9%。但該系統(tǒng)識(shí)別的仍舊是7種基本表情,不能滿足人機(jī)交互中對(duì)混合表情識(shí)別的需要。北京大學(xué)的武宇文考慮了基于臉部形狀和結(jié)構(gòu)特征的表情模糊性描述,并分析了基于臉部2維形狀和結(jié)構(gòu)特征描述表情模糊性的合理性和不足之處。天津大學(xué)的左坤隆采用AAM提取表情特征,并用人工神經(jīng)網(wǎng)絡(luò)方法對(duì)提取的特征進(jìn)行混合表情的分類,取得了稍優(yōu)于Gabor小波方法的識(shí)別結(jié)果。北京科技大學(xué)的Zhao等人提出了一種基于模糊核分類和支持向量機(jī)的面部復(fù)雜表情識(shí)別方法。由于人類的情感和表情具有模糊性,因此對(duì)混合表情識(shí)別進(jìn)行研究對(duì)人機(jī)交互中的模糊情感識(shí)別具有積極的促進(jìn)意義。2.7非基本溫度識(shí)別雖然大多數(shù)人臉表情識(shí)別集中于情感表情和表情單元的識(shí)別,但在人機(jī)交互中,還需要從人臉表情中識(shí)別其他的一些狀態(tài),如疼痛、疲勞等。這些非基本表情的識(shí)別在許多人機(jī)交互中具有很好的應(yīng)用前景。相對(duì)于基本情感表情和表情單元識(shí)別而言,非基本表情識(shí)別起步較晚。英國劍橋大學(xué)的ElKaliouby等人提出了一個(gè)能夠推理復(fù)雜精神狀態(tài)的系統(tǒng),該系統(tǒng)能夠從表情和頭部姿勢視頻中實(shí)時(shí)識(shí)別同意、不同意、精神集中、感興趣、思考、不確定等精神狀態(tài)。北京航空航天大學(xué)的薛雨麗、毛峽等人基于AdaBoost方法對(duì)包括打哈欠、好奇等9種表情進(jìn)行了識(shí)別。美國加利福尼亞大學(xué)的Littlewort等人提出一個(gè)對(duì)自發(fā)的疼痛表情進(jìn)行識(shí)別的系統(tǒng)。美國卡內(nèi)基梅隆大學(xué)的Ashraf等人利用活動(dòng)外觀模型來識(shí)別疼痛表情。印度的Saradadevi等人通過對(duì)嘴巴的跟蹤和對(duì)打哈欠的識(shí)別來檢測駕駛員的疲勞狀態(tài)。但是,大多數(shù)研究仍局限于對(duì)設(shè)定表情的識(shí)別,缺乏魯棒性。例如,當(dāng)對(duì)疲勞進(jìn)行檢測時(shí),則可