畢業(yè)設(shè)計(jì)（論文）文獻(xiàn)譯文：局部特征提取方法的面部表情識(shí)別

畢業(yè)設(shè)計(jì)（論文）--文獻(xiàn)翻譯原文題目Localfeatureextractionmethodsforfacialexpressionrecognition譯文題目局部特征提取方法的面部表情識(shí)別專業(yè)信息與計(jì)算科學(xué)姓名學(xué)號(hào)指導(dǎo)教師局部特征提取方法的面部表情識(shí)別作者：SeyedMehdiLajevardi,ZahirM.Hussain墨爾本斯旺斯頓大學(xué)城市校區(qū)電氣與計(jì)算機(jī)工程學(xué)院澳大利亞seyed.lajevardi@.au，zmhussain@.au摘要在本文中，我們探討了基于較高階局部自相關(guān)（HLAC）系數(shù)和局部二進(jìn)制模式（LBP）算子的面部表情識(shí)別的不同特征提取方法的性能。自相關(guān)系數(shù)在計(jì)算上相對(duì)簡(jiǎn)單，對(duì)于正常表達(dá)的變化而言，繼承性不變且相對(duì)強(qiáng)大。重點(diǎn)是識(shí)別在不同的分辨率表達(dá)式的難題。結(jié)果表明，LBP系數(shù)具有驚人的高信息含量。引言面部表情是人的活躍狀態(tài)，認(rèn)知活動(dòng)，意圖，個(gè)性和精神病理學(xué)的明顯表現(xiàn);它不僅表達(dá)了我們的情感，而且在社交互動(dòng)中也提供了重要的交際線索。心理學(xué)家報(bào)道，面部表情構(gòu)成傳達(dá)消息影響的55％，語(yǔ)言和聲音分別占7％和38％。因此，顯而易見(jiàn)的是，對(duì)面部表情的分析和自動(dòng)識(shí)別可以改善人機(jī)對(duì)話或甚至社交互動(dòng)。面部表情的自動(dòng)分類由特征提取和特征分類兩個(gè)階段組成。特征提取是整個(gè)分類過(guò)程的關(guān)鍵。如果使用不足的功能，即使是最好的分類器也可能無(wú)法實(shí)現(xiàn)準(zhǔn)確的識(shí)別。在大多數(shù)面部表情分類的情況下，特征提取的過(guò)程產(chǎn)生了大量的特征，隨后根據(jù)某些最優(yōu)性標(biāo)準(zhǔn)選擇較小的特征子集。局部二進(jìn)制模式（LBP）由Ojala等人首先提出[5]，是紋理描述的重要方法?；诰植慷M(jìn)制模式的基于塊的方法被擴(kuò)展用于面部表情識(shí)別。Otusu[3]提出了高階局部自相關(guān)（HLAC）特征提取。HLAC功能是自相關(guān)特征（二階統(tǒng)計(jì)）的擴(kuò)展，基于高階統(tǒng)計(jì)（HOS），然而所得數(shù)據(jù)的維數(shù)太高?？梢酝ㄟ^(guò)選擇基于相互信息的更多信息特征來(lái)實(shí)現(xiàn)維數(shù)降低[8]，[9]，[10]。在本研究中，研究了最小冗余-最大相關(guān)性（MRMR）[6]，以選擇分類的最佳特征。MRMR算法基于互信息。相互信息被用作在特征縮減任務(wù)中選擇特征的最優(yōu)子集的客觀標(biāo)準(zhǔn)。與基于經(jīng)典相關(guān)的特征選擇方法相反，互信息可以測(cè)量變量之間的任意關(guān)系，而不依賴于應(yīng)用于不同變量的變換。在基于數(shù)據(jù)之間的線性關(guān)系的方法表現(xiàn)不佳的問(wèn)題中，這可能是有用的。提出的面部表情識(shí)別系統(tǒng)的功能框圖如圖1所示。圖1：面部識(shí)別系統(tǒng)的框圖本文的其余部分描述了方法，實(shí)驗(yàn)和結(jié)果。第2節(jié)描述了用于訓(xùn)練和測(cè)試面部表情識(shí)別系統(tǒng)的數(shù)據(jù)庫(kù)。第3節(jié)說(shuō)明圖像預(yù)處理步驟。在第4節(jié)中，說(shuō)明了特征提取。第5節(jié)介紹了功能選擇。第6節(jié)解釋分類。第7節(jié)包含實(shí)驗(yàn)結(jié)果，并在第8節(jié)提出最終結(jié)論。 圖像數(shù)據(jù)庫(kù)從Cohn-Kanade數(shù)據(jù)庫(kù)[1]中選擇的圖像用于訓(xùn)練和測(cè)試面部表情識(shí)別系統(tǒng)。Cohn-Kanade數(shù)據(jù)庫(kù)由100個(gè)受試者的大約500個(gè)圖像序列組成。受試者年齡在18至30歲之間。65％的受試者是女性;百分之十五是非洲裔美國(guó)人，百分之三是亞裔或拉丁美洲人。為了本研究的目的，選擇了359個(gè)靜態(tài)圖像。所選擇的圖像代表100個(gè)不同的主題，表達(dá)六種情緒中的一些或一些：憤怒，厭惡，恐懼，幸福，悲傷和驚喜。對(duì)于每個(gè)受試者，每個(gè)表達(dá)僅使用一個(gè)圖像。一些科目沒(méi)有與所有六個(gè)表達(dá)式相對(duì)應(yīng)的圖像。圖2顯示了Cohn-Kanade數(shù)據(jù)庫(kù)的表達(dá)樣品。圖2：Cohn-Kanade數(shù)據(jù)庫(kù)的原始圖像示例圖像預(yù)處理圖像預(yù)處理過(guò)程是面部表情識(shí)別任務(wù)中非常重要的一步。預(yù)處理階段的目的是獲得具有歸一化強(qiáng)度，尺寸和形狀均勻的圖像序列，并且僅描繪面部區(qū)域。圖像強(qiáng)度使用直方圖均衡進(jìn)行歸一化?；贖aar的特征和AdaBoost學(xué)習(xí)算法，使用Viola-Jones方法[2]檢測(cè)圖像的臉部區(qū)域。Viola和Jones方法是一種能夠?qū)崟r(shí)提供競(jìng)爭(zhēng)對(duì)象檢測(cè)率的物體檢測(cè)算法。它主要用于面部檢測(cè)的問(wèn)題。中提琴和瓊斯使用的特征來(lái)自于在圖像上強(qiáng)加的矩形區(qū)域中選擇的像素，并且對(duì)垂直和水平線條具有高靈敏度。AdaBoost是一種自適應(yīng)學(xué)習(xí)算法，可與許多其他學(xué)習(xí)算法結(jié)合使用，以提高其性能。AdaBoost是適應(yīng)性的，意思是后續(xù)的分類器迭代構(gòu)建，以修復(fù)以前的分類器錯(cuò)誤分類的實(shí)例。在每個(gè)迭代中，更新權(quán)重分布，使得每個(gè)不正確分類的示例的權(quán)重增加（或者替代地，每個(gè)正確分類的例子的權(quán)重減?。?，使得新的分類器更多地關(guān)注這些示例。預(yù)處理的最后階段包括檢測(cè)圖像，以最大程度的喚醒（情感強(qiáng)度）描繪某種情緒。這是使用最小互信息（MI）標(biāo)準(zhǔn)完成的。對(duì)于每個(gè)幀，計(jì)算當(dāng)前幀和初始幀之間的相互信息，并且選擇具有最小互信息的幀作為表示具有最大喚醒的情緒的幀[7]，[8]。圖3：預(yù)處理后的六個(gè)面部表情圖像特征提取特征提取階段代表任何模式識(shí)別系統(tǒng)的關(guān)鍵組成部分。在本研究中，本地實(shí)現(xiàn)了從本地圖片中提取特征的本地方法。4.1高階局部自動(dòng)相關(guān)這些特征是使用高階局部自相關(guān)生成的。N階自相關(guān)函數(shù)，自相關(guān)函數(shù)的擴(kuò)展定義為：（1）其中表示觀測(cè)像素處的強(qiáng)度，是N個(gè)位移。HLAC特征[3]是基于等式的原始圖像特征。他們的指令和替換是任意的。然而，具有大位移區(qū)域的較高階特征變得極其重要。因此，原始的HLAC特征被限制到二階（三點(diǎn)關(guān)系）和3×3位移區(qū)域內(nèi)。它們由具有0,1和2位移的25個(gè)掩模圖案（圖4中的25個(gè)掩模圖案）表示。在整個(gè)圖像上掃描每個(gè)掩模圖案，并且對(duì)于每個(gè)可能的位置，計(jì)算以白色標(biāo)記的像素的乘積。然后將對(duì)應(yīng)于掩模的所有產(chǎn)品相加以提供一個(gè)特征。使用25種不同的掩模圖案來(lái)形成該操作以為每個(gè)面部圖像創(chuàng)建特征向量。每個(gè)特征值表示掩模圖案的功率譜，其對(duì)應(yīng)于頻率分析的基函數(shù)[4]。使用傅立葉變換進(jìn)行粗略的匹配，掩模尺寸對(duì)應(yīng)于頻率分量，并且分配的分布對(duì)應(yīng)于方向分量。由于HLAC功能使用二維分布信息和方向，因此他們更緊密地分析圖像。此外，我們使用大的掩模圖案來(lái)支持大位移區(qū)域（圖5）并提取低分辨率或低頻率的特征。因此，我們使用不同尺寸的口罩在一起，并構(gòu)建多分辨率功能。圖4：25個(gè)HLAC特征的隱藏圖案（3x3）圖4：25個(gè)HLAC特征的隱藏圖案（3×3）4.2局部二進(jìn)制模式運(yùn)算符由Ojala[5]引入的原始LBP算子是紋理描述的一種強(qiáng)大的方法。原來(lái)的3x3鄰居被中心像素的值閾值。通過(guò)給予相應(yīng)像素的二項(xiàng)式權(quán)重，閾值鄰域中的像素值被多項(xiàng)式化。最后，將八個(gè)像素的值相加以獲得該鄰域的LBP數(shù)?；綥BP算子的說(shuō)明如圖6所示。圖6：基本LBP操作符的圖示對(duì)原始操作員的擴(kuò)展是使用所謂的統(tǒng)一模式。如果二進(jìn)制字符串被認(rèn)為是圓形，則它的局部二進(jìn)制模式如果最多包含從0到1的兩個(gè)逐位轉(zhuǎn)換，或反之亦然，則稱為均勻。Ojala沒(méi)有指出，在紋理圖像的實(shí)驗(yàn)中，當(dāng)使用（8,1）鄰域和（16,2）鄰域中的70％時(shí)，均勻模式占所有模式的90％。我們使用LBP操作符的以下符號(hào)：LBP；表示在半徑為R的圓上的P個(gè)采樣點(diǎn)的鄰域使用運(yùn)算符。上標(biāo)u2表示使用統(tǒng)一模式并且使用單個(gè)標(biāo)簽標(biāo)記所有剩余的模式。在這項(xiàng)工作中，LBP；被應(yīng)用于提取面部圖像的每個(gè)像素的LBP代碼，生成LBP面。所有特征值根據(jù)均勻策略量化為59個(gè)倉(cāng)。標(biāo)記圖像的直方圖可以定義為：（2）其中n是由LBP產(chǎn)生的不同標(biāo)簽的數(shù)量（在該工作中，LBP系數(shù)被量化為59個(gè)箱體，因此n為59)并且：（3）該LBP直方圖包含關(guān)于局部微圖案的分布的信息，例如整個(gè)圖像上的邊緣，斑點(diǎn)和平坦區(qū)域。臉部圖像可以看作是可以通過(guò)LBP功能有效描述的微觀組合物。然而，在整個(gè)面部圖像上計(jì)算出的LBP直方圖僅對(duì)微滴的出現(xiàn)進(jìn)行編碼，而沒(méi)有關(guān)于其位置的任何指示。考慮面部形狀信息，臉部圖像分為小區(qū)域R0;R1;…;Rm提取LBP特征（見(jiàn)圖7）。在這項(xiàng)研究中，我們使用不同大小的子區(qū)域進(jìn)行不同的圖像分辨率。從每個(gè)子區(qū)域提取的LBP特征被連接成單個(gè)的，空間增強(qiáng)的特征直方圖，其定義為：（4）其中；、圖7：面部圖像被分為100個(gè)小區(qū)域，從中提取LBP直方圖并將其連接成單個(gè)直方圖特征選擇5.1最小冗余-最大相關(guān)性標(biāo)準(zhǔn)研究了基于互信息商（MIQ）[6]標(biāo)準(zhǔn)的特征選擇方法。如果特征向量具有隨機(jī)或均勻分布在不同類中的表達(dá)式，則其與這些類的相互信息是0。如果特征向量對(duì)于不同類別進(jìn)行強(qiáng)差分表達(dá)，則應(yīng)具有較大的相互信息。因此，我們使用相互信息作為特征向量相關(guān)性的度量。基于它們的聯(lián)合概率分布p（x;y）和相應(yīng)的邊際概率p（x）和p（y），定義兩個(gè)變量x和y的互信息I：（5）最小冗余的想法是選擇特征向量，使得它們相互最大程度地不同。最小的冗余將使特征集合更好地表示整個(gè)數(shù)據(jù)集。令S表示我們正在尋找的特征的子集。最小冗余條件為：（6）其中是和之間的相互信息，是中的特征數(shù)。為了測(cè)量特征對(duì)于不同目標(biāo)類別進(jìn)行差異表達(dá)時(shí)的判別能力水平，我們?cè)俅问褂媚繕?biāo)類之間的互信息。因此，量化了分類任務(wù)的的相關(guān)性。因此，max-imum相關(guān)性條件是最大化S中所有特征的總體相關(guān)性：，（7）通過(guò)優(yōu)化方程（6）和（7）中的條件，可以獲得最小冗余度，最大相關(guān)性特征集。這兩個(gè)條件的優(yōu)化需要將它們組合成單個(gè)標(biāo)準(zhǔn)函數(shù)，如下所示：（8）在該算法中，第一特征根據(jù)等式（7），即具有最高的特征。其余功能以增量方式進(jìn)行選擇：早期選定的功能將保留在功能集中。假設(shè)我們已經(jīng)為集合S選擇了m個(gè)特征，我們要從集合中選擇附加特征。我們優(yōu)化以下兩個(gè)條件：（9）（10）通過(guò)組合方程（6），（7）和（8），我們有以下等式來(lái)計(jì)算特征選擇的MIQ：（11）分類圖像中描繪的面部表情按照樸素貝葉斯（NB）分類器進(jìn)行分類。NB分類器是一種已被證明在許多分類問(wèn)題中有效的概率方法。它假定類的特定特征的存在（或缺乏）與任何其他特征的存在（或缺乏）無(wú)關(guān)。分類決定使用以下公式：（12）其中是使用示例在訓(xùn)練中學(xué)習(xí)的條件表（或條件密度）。盡管獨(dú)立性假設(shè)，NB已經(jīng)被證明對(duì)許多真實(shí)數(shù)據(jù)集具有非常好的分類性能，與許多更復(fù)雜的分類器相當(dāng)。實(shí)驗(yàn)結(jié)果Cohn-Kanade數(shù)據(jù)庫(kù)的面部表情圖像序列用于訓(xùn)練和測(cè)試面部表情識(shí)別系統(tǒng)。Cohn-Kanade數(shù)據(jù)庫(kù)由100個(gè)受試者的大約400個(gè)圖像序列組成。受試者年齡在18至30歲之間。百分之六十五的受試者是女性;百分之十五是非裔美國(guó)人，百分之三是亞裔或拉丁美洲人。每個(gè)序列包含12-16幀。從低覺(jué)醒階段開(kāi)始，表達(dá)表達(dá)發(fā)育的不同階段的圖像序列達(dá)到覺(jué)醒的峰值，然后消除。每個(gè)科目的面部表情代表六種基本情緒：憤怒，厭惡，恐懼，幸福，悲傷和驚喜。訓(xùn)練集大小為216，測(cè)試大小為172個(gè)圖像序列。使用隨機(jī)選擇的測(cè)試和訓(xùn)練集進(jìn)行每次測(cè)試3次，并計(jì)算平均結(jié)果。訓(xùn)練集包含每個(gè)表達(dá)式相同數(shù)量的圖像序列。在訓(xùn)練集中表達(dá)的科目不包括在測(cè)試圖像中，從而確保人臉獨(dú)立的面部表情分類。比較了面部表情識(shí)別任務(wù)的兩種不同方法。在第一種方法中，HLAC功能用于從圖像中提取特征。在第二種方法中，特征是基于LBP算子生成的。然后我們使用MIQ算法來(lái)選擇分類的最佳子集。我們選擇分類的最好的子集是S=55。在所有情況下，使用NB分類器對(duì)測(cè)試成像進(jìn)行分類。結(jié)果顯示不同的分辨率從16英鎊到128英鎊128.表1和表2顯示了低分辨率（16x16）中不同預(yù)測(cè)的混淆。圖8說(shuō)明了HLAC和LBP算子的平均正確分類。表明基于低分辨率樣本的LBP特征的分類結(jié)果優(yōu)于HLAC特征，然而，對(duì)于高分辨率樣本，LBP特征的分類性能比HLAC特征更準(zhǔn)確。表1：HLAC功能混淆表ADFHSSuA56.225.60018.20D22.255.60F5.66.952.827.806.9H0.64.519.275.000.7S072.70Su012.54.20083.3Average65.5A：憤怒D：厭惡F：恐懼H：快樂(lè)S：悲傷S：驚喜表2：LBP運(yùn)算符的混淆表ADFHSSuA58.419.04.84.813.00D11.157.4020.311.10F11.15.61.9H75.202.2S4.812.03.71.277.01.2Su02.888.0Average69.0A：憤怒D：厭惡F：恐懼H：快樂(lè)S：悲傷S：驚喜總結(jié)提出并測(cè)試了來(lái)自圖像序列的面部表情識(shí)別特征提取方法的比較。該方法是全自動(dòng)的，包括：臉部檢測(cè)，最大喚醒檢測(cè)，特征提取，最佳特征選擇和分類。低分辨率圖像中的局部二進(jìn)制格式運(yùn)算符（LBP）將正確分類的平均百分比從65.9％提高到69％，分別從16.6和32×32的67.2％增加到69.5％。圖8：HLAC特征與LBP算子識(shí)別率的比較所提出的特征選擇方法是基于互信息（MIQ）標(biāo)準(zhǔn)，并且不考慮數(shù)據(jù)之間的線耳依賴關(guān)系。因此，它可以處理模式坐標(biāo)和不同類之間的關(guān)系?；贛I標(biāo)準(zhǔn)的特征選擇的附加優(yōu)點(diǎn)包括對(duì)數(shù)據(jù)變換的計(jì)算簡(jiǎn)單性和不變性。該系統(tǒng)不僅提供了優(yōu)化的特征選擇，而且還自動(dòng)地找到一個(gè)最佳的幀來(lái)表示給定的情感類。當(dāng)使用LBP算子時(shí)，觀察到分類結(jié)果的總體改善和不同面部表情之間的區(qū)別?；贖LAC特征的高分辨率圖像的準(zhǔn)確性優(yōu)于LBP特征，但是在HLAC特征提取過(guò)程中，復(fù)雜度和耗時(shí)更多地被區(qū)分開(kāi)來(lái)。雖然LBP操作員可以提高總識(shí)別率，但它不如HLAC在高分辨率圖像中的特性。在未來(lái)的工作中，我們將更多地嘗試找到解決這些問(wèn)題的原因和其他方法。參考文獻(xiàn)Kanade,T.,Cohn,J.F.,andTian,Y.:“Comprehensivedatabaseforfacialexpressionanalysis,”ProceedingsoftheFourthIEEEInternationalConferenceonAutomaticFaceandGestureRecognition,Grenoble,France,pp.46-53,2000.ViolaP.,JonesM.,“RobustReal-timeObjectDetection,”InternationalJournalofComputerVision,2004.Otsu,N.,andKurita.,T.:“Anewschemeforpracticalflexibleandintelligentvisionsystems,”InProceedingsoftheIAPRWorkshoponComputerVision,pp.431-435,1988.Toyoda,T.,andHasegawa.,O.:“Textureclassificationusingextendedhigherorderlocalautocorrelationfea-tures,”Proceedingsofthe4thInternationalWorkshoponTextureAnalysisandSynthesis,pp.131-136,2005.Ojala,T.,Pietikainen,M.,andHarwood,D.:“Acompar-ativestudyoftexturemeasureswithclassificationbasedonfeaturedistributions,”PatternRecognition,Vol29,No.1,pp.51-59,1996.Peng,H.,Long,F.,andDing,C.:“Featureselectionbasedonmutualinformation:crite