開題內(nèi)容報(bào)告

基于多模態(tài)自發(fā)性表情

信號(hào)的時(shí)間序列研究2014年12月29日?qǐng)?bào)告人：馬曉云13721079導(dǎo)師：楊風(fēng)雷主要內(nèi)容研究背景主要研究?jī)?nèi)容研究方法實(shí)驗(yàn)設(shè)備和條件預(yù)期困難和對(duì)策進(jìn)度安排與預(yù)期結(jié)果研究背景視頻采集和可穿戴傳感器的普及視頻分析大數(shù)據(jù)自發(fā)性表情分析的發(fā)展傳統(tǒng)自動(dòng)化表情分析的局限性自發(fā)性表情圖庫(kù)的研究多樣化多模態(tài)情感計(jì)算的興起聲音信號(hào)體外傳感器電極采集腦電波信號(hào)自動(dòng)標(biāo)簽可穿戴傳感器的普及典型表情V.S自發(fā)表情主要研究?jī)?nèi)容多模態(tài)生理信號(hào)的時(shí)間序列分析視頻信號(hào)，傳感器采集的生理信號(hào)的時(shí)間序列分析表情視頻序列的特征點(diǎn)跟蹤基于3DAAM的特征點(diǎn)的提取算法等用于降低運(yùn)動(dòng)對(duì)特征點(diǎn)跟蹤結(jié)果的干擾。多模態(tài)生理信號(hào)的特征選擇根據(jù)時(shí)間序列分析的規(guī)律和結(jié)果進(jìn)行多模態(tài)生理信號(hào)的關(guān)鍵幀的選取情感計(jì)算模型建立對(duì)選取好的多模態(tài)生理信號(hào)進(jìn)行3DGMM等統(tǒng)計(jì)模型的建立研究方法數(shù)學(xué)統(tǒng)計(jì)分析方法比較分析法、分組分析法等相關(guān)性分析完全相關(guān)和不完全相關(guān)、正相關(guān)和負(fù)相關(guān)等表情特征點(diǎn)跟蹤算法3DAAM，CLM等時(shí)間序列分析算法信號(hào)的頻域分析，時(shí)域分析，回歸分析等實(shí)驗(yàn)設(shè)備和條件多模態(tài)自發(fā)表情數(shù)據(jù)庫(kù)DEAP自發(fā)表情視頻庫(kù)AM-FED自發(fā)表情視頻庫(kù)DISFA實(shí)驗(yàn)設(shè)備和條件DEAP多模態(tài)數(shù)據(jù)庫(kù)包含32人的多模態(tài)信號(hào)EEG信號(hào)（32channels）體外傳感器信號(hào)（12個(gè)）視頻被采集者自定的標(biāo)簽對(duì)視頻的標(biāo)簽：情緒喚醒valence愉悅程度arousal優(yōu)勢(shì)度dominance感興趣程度liking熟悉程度f(wàn)amilarity該數(shù)據(jù)庫(kù)還包含了22人同步采集的正臉視頻實(shí)驗(yàn)設(shè)備和條件Affectiva-MITFacialExpressionDataset(AM-FED)自發(fā)表情視頻庫(kù)自然光照自發(fā)表情242個(gè)視頻（168,359幀）標(biāo)定情況每一幀的FACS標(biāo)定每一幀的特征點(diǎn)標(biāo)定數(shù)據(jù)（22）自動(dòng)標(biāo)簽熟悉，喜歡，再看實(shí)驗(yàn)設(shè)備和條件DISFA自發(fā)表情視頻庫(kù)控制光照自發(fā)表情，27人，4分/人，129600幀左右。分辨率1024x768，20fps。預(yù)期困難和對(duì)策數(shù)據(jù)容量大數(shù)據(jù)成分復(fù)雜，分析方法不相同多模態(tài)信號(hào)本身的處理難度大相關(guān)研究方法缺失預(yù)期結(jié)果挖掘出多模態(tài)數(shù)據(jù)間的關(guān)系傳感器生理信號(hào)和視頻表情信號(hào)的關(guān)聯(lián)發(fā)現(xiàn)新知識(shí)發(fā)表研究論文碩士小論文碩士大論文時(shí)間進(jìn)度2014.09-2014.122014.12-2015.052015.05-2015.092015.09-2016.03前期調(diào)研，文獻(xiàn)查閱多模態(tài)信號(hào)數(shù)據(jù)挖掘，設(shè)計(jì)算法算法實(shí)現(xiàn)，驗(yàn)證結(jié)果總結(jié)，撰寫論文，準(zhǔn)備答辯參考文獻(xiàn)[1]MichaelJ.,JulienB.,ShigeruA.,“AutomaticClassificationofSingleFacialImages,”PatternAnalysisandMachineIntelligence21(12):1357-1362(1999)[2]EkmanP,RosenbergE.,“Whatthefacereveals:Basicandappliedstudiesofspontaneousexpressionusingthefacialactioncodingsystem(FACS),”O(jiān)xfordUniversityPress,(2005).[3]MavadatiSM,MahoorMH,BartlettK,“Disfa:Aspontaneousfacialactionintensitydatabase,”AffectiveComputing,4(2),151-160(2013).[4]KoelstraS,MuhlC,SoleymaniM,“Deap:Adatabaseforemotionanalysis:usingphysiologicalsignals,”AffectiveComputing.,3(1),18-31(2012).[5]McDuffD,ElKalioubyR,SenechalT,“Affectiva-MITFacialExpressionDataset(AM-FED):NaturalisticandSpontaneousFacialExpressionsCollected“In-the-Wild”,”ComputerVisionandPatternRecognitionWorkshops(CVPRW).,881-888(2013).[6]CohnJ.F.,AmbadarZ.,EkmanP.,“Observer-basedmeasurementoffacialexpressionwit