情感計(jì)算的研究進(jìn)展

情感計(jì)算的研究進(jìn)展楊勇（副教授、博士研究生）

/yangyong9/15/20231重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇概述情感識(shí)別情感建模情感推理9/15/20232重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇1.1情感計(jì)算研究的意義目前人工智能的研究發(fā)展已經(jīng)達(dá)到了較高的水平，同時(shí)它的研究?jī)?nèi)容也在逐步擴(kuò)展和延伸。對(duì)人的情感和認(rèn)知的研究是人工智能的高級(jí)階段，它的研究將會(huì)大大促進(jìn)擬人控制理論、情感機(jī)器人、人性化的商品設(shè)計(jì)和市場(chǎng)開(kāi)發(fā)等方面的進(jìn)展，為最終營(yíng)造一個(gè)人與人、人與機(jī)器和諧的社會(huì)環(huán)境做出貢獻(xiàn)。對(duì)人的情感和認(rèn)知的研究必將為計(jì)算機(jī)的未來(lái)應(yīng)用展現(xiàn)一種全新的方向。9/15/20233重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇1.2情感計(jì)算的概念MIT媒體實(shí)驗(yàn)室Picard教授于1995年提出了情感計(jì)算的概念。情感計(jì)算是與情感相關(guān)，來(lái)源于情感或能夠?qū)η楦惺┘佑绊懙挠?jì)算。情感計(jì)算包括情感識(shí)別、情感表示、情感建模、情感交互等四個(gè)方面。9/15/20234重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇中國(guó)人工智能學(xué)會(huì)人工心理與人工情感專(zhuān)業(yè)委員會(huì)主任、北京科技大學(xué)王志良教授提出了人工心理理論。人工心理是利用信息科學(xué)的手段，對(duì)人的心理活動(dòng)（著重是人的情感、意志、性格、創(chuàng)造）更全面地再一次人工機(jī)器（計(jì)算機(jī)、模型算法等）模擬，其目的在于從心理學(xué)廣義層次上研究人工情感、情緒與認(rèn)知、動(dòng)機(jī)與情緒的人工機(jī)器實(shí)現(xiàn)的問(wèn)題。9/15/20235重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇日本從20世紀(jì)90年代就開(kāi)始了感性工學(xué)(kanseiengineering)的研究。所謂感性工學(xué)，就是將感性與工程結(jié)合起來(lái)，在感性科學(xué)的基礎(chǔ)上，通過(guò)分析人類(lèi)的感性，把人的感性情感加入到商品設(shè)計(jì)和制造中去，它是一門(mén)從工程學(xué)的角度實(shí)現(xiàn)給人類(lèi)帶來(lái)喜悅和滿足的商品制造的技術(shù)科學(xué)。日本已經(jīng)形成了舉國(guó)研究感性工學(xué)的高潮。9/15/20236重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇人工心理學(xué)是一門(mén)交叉科學(xué)，其理論根源來(lái)自腦科學(xué)、心理學(xué)、生理學(xué)、倫理學(xué)、神經(jīng)科學(xué)、人類(lèi)工學(xué)、感性工學(xué)、語(yǔ)言學(xué)、美學(xué)、法律、信息科學(xué)、計(jì)算機(jī)科學(xué)、自動(dòng)化科學(xué)、人工智能等。應(yīng)用范圍主要是情感機(jī)器人的技術(shù)支持、擬人機(jī)械、人性化商品設(shè)計(jì)、感性市場(chǎng)開(kāi)發(fā)、人工心理編程語(yǔ)言、人工創(chuàng)造技術(shù)、人類(lèi)情感評(píng)價(jià)計(jì)算機(jī)系統(tǒng)(虛擬技術(shù))、人類(lèi)心理數(shù)據(jù)庫(kù)及數(shù)學(xué)模型、人際和諧環(huán)境技術(shù)和人機(jī)和諧多通道接口等。9/15/20237重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇1.3國(guó)內(nèi)外研究現(xiàn)狀MIT：/projects.phpCMU東京大學(xué)早稻田大學(xué)日內(nèi)瓦大學(xué)情緒研究實(shí)驗(yàn)室伯明翰大學(xué)9/15/20238重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇中科院計(jì)算所：研究帶有表情和動(dòng)作的虛擬人。中科院自動(dòng)化所：基于生物特征的身份驗(yàn)證。中科院心理學(xué)所、生物所：情緒心理學(xué)、生理學(xué)研究中科院軟件所：智能用戶界面浙江大學(xué)：虛擬人物、情緒系統(tǒng)構(gòu)造北京工業(yè)大學(xué)：多功能感知機(jī)同情感計(jì)算的融合研究。東南大學(xué)：語(yǔ)音情感識(shí)別南京航空航天大學(xué)：語(yǔ)音情感計(jì)算。中國(guó)科技大學(xué)：基于內(nèi)容的交互式感性圖像檢索的研究9/15/20239重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇重慶大學(xué)：智能服務(wù)、增強(qiáng)現(xiàn)實(shí)、環(huán)境感知、智能手表等，注重軟件方面的研究。海南大學(xué)：軍用無(wú)線局域網(wǎng)結(jié)構(gòu)中的可穿戴計(jì)算機(jī)。哈工大：“具有六種面部表情及視覺(jué)的類(lèi)人頭像型機(jī)器人及行為研究”，于2004年研制出具有八種面部表情的仿人頭像機(jī)器人系統(tǒng)，并進(jìn)行了表情實(shí)驗(yàn)，實(shí)現(xiàn)了喜、怒、哀、樂(lè)、悲傷、嚴(yán)肅、吃驚、自然(中性)等8種表情。9/15/202310重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇1.4典型應(yīng)用索尼公司的AIBO狗：第一個(gè)實(shí)現(xiàn)規(guī)模商品化的寵物機(jī)器人（2006年生產(chǎn)6萬(wàn)只，收益10億美元），QRIO、SDR-4X等寵物機(jī)器人。為有情感交互能力的機(jī)器人及相關(guān)的研究打開(kāi)了想象的空間。它們的共同特點(diǎn)是：對(duì)外界刺激有反應(yīng)能力；能與人進(jìn)行生動(dòng)的交流，這種交流除了語(yǔ)言，還有面部表情、語(yǔ)凋和身體姿態(tài)等。9/15/202311重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇卡內(nèi)基梅隆大學(xué)的機(jī)器人接待員Valerie：Valerie的面孔形象出現(xiàn)在一個(gè)能夠轉(zhuǎn)動(dòng)方向的移動(dòng)屏幕上，向訪問(wèn)者提供一些天氣和方位方面的信息，還可以接電話、解答一些問(wèn)題；并且Valerie有自己的性格和愛(ài)好，情感表達(dá)較為豐富。9/15/202312重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇1.5待研究的關(guān)鍵問(wèn)題[1]沒(méi)有符合人類(lèi)情感規(guī)律并適于機(jī)器實(shí)現(xiàn)的人工情緒自動(dòng)生成模型。在智能推理過(guò)程中，如何考慮情緒影響的因素，實(shí)現(xiàn)真正意義上的擬人推理過(guò)程。語(yǔ)音情感信息處理技術(shù)和表情識(shí)別技術(shù)的不成熟，成為制約人工情感與和諧人機(jī)交互技術(shù)發(fā)展的瓶頸。如何從多模態(tài)的角度進(jìn)行情感信息融合、識(shí)別與理解，實(shí)現(xiàn)自然和諧的人機(jī)交互平臺(tái)環(huán)境。

[1]王志良.人工心理與人工情感.智能系統(tǒng)學(xué)報(bào),2006,1(1):1-6.9/15/202313重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇2.1多模情感識(shí)別概述語(yǔ)音圖像姿態(tài)其他傳感器數(shù)據(jù)預(yù)處理特征抽取特征選擇情感模型心理學(xué)基礎(chǔ)情感建模各種情感識(shí)別方法識(shí)別結(jié)果9/15/202314重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇2.2情感特征情感行為識(shí)別：面部表情識(shí)別語(yǔ)音情感識(shí)別姿態(tài)識(shí)別生理模式識(shí)別：皮膚電反應(yīng)呼吸心率體溫腦電波等9/15/202315重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇2.3特征抽取和數(shù)據(jù)預(yù)處理2.3.1面部表情識(shí)別特征：幾何特征（ERS：33個(gè)幾何特征）局部區(qū)域特征紋理特征小波特征…9/15/202316重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇特征抽?。喝四槞z測(cè)人臉邊緣檢測(cè)特征點(diǎn)定位基于樣例學(xué)習(xí)的面部特征點(diǎn)自動(dòng)標(biāo)定算法特征點(diǎn)跟蹤光流跟蹤9/15/202317重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇預(yù)處理光照不理想遮擋側(cè)面人臉9/15/202318重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇2.3.2語(yǔ)音識(shí)別特征（ERS:37）：短時(shí)能量及短時(shí)平均幅度基音周期短時(shí)過(guò)零率語(yǔ)速線性預(yù)測(cè)系數(shù)共振峰Mel倒譜和LPC倒譜9/15/202319重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇噪音的預(yù)處理：語(yǔ)音增強(qiáng)發(fā)現(xiàn)抗噪性能比較好的語(yǔ)音特征模型補(bǔ)償9/15/202320重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇2.4識(shí)別方法常用的識(shí)別方法：ANNSVM模糊規(guī)則基于模板的方法HMM貝葉斯理論決策樹(shù)9/15/202321重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇新的嘗試（？）集成學(xué)習(xí)理論粒計(jì)算理論覆蓋機(jī)器學(xué)習(xí)理論流形學(xué)習(xí)（manifoldlearning）理論9/15/202322重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇3.1情感建模概述情感建模的目的：根據(jù)心理學(xué)基礎(chǔ)理論，對(duì)情感進(jìn)行（數(shù)學(xué)）表達(dá)（建模），并進(jìn)行計(jì)算機(jī)表示。情緒心理學(xué)理論的多樣性，導(dǎo)致人工情緒理論方法的不一致，以致于很難找到適用于信息科學(xué)的人工情緒的統(tǒng)一理論方法，如何建立一個(gè)統(tǒng)一的人工心理模型來(lái)表達(dá)情緒與認(rèn)知乃至與意識(shí)的關(guān)系，進(jìn)而適于機(jī)器實(shí)現(xiàn)，這將是一個(gè)很大的挑戰(zhàn)。9/15/202323重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇3.2Ekman情感分類(lèi)Ekman：根據(jù)達(dá)爾文的理論，提出存在6種基本情感：“憤怒”、“厭惡”、“恐懼”、“高興”、“悲傷”和“驚訝”，基本情感直接影響情感分類(lèi)，與生命體的基本特征息息相關(guān)，其他情感都可以由這6種基本情感構(gòu)成，而且這6種情感在文化傳統(tǒng)間的差異很小，因此，對(duì)這6種情感的研究?jī)?yōu)于其它情感模型。9/15/202324重慶郵電大學(xué)計(jì)算機(jī)學(xué)院楊勇3.3OCC模型1988年，Ortony和Collins提出了著名的認(rèn)識(shí)評(píng)價(jià)情感模型OCC模型，這個(gè)模型根據(jù)不同的情感刺激提出了22類(lèi)情感，并對(duì)產(chǎn)生情感的刺激特征做了詳細(xì)描述。該模型一經(jīng)發(fā)表就被視為本領(lǐng)域的經(jīng)典情感模型，但因?yàn)槟Ｐ瓦^(guò)于復(fù)雜OCC模型被應(yīng)用于實(shí)際的應(yīng)用并不多。2003年，Ortony改進(jìn)了該模型，刺激的分類(lèi)趨向于積極和消極兩類(lèi)，同時(shí)提出還應(yīng)具有自己的目標(biāo)、評(píng)價(jià)標(biāo)準(zhǔn)和喜好這三種固有意識(shí)。9/15/2023