德勤-情感計(jì)算白皮書

里蘭任、浙江大學(xué)黨委副書記大學(xué)腦科學(xué)學(xué)術(shù)委員會(huì)主任腦網(wǎng)絡(luò)組研究中心主任龍之江實(shí)驗(yàn)室黨委副書記陳偉之江實(shí)驗(yàn)室主任助理、黨委委員陳光之江實(shí)驗(yàn)室科研發(fā)展部部長(zhǎng)林峰之江實(shí)驗(yàn)室人工智能研究院副院長(zhǎng)級(jí)研究專家、跨媒體智能研究中心副主任、研究員究員、模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任、國(guó)家杰Ⅱ王蕊潘煜金佳曾紅梅林莊珺劉晶上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授、上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院學(xué)與技術(shù)學(xué)院副院長(zhǎng)、教授、安徽省杰出青年基金獲得者心主任、教授國(guó)際工商管理學(xué)院院長(zhǎng)、教授腦機(jī)協(xié)同信息行為重點(diǎn)實(shí)驗(yàn)室教授授究所研究員副首席執(zhí)行官、首席轉(zhuǎn)型官生態(tài)系統(tǒng)事業(yè)部總經(jīng)理究所產(chǎn)業(yè)創(chuàng)新研究室主任、研究員發(fā)展組織全球創(chuàng)新網(wǎng)絡(luò)項(xiàng)目上海全球科創(chuàng)中心副主任裴冠雄之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心副研究員德勤科學(xué)加速中心副總監(jiān)興版社副總編輯、《張江科技評(píng)論》主編技術(shù)總監(jiān)朱敏學(xué)院商業(yè)數(shù)據(jù)系主任、副教授學(xué)院企業(yè)管理系講師學(xué)計(jì)算機(jī)與信息學(xué)院副研究員科學(xué)與技術(shù)學(xué)院副教授之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心助理研究員之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心助理研究員之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心算法工程師Ⅲ計(jì)算旨在創(chuàng)建一種能感知、識(shí)別和理解人的情感，并能針對(duì)人的情感作出智慧、靈敏、自然反應(yīng)的計(jì)算系統(tǒng)。情感計(jì)算是實(shí)現(xiàn)自然化、擬人化、人格化人機(jī)交互的基礎(chǔ)性技術(shù)和重要前提，也為人工智能決策提供了優(yōu)化路徑，對(duì)開啟智能化、數(shù)字化時(shí)代具有重大價(jià)值。近年來，中國(guó)成為情感計(jì)算領(lǐng)域最重要的崛起力量之一，并有越來越多的學(xué)者投入該領(lǐng)域的研究。同時(shí)，中國(guó)也成為情感計(jì)算賦能應(yīng)用的主戰(zhàn)場(chǎng)之一，為支撐經(jīng)濟(jì)高質(zhì)量發(fā)展和數(shù)字化改革發(fā)揮了重要作用。這本白皮書的發(fā)布，旨在回應(yīng)中國(guó)乃至全球?qū)W術(shù)界和產(chǎn)業(yè)界對(duì)了解和掌握情感計(jì)算最新發(fā)展動(dòng)向的需求，給科學(xué)研究人員和行業(yè)實(shí)踐人員提供較為完整的技術(shù)發(fā)展藍(lán)圖和應(yīng)用趨勢(shì)洞察，以助推情感計(jì)算的發(fā)展與轉(zhuǎn)化。這本白皮書有幾個(gè)鮮明的特點(diǎn)：一是以主流學(xué)術(shù)數(shù)據(jù)庫(kù)為基礎(chǔ)，之江實(shí)驗(yàn)室、中國(guó)科學(xué)院文獻(xiàn)情領(lǐng)域全周期、論文全量級(jí)、科研全過程的覆蓋優(yōu)勢(shì)，梳理出的重要研究論文、專利和標(biāo)準(zhǔn)，有助于明晰關(guān)鍵共性技術(shù)和前沿引領(lǐng)技術(shù)，對(duì)把握情感計(jì)算領(lǐng)域?qū)W術(shù)發(fā)展動(dòng)態(tài)具有指導(dǎo)性意義，對(duì)實(shí)現(xiàn)“高原造峰”和從“0”到“1”等不同創(chuàng)新路徑均具有較大參考價(jià)值。二是白皮書描繪了情感計(jì)算的學(xué)科全景，包括重要研究機(jī)構(gòu)、學(xué)術(shù)期刊、國(guó)際會(huì)議、代表性科學(xué)家、高水平學(xué)會(huì)等，并對(duì)合作生態(tài)進(jìn)行了梳理，這對(duì)指導(dǎo)學(xué)科建設(shè)和重大科研基金立項(xiàng)具有導(dǎo)向作用。中國(guó)學(xué)者在學(xué)科領(lǐng)域內(nèi)的進(jìn)步明顯，初步形成了高水平的學(xué)科人才梯隊(duì)，且在典型學(xué)者和重要研究陣地中占比較高。但是，在學(xué)術(shù)期刊、國(guó)際會(huì)議等方面存在劣勢(shì)，中國(guó)主導(dǎo)能力偏弱，這不利于學(xué)科話語(yǔ)權(quán)的提Ⅳ升，也與中國(guó)在該領(lǐng)域發(fā)文量排名世界第一的情況不匹配。這在一定程度上阻礙了中國(guó)科學(xué)家作為學(xué)術(shù)共同體的發(fā)展，不利于從跟隨性走向引領(lǐng)性的地位變革。三是白皮書非常重視對(duì)情感計(jì)算成果轉(zhuǎn)化及應(yīng)用情況的研究。中國(guó)共產(chǎn)黨二十大報(bào)告提出，“加快實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略。堅(jiān)持面向世界科技前沿、面向經(jīng)濟(jì)主戰(zhàn)場(chǎng)、面向國(guó)家重大需求、面向人民生命健康，加快實(shí)現(xiàn)高水平科技自立自強(qiáng)”。針對(duì)應(yīng)用情況的定量分析和案例研究，有助于引導(dǎo)廣大科技工作者面向經(jīng)濟(jì)主戰(zhàn)場(chǎng)和重大實(shí)際需求開展科研攻關(guān)，同時(shí)促進(jìn)相關(guān)從業(yè)人員對(duì)技術(shù)全景加深理解和認(rèn)知，促進(jìn)經(jīng)濟(jì)主體增加情感計(jì)算賦能應(yīng)用的探索，加速數(shù)字經(jīng)濟(jì)轉(zhuǎn)型升級(jí)和人工智能技術(shù)迭代應(yīng)用，促進(jìn)更多企業(yè)從產(chǎn)業(yè)鏈下游向產(chǎn)業(yè)鏈中上游的價(jià)值重塑。正是白皮書在以上三個(gè)方面的扎實(shí)工作，為情感計(jì)算未來趨勢(shì)預(yù)測(cè)筑牢了基礎(chǔ)。這本白皮書也專門設(shè)立章節(jié)，對(duì)技術(shù)走向和行業(yè)應(yīng)用作了展望。未來將會(huì)怎樣，不可準(zhǔn)確預(yù)知，但對(duì)過去和現(xiàn)狀的精準(zhǔn)把握，為情感計(jì)算的發(fā)展脈絡(luò)提供了蹤跡。當(dāng)今世界正在經(jīng)歷百年未有之大變局，這場(chǎng)變局不限于一時(shí)一事、一國(guó)一域，而是深刻而宏闊的時(shí)代之變。我堅(jiān)信，中國(guó)在情感計(jì)算領(lǐng)域的影響力將繼續(xù)迅速提升，我們樂見這種不可阻擋的力量為情感計(jì)算學(xué)術(shù)發(fā)展和應(yīng)用賦能提供源源不斷的動(dòng)力。Ⅴ近年來，中國(guó)在人工智能技術(shù)領(lǐng)域的發(fā)展突飛猛進(jìn)。上一代人工智能技術(shù)在研發(fā)、行業(yè)應(yīng)用和內(nèi)涵普及方面可謂“百花齊放”。經(jīng)過一大批科學(xué)家和實(shí)踐者的努力，在短短幾年的時(shí)間里，中國(guó)就在人工智能發(fā)展的第一階段追趕上了世界先進(jìn)水平。中國(guó)發(fā)展人工智能等前沿信息技術(shù)不僅為了實(shí)現(xiàn)中華民族偉大復(fù)興，也為了世界可持續(xù)發(fā)展和德勤作為一家立足中國(guó)本土的國(guó)際性專業(yè)服務(wù)機(jī)構(gòu)，正是感受到了這樣的使命而欣然地加入新一代人工智能技術(shù)——情感計(jì)算的開發(fā)策源和轉(zhuǎn)化實(shí)踐的隊(duì)伍。與諸多科學(xué)家和實(shí)踐者一樣，我們也清楚地預(yù)見情感心智在整體智能技術(shù)群中的重要性。情感計(jì)算是一項(xiàng)涵蓋心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)等多學(xué)科交叉的前沿技術(shù)，因此我們需要通過一個(gè)由多方角色組成的生態(tài)網(wǎng)絡(luò)，通過實(shí)現(xiàn)各自的訴求來形成共贏，從而推動(dòng)情感計(jì)算技術(shù)從研發(fā)向轉(zhuǎn)化、普及等環(huán)節(jié)發(fā)展。為此，在之江實(shí)驗(yàn)室的發(fā)起和指導(dǎo)下，德勤通過多年創(chuàng)新積累的生態(tài)網(wǎng)絡(luò)群組織包括上?？茖W(xué)技術(shù)出版社、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心、英國(guó)工程技術(shù)學(xué)會(huì)、亞馬遜云科技、上海師范大學(xué)等在內(nèi)的大批專家學(xué)者，共同完成《情感計(jì)算白皮書》的撰寫和發(fā)布工作。由于情感計(jì)算技術(shù)是過往鮮有人涉足的前沿技術(shù)領(lǐng)域，對(duì)當(dāng)前全球情感計(jì)算技術(shù)的相關(guān)信息進(jìn)行匯總、解讀和分析工作自然也是困難重重，尤其是在面臨日新月異的技術(shù)更替環(huán)境下，如何確保內(nèi)容的時(shí)效性，并以最快的速度、最高的質(zhì)量和最全的信息進(jìn)行白皮書發(fā)布，成為本次任務(wù)的最大挑戰(zhàn)。這樣的任務(wù)實(shí)施起來如同發(fā)起和管理一項(xiàng)大科學(xué)工程，也充分考驗(yàn)了參與者彼此的協(xié)同和默契。在撰寫白皮書的半年多時(shí)間里，參與指導(dǎo)和編寫的近50位學(xué)界領(lǐng)軍人物、學(xué)者專家Ⅵ和行業(yè)領(lǐng)袖能夠在新冠肺炎疫情頻發(fā)的不確定環(huán)境下，毅然打破地域限制，按時(shí)且高質(zhì)量地完成白皮書的撰寫任務(wù)，這令人感到興奮白皮書從人類對(duì)自身情感研究的歷史到通過信息技術(shù)的手段如何進(jìn)行仿生實(shí)現(xiàn)情感計(jì)算，再到已經(jīng)實(shí)現(xiàn)的場(chǎng)景應(yīng)用，對(duì)情感計(jì)算技術(shù)進(jìn)行介紹，實(shí)為一部情感計(jì)算技術(shù)發(fā)展和應(yīng)用的簡(jiǎn)明百科。這樣的內(nèi)容安排，充分寄托了項(xiàng)目組對(duì)情感計(jì)算技術(shù)在科研和商業(yè)應(yīng)用兩個(gè)方面的期許。我們始終堅(jiān)信，一項(xiàng)好的技術(shù)既離不開前沿科學(xué)的啟蒙，也脫不開與社會(huì)經(jīng)濟(jì)發(fā)展的實(shí)質(zhì)聯(lián)系。白皮書的發(fā)布并不意味著項(xiàng)目組工作的結(jié)束，而是揭開了中國(guó)在情感計(jì)算技術(shù)方面技術(shù)研究和應(yīng)用轉(zhuǎn)化的序幕。我們衷心地期盼更多對(duì)情感計(jì)算技術(shù)有熱情的個(gè)人和團(tuán)隊(duì)加入我們的大家庭，在新一代人工智能技術(shù)賦能社會(huì)安定、國(guó)家昌盛、人類發(fā)展等方面作出更多的貢獻(xiàn)。 1.1人類社會(huì)的情感 3 1.2情感計(jì)算的沿革、定義和內(nèi)容 8 3 Ⅷ3.1.2主要研究陣地(國(guó)家/地區(qū)分析) 27 29 29 言學(xué)年會(huì) 33.2.4IEEE計(jì)算機(jī)視覺和模式識(shí)別會(huì)議 33 ESI點(diǎn)論文 36 42 43 45 47 學(xué)者地圖 49中國(guó)學(xué)者分布 50全球典型學(xué)者 52高被引學(xué)者 52 情感計(jì)算促進(jìn)協(xié)會(huì) 52中國(guó)人工智能學(xué)會(huì)情感智能專業(yè)委員會(huì) 53 重要研究機(jī)構(gòu) 53 2 Ⅹ 0領(lǐng)域主要代表產(chǎn)品及應(yīng)用技術(shù) 92 1計(jì)算機(jī)科學(xué)(含智能科學(xué))、腦與心理科學(xué)(含心理學(xué)、神經(jīng)科學(xué))、社會(huì)科學(xué)(含社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、管理學(xué))、醫(yī)學(xué)等的交叉學(xué)科領(lǐng)域，并逐步成為全球?qū)W術(shù)和工程熱點(diǎn)。中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院發(fā)布的《2021年研究前沿?zé)岫戎笖?shù)》報(bào)告顯示，以“多模態(tài)情感計(jì)算”為核心的相關(guān)研究熱度指數(shù)位列前10名。根據(jù)英國(guó)工程技術(shù)學(xué)會(huì)(The的文獻(xiàn)進(jìn)行計(jì)量分析顯示，情感計(jì)算領(lǐng)域的發(fā)文量呈現(xiàn)高速增長(zhǎng)態(tài)勢(shì)，中國(guó)和美國(guó)的學(xué)者成為該領(lǐng)域最具代表性的研究力量?！蹲匀弧?Nature)旗自中國(guó)的研究力量迅速崛起，論文總數(shù)已超過美國(guó)，越來越多的科研機(jī)構(gòu)和高科技企業(yè)正投身于情感為了響應(yīng)中國(guó)乃至全球?qū)W術(shù)界和產(chǎn)業(yè)界對(duì)了握情感計(jì)算最新發(fā)展動(dòng)向的需求，向科學(xué)研和行業(yè)實(shí)踐人員提供較為完整的技術(shù)發(fā)展藍(lán)用趨勢(shì)，以助推情感計(jì)算的發(fā)展與轉(zhuǎn)化。由智能研究院跨媒體智能研究中心發(fā)勤科學(xué)加速中心、上?？茖W(xué)技術(shù)出版社、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心和英國(guó)工程技術(shù)學(xué)會(huì)共同組成聯(lián)合項(xiàng)目組，推動(dòng)了《情感計(jì)算白皮書》(以下簡(jiǎn)稱“白皮書”)的發(fā)布。由行業(yè)領(lǐng)袖和國(guó)內(nèi)外知名學(xué)者組成的顧問委員會(huì)和專家委員會(huì)為白皮書的編制給予了專業(yè)性審查和指導(dǎo)。涵理解的不斷深化，智能機(jī)器“雙商(智商+情商)”理念的進(jìn)一步普及，情感智能的迭代升級(jí)以字經(jīng)濟(jì)驅(qū)動(dòng)下的產(chǎn)業(yè)變革，多要素共同作用動(dòng)情感計(jì)算的學(xué)科發(fā)展、技術(shù)演化和行業(yè)進(jìn)要?jiǎng)?chuàng)新動(dòng)力。在白皮書的編寫過程中，項(xiàng)目調(diào)研了情感計(jì)算及其關(guān)聯(lián)學(xué)科的技術(shù)發(fā)展和遷移進(jìn)程，在學(xué)術(shù)界和產(chǎn)業(yè)界專家的共同努力下，白皮書最終形成“集大成”和“思全局”的框架，研究者和實(shí)踐者能夠?qū)η楦杏?jì)算的最新發(fā)展全面的認(rèn)識(shí)，并以更廣闊、更長(zhǎng)遠(yuǎn)的視角思2算機(jī)科學(xué)、腦與心理科學(xué)、社會(huì)科學(xué)等學(xué)科。計(jì)機(jī)科學(xué)與機(jī)電科學(xué)側(cè)重于提供各類信息技術(shù)手段和工程化能力，能夠?qū)η楦械母兄⒆R(shí)別、理解、饋等實(shí)施數(shù)字化重構(gòu)和計(jì)算實(shí)現(xiàn)，從而使機(jī)器能擁有類人情感心智功能。腦與心理科學(xué)的心理及識(shí)領(lǐng)域側(cè)重于提供關(guān)于人類情感的基礎(chǔ)定義、相要素結(jié)構(gòu)存在的意義等方面的理論，這為情感理認(rèn)知神經(jīng)科學(xué)則側(cè)重于研究人類大腦對(duì)情感加工的機(jī)理以及建立與情感相關(guān)的心理要素功能網(wǎng)絡(luò)，這為開發(fā)情感計(jì)算模型提供了關(guān)鍵的啟發(fā)和策略的指導(dǎo)。社會(huì)科學(xué)和醫(yī)學(xué)為情感計(jì)算的應(yīng)用提供武之地”，是該類技術(shù)應(yīng)用場(chǎng)景設(shè)計(jì)由此可見，情感計(jì)算是一個(gè)多學(xué)科共建的領(lǐng)個(gè)由行業(yè)實(shí)際需求推動(dòng)技術(shù)進(jìn)步和迭代1.1人類社會(huì)的情感Grammarof和思想溝通的重要載體，是推動(dòng)人類文明生生不元繁榮的重要力量。根據(jù)物種進(jìn)化理論，情為是保障人類的基本生存能力、形成社會(huì)習(xí)撐高級(jí)思維的心理要素。人類如果不具有情感，那么維持生存的將只有原始沖動(dòng)和生存欲望，這樣的物種幾乎不可能發(fā)展出高度發(fā)達(dá)的社會(huì)文然情感在整個(gè)人類進(jìn)化過程中發(fā)揮了重要作是人們對(duì)情感功能的認(rèn)知和重視經(jīng)歷了一個(gè)時(shí)至今日，涉及情感的各種理論已具規(guī)模。類文明。這一歷程可大致分為三個(gè)階段，如第一階段的主要活動(dòng)是嘗試識(shí)別和厘清“情其有關(guān)的概念。在早期東方文明體系下，古代中國(guó)的《易經(jīng)》哲學(xué)和諸子百家哲學(xué)以及古代了理解和闡述。例如，《禮記·禮運(yùn)》提出了“七情”的概念以及“何謂人性論述。在早期西方文明體系下，古希臘醫(yī)前377年)在古代生理醫(yī)學(xué)體系下提出人類“體液性質(zhì)的物質(zhì)基礎(chǔ)，以不為性質(zhì)主導(dǎo)的人會(huì)更容易表現(xiàn)出某種或某幾種特定的情感。這與同時(shí)期人類的四種氣質(zhì)學(xué)說34第一階段第二階段第三階段歐洲文藝復(fù)興及其之前的探索思辨階段(大及以前)法國(guó)啟蒙運(yùn)動(dòng)到科學(xué)心理學(xué)誕生的科學(xué)啟蒙階段(公元17—18世紀(jì)到19世紀(jì)末)科學(xué)心理學(xué)誕生之后的心理學(xué)、生理學(xué)和信息技術(shù)的融合階段(公元19世紀(jì)末及以后)圖1-1早期情感理論發(fā)展的三個(gè)階段 (膽汁質(zhì)、多血質(zhì)、黏液質(zhì)、抑郁質(zhì))似乎有潛在第二階段的主要活動(dòng)是以科學(xué)的視角對(duì)上述概念進(jìn)行驗(yàn)證，并明確概念之間的機(jī)能關(guān)系。該階段的兩大情感研究陣營(yíng)分別是現(xiàn)代生理醫(yī)學(xué)和科學(xué)心理學(xué)。在現(xiàn)代生理醫(yī)學(xué)體系下，著名生物學(xué)家查爾斯·達(dá)爾文(CharlesDarwin)的著作《人類和動(dòng)物的表情》(TheExpressionofEmotioninManandAnimals)被公認(rèn)為與他的《物種起源》 (OntheOriginofSpecies)分量相當(dāng)?shù)摹扒楦小毖芯烤拮?。達(dá)爾文在書中提出了人類所擁有的一般表情，如痛苦、哭泣、快樂、憎恨、憤怒等。在此基礎(chǔ)上，他進(jìn)一步闡述了基于這些表情的情感、思維過程以及相應(yīng)的生理表現(xiàn)。這被認(rèn)為是現(xiàn)代科學(xué)有關(guān)情感及其行為研究的開始。在科學(xué)心理學(xué)體系下，美國(guó)心理學(xué)家斯坦利·沙赫特(Stanley 同提出的激活歸因情緒理論(AttributionTheoryof 基礎(chǔ)。該理論認(rèn)為情感既來自生理反應(yīng)的認(rèn)知評(píng)價(jià)，也來自對(duì)導(dǎo)致這些反應(yīng)的情境的認(rèn)知評(píng)價(jià)。這一解釋為情感智能的實(shí)現(xiàn)提供了策略和思路。第三階段是心理學(xué)、生理學(xué)和信息技術(shù)的融合階段。在德國(guó)心理學(xué)家威廉·馮特(WilhelmWundt)創(chuàng)立科學(xué)心理學(xué)后的半個(gè)多世紀(jì)里，世界各地的心理學(xué)流派如雨后春筍般涌現(xiàn)。這些流派對(duì)情感都有著不同視角的認(rèn)知和理論。同時(shí)，隨著現(xiàn)代生理醫(yī)學(xué)的發(fā)展，在神經(jīng)科學(xué)視角下情感的腦機(jī)制研究得到長(zhǎng)足進(jìn)步。美國(guó)心理學(xué)家保羅·?？寺?PaulEkman)提出了如今被視作普遍標(biāo)準(zhǔn)的人類七大基本表情理論：快樂、悲傷、憤怒、厭惡、驚訝、蔑視和恐懼。由?？寺I(lǐng)導(dǎo)開發(fā)的人類表情動(dòng)作編碼系統(tǒng)(FACS)被認(rèn)為是機(jī)器視覺讀懂人類表情的關(guān)鍵技術(shù)。1997年，美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室(MITMediaLab)羅莎琳德·皮卡德 式開啟了實(shí)現(xiàn)情感智能的人工智能新時(shí)代。結(jié)合不同時(shí)期人們對(duì)情感性質(zhì)和作用的認(rèn)識(shí)，和發(fā)展的生理反應(yīng)，如在危險(xiǎn)環(huán)境中的緊張和、在受到侵?jǐn)_和威脅時(shí)的憤怒和亢奮、在獲得和生存必需品時(shí)的喜悅和興奮。情感不斷地強(qiáng)類適應(yīng)和利用環(huán)境的能力，并形成習(xí)得性的生理反應(yīng)，對(duì)個(gè)體的注意、記憶、感知等進(jìn)行調(diào)節(jié)，5二是溝通功能。諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者、美國(guó)心理學(xué)家赫伯特·西蒙(HerbertSimon)認(rèn)為，情感的識(shí)別和表達(dá)對(duì)于信息的交流和理解是必需的。情感對(duì)人類意圖的準(zhǔn)確表達(dá)和理解至關(guān)重要，同樣的文字語(yǔ)言用不同的情感來表達(dá)，其內(nèi)涵是完全不同的。因此，情感與語(yǔ)言密不可分。情感起到了關(guān)鍵的語(yǔ)義消歧作用，無論對(duì)信息的發(fā)出方還是信息的接收方都至關(guān)重要。這也是很多重要事項(xiàng)需要面對(duì)面交流的一個(gè)重要原因。在面對(duì)面場(chǎng)景下，相較于語(yǔ)音或文字溝通，表情、肢體動(dòng)作等具有情感內(nèi)涵的表達(dá)方式，有助于減少誤信。心理學(xué)家丹尼爾·卡尼曼(DanielKahneman)認(rèn)為，大腦通過快(“系統(tǒng)一”)與慢(“系統(tǒng)二”)兩出決策。常用的無意識(shí)的“系統(tǒng)一”主要于情感、經(jīng)驗(yàn)等迅速作出判斷；有意識(shí)的“系要依賴于理性思辨。因此，情感廣泛參與高級(jí)思維和決策過程，并深刻影響了決策體的資源投入程度、行為持久程度以及對(duì)、家庭等的維系紐帶，是低成本維系人類的核心，是潛在的社會(huì)交往契約，并與個(gè)密不可分，也對(duì)人類社會(huì)的進(jìn)步有著斷地?cái)U(kuò)展和豐富。早期的情感理論多是基于中國(guó)古代就有對(duì)“七情”“情理法”等理論的論述，并把與情感和心智有關(guān)的概念統(tǒng)稱為“情”。隨著白話文的普及和西方現(xiàn)代科學(xué)體系的引入，人情”等概念。本白皮書參考中國(guó)科學(xué)院心理研究所傅小蘭關(guān)于中英文譯法的說明，將“emotion”譯“感情”或“感受”。和“movere”(意為“動(dòng)”)，從構(gòu)詞上來看，情緒含有移動(dòng)、運(yùn)動(dòng)的意思，強(qiáng)調(diào)非常短暫但強(qiáng)烈的體驗(yàn)。反觀感情和情感，英國(guó)心理學(xué)家邁克爾·艾森克(MichaelEysenck)和馬克·基恩(MarkKeane)認(rèn)為，情感具有廣泛的意義，表示情緒、心境和偏好等不同的內(nèi)心體驗(yàn)。中國(guó)心理學(xué)家孟昭蘭和黃希庭認(rèn)為，情感是情緒過程的主觀體驗(yàn)，而感情是情緒、情感這一類心理現(xiàn)象的籠統(tǒng)稱呼。綜合上述觀點(diǎn)，本白皮書認(rèn)為，情緒是情感性反應(yīng)的過程，感情是情感性反應(yīng)的內(nèi)容，而情感涵蓋上述詞義，是情緒和感情等的籠統(tǒng)稱謂。參考情感計(jì)算領(lǐng)域的做法以及孟昭蘭的定義，即“多成分組成、多維量結(jié)構(gòu)、多水平整合，并為有機(jī)體生存適應(yīng)和人際交往，而同認(rèn)知交互作用的心理活動(dòng)過程和心理動(dòng)機(jī)力量”，本白皮書將上述學(xué)術(shù)詞匯統(tǒng)稱為“情感”(在后續(xù)章節(jié)中不再區(qū)分上述概念)并進(jìn)行定義。情感是一種包括認(rèn)知、生理、體驗(yàn)、行為等多種要素的心理狀態(tài)，是有機(jī)體應(yīng)對(duì)和控制生存環(huán)境的進(jìn)化產(chǎn)物。在情感計(jì)算領(lǐng)域，運(yùn)用最多的理論模型是情感分類理論模型，主要包括離散情感模型和維度情感模型。離散情感模型將情感分為各個(gè)獨(dú)立的每一種情感之間沒有關(guān)聯(lián)性。美國(guó)心理學(xué)家卡羅爾·伊扎德(CarrollIzard)使用因素分析法，建立了包括興趣、驚訝、痛苦、厭惡、高興、憤通過表情分析，得出了更6詹姆斯-蘭格理詹姆斯-蘭格理論坎坎農(nóng)-巴德理論在詹姆斯-蘭格理論基礎(chǔ)上進(jìn)一步提出，除了外周神經(jīng)系統(tǒng)以外，更為和變化的中心系統(tǒng)。評(píng)評(píng)定-興奮學(xué)說大腦皮層的興奮程度也是情感喚醒的重要通路，大腦皮層和皮下組織協(xié)同作用產(chǎn)生了情感。該學(xué)說將情感的產(chǎn)生過程進(jìn)行了劃分，分別是情境刺激、情感評(píng)估和情感產(chǎn)生，并首次將認(rèn)知理論引入情感研究領(lǐng)域，這為沙赫特-辛格理論的提出進(jìn)行了鋪墊。沙赫特-辛格理沙赫特-辛格理論息認(rèn)認(rèn)知-評(píng)價(jià)理論情感是人與環(huán)境交互產(chǎn)生的結(jié)果，人會(huì)不斷地對(duì)周圍環(huán)境進(jìn)行初評(píng)、次傷、憤怒、厭惡、驚訝、恐懼和蔑視。離散情感模型更符合人的認(rèn)知與在日常生活中的表達(dá)形式，主要反映的是人類的基本情感類型，區(qū)分較為清晰，具有天然的可解釋性。維度情感模型則是運(yùn)用情感空間將不同的情感通過多維向量進(jìn)行表示。在情感的二維分類模型中具有代表性的是美國(guó)心理學(xué)家詹姆斯·羅素(JmaesRussel)提出的環(huán)形情感分類模型(見圖1-3)，也因其橫縱軸結(jié)構(gòu)(橫軸表示效價(jià)，左右分別表示消極和積極情感；縱軸表示喚醒度，上下分別表示喚醒程度高和低)被稱為VA 的種類很多，主要也是通過軸和極點(diǎn)來界定情感的類型，所有情感分布在每個(gè)軸兩極間的不同位置，比較常用的有兩種：由愉悅度(Pleasure)、激活度 ArousalDominance感三維模型；由愉悅度(Pleasure)、強(qiáng)度(Activation)、關(guān)注度(Attention)組成的情感三維模型。另一個(gè)著名的情感三維模型是美國(guó)心理學(xué)家羅伯特·普拉奇克 (RobertPlutchik)提出的基于情感進(jìn)化理論的“情感輪”模型(見圖1-4)，也被稱為倒錐體情感三維模型；包括兩極性(Polarity)、相似性(Similarity)、強(qiáng)度(Intensity)三個(gè)維度。不同于傳統(tǒng)的情感維度模型，該模型是情感進(jìn)化理論的一部分，系統(tǒng)闡釋驚驚奇奮興高采烈惡不愉快傷心松疲乏未喚醒愉快惶恐怒動(dòng)靜煩亂憋悶足煩警惕崇敬不耐煩生氣暴怒驚煉恐懼擔(dān)心憎恨驚記81956年美國(guó)達(dá)特茅斯學(xué)院(DartmouthCollege)開會(huì)研討了如何用機(jī)器模擬人的智能。會(huì)上，人工智能 (Artificial1956年美國(guó)達(dá)特茅斯學(xué)院(DartmouthCollege)開會(huì)研討了如何用機(jī)器模擬人的智能。會(huì)上，人工智能 (ArtificialIntelligence，AI)的概念被首次提出，人工智能學(xué)科由此誕生。此后，人們開始通過研究人的智能活動(dòng)規(guī)律，開發(fā)類人的智能系統(tǒng)，以使計(jì)算機(jī)能夠模擬人的智能行為。前期的研究基本集中在人的理性和邏輯活動(dòng)規(guī)律在機(jī)器的實(shí)現(xiàn)上。與此同時(shí)，心學(xué)家對(duì)感性或情感的研究也在逐步深化美國(guó)心理學(xué)家彼得·薩洛維(PeterSalovey)和約翰·邁耶(JohnMayer)發(fā)表的名為《情感智能》(EmotionalIntelligence)的文章，描述了他們創(chuàng)建的情感智能框架。該文章認(rèn)為，情感也是一智能，強(qiáng)調(diào)情感的認(rèn)知成分和處理能力論述。情感的四維分類模型由于過于抽象和復(fù)雜，并未被廣泛接納。分類模型和情感三基礎(chǔ)上，研究者嘗1.2情感計(jì)算的沿革、定義感計(jì)算的研究日益活躍(見圖1-5)。11960年美國(guó)社會(huì)心理學(xué)家丹尼爾·卡茨(DanielKatz)發(fā)表了關(guān)于態(tài)度功能的理論，揭示態(tài)度具有適應(yīng)功能、自我防御功能、認(rèn)知功能、價(jià)值表達(dá)功能等四功能19901990年1997年皮卡德出版了《情感計(jì)算》(AffectiveComputing)作，對(duì)情感計(jì)算進(jìn)行了系統(tǒng)的闡述。至此，這門性學(xué)科開始得到廣泛關(guān)注1998年1999年2004年美國(guó)人工智能促進(jìn)協(xié)會(huì)(AAAI)分別召開了針對(duì)人美國(guó)人工智能促進(jìn)協(xié)會(huì)(AAAI)分別召開了針對(duì)人工情感和認(rèn)知的專業(yè)學(xué)術(shù)會(huì)議。同一時(shí)期，日本的“感性工學(xué)”逐步發(fā)展，即從工程學(xué)的角度實(shí)現(xiàn)對(duì)人的感性需求的滿足，把情感信息的研究從心理科學(xué)角度過渡到心理科學(xué)、機(jī)電科學(xué)、信息科學(xué)等相關(guān)學(xué)科的交叉融合領(lǐng)域。在歐洲，許多大學(xué)成立了情感與智的研究小組歐盟設(shè)立了一個(gè)名為HUMAINE的人機(jī)交互情感項(xiàng)目，旨在為能夠記錄、建模和影響個(gè)體情感的導(dǎo)向系統(tǒng)奠定基礎(chǔ)。歐盟27所大學(xué)聯(lián)合參與了該項(xiàng)目22010年《IEEE情感計(jì)算匯刊》(IEEETransactionsonAffectiveComputing)創(chuàng)刊。它是情感計(jì)算領(lǐng)域的第一本期刊，是由全球最大的非營(yíng)利性專業(yè)技術(shù)學(xué)會(huì)——電氣與電子工程師協(xié)會(huì)(IEEE)創(chuàng)辦的展歷程920世紀(jì)90年代2003年中國(guó)學(xué)者開始投身于情感計(jì)算的研究。中國(guó)的情感計(jì)2003年第一屆“中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議”在北京第一屆“中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議”在北京2021年中國(guó)中文信息學(xué)會(huì)情感計(jì)算專委會(huì)(籌)在北京成立首屆“情感計(jì)算和智能交互國(guó)際學(xué)術(shù)會(huì)議”在北京召開。此外，多所大學(xué)在2000年前后逐步建立起相關(guān)的研究單元。其中，具有代表性的有之江實(shí)驗(yàn)室人工智能研究院跨媒體智能研究中心、清華大學(xué)人機(jī)交互與媒體集成研究所、中國(guó)科學(xué)院自動(dòng)化研究所和哈爾濱工業(yè)大學(xué)社會(huì)計(jì)2021年中國(guó)中文信息學(xué)會(huì)情感計(jì)算專委會(huì)(籌)在北京成立展歷程曾被問及關(guān)于機(jī)器情感的問題，他認(rèn)為這一問題的核心不在于智能機(jī)器能否有情感，而在于沒有情感的機(jī)器能否實(shí)現(xiàn)智能。雖然他最先提出了讓計(jì)算機(jī)具有情感能力的想法，但是學(xué)術(shù)界公認(rèn)的第一個(gè)正式提出情感計(jì)算完整定義的是皮卡德。她所著的表現(xiàn)，能夠進(jìn)行測(cè)量和分析，并能對(duì)情感施加影響的計(jì)算。此外，也有一些學(xué)者提出了不同的見解。與皮卡德采用認(rèn)知主義框架不同，瑞典計(jì)算機(jī)科學(xué)家克里斯蒂娜·霍克(KristinaH??k)以及美國(guó)計(jì)算機(jī)科學(xué)家菲比·森格斯(PhoebeSengers)和保羅·多羅希(PaulDourish)等學(xué)者從現(xiàn)象學(xué)出發(fā)，認(rèn)為情感計(jì)算的情感是在人與人、人與機(jī)器之間的交互過程中構(gòu)建起來的。日本工程院院士任福繼(FujiRen)認(rèn)為，情感計(jì)算旨在通過開發(fā)能夠識(shí)別、表感的系統(tǒng)和設(shè)備來減少計(jì)算機(jī)與人之流障礙。中國(guó)科學(xué)院自動(dòng)化研究所胡包剛及認(rèn)為，情感計(jì)算的目的是通過賦予計(jì)算機(jī)識(shí)解、表達(dá)、適應(yīng)人情感的能力來建立和諧的人機(jī)環(huán)境，并使計(jì)算機(jī)具有更高、更全面的智能。驗(yàn)室人工智能研究院跨媒體智能研究中心李為，情感計(jì)算是賦予機(jī)器以感知、識(shí)別、理情感計(jì)算的研究?jī)?nèi)容主要包括五個(gè)方面(見1-7)。情感基礎(chǔ)理論模型主要包括離散情感模型和維度情感模型兩種類型(見圖1-8)。兩種類型各體采用哪種模型，取決于實(shí)際應(yīng)用任務(wù)通工具，在各種溝通載體上形成了海量的數(shù)，為文本挖掘提供了基礎(chǔ)。因此，語(yǔ)言文字信號(hào)獲取的成本最低。但是，數(shù)據(jù)質(zhì)量參差不齊，生語(yǔ)法錯(cuò)誤、文字亂碼等問題，從而對(duì)情感1別3和深度學(xué)1別3和深度學(xué)集音、視覺4 (如表情、手勢(shì)等)、生理個(gè)方面，并建立相據(jù)集2論和維度情復(fù)合情感表達(dá)肢體動(dòng)作等表態(tài)5的研究?jī)?nèi)容型基礎(chǔ)理論模型識(shí)別產(chǎn)生不利的影響。由于攝像頭、麥克風(fēng)等傳感器成本較低且無須與用戶直接接觸，采集語(yǔ)音、面部表情等情感信號(hào)較為便利。這些領(lǐng)域的數(shù)據(jù)量十分龐大，相關(guān)的研究論文數(shù)量也很多，且不少數(shù)據(jù)直接來自實(shí)際場(chǎng)景。生理數(shù)據(jù)相較于文本、語(yǔ)音、表情等信號(hào)數(shù)據(jù)，其優(yōu)勢(shì)在于能夠更加直接、客觀、真實(shí)地反映個(gè)體的情感狀態(tài)，較少受到個(gè)體主觀意識(shí)的影響。因此，生理數(shù)據(jù)也成為情感計(jì)算領(lǐng)域的研究熱點(diǎn)之一。目前，在情感計(jì)算領(lǐng)域，運(yùn)用較多的生理數(shù)據(jù)包括腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等。由于需要佩戴較為復(fù)雜且成本較高的生理數(shù)據(jù)傳感器，生理數(shù)據(jù)的獲取較難在實(shí)際應(yīng)用中進(jìn)行推廣。目前，實(shí)驗(yàn)室或研究所能夠使用的生。針對(duì)文本數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、視覺數(shù)據(jù)、生理數(shù)據(jù)，研究人員開發(fā)了相應(yīng)的數(shù)據(jù)分析算法和工具 (見圖1-9)。析分析①文本數(shù)據(jù)分析。傳統(tǒng)的文本情感分析通過建特定領(lǐng)域的情感詞典，再根據(jù)情感詞和文本的射關(guān)系進(jìn)行情感分析。但是，情感詞典的特定屬性限制了文本情感分析在多領(lǐng)域應(yīng)用的能力。近er語(yǔ)言模型為代表的預(yù)訓(xùn)練語(yǔ)言模型在多種情感分析任務(wù)中獲得成功，這引起了學(xué)術(shù)界和產(chǎn)業(yè)界極②語(yǔ)音數(shù)據(jù)分析。語(yǔ)音情感識(shí)別借助語(yǔ)言學(xué)聲學(xué)的相關(guān)技術(shù)，除了分析語(yǔ)法、語(yǔ)義之外，還會(huì)識(shí)別與情感狀態(tài)有關(guān)的聲學(xué)特征信息，如語(yǔ)速、音、語(yǔ)調(diào)。當(dāng)前，提取情感語(yǔ)音特征應(yīng)用較為廣③視覺數(shù)據(jù)分析。在表情、肢體動(dòng)作、場(chǎng)景圖片情感識(shí)別中，對(duì)面部表情的識(shí)別經(jīng)典的基本表情識(shí)別模型，該模型雖然簡(jiǎn)單但應(yīng)用廣泛?；谏疃壬窠?jīng)網(wǎng)絡(luò)的深度情感特征，利用人臉情感識(shí)別數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，如④生理數(shù)據(jù)分析。與上述文本、語(yǔ)音、表情信號(hào)相比，生理信號(hào)的識(shí)別難度更大。同時(shí)，生理信號(hào)具有獨(dú)特的屬性。例如，在對(duì)腦電數(shù)據(jù)進(jìn)，需要開展較為繁雜的預(yù)處理流程，包括電極位置定位、帶通濾波、轉(zhuǎn)換參考、分析段截取、偽跡去除、壞電極插補(bǔ)等，隨后要采取特征提取、特征降維等步驟，最后運(yùn)用機(jī)器學(xué)習(xí)分類對(duì)情感進(jìn)行識(shí)別。自2018年以來，運(yùn)用深度學(xué)習(xí)方法開展腦電數(shù)據(jù)情感計(jì)算的論文呈現(xiàn)較大幅Encoders，SAE)等在內(nèi)的方法得到普遍運(yùn)用。早期的情感計(jì)算一般都是單模態(tài)的，即在文、表情、肢體動(dòng)作、生理信號(hào)等模態(tài)中對(duì)進(jìn)行數(shù)據(jù)分析和情感識(shí)別。然而，人在表達(dá)情感的時(shí)候往往是通過多種方式進(jìn)行聯(lián)合表達(dá)使用單模態(tài)進(jìn)行情感識(shí)別所獲取的情感信限性。人的情感豐富、細(xì)膩，表達(dá)形式多這就需要融合多個(gè)信息源，綜合處理，協(xié)以求盡可能精準(zhǔn)地識(shí)別人類情感。多模態(tài)利用來自不同模態(tài)的信息整合成一個(gè)穩(wěn)定表征，可以有效地解決這一問題。根據(jù)融不同，常見的多模態(tài)融合方法可以分為基的早期融合、基于模型級(jí)的混合融合、基根據(jù)情感的分析識(shí)別結(jié)果，機(jī)器通過面部表情、情感回復(fù)生成、肢體動(dòng)作等方式向用戶傳遞帶有情感溫度的表達(dá)和回應(yīng)。例如，利用特定的聲音風(fēng)格、綜合具有情感標(biāo)簽的文本內(nèi)容合成語(yǔ)音，讓機(jī)器表達(dá)出特定的情感。這個(gè)過程將需要合成的文字內(nèi)容和特定風(fēng)格的聲音輸入神經(jīng)網(wǎng)絡(luò)，然后讓神經(jīng)網(wǎng)絡(luò)合成特定風(fēng)格的語(yǔ)音。如果需要通過肢體動(dòng)作表達(dá)情感，則需要先分析動(dòng)作的基本單元，然后再根據(jù)情感與單元組合的映射關(guān)系合成相應(yīng)的交互動(dòng)作，讓機(jī)器執(zhí)行。1.3情感計(jì)算的意義(1)情感計(jì)算是實(shí)現(xiàn)自然化、擬人化、人格基礎(chǔ)性技術(shù)和重要前提“深度”。計(jì)算機(jī)雖然已經(jīng)擁有強(qiáng)大的計(jì)算能力，但是因缺乏與人相似的情感能力而始終無法與人進(jìn)行深層次的、自然的人機(jī)交互。皮卡德曾表示，當(dāng)初就是因?yàn)樵谘芯咳斯ぶ悄軙r(shí)好像各方面受限于忽視了情感或者無法充分理解情感的機(jī)制。這促使她提出情感計(jì)算的概念并展開研究。情感的識(shí)別和表達(dá)對(duì)信息的交流和理解是必需的，使機(jī)器具備情感智能從而有助于交互信息的深度感知和理解。交互擁有“溫度”。人與機(jī)器的交互不再冰冷和程式化，而是更加貼心和共情，以突出人本理念、人性理解、人文關(guān)懷。再”。機(jī)器擁有了人格化特征、個(gè)性甚至是自我意識(shí)，可以帶來態(tài)。(2)情感計(jì)算為人工智能決策提供了優(yōu)化路徑17—18世紀(jì)，法國(guó)哲學(xué)家勒內(nèi)·笛卡爾 (RenéDescartes)提出的身心二元論在西方世界占據(jù)思想的主流。笛卡爾拒絕承認(rèn)情感在理性決策中的作用，認(rèn)為受情感支配會(huì)喪失自主權(quán)。然而，如今眾多研究已經(jīng)表明情感在決策、理解、學(xué)習(xí)等理性思考中扮演著重要且正面的角色并影響最終的結(jié)果。認(rèn)知神經(jīng)科學(xué)家通過對(duì)情感障礙病理學(xué)、神經(jīng)生理學(xué)、神經(jīng)影像學(xué)等的研究，為情感影響認(rèn)知這個(gè)理論提供了堅(jiān)實(shí)的科學(xué)依據(jù)。大量的研究表明，人在解決某些問題的時(shí)候，純理性的決策往往并非最優(yōu)解。在作出決策時(shí)，情感的加入反而有可能幫助人們找到更優(yōu)解。因此，情感變量的輸入或?qū)椭鷻C(jī)器作出更加人性化的決策。(3)情感計(jì)算在多領(lǐng)域具有巨大應(yīng)用價(jià)值，化、數(shù)字化時(shí)代具有重大價(jià)值應(yīng)用，極大地提高了人的生活質(zhì)量和學(xué)習(xí)者的情感狀態(tài)，然后給予相應(yīng)的反饋和調(diào)例如，教師能夠通過情感教學(xué)智能系統(tǒng)進(jìn)一步學(xué)生的課堂參與度，以便及時(shí)調(diào)整教學(xué)節(jié)奏和，改進(jìn)教學(xué)計(jì)劃。智能系統(tǒng)能夠通過情感分析學(xué)生感興趣的主題，從而推薦定制化的學(xué)習(xí)內(nèi)容。學(xué)生也能通過智能系統(tǒng)進(jìn)行真實(shí)的教學(xué)反饋，既能在傳統(tǒng)課堂中使用，也能嵌入網(wǎng)絡(luò)軟件于線上課堂。特別是在新冠肺炎疫情的影響下，線上教育培訓(xùn)的應(yīng)用場(chǎng)景更廣、頻率也更高。但是，遠(yuǎn)程教育缺乏面對(duì)面互動(dòng)的情感化課堂氛此使用情感計(jì)算的線上課堂值得被應(yīng)用和推了課堂教育之外，情感計(jì)算還有利于教育游育機(jī)器人的研究和發(fā)展。融入情感元素的游器人能夠帶來更好的人機(jī)交互體驗(yàn)，從而更在醫(yī)療健康領(lǐng)域，尤其是在心理疾病的治療情感計(jì)算能夠科學(xué)和客觀地對(duì)患者的情感進(jìn)行和判斷，這是對(duì)行為觀察、量表填寫等主觀性的傳統(tǒng)診斷手段的有益補(bǔ)充?？陀^的數(shù)據(jù)有利性化、精準(zhǔn)化醫(yī)療水平的提升，根據(jù)收集到的在商業(yè)服務(wù)領(lǐng)域，情感計(jì)算的應(yīng)用更加廣泛。，消費(fèi)者的體驗(yàn)與情感高度關(guān)聯(lián)，情感計(jì)算助企業(yè)了解消費(fèi)者的內(nèi)心世界以及驅(qū)動(dòng)消費(fèi)誘因。由此挖掘產(chǎn)生的信息能夠協(xié)助企業(yè)制前瞻性的商業(yè)策略。另一方面，融入情感計(jì)此外，情感計(jì)算還能用于安保防范和輿情監(jiān)減輕人力成本的同時(shí)提升監(jiān)控質(zhì)量，保是可以預(yù)見其潛力巨大。近代科學(xué)大部分是和改造外部世界的過程中發(fā)展開來的，但目前人們對(duì)內(nèi)心世界的認(rèn)識(shí)還處于比較粗淺的階段。算是在人工智能框架下的一大進(jìn)步，體現(xiàn)了高層次的智能，有助于引領(lǐng)人類走向和諧人單模態(tài)情感計(jì)算多模態(tài)情感計(jì)算文本情感計(jì)算語(yǔ)音情感計(jì)算多情感單感計(jì)音計(jì)算算情感計(jì)情模視覺情感計(jì)算生理信號(hào)情感計(jì)算生理策合信號(hào)視覺多模態(tài)數(shù)據(jù)集計(jì)算計(jì)算情感情感態(tài)計(jì)算多模態(tài)融合策略單模態(tài)情感計(jì)算多模態(tài)情感計(jì)算文本情感計(jì)算語(yǔ)音情感計(jì)算多情感單感計(jì)音計(jì)算算情感計(jì)情模視覺情感計(jì)算生理信號(hào)情感計(jì)算生理策合信號(hào)視覺多模態(tài)數(shù)據(jù)集計(jì)算計(jì)算情感情感態(tài)計(jì)算多模態(tài)融合策略互需求的不斷增強(qiáng)，情感計(jì)算在人機(jī)交互性日益凸顯，基于情感理解與表達(dá)的人機(jī)也受到了各領(lǐng)域的廣泛關(guān)注。情感計(jì)算對(duì)、推理、決策、規(guī)劃、創(chuàng)造、社會(huì)互動(dòng)等動(dòng)起著不可或缺的作用?；谇楦杏?jì)算的研分析科學(xué)中具有重要意義。情感計(jì)算大致模態(tài)情感計(jì)算和多模態(tài)情感計(jì)算，本章將。情感計(jì)情感計(jì)算腦電信號(hào)心電信號(hào)信號(hào)肌電腦電信號(hào)心電信號(hào)信號(hào)肌電信號(hào)信號(hào)信號(hào)圖2-1情感計(jì)算研究框架2.1單模態(tài)情感計(jì)算單模態(tài)情感計(jì)算主要包含文本、語(yǔ)音、視覺、文本就是人與人之間的交流因時(shí)空等限制而助的媒介，也是記錄信息的一種載體。文本記錄人的思維意識(shí)活動(dòng)，其中一些文本一定帶有情感向，那么對(duì)這部分信息的挖掘、研究和應(yīng)用就是(1)研究背景和發(fā)展現(xiàn)狀由于機(jī)器無法直接理解語(yǔ)言文字這種非結(jié)NLU)通過語(yǔ)法分析、句法分析與語(yǔ)義分析對(duì)句落、語(yǔ)篇等長(zhǎng)文本進(jìn)行理解；二是自然語(yǔ)言言格式的數(shù)據(jù)轉(zhuǎn)換成人可以理解的語(yǔ)言格式。NLP由于數(shù)據(jù)的龐雜，人工分析成本高且耗時(shí)耗大數(shù)據(jù)技術(shù)和人工智能技術(shù)對(duì)文本的情感可以極大地提高效率和準(zhǔn)確率。因此，文范疇，主要研究情感狀態(tài)與文本信息的對(duì)應(yīng)關(guān)系。感的計(jì)算主要由文本情感特征標(biāo)注、文本情計(jì)算機(jī)無法識(shí)別文本，需要先將文本轉(zhuǎn)為向析。目前，常見的文本生成向量的方法(2)數(shù)據(jù)集P本分類領(lǐng)域的相關(guān)數(shù)據(jù)集有根據(jù)新浪新聞RSS訂分類數(shù)據(jù)集、搜狗實(shí)驗(yàn)室開發(fā)的全網(wǎng)新聞數(shù)據(jù)(SogouCA)和搜狐新聞數(shù)據(jù)(SogouCS)、騰訊云消息隊(duì)列CKafka上線的數(shù)據(jù)中心接入的服務(wù)模(3)主要方法的情感分類方法大致有五種：通過構(gòu)建帶有向的情感詞典再基于情感詞典進(jìn)行比較分析的方法、基于“情感詞典+習(xí)”的方法、基于弱標(biāo)注的方法、基于深度基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法主要有三類：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)本質(zhì)上是分類，通過已有的訓(xùn)練樣本去訓(xùn)練以獲得一個(gè)最優(yōu)模型，再將全部的輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單的判斷從而實(shí)現(xiàn)分類目的的方法。常見的監(jiān)督學(xué)習(xí)方法有K最近鄰(K-NearestNeighbor，KNN)、樸素貝葉斯(NaiveBayes)、支(SupportVectorMachine，SVM)等。無監(jiān)督學(xué)習(xí)沒有任何訓(xùn)練樣本，需要直接對(duì)數(shù)據(jù)進(jìn)行建模。常用的無監(jiān)督學(xué)習(xí)方法有K均值聚類算法 半監(jiān)督學(xué)習(xí)的方法是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。上述方法雖然簡(jiǎn)單易懂也具有較高的穩(wěn)定性，在精度不高和依賴人工操作的缺陷。基于深度學(xué)習(xí)的分析方法彌補(bǔ)了這種缺陷。一方面，神絡(luò)的引入使模型的預(yù)測(cè)精度得到提高；另一方面，不需要額外構(gòu)建字典，從而降低了工作復(fù)雜對(duì)前后文進(jìn)行連貫性建模、BERT能夠?qū)⑷淖鳛楫?dāng)人在閱讀一段文本時(shí)，都是基于自己已經(jīng)擁有的對(duì)先前所見詞的理解來推斷當(dāng)前詞的真實(shí)含義，也就是說，思想具有持久性。于是，循環(huán)神經(jīng)網(wǎng)絡(luò)最先被應(yīng)用到NLP中，保證了信息的持久化和前后信息的連貫性，其中比較經(jīng)典的RNNGRU)。隨著神經(jīng)網(wǎng)絡(luò)在NLP中的應(yīng)用逐漸深入，發(fā)現(xiàn)組合神經(jīng)網(wǎng)絡(luò)與單一的神經(jīng)網(wǎng)絡(luò)相比往接上捕捉局部特征的CNN，能夠進(jìn)一步提高精確度。但是，循環(huán)神經(jīng)網(wǎng)絡(luò)也不是完美的，尤其是RNN的機(jī)制會(huì)存在長(zhǎng)程梯度消失的問題，對(duì)于較子也很難寄希望于將輸入的序列轉(zhuǎn)化為定長(zhǎng)而保存所有的有效信息。為了解決由長(zhǎng)序列向量轉(zhuǎn)化而造成的信息損失的問題，注意力歌公司推出的預(yù)訓(xùn)練語(yǔ)言理解模型BERT，通過大注的語(yǔ)言文本進(jìn)行語(yǔ)言模型的訓(xùn)練，從而得到一套模型參數(shù)，利用這套參數(shù)對(duì)模型進(jìn)行初始根據(jù)具體任務(wù)在現(xiàn)有語(yǔ)言模型的基礎(chǔ)上進(jìn)行(4)問題和挑戰(zhàn)文本隱含內(nèi)容的提取、非標(biāo)準(zhǔn)化文本的出語(yǔ)言的文本情感分析等。鑒于文本情感分圍的復(fù)雜性，模型的適用范圍往往較為單在多個(gè)應(yīng)用場(chǎng)景下均保持良好的表現(xiàn)。此的數(shù)據(jù)集也限制了文本情感分析在多元化進(jìn)行的。因此，多更符合人對(duì)情感的感知，更符合人的情感分析效果更好。根據(jù)見方式，由文本情感分析衍生出兩大。(1)研究背景和發(fā)展現(xiàn)狀傳統(tǒng)的語(yǔ)音處理系統(tǒng)僅僅著眼于語(yǔ)音詞匯傳準(zhǔn)確性，隨著語(yǔ)音識(shí)別技術(shù)的迅速發(fā)展，如何語(yǔ)音中的情感已成為語(yǔ)音識(shí)別領(lǐng)域新興的研究向。如今，“物”與“人”的交互變得更加頻繁和重要，人與人之間最自然的交互——語(yǔ)音交互，語(yǔ)音情感是指語(yǔ)音信號(hào)蘊(yùn)含的說話者的情感，現(xiàn)在兩個(gè)部分：一個(gè)是語(yǔ)音所包含的語(yǔ)言情，另一個(gè)是聲音本身所具有的情感特征，如高低變化等。與語(yǔ)音情感相關(guān)的計(jì)算稱為語(yǔ)計(jì)算。語(yǔ)音情感計(jì)算的研究?jī)?nèi)容包括語(yǔ)音情(2)數(shù)據(jù)集語(yǔ)音情感數(shù)據(jù)集是語(yǔ)音情感計(jì)算的重要組成分。目前，數(shù)據(jù)集的主要分類方式有兩種：按照情感語(yǔ)音的生成方式、情感的描述模型進(jìn)行分類。根據(jù)語(yǔ)音的生成方式分類，語(yǔ)音情感數(shù)據(jù)集可被類，分別是表演型、引導(dǎo)型、自然型；根據(jù)情感的描述模型分類，數(shù)據(jù)集可被分為兩類，分別是離散語(yǔ)音情感數(shù)據(jù)集、維度語(yǔ)音情感數(shù)據(jù)集。如圖2-2所示。(3)主要方法語(yǔ)音情感識(shí)別系統(tǒng)對(duì)給定語(yǔ)音的潛在情感進(jìn)行分類的方法包括傳統(tǒng)方法、基于深度學(xué)習(xí)的方法。傳統(tǒng)的分類器有兩類：一類是基于統(tǒng)計(jì)的分類器，另一類是基于判別的分類器?；诮y(tǒng)計(jì)的分類器主要包括隱馬爾可夫模型(HiddenMarkov常用的代表性語(yǔ)音數(shù)據(jù)集常用的代表性語(yǔ)音數(shù)據(jù)集美國(guó)南加利福尼亞大學(xué)語(yǔ)音分析和解析實(shí)驗(yàn)室(SAIL)的IEMOCAP(TheInteractiveEmotionalDyadicMotionCaptureDatabase)數(shù)據(jù)集中國(guó)科學(xué)院自動(dòng)化研究所的CASIA(ChineseEmo-tionalSpeechCorpus)數(shù)據(jù)集和FAU-Aibo(FAUAiboEmotionCorpus)自然型數(shù)據(jù)庫(kù)德國(guó)柏林工業(yè)大學(xué)通信科學(xué)研究所的EmoDB(BerlinEmotionalDatabase)數(shù)據(jù)集德國(guó)卡爾斯魯厄理工學(xué)院通信工程實(shí)驗(yàn)室收集的無償數(shù)據(jù)集-VAM(VeraAmMittagDatabase)數(shù)據(jù)集英國(guó)貝爾法斯特女王大學(xué)(Queen'sUniversityBelfast)基于英國(guó)帝國(guó)理工學(xué)院(ImperialCollegeLondon)iBUG小組開發(fā)的Semaine數(shù)據(jù)集決策樹(DecisionTree)和SVM。深度學(xué)習(xí)算法由次的結(jié)構(gòu)和高效的結(jié)果而被廣泛應(yīng)用于語(yǔ)音情感識(shí)別領(lǐng)域，主要包括深度玻爾茲曼機(jī)(Deep(4)問題和挑戰(zhàn)未達(dá)到成熟階段。目前，語(yǔ)音情感計(jì)算尚待解決的問題包括缺少被廣泛認(rèn)可的數(shù)據(jù)集、標(biāo)注困難、(1)研究背景和發(fā)展現(xiàn)狀各類圖片和視頻如潮水般涌入網(wǎng)絡(luò)，這算研究者提供了海量數(shù)據(jù)，人們嘗試用合目前，視覺情感計(jì)算的研究熱點(diǎn)主要包括基部表情的情感識(shí)別研究和基于肢體動(dòng)作的情感研究。基于面部表情的情感識(shí)別研究主要通過計(jì)算機(jī)視覺以及深度學(xué)習(xí)來理解面部特征和情基于肢體動(dòng)作的情感識(shí)別主要通過人體肢體動(dòng)獲取人的情感信息。肢體動(dòng)作與面部相比具有的自由度，這使得它能夠通過更豐富的方式來更復(fù)雜的情緒甚至意圖，也有助于使機(jī)器具有更豐富、更細(xì)微情感的能力，進(jìn)而挖掘個(gè)體內(nèi)(2)數(shù)據(jù)集視覺情感數(shù)據(jù)集可以分為圖片情感數(shù)據(jù)集 (見圖2-3)和視頻情感數(shù)據(jù)集(見圖2-4)。(3)主要方法視覺情感計(jì)算主要研究從視覺信息感知和理情緒，可以通過傳統(tǒng)機(jī)器學(xué)習(xí)方法與基于深要有方向梯度直方圖、支持向量機(jī)、K最近鄰、隨機(jī)森林等。但是，當(dāng)面對(duì)長(zhǎng)的視覺內(nèi)容數(shù)據(jù)量時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)方法難以快速、準(zhǔn)確地處理多媒體內(nèi)容數(shù)據(jù)的伸縮近年來，深度學(xué)習(xí)在許多領(lǐng)域均取得不錯(cuò)的是在圖片分類、圖片識(shí)別、圖片檢索等視覺領(lǐng)域。視覺情感計(jì)算的深度學(xué)習(xí)方法與法相比，具有更高的魯棒性與準(zhǔn)確性，因此應(yīng)用于基于視覺的情感計(jì)算與分析領(lǐng)域。圖計(jì)算方法以卷積神經(jīng)網(wǎng)絡(luò)方法為代表，主要度學(xué)習(xí)從大量圖像數(shù)據(jù)中自動(dòng)學(xué)習(xí)有助于情的有效特征或強(qiáng)特征，以進(jìn)一步提升圖片情或分類能力。視頻情感計(jì)算方法以循環(huán)神經(jīng)主，該深度學(xué)習(xí)方法擅長(zhǎng)處理視頻等序列輸tDERFADCE人臉檢DERFADCE人臉檢測(cè)基準(zhǔn)數(shù)據(jù)集別數(shù)據(jù)集APSArtPhoto在ArtPhoto在IAPS基礎(chǔ)上的擴(kuò)展注意力國(guó)家心理健康中心開發(fā)，旨在為研究情緒和注意力提供一套標(biāo)準(zhǔn)化的主要被廣泛應(yīng)用于理學(xué)研究囊括三種類型的情緒標(biāo)簽包含負(fù)面圖片、正面等照片包含?？寺岢龅牧N基本情緒及一個(gè)中性情類除了表情標(biāo)注以外，對(duì)典型的圖片情感數(shù)據(jù)集主流的視頻情感數(shù)據(jù)集主流的視頻情感數(shù)據(jù)集LIRIS-ACCEDE包括61個(gè)表現(xiàn)不同基本包括61個(gè)表現(xiàn)不同基本緒的成年人和25個(gè)對(duì)出反應(yīng)的成前被廣感分類個(gè)時(shí)長(zhǎng)為8~12秒)沿著效價(jià)軸排序，從最負(fù)面的視頻到最積極的視頻，被廣泛用MAHNOBHCI-MAHNOBHCI-據(jù)集組成(4)問題和挑戰(zhàn)視覺情感計(jì)算在實(shí)際應(yīng)用中面臨不少難題。一是語(yǔ)義鴻溝。語(yǔ)義鴻溝是由于計(jì)算機(jī)獲取圖片的視覺信息與用戶對(duì)圖片理解語(yǔ)義信息的不一致而導(dǎo)致的偏差。二是情感表述的準(zhǔn)確性問題和標(biāo)(1)研究背景和發(fā)展現(xiàn)狀基于生理信號(hào)的情感計(jì)算快速發(fā)展。廣義而有身體變化都可以視作生理信號(hào)。情感計(jì)算常用的生理特征是腦電、心率和心率異變以(2)常用生理信號(hào)腦電信號(hào)與其他生理信號(hào)相比，具有直接客量化、特征多元的特點(diǎn)，并且具有直接相關(guān)性，能夠表現(xiàn)出更高的情感識(shí)，因此成為基于生理信號(hào)的情感識(shí)別中應(yīng)用的信號(hào)之一。在腦電信號(hào)預(yù)處理中最重要的去除偽跡和噪聲，剝離與情感相關(guān)的腦電活動(dòng)，從而提取多種特征：如事件相關(guān)電位(ERP)、計(jì)量、不穩(wěn)定指數(shù)、高階交叉特征、分形維如事件相關(guān)去同步(ERS)、事件相關(guān)同步(ERD)、頻微分熵等時(shí)頻域特征；非線性動(dòng)力學(xué)特征；空域特征。最后，將多種特征帶入分類器進(jìn)行分類。經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)等深動(dòng)在時(shí)間和空間上的數(shù)據(jù)。這些數(shù)據(jù)主要時(shí)間、注視位置、瞳孔大小、眼電圖信號(hào)信號(hào)是在眼動(dòng)信號(hào)中應(yīng)用比較廣泛種方式提取特征，并將特征帶入分類器。深度學(xué)習(xí)算法也逐步被應(yīng)用于特征提合、情感分類等多個(gè)情感識(shí)別過程，以肌電信號(hào)主要通過電極檢測(cè)肌肉收縮時(shí)產(chǎn)生的表面電壓，從而獲取肌電圖數(shù)據(jù)。肌電信號(hào)數(shù)和時(shí)頻域兩個(gè)方面。時(shí)域主要提取肌電信號(hào)的均準(zhǔn)差、最大值、最小值等統(tǒng)計(jì)學(xué)的特征。時(shí)要是通過小波變換對(duì)肌電信號(hào)進(jìn)行分解，提小波系數(shù)的均值、標(biāo)準(zhǔn)差等。肌電信號(hào)的預(yù)括濾波、降噪等，通過基于時(shí)域、頻域以及結(jié)合等進(jìn)行特征提取，利用小波變換、獨(dú)立成分分析(ICA)算法等進(jìn)行特征選擇與降維，從征帶入基于傳統(tǒng)方法的分類器或深度學(xué)習(xí)算皮膚電信號(hào)是一種常用的情感計(jì)算指標(biāo)，依體的汗腺分泌，電導(dǎo)率隨著汗液離子填充汗腺而變化。皮膚電導(dǎo)可以在身體的任何地方測(cè)量，的電極放置位置是在手的中指和食指末梢部重要的情感計(jì)算特征。皮膚電信號(hào)數(shù)據(jù)集主通過提取統(tǒng)計(jì)特征或算法優(yōu)化的方式進(jìn)行特征提取，最后將特征放入合適的分類器中進(jìn)行情感計(jì)算。心電信號(hào)(ECG)是人體心臟搏動(dòng)時(shí)心肌細(xì)胞產(chǎn)生的動(dòng)作電位綜合而成的。心電信號(hào)能夠反映心臟的活動(dòng)，情緒的變化也會(huì)直接導(dǎo)致心臟活動(dòng)的變化，因此心電信號(hào)也能運(yùn)用于情感識(shí)別領(lǐng)域。心電特征主要包括PQRST(心電圖的5個(gè)波形)、用的是德國(guó)奧格斯堡大學(xué)情感生理數(shù)據(jù)集和HR-呼吸是人體重要的一個(gè)生理過程，隨著情感波動(dòng)，呼吸系統(tǒng)的活動(dòng)在速度和深度上會(huì)有。因此，通過對(duì)呼吸信號(hào)的研究，可以用于體情感狀態(tài)的變化。常用的呼吸信號(hào)特征包頻率、平均呼吸水平、連續(xù)呼吸之間的最長(zhǎng)時(shí)間、深呼吸和淺呼吸、相鄰呼吸波峰的間期、呼氣幅度的一階差分、二階差分等。常用的(3)問題與挑戰(zhàn)基于生理信號(hào)的情感識(shí)別技術(shù)雖然已經(jīng)擁有諸多成功案例，但是存在許多未解決的科學(xué)問題。信號(hào)的采集不便。測(cè)量生理信號(hào)是建立生理算系統(tǒng)的第一步，而用于檢測(cè)信號(hào)的傳感器地受限于場(chǎng)地、環(huán)境、可操作性等，也面臨性差和計(jì)算能力弱等困擾。其次是生理信號(hào)性較低。例如，隨著年齡的變化或某些疾病，生理信號(hào)數(shù)據(jù)會(huì)產(chǎn)生差異，即使是同一個(gè)著體力活動(dòng)、交談或姿勢(shì)的變換，生理信號(hào)同。這并不與情感的變化直接相關(guān)。再者是注不精確、數(shù)據(jù)難以窗口化、采樣繁瑣、數(shù)理與計(jì)算難度大，以及非情感和情感對(duì)生理2.2多模態(tài)情感計(jì)算雖然人臉表情、肢體動(dòng)作、語(yǔ)音等均能獨(dú)立理解和表達(dá)，但是人的相互交流總是通模態(tài)信息的綜合表現(xiàn)來進(jìn)行的。多模態(tài)情感以將不同模態(tài)之間的信息進(jìn)行互補(bǔ)并用于消情感分析更準(zhǔn)確，具有更高的魯棒性，也更類的自然表達(dá)。這讓多模態(tài)情感計(jì)算成為當(dāng)單模態(tài)的信息量不足且容易受到外界各種因影響，如面部表情容易被遮擋、語(yǔ)音容易受噪擾等。此外，當(dāng)個(gè)體主觀上對(duì)情感信號(hào)加以掩飾或者單一通道的情感信號(hào)受到其他信號(hào)影響時(shí)，分析性能就會(huì)明顯下降。人的情感通常以多種的方式呈現(xiàn)，大腦在整合多感官信息時(shí)存在多階段融合的現(xiàn)象。多模態(tài)情感分析能夠有效利用模態(tài)信息的協(xié)同互補(bǔ)來增強(qiáng)情感理解與表達(dá)能引入多模態(tài)情感計(jì)算是提高模型魯棒性等性能別和理解的方法上。多模態(tài)情感計(jì)算的發(fā)展中體現(xiàn)在四個(gè)方面：①融合語(yǔ)義信息多尺度進(jìn)行準(zhǔn)確地理解，從多個(gè)維度進(jìn)行多模態(tài)情感分析；②提高在復(fù)雜環(huán)境下情感計(jì)算的魯棒性，非協(xié)作開放模式下，面向高維碎片化開源數(shù)目標(biāo)對(duì)象情感狀態(tài)的精準(zhǔn)識(shí)別；③與預(yù)訓(xùn)練及多任務(wù)聯(lián)合訓(xùn)練等方法結(jié)合，實(shí)現(xiàn)在更多場(chǎng)景下的多模態(tài)情感計(jì)算；④探索通用的多模態(tài)情感計(jì)算模型，通過適配多場(chǎng)景應(yīng)用，實(shí)現(xiàn)多模態(tài)應(yīng)用零成本遷移。針對(duì)多模態(tài)情感計(jì)算的迫切需求，美國(guó)卡內(nèi)大學(xué)提出了一個(gè)大規(guī)模的多模態(tài)對(duì)話情感計(jì)文本、用協(xié)同語(yǔ)音分析庫(kù)技術(shù)(COVAREP)抽取不僅具有情感標(biāo)簽，而且對(duì)情感的強(qiáng)弱進(jìn)行了標(biāo)注，從而可以支撐細(xì)粒度的情感分析任務(wù)。目前，生理信號(hào)類多模態(tài)情感計(jì)算資源主要采用音頻刺激方法誘發(fā)情緒，同步采集多模態(tài)生理進(jìn)而分析不同情緒下中樞神經(jīng)系統(tǒng)和自主神經(jīng)系統(tǒng)的反應(yīng)，以實(shí)現(xiàn)基于多模態(tài)生理信號(hào)的情別。典型計(jì)算資源包括DEAP、DECAF、HR-EEG4EMO等數(shù)據(jù)集，包含腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等信驗(yàn)被試者根據(jù)自身感受從喚醒度、效價(jià)、偏配度和熟悉度等維度進(jìn)行評(píng)分。由于被試個(gè)別、年齡等因素均會(huì)對(duì)情緒激發(fā)產(chǎn)生重要影慮引入相關(guān)人口統(tǒng)計(jì)學(xué)信息并建模是非常必算法創(chuàng)新，以提升情感分類的準(zhǔn)確率。在情中，每個(gè)模塊所傳達(dá)的人類情感的信息量大度不同。在人機(jī)交互中，不同的維度還存在不完善的問題，因此情感計(jì)算應(yīng)盡可能從多入手，將單一不完善的情感通道補(bǔ)上，最后在模態(tài)融合方面，多模態(tài)情感計(jì)算可分為模關(guān)和模型依賴兩種路線。模型無關(guān)包括特征級(jí)融合(前期融合)、決策級(jí)融合(后期融合)和混融合。特征級(jí)融合主要先通過構(gòu)建特征集合或特征空間，再送入分類模型進(jìn)行分類決策。決融合關(guān)鍵在于找出不同模態(tài)在決策階段的可信，再進(jìn)行協(xié)調(diào)、聯(lián)合決策?；旌鲜饺诤习戏N融合。模型依賴的方法為多模態(tài)融合設(shè)計(jì)了結(jié)構(gòu)，基于核函數(shù)的融合和基于圖的融合常用層模型，基于神經(jīng)網(wǎng)絡(luò)的融合、基于張量的融合、基于注意力機(jī)制的融合等則多用于深層模型。級(jí)融合可以將不同模態(tài)特征分別輸入不同模型再進(jìn)一步提取特征。決策級(jí)融合與特征級(jí)融合易進(jìn)行，但關(guān)鍵是要探究各個(gè)模態(tài)對(duì)情別的重要程度。然而，模型級(jí)融合并不需要重探究各模態(tài)的重要程度，而是根據(jù)模態(tài)特性需立合適的模型，聯(lián)合學(xué)習(xí)關(guān)聯(lián)信息?？傊Ｈ诤舷噍^于決策級(jí)融合和特征級(jí)融合最大的特于靈活地選擇融合的位置。近年來，有學(xué)者提出了多階段多模態(tài)情感融合，即先訓(xùn)練一個(gè)單模態(tài)模型，將其隱含狀態(tài)與另一個(gè)模型特征拼接得到雙模態(tài)模型并進(jìn)行再訓(xùn)練，以此類推，得到多解決多模態(tài)情感計(jì)算問題需要更豐富的模態(tài)以及不同模態(tài)之間的細(xì)粒度對(duì)齊，這無疑對(duì)多模態(tài)信息的提煉與整合提出了更高的要求。，受情感信息捕獲技術(shù)的影響，以及標(biāo)記困難題，建立高質(zhì)量多模態(tài)數(shù)據(jù)集是當(dāng)下的主要挑一。傳統(tǒng)多模態(tài)學(xué)習(xí)范式對(duì)特征之間的關(guān)聯(lián)關(guān)息和特征的高階信息的關(guān)注不夠，而深度多模習(xí)范式則缺乏大規(guī)模的情感數(shù)據(jù)資源，有關(guān)多特征融合的情感理解模型研究還有待深入，如語(yǔ)義信息進(jìn)行多尺度情感準(zhǔn)確理解、提高復(fù)雜下情感計(jì)算的魯棒性、探索通用的多模態(tài)情感模型等。這些技術(shù)的完善將進(jìn)一步推動(dòng)多模態(tài)間次均不在引文統(tǒng)計(jì)范用機(jī)器與人工方式協(xié)于機(jī)構(gòu)名稱撰寫不規(guī)論文統(tǒng)計(jì)的遺漏中國(guó)(含港澳臺(tái)地區(qū))統(tǒng)計(jì)時(shí)會(huì)說明作者統(tǒng)，主要包括第一作者統(tǒng)計(jì)數(shù)數(shù)據(jù)庫(kù)的深度分析型研究工具。ESI可以確定在某領(lǐng)域有影響力的國(guó)家、機(jī)構(gòu)、出版物、論文JCR數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)是一個(gè)多學(xué)科期刊評(píng)價(jià)工引證報(bào)告提供基于引文數(shù)據(jù)統(tǒng)計(jì)信息的期文獻(xiàn)的標(biāo)引和統(tǒng)計(jì)，期刊引證報(bào)告可以在期刊層面衡量某項(xiàng)研究的影響力，s發(fā)文量/篇發(fā)文量/篇策略主題關(guān)鍵詞(TS)學(xué)科分類(WC)y3.1情感計(jì)算領(lǐng)域研究趨勢(shì)情感計(jì)算已歷經(jīng)26年的發(fā)展，該領(lǐng)域科研人員產(chǎn)心合集數(shù)據(jù)庫(kù)為數(shù)據(jù)基礎(chǔ)，對(duì)該領(lǐng)域的論文進(jìn)行其中，會(huì)議論文13836篇，會(huì)議論文和期刊論文感計(jì)算領(lǐng)域的全球發(fā)文量平穩(wěn)上升，雖然偶有波的崛起推動(dòng)了情感計(jì)算領(lǐng)域的高速發(fā)展，發(fā)文量迅速上升，情感計(jì)算研究進(jìn)入爆發(fā)式增長(zhǎng)階度學(xué)習(xí)方法創(chuàng)新進(jìn)入平臺(tái)期，情感計(jì)算研究也隨之進(jìn)入平臺(tái)期，研究熱度和上升趨勢(shì)有所放35003000250020001500100050003208321930772955240121331940 1596138111087676643484515474743482221320174536537313212522219971999200120032005200720092011201320151997199920012003年份域發(fā)文趨勢(shì) (2022年不完全統(tǒng)計(jì))占總發(fā)文量的百分比/%1997131998201999172000452001362002532003732004132200512520062222007348200845120095472010474201166420127672013201420152016201720182019202020212022緩。2022年，因統(tǒng)計(jì)時(shí)間窗口未覆蓋全年，數(shù)據(jù)統(tǒng)計(jì)，分析情感計(jì)算領(lǐng)域的主要研究陣地。如表3-4所示，在情感計(jì)算領(lǐng)域全球發(fā)文量前20名的國(guó)家中，中國(guó)是全部作者和第一作者發(fā)中國(guó)、印度、英國(guó)和德國(guó)位居全部作者和第一陣地。其中，美國(guó)在全部作者發(fā)文量上排名第二，但在第一作者發(fā)文量上排名第三，位居印度之后。情感計(jì)算領(lǐng)域前20名的全作者發(fā)文國(guó)家的歷年發(fā) 123456789坡坡為步長(zhǎng)對(duì)情感計(jì)算領(lǐng)域發(fā)文量前10名國(guó)家的發(fā)文如圖3-2所示，在整個(gè)發(fā)文期內(nèi)，中美兩國(guó)1997—2000年中國(guó)發(fā)國(guó)的3倍。由此可見，近年來中國(guó)在情感計(jì)算領(lǐng)域的研究積累較快，研究數(shù)量相比美國(guó)有一定的優(yōu)勢(shì)。此外，近兩年印度的發(fā)文量首超美 1997—20002001—20042005—20082009—20122013—20162017—20202021—202216231146576717829193國(guó)，可見印度逐漸成為情感計(jì)算領(lǐng)域的主要研究陣地。本部分以期刊論文為基礎(chǔ)數(shù)據(jù)進(jìn)行分析，如期刊上，其中發(fā)文最多的是IEEEACCESS，發(fā)文量為650篇。該刊在2021年期刊引證報(bào)告電 3.476。1204本期刊中有834本在2021年期刊引子分布如表3-7所示，其中影響因子大于10的期刊共計(jì)26種，影響因子最高的5本期刊分別是《美國(guó)精神病學(xué)雜志》(AmericanJournalofPsychiatry)(19.242)、《IEEE控制論交易》(IEEE TransactionsonCybernetics)(19.118)、《信息融合》(InformationFusion)(17.564)、《大腦》 (Brain)(15.255)、《美國(guó)計(jì)算機(jī)協(xié)會(huì)計(jì)算概觀》 ACMComputingSurveys)(14.324)。如圖3-3所示，絕大多數(shù)地球科學(xué)領(lǐng)域期刊的影響因子都分布在2≤IF＜4和4≤IF＜7這兩個(gè)區(qū)間內(nèi)。本部分通過對(duì)情感計(jì)算領(lǐng)域論文的Webof 1IEEEAccess2MultimediaToolsandApplications3FrontiersinPsychology4IEEETransactionsonAffective5sors6ExpertSystemswithApplications7Neurocomputing8AppliedSciences-Basel9InternationalJournalofAdvancedienceandApplicationsPsychiatryResearchKnowledgeBasedSystemsizophreniaResearchNeuropsychologiaJournalofIntelligent&FuzzySystemsNeuralComputing&ApplicationsInformationProcessing&ManagementmputationElectronicsIEEETransactionsonMultimediaInformationSciences IF≥104≤IF＜72≤IF＜4IF2IF≤1圍、作者與編委會(huì)的隸屬關(guān)系、提供贈(zèng)情感計(jì)算領(lǐng)域的所有文章共涉及158個(gè)Web別如表3-8所示。占比最多的類別為計(jì)算機(jī)科學(xué)與人工智能，發(fā)文量為10470篇，占總發(fā)文量的號(hào)1科學(xué)與人工智能23科學(xué)理論與方法4科學(xué)與信息系統(tǒng)5科學(xué)與跨學(xué)科應(yīng)用67科學(xué)與軟件工程8(續(xù)表)號(hào)9學(xué)科學(xué)與控制論和攝影技術(shù)科學(xué)與硬件架構(gòu)學(xué)學(xué)程3.2高水平國(guó)際會(huì)議本部分結(jié)合了《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》《核心計(jì)算機(jī)科學(xué)會(huì)議排名》 家意見形成情感計(jì)算領(lǐng)域高水平國(guó)際會(huì)議列表。需指出的是，該部分只根據(jù)目前已有的目錄和排名進(jìn)行整理和歸納，并不能作為學(xué)術(shù)評(píng)價(jià)的依外，會(huì)議的影響力并不直接與發(fā)表在會(huì)議上議號(hào)CCFRANKCORERANK1A2A3A4IEEE計(jì)算機(jī)視覺和模會(huì)AA(續(xù)表)號(hào)CCFRANKCORERANK5IEEE計(jì)算機(jī)視覺國(guó)際議A6算和智能交互國(guó)——7IEEE自動(dòng)人臉和手勢(shì)國(guó)際會(huì)議和研討會(huì)CB8IEEE國(guó)際聲學(xué)語(yǔ)音和BB注：“CCFRANK”“CORERANK”分別為《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》分類、《核心計(jì)算機(jī)科學(xué)會(huì)議排名》3.2.1ACM多媒體國(guó)際會(huì)議機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》中“計(jì)媒體”的A類會(huì)議。ACMMM視頻和海報(bào)演示、輔導(dǎo)、座談會(huì)、展覽、研討會(huì)、研討會(huì)、多媒體挑戰(zhàn)賽等多種方式塑造研究領(lǐng)域的新想法。ACMMM會(huì)議專注于推進(jìn)多媒體的和應(yīng)用，包括但不限于圖像、文本、音頻、語(yǔ)音樂、傳感器、社交數(shù)據(jù)。會(huì)議涉及的研究主)。信號(hào)”領(lǐng)域的研究?jī)?nèi)容包用戶情感從而開發(fā)更具有吸引力的多媒也是《中國(guó)計(jì)算機(jī)學(xué)會(huì)推會(huì)議和《核心計(jì)算機(jī)科學(xué)會(huì)議排名》的A+會(huì)議。AAAI人工智能會(huì)議也設(shè)置了情感計(jì)算領(lǐng)域的研討會(huì)(Workshop)，如2018年的“情感內(nèi)容分析 點(diǎn)對(duì)文本和語(yǔ)言進(jìn)行情感計(jì)算，構(gòu)建情感計(jì)算過程中的標(biāo)準(zhǔn)化的基線、數(shù)據(jù)集和評(píng)估指標(biāo)。《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》分為A、B、C類。中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)在制定目錄時(shí)規(guī)定，會(huì)議論文是Brief、Summary以及作為伴隨會(huì)議的研討會(huì)(Workshop)等，不計(jì)入目錄。信號(hào)和推薦和陳述主題3多媒體內(nèi)容理解件多媒體系統(tǒng)言管理與索引通過多媒體吸引用戶主題4主題2體驗(yàn)言處理領(lǐng)域最高級(jí)別的會(huì)議，由國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)辦。國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)是主要的國(guó)際科學(xué)和專業(yè)協(xié)會(huì)，致力于研究涉及人的語(yǔ)言計(jì)算問題。該協(xié)會(huì)成立于1962年，最初名為機(jī)器翻譯和計(jì)算語(yǔ)為國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)。國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)的活動(dòng)除了每年夏天舉行國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)之外，還贊助美國(guó)麻省理工學(xué)院出版社出版《計(jì)算語(yǔ)言學(xué)》 的主要出版物。國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)為《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》人工智能領(lǐng)域的A類會(huì)議和《核心計(jì)算機(jī)科學(xué)會(huì)議排名》的A+會(huì)議。該會(huì)議的研究主題為各種語(yǔ)言的計(jì)算模型，為特定的語(yǔ)言學(xué)或心理語(yǔ)言學(xué)現(xiàn)象提供計(jì)算IEEE計(jì)算機(jī)視覺和模式識(shí)別會(huì)議(IEEEIEEECVPR)是首屈一指的計(jì)算機(jī)視覺領(lǐng)域年度會(huì)計(jì)算機(jī)視覺基金會(huì)(ComputerVisionFoundation)贊助。使用者可以通過計(jì)算機(jī)視覺基金會(huì)開放獲取會(huì)議論文。IEEECVPR是《中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄》人工智能領(lǐng)域的A類會(huì)議和《核心計(jì)算機(jī)科學(xué)會(huì)議排名》的A類3.3高水平期刊學(xué)院文獻(xiàn)情報(bào)中心期刊分區(qū)表與期刊引證報(bào)表相結(jié)合的方式標(biāo)定高水平期刊，這兩種分是基于期刊影響因子進(jìn)行分區(qū)計(jì)算的。特別明的是，期刊影響因子是反應(yīng)期刊影響力的常用指標(biāo)，但并不代表期刊或者期刊文章的質(zhì)量，(1)期刊影響因子期刊影響因子是美國(guó)科技信息研究所所長(zhǎng)尤EugeneGarfield2年提出的刊的重要指標(biāo)。該指標(biāo)是一個(gè)相對(duì)數(shù)量用以調(diào)整和修正期刊總被引頻次過大的期刊影響因子是指某刊在某年被全部源刊物2年發(fā)表論文在該年的(2)期刊引證報(bào)告期刊引證報(bào)告包括SCI收錄的12000余種期刊之間的引用和被引用的數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)、運(yùn)算，針對(duì)每種期刊定義了期刊影響因子等指數(shù)。截至報(bào)告撰寫日，《期刊引證報(bào)告2021》是最新公布的期刊引文報(bào)告。期刊引證報(bào)告將期刊劃分為21個(gè)大類(Groups)、254個(gè)小類 (3)中國(guó)科學(xué)院期刊引證報(bào)告期刊分區(qū)中國(guó)科學(xué)院期刊引證報(bào)告期刊分區(qū)是中國(guó)科獻(xiàn)情報(bào)中心的研究成果，中國(guó)科