運(yùn)用語音情緒辨識於互動玩具設(shè)計之開發(fā)研究

1、.：.；運(yùn)用語音情緒辨識於互動玩具設(shè)計之開發(fā)研討*張華城 *許濬聖*多媒體與電腦娛科學(xué)系研討所專任助理教授兼系主任、所長*多媒體與電腦娛科學(xué)系研討所研討生摘要 本研討從文獻(xiàn)上所蒐集的資料，去做分析探討情緒、玩具與互動設(shè)計三種定義，普通心思學(xué)認(rèn)為：情緒是指伴隨著認(rèn)知和意識過程產(chǎn)生的對外界事物的態(tài)度，是對客觀事物和主體需求之間關(guān)係的反應(yīng)。是以個體的願望和需求為醫(yī)學(xué)教育網(wǎng)蒐集整理中介的一種心思活動。情緒包含情緒體驗、情緒行為、情緒喚醒和對刺激物的認(rèn)知等複雜成分。；而玩具經(jīng)由文獻(xiàn)分析後本研討定義為可被任何年齡層所遊玩且溝通，並且也可以輔助心靈以及能夠娛樂的一種效果之工具。；張白苓()指出，位媒體互動設(shè)

2、計最大的特征及表現(xiàn)方式之一，就是將某種程的操控權(quán)移轉(zhuǎn)給觀賞者。了解了情緒、玩具與互動設(shè)計的定義皆是針對運(yùn)用者，因此本研討將此三種功能整合在玩具上進(jìn)而構(gòu)成可以語音情緒辨識的互動玩具設(shè)計。本研討藉由情感設(shè)計相關(guān)理原則，製作一隻附有互動功能的玩具，再利用Max/MSP軟體來辨識運(yùn)用者所表達(dá)的語音情緒，運(yùn)用玩具與軟體上的搭配來開發(fā)出一隻有情感互動設(shè)計的模組，提高面對於人類互動時之反應(yīng)的合理與真實性，並引發(fā)運(yùn)用者情緒感知，進(jìn)而可以得到療癒心靈的作用。關(guān)鍵詞： 情緒、語音辨識、情緒辨識、玩具、互動設(shè)計壹、前言-研討背景情緒研討近十逐漸遭到重視，情緒心學(xué)已成為心學(xué)門獨(dú)的一支，除此之外，眾多域，如社會學(xué)、消費(fèi)

3、者及銷學(xué)、電腦科學(xué)、設(shè)計等域也相繼投入相關(guān)議題的研討，並致於將相關(guān)情緒研討推向?qū)崉?wù)面運(yùn)用。在年，一位來自於堪薩斯大學(xué)KU的研討者進(jìn)行一項新研討，探討情緒與安康的關(guān)連。這項研討證明，人類情緒與身體安康是有影響的，因此近年來很多研討者開始探討一些有關(guān)情緒的研討，譬如，探討辨人情緒加強(qiáng)機(jī)器與人的溝通能(Picard,)、產(chǎn)品與精油氣體結(jié)合來紓緩運(yùn)用者情緒的功用(陳育民, )等研討，均期望透過對情緒探，解情緒佔有的份量，證明研討者提出的問題。這些研討都指出情緒在人們的決策為及生活經(jīng)驗上扮演相當(dāng)重要的角色。 近互動設(shè)計的興起，產(chǎn)品結(jié)合資訊科技而生的互動產(chǎn)品，改變產(chǎn)品與運(yùn)用者之間單一向的遊戲娛樂，將玩具的

4、互動功能漸漸的參與人的情感，這樣所帶的互動特性，產(chǎn)生人與物的互動，也開啟人與物對話的生活，根據(jù)運(yùn)用者輸入訊號的差，可輸出同感覺的回饋，為產(chǎn)品帶多樣性；而參與運(yùn)算的功能，可帶有為運(yùn)用者身定做服務(wù)的能。-研討目的 越越多研討顯示產(chǎn)品對於人們在生活經(jīng)驗上具有極大的潛，而且在人們的心感受中得到多的關(guān)注，提高人的生活品質(zhì)。因此，如何結(jié)合語音情緒辨識特性與互動玩具搭配，設(shè)計出可以使人心境愉悅的產(chǎn)品，成為值得探討研討的一項課題。本研討藉由製作可以依據(jù)運(yùn)用者的語音並分析情緒來做出不同感覺的玩具，來達(dá)到輔助療癒心靈以及有娛樂功能的效果。貳、文獻(xiàn)探討-情緒普通心思學(xué)認(rèn)為：情緒是指伴隨著認(rèn)知和意識過程產(chǎn)生的對外界事

5、物的態(tài)度，是對客觀事物和主體需求之間關(guān)係的反應(yīng)。是以個體的願望和需求為醫(yī)|學(xué)教育網(wǎng)蒐集整理中介的一種心思活動。情緒包含情緒體驗、情緒行為、情緒喚醒和對刺激物的認(rèn)知等複雜成分。情緒，是人表現(xiàn)的各種 HYPERLINK /wiki/%E%F%E%A%BA o 感覺 感覺、 HYPERLINK /wiki/%E%D%E%B o 思想 思想和 HYPERLINK /wiki/%E%A%C%E%B%BA o 行為 行為的一種綜合的 HYPERLINK /wiki/%E%BF%E% o 心思 心思和 HYPERLINK /wiki/%E%F%E% o 生理 生理狀態(tài)，是個人遭到某種刺激所產(chǎn)生的一種心思變化

6、與行為反應(yīng)，如：喜、怒、憂、思、悲、恐、驚等七種表現(xiàn)出來，且不易為個人所控制的，在身體動作上表現(xiàn)的越強(qiáng)就說明情緒越強(qiáng)，如喜是手舞足蹈、怒是咬牙切齒、憂是茶飯不思、悲是痛心疾首等等就是情緒在身體動作上的反應(yīng)。情緒是一種個人的主觀體驗和感受，常跟 HYPERLINK /wiki/%E%BF%E% o 心境 心境、 HYPERLINK /w/index.php?title=%E%B%E%B%A&action=edit&redlink= o 氣質(zhì) 氣質(zhì)、 HYPERLINK /wiki/%E%A%E%A%BC o 性格 性格和性情有關(guān)。而人類的情緒表達(dá)方式是多種多樣的，一種是通過言語、文字等各種表達(dá)方

7、式顯示心思感受並藉以達(dá)到和外界溝通的目的，例如一個眼神、一聲嘆息都能傳達(dá)出來，另外一種為非語文的情緒表達(dá)，有因情感的親疏遠(yuǎn)近而表現(xiàn)出人際距離長短的變化以及因不同文化有不同的表達(dá)方式及意識用動作、姿勢及位置，在互動的情境中顯示其意義。- 玩具的定義依據(jù)玩具國家標(biāo)準(zhǔn)CNS 之定義：凡設(shè)計、製造、銷售、陳列或標(biāo)示供歲以下兒童玩耍遊戲之產(chǎn)品稱之為玩具，在教育部提供的線上字典所定義的玩具為可供遊戲玩弄的東西。玩具通常是通小孩或成人所遊戲的一種打開智慧天窗的工具。黃志成提出玩具的分，就發(fā)展功能探討，玩具可以分成以下幾種：感官訓(xùn)玩具：如顏色球、音、黏土等。大小肌肉和粗動作、細(xì)動作的玩具：如大小積木、球池、三

8、、拼圖、畫圖、剪貼和珠等。協(xié)調(diào)性訓(xùn)玩具：如珠、畫圖、積木手眼協(xié)調(diào)和三手、眼、腳協(xié)調(diào)等。社會性玩具：如娃娃木偶等操作性玩具：剪貼、拼圖、沙、黏土和積木等。情緒鬆弛玩具：娃娃、繪畫、水、木工和積木等。想像創(chuàng)造性玩具：如剪貼、娃娃、繪畫和積木等。智性玩具：如積木、下棋、拼圖等。胡瑞原對玩具做一個簡單的定義，大致分為種：好玩的東西培養(yǎng)技藝的工具發(fā)揮創(chuàng)造力的工具鍛鍊體能的工具撫慰人的工具發(fā)洩情緒的工具溝通感情的工具學(xué)習(xí)的工具激發(fā)成長動力的工具因此本研討對玩具定義為可被任何年齡層所遊玩且溝通，並且也可以輔助心靈以及能夠娛樂的一種效果之工具。根據(jù)此定義，玩具在遊戲玩樂過程中，是沒有任何年齡層和身心發(fā)展的限制

9、要求。-互動設(shè)計互動設(shè)計Interaction Design是指設(shè)計出互動產(chǎn)品提供人在日常生活或任務(wù)中運(yùn)用 (Preece, Rogers, &Sharp, )，在近英國皇家藝術(shù)學(xué)院Royal Art of College， RCA的互動設(shè)計Design Interaction研討所，提出一系的作品，暗示著未來傳媒的前衛(wèi)性，在歐洲引起小的話題，因為互動僅涉及一些新技術(shù)的表達(dá)和通訊的能夠性，還帶有找出一種技術(shù)與情感之間的相互作用，為設(shè)計提供一個有創(chuàng)造性與能夠性的新機(jī)。家()認(rèn)為凡是可以讓一種裝置與與者產(chǎn)生互動的效果，其運(yùn)用的方法、技術(shù)或科技，就可以稱之為互動技術(shù)?；蛹夹g(shù)的運(yùn)用，在於科技藝否是最

10、先進(jìn)的，而是整合的方式。張白苓()指出，位媒體互動設(shè)計最大的特征及表現(xiàn)方式之一，就是將某種程的操控權(quán)移轉(zhuǎn)給觀賞者。創(chuàng)作者再是獨(dú)一作者，因為觀賞者已經(jīng)從被動轉(zhuǎn)為主動，成為共同創(chuàng)作者。-聲音偵測目前市面上已有許多能處音訊的軟體，如：C+、Java、MATLAB、Processing、Max/MSP、Goldwave、Protools、Flash 等，利用程式語言來撰寫的軟體能分析處較複雜的音訊資且其延伸性較強(qiáng)，並能夠接較多樣而具普通性軟、硬體裝置，過需求花費(fèi)較多的時間撰寫解決較高的技術(shù)門檻；而應(yīng)用開發(fā)軟體在操作上則較簡單快速，過功能方面相對的就比較受限，且延伸性較低，與其它周邊作結(jié)。本研討基於方性

11、與延伸性之綜合考，決定選用Max/MSP軟體做聲音分析的平臺，它屬於視覺化環(huán)境的互動開發(fā)軟體，運(yùn)用者只需求編排圖形物件即可，需求學(xué)習(xí)太過艱深複雜的程式語言，軟體就會自動處一些較為底層的功能，也能藉由新增物件或安裝外掛的方式接其他周邊設(shè)備作為溝通橋。- Arduino 控制板 在本系統(tǒng)中為讓電腦同時能夠結(jié)步進(jìn)馬達(dá)，再運(yùn)用一塊名為Arduino 的控制板當(dāng)作硬體與軟體溝通的橋，如圖所示，它是一塊以簡單的I/O board 及Processing/Wiring 語言的原始碼為基礎(chǔ)而設(shè)計出的控制板，其開發(fā)環(huán)境與程式語法似C和Java的撰寫方式，可以透過運(yùn)用Arduino 控制板與Flash、Virto

12、ols、Max/MSP 或Visual C+等軟體作結(jié)，並搭配上一些電子件如：按鈕、感應(yīng)器、LED、步進(jìn)馬達(dá)或其他周邊裝置作出互動作品，而它除有線的USB 介面版本外，也有無線傳輸?shù)陌姹救纾貉颗cXBee 介面的控制板。 圖 . 有線Arduino - USB 介面 圖 . 無線Arduino - 芽介面 圖 . 無線Arduino - XBee 介面參、研討方法本研討藉由Max/MSP偵測聲音的大小與頻率來辨別出三種情緒，辨別這三種情緒是經(jīng)由多次的聲音測試後找出三種情緒的音量與頻率的界限值，來作為分辨普通、高興與憤怒的區(qū)別，普通情緒的聲音跟頻率的界限值是到與到、高興情緒的聲音跟頻率的界限值是到

13、與到、生氣情緒的聲音跟頻率的界限值是到與到以上，圖為本研討系統(tǒng)的執(zhí)行流程圖，當(dāng)運(yùn)用者對著麥克風(fēng)說話的時候便開始偵測音量與頻率，本系統(tǒng)是以秒判斷為基準(zhǔn)，再從這秒鐘接遭到的聲音大小與頻率高低再加以平均，平均後的數(shù)值和設(shè)定的界限值做判斷，區(qū)分出來後的情緒進(jìn)而反應(yīng)在玩具狗上圖，玩具狗跟運(yùn)用者對應(yīng)的情緒分別是平常走路對應(yīng)普通情緒、高興叫對應(yīng)高興情緒、哀嚎對應(yīng)憤怒情緒圖。圖.系統(tǒng)流程圖 圖.實驗用-玩具狗. 輸入裝置-麥克風(fēng)為將麥克風(fēng)裝置所偵測到的聲音輸入至Max/MSP 軟體中，首先我們用adc物件作接納(如圖 所示)，其功能為將聲音的比訊號轉(zhuǎn)換為位訊號。在adc物件上方添加一個Toggle開關(guān)物件，當(dāng)

14、Max/MSP 執(zhí)程式時，可點(diǎn)選它決定聲音接納的開或關(guān)。而在adc物件的下方條虛線代表將音源送出，分別接到peakamp和fiddle，peakamp用決定聲音的大小，而fiddle用決定聲音的頻，這個物件的用法將敘述於以下個小節(jié)。圖. Toggle 物件、adc物件及聲音判斷物件. 聲音大小 (振幅) 偵測如圖 所示，peakamp物件偵測音，它能夠從麥克風(fēng)輸入的聲音訊號中擷取出振幅的值，聲音越大則振幅也就越大，而物件後面的字代表每擷取一次音的間隔時間 (以毫秒為單位)，本研討設(shè)定為 代表每. 秒送出一個音訊號，指每一秒可送出個振幅訊號，從peakamp物件下方接點(diǎn)所送出值的有效位最多為小點(diǎn)

15、後面位，較方計算，所以本研討透過一些四則運(yùn)算調(diào)整值，像是乘上.，可將值範(fàn)圍限制在 間作變化，最後在 * . 物件下方的物件是用顯示所送出的值大小 (此為聲音振幅的大小)，以方我們觀察聲音振幅的大小的變化。. 聲音高低 (頻) 偵測如圖 所示，fiddle物件偵測麥克風(fēng)輸入聲音的頻率高低變化，fiddle物件後面的字代表記憶體暫存容大小，而下方接點(diǎn)所送出的值代表的就是聲音的頻率值，過需求留意的是此音頻值為非續(xù)性訊號，也就代表當(dāng)沒有聲音輸入時，音頻值將會維持在之前所留下的頻率數(shù)值，會自動歸。肆運(yùn)用裝置本作品之軟硬體需求如下：硬體需求：Arduino 控制板、步進(jìn)馬達(dá)、玩具狗軟體環(huán)境：Microso

16、ft Windows開發(fā)工具：Max/MSP伍、結(jié)果與討論本研討將情緒、玩具以及互動設(shè)計整合在同一個模組上，所以本研討把傳統(tǒng)的玩具根本設(shè)計上參與了語音情緒辨識裝置的附加功能，在電腦軟體上經(jīng)由插入電腦的麥克風(fēng)，並透過感應(yīng)器間的鏈結(jié)實現(xiàn)一隻懂得運(yùn)用者情緒的玩具狗，讓運(yùn)用者的感遭到有別於以往的互動體驗與回饋，除了玩具之外，語音情緒辨識系統(tǒng)的技術(shù)可以進(jìn)而應(yīng)用到日常生活用品上，可以讓每個運(yùn)用者隨時都可以吐露心聲且紓緩心境。參考文獻(xiàn)中文部分 HYPERLINK search.books.tw/exep/prod_search_author.php?key=%A%E%B%CE%A%C%F%B%DB 方裕民(

17、)，人與物的對話，田園城市。 HYPERLINK .tw/etdservice/searching?query_word=%E%E%A%D%E%AF%A 金芝寧()，導(dǎo)入情感設(shè)計的互動式人工生命， HYPERLINK .tw/etdservice/searching?query_word=%E%E%BA%E%A%A%E%AD%B&query_field=school_c 元智大學(xué)，碩士論文。胡瑞原()，製造科技課程玩具的設(shè)計與製造，生活科技教育月刊。陳育民、彭剛毅( )，Emotion Spectacle 結(jié)合情意運(yùn)算於眼鏡設(shè)計之互動 設(shè)計研討，亞東學(xué)報第期P.。程薇()，教育心思學(xué)，志光教育

18、文化。黃煒雄()，多媒體情境水池，南臺科技大學(xué)。黃志成()，幼兒玩具的選擇，育兒生活，第 期，頁-。張白苓()。淺談位藝術(shù)創(chuàng)作之互動設(shè)計概。美育雙月刊，。鄧怡莘、張華憫()，情緒在人機(jī)互動之發(fā)展與挑戰(zhàn)，國交通大學(xué)應(yīng)用藝 術(shù)研討所。英文部分Preece, J., Rogers, Y., and Sharp, H. (). Interaction design: Beyond human-computer interaction, Hoboken,NJ: John Wiley & sons.中文網(wǎng)站部分M之道 /?page_id=家()?；蛹夹g(shù)概。臺灣數(shù)位藝術(shù)知識與創(chuàng)作流通平臺 .tw/ShowColumnTW.aspx?lang=zh-t