多模態(tài)交互視角下的學(xué)齡兒童教具設(shè)計(jì)研究

1、多模態(tài)交互視角下的學(xué)齡兒童教具設(shè)計(jì)研究EDUCATIONAL PRODUCT DESIGN FOR CHILDREN WITH ADHD FROM THE PERSPECTIVE OF MULTIMODAL INTERACTION摘要：針對(duì)教學(xué)過(guò)程中因參與度低、互動(dòng)性差而影響兒童學(xué)習(xí)興趣和效率的問(wèn) 題，運(yùn)用多模態(tài)交互理論，探索強(qiáng)調(diào)互動(dòng)與參與、更適用于兒童教學(xué)的多模態(tài) 交互教具設(shè)計(jì)。根據(jù)多模態(tài)交互理論和學(xué)齡兒童的多模態(tài)交互特性，采用用戶(hù) 體驗(yàn)地圖挖掘?qū)W齡兒童教具設(shè)計(jì)需求，并構(gòu)建適用于學(xué)齡兒童教學(xué)的多模態(tài)交 互模型，總結(jié)和提煉基于多模態(tài)交互的學(xué)齡兒童教具設(shè)計(jì)方法。基于多模態(tài)交 互視角搭建學(xué)齡兒童教

2、具設(shè)計(jì)模型，井根據(jù)模型中不同層次的教具設(shè)計(jì)要素， 以?xún)和爸v故事”活動(dòng)為例設(shè)計(jì)多模態(tài)參與式教具并投入教學(xué)實(shí)踐驗(yàn)證。多模 態(tài)交互參與式教具增添了學(xué)習(xí)過(guò)程的參與性和互動(dòng)性，鍛煉了兒童的創(chuàng)造力、 動(dòng)手能力和認(rèn)知水平，為提高學(xué)齡兒童學(xué)習(xí)興趣和學(xué)習(xí)效率的教具設(shè)計(jì)研究提 供了新思路。關(guān)鍵伺：多模態(tài)交互學(xué)齡兒童教具設(shè)計(jì)互動(dòng)與參與產(chǎn)品設(shè)計(jì)Abstract： In view of the problem that childrens learning interest and efficiency are affected by low participation and poor interaction in

3、 the teaching process, the multimodal interaction theory is applied to explore the design of multi-modal interactive teaching AIDS that emphasize interaction and participation and are more suitable for childrens teaching.According to the theory of multimodal interaction and the characteristics of mu

4、ltimodal interaction of school-age children ,this paper uses user experience map to mine the design requirements of teaching AIDS for school-age children, builds a multimodal interaction model suitable for school-age childrens teaching,and summarizes and extracts the design methods of teaching AIDS

5、for school-age children based on multimodal interaction.Based on the perspective of multi-modal interaction,a teaching AIDS design model for school-age children was built. According to the design elements of different levels of teaching AIDS in the model, multi-modal participatory teaching AIDS were

6、 designed and put into teaching practice for verification by taking childrens story telling activity as an example.The multimodal interactive and participatory teaching AIDS increase the participation and interaction in the learning process, exercise childrens creativity, hands-on ability and cognit

7、ive level,and provide a new idea for the study of teaching AIDS design to improve the learning interest and learning efficiency of school-age children.Keywords： Multimodal interaction School-age children Teaching AIDS design Interaction and participation Product design引言學(xué)齡兒童在教學(xué)環(huán)境中與教具間的交互是影響兒童認(rèn)知和理解的重

8、 要因素。研究證明，兒童在做重復(fù)單調(diào)、不新奇的事情時(shí)，其注意力的維 持難度最大；在有吸引力的情況下，癥狀有所減輕；而在直接而連續(xù)的多 感官刺激下，注意力的維持情況明顯轉(zhuǎn)好。然而，目前兒童教學(xué)中通常使 用的教具存在交互形式單一、互動(dòng)性差、同質(zhì)化嚴(yán)重等問(wèn)題，導(dǎo)致兒童參 與感不足，進(jìn)而出現(xiàn)走神的情況。兒童教學(xué)需要在教具和教學(xué)方式中融 入更多互動(dòng)性和趣味性的元素，在兒童行為、教學(xué)內(nèi)容和教具間建立起多 維度的聯(lián)系。本研究將多模態(tài)交互理論應(yīng)用到教具設(shè)計(jì)中，在由認(rèn)知、身 體、環(huán)境所構(gòu)成的動(dòng)態(tài)統(tǒng)一的背景下探索更符合兒童生理和認(rèn)知發(fā)展特 點(diǎn)的多模態(tài)交互教具，寓教于樂(lè)，提升兒童的學(xué)習(xí)體驗(yàn)和效率。一、多模態(tài)交互與兒

9、童教具設(shè)計(jì)（-）多模態(tài)交互理論概述多模態(tài)是融合多種表征方式于一體，通過(guò)不同的媒介和手段的運(yùn) 用，作用于人的感知覺(jué)通道（視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、味覺(jué)、嗅覺(jué)等）,以達(dá)到 與外部環(huán)境進(jìn)行互動(dòng)的目的1。隨著現(xiàn)代多媒體網(wǎng)絡(luò)和人機(jī)交互技術(shù)的 飛速發(fā)展，“多模態(tài)交互”相比于傳統(tǒng)的交互方式，通過(guò)圖像、符號(hào)、表 情、聲音、動(dòng)作等多種模態(tài)信息的輸入和輸出2,以更豐富的形式充分調(diào) 動(dòng)主體的感知覺(jué)運(yùn)動(dòng)通道，使主體更為沉浸地參與到當(dāng)前的行為活動(dòng)當(dāng) 中，并形成身體、認(rèn)知和環(huán)境動(dòng)態(tài)統(tǒng)一的認(rèn)知結(jié)構(gòu)。（二）兒童教具發(fā)展現(xiàn)狀國(guó)務(wù)院在中國(guó)大百科全書(shū)中將教具定義為“在教學(xué)中為學(xué)生提 供的用于輔助教學(xué)和感知的模型、實(shí)物等用具?！?3。按照國(guó)

10、家教委頒 布的玩教具配備目錄中的分類(lèi)，目前兒童教具可分為體育類(lèi)、構(gòu)造 類(lèi)、角色表演類(lèi)、科學(xué)啟蒙類(lèi)、音樂(lè)類(lèi)、美工類(lèi)、圖書(shū)類(lèi)、電教類(lèi)和勞動(dòng) 工具這九大類(lèi)別，其中科學(xué)啟蒙類(lèi)教具在教學(xué)中應(yīng)用最為廣泛。本研究 選擇了一些市面上常見(jiàn)的傳統(tǒng)科學(xué)啟蒙類(lèi)教具和智能科學(xué)啟蒙類(lèi)教具進(jìn) 行分析，如圖1,可以看到存在以下問(wèn)題：圖1現(xiàn)有兒童教具分析對(duì)于傳統(tǒng)科學(xué)啟蒙類(lèi)教具而言，兒童在使用過(guò)程中的交互大多集中 在視覺(jué)和觸覺(jué)通道，感官刺激較為單一，互動(dòng)性差，兒童使用過(guò)程中也更 容易因參與感不強(qiáng)而出現(xiàn)走神的情況。而市場(chǎng)現(xiàn)有的兒童智能科學(xué)啟蒙類(lèi)教具，通常有參與人數(shù)和交互形 式的限制，導(dǎo)致兒童缺乏與同學(xué)和老師間的互動(dòng)分享，不適于在課

11、堂教學(xué) 中對(duì)兒童溝通協(xié)作能力的培養(yǎng)：另外，部分智能教具只是將卡通造型和 簡(jiǎn)單交互技術(shù)相結(jié)合，交互形式單一，產(chǎn)品形態(tài)同質(zhì)化，無(wú)法持續(xù)吸引兒 童注意力，激發(fā)兒童的創(chuàng)造性?？傊?，參與度低、互動(dòng)性差是目前兒童教 具設(shè)計(jì)最突出的問(wèn)題。（三）多模態(tài)交互應(yīng)用于兒童教具的意義針對(duì)市面上現(xiàn)有兒童教具的問(wèn)題，將多模態(tài)交互理論應(yīng)用到兒童教 具設(shè)計(jì)當(dāng)中，有利于發(fā)揮兒童主體性，提升學(xué)習(xí)體驗(yàn)。多模態(tài)交互強(qiáng)調(diào)個(gè) 體的感知覺(jué)通道在學(xué)習(xí)和認(rèn)知活動(dòng)中的重要作用，在學(xué)習(xí)過(guò)程中，個(gè)體的 感知覺(jué)通道偏好和特點(diǎn)決定了認(rèn)知內(nèi)容的不同和認(rèn)知方式的差異。在多 模態(tài)交互視角下，從感知覺(jué)通道出發(fā)思考兒童的感官發(fā)展和學(xué)習(xí)體驗(yàn)，不 僅有利于設(shè)計(jì)者根據(jù)

12、兒童的生理特征、認(rèn)知特征和認(rèn)知方式等方面考慮 如何發(fā)揮他們的主體性并提升學(xué)習(xí)體驗(yàn)，而且有利于從相反的視角思考 如何設(shè)計(jì)教學(xué)情境和教學(xué)用具，以適應(yīng)兒童自身的感知覺(jué)發(fā)展特征和認(rèn) 知特征。對(duì)于兒童教具設(shè)計(jì)來(lái)說(shuō)，設(shè)計(jì)出符合兒童身體發(fā)展和不同感知覺(jué)運(yùn) 動(dòng)系統(tǒng)偏好的產(chǎn)品顯得尤為重要，這不僅決定著兒童能否通過(guò)與教具間 的多模態(tài)交互獲得豐富的主體性發(fā)揮和學(xué)習(xí)體驗(yàn)，而且也影響著兒童的 認(rèn)知方式和學(xué)習(xí)效果。二、學(xué)齡兒童的特征根據(jù)多模態(tài)交互理論，兒童在教學(xué)情境中所進(jìn)行的學(xué)習(xí)活動(dòng)的方式 和產(chǎn)生的體驗(yàn)影響著兒童感知覺(jué)運(yùn)動(dòng)通道獲得的經(jīng)驗(yàn)，進(jìn)而影響著認(rèn)知 的塑造。而對(duì)于尚處于發(fā)育階段的學(xué)齡兒童來(lái)說(shuō)，其感知覺(jué)運(yùn)動(dòng)通道和 認(rèn)知

13、發(fā)展也具有其獨(dú)特的特征。（_）生理特征根據(jù)著名心理學(xué)家讓皮亞杰的認(rèn)知發(fā)展理論，學(xué)齡兒童正處于具體 運(yùn)算階段，且已經(jīng)具有了一定的邏輯能力，但具體運(yùn)算仍需要事物的支 持5。這一階段的兒童主要通過(guò)自己的身體來(lái)探索世界，在感知覺(jué)通道 方面，他們喜歡通過(guò)眼看、手摸、耳聽(tīng)、鼻嗅等方式來(lái)探索事物的基本概 念，且對(duì)于每種交互方式呈現(xiàn)出一定的偏好特點(diǎn)，如表1。表1學(xué)齡兒童的交互偏好感知覺(jué)通道元素特點(diǎn)視覺(jué)色彩明度和飽和度較高的色彩；形態(tài)卡通和簡(jiǎn)單的幾何圖形觸覺(jué)觸感不同的材質(zhì)和肌理聽(tīng)覺(jué)音量30-50dB的音量音色溫柔、可愛(ài)的卡通音效嗅覺(jué) 味覺(jué)氣味 味道配合視、聽(tīng)、觸覺(jué)感知形成全方位認(rèn)知（二）認(rèn)知特征學(xué)齡兒童的注意力

14、水平尚處于發(fā)展階段。研究證明，兒童在做重復(fù) 性、不新奇的事情時(shí)，其注意力的維持最困難；在連續(xù)而直接的強(qiáng)化程序 下，注意力的維持情況明顯轉(zhuǎn)好6。因此，針對(duì)學(xué)齡兒童的教具設(shè)計(jì)需因 材施教，通過(guò)更符合其身心特征的直覺(jué)化行為，創(chuàng)造更豐富、更有趣的交 互形式和及時(shí)的行為反饋，以提升兒童的興趣，幫助其全身心地投入到 教學(xué)互動(dòng)中。三、學(xué)齡兒童教具需求分析（一）兒童教學(xué)流程與教具使用本研究以北京市半步橋小學(xué)三年級(jí)兒童為調(diào)研對(duì)象，展開(kāi)了實(shí)地調(diào) 研和用戶(hù)訪(fǎng)談。半步橋小學(xué)教師教學(xué)主要使用多媒體白板等設(shè)備，通過(guò)播 放視頻和口頭講解等單向、線(xiàn)性的授課方式將教學(xué)內(nèi)容講述給兒童，具 體流程如圖2。整個(gè)教學(xué)過(guò)程中，僅討論環(huán)節(jié)

15、和點(diǎn)評(píng)環(huán)節(jié)涉及學(xué)生間和師 生間的交互，學(xué)生學(xué)習(xí)參與感明顯不足，且教學(xué)互動(dòng)性和趣味性較差，導(dǎo) 致部分兒童出現(xiàn)注意力不集中的問(wèn)題。圖2半步橋小學(xué)教學(xué)流程圖（二）學(xué)齡兒童教具需求痛點(diǎn)基于實(shí)地調(diào)研結(jié)果，采用用戶(hù)體驗(yàn)地圖的方式，對(duì)學(xué)齡兒童在教學(xué) 過(guò)程中的主要行為與情緒進(jìn)行分析，可以發(fā)現(xiàn)兒童在使用現(xiàn)有教具過(guò)程 中存在功能和情感兩個(gè)層面的需求痛點(diǎn)7，如圖3。圖3學(xué)齡兒童用戶(hù)體驗(yàn)地圖功能層面：學(xué)齡兒童在功能層面的需求主要表現(xiàn)為教育產(chǎn)品能否 以合適的方式滿(mǎn)足兒童的身心特征及其對(duì)知識(shí)的需求。針對(duì)兒童的身 體、心理及認(rèn)知特征，多模態(tài)交互視角下的教育產(chǎn)品采取多個(gè)感知覺(jué)通 道的刺激以有效提升學(xué)生的學(xué)習(xí)興趣，從而避免兒童

16、出現(xiàn)走神的情況。 同時(shí)，在學(xué)習(xí)模式上，加入多人協(xié)同模式，以幫助兒童鍛煉其溝通協(xié)作能 力；通過(guò)趣味性的復(fù)習(xí)模式和激勵(lì)體系，也可以進(jìn)一步強(qiáng)化兒童對(duì)于所 學(xué)知識(shí)的認(rèn)知和理解。情感層面：由于兒童自身注意力不集中、坐立不安、性格沖動(dòng)等問(wèn) 題的影響，兒童或因?yàn)橛绊懻n堂紀(jì)律而受到老師批評(píng)，或因?yàn)閷W(xué)習(xí)成績(jī) 差而不易受到同學(xué)歡迎。通過(guò)在教學(xué)活動(dòng)中使用教育產(chǎn)品，讓兒童與同 學(xué)合作，與老師交流，加深兒童與老師、同學(xué)的情感聯(lián)系，既可以加強(qiáng)兒 童對(duì)于所學(xué)知識(shí)的認(rèn)知，也有助于兒童改善和老師、同學(xué)的關(guān)系，提升學(xué) 習(xí)的積極性。四、多模態(tài)交互視角下的教具設(shè)計(jì)模型（-）學(xué)齡兒童多模態(tài)交互教具設(shè)計(jì)模型的搭建根據(jù)兒童教具的需求分析，

17、運(yùn)用多模態(tài)交互理論，從使用教具的 前、中、后三個(gè)階段的行為出發(fā)，在主體行為、認(rèn)知程度與客體要素的設(shè) 計(jì)間建立起一一對(duì)應(yīng)的關(guān)聯(lián)，最終搭建出兒童與教具的多模態(tài)交互模 型，如圖4。圖4兒童與教具的多模態(tài)交互模型在兒童使用教具過(guò)程中，其身體器官是產(chǎn)生多模態(tài)交互的媒介和載 體，通過(guò)身體與教具間的離身交互和具身交互，大腦獲得了多模態(tài)的感 官刺激，這些感官刺激經(jīng)由大腦思考和內(nèi)化，最終形成了穩(wěn)定的認(rèn)知，如 圖5所示。這一流程中兒童的感官通道與客體間的交互主要分為離身交互 和具身交互兩大類(lèi)。離身交互主要通過(guò)信息通信技術(shù)的遙在感，使得人 類(lèi)意識(shí)可以與認(rèn)知載體產(chǎn)生遙在分離回 ,如基于圖形用戶(hù)界面的人機(jī)交互 等，其交

18、互媒介主要為視覺(jué)、聽(tīng)覺(jué)和嗅覺(jué)等；而具身交互則基于具身認(rèn)知圖5多模態(tài)交互視角下的認(rèn)知流程示意圖理論，強(qiáng)調(diào)身體、認(rèn)知、環(huán)境間的動(dòng)態(tài)統(tǒng)一特性9 ,其交互媒介主要表現(xiàn) 為皮膚、肌肉等行為和動(dòng)作器官。（二）兒童與教具的遠(yuǎn)距離促發(fā)要素提取人類(lèi)學(xué)家愛(ài)德華把人的感知覺(jué)器官分為距離型器官和直接型器官兩 大類(lèi)10，其中工作范圍較為廣泛的距離型器官“眼、耳、鼻”等是兒童初 步了解教具并進(jìn)行深層次行為的關(guān)鍵。兒童通過(guò)距離型器官與教具進(jìn)行 了大量的離身交互，同時(shí)其身體所獲的多模態(tài)感官刺激通過(guò)視覺(jué)、聽(tīng)覺(jué)、 嗅覺(jué)通道等傳入感受器，再經(jīng)由大腦進(jìn)行加工和處理，以指導(dǎo)身體進(jìn)行 下一步的行為。兒童在與教具交互過(guò)程中，往往出于好奇而

19、將注意力轉(zhuǎn)向吸引其眼 球的事物，在這一過(guò)程中，教具的形態(tài)、色彩、聲音、氣味等影響兒童第 一印象和初步認(rèn)知的要素，可以稱(chēng)為教具的遠(yuǎn)距離促發(fā)要素，是教具元 素的第一層，對(duì)應(yīng)兒童認(rèn)知程度的第一層“感受”。（三）兒童與教具的近距離行為要素提取兒童與教具的遠(yuǎn)距離要素進(jìn)行離身交互后產(chǎn)生了初步的認(rèn)知和了 解，隨著距離的縮短，兒童與教具之間的人機(jī)互動(dòng)變得更為豐富，在這一 階段兒童運(yùn)用皮膚組織、肌肉等直接型器官與教具進(jìn)行更豐富、更直接 的行為互動(dòng)。這些行為主要可以分為：手部動(dòng)作（包括點(diǎn)擊、拖拽、滑動(dòng) 等）、全身動(dòng)作、語(yǔ)言交流等。通過(guò)多種交互行為的結(jié)合讓兒童全方位的 參與到與教育的具身交互過(guò)程中，手、眼、腦并用，

20、從而提升用戶(hù)使用中 的體驗(yàn)感和沉浸感口。此時(shí)，人與物和人與人之間的交互方式以及交互 行為決定了兒童在學(xué)習(xí)過(guò)程中的專(zhuān)注程度和接受程度，可以稱(chēng)為教具的 近距離行為要素，與兒童認(rèn)知程度的第二層“理解”相對(duì)應(yīng)；（四）兒童與教具的內(nèi)在黏性要素提取兒童通過(guò)與教具間的離身和具身交互獲得了豐富的感官刺激，這些 刺激信息經(jīng)由大腦加工最終形成了認(rèn)知。在這一過(guò)程中，教學(xué)模式和獎(jiǎng) 勵(lì)作為教具的內(nèi)在要素，影響著兒童學(xué)習(xí)過(guò)程中的體驗(yàn)和態(tài)度，是促進(jìn) 兒童認(rèn)知形成與發(fā)展的重要手段12。在教學(xué)模式方面，兒童由于自身認(rèn) 知水平仍處于發(fā)展當(dāng)中，且學(xué)習(xí)過(guò)程中所接受的知識(shí)量大，往往需要通過(guò) 復(fù)習(xí)以深入理解和運(yùn)用這些知識(shí)。因此，通過(guò)教具

21、的輔助和引導(dǎo)，讓兒童對(duì)于所學(xué)知識(shí)進(jìn)行復(fù)習(xí)和 應(yīng)用，可以達(dá)到質(zhì)疑解難、深化理解的教學(xué)目標(biāo)，讓知識(shí)真正為兒童 所掌握；在教學(xué)獎(jiǎng)勵(lì)方面，適當(dāng)?shù)奈镔|(zhì)獎(jiǎng)勵(lì)和精神獎(jiǎng)勵(lì)可以作為兒童 教具的輔助手段，影響著兒童學(xué)習(xí)過(guò)程中的體驗(yàn)和態(tài)度，是促進(jìn)兒童 道德品質(zhì)形成與發(fā)展的重要手段。在兒童與教具的多模態(tài)交互模型 中，教學(xué)模式和獎(jiǎng)勵(lì)是第三層的內(nèi)在黏性元素，對(duì)應(yīng)兒童認(rèn)知程度層 次中的“內(nèi)化”。五、學(xué)齡兒童多模態(tài)參與式教具設(shè)計(jì) 在使用這些產(chǎn)品時(shí)通常是使用眼、耳等單通道交互形式，所獲得的感知 覺(jué)刺激較為單一，時(shí)間一長(zhǎng)很容易出現(xiàn)注意力分散的情況。而兒童在使 用多模態(tài)參與式教具過(guò)程中，與教具實(shí)體之間產(chǎn)生了一系列的雙向人機(jī) 交互行

22、為，并形成一種交互豐富、寓教于樂(lè)的多模態(tài)教學(xué)情境。主體置身 于多模態(tài)教學(xué)情境之中，并通過(guò)與教具間大量的多通道交互行為獲得了 豐富的感官刺激和身心體驗(yàn)，同時(shí)身體與教具間互動(dòng)時(shí)所獲得的感知覺(jué) 經(jīng)驗(yàn)和運(yùn)動(dòng)經(jīng)驗(yàn)強(qiáng)化了認(rèn)知的形成，如圖6所示。圖6多模態(tài)交互視角下的教學(xué)情境（一）多模態(tài)教具的使用模式創(chuàng)新設(shè)計(jì)為給兒童更豐富、直接的多模態(tài)刺激，本產(chǎn)品由智能交互屏幕和拼 圖兩部分組成。其主要使用場(chǎng)景可分為協(xié)同創(chuàng)作模式和復(fù)習(xí)模式。協(xié)同創(chuàng)作模式：協(xié)同創(chuàng)作模式流程如圖7。兒童可自行分工并共同 完成不同的角色拼圖；完成拼圖后，將其放至教具的攝像頭前進(jìn)行掃描， 攝像頭會(huì)實(shí)時(shí)捕捉拼圖內(nèi)容，從圖像中提取特征點(diǎn)，并結(jié)合圖像識(shí)別

23、技 術(shù)和AR技術(shù)，將拼圖上的平面圖像轉(zhuǎn)化為三維圖像的完整故事場(chǎng)景13。 兒童們可以用手指在三維故事場(chǎng)景中與喜歡的角色進(jìn)行點(diǎn)擊、拖拽等互 動(dòng)行為，屏幕內(nèi)的角色隨著兒童提出故事內(nèi)容中不同的問(wèn)題，考察兒童 對(duì)知識(shí)的掌握程度。兒童回答正確角色會(huì)說(shuō)“你真棒”這樣的鼓勵(lì)。如果 回答有誤，兒童需要在拼圖中找到教師指定的故事場(chǎng)景，然后屏幕中的 角色會(huì)說(shuō)出正確答案。圖7協(xié)同創(chuàng)作模式通過(guò)多模態(tài)交互教具的輔助和啟發(fā)，可以使抽象的知識(shí)概念與教具 之間建立起多維度的聯(lián)系，并讓兒童在與教具交互的過(guò)程中，把身體獲 得的感知覺(jué)經(jīng)驗(yàn)逐步轉(zhuǎn)化為對(duì)于所學(xué)知識(shí)概念的認(rèn)知。以“講故事”這一教學(xué)活動(dòng)為例，常規(guī)教學(xué)中“講故事”這一活動(dòng)，

24、或讓兒童閱讀圖文并茂的故事書(shū)，或觀看影視視頻，或聽(tīng)有聲故事，兒童圖8復(fù)習(xí)模式復(fù)習(xí)模式：在復(fù)習(xí)模式中，兒童需要根據(jù)智能交互屏幕的語(yǔ)音提 示，正確選擇符合條件的角色，例如聽(tīng)到語(yǔ)音“單純的小女孩”正確選中 白雪公主，產(chǎn)品就會(huì)說(shuō)“你真棒”這樣的鼓勵(lì)，然后出現(xiàn)三段白雪公主的 故事讓兒童選擇，如圖8。若選擇正確則可獲得一張動(dòng)畫(huà)人物貼紙；若選擇錯(cuò)誤，則需在拼圖中找到教師指定的內(nèi)容后，在屏幕中展示正確答案， 并語(yǔ)音鼓勵(lì)兒童“繼續(xù)加油”。通過(guò)與屏幕中的場(chǎng)景圖像和拼圖中的場(chǎng) 景進(jìn)行互動(dòng)，以復(fù)習(xí)先前學(xué)習(xí)的知識(shí)，AR場(chǎng)景展示的同時(shí)也會(huì)伴隨著主 題內(nèi)容的語(yǔ)音講解，給予兒童多感官通道的體驗(yàn)，進(jìn)一步打造沉浸式教 學(xué)場(chǎng)景與學(xué)

25、習(xí)模式。（二）多模態(tài)教具產(chǎn)品設(shè)計(jì)遠(yuǎn)距離促發(fā)要素設(shè)計(jì)：兒童與教育產(chǎn)品間的遠(yuǎn)距離交互主要集中 在產(chǎn)品形態(tài)及產(chǎn)品視聽(tīng)覺(jué)反饋方面。在產(chǎn)品形態(tài)方面選用柔和的圓角矩 形，讓產(chǎn)品有圓潤(rùn)可愛(ài)的特點(diǎn)，同時(shí)增加產(chǎn)品的親和力；在產(chǎn)品色彩方 面，乳白色的產(chǎn)品主體給人以清新，溫曖的感覺(jué)，搭配LED屏幕中豐富的 色彩可以營(yíng)造出更生動(dòng)的學(xué)習(xí)氣氛；在產(chǎn)品視覺(jué)反饋方面，屏幕中離身的動(dòng)畫(huà)圖像伴隨著兒童具身的拼 圖行為實(shí)現(xiàn)了二維到三維的轉(zhuǎn)化，這種離身的視覺(jué)反饋使兒童所獲的二 維和三維視覺(jué)體驗(yàn)之間建立起了新的關(guān)聯(lián)，并在兒童不斷的拼圖行為過(guò) 程中得以激發(fā)和強(qiáng)化。在聽(tīng)覺(jué)反饋方面，兒童搭建場(chǎng)景內(nèi)的元素伴隨著自身不同的交互行 為進(jìn)行不同的語(yǔ)

26、音播報(bào)和交互，實(shí)時(shí)講解動(dòng)畫(huà)角色的特征和相關(guān)知識(shí)，進(jìn) 而使兒童在不斷獲得聽(tīng)覺(jué)反饋的過(guò)程中，獲得對(duì)于抽象概念的理解更深 刻、更全面的具身認(rèn)知。在聲音方面，語(yǔ)音講解使用溫柔可愛(ài)的卡通音效 進(jìn)行播報(bào)，避免兒童的因感到陌生而影響學(xué)習(xí)效果；同時(shí)音量也控制在50 分貝以?xún)?nèi)，避免音量過(guò)大造成兒童精神不集中，進(jìn)而影響學(xué)習(xí)效率。近距離行為要素設(shè)計(jì)：兒童與教育產(chǎn)品間近距離的交互主要涉及 兒童與拼圖間的實(shí)體交互以及兒童與屏幕元素間的交互。兒童與拼圖間 的實(shí)體交互主要包括對(duì)拼圖的抓、捏、移動(dòng)、按壓等行為，與屏幕元素間 的交互則主要以點(diǎn)擊、滑動(dòng)、拖拽等行為為主，如圖9。屏幕內(nèi)的動(dòng)畫(huà)形 象展示效果能夠根據(jù)兒童不同的交互行為

27、而產(chǎn)生不同的反饋，從而使兒 童在參與場(chǎng)景及內(nèi)容創(chuàng)作的同時(shí)把自身的行為與動(dòng)畫(huà)場(chǎng)景和故事內(nèi)容 的創(chuàng)作聯(lián)系起來(lái)。這樣既加強(qiáng)了兒童與教育產(chǎn)品間的互動(dòng)性，同時(shí)也把 兒童的行為與所完成的動(dòng)畫(huà)形象建立起聯(lián)系，使兒童先前通過(guò)距離型器 官所獲的離身認(rèn)知在具身交互的過(guò)程中得到進(jìn)一步驗(yàn)證和強(qiáng)化。除此之 外，兒童在交互的過(guò)程中自身的距離感、方位感等日常概念也得到了相應(yīng) 的訓(xùn)練和激發(fā)。教具的內(nèi)在黏性要素設(shè)計(jì)：本教育產(chǎn)品通過(guò)兒童較為熟悉的動(dòng) 畫(huà)拼圖將知識(shí)進(jìn)行傳遞和呈現(xiàn)，并由學(xué)生在課堂上自主選擇主題角色 拼圖。這種寓教于樂(lè)的教學(xué)方式將圖案拼接等知識(shí)與兒童的行為聯(lián)系 起來(lái)，使兒童能夠充分調(diào)動(dòng)自己的感知覺(jué)器官與教育產(chǎn)品進(jìn)行多模

28、態(tài)交 互，集中而持續(xù)的與教育產(chǎn)品進(jìn)行互動(dòng)，促進(jìn)了知識(shí)的內(nèi)化和理解。同時(shí) 產(chǎn)品的學(xué)習(xí)模式和內(nèi)容本身也具有一定的挑戰(zhàn)和思考空間，在協(xié)同創(chuàng)作 模式中，兒童們需要以組為單位，合作分工，共同完成場(chǎng)景的搭建，在游 戲過(guò)程中促進(jìn)兒童的溝通能力和合作能力；在復(fù)習(xí)模式中，產(chǎn)品的一系 列激勵(lì)體系也可以進(jìn)一步強(qiáng)化兒童對(duì)于所學(xué)知識(shí)的認(rèn)知和理解。（三）產(chǎn)品評(píng)價(jià)用戶(hù)可用性測(cè)試：為了測(cè)試多模態(tài)教具的可行性，邀請(qǐng)了5名學(xué)齡兒 童體驗(yàn)“講故事”多模態(tài)交互教具產(chǎn)品原型。模擬課堂學(xué)習(xí)場(chǎng)景分別使用 多媒體教學(xué)和多模態(tài)交互教具對(duì)兒童進(jìn)行“講故事”教學(xué)，針對(duì)故事情節(jié) 設(shè)計(jì)了 10道難度相近的問(wèn)題進(jìn)行評(píng)測(cè)，以分析對(duì)比兒童在使用多媒體教 學(xué)和多模態(tài)交互教具時(shí)的學(xué)習(xí)和注意力表現(xiàn)，測(cè)評(píng)情況，如圖10。表2用戶(hù)可用性測(cè)試數(shù)據(jù)兒童 編號(hào)正確率 （改良前正確率 （改良后變化率平均解題時(shí)長(zhǎng)