多媒體技術(shù)的形成和發(fā)展

多媒體技術(shù)基礎(chǔ)

第九章多模態(tài)人機(jī)交互技術(shù)從最早的手工操作到命令語(yǔ)言，再到廣泛使用的圖形用戶界面，操作的直觀性有了明顯的改善通過(guò)本章學(xué)習(xí)，可以了解（或掌握）多模態(tài)人機(jī)交互技術(shù)的概念科學(xué)計(jì)算可視化信息可視化虛擬現(xiàn)實(shí)技術(shù)9.1人機(jī)交互技術(shù)概述9.1基本概念人機(jī)交互式研究人、計(jì)算機(jī)以及它們相互影響的技術(shù)。人機(jī)界面是計(jì)算機(jī)與人之間通信和對(duì)話的接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。9.1.人機(jī)界面的發(fā)展歷史1.手工操作2.命令行界面3.圖形用戶界面WIMP界面，即以窗口、圖表、菜單和指點(diǎn)裝置為基礎(chǔ)的人機(jī)界面技術(shù)9.1.3人機(jī)交互的發(fā)展趨勢(shì)目前，人機(jī)交互技術(shù)正朝著以人為中心，減少人機(jī)隔閡，建立和諧的人機(jī)環(huán)境這一目標(biāo)發(fā)展。9.2多模態(tài)人機(jī)交互9.2.1多模態(tài)人機(jī)交互概述模態(tài)是心理學(xué)領(lǐng)域中的一個(gè)標(biāo)準(zhǔn)術(shù)語(yǔ)，指感知信息的感覺(jué)，也就是感覺(jué)模態(tài)。所謂多模態(tài)人機(jī)交互，就是基于智能接口技術(shù)，充分利用人的多種感知通道，以并行的、非精確的方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性。多模態(tài)人機(jī)交互技術(shù)所涉及的研究范圍包括感知模型，語(yǔ)音識(shí)別，手寫識(shí)別，姿勢(shì)識(shí)別，表情識(shí)別，眼動(dòng)跟蹤，自然語(yǔ)言理解，觸覺(jué)感知與表示，多模態(tài)通道信息融合，高性能視覺(jué)和聽(tīng)覺(jué)處理平臺(tái)等。

1.采用多模態(tài)交互可以充分利用各種模態(tài)的特性，完成其在功能上的劃分和互補(bǔ)。2.使用多模態(tài)可以提高交互方式的靈活性。3.多模態(tài)并非多個(gè)模態(tài)的集合，而是它們之間的整合。也就是說(shuō)，將手勢(shì)、語(yǔ)音與其他模態(tài)結(jié)合起來(lái)，采用具體的整合模型或算法，得到高一級(jí)的語(yǔ)義特性并且實(shí)現(xiàn)特定的應(yīng)用。多模態(tài)人機(jī)交互的研究主要包括以下五個(gè)部分：1）語(yǔ)音識(shí)別、理解及合成2）手勢(shì)識(shí)別技術(shù)3）人臉的研究4）唇讀的研究5）人體動(dòng)作的研究9.2.2多模態(tài)人機(jī)交互的特點(diǎn)1）使用多個(gè)感覺(jué)和動(dòng)作模態(tài)2）三維的和直接操縱的要求3）允許模糊交互4）交互雙向性5）交互的隱含性它所要達(dá)到的目標(biāo)自然性、高效性和兼容性9.2.3多模態(tài)整合1.多模態(tài)整合實(shí)例1）手的運(yùn)動(dòng)軌跡跟蹤與語(yǔ)音識(shí)別的整合（1）手勢(shì)（2）直接操縱（3）用聲音輔助的手勢(shì)表達(dá)形狀2）語(yǔ)音識(shí)別與唇讀的整合3）其他2.多模態(tài)整合考慮因素1）操作部位2）帶寬3）誤差4）桌面空間5）成本9.3可視化可視化是指充分利用人們對(duì)可是模式快速識(shí)別的自然能力，將數(shù)據(jù)信息和知識(shí)轉(zhuǎn)化為一種視覺(jué)形成的過(guò)程。有效的可是畫界面使得人們能夠觀察、操縱、瀏覽、探索、過(guò)濾、發(fā)現(xiàn)、理解大規(guī)模數(shù)據(jù)能夠方便的與之進(jìn)行交互，從而可以有效地發(fā)現(xiàn)隱藏在內(nèi)部的特征和規(guī)律。9.3.1科學(xué)計(jì)算可視化科學(xué)計(jì)算可視化是指運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將科學(xué)計(jì)算過(guò)程中及計(jì)算結(jié)果的數(shù)據(jù)轉(zhuǎn)換為圖像及圖像在屏