多媒體計(jì)算機(jī)技術(shù)7

多媒體計(jì)算機(jī)技術(shù)-72024/4/3多媒體計(jì)算機(jī)技術(shù)7多媒體計(jì)算機(jī)技術(shù)-72024/4/2多媒體計(jì)算機(jī)技術(shù)71第七講多媒體系統(tǒng)的人機(jī)交互技術(shù)

人機(jī)界面概述

多通道用戶界面

三維人機(jī)交互技術(shù)

虛擬現(xiàn)實(shí)

多媒體計(jì)算機(jī)技術(shù)7第七講多媒體系統(tǒng)的人機(jī)交互技術(shù)人機(jī)界面概述多媒體計(jì)算機(jī)2人機(jī)界面概述計(jì)算機(jī)包括了三個(gè)主要部分：人機(jī)信息交互、信息處理和存儲(chǔ)以及信息顯示，其中“信息處理和存儲(chǔ)”和“信息展示”技術(shù)更新和發(fā)展的速度相當(dāng)快。但人機(jī)交互技術(shù)多年來并未有重大技術(shù)突破。

從計(jì)算機(jī)問世以來，早期用戶是以計(jì)算機(jī)專業(yè)人員為主，但隨著計(jì)算機(jī)廣泛進(jìn)入人們的工作生活領(lǐng)域，計(jì)算機(jī)用戶發(fā)生了改變，非計(jì)算機(jī)專業(yè)的普通用戶成了用戶的主體。這一重大轉(zhuǎn)變使計(jì)算機(jī)的可用性問題變得日益突出起來。

多媒體計(jì)算機(jī)技術(shù)7人機(jī)界面概述計(jì)算機(jī)包括了三個(gè)主要部分：人機(jī)信息交互、信息處理3人機(jī)界面概述人機(jī)界面指人類用戶與計(jì)算機(jī)系統(tǒng)之間的通信媒體或手段，它是人機(jī)雙向信息交換的支持軟件和硬件。這里“界面”定義為通信的媒體或手段，它的物化體現(xiàn)是有關(guān)的支持軟件和硬件，如帶有鼠標(biāo)的圖形顯示終端。人機(jī)界面和人機(jī)對話(HumanComputerDialogue)是兩個(gè)不同的概念：人機(jī)對話是指用戶與計(jì)算機(jī)系統(tǒng)之間的通信，它是人與計(jì)算機(jī)之間各種符號(hào)和動(dòng)作的雙向信息交換。

多媒體計(jì)算機(jī)技術(shù)7人機(jī)界面概述人機(jī)界面指人類用戶與計(jì)算機(jī)系統(tǒng)之間的通信媒體或手4人機(jī)界面的發(fā)展歷史

就用戶界面的具體形式而言，經(jīng)歷了批處理聯(lián)機(jī)終端(命令接口)(文本)菜單等多通道——多媒體用戶界面和虛擬現(xiàn)實(shí)系統(tǒng)。

就用戶界面中信息載體類型而言，經(jīng)歷了以文本為主的字符用戶界面(CUI)、以二維圖形為主的圖形用戶界面(GUI)和多媒體用戶界面，使得計(jì)算機(jī)與用戶之間的通信帶寬不斷增加。

多媒體計(jì)算機(jī)技術(shù)7人機(jī)界面的發(fā)展歷史就用戶界面的具體形式而言，經(jīng)歷了批處理聯(lián)5人機(jī)界面的發(fā)展歷史就計(jì)算機(jī)輸出信息的形式而言，經(jīng)歷了以符號(hào)為主的字符命令語言；以視覺感知為主的圖形用戶界面；兼顧聽覺感知的多媒體用戶界面和綜合運(yùn)用多種感官(包括觸覺等)的虛擬現(xiàn)實(shí)系統(tǒng)。

就人機(jī)界面中的信息維度而言，經(jīng)歷了一維信息(主要指文本流如早期電傳式終端)、二維信息(主要是二維圖形技術(shù)，利用了色彩形狀紋理等維度信息)、三維信息(主要是三維圖形技術(shù)，但顯示技術(shù)仍利用二維平面為主)和多維信息(多通道的多維信息)。

多媒體計(jì)算機(jī)技術(shù)7人機(jī)界面的發(fā)展歷史就計(jì)算機(jī)輸出信息的形式而言，經(jīng)歷了以符號(hào)為6人機(jī)界面的發(fā)展歷史

不論從何種角度看，人機(jī)交互發(fā)展的趨勢體現(xiàn)了對人的因素的不斷重視，使人機(jī)交互更接近于自然的形式，使用戶能利用日常的自然技能不須經(jīng)過特別的努力和學(xué)習(xí)提高工作效率。這種“以人為中心”的思想特別是自20世紀(jì)80年代以來在人機(jī)交互技術(shù)的研究中得到明顯的體現(xiàn)。

多媒體計(jì)算機(jī)技術(shù)7人機(jī)界面的發(fā)展歷史不論從何種角度看，人機(jī)交互發(fā)展的趨勢體現(xiàn)7人機(jī)界面設(shè)計(jì)技術(shù)

三維用戶界面多媒體和超媒體界面多通道交互界面虛擬現(xiàn)實(shí)技術(shù)

組件及可視計(jì)算

多媒體計(jì)算機(jī)技術(shù)7人機(jī)界面設(shè)計(jì)技術(shù)三維用戶界面多媒體計(jì)算機(jī)技術(shù)78用戶界面的設(shè)計(jì)原則從用戶的本身需求、生理心理?xiàng)l件和現(xiàn)有硬軟件條件出發(fā)，可以總結(jié)為以下幾點(diǎn)：以用戶的行為為基本出發(fā)點(diǎn)

考慮用戶操作時(shí)間長短以用戶操作中的出錯(cuò)率為依據(jù)，改進(jìn)界面設(shè)計(jì)減少用戶短期記憶負(fù)擔(dān)、長期記憶和學(xué)習(xí)負(fù)擔(dān)采用日常生活的常識(shí)和比喻，較少計(jì)算機(jī)邏輯思維和專業(yè)術(shù)語注重用戶的個(gè)人特性和區(qū)別，例如老年人、殘疾人的特殊需要

為提高通用性，用戶界面最好采用一致性原則

多媒體計(jì)算機(jī)技術(shù)7用戶界面的設(shè)計(jì)原則從用戶的本身需求、生理心理?xiàng)l件和現(xiàn)有硬軟件9用戶界面的設(shè)計(jì)原則對于軟件界面的設(shè)計(jì)的特殊性，我們可將其設(shè)計(jì)目的概括成以下3個(gè):

用戶界面軟件標(biāo)準(zhǔn)化

用戶界面的一致性

用戶界面的有效性、可靠性、安全性、可移植性(各種軟件的數(shù)據(jù)可以交換)和數(shù)據(jù)的一體性

多媒體計(jì)算機(jī)技術(shù)7用戶界面的設(shè)計(jì)原則對于軟件界面的設(shè)計(jì)的特殊性，我們可將其設(shè)計(jì)10第七講多媒體系統(tǒng)的人機(jī)交互技術(shù)

人機(jī)界面概述

多通道用戶界面

三維人機(jī)交互技術(shù)

虛擬現(xiàn)實(shí)

多媒體計(jì)算機(jī)技術(shù)7第七講多媒體系統(tǒng)的人機(jī)交互技術(shù)人機(jī)界面概述多媒體計(jì)算11多通道用戶界面多通道人機(jī)界面技術(shù)基于視線跟蹤、語音識(shí)別、手勢輸入、感覺反饋等新的交互技術(shù)，允許用戶利用自身的內(nèi)在感覺和認(rèn)知技能，使用多個(gè)交互通道，以并行、非精確方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性

它代表了人機(jī)交互的一種新范式，與傳統(tǒng)的圖形用戶界面相比，能將互補(bǔ)的通道進(jìn)行整合來獲取增強(qiáng)的混合，通道之間可以相互補(bǔ)充，克服彼此的缺陷，或者是針對不同的應(yīng)用采取不同的交互方式，具有更強(qiáng)大的表達(dá)能力、自然性、靈活性和便攜性

多媒體計(jì)算機(jī)技術(shù)7多通道用戶界面多通道人機(jī)界面技術(shù)基于視線跟蹤、語音識(shí)別、手勢12多通道概念

通道：指傳送或獲得信息的通信通道的類型，它包含了信息表達(dá)、感知以及動(dòng)作執(zhí)行的方式，定義了交換數(shù)據(jù)的類型模式：指一種狀態(tài)或上下文信息，它決定了如何對信息解釋以獲取意義

通道整合：指用戶在與計(jì)算機(jī)系統(tǒng)交互時(shí)，多個(gè)交互通道之間相互作用形成交互意圖的過程

多媒體計(jì)算機(jī)技術(shù)7多通道概念通道：指傳送或獲得信息的通信通道的類型，它包含了13多通道、多媒體與虛擬現(xiàn)實(shí)多通道系統(tǒng)力求對語義的理解．它對用戶的原始輸入在較高的層次上(如任務(wù)領(lǐng)域)進(jìn)行解釋、分析和綜合，提取語義內(nèi)容，達(dá)到對用戶的某種理解，然后，從較高的表現(xiàn)層次上傳達(dá)給用戶最恰當(dāng)?shù)姆答?，它?cè)重于信息的理解和解釋多媒體側(cè)重于信息的表現(xiàn)虛擬現(xiàn)實(shí)依靠三維立體視覺、頭盔式顯示器、身體跟蹤和立體音響等技術(shù)來模擬現(xiàn)實(shí)世界，旨在使用戶獲得一種沉浸式的多種感知通道的靈境體驗(yàn)多媒體計(jì)算機(jī)技術(shù)7多通道、多媒體與虛擬現(xiàn)實(shí)多通道系統(tǒng)力求對語義的理解．它對用戶14多通道用戶界面的特點(diǎn)

多通道用戶界面主要關(guān)注人機(jī)界面中用戶向計(jì)算機(jī)輸入信息以及汁算機(jī)對用戶意圖理解的問題，它所要達(dá)到的目標(biāo)可歸納為如下方面：

交互自然性

交互高效性

吸取已有人機(jī)交互技術(shù)的成果，與傳統(tǒng)的用戶界面特別是廣泛流行的圖形用戶界面兼容，使老用戶、專家用戶的知識(shí)和技能得以利用

多媒體計(jì)算機(jī)技術(shù)7多通道用戶界面的特點(diǎn)多通道用戶界面主要關(guān)注人機(jī)界面中用戶向15多通道用戶界面的主要研究內(nèi)容

認(rèn)知心理學(xué)界面模型及描述方法軟件結(jié)構(gòu)多通道整合多通道的錯(cuò)誤糾正機(jī)制多媒體計(jì)算機(jī)技術(shù)7多通道用戶界面的主要研究內(nèi)容認(rèn)知心理學(xué)多媒體計(jì)算機(jī)技術(shù)716第七講多媒體系統(tǒng)的人機(jī)交互技術(shù)

人機(jī)界面概述

多通道用戶界面

三維人機(jī)交互技術(shù)

虛擬現(xiàn)實(shí)

多媒體計(jì)算機(jī)技術(shù)7第七講多媒體系統(tǒng)的人機(jī)交互技術(shù)人機(jī)界面概述多媒體計(jì)算17三維人機(jī)交互技術(shù)三維人機(jī)交互技術(shù)與傳統(tǒng)的WIMP（Window，Icon，Menu，Pointer，窗口、圖標(biāo)、菜單和指點(diǎn)裝置）圖形交互技術(shù)不同。它采用六自由度輸入設(shè)備。

由于自由度的增加，使三維交互的復(fù)雜性大大提高。另外，窗口、菜單、圖標(biāo)和傳統(tǒng)的二維光標(biāo)在三維交互環(huán)境會(huì)破壞空間感，同時(shí)也使得交互過程非常不自然

多媒體計(jì)算機(jī)技術(shù)7三維人機(jī)交互技術(shù)三維人機(jī)交互技術(shù)與傳統(tǒng)的WIMP（Windo18三維設(shè)備

浮動(dòng)鼠標(biāo)（FlyingMouse）：浮動(dòng)鼠標(biāo)類似于標(biāo)準(zhǔn)的計(jì)算機(jī)鼠標(biāo)，但當(dāng)離開桌面后就成為一個(gè)六自由度探測器，大多數(shù)浮動(dòng)鼠標(biāo)器內(nèi)部裝有電磁探測器。數(shù)據(jù)手套（DataGlove）：早期的數(shù)據(jù)手套是美國加州VPL公司開發(fā)的指示手勢的輸入裝置。數(shù)據(jù)手套是一種虛擬工具，它將人手的各種手勢、動(dòng)作通過手套上所帶的光導(dǎo)纖維傳感器，輸入計(jì)算機(jī)中進(jìn)行分析，這種手勢可以是一符號(hào)表示或命令，也可以是動(dòng)作。

多媒體計(jì)算機(jī)技術(shù)7三維設(shè)備浮動(dòng)鼠標(biāo)（FlyingMouse）：浮動(dòng)鼠標(biāo)類似19三維設(shè)備

手持式操作器（Wand）：手持式操縱器包含一個(gè)位置跟蹤探測器和幾個(gè)按鈕，專門用于手中使用。手持式操作器類似于浮動(dòng)鼠標(biāo)，但沒有鼠標(biāo)球，因此不能在桌面上滾動(dòng)。力矩球（空間球SpaceBall）：手持式操作器和浮動(dòng)鼠標(biāo)的問題之一是用戶必須將設(shè)備拿在手中，而力矩球是一種可以提供六自由度的桌面設(shè)備，它安裝在一個(gè)小型的固定平臺(tái)上，可以扭轉(zhuǎn)、壓下的拉出、來回?fù)u擺等。力矩球通常使用發(fā)光二極管和光接收器進(jìn)行測量。

多媒體計(jì)算機(jī)技術(shù)7三維設(shè)備手持式操作器（Wand）：手持式操縱器包含一個(gè)位置20三維交互方式在三維人機(jī)交互中，用戶主要通過以下兩種交互方式在三維空間中進(jìn)行操作：

直接操作三維widgets

多媒體計(jì)算機(jī)技術(shù)7三維交互方式在三維人機(jī)交互中，用戶主要通過以下兩種交互方式在21人機(jī)交互中的視線跟蹤技術(shù)視線跟蹤技術(shù)早期主要應(yīng)用于心理學(xué)研究(如閱讀研究)、助殘等領(lǐng)域，后來才被應(yīng)用于圖像壓縮及人機(jī)交互技術(shù)。從理論上說，由于幾乎所有的人機(jī)交互形式都離不開視覺介入，因此，當(dāng)用戶凝視其感興趣的目標(biāo)時(shí)，如果系統(tǒng)能“自動(dòng)”將光標(biāo)置于其上或觸發(fā)必要的動(dòng)作，則比利用鼠標(biāo)器等間接指點(diǎn)設(shè)備甚至觸屏這樣的直接指點(diǎn)設(shè)備更為直接。

多媒體計(jì)算機(jī)技術(shù)7人機(jī)交互中的視線跟蹤技術(shù)視線跟蹤技術(shù)早期主要應(yīng)用于心理學(xué)研究22人機(jī)交互中的視線跟蹤技術(shù)伺服機(jī)構(gòu)半反射鏡瞳孔攝像機(jī)光源紅外濾光鏡一種遠(yuǎn)距離視線跟蹤系統(tǒng)原理圖多媒體計(jì)算機(jī)技術(shù)7人機(jī)交互中的視線跟蹤技術(shù)伺服機(jī)構(gòu)半反射鏡瞳孔攝像機(jī)光源紅外濾23視線跟蹤技術(shù)在多通道用戶界面研究中，將視線輸入作為一個(gè)輔助通道加以利用，可充分發(fā)揮視覺與語音的互補(bǔ)作用。研究者認(rèn)為，視線跟蹤技術(shù)固有的不精確性與視線運(yùn)動(dòng)的隨意性使其不宜作精確輸入，而作為附加約束信息有重要價(jià)值。

ABCD感興趣區(qū)域語音與手勢整合示例多媒體計(jì)算機(jī)技術(shù)7視線跟蹤技術(shù)在多通道用戶界面研究中，將視線輸入作為一個(gè)輔助通24基于手勢的人機(jī)交互技術(shù)手勢是人手或者手和臂結(jié)合所產(chǎn)生的各種姿勢和動(dòng)作，它包括靜態(tài)手勢(指姿態(tài)，單個(gè)手形)和動(dòng)態(tài)手勢(指動(dòng)作，由一系列姿態(tài)組成)。靜態(tài)手勢對應(yīng)空間里的一個(gè)點(diǎn)，而動(dòng)態(tài)手勢對應(yīng)著模型參數(shù)空間里的一條軌跡，需要使用隨時(shí)間變化的空間特征來表述。手勢和姿勢(Posture)的主要區(qū)別在于，姿勢更為強(qiáng)調(diào)手和身體的形態(tài)和狀態(tài)，而手勢更為強(qiáng)調(diào)手的運(yùn)動(dòng)。多媒體計(jì)算機(jī)技術(shù)7基于手勢的人機(jī)交互技術(shù)手勢是人手或者手和臂結(jié)合所產(chǎn)生的各種姿25基于手勢的人機(jī)交互技術(shù)手勢逐漸成為人機(jī)界面中一種新穎的交互手段，研究手勢識(shí)別的主要目的就是把手勢這種既自然又直觀的交流方式引入人機(jī)接口中，實(shí)現(xiàn)更符合人類行為習(xí)慣的人機(jī)接口。手勢識(shí)別還可用于虛擬現(xiàn)實(shí)、三維設(shè)計(jì)、臨場感、可視化、醫(yī)學(xué)研究、手語理解等領(lǐng)域手勢識(shí)別問題的解決方法對于表情識(shí)別、唇讀、步態(tài)識(shí)別、時(shí)空紋理分類、視覺導(dǎo)航、圖像拼接和基于內(nèi)容的視頻檢索等研究都有直接推廣的意義。多媒體計(jì)算機(jī)技術(shù)7基于手勢的人機(jī)交互技術(shù)手勢逐漸成為人機(jī)