人機(jī)交互多通道人機(jī)交互

第7章多通道人機(jī)交互1.本章內(nèi)容多通道交互技術(shù)概述眼動(dòng)跟蹤三維輸入實(shí)例介紹2.多通道交互技術(shù)概述為適應(yīng)目前和未來的計(jì)算機(jī)系統(tǒng)要求，人機(jī)界面應(yīng)能支持時(shí)變媒體〔time-varingmedia〕，實(shí)現(xiàn)三維、非精確及隱含的人機(jī)交互，而多通道人機(jī)界面是到達(dá)這一目的的重要途徑80年代后期以來，多通道用戶界面(MultimodalUserInterface)成為人機(jī)交互技術(shù)研究的嶄新領(lǐng)域，在國(guó)內(nèi)外受到高度重視3.多通道用戶界面消除當(dāng)前WIMP/GUI用戶界面通信帶寬不平衡的瓶頸綜合采用視線、語音、手勢(shì)眼神、表情等新的交互通道、設(shè)備和交互技術(shù)使用戶利用多個(gè)通道以自然、串行/并行、協(xié)作的方式進(jìn)行人機(jī)對(duì)話通過整合來自多個(gè)通道的、精確的和不精確的輸入來捕捉用戶的交互意圖，提高人機(jī)交互的自然性和高效性4.

圖5－1多通道人機(jī)界面概念模型

5.多通道用戶界面研究的目標(biāo)多通道用戶界面主要關(guān)注人機(jī)界面中用戶向計(jì)算機(jī)輸入信息以及計(jì)算機(jī)對(duì)用戶意圖的理解交互的自然性使用戶盡可能多地利用已有的日常技能與計(jì)算機(jī)交互，降低認(rèn)識(shí)負(fù)荷；交互的高效性使人機(jī)通訊信息交換吞吐量更大、形式更豐富，發(fā)揮人機(jī)彼此不同的認(rèn)知潛力；與傳統(tǒng)的用戶界面特別是廣泛流行的WIMP/GUI兼容6.多通道用戶界面的根本特點(diǎn)使用多個(gè)感覺和效應(yīng)通道

允許非精確的交互

三維和直接操縱

交互的雙向性

交互的隱含性

7.使用多個(gè)感覺和效應(yīng)通道感覺通道側(cè)重于多媒體信息的接受，效應(yīng)通道側(cè)重于交互過程中控制與信息的輸入，兩者密不可分、相互配合一種通道(如語音)不能充分表達(dá)用戶的意圖時(shí)，需輔以其它通道(如手勢(shì)指點(diǎn))的信息；有時(shí)使用輔助通道以增強(qiáng)表達(dá)力交替而獨(dú)立地使用不同的通道不是真正意義上的多通道技術(shù)，必須允許充分地并行、協(xié)作的通道配合關(guān)系8.允許非精確的交互人類語言本身就具有高度模糊性，人類在日常生活中習(xí)慣于并大量使用非精確的信息交流允許使用模糊的表達(dá)手段可以防止不必要的認(rèn)識(shí)負(fù)荷，有利于提高交互活動(dòng)的自然性和高效性多通道人機(jī)交互技術(shù)主張以充分性代替精確性9.三維和直接操縱人類的大多數(shù)活動(dòng)領(lǐng)域具有三維和直接操縱特點(diǎn)人生活在三維空間，習(xí)慣于看、聽和操縱三維的客觀對(duì)象，并希望及時(shí)看到這種控制的結(jié)果多通道人機(jī)交互的自然性反響了這種本質(zhì)特點(diǎn)10.交互的雙向性人的感覺和效應(yīng)通道通常具有雙向性的特點(diǎn)，如視覺可看可注視，手可控制、可觸及等多通道用戶界面使用戶防止生硬的、不自然的、頻繁的、耗時(shí)的通道切換，從而提高自然性和效率視線跟蹤系統(tǒng)可促成視覺交互雙向性，聽覺通道利用三維聽覺定位器實(shí)現(xiàn)交互雙向性11.交互的隱含性追求交互自然性的多通道用戶界面并不需要用戶顯式地說明每個(gè)交互成分，反之是在自然的交互過程中隱含地說明用戶的視線自然地落在所感興趣的對(duì)象之上用戶的手自然地握住被操縱的目標(biāo)12.多通道用戶界面評(píng)價(jià)基于多通道用戶界面所追求的目標(biāo)，人們提出相應(yīng)的評(píng)價(jià)多通道用戶界面的假設(shè)干指標(biāo)〔Nigay等人提出的CARE指標(biāo)〕：互補(bǔ)性〔complementary〕；指派性〔Assignment〕；等效性〔Equivalence〕；冗余性〔Redundancy〕；13.互補(bǔ)性互補(bǔ)性是指假設(shè)干通道必須以互補(bǔ)方式完成特定的交互任務(wù)，也就是說，當(dāng)單個(gè)通道不能提供充分的任務(wù)信息時(shí)，需要其他通道補(bǔ)充，如手勢(shì)指點(diǎn)補(bǔ)充語音命令互補(bǔ)性可能存在一個(gè)“優(yōu)勢(shì)通道〔DominantModality〕〞，并需要其他通道予以輔助，例如，用語音直指〔“Thiscity〞〕，那么需鼠標(biāo)在屏幕對(duì)象上指點(diǎn)14.指派性指派性是指某通道是完成特定交互任務(wù)唯一途徑的情形，即某通道必須被用于實(shí)現(xiàn)特定交互任務(wù)而沒有其他通道可以替代指派性可分為兩種情形一種是不存在其他選擇，稱為嚴(yán)格的指派性〔StrictAssignment〕另一種是雖然存在選擇，但用戶或系統(tǒng)總是傾向于使用同一種通道，稱為代理指派性〔AgentAssignment〕15.等效性等效性是指在完成特定交互任務(wù)時(shí)至少有兩種以上通道可以互相替代，由于設(shè)備特性、用戶習(xí)慣或臨時(shí)因素〔如手頭正忙〕而使某種通道不能使用時(shí)，可選擇其他通道代替。16.冗余性冗余性是指在特定交互中多個(gè)通道同時(shí)使用并具有相同的表達(dá)作用不同通道為相同參數(shù)提供所需信息，并且所表達(dá)信息可能是一致的，也可能是矛盾的17.眼動(dòng)跟蹤〔Eye-GazeTracking〕與視覺有關(guān)的人機(jī)交互自始至終都離不開視線的控制如果能通過用戶的視線盯著感興趣的目標(biāo)，計(jì)算機(jī)便“自動(dòng)〞將光標(biāo)置于其上，人機(jī)交互將更為直接，也省去了上述交互過程中的大局部步驟有關(guān)視覺輸入的人機(jī)界面研究主要涉及兩個(gè)方面一是視線跟蹤原理和技術(shù)的研究二是在使用這種交互方式后，人機(jī)界面的設(shè)計(jì)技術(shù)和原理的研究18.眼動(dòng)跟蹤早期的視線跟蹤技術(shù)首先應(yīng)用于心理學(xué)研究、助殘等領(lǐng)域，后來被應(yīng)用于圖像壓縮及人機(jī)交互技術(shù)視線跟蹤技術(shù)有強(qiáng)迫式與非強(qiáng)迫式、穿戴式與非穿戴式、接觸式與非接觸式之分視線追蹤主要用于軍事領(lǐng)域〔如飛行員觀察記錄〕，閱讀及幫助殘疾人通信等19.

圖5－2StanfordUniversity和ThePoynterInstitute合作研究人們對(duì)于Internet上新聞的注意程度20.圖5－3人們對(duì)于Internet上新聞的注意程度研究結(jié)果21.人們對(duì)于Internet上新聞的注意程度研究結(jié)果內(nèi)容注視率文章文字（Articlestext）92%簡(jiǎn)訊（Briefs）82%照片（Photos）64%標(biāo)題廣告（BannerAds）45%圖形（graphics）22%

22.

眼動(dòng)的主要形式

眼動(dòng)有三種主要形式跳動(dòng)〔Saccades〕在正常的視覺觀察過程中，眼動(dòng)表現(xiàn)為在一系列被觀察目標(biāo)上的停留及在這些停留點(diǎn)之間的飛速跳躍在注視點(diǎn)之間的飛速跳躍稱為眼跳動(dòng)。注視〔Fixations〕停留時(shí)間至少持續(xù)100ms以上的稱為注視。在注視中，眼也不是絕對(duì)靜止不動(dòng)，會(huì)有微小運(yùn)動(dòng)，但大小一般不會(huì)超過1°視角。絕大多數(shù)信息只有在注視時(shí)才能獲得并進(jìn)行加工。平滑尾隨跟蹤〔SmoothPursuit〕緩慢、聯(lián)合追蹤的眼動(dòng)通常稱為平滑尾隨跟蹤。23.眼動(dòng)跟蹤的根本要求在人機(jī)交互中眼動(dòng)跟蹤技術(shù)必須滿足以下幾點(diǎn)要求，才能滿足實(shí)際需求：不能阻礙視野不要與用戶接觸，對(duì)用戶根本無干擾精度要高動(dòng)態(tài)范圍要從1弧分〔六十分之一弧度〕到45o反映速度要快，實(shí)時(shí)響應(yīng)能與獲取的身體和頭部運(yùn)動(dòng)相配合定位校正簡(jiǎn)單可作為計(jì)算機(jī)的標(biāo)準(zhǔn)外設(shè)24.眼動(dòng)跟蹤的根本原理利用紅外發(fā)光二極管發(fā)出紅外線，采用圖像處理技術(shù)和能鎖定眼睛的特殊攝像機(jī)，通過分析人眼虹膜和瞳孔中紅外線圖象點(diǎn)的連續(xù)變化情況，得到視線變化的數(shù)據(jù)，從而到達(dá)視線追蹤的目的。從視線跟蹤裝置得到的原始數(shù)據(jù)需要經(jīng)過進(jìn)一步的處理才能用于人機(jī)交互。數(shù)據(jù)處理的目的是濾除噪聲、識(shí)別定位及局部校準(zhǔn)與補(bǔ)償?shù)?，最重要的是提取出用于人機(jī)交互所必需的眼睛定位坐標(biāo)。但是由于眼動(dòng)存在固有的抖動(dòng)，以及眼睛眨動(dòng)、頭部劇烈的移動(dòng)所造成的數(shù)據(jù)中斷，存在許多干擾信號(hào)，提取有意眼動(dòng)數(shù)據(jù)非常困難。解決此問題的方法之一是利用眼動(dòng)的某種先驗(yàn)?zāi)Ｐ图右詮浹a(bǔ)。25.米達(dá)斯接觸問題與解決方法“米達(dá)斯接觸〔MidasTouch〕〞問題：如果鼠標(biāo)器光標(biāo)總是隨著用戶的視線移動(dòng)，可能會(huì)引起用戶的厭煩，因?yàn)橛脩艨赡芟Ｍ茈S便看著什么而不必非“意味著〞什么，更不希望每次轉(zhuǎn)移視線都可能啟動(dòng)一條計(jì)算機(jī)命令。防止“米達(dá)斯接觸〞問題的方法：在理想情況下，應(yīng)當(dāng)在用戶希望發(fā)出控制時(shí)，界面及時(shí)地處理其視輸入，而在相反的情況下那么忽略其視線的移動(dòng)?？刹捎闷渌ǖ馈踩珂I盤或語音〕進(jìn)行配合。26.三維輸入

許多應(yīng)用〔如虛擬現(xiàn)實(shí)系統(tǒng)〕需要三維空間定位技術(shù)：三維空間控制器的共同特點(diǎn)是具有六個(gè)自由度，分別描述三維對(duì)象的寬度、深度、高度、俯仰角、轉(zhuǎn)動(dòng)角、偏轉(zhuǎn)角。通過控制這六個(gè)參數(shù)，用戶可以在屏幕上平移三維對(duì)象或光標(biāo)，也可沿三個(gè)坐標(biāo)軸轉(zhuǎn)動(dòng)三維對(duì)象。三維空間控制器、視線跟蹤器、數(shù)據(jù)手套等輸入設(shè)備產(chǎn)生的空間位置是相對(duì)的。在三維用戶交互中必須便于用戶在三維空間中觀察、比較、操作、改變?nèi)S空間的狀態(tài)。27.三維空間的交互操作方式三維光標(biāo)由六自由度三維輸入裝置控制的三維光標(biāo)將使三維交互操作更自然和方便；三維光標(biāo)必須有深度感，即必須考慮光標(biāo)與觀察者距離：離觀察者近的時(shí)候較大，離觀察者遠(yuǎn)的時(shí)候較小；確定光標(biāo)在三維空間的方向，這種定向操作必須自然且方便操作；為保持三維用戶界面的空間感，光標(biāo)在遇到物體時(shí)不能進(jìn)入到物體內(nèi)部。三維光標(biāo)的實(shí)現(xiàn)需要大量的計(jì)算，對(duì)硬件的要求較高，編程接口也比二維光標(biāo)復(fù)雜得多。

28.三維空間的交互操作方式三維widgets三維widgets即三維交互界面中的一些小工具。用戶可以通過直接控制它們使界面或界面中的三維對(duì)象發(fā)生改變。

三維widget包括在三維空間中漂浮的菜單、用于拾取物體的手的三維圖標(biāo)、平移和旋轉(zhuǎn)指示器等。許多三維用戶界面的研究者正在設(shè)計(jì)和試驗(yàn)各種不同的三維widgets，希望將來能夠建立一系列標(biāo)準(zhǔn)的三維widgets就像二維圖形用戶界面中的窗口、按鈕、菜單等。29.圖5－5三維widgets圖例30.采用三視圖輸入技術(shù)，實(shí)現(xiàn)三維的輸入

如果輸入一個(gè)三維點(diǎn)，只要在兩個(gè)視圖上把點(diǎn)的對(duì)應(yīng)位置指定后便唯一確定了三維空間中的一個(gè)點(diǎn)；把直線段上兩端點(diǎn)在三視圖上輸入后便可決定三維空間的一條直線；把一個(gè)面上的各頂點(diǎn)在三視圖上輸入后，也唯一確定了三維空間中的一個(gè)面；如果把一個(gè)多面體上的各面均用上述方法輸入，也就在三維空間中輸入了一個(gè)多面體31.

圖5－6三視圖輸入實(shí)例32.多通道人機(jī)交互通道(Modality)用戶可以使用手動(dòng)、語言、眼神等多種效應(yīng)通道與計(jì)算機(jī)系統(tǒng)進(jìn)行交互33.多通道人機(jī)交互通道指?jìng)魉突颢@得信息的通訊通道的類型，它包含了信息表達(dá)、感知以及動(dòng)作執(zhí)行的方式，定義了數(shù)據(jù)類型模式一種狀態(tài)或上下文信息，決定對(duì)信息的解釋一獲取意義通道整合(ModalityIntegration)指用戶在與計(jì)算機(jī)系統(tǒng)交互時(shí)，多個(gè)交互通道之間相互作用形成交互意圖的過程34.多通道用戶界面的三維表示模型35.多通道用戶界面的概念模型36.人機(jī)交互模型的開展37.輸入原語為了擺脫設(shè)備的特定物理特性和操作方式上的差異，便利多種輸入設(shè)備在詞法級(jí)的整合，有必要在物理設(shè)備和對(duì)話控制中再抽象出一層，即輸入原語翻譯層與應(yīng)用無關(guān)的輸入原語的抽象具有重要意義原語IP(InputPrimitive)代表了用戶到計(jì)算機(jī)的詞法輸入，它是來自不同的通道的獨(dú)立的、最小的、不可分割的操作，這些原子操作在一定的應(yīng)用上下文中有著特定的交互意義38.輸入原語界面需抽象出一個(gè)簡(jiǎn)單完備的原語集合每個(gè)IP可實(shí)例化為一個(gè)四元組〈用戶動(dòng)作，數(shù)據(jù)表示，使用通道，時(shí)間標(biāo)簽〉它表達(dá)了某一時(shí)刻來自某個(gè)輸入通道的用戶輸入動(dòng)作與一種內(nèi)部數(shù)據(jù)表示聯(lián)系在一起IP是通道無關(guān)的，不同的物理通道的輸入可以映射到相同的IP二維鼠標(biāo)的Click動(dòng)作和眼動(dòng)跟蹤的眼睛凝視動(dòng)作都可歸為"指點(diǎn)類"IP─POINT；39.輸入原語IP是應(yīng)用無關(guān)的，在軟件環(huán)境的支持下，同一個(gè)IP在不同的應(yīng)用上下文中可被解釋為完全不同的操作根據(jù)用戶的交互意圖和交互方式，抽象出六類輸入原語瀏覽〔NAVIGATE〕，指點(diǎn)〔POINT〕，拾取〔TOUCH〕，文本〔WORD〕，變換〔TRANSFORM〕手勢(shì)〔GESTURE〕40.輸入原語41.輸入原語42.用戶模型和描述方法在構(gòu)建一個(gè)多通道界面的結(jié)構(gòu)模型時(shí)，以下是問題關(guān)鍵不應(yīng)該在應(yīng)用程序中進(jìn)行多通道整合允許用戶完成不同通道與不同功能之間的映射多通道相互作用能在不中斷相互作用過程的條件下隨時(shí)相互啟動(dòng)和終止43.用戶模型和描述方法

VisualMan多通道用戶界面模型2DGUI應(yīng)用

/3DVR應(yīng)用通道整合交互分析交互設(shè)備44.用戶模型和描述方法交互設(shè)備處理直接來自不同通道的輸入，系統(tǒng)對(duì)每一時(shí)刻的全部輸入進(jìn)行加工主要的交互通道包括語音、手和身體的運(yùn)動(dòng)以及視覺追綜等交互分析根據(jù)各通道的特性分析來自不同通道的輸入，形成交互的原語完成定位、說明屬性和操作。交互分析使原語的說明變得與設(shè)備無關(guān)通道整合將相同操作維度的原語輸入通過整合來完成某項(xiàng)任務(wù)的操作，從而做到任務(wù)的完成與通道無關(guān)不同的物理裝置能整合成相同的操作，形成與裝置獨(dú)立的多通道界面45.用戶模型和描述方法在這個(gè)多道通用戶界面模型中，有二個(gè)重要的特征值得注意用戶對(duì)一個(gè)特定的操作沒有固定的輸入順序各輸入的時(shí)相(timing)對(duì)說明操作維度是非常重要的46.用戶模型和描述方法47.用戶模型和描述方法層次化的多通道界面描述方法HMISLOTOS〔LanguageOfTemporalOrderingSpecification〕LOTOS算符主要有以下幾種：T1|||T2〔交替Interleaving)T1[]T2〔選擇Choice)T1|[a1,...,an]|T2〔同步Synchronization)T1[>T2 〔禁止Deactivation)T1>>T2〔允許Enabling)48.象棋對(duì)弈實(shí)例中國(guó)象棋49.用戶模型和描述方法LOTOS50.用戶模型和描述方法拾取棋子UAN51.用戶模型和描述方法放置棋子52.用戶模型和描述方法基于事件-目標(biāo)的多通道用戶結(jié)構(gòu)模型53.用戶模型和描述方法分布式多通道用戶界面的結(jié)構(gòu)模型54.多通道整合和算法分布式多通道用戶界面模型共享窗口客戶通過網(wǎng)絡(luò)完成對(duì)同一系統(tǒng)的操作，每一個(gè)用戶都可以在他的私有窗口中通過多個(gè)通道和CSCW系統(tǒng)交互，操作的結(jié)果可以在共享窗口中顯示出來共享窗口效勞器共享窗口效勞器同時(shí)為所有的用戶提供系統(tǒng)輸出DMMI協(xié)調(diào)效勞器支持多用戶之間的協(xié)作55.多通道整合和算法根本概念整合〔Integration)在比較低的層次上，主要關(guān)注如何把各種各樣的交互設(shè)備和交互方式容納到系統(tǒng)中在較高的層次上，主要關(guān)注多個(gè)通道之間在意義的傳達(dá)和提取上的協(xié)作融合(Fusion)在多個(gè)層次上〔詞素的、詞法的、語義的、會(huì)話的〕上對(duì)來自不同通道、具有不同表示的信息的合一化處理，其目的是正確地獲取用戶輸入，特別是正確地解釋用戶輸入分流(Fission)在多個(gè)層次上對(duì)需要向用戶傳達(dá)的特定信息向不同輸出通道、不同信息表示和表現(xiàn)的轉(zhuǎn)換56.多通道整合和算法多通道整合實(shí)例分析自然語言/語音和指點(diǎn)的整合語音與唇讀的整合眼動(dòng)和其他通道的整合57.多通道整合原理_通道用法語音和手勢(shì)/直接操縱互補(bǔ)其他形式的多通道整合也應(yīng)該考慮，如語音和書寫的整合語音通道并不需要支持大詞匯量，并且當(dāng)詞匯量小時(shí)識(shí)別得到改善結(jié)合多個(gè)通道的輸入有利于提高識(shí)別率在任何時(shí)候所有通道都應(yīng)該可用，以保證通道的自由組合如果存在限制，那么限制應(yīng)該是來自交互任務(wù)本身，而非系統(tǒng)功能的局限58.多通道整合原理_系統(tǒng)結(jié)構(gòu)系統(tǒng)應(yīng)該能夠在硬件和軟件上支持多種、多個(gè)通道時(shí)間是融合處理的根本準(zhǔn)那么系統(tǒng)需要能夠精確記錄通道輸入事件的時(shí)間以自然語言處理為核心將強(qiáng)烈影響多通道系統(tǒng)的結(jié)構(gòu)；采用語音/自然語言為輸入方式的系統(tǒng)也可以采取更簡(jiǎn)單的系統(tǒng)結(jié)構(gòu)和整合方法語義層次的整合會(huì)給界面帶來更多的應(yīng)用相關(guān)性，整合需要充分利用應(yīng)用領(lǐng)域信息由于各個(gè)通道的技術(shù)是不完美的，任務(wù)特定的應(yīng)用領(lǐng)域有利于實(shí)現(xiàn)多個(gè)通道的協(xié)作，這里存在著強(qiáng)的約束59.多通道整合原理-整合策略語音和手勢(shì)信息的融合是目前整合的主要問題融合中的一個(gè)重要問題是歧義消除上下文知識(shí)或者會(huì)話模型有助于消解歧義的輸入并提高識(shí)別率設(shè)備之間在時(shí)間響應(yīng)上的差異可能非常大多通道反響是一個(gè)在信息融合過程中及時(shí)與適當(dāng)?shù)叵蛴脩舴至髦匾畔⒌倪^程急性子融合只要多通道輸入支持一定程度的整合，就開始處理，可以看作事件驅(qū)動(dòng)的慢性子的融合那么要到具有了全部輸入之后才開始處理。融合處理可以是分散系統(tǒng)中，也可以集中進(jìn)行60.面向任務(wù)的整合模型(ATOM)多通道界面的面向任務(wù)設(shè)計(jì)，需要解決如何將同一任務(wù)的相關(guān)信息讓不同的通道來分擔(dān)，并使它們能夠相互協(xié)作的問題任務(wù)結(jié)構(gòu)的設(shè)計(jì)解決如何定義任務(wù)的總的行為結(jié)構(gòu)的問題，以及相應(yīng)的交互任務(wù)參數(shù)的設(shè)計(jì)要解決如何構(gòu)成一個(gè)完整的任務(wù)表示的各個(gè)參數(shù)的問題參數(shù)的輸入可能是以多通道的方式進(jìn)行的。與傳統(tǒng)界面相比，任務(wù)參數(shù)的設(shè)計(jì)問題在多通道界面設(shè)計(jì)中尤其突出，多通道協(xié)作的指稱就是這一設(shè)計(jì)所要考慮的問題之一61.多通道輸入的格模型多通道整合的問題可以看作一個(gè)如何對(duì)多通道信息流加以合理地組塊化并正確解釋各個(gè)組塊的意義的問題將整個(gè)多通道輸入流分割成對(duì)應(yīng)于任務(wù)的“段〞和對(duì)應(yīng)于任務(wù)參數(shù)的“節(jié)〞；分塊的依據(jù)主要是語法約束和時(shí)間接近性模型以格(lattice)這種代數(shù)結(jié)構(gòu)為根底來自多個(gè)通道的輸入在時(shí)間上的關(guān)系是一種偏序關(guān)系為了支持多通道整合，需要由各個(gè)通道輸入處理程序給每個(gè)輸入事件加上時(shí)間戳，這種時(shí)間戳應(yīng)該盡可能接近用戶相應(yīng)動(dòng)作發(fā)生的時(shí)間62.積木世界實(shí)例63.格模型整合算法64.格模型整合算法多通道輸入的格模型65.面向任務(wù)整合的主要因素任務(wù)時(shí)間任務(wù)結(jié)構(gòu)和任務(wù)參數(shù)的多通道結(jié)構(gòu)上下文應(yīng)用領(lǐng)域信息66.面向任務(wù)整合整合算法(1)1)通過自下而上的過程識(shí)別出任務(wù)，比方單純地根據(jù)語音識(shí)別的結(jié)果2〕根據(jù)任務(wù)知識(shí)更新任務(wù)上下文3〕對(duì)任務(wù)結(jié)構(gòu)中的每一任務(wù)參數(shù)重復(fù)執(zhí)行下面的〔1〕〔2〕〔1〕根據(jù)任務(wù)結(jié)構(gòu)信息并利用時(shí)間節(jié)進(jìn)行進(jìn)行輸入分解；〔2〕在分解后，進(jìn)行任務(wù)參數(shù)的多通道整合，根據(jù)不同情況處理自然語言中的指稱 自然語言中的指稱： A)通過應(yīng)用相關(guān)的處理，結(jié)合交互上下文，根據(jù)指點(diǎn)輸入求出候選對(duì)象集P. B)通過應(yīng)用相關(guān)的處理，結(jié)合交互上下文，根據(jù)名詞短語輸入求出候選對(duì)象集N C)根據(jù)不同的指稱方式： a)直指指稱：以P作為所指集R; b)代詞指代指稱：結(jié)合上下文，求出P中滿足會(huì)話上下文約束的候選對(duì)象，以P作為所指集R;67.面向任務(wù)整合整合算法(2) c)名詞短語〔可以是指代的〕指稱：求出P與N的交集，結(jié)合會(huì)話上下文，求出該交集中滿足會(huì)話上下文約束的候選對(duì)象，作為所指集。 D)根據(jù)任務(wù)相關(guān)約束〔如當(dāng)前任務(wù)不能以某些對(duì)象為參數(shù)〕進(jìn)一步縮小R。 E)如果R為空，或者R中有超過允許個(gè)數(shù)的候選對(duì)象，那么整合失敗。 F)給出適當(dāng)反響，如突出顯示所指對(duì)象。 其他情況1:相應(yīng)處理 其他情況2：相應(yīng)處理 。。。。。。4〕將具有完整而確認(rèn)任務(wù)參數(shù)信息的任務(wù)表示提交給應(yīng)用執(zhí)行。68.多通道整合和算法69.多通道分層整合模型和算法通道信息的分層表示70.多通道分層整合模型和算法多通道的整合模型71.多通道分層整合模型和算法詞法級(jí)整合設(shè)IP1=<ACTION1,PARA1,TEMP1>,IP2=<ACTION2,PARA2,TEMP2> IP1IP2=<ACTION3,PARA1PARA2,(TEMP1+TEMP2)/2 IFACTION=ACTION2and|TEMP1-TEMP2|<T, whereT是兩個(gè)通道相關(guān)的最小時(shí)間間隔 且ACTION1=ACTION2=ACTION3 IP1IP=IP1orIP2 IFACTION1<>ACTION2or|TEMP1-TEMP2|>T語法級(jí)整合將原語分層三類：表示動(dòng)作，對(duì)象和對(duì)象屬性72.多通道分層整合模型和算法語義級(jí)整合TASK:=<NAME,PARA1,PARA2,…,PARAi,…,PARAn>PARA:=<TYPE,DATA,TEMP>Mi=<TYPEi,DATAi,Tempi>(提交的任意參數(shù)〕MiTASK=<BANE,PARA1,PARA2,…,PARAj*,…PARAn> ifTYPEi=TYPEjand|TEMPi-TEMPj|/2<T, wherePARAj*表示整合的結(jié)果，其中 PARAj*=<TYPEi,DATAi,TEMPi>MiTASK=<BANE,PARA1,PARA2,…,PARAj,…PARAn> IFTYEPi<>TYPE1,2,…,j,…,nor|TEMPi–TEMPj|>T73.基于概率模型的指稱整合模型三級(jí)整合的整體結(jié)構(gòu)模型74.基于概率模型的指稱整合模型多通道整合的體系結(jié)構(gòu)75.基于概率模型的指稱整合模型多通道整合的體系結(jié)構(gòu)76.基于概率模型的指稱整合模型概率整合的根本機(jī)制77.基于概率模型的指稱整合模型概率變換發(fā)生在整合過程的不同階段交互元素提取器在某一時(shí)刻t輸出整合概率Pi(t)(1

i

m,m為通道數(shù))命令整合器在某一段時(shí)間段[t0,tn]內(nèi)接受來自各交互元素提取器產(chǎn)生的整合概率Pi(tj)(1

i

m,1

j

n)對(duì)于每個(gè)交互元素i,在[t0,tn]經(jīng)過整合，得到與時(shí)間無關(guān)的整合概率：78.基于概率模型的指稱整合模型不同階段的概率變換79.基于概率模型的指稱整合模型－幾個(gè)重要問題交互周期從用戶發(fā)動(dòng)一個(gè)交互任務(wù)到提交系統(tǒng)完成該交互任務(wù)時(shí)間間隔，是交互任務(wù)的根本單位“超時(shí)“閥值為了支持回溯事件,工作事件隊(duì)列WEQ保存給定時(shí)間內(nèi)的所有事件可能會(huì)溢出不同參數(shù)對(duì)WEQ的遍歷深度可能不同80.基于概率模型的指稱整合模型－幾個(gè)重要問題時(shí)序問題時(shí)序適應(yīng)向用戶界面自然性的重要特性多通道用戶界面應(yīng)當(dāng)支持非時(shí)序性，允許用戶以任何合理的順序指定交互任務(wù)的各種交互元素如何根據(jù)非嚴(yán)格時(shí)序交互捕捉用戶的交互意圖首先確定動(dòng)作在獲得了任務(wù)的結(jié)構(gòu)后，就獲得了任務(wù)結(jié)構(gòu)中各參數(shù)之間的時(shí)序關(guān)系可以按有序和無序的要求填寫參數(shù)槽81.基于概率模型的指稱整合模型－幾個(gè)重要問題交互上下文事件的指向〔是否有目標(biāo)〕、系統(tǒng)的狀態(tài)、應(yīng)用語義響應(yīng)特性通道相關(guān)概率根據(jù)交互任務(wù)的匹配特性，不同通道和設(shè)備適合于不同的交互任務(wù)，通道和設(shè)備對(duì)于完成任務(wù)的自然形成都會(huì)有所不同同一事件可解釋為不同參數(shù)，但具有不同的概率，不同事件可解釋為同一參數(shù)，概率各不相同82.基于模糊識(shí)別模型的視線交互整合模型視線交互將視線交互抽象成不精確的指稱，采用模糊識(shí)別模型進(jìn)行視線的交互整合手勢(shì)的指點(diǎn)范圍 83.基于模糊識(shí)別模型的視線交互整合模型人機(jī)交互中的指稱技術(shù)自然語言處理技術(shù)指稱處理描述式直指式指代式目標(biāo)選擇與指稱按名引用〔描述式〕屬性描述〔描述式〕空間引用〔直指式〕時(shí)間引用〔指代式〕指代〔指代式〕間接引用〔描述式和直指式結(jié)合〕84.基于模糊識(shí)別模型的視線交互整合模型人機(jī)交互中的指稱技術(shù)參數(shù)指定與指稱可以用語言描述35直指式間接方式人機(jī)交互中的模糊信息多通道用戶界面需處理模糊信息，在多通道整合中集中處理85.基于模糊識(shí)別模型的視線交互整合模型模糊目標(biāo)選擇與參數(shù)指定算法屬性模糊集確實(shí)定將目標(biāo)的可描述屬性視為一個(gè)模糊集域，每個(gè)目標(biāo)屬性可以用適當(dāng)?shù)恼Z言變量的原詞來概括空間位置：上、下、左、右、中、前、后、左上、東形狀大?。捍?、中、寬、圓的顏色特征：日常顏色名稱特征：在上下文中并不能唯一確定的個(gè)體和忽略大小寫、拼寫錯(cuò)的名稱等位序模糊特征：下一個(gè)、前面的、附近的、剛剛經(jīng)過的86.基于模糊識(shí)別模型的視線交互整合模型模糊目標(biāo)選擇與參數(shù)指定算法屬性模糊集確實(shí)定直指模糊集87.基于模糊識(shí)別模型的視線交互整合模型模糊目標(biāo)選擇與參數(shù)指定算法指稱范圍確實(shí)定特定單項(xiàng)選擇非特定單項(xiàng)選擇復(fù)選指定詞聚集確實(shí)定模糊目標(biāo)選擇算法需要識(shí)別和處理四類描述詞匯屬性形容詞：大的、紅的修飾副詞：很、稍微、一些、一點(diǎn)、最范圍限定詞：這個(gè)、一個(gè)、所有、每個(gè)連接詞：而且、或是、不是、非88.基于模糊識(shí)別模型的視線交互整合模型模糊目標(biāo)選擇與參數(shù)指定算法隸屬函數(shù)確實(shí)定位置：采用以目標(biāo)中心點(diǎn)為自變量的分段函數(shù)形狀大?。合日页鰠⒖紭?biāo)準(zhǔn)，在確定目標(biāo)的實(shí)際指標(biāo)與標(biāo)準(zhǔn)值之間的函數(shù)關(guān)系顏色:GRB模型計(jì)算距離位序：離散形式直指：興趣區(qū)域89.基于模糊識(shí)別模型的視線交互整合模型模糊目標(biāo)選擇與參數(shù)指定算法模糊目標(biāo)識(shí)別特征抽?。簭膶?duì)象xi(i=0,2,…n)中提取與識(shí)別有關(guān)的特征，并監(jiān)測(cè)xi在各個(gè)特征上的具體數(shù)據(jù)，將對(duì)象xi轉(zhuǎn)換為模式p(xi)=(xi1,xi2,…,xin)建立隸屬函數(shù)A：識(shí)別判決：找出最接近的模糊集A最大原那么閥值原那么混合原那么90.基于模糊識(shí)別模型的視線交互整合模型目標(biāo)識(shí)別算法根據(jù)用戶描述的屬性信息分析并選取有關(guān)特征，形成目標(biāo)模式根據(jù)目標(biāo)模式的隸屬度函數(shù)，計(jì)算交互場(chǎng)景中每個(gè)目標(biāo)在“描述屬性〞中所涉及的屬性模糊子集上的隸屬度根據(jù)描述屬性中包含的邏輯關(guān)系和程度修飾詞，計(jì)算目標(biāo)的復(fù)合隸屬度假設(shè)復(fù)選操作，那么使用“閥值原那么〞判決，選擇出隸屬度高于閥值的所有目標(biāo)假設(shè)為單項(xiàng)選擇操作，那么綜合使用“閥值原那么〞和“最大原那么〞91.基于模糊識(shí)別模型的視線交互整合模型模糊參數(shù)指定參數(shù)通常是連續(xù)的和無限的從用戶描述信息中提取參數(shù)的本質(zhì)是去除模糊性對(duì)于用戶未提到的屬性緯度，可以使用平均參數(shù)隨機(jī)參數(shù)缺省參數(shù)對(duì)于用戶提到的屬性維度，可在模糊集中使用極大；極?。恢虚g；隨機(jī)策略92.5.4實(shí)例介紹多通道人機(jī)交互與許多領(lǐng)域緊密相關(guān)，包括：多媒體、虛擬現(xiàn)實(shí)、模式識(shí)別〔語音識(shí)別、手寫識(shí)別、表情識(shí)別及相應(yīng)的合成技術(shù)〕、自然語言處理等。以基于多通道交互技術(shù)的虛擬座艙和象棋游戲?yàn)槔f明多通道人機(jī)交互的特性93.基于多通道交互技術(shù)的虛擬座艙利用虛擬座艙系統(tǒng)來開展座艙設(shè)計(jì)新概念是一種有效的方法易于重構(gòu)和低費(fèi)用是利用虛擬座艙系統(tǒng)的有利因素在虛擬座艙系統(tǒng)中采用多通道用戶界面設(shè)計(jì)是座艙開展的趨勢(shì)飛機(jī)性能的日益提高使得飛行員與機(jī)器之間的信息交換更加頻繁，如何拓寬信息傳輸通道是迫切需要解決的問題通過多通道來交換信息是解決問題的主要方法94.虛擬座艙系統(tǒng)的構(gòu)成虛擬座艙系統(tǒng)通過視覺、聽覺、觸覺向飛行員提供信息，飛行員通過言語、手來控制飛行。虛擬座艙系統(tǒng)由硬件和軟件兩局部組成95.硬件組成整個(gè)虛擬座艙系統(tǒng)的硬件組成包括座艙框架、油門桿、駕駛桿、座椅、話筒、觸摸屏、三對(duì)影像以及兩臺(tái)顯示器。這些硬件通過兩臺(tái)計(jì)算機(jī)整合在一個(gè)系統(tǒng)里座艙框架、座椅定義了座艙的輪廓；由手控制的油門桿、駕駛桿向飛機(jī)輸入了油門、俯仰角