第4章交互技術(shù)f

1、計(jì)算機(jī)科學(xué)與技術(shù)系Lecture 42內(nèi)容提要n掌握人機(jī)交互輸入模式n掌握基本交互技術(shù)n掌握?qǐng)D形交互技術(shù)n掌握筆交互技術(shù)Lecture 434.1人機(jī)交互輸入模式 n由于輸入設(shè)備是多種多樣的，而且對(duì)一個(gè)應(yīng)用程序而言，可以有多個(gè)輸入設(shè)備，同一個(gè)設(shè)備又可能為多個(gè)任務(wù)服務(wù)，這就要求對(duì)輸入過(guò)程的處理要有合理的模式。q請(qǐng)求模式(Request Mode)q采樣模式（Sample Mode）q事件模式（Event Mode）Lecture 444.1人機(jī)交互輸入模式 n請(qǐng)求模式q在請(qǐng)求模式下，輸入設(shè)備的啟動(dòng)是在應(yīng)用程序中設(shè)置的。應(yīng)用程序執(zhí)行過(guò)程中需要輸入數(shù)據(jù)時(shí)，暫停程序的執(zhí)行，直到從輸入設(shè)備接受到請(qǐng)求的輸

2、入數(shù)據(jù)后，才繼續(xù)執(zhí)行程序。程序工作，輸入設(shè)備等待程序請(qǐng)求遇到請(qǐng)求指令輸入設(shè)備工作，程序等待接收數(shù)據(jù)請(qǐng)求滿足圖4-1 請(qǐng)求模式的工作過(guò)程4.1人機(jī)交互輸入模式 n采樣模式q輸入設(shè)備和應(yīng)用程序獨(dú)立地工作。輸入設(shè)備連續(xù)不斷地把信息輸入進(jìn)來(lái)，信息的輸入和應(yīng)用程序中的輸入命令無(wú)關(guān)。應(yīng)用程序在處理其它數(shù)據(jù)的同時(shí)，輸入設(shè)備也在工作，新的輸入數(shù)據(jù)替換以前的輸入數(shù)據(jù)。當(dāng)應(yīng)用程序遇到取樣命令時(shí)，讀取當(dāng)前保存的輸入設(shè)備數(shù)據(jù)。q優(yōu)點(diǎn)：這種模式對(duì)連續(xù)的信息流輸入比較方便，也可同時(shí)處理多個(gè)輸入設(shè)備的輸入信息。q缺點(diǎn)：當(dāng)應(yīng)用程序的處理時(shí)間較長(zhǎng)時(shí)，可能會(huì)失掉某些輸入信息。程序工作數(shù)據(jù)采樣數(shù)據(jù)生成數(shù)據(jù)緩存區(qū)輸入設(shè)備工作圖4-2

3、 采樣模式的工作過(guò)程4.1人機(jī)交互輸入模式 n事件模式q輸入設(shè)備和程序并行工作。輸入設(shè)備把數(shù)據(jù)保存到一個(gè)輸入隊(duì)列，也稱為事件隊(duì)列，所有的輸入數(shù)據(jù)都保存起來(lái)，不會(huì)遺失。應(yīng)用程序隨時(shí)可以檢查這個(gè)事件隊(duì)列，處理隊(duì)列中的事件，或刪除隊(duì)列中的事件。應(yīng)用程序事件檢查事件調(diào)用過(guò)程模塊處理類型1事件的過(guò)程處理類型n事件的過(guò)程輸入設(shè)備圖4-3 事件模式4.2 基本交互技術(shù)n定位q確定平面或空間的一個(gè)點(diǎn)的坐標(biāo)，是交互中最基本的輸入技術(shù)之一。q直接定位：用定位設(shè)備直接指定某個(gè)對(duì)象的位置，是一種精確定位方式。q間接定位：通過(guò)定位設(shè)備的運(yùn)動(dòng)控制屏幕上的映射光標(biāo)進(jìn)行定位，是一種非精確定位方式。其允許指定的點(diǎn)位于一個(gè)坐標(biāo)范

4、圍內(nèi)，一般用鼠標(biāo)等指點(diǎn)設(shè)備配合光標(biāo)來(lái)實(shí)現(xiàn)。圖4-4 3DS Max中的精確定位4.2 基本交互技術(shù)n筆劃q筆劃輸入用于輸入一組順序的坐標(biāo)點(diǎn)。它相當(dāng)于多次調(diào)用定位輸入，輸入的一組點(diǎn)常用于顯示折線或作為曲線的控制點(diǎn)。4.2 基本交互技術(shù)n定值q定值（或數(shù)值）輸入用于設(shè)置物體旋轉(zhuǎn)角度、縮放比例因子等4.2 基本交互技術(shù)n選擇q選擇是在某個(gè)選擇集中選出一個(gè)元素，通過(guò)注視、指點(diǎn)或接觸一個(gè)對(duì)象，使對(duì)象成為后續(xù)行為的焦點(diǎn)，是操作對(duì)象時(shí)不可缺少的一部分。n鍵盤 Ctrl+An鼠標(biāo)圖4-6 選擇4.2 基本交互技術(shù)n字符串4.3圖形交互技術(shù)nWIMP界面由窗口(Windows)、圖標(biāo)(Icons)、菜單(Men

5、us)、指點(diǎn)設(shè)備(Pointing Device)四位一體，形成桌面(Desktop)4.3圖形交互技術(shù)n幾何約束q幾何約束可以用于對(duì)圖形的方向、對(duì)齊方式等進(jìn)行規(guī)定和校準(zhǔn)。q對(duì)定位的約束（網(wǎng)格吸附） 圖4-9 Adobe Photoshop 網(wǎng)格線例如，定義不可見網(wǎng)格線為： x=10i, y=10j,其中i,j=0,n。 設(shè)輸入點(diǎn)的坐標(biāo)為（x, y），則離它最近的網(wǎng)格點(diǎn)的坐標(biāo)為：(10*( )5)/10,10*( )5)/10)round xround y(10*( )5)/10,10*( )5)/10)round xround y(10*( )5)/10,10*( )5)/10)round

6、xround y (10*( )5)/10,10*( )5)/10)round xround y4.3圖形交互技術(shù)n幾何約束q方向約束n例如要繪的垂直或水平方向的線，當(dāng)給定的起點(diǎn)和終點(diǎn)連線和水平線的交角小于45時(shí)，便可繪出一條水平線，否則就繪垂直線。繪制印刷線路板、管網(wǎng)圖或地籍圖時(shí)非常有用。n在Word繪圖中，通過(guò)鎖定縱橫比，在拖動(dòng)線段一個(gè)端點(diǎn)時(shí)，線段只是沿原來(lái)方向放縮4.3圖形交互技術(shù)n引力場(chǎng)q引力場(chǎng)也可以看作是一種定位約束，通過(guò)在特定圖素（如直線段）周圍假想有一個(gè)區(qū)域，當(dāng)光標(biāo)中心落在這個(gè)區(qū)域內(nèi)時(shí)，就自動(dòng)地被直線上最近的一個(gè)點(diǎn)所代替，就好像一個(gè)質(zhì)點(diǎn)進(jìn)入了直線周圍的引力場(chǎng)，被吸引到這條直線上去

7、一樣。q引力場(chǎng)的大小要適中，太小了不易進(jìn)入引力區(qū)，太大了線和線的引力區(qū)相交，光標(biāo)在進(jìn)入引力區(qū)相交部分時(shí)可能會(huì)被吸引到不希望選的線段上去，增大誤接的概率。 4.3圖形交互技術(shù)n拖動(dòng)q要把一個(gè)對(duì)象移動(dòng)到一個(gè)新的位置時(shí)，如果我們不是簡(jiǎn)單地用光標(biāo)指定新位置的一個(gè)點(diǎn)，而是當(dāng)光標(biāo)移動(dòng)時(shí)拖動(dòng)著被移動(dòng)的對(duì)象，這樣會(huì)使用戶感到更直觀，并可使對(duì)象放置的位置更恰當(dāng)。q圖形模式和圖像模式n在圖形模式下，當(dāng)將圖形由一個(gè)位置拖到新的位置時(shí)，實(shí)際上是在移動(dòng)的位置上按特定的象素操作模式（如異或方式）進(jìn)行了圖形的重新繪制，這樣被拖動(dòng)的圖形不會(huì)破壞掃過(guò)的軌跡上的圖形。n在圖像模式下，當(dāng)將一個(gè)圖形由一個(gè)位置拖到一個(gè)新的位置時(shí)，實(shí)際

8、上是進(jìn)行了圖像的整體移動(dòng)，即首先將新位置上按拖動(dòng)圖像大小范圍將屏幕圖像保存，然后將拖動(dòng)的圖像移動(dòng)到新位置，當(dāng)拖動(dòng)圖像離開該位置而移動(dòng)到下一個(gè)新位置時(shí)，再恢復(fù)該位置上保存的屏幕圖像。4.3圖形交互技術(shù)n橡皮筋技術(shù)q被拖動(dòng)對(duì)象的形狀和位置隨著光標(biāo)位置的不同而變化。q不斷地進(jìn)行畫圖擦除畫圖的過(guò)程n（1）從起點(diǎn)到光標(biāo)中心點(diǎn)（x，y）處畫圖；n（2）擦除起點(diǎn)到光標(biāo)中心點(diǎn)（x，y）處的圖形；n（3）光標(biāo)移動(dòng)到新的位置：x=x+x，y=y+y；n（4）轉(zhuǎn)第（1）步，重復(fù)這個(gè)過(guò)程，直到按下確認(rèn)鍵為止。4.3圖形交互技術(shù)n操作柄技術(shù)q可以用來(lái)對(duì)圖形對(duì)象進(jìn)行縮放、旋轉(zhuǎn)、錯(cuò)切等幾何變換。先選擇要處理的圖形對(duì)象，該圖

9、形對(duì)象的周圍會(huì)出現(xiàn)操作柄，移動(dòng)或旋轉(zhuǎn)操作柄就可以實(shí)現(xiàn)相應(yīng)的變換。4.3圖形交互技術(shù)n三維交互技術(shù)q面臨問(wèn)題n三維交互技術(shù)采用六自由度輸入設(shè)備。所謂六自由度，指沿三維空間X、Y、Z軸平移和繞X、Y、Z軸旋轉(zhuǎn)，而現(xiàn)在流行的用于桌面型圖形界面的交互設(shè)備，如鼠標(biāo)、軌跡球、觸摸屏等只有兩個(gè)自由度(沿平面X、Y軸平移)。n窗口、菜單、圖符和傳統(tǒng)的二維光標(biāo)在三維交互環(huán)境中會(huì)破壞空間感，用戶難以區(qū)分屏幕上光標(biāo)選擇到對(duì)象的深度值和其他顯示對(duì)象的深度值，使交互過(guò)程非常不自然。三維交互技術(shù)n直接操作q三維光標(biāo)必須有深度感，即必須考慮光標(biāo)與觀察者距離，離觀察者近的時(shí)候較大，離觀察者遠(yuǎn)的時(shí)候較小。q為保持三維用戶界面的

10、空間感，光標(biāo)在遇到物體時(shí)不能進(jìn)入到或穿過(guò)物體內(nèi)部。q為了增加額外的深度線索，輔助三維對(duì)象的選擇，可以采用半透明三維光標(biāo)。q三維光標(biāo)可以是人手的三維模型圖4-17 虛擬手三維交互技術(shù)n三維Widgetsq三維交互界面中的一些小工具n三維空間中漂浮的菜單、用于拾取物體的手的三維圖標(biāo)、平移和旋轉(zhuǎn)指示器等。q1992年美國(guó)Brown大學(xué)計(jì)算機(jī)系提出三維Widget設(shè)計(jì)原則n三維Widget的幾何形狀應(yīng)能表示其用途（eg:一個(gè)用來(lái)扭曲物體的Widget，最好本身就是一個(gè)扭曲的物體）n適當(dāng)選擇Widget控制的自由度由于三維空間有六個(gè)自由度，有時(shí)會(huì)使三維交互操作變得過(guò)于復(fù)雜，因此在用戶使用某種Widget

11、時(shí)，可以固定或者自動(dòng)計(jì)算某些自由度的值n根據(jù)三維用戶界面的用途確定Widget的功能。例如，用于藝術(shù)和娛樂(lè)的三維用戶界面的Widget，只要能夠完成使畫面看起來(lái)像的操作就可以了，而用于工業(yè)設(shè)計(jì)和制造的用戶界面，則必須保證交互操作參數(shù)的精確性。三維交互技術(shù)n三視圖輸入q用二維輸入設(shè)備在一定程度上實(shí)現(xiàn)三維的輸入。n如果輸入一個(gè)三維點(diǎn)，只要在兩個(gè)視圖上把點(diǎn)的對(duì)應(yīng)位置指定后便唯一確定了三維空間中的一個(gè)點(diǎn)；n把直線段上兩端點(diǎn)在三視圖上輸入后便可決定三維空間的一條直線；n把一個(gè)面上的各頂點(diǎn)在三視圖上輸入后，也唯一確定了三維空間中的一個(gè)面；n如果把一個(gè)多面體上的各面均用上述方法輸入， 也就在三維空間中輸入了

12、一個(gè)多面體。4.4 語(yǔ)音交互技術(shù)n語(yǔ)音合成n語(yǔ)音識(shí)別q計(jì)算機(jī)通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本文件或命令的技術(shù)，其所涉及的領(lǐng)域包括：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽覺(jué)機(jī)理、人工智能等。q目前主流的語(yǔ)音識(shí)別技術(shù)是基于統(tǒng)計(jì)的模式識(shí)別的基本理論。n語(yǔ)音識(shí)別系統(tǒng)大致可分為語(yǔ)音特征提取，聲學(xué)模型與模式匹配，以及語(yǔ)言模型與語(yǔ)義理解語(yǔ)音識(shí)別系統(tǒng)n1. 語(yǔ)音特征提取q輸入的模擬語(yǔ)音信號(hào)首先要進(jìn)行預(yù)處理，包括預(yù)濾波、采樣和量化、加窗、端點(diǎn)檢測(cè)、預(yù)加重等。q基于語(yǔ)音幀的特征提取方法：將語(yǔ)音信號(hào)分為有重疊的若干幀，對(duì)每一幀提取語(yǔ)音特征。語(yǔ)音識(shí)別系統(tǒng)n2. 聲學(xué)模型與模式匹配q聲學(xué)模型對(duì)應(yīng)于

13、語(yǔ)音到音節(jié)概率的計(jì)算。在識(shí)別時(shí)將輸入的語(yǔ)音特征同聲學(xué)模型進(jìn)行匹配與比較，得到最佳的識(shí)別結(jié)果q目前采用的最廣泛的建模技術(shù)是隱馬爾科夫模型HMM建模和上下文相關(guān)建模n隱馬爾科夫模型HMM建模qHMM刻畫語(yǔ)音信號(hào)需作出兩個(gè)假設(shè)n一是內(nèi)部狀態(tài)的轉(zhuǎn)移只與上一狀態(tài)有關(guān)n另一是輸出值只與當(dāng)前狀態(tài)（或當(dāng)前的狀態(tài)轉(zhuǎn)移）有關(guān)q語(yǔ)音識(shí)別中使用HMM通常是用從左向右單向、帶自環(huán)、帶跨越的拓?fù)浣Y(jié)構(gòu)來(lái)對(duì)識(shí)別基元建模，一個(gè)音素就是一個(gè)三至五狀態(tài)的HMM，一個(gè)詞就是構(gòu)成詞的多個(gè)音素的HMM串行起來(lái)構(gòu)成的HMM，而連續(xù)語(yǔ)音識(shí)別的整個(gè)模型就是詞和靜音組合起來(lái)的HMM。n上下文相關(guān)建模方法q建模時(shí)考慮了協(xié)同發(fā)音的影響q協(xié)同發(fā)音是指

14、一個(gè)音受前后相鄰音的影響而發(fā)生變化，從發(fā)聲機(jī)理上看就是人的發(fā)聲器官在一個(gè)音轉(zhuǎn)向另一個(gè)音時(shí)只能逐漸變化，從而使得后一個(gè)音的頻譜與其他條件下的頻譜產(chǎn)生差異。q英語(yǔ)的上下文相關(guān)建模通常以音素為基元語(yǔ)音識(shí)別系統(tǒng)n3. 語(yǔ)言模型與語(yǔ)義理解q語(yǔ)言模型計(jì)算音節(jié)到字的概率。n規(guī)則模型n統(tǒng)計(jì)模型q用概率統(tǒng)計(jì)的方法來(lái)揭示語(yǔ)言單位內(nèi)在的統(tǒng)計(jì)規(guī)律，其中N-Gram模型簡(jiǎn)單有效，被廣泛使用。qN-Gram模型基于這樣一種假設(shè)，第n個(gè)詞的出現(xiàn)只與前面n-1個(gè)詞相關(guān)，而與其它任何詞都不相關(guān)，整句的概率就是各個(gè)詞出現(xiàn)概率的乘積。這些概率可以通過(guò)直接從語(yǔ)料中統(tǒng)計(jì)n個(gè)詞同時(shí)出現(xiàn)的次數(shù)得到。常用的是二元的Bi-Gram和三元的Tr

15、i-Gram。微軟語(yǔ)音軟件開發(fā)包nMicrosoft Speech SDKqSpeech API（SAPI）nAPI for Text-to-Speech把文本轉(zhuǎn)化為語(yǔ)音輸出q金山詞霸的單詞朗讀功能ISpVoice * pVoice = NULL;HRESULT hr = CoCreateInstance(CLSID_SpVoice, NULL, CLSCTX_ALL, IID_ISpVoice, (void *)&pVoice);pVoice-Speak(LHello world, 0, NULL);nAPI for Speech Recognition語(yǔ)音識(shí)別應(yīng)用程序接口,聲波轉(zhuǎn)換成文字4

16、.5筆交互技術(shù)n筆式用戶界面，中國(guó)科學(xué)院軟件研究所戴國(guó)忠研究員等提出了PIBG 范式qPIBG范式:P(Physical object)、IB(Icons,Buttons)、G(Gesture)qWIMP范式:W(windows)、I M (icons，menus)、P(pointing systems) 相對(duì)應(yīng)。4.5.1 手寫識(shí)別技術(shù)n脫機(jī)識(shí)別：機(jī)器對(duì)于已經(jīng)寫好或印刷好的靜態(tài)的語(yǔ)言文本圖像的識(shí)別；n聯(lián)機(jī)識(shí)別：用筆在輸入板上寫：用戶一邊寫，機(jī)器一邊進(jìn)行識(shí)別，可實(shí)時(shí)人機(jī)交互。n手寫體識(shí)別的方法和識(shí)別率取決于對(duì)手寫約束的層次，這些約束主要是手寫的類型、用戶的數(shù)量、詞匯量的大小以及空間的布局。聯(lián)機(jī)

17、手寫識(shí)別n系統(tǒng)通過(guò)記錄文字圖像抬筆、落筆、筆跡上各像素的空間位置，以及各筆段之間的時(shí)間關(guān)系等信息，對(duì)這些信息進(jìn)行處理。n在處理過(guò)程中，系統(tǒng)以一定的規(guī)則提取信息特征，再由識(shí)別模塊將信息特征與識(shí)別庫(kù)的特征進(jìn)行比較，加以識(shí)別。（筆輸入的識(shí)別特征庫(kù)是基于許多人習(xí)慣的書寫筆順的統(tǒng)計(jì)特征建立的。）n最后轉(zhuǎn)化為計(jì)算機(jī)所使用的文字代碼。漢字手寫輸入板預(yù)處理模式表達(dá)（特征提?。┡袆e（分類或句法分析）字典（特征模板集合或句法規(guī)則集合）漢字代碼脫機(jī)手寫識(shí)別n困難：q脫機(jī)手寫識(shí)別得到的描述則是點(diǎn)陣圖像，要得到筆段的點(diǎn)陣通常需要細(xì)化運(yùn)算。細(xì)化會(huì)損失一些信息，并且不可能得到時(shí)間順序信息。q脫機(jī)識(shí)別中，筆畫與筆畫之間經(jīng)常粘

18、連，很難拆分，而且筆段經(jīng)過(guò)與另一筆段交叉分成兩段后，也難以分清是否應(yīng)該連起來(lái)。n結(jié)構(gòu)識(shí)別、統(tǒng)計(jì)識(shí)別以及神經(jīng)網(wǎng)絡(luò)方法脫機(jī)手寫識(shí)別n結(jié)構(gòu)識(shí)別方法q漢字的組成結(jié)構(gòu):由筆劃(點(diǎn)、橫、豎、撇、捺等)、偏旁、部首構(gòu)成q通過(guò)把復(fù)雜的漢字模式分解為簡(jiǎn)單的子模式直至基本模式元素，對(duì)子模式的判定以及基于符號(hào)運(yùn)算的匹配算法，實(shí)現(xiàn)對(duì)復(fù)雜模式的識(shí)別。q優(yōu)點(diǎn)是區(qū)分相似字的能力強(qiáng)，缺點(diǎn)是抗干擾能力差。脫機(jī)手寫識(shí)別n統(tǒng)計(jì)識(shí)別方法q將漢字看為一個(gè)整體，其所有的特征是從整體上經(jīng)過(guò)大量的統(tǒng)計(jì)而得到的，然后按照一定準(zhǔn)則所確定的決策函數(shù)進(jìn)行分類判決。q統(tǒng)計(jì)識(shí)別的特點(diǎn)是抗干擾性強(qiáng)，缺點(diǎn)是細(xì)分能力較弱。n神經(jīng)網(wǎng)絡(luò)q具有學(xué)習(xí)能力和快速并行實(shí)現(xiàn)的特點(diǎn)，因此可以通過(guò)神經(jīng)網(wǎng)絡(luò)分類器的推廣能力準(zhǔn)則和特征提取器的有效特征提取準(zhǔn)則，對(duì)手寫字符進(jìn)行識(shí)別。數(shù)字墨水技術(shù)n通過(guò)三階貝塞爾曲線來(lái)描述筆輸入的筆跡，存儲(chǔ)方式使得數(shù)字墨水文件很小，從而可以更有效地進(jìn)行存儲(chǔ)。n數(shù)字墨水的處理包括數(shù)字墨水的表示、壓縮和顯示，智能的墨水分析技術(shù)，墨水標(biāo)記和注解技術(shù)，墨水的智能操作以及墨水存儲(chǔ)和搜索等一系列有關(guān)技術(shù)。q墨水解析技術(shù)可以將筆輸入的文字串解析成單字，從而將復(fù)雜的語(yǔ)句級(jí)手寫識(shí)別化繁為簡(jiǎn)，分解成語(yǔ)句解析和單字識(shí)別兩個(gè)部分。n微軟已實(shí)現(xiàn)了數(shù)字墨水技術(shù)對(duì)英文、德文、法文、韓文、日文、