人機交互繪圖技術和交互任務的概述與發(fā)展

1、人機交互繪圖技術和交互任務的概述與發(fā)展人機交互的定義人機交互（human computer interaction）是指用戶與計算機系統(tǒng)之間的通信，它是人與計算機之間各種符號和動作的雙向信息交換。這里,“交互”定義為一種通信，即信息交換，并且是一種雙向信息交換.可由人向計算機輸入信息，也可由計算機向用戶反饋信息。兩種交互設備本章討論內容本章介紹人機交互所涉及的基本問題,主要討論基于圖形設計與編輯的應用開發(fā)中所用到的人機交互技術：基本交互任務常見的輔助交互技術的實現(xiàn)人機交互輸入模式人機交互新技術人機交互的發(fā)展趨勢第六章人機交互與人機界面基本交互任務基本交互任務1. 定位2. 筆畫3. 定值4.

2、選擇 5. 拾取6. 字符串 為了幫助操作員完成某種輸入操作，計算機應該在輸入過程中顯示某些反映操作的信息（反饋）。則交互任務（交互技術）便成為設計應用系統(tǒng)用戶接口的基本要素。1. 定位1)定位是確定平面一點(x, y)或空間一點(x, y, z)的坐標。 如：確定一個圓的圓心，或確定一條直線的兩個端點。直接定位直接定位是用定位設備直接指定某個點的位置,如鍵盤輸入，光筆確定位置等。直接定位方法可以準確地給點定位.間接定位間接定位指通過定位設備的運動控制屏幕上的光標進行定位。如在移動鼠標時，根據(jù)鼠標移動的相對距離去控制屏幕上光標的移動。2) 定位設備(Locator) 定位設備用于指定用戶空間的

3、一個位置. 輸入方式包括直接或間接在屏幕上輸入,設置數(shù)值坐標等。觸摸板鍵盤間接輸入設備:1)最普通的定位設備:鼠標及屏幕上的光標。2)操縱桿、數(shù)字化儀及按鍵盤上的方向鍵也可以控制光標的移動。直接輸入設備光筆、數(shù)字化儀、觸摸屏當要輸入一張圖紙時，最合適的辦法就是使用數(shù)字化儀輸入圖上各點的絕對座標。1968年，鼠標的原型誕生，道格恩格爾巴特。施樂公司將其用在了A lot系統(tǒng)中，83年Apple公司 Lisa計算機，第一臺使用鼠標的系統(tǒng)，之后是蘋果個人PC系列。 施樂公司A lot系統(tǒng)Apple的Lisa光機鼠標內部結構羅技勁貂光電鼠標無線電式鼠標的學名叫DRF（Digital radio freq

4、uency，數(shù)字無線電頻率） 純機械鼠標工作的原理很簡單，它采用一個小滾球和桌面接觸，當滾球移動的時候，滾球推動壓力滾軸滾動，滾軸的另一邊連著編碼器，在每個編碼器上呈圓形排列的觸點。當滾球滾動時，經(jīng)過傳導，使觸點會依次碰到接觸條，從而產(chǎn)生計算機容易辨認的，“接通”和“斷開”，也就是“0”和“1”信號。通常鼠標內部有一個芯片會根據(jù)這些數(shù)據(jù)轉換成“X”和“Y”軸的位移，從而使光標移動。 機械光電鼠標：1接觸桌面的一個內置的球，當鼠標移動時跟著一塊滾動。2接觸球的兩個滑輪。一個用來探測X方向的運動，另一個與之成90度角，用來探測Y方向的運動。當球滾動時，這兩個滑輪的一個或者兩個跟著旋轉。3每個滑輪連

5、著一根軸，這個軸又帶著一個有孔的圓盤。當滑輪滾動時，軸和圓盤一起旋轉。4在圓盤的兩側有一個紅外發(fā)光二級管和一個紅外傳感器。圓盤轉時外圍的間隔孔阻隔了發(fā)光二級管發(fā)出的光線，因此另一邊的傳感器就接受到了光脈沖。 5處理芯片讀取紅外傳感器的脈沖并且把它轉換成二進制，然后通過鼠標電纜將此二進制數(shù)據(jù)送給電腦，被CPU接收，信號的數(shù)量和頻率對應著屏幕上的距離和速度。 光電鼠標的工作原理是：在光電鼠標內部有一個發(fā)光二極管，通過該發(fā)光二極管發(fā)出的光線，照亮光電鼠標底部表面（這就是為什么鼠標底部總會發(fā)光的原因）。然后將光電鼠標底部表面反射回的一部分光線，經(jīng)過一組光學透鏡，傳輸?shù)揭粋€光感應器件（微成像器）內成像。

6、這樣，當光電鼠標移動時，其移動軌跡便會被記錄為一組高速拍攝的連貫圖像。最后利用光電鼠標內部的一塊專用圖像分析芯片（DSP，即數(shù)字微處理器）對移動軌跡上攝取的一系列圖像進行分析處理，通過對這些圖像上特征點位置的變化進行分析，來判斷鼠標的移動方向和移動距離，從而完成光標的定位。 手柄：羅技公司的WingMan Extreme 操縱桿手柄：微軟的Sidewinder Freestyle Pro 最新式藍牙鼠標軌跡球光筆數(shù)字化儀觸摸屏手寫平板電腦鍵盤是計算機中使用最普遍的輸入設備，它一般由按鍵、導電塑膠、編碼器以及接口電路等組成。 在鍵盤上通常有上百個按鍵，每個按鍵負責一個功能，當用戶按下其中一個時，

7、鍵盤中的編碼器能夠迅速將此按鍵所對應的編碼通過接口電路輸送到計算機的鍵盤緩沖器中，由CPU進行識別處理。通俗地說也就是當用戶按下某個按鍵時，它會通過導電塑膠將線路板上的這個按鍵排線接通產(chǎn)生信號，產(chǎn)生了的信號會迅速通過鍵盤接口傳送到CPU中。1868年美國人肖爾斯申請了QWERTY鍵盤的專利 標準多夫拉克(Dvorak )鍵盤的設計明基鍵盤防水防塵技術微軟人體工學鍵盤Natural Keyboard愛國者人體工學鍵盤 Maxim（美信），從中間分開，并向下傾斜，這樣手放在鍵盤的時候可以形成一種自然的下垂姿勢，長期使用的話對手腕的傷害要遠小于傳統(tǒng)的鍵盤。 整體的，無法分開的，鍵盤的按鍵分布在兩側，

8、并且向下凹，可以搭配右邊的腳踏板，腳踏板可以實現(xiàn)Shift 和Enter的功能，解放出部分手的工作。 明基鍵盤防水防塵技術新加坡創(chuàng)新科技有限公司 集合midi音樂鍵盤的鍵盤 愛國者超薄手感王KB-F920，最薄處不到1cm 在2米內無方向、角度的限制，不因障礙物阻礙傳輸 微軟的Office 鍵盤，為了讓Office 用戶使用更簡便， 傳統(tǒng)的F鍵都被賦予其它的功能。用戶可以使用F鍵快速打開平常使用的Office軟件中的各項程序和功能。 蘋果公司內置觸摸板的鍵盤，可以作為鼠標定位，可以作為手寫筆輸入設備，還可以把它當成一個小繪圖板使用 折疊鍵盤 羅技TypeAway折疊鍵盤 折疊鍵盤,鍵盤折疊后僅

9、僅比一般PDA寬一點點 西門子虛擬鍵盤 如何在程序中實現(xiàn)VC:Message map macros and message handlers:MessageMessage Map MacroFunctionWM_LBUTTONDOWNON_WM_LBUTTONDOWNOnLButtonDownWM_MOUSEMOVEON_WM_MOUSEMOVEOnMouseMovePrototyped as follows:afx_msg void OnMsgName(UINT nFlags,CPoint point);Where point is the mouse location at the act

10、ion and nFlags is the state of the mouse buttons, Shift and Ctrl keys. 如何在程序中實現(xiàn)VC: 如何在程序中實現(xiàn)java:MouseMotionListener public void mouseDragged (MouseEvent e) /實現(xiàn)mouseDragged方法 String s = Mouse dragging : X=+e.getX()+Y = +e.getY(); tf.setText(s); public void mouseMoved(MouseEvent e) 如何在程序中實現(xiàn)java:KeyEve

11、ntKeyListenerpublic interface KeyListener extends EventListener public void keyPressed(KeyEvent ev);public void keyReleased(KeyEvent ev);public void keyTyped(KeyEvent ev);VK_0 VK_9 public char getKeyChar(); 2. 筆畫1)筆畫輸入用于輸入一組坐標，相當于多次調用定位輸入. 輸入的一組點常用于顯示折線或作為曲線的控制點。2)筆畫設備 用于指定用戶空間中一組有序點的位置,如指定一條折 線的頂點組

12、、指定一條自由曲線的控制點等。鼠標、軌跡球、游戲棒連續(xù)移動的信號經(jīng)轉換成為一組坐標值。圖形輸入板的連續(xù)模式可通過按鍵激活。當光標在圖形輸入板表面上移動時，就產(chǎn)生一組坐標值。與定位設備的輸入方式一致：包括直接或間接在屏幕上輸入,設置數(shù)值坐標等。許多用于產(chǎn)生定位輸入的物理設備均可以用作筆畫設備，如鼠標、軌跡球和圖形輸入板等。 3. 定值定值（或數(shù)值）輸入用于設置物體旋轉角度、縮放比例因子等。它是要在給定的數(shù)字范圍內輸入一個值。1)可用鍵盤鍵入數(shù)值.2)可用軟件的方法在屏幕上繪制一刻度尺或比例尺，用戶可用定位設備控制光標在尺子上移動實現(xiàn)數(shù)值的輸入。3)用刻度盤實現(xiàn)數(shù)值輸入的原理也一樣，操作員控制從圓

13、心出發(fā)的線段繞圓心旋轉，根據(jù)顯示的角度讀數(shù)或比例數(shù)據(jù)來定值.4)如果要輸入一個精確的數(shù)，最好還是用鍵盤輸入。定值的幾種方法4. 選擇選擇是在某選擇集中選出一個元素，它可以用于指定命令，確定操作對象或選定屬性等。1)可用鼠標移動光標到要選圖 元附近的位置，按下鼠標的 按鈕，通過軟件選擇距光標 最近的圖元。2)可用鍵盤上的按鍵，如功能鍵. 鍵盤選擇也極為簡單，如擊數(shù)字鍵“1”表示使用綠色繪制，“2”表示使用藍色繪制等 .3)菜單功能使用最普遍，也是非常重要的一種交互方法。使用菜單可改善應用系統(tǒng)用戶接口的友好性。對話框的內容極豐富，在對話框中通常用于選擇功能的是選擇開關及radio按鈕（單選按鈕，以

14、小圓框打點表示被選中）。5. 拾取 1)拾取的功能是選擇圖形對象，用于選擇場景中即將進行變換或編輯的部分。拾取一個對象的方法有：指定名稱法:通過指定欲拾取對象的名稱實現(xiàn).特征點法:選擇時讓圖形的特征點（如線段的端點，圓心等）以強光醒目顯示,來拾取對象.邊界盒法:對每一個子圖預先求一個邊界盒或比邊界盒大一點的邊界盒。分類法:分別將點,折線,弧等在有關按鍵的控制下進行拾取。 6. 字符串鍵盤是目前輸入字符串最常用的設備。向應用程序輸入字符串。如為某對象確定名字、為某圖紙輸入加注文字等。輸入方式:鍵盤輸入、手寫輸入、聲音輸入、菜單輸入寫字板書寫時筆畫的次序可被系統(tǒng)記錄下來，因而比脫機掃描輸入識別具有

15、更多信息，具有更高的識別率。語音輸入也是字符串輸入以及功能選擇的一種輸入方法.語音輸入需要使用語音識別技術。 手寫板語音輸入手寫平板電腦三維交互設備PHIGS除了將圖形輸入設備分為以上六類之外，還支持三維輸入設備，以便使三維空間定位、拾取等操作更為方便。如三維位置測試儀、數(shù)據(jù)手套、數(shù)據(jù)頭盔的三維定位等。 日本 紅外線激光器6.2 常見的輔助交互技術 6.2.1 幾何約束定位約束技術在屏幕上定義一個可見或不可見的網(wǎng)格。網(wǎng)格線是等間距的水平線和垂直線，其交點為網(wǎng)格點。在使用網(wǎng)格時，任何方式輸入的點都將被定位到離該點最近的網(wǎng)格點上。假設定義網(wǎng)格線為 x=ai,y=bj i,j=0,1,2,n，設輸入

16、點的坐標為（x, y），則離它最近的網(wǎng)格點的坐標為：(a(int(x+a/2)/a),b(int(y+b/2)/b)定位約束的示例1:定位約束該技術用于繪制水平或垂直的線段。繪制時,若終點和起點的連線與水平線的夾角小于45(或更小)，則繪出一條水平線（如下圖）,否則繪制垂直線。避免人眼或定位設備帶來的誤差，可以應用于印刷線路板或大規(guī)模集成電路的設計。2: 方向約束方向約束示例可以看做是一種定位約束，用光標進行選圖操作時，為了使光標可以較容易地定位選擇區(qū)域中的圖形，可以將圖形的選擇區(qū)域適當變大，這就是引力場方法。例如，在每條線段的周圍假想有一個區(qū)域，光標中心落在這個區(qū)域內時，就自動地被直線上離光

17、標最近的一點所代替，如同一個質點進入直線周圍的引力場后，被吸引到這條直線上去一樣。注意引力場區(qū)域大小的選擇要適當。太細了仍然很難將光標定位于圖形上，太粗了相鄰圖形的引力區(qū)容易相交，光標在進入引力區(qū)相交部分可能會定位不到希望選定的圖形上，這樣就會出現(xiàn)錯誤。 圖6.7 引力場 3. 引力場 拖 拽 1、要把一個對象放到新的位置.如果光標移動的同時,對象也跟著光標移動.會使用戶感覺更直觀，從而使得對象的定位更為精確.圖6.8 拖拽圖元到新的位置 到目的地按一下按鈕開關 拖動 圖元 光標選圖元 + + 拖拽的另一種形式。不同的只是拖動對象的形狀隨著光標位置的不同而變化。橡筋的形狀可以是任意的，可以是矩

18、形、圓、圓弧、自由曲線，也可以是更復雜的圖形。2、“橡皮筋”技術橡皮筋演示(點右鍵選擇播放)直線的橡皮筋技術就是在起點確定以后，光標移動確定終點時，在屏幕上始終顯示一條連接起點和光標中心的直線，這條直線隨著光標中心位置的變動而變動，它就象在起點和光標中心之間緊緊地張著一根橡皮筋一樣。有了這根橡皮筋便比較容易找到通過一個點和一個圓相切的直線的位置。 6.2.3 在三視圖上作三維輸入 輸入一個立體圖時，常常是將點、線、面單獨輸入的。而對一個點、一條線或一個面來說，只要在三視圖上給出足夠的信息，總是可以唯一地確定它在三維空間中的對應圖形。例如輸入一個點時，只要在任意兩個視圖中確定點的位置,便可唯一地

19、確定三維空間中的一個點的坐標（x，y，z）.在三視圖上作三維輸入在三視圖上輸入直線段上兩端點便確定了三維空間的一條直線.把一個面上的各頂點在三視圖上輸入后，就唯一地確定了三維空間中的一個面。如果把一個多面體的各面均用上述方法輸入，也就在三維空間中輸入了一個多面體。用三視圖來輸入立體圖是目前一種主要的輸入手段.zCyyABCAB ABC 圖6.10 用三視圖輸入三維圖形xzx 人機交互輸入模式 在人機交互的輸入過程中，要求輸入過程要有合理的控制模式。在應用程序和輸入設備之間，輸入控制模式是多樣的。這些模式取決于程序和輸入設備之間是如何相互作用的。 現(xiàn)在常用的三種基本交互模式請求模式（reques

20、t mode）樣本模式（sample mode）事件模式（event mode）1、請求模式 在請求模式下，輸入設備的初始化是在應用程序中設置的.即通過輸入設置命令（或語句）,對相應的設備設置所需要的輸入模式后,該設備才能作相應的輸入處理。在請求命令中要指定是哪個應用程序調用的和調用的是哪個輸入設備。當程序運行時，輸入設備處于等待狀態(tài)，等待程序的請求.當程序運行到request語句時就向輸入設備提出輸入請求，同時程序停止運行，等待輸入設備輸入數(shù)據(jù)。輸入設備立即進入工作狀態(tài)，直到請求滿足之后，程序才繼續(xù)運行。輸入設備重新處于等待狀態(tài).因此，在請求方式下，程序和輸入設備輪流處于工作狀態(tài)和等待狀態(tài)，

21、由程序支配輸入設備的啟動。 程序工作，輸入設備等待程序請求遇到請求指令（request)輸入設備工作，程序等待接收數(shù)據(jù)請求滿足圖6.3 請求模式的工作過程請求方式的工作過程 當把一臺或多臺輸入設備定義為樣本模式后，這些設備會連續(xù)不斷地把信息輸入進來，而不必等待應用程序的輸入語句，即信息的輸入和應用程序中的輸入命令無關。當應用程序遇到取樣命令時，就把相應物理設備此時的值作為取樣數(shù)值.2、樣本模式優(yōu)點該模式不像請求模式那樣要求用戶有一明顯的動作，它對連續(xù)的信息流輸入比較方便，也可同時處理多個輸入設備的輸入信息。缺點當處理某一種輸入耗費的時間較長時，可能會失掉某些輸入信息。程序工作數(shù)據(jù)采樣數(shù)據(jù)生成數(shù)

22、據(jù)緩存區(qū)輸入設備工作在取樣輸入模式的工作過程中，程序和輸入設備同時運行.輸入設備不斷地產(chǎn)生數(shù)據(jù)，并把數(shù)據(jù)輸入數(shù)據(jù)緩存區(qū)，數(shù)據(jù)緩存區(qū)的內容不斷刷新。程序在運行時若遇到采樣語句，就到數(shù)據(jù)緩存區(qū)中讀取數(shù)據(jù)。這樣，程序所取得的就是最新的數(shù)據(jù)。 取樣方式的工作過程3、事件模式 當設備設置成事件模式后，輸入設備和程序并行工作。所有被設置成事件方式的輸入數(shù)據(jù)（或事件）都被存放在一個事件隊列中，該隊列是以事件發(fā)生的次序排列的。 當用戶在輸入設備上完成一個輸入動作(如按一下按鈕)便產(chǎn)生一個事件，輸入的信息及該設備的編號等便被存放到事件隊列中。不同的應用程序可到隊列中來查詢和提取與之有關的事件。 在事件模式下,輸

23、入設備和程序獨立運行。輸入設備所產(chǎn)生的數(shù)據(jù)被組織成事件節(jié)點，插入事件隊列中等待程序的處理。程序運行到事件處理語句時，就從事件隊列中取出隊首事件進行處理。如果事件隊列為空，程序則等待一定的時間片，等待事件的發(fā)生。事件模式的輸入過程事件隊列檢查事件調用過程模塊預處理處理類型1事件的過程處理類型2事件的過程處理類型n事件的過程設備1設備2設備m6.13事件模式6.3.4 輸入方式的混合使用 請求方式是在應用程序的控制下工作的。取樣方式允許輸入設備和應用程序同時工作。事件方式由輸入設備來初始化數(shù)據(jù)輸入，由應用程序來控制數(shù)據(jù)處理進程。 現(xiàn)代的計算機圖形輸入系統(tǒng)往往不是單一地使用一種輸入方式，而是多種輸入

24、方式的混合使用，即一個應用程序可以使用多種控制方式,使用幾種不同的輸入設備. 6.4 人機交互新技術 6.4.1 新的界面技術多通道用戶界面多通道交互是人機交互的一種新形式，有以下幾個特點:1） 使用多個感覺通道和效應（動作）通道。當使用一個通道不能充分表達用戶的意圖時，需輔以其他通道的信息。感覺通道側重于多媒體信息的接收，效應通道側重于交互系統(tǒng)中控制信息的輸入，兩者密不可分，相輔相成。2） 允許非精確的交互。人類習慣于使用大量非精確的信息交流，比如說天氣暖和，就有著高度的模糊性。允許使用非精確的表達手段可以避免不必要的交流負擔，體現(xiàn)交互活動的自然性，同時有利于提高效率。3） 三維和直接操縱。

25、人生活在三維空間中，習慣于直接操縱三維的客觀對象，并希望及時看到控制的結果。多通道交互的自然性滿足了人們的這種需求。 6.4 人機交互新技術 6.4.1 新的界面技術多通道用戶界面4） 交互的雙向性。當用戶對對象施加控制時，應能感受到來自物體的反饋。例如，用戶用手操縱物體時也應能感受到來自物體的反作用力。 5） 交互的隱含性。好的用戶界面應使用戶將注意力集中于完成任務而無須為界面分心，仿佛不存在界面一樣，各種交互成分在交互過程中隱含說明。如用戶操縱物體時，手握住的對象自然是目標，這不需要通過別的方式另外指明。 6.4.2 新的交互技術 多媒體技術 計算機所表現(xiàn)的信息除文字、圖形外，還包括聲音、

26、靜止圖像、動態(tài)圖像、動畫等。多媒體正是計算機與視頻，音頻，通信等技術相集成的產(chǎn)物，側重于計算機信息表達及輸出的多樣性和自然性，豐富了計算機表達信息的形式。 2.視線跟蹤: 基本工作原理是利用圖像處理技術，使用能鎖定眼睛的特殊攝像機，通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化，從而達到記錄分析視線追蹤過程的目的。 它有三種主要形式：跳動、注視和平滑尾隨跟蹤。 依據(jù)手的運動識別數(shù)字的手機3、手勢識別以手勢體現(xiàn)人的意圖是一種非常自然的方式。手勢有不同的分類：交互性手勢與操作性手勢；自主性手勢和非自主性（輔助）手勢 ；離心手勢和向心手勢 ；采用不同手段來進行手勢識別輸入，如鼠標器和筆，數(shù)據(jù)手套以及計算機視覺（利用攝像機輸入手勢）。 4. 表情識別計算機面部表情的識別通常分三個步驟進行：(1)表情的跟蹤，即從外界攝取表情信息；(2)表情的編碼，即將表情信息以計算機所能理解的形式表示出來；(3)表情的識別。 5. 手寫識別：手寫識別是將以圖形記號表示的語言轉換成它的