人機交互技術

人機交互技術1第1頁，共127頁，2023年，2月20日，星期三本章將主要介紹以下幾種人機交互技術：l

命令行和文本菜單l

圖形用戶界面l

多通道用戶界面l

漢字信息處理

2第2頁，共127頁，2023年，2月20日，星期三4.1人機交互技術概述

人機交互技術發(fā)生的歷史及發(fā)展趨勢

根據(jù)用戶界面的具體形式分為批處理聯(lián)機終端(命令接口)文本菜單WIMP界面多媒體用戶界面多通道用戶界面和虛擬現(xiàn)實用戶界面3第3頁，共127頁，2023年，2月20日，星期三4.1人機交互技術概述人機交互技術發(fā)生的歷史及發(fā)展趨勢

根據(jù)根據(jù)用戶界面中信息載體的類型文本為主的字符用戶界面(CUI)二維圖形為主的圖形用戶界面(GUI)多媒體用戶界面4第4頁，共127頁，2023年，2月20日，星期三4.1人機交互技術概述人機交互技術發(fā)生的歷史及發(fā)展趨勢根據(jù)計算機輸出信息的形式以符號為主的字符界面以視覺感知為主的圖形用戶界面兼顧聽覺感知的多媒體用戶界面綜合運用多種感觀(包括觸覺等)的虛擬現(xiàn)實技術5第5頁，共127頁，2023年，2月20日，星期三4.1人機交互技術概述人機交互技術發(fā)生的歷史及發(fā)展趨勢根據(jù)人機界面中的信息維度，人機交互技術可以分為：一維信息(主要指文本流，如早期電傳式終端)二維信息(主要是二維圖形技術，利用了色彩、形狀、紋理等信息)三維信息(主要是三維圖形技術，但顯示技術仍利用二維平面為主)和多維信息(多通道的多維信息)空間6第6頁，共127頁，2023年，2月20日，星期三4.1人機交互技術概述人機交互技術發(fā)生的歷史及發(fā)展趨勢根據(jù)人機交互中采用的語言形式語言:形式語言是一種人工語言，特點是簡潔、嚴密、高效。類自然語言:類自然語言則是介于計算機語言和自然語言之間。自然語言:自然語言的語法成分有更多的規(guī)則，具有多義性、微妙、豐富、靈活的特點。7第7頁，共127頁，2023年，2月20日，星期三4.2命令行和文本菜單技術

4.2.1命令行

真正意義上的人機交互開始于聯(lián)機終端的出現(xiàn)。用戶輸入文本命令，系統(tǒng)也以文本的形式表示對命令的響應。這種人機界面稱為命令行界面。

8第8頁，共127頁，2023年，2月20日，星期三

圖4-1命令行界面概念模型9第9頁，共127頁，2023年，2月20日，星期三命令行交互界面操作系統(tǒng)MS-DOS是文本命令行交互界面。

例如，需要將所有擴展名為“.AAA”的文件替換為擴展名為“.BBB”，如果在“我的電腦”或“WINDOWS資源管理器”中，需要一個一個地去查找、改名，操作的局限性是顯而易見的。利用命令rename[drive:][path]filename1filename2或ren[drive:][path]filename1filename2，使用通配符“*”或“？”，就可以方便地更改一組文件名或擴展名。

10第10頁，共127頁，2023年，2月20日，星期三命令行交互界面不同的操作系統(tǒng)要用不同的命令進入命令行界面。在Win9x/Me的開始菜單中的運行程序中鍵入“command”命令，可進入命令行界面。在Win2000/NT的開始菜單中的運行程序中鍵入“cmd”命令，可進入命令行界面。

批處理文件（也稱為批處理程序或腳本）。批處理文件是無格式的文本文件，包含一條或多條命令，文件擴展名為

bat或cmd。

11第11頁，共127頁，2023年，2月20日，星期三4.2.2文本菜單

字符界面下的菜單方式：在菜單方式下用戶必須在有限的一組選項中進行識別和選擇，更多的是響應而不是發(fā)出命令。用戶不必記憶功能命令，縮短了用戶的培訓時間，減少用戶的擊鍵次數(shù)，錯誤處理能力也有了顯著提高。

在這種界面中，人還是被看成操作員，機器做出被動的反應，人只能使用手這一交互通道用鍵盤輸入選擇信息，通過視覺通道獲取信息，界面輸出只能為靜態(tài)的文本字符。

12第12頁，共127頁，2023年，2月20日，星期三文本菜單的設計設計基于文本菜單的系統(tǒng)主要包括兩方面的工作：菜單的生成和顯示，內部流程的控制及錯誤處理。【例4-2】圖書管理程序的主菜單的Java語言代碼。13第13頁，共127頁，2023年，2月20日，星期三importjava.io.*;publicclassMenuDemo{staticvoiddisplay_maintenace_menu(){System.out.print(“\n\n\t\t<<維護子菜單>>\n\n”);System.out.println(“\t1--注冊借書者”);System.out.println(“\t2--注冊圖書”);

…….System.out.println(“\t0--返回主菜單”);}publicstaticvoidmain(Stringargs[])throwsException{booleanquit=false;charch;do{display_mainmenu();ch=(char)System.in.read();switch(ch) {…….//調用相應的處理函數(shù)

}}while(!quit);Sytem.in.read();}}14第14頁，共127頁，2023年，2月20日，星期三4.3圖形用戶界面

圖形用戶界面又稱為WIMP界面，由窗口(windows)、圖標(icons)、菜單m)、指點設備(pointingdevice)四位一體，形成桌面(desktop)

，如圖4-2所示。圖形用戶界面是當前用戶界面的主流，廣泛應用于各檔臺式微機和圖形工作站。比較成熟的商品化系統(tǒng)有Apple的Macintosh、IBM的PM(PresentationManager)、Microsoft的Windows和運行于Unix環(huán)境的X-Window、OpenLook和OSF/Motif等。15第15頁，共127頁，2023年，2月20日，星期三圖4-2WIMP界面概念模型

16第16頁，共127頁，2023年，2月20日，星期三4.3圖形用戶界面圖形用戶界面的共同特點是以窗口管理系統(tǒng)為核心，使用鍵盤和鼠標器作為輸入設備。窗口管理系統(tǒng)除了基于可重疊多窗口管理技術外，廣泛采用的另一核心技術是事件驅動(event-driven)技術。17第17頁，共127頁，2023年，2月20日，星期三4.3圖形用戶界面WIMP界面可看作是第二代人機界面，是基于圖形方式的人機界面。在WIMP界面中，人被稱為用戶，人機通過對話進行工作。用戶只能使用手這一種交互通道輸入信息，通過視覺通道獲取信息。在WIMP界面中，界面的輸出可以為靜態(tài)或動態(tài)的二維圖形或圖像等信息。18第18頁，共127頁，2023年，2月20日，星期三4.3圖形用戶界面這種方式能同時輸出不同種類的信息，用戶也可以在幾個工作環(huán)境中切換而不丟失幾個工作之間的聯(lián)系，通過菜單可以執(zhí)行控制型和對話型任務。由于引入了圖標、按鈕和滾動條技術，大大減少鍵盤輸入，提高了交互效率。基于鼠標和圖形用戶界面的交互技術極大地推動了計算機技術的普及。

19第19頁，共127頁，2023年，2月20日，星期三4.3.1圖形用戶界面的主要思想圖形用戶界面的三個重要思想1．桌面隱喻(desktopmetaphor)2．所見即所得（WhatYouSeeIsWhatYouGet，WYSIWYG）

3．直接操縱(directmanipulation)20第20頁，共127頁，2023年，2月20日，星期三1.桌面隱喻(desktopmetaphor)

桌面隱喻是指在用戶界面中用人們熟悉的桌面上的圖例清楚地表示計算機可以處理的能力。圖形具有一定的文化和語言獨立性，可以提高搜索目標的效率。圖形用戶界面中的圖例可以代表對象、動作、屬性或其他概念。

隱喻的表現(xiàn)方法:靜態(tài)圖標動畫視頻

21第21頁，共127頁，2023年，2月20日，星期三隱喻的分類：直接隱喻：隱喻本身就帶有操縱的對象如Word繪圖工具中的圖標，每種圖標分別代表不同的圖形繪制操作。工具隱喻：代表所使用的工具如用磁盤圖標隱喻存盤操作、用打印機圖標隱喻打印操作等，這種隱喻設計簡單、形象直觀，應用也最為普遍。過程隱喻：其通過描述操作的過程來暗示該操作如Word中的撤銷和恢復圖標。22第22頁，共127頁，2023年，2月20日，星期三晦澀的隱喻不僅不能增加可用性，反而會弄巧成拙。隱喻的主要缺點：需要占用屏幕空間難以表達和支持比較抽象的信息。

23第23頁，共127頁，2023年，2月20日，星期三2.所見即所得（WYSIWYG）在WYSIWYG交互界面中顯示的用戶交互行為與應用程序最終產(chǎn)生的結果是一致的。

非WYSIWYG的編輯器，用戶只能看到文本的控制代碼，對于最后的輸出結果缺乏直觀的認識。

WYSIWYG的一些弊端：如果屏幕的空間或顏色的配置方案與硬件設備所提供的配置不一樣，在兩者之間就很難產(chǎn)生正確的匹配。文本處理器都提供了定義章、節(jié)、小節(jié)等的標記，這些標記顯式地標明了對象的屬性，但并不是用戶最終輸出結果的一部分。

24第24頁，共127頁，2023年，2月20日，星期三3.直接操縱(directanipulation)

直接操縱是指可以把操作的對象、屬性、關系顯式地表示出來，用光筆、鼠標、觸摸屏或數(shù)據(jù)手套等指點設備直接從屏幕上獲取形象化命令與數(shù)據(jù)的過程。直接操縱的對象是命令、數(shù)據(jù)或是對數(shù)據(jù)的某種操作。

25第25頁，共127頁，2023年，2月20日，星期三直接操縱的特性

1.

直接操縱的對象是動作或數(shù)據(jù)的形象隱喻形象隱喻應該與其實際內容相近，使用戶能通過屏幕上的隱喻直接想象或感知其內容。2.

用指點和選擇代替鍵盤輸入用指點和選擇代替鍵盤輸入有兩個優(yōu)點，一是操作簡便，速度快捷。3.

操作結果立即可見操作結果立即可見，用戶可以及時修正操作，逐步往正確的方向前進。4.

支持逆向操作用戶在使用系統(tǒng)的過程中，不可避免地會出現(xiàn)一些操作錯誤，通過逆向操作，用戶可以很方便地恢復到出現(xiàn)錯誤之前的狀態(tài)。26第26頁，共127頁，2023年，2月20日，星期三直接操縱的特性5.借助物理的、空間的或形象的表示，而不是單純的文字或數(shù)字的表示。6.不具備命令語言界面的某些優(yōu)點.例如從用戶界面設計者角度看，設計圖形比較繁瑣，需進行大量的測試和實驗.7.表示復雜語義、抽象語義比較困難。

27第27頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則1.一般性原則

(1)界面要具有一致性在同一用戶界面中，所有的菜單選擇、命令輸入、數(shù)據(jù)顯示和其他功能應保持風格的一致性。

(2)常用操作要有快捷方式為常用操作設計快捷方式，不僅會提高用戶的工作效率，還使界面在功能實現(xiàn)上簡潔而高效。(3)提供簡單的錯誤處理

在出現(xiàn)錯誤時，系統(tǒng)應該能檢測出錯誤，并且提供簡單和容易理解的錯誤處理功能

(4)對操作人員的重要操作要有信息反饋提供信息反饋。對操作人員的重要操作要有信息反饋。28第28頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則1.一般性原則

(5)操作可逆對大多數(shù)動作應允許恢復(UNDO)，對用戶出錯采取比較寬容的態(tài)度(6)設計良好的聯(lián)機幫助人機界面應該提供上下文敏感的求助系統(tǒng)，讓用戶及時獲得幫助，盡量用簡短的動詞和動詞短語提示命令。

(7)合理劃分并高效地使用顯示屏只顯示與上下文有關的信息，允許用戶對可視環(huán)境進行維護，如放大、縮小窗口；用窗口分隔不同種類的信息，只顯示有意義的出錯信息

(8)保證信息顯示方式與數(shù)據(jù)輸入方式的協(xié)調一致盡量減少用戶輸入的動作，隱藏當前狀態(tài)下不可用的命令，允許用戶自選輸入方式，能夠刪除錯誤的輸入，允許用戶控制交互過程。

29第29頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則2.顏色的使用

顏色是一種有效的強化手段，同時具有美學價值。使用顏色時應注意如下幾點：(1)

限制同時顯示的顏色數(shù).(2)

畫面中活動對象的顏色應鮮明，而非活動對象應暗淡。(3)

盡量避免不相容的顏色放在一起，如黃與藍，紅與綠等，除非作對比時用。(4)

若用顏色表示某種信息或對象屬性，要使用戶理解這種表示，并盡量采用通用的表示規(guī)則。30第30頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則3.圖標的設計

圖標是可視地表示實體信息的簡潔、抽象的符號。圖標設計是方寸藝術，需要在很小的范圍內表現(xiàn)出圖標的內涵》。設計圖標時應該著重考慮視覺沖擊力，要使用簡單的顏色，利用眼睛對色彩和網(wǎng)點的空間混合效果，做出精彩圖標。31第31頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則設計圖標時須遵守的原則和方法：（1）圖標的圖形應該和目標的外形相似。盡量避免過于抽象。（2）可在圖標中附加上簡要的文本標注，使用戶明確圖標的含義。（3）設計圖標應盡可能簡單，符合常規(guī)的表達習慣，保持圖標含義的前后連貫。32第32頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則4.按鈕的設計設計按鈕應該具有交互性，應該有3到6種狀態(tài)效果：點擊時的狀態(tài)鼠標放在上面但未點擊的狀態(tài)點擊前鼠標未放在上面時的狀態(tài)點擊后鼠標未放在上面時的狀態(tài)不能點擊時的狀態(tài)獨立自動變化的狀態(tài)按鈕應具備簡潔的圖示效果，應能夠讓使用者產(chǎn)生功能上的關聯(lián)反應。屬于一個群組的按鈕應該風格統(tǒng)一，功能差異大的按鈕應該有所區(qū)別。

33第33頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則5.屏幕布局的設計設計屏幕布局(Layout)時應該使各功能區(qū)重點突出

,應遵循如下幾條原則：

(1)平衡原則注意屏幕上下左右平衡。(2)

預期原則對屏幕上所有對象，如窗口、按鈕、菜單等處理應一致化，使對象的操作結果可以預期。(3)經(jīng)濟原則在提供足夠信息量的同時要注意簡明、清晰。

(4)順序原則對象顯示的順序應按需要排列。

(5)

規(guī)則化畫面應對稱，顯示命令、對話及提示行在一個應用系統(tǒng)的設計中盡量統(tǒng)一規(guī)范。34第34頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則6.菜單界面的設計

菜單在圖形界面的應用程序中使用得非常普遍，是軟件界面設計的一個重要組成方面，描述了一個軟件的大致功能和風格。

菜單中的選項在功能上與按鈕相當，一般具有下列一種或幾種類型的選項：命令項、菜單項和窗口項。

菜單的結構一般有單一菜單、線狀序列菜單、樹狀結構菜單、網(wǎng)狀結構菜單等，其中樹狀結構菜單是最常見的結構。

35第35頁，共127頁，2023年，2月20日，星期三菜單的結構單一菜單單一菜單是在幾個選項中做出選擇，可以有兩個或多個選項，用戶可以選中其中一個或確定多個選擇。線狀序列菜單把一組相關聯(lián)的菜單組合在一起，用戶清楚地知道如何向前選擇和目前在菜單中所處的位置，并且可以重返以前所作的選擇。樹狀結構菜單樹狀菜單是把選項劃分為若干類，類似的選項組成一組，最后形成一個樹狀結構。網(wǎng)狀結構菜單網(wǎng)狀結構菜單允許用戶在父輩菜單與子菜單之間切換，而不必重新回到父輩菜單然后再轉到子菜單。36第36頁，共127頁，2023年，2月20日，星期三圖4-4Word中設置字體的界面

37第37頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則設計菜單界面時應注意的一般性原則：功能組織菜單，合理分類，并力求簡短，前后一致合理組織菜單界面的結構與層次。按一定的規(guī)則對菜單項進行排序。菜單選項的標題要力求文字簡短、含義明確，并且最好以關鍵詞開始。常用選項要設置快捷鍵。充分利用菜單選項的使能與禁止、可見與隱藏屬性。

使用彈出式菜單。38第38頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則7.填表輸入界面的設計

在處理大量相關數(shù)據(jù)的場合下，需要輸入一系列的數(shù)據(jù)，這時填表輸入界面是最理想的數(shù)據(jù)輸入界面。填表輸入界面有以下的特點：有明確的提示，使用戶可以不需要學習、訓練，也不必記憶有關的語義、語法規(guī)則。填表輸入界面充分地利用了屏幕空間。在填表輸入方式中，可以充分利用上下文信息，幫助用戶完成輸入。

39第39頁，共127頁，2023年，2月20日，星期三4.3.2設計圖形用戶界面的原則在設計填表輸入界面時應遵循的原則

一致性保證前后用詞、語法一致。

有含義的表格標題采用有含義的表格標題，欄目標題要為用戶所熟悉。

使用易于理解的指導性說明文字采用易于理解的說明性文字，并力求簡短。如果確實需要較多的信息，應為初學者提供一組求助信息。欄目按邏輯分組排序表格布局要直觀，欄目按操作邏輯分組排序。

40第40頁，共127頁，2023年，2月20日，星期三表格的組織結構和用戶任務相一致把相關的輸入字段組織安排在一起，并按照使用頻率、重要性、功能關系或使用順序來進行表格的排序和分組。光標移動方便需要一種簡單直觀的機制來移動光標，如使用Tab鍵或箭頭鍵。出錯提示系統(tǒng)應提示輸入數(shù)據(jù)的允許范圍和輸入方法，對不可接受的值給出出錯信息。提供幫助界面應該在響應處提供幫助信息，以解決新用戶在不熟悉的情況下的輸入。

表格顯示應美觀、清楚，避免過分擁擠。41第41頁，共127頁，2023年，2月20日，星期三圖4-6填表輸入界面

42第42頁，共127頁，2023年，2月20日，星期三4.3.4基本的圖形輸入原語

在交互設計時，將用戶的輸入抽象成一些獨立的、基本的邏輯輸入單元，這些抽象的邏輯輸入單元稱為輸入原語，由這些基本輸入原語可以形成復雜的交互。43第43頁，共127頁，2023年，2月20日，星期三主要的輸入原語：1.定位定位是去確定平面或空間的一個點（x,y）或（x,y,z）的坐標，是圖形交互的最基本的輸入原語，許多原語都是建立在定位的基礎上的。

2.選擇

在一個選擇集中選出一個元素或幾個元素稱為選擇。

3.筆畫輸入

筆畫輸入用于輸入一組順序的坐標點，筆畫輸入相當于多次調用定位輸入，輸入的一組點常用于顯示折線或作為曲線的控制點。4.數(shù)值輸入

數(shù)值輸入是要在給定的數(shù)字范圍內確定一個值。

5.字符串輸入

44第44頁，共127頁，2023年，2月20日，星期三4.4多通道用戶界面

為適應目前和未來的計算機系統(tǒng)要求，人機界面應能支持時變媒體（time-varingmedia），實現(xiàn)三維、非精確及隱含的人機交互，而多通道人機界面是達到這一目的的重要途徑。80年代后期以來，多通道用戶界面(MultimodalUserInterface)成為人機交互技術研究的嶄新領域，在國內外受到高度重視。45第45頁，共127頁，2023年，2月20日，星期三4.4多通道用戶界面多通道用戶界面的研究正是為了消除當前WIMP/GUI用戶界面通信帶寬不平衡的瓶頸，綜合采用視線、語音、手勢等新的交互通道、設備和交互技術，使用戶利用多個通道以自然、并行、協(xié)作的方式進行人機對話，通過整合來自多個通道的、精確的和不精確的輸入來捕捉用戶的交互意圖，提高人機交互的自然性和高效性，圖4-10所示。46第46頁，共127頁，2023年，2月20日，星期三圖4-10多通道人機界面概念模型

47第47頁，共127頁，2023年，2月20日，星期三多通道人機界面主要解決科學計算可視化、虛擬現(xiàn)實對計算機系統(tǒng)提出的高效、三維和非精確的人機交互要求。在多通道人機界面中，用戶可以使用自然的交互方式，如語音、手勢、眼神、表情等與計算機系統(tǒng)進行協(xié)同工作。交互通道之間有串行/并行、互補/獨立等多種關系，因此人機交互方式向人與人的交互方式靠攏，交互的自然性和高效性得到極大的提高。4.4多通道用戶界面48第48頁，共127頁，2023年，2月20日，星期三4.4多通道用戶界面多通道用戶界面主要關注人機界面中用戶向計算機輸入信息以及計算機對用戶意圖的理解，所要達到的目標可歸納為如下方面：（1）交互的自然性使用戶盡可能多地利用已有的日常技能與計算機交互，降低認識負荷。（2）交互的高效性使人機通訊信息交換吞吐量更大、形式更豐富，發(fā)揮人機彼此不同的認知潛力。（3）與傳統(tǒng)的用戶界面特別是廣泛流行的WIMP/GUI兼容。49第49頁，共127頁，2023年，2月20日，星期三4.4.1多通道用戶界面的基本特點

使用多個感覺和效應通道

允許非精確的交互

三維和直接操縱

交互的雙向性

交互的隱含性

50第50頁，共127頁，2023年，2月20日，星期三4.4.1多通道用戶界面的基本特點1.使用多個感覺和效應通道感覺通道側重于多媒體信息的接受，效應通道側重于交互過程中控制與信息的輸入，兩者密不可分、相互配合。一種通道(如語音)不能充分表達用戶的意圖時，需輔以其它通道(如手勢指點)的信息；有時使用輔助通道以增強表達力。交替而獨立地使用不同的通道不是真正意義上的多通道技術，必須允許充分地并行、協(xié)作的通道配合關系。

51第51頁，共127頁，2023年，2月20日，星期三4.4.1多通道用戶界面的基本特點2.允許非精確的交互人類語言本身就具有高度模糊性,人類在日常生活中習慣于并大量使用非精確的信息交流。允許使用模糊的表達手段可以避免不必要的認識負荷，有利于提高交互活動的自然性和高效性。多通道人機交互技術主張以充分性代替精確性。52第52頁，共127頁，2023年，2月20日，星期三4.4.1多通道用戶界面的基本特點3.三維和直接操縱人類的大多數(shù)活動領域具有三維和直接操縱特點（數(shù)學的和邏輯的活動例外）。人生活在三維空間，習慣于看、聽和操縱三維的客觀對象，并希望及時看到這種控制的結果。多通道人機交互的自然性反應了這種本質特點。53第53頁，共127頁，2023年，2月20日，星期三4.4.1多通道用戶界面的基本特點4.交互的雙向性人的感覺和效應通道通常具有雙向性的特點，如視覺可看可注視，手可控制、可觸及等。多通道用戶界面使用戶避免生硬的、不自然的、頻繁的、耗時的通道切換，從而提高自然性和效率。視線跟蹤系統(tǒng)可促成視覺交互雙向性，聽覺通道利用三維聽覺定位器實現(xiàn)交互雙向性。

54第54頁，共127頁，2023年，2月20日，星期三4.4.1多通道用戶界面的基本特點5.交互的隱含性追求交互自然性的多通道用戶界面并不需要用戶顯式地說明每個交互成分，反之是在自然的交互過程中隱含地說明。例如，用戶的視線自然地落在所感興趣的對象之上；又如，用戶的手自然地握住被操縱的目標。

55第55頁，共127頁，2023年，2月20日，星期三4.4.2多媒體技術

定義多媒體（multimedia）的含義是使用計算機交互式綜合技術和數(shù)字通信網(wǎng)技術處理多種表示媒體，如文本、圖形、圖像和聲音，使多種信息建立邏輯連接，集成為一個交互系統(tǒng)。

56第56頁，共127頁，2023年，2月20日，星期三4.4.2多媒體技術多媒體技術的組成部分包括：存儲與訪問技術表現(xiàn)與表達技術實時處理技術接口技術人機交互界面技術等57第57頁，共127頁，2023年，2月20日，星期三4.4.2多媒體技術多媒體技術與人機交互技術多媒體技術使人機交互技術最終要向著更接近于人的自然方式發(fā)展，使計算機具有聽覺和視覺，以更自然的方式與人交互。多媒體技術引入了動畫、音頻、視頻等動態(tài)媒體，大大豐富了計算機表現(xiàn)信息的形式，拓寬了計算機輸出的帶寬，提高了用戶接受信息的效率，使人們可以得到更直觀的信息，從而簡化了用戶的操作，擴展了應用范圍。58第58頁，共127頁，2023年，2月20日，星期三4.4.2多媒體技術它能提高人對信息表現(xiàn)形式的選擇和控制能力。能提高信息表現(xiàn)形式與人的邏輯和創(chuàng)造能力的結合程度，在順序、符號信息以及并行、聯(lián)想信息方面擴展人的信息處理能力。多媒體信息比單一媒體信息對人具有更大的吸引力，有利于人對信息的主動探索而不是被動接受。另外，由于多媒體所帶來的信息冗余性，重復使用別的媒體或并行使用多種媒體可消除人機通信過程中的多義性及噪聲。59第59頁，共127頁，2023年，2月20日，星期三4.4.3虛擬現(xiàn)實技術虛擬現(xiàn)實（VirtualReality）又稱虛擬環(huán)境（VirtualEnvironment）。虛擬現(xiàn)實系統(tǒng)向用戶提供沉浸（immerse）和多感覺通道（multi-sensory）體驗。在虛擬現(xiàn)實中，人是主動參與者，復雜系統(tǒng)中可能有許多參與者共同在以計算機網(wǎng)絡系統(tǒng)為基礎的虛擬環(huán)境中協(xié)同工作。虛擬現(xiàn)實系統(tǒng)具有三個重要特點：沉浸感（immersion）交互性（interaction）構想性（imagination）60第60頁，共127頁，2023年，2月20日，星期三4.4.3虛擬現(xiàn)實技術虛擬現(xiàn)實中的基本要素：（1）計算機生成的虛擬世界（環(huán)境）必須是一個能給人提供視覺、聽覺、觸覺、嗅覺以及味覺等多種感官刺激的世界。目前虛擬現(xiàn)實通常由視覺、聽覺和觸覺三種刺激構成。（2）虛擬現(xiàn)實統(tǒng)實質上是一種高級的人機交互系統(tǒng)。這里的交互操作是對多通道信息進行的，并且對沉浸式系統(tǒng)要求采用自然方式的交互操作，對于非沉浸式系統(tǒng)也可使用常規(guī)交互設備進行交互操作。

61第61頁，共127頁，2023年，2月20日，星期三虛擬世界的概念模型虛擬世界的概念模型虛擬現(xiàn)實是人們可以通過視、聽、觸等信息通道感受到設計者思想的用戶界面,由兩部分組成：一部分是創(chuàng)建的虛擬世界（環(huán)境），另一部分是為介入者（人）。虛擬世界的核心是強調兩者之間的交互操作，即反映出人在虛擬世界（環(huán)境）中的體驗。人機交互是虛擬現(xiàn)實的核心。62第62頁，共127頁，2023年，2月20日，星期三虛擬現(xiàn)實的概念模型介入者感知系統(tǒng)反應系統(tǒng)虛擬世界（環(huán)境）感官刺激信號反應動作圖4-11虛擬現(xiàn)實的概念模型

63第63頁，共127頁，2023年，2月20日，星期三虛擬現(xiàn)實的概念模型理解虛擬現(xiàn)實的概念模型從虛擬環(huán)境對人的作用來看，虛擬現(xiàn)實的概念模型可以看作為“顯示/檢測”模型。從人對虛擬環(huán)境的作用來看，也就是從用戶的角度看，上述概念模型可以看作“輸入/輸出”模型。輸入是指用戶感知系統(tǒng)接受虛擬環(huán)境提供的各種感官刺激信號。輸出是指用戶對虛擬環(huán)境系統(tǒng)做出的反映動作。64第64頁，共127頁，2023年，2月20日，星期三虛擬現(xiàn)實與多媒體及多通道虛擬現(xiàn)實技術正是一種以集成為主的技術，其人機界面可以分解為多媒體、多通道界面。從本質上說，多媒體用戶界面技術側重解決計算機信息表現(xiàn)及輸出的自然性和多樣性問題，而多通道技術側重解決計算機信息輸入及理解的自然性和多樣性問題。

65第65頁，共127頁，2023年，2月20日，星期三虛擬現(xiàn)實造型語言VRMLVRML是一種描述交互式三維世界和對象的文件格式。VRML允許描述對象并把對象組合到虛擬場景中，可以實現(xiàn)仿真系統(tǒng)，可模擬動畫、具有動力學特性的物體。VRML能構造一個交互的虛擬世界，其中的對象能對外部事件做出響應，并可在其中任意穿行。可以支持虛擬場景的網(wǎng)上發(fā)布，并可實現(xiàn)多用戶的實時參與。VRML比高級語言容易掌握，并且無須再去了解OpenGL3D或者

Directx3D之類的三維圖形開發(fā)庫。VRML文件的解釋、執(zhí)行和顯示一般由瀏覽器來完成。

66第66頁，共127頁，2023年，2月20日，星期三VRML瀏覽器的概念模型

VRML瀏覽器概念模型的組成解釋器讀取VRML文件并產(chǎn)生場景圖。場景圖場景圖包括節(jié)點的變換層次和路徑圖及執(zhí)行引擎。執(zhí)行引擎處理事件、讀取和編輯路徑圖、改變節(jié)點的變換層次。聽／視覺展示瀏覽器的聽／視覺展示部分完成變換層次的圖形和聲音的產(chǎn)生，給用戶以反饋。67第67頁，共127頁，2023年，2月20日，星期三用戶執(zhí)行引擎路徑圖*插值器*感知器*腳本變換層次音頻／視頻展示解釋器原型內建節(jié)點VRML文件用戶輸入VRML瀏覽器場景圖圖4-12一種VRML瀏覽器的概念模型

68第68頁，共127頁，2023年，2月20日，星期三4.4.4眼動跟蹤（Eye-GazeTracking）

與視覺有關的人機交互自始至終都離不開視線的控制。如果能通過視線的用戶盯著感興趣的目標，計算機便“自動”將光標置于其上，人機交互將更為直接，也省去了上述交互過程中的大部分步驟。69第69頁，共127頁，2023年，2月20日，星期三4.4.4眼動跟蹤早期的視線跟蹤技術首先應用于心理學研究、助殘等領域，后來被應用于圖像壓縮及人機交互技術。視線跟蹤技術有強迫式與非強迫式、穿戴式與非穿戴式、接觸式與非接觸式之分。視線追蹤主要用于軍事領域（如飛行員觀察記錄），閱讀及幫助殘疾人通信等。

70第70頁，共127頁，2023年，2月20日，星期三1.眼動的主要形式

眼動有三種主要形式(在人機交互中，眼動跟蹤主要利用跳動和注視:跳動（Saccades）在正常的視覺觀察過程中，眼動表現(xiàn)為在一系列被觀察目標上的停留及在這些停留點之間的飛速跳躍。在注視點之間的飛速跳躍稱為眼跳動。注視（Fixations）停留時間至少持續(xù)100ms以上的稱為注視。在注視中，眼也不是絕對靜止不動，會有微小運動，但大小一般不會超過1°視角。絕大多數(shù)信息只有在注視時才能獲得并進行加工。平滑尾隨跟蹤（SmoothPursuit）緩慢、聯(lián)合追蹤的眼動通常稱為平滑尾隨跟蹤。71第71頁，共127頁，2023年，2月20日，星期三2.眼動跟蹤的基本要求

在人機交互中眼動跟蹤技術必須滿足以下幾點要求，才能滿足實際需求：

不能妨礙視野。不要與用戶接觸，對用戶基本無干擾。精度要高。

動態(tài)范圍要從1弧分（六十分之一弧度）到45o。反映速度要快，實時響應。能與獲取的身體和頭部運動相配合。

定位校正簡單。

可作為計算機的標準外設。

72第72頁，共127頁，2023年，2月20日，星期三3.眼動跟蹤的基本原理

利用紅外發(fā)光二極管發(fā)出紅外線，采用圖像處理技術和能鎖定眼睛的特殊攝像機，通過分析人眼虹膜和瞳孔中紅外線圖象點的連續(xù)變化情況，得到視線變化的數(shù)據(jù)，從而達到視線追蹤的目的。

從視線跟蹤裝置得到的原始數(shù)據(jù)需要經(jīng)過進一步的處理才能用于人機交互。數(shù)據(jù)處理的目的是濾除噪聲、識別定位及局部校準與補償?shù)?，最重要的是提取出用于人機交互所必需的眼睛定位坐標。但是由于眼動存在固有的抖動，以及眼睛眨動、頭部劇烈的移動所造成的數(shù)據(jù)中斷，存在許多干擾信號，提取有意眼動數(shù)據(jù)非常困難。解決此問題的辦法之一是利用眼動的某種先驗模型加以彌補。

73第73頁，共127頁，2023年，2月20日，星期三4.米達斯接觸問題與解決方法“米達斯接觸（MidasTouch）”問題如果鼠標器光標總是隨著用戶的視線移動，可能會引起用戶的厭煩，因為用戶可能希望能隨便看著什么而不必非“意味著”什么，更不希望每次轉移視線都可能啟動一條計算機命令。

避免“米達斯接觸”問題的方法：在理想情況下，應當在用戶希望發(fā)出控制時，界面及時地處理其視輸入，而在相反的情況下則忽略其視線的移動。

可采用其他通道（如鍵盤或語音）進行配合。74第74頁，共127頁，2023年，2月20日，星期三4.4.5手勢識別（gesturerecognition）

一個簡單的手勢蘊涵著豐富的信息，人與人可以通過手勢傳達大量的信息，實現(xiàn)高速的通信。將手勢運用于計算機能夠很好地改善人機交互的效率。

在多數(shù)情況下我們籠統(tǒng)地認為手勢是人的上肢(包括手臂、手和手指)的運動狀態(tài)。

75第75頁，共127頁，2023年，2月20日，星期三手勢的分類

交互性手勢與操作性手勢

在交互性手勢中手的運動表示特定的信息(如樂隊指揮)，靠視覺來感知；操作性手勢不表達任何信息(如彈琴)。自主性手勢和非自主性手勢

自主性手勢與語音配合用來加強或補充某些信息(如演講者用手勢描述動作、空間結構等信息)。

離心手勢和向心手勢

離心手勢直接針對說話人，有明確的交流意圖，向心手勢只是反應說話人的情緒和內心的愿望。

76第76頁，共127頁，2023年，2月20日，星期三計算機識別和解釋手勢利用計算機識別和解釋手勢輸入是將手勢應用于人機交互的關鍵前提，識別手勢的手段有：

鼠標器和筆優(yōu)點是僅利用軟件算法來實現(xiàn)，從而適合于一般桌面系統(tǒng)。缺點是只能識別手的整體運動而不能識別手指的動作。數(shù)據(jù)手套主要優(yōu)點是可以測定手指的姿勢和手勢。相對而言較為昂貴，并且有時會給用戶帶來不便。

計算機視覺利用攝像機輸入手勢，優(yōu)點是不干擾用戶，這是一種很有前途的技術。在技術上存在很多困難，還難以勝任手勢識別和理解的任務。

77第77頁，共127頁，2023年，2月20日，星期三主要手勢識別技術模板匹配技術一種最簡單的識別技術，將傳感器輸入的原始數(shù)據(jù)與預先存儲的模板進行匹配，通過度量兩者之間的相似度完成識別任務。神經(jīng)網(wǎng)絡技術一種較新的模式識別技術，具有自組織和自學習能力，具有分布性特點，抗噪聲能力比較強，能處理不完整的模式，并具有模式推廣能力。

統(tǒng)計分析技術通過統(tǒng)計樣本特征向量來確定分類器的一種基于概率的分類方法。在模式識別中一般采用貝葉斯極大似然理論確定分類函數(shù)。78第78頁，共127頁，2023年，2月20日，星期三實用的手勢識別目前較為實用的手勢識別是基于數(shù)據(jù)手套。因為數(shù)據(jù)手套不僅可以輸入包括三維空間運動在內的較為全面的手勢信息，而且比基于計算機視覺的手勢在技術上要容易實現(xiàn)。79第79頁，共127頁，2023年，2月20日，星期三4.4.6三維輸入

許多應用（如虛擬現(xiàn)實系統(tǒng)）需要三維空間定位技術：三維空間控制器的共同特點是具有六個自由度，分別描述三維對象的寬度、深度、高度、俯仰角、轉動角、偏轉角。通過控制這六個參數(shù)，用戶可以在屏幕上平移三維對象或光標，也可沿三個坐標軸轉動三維對象。三維空間控制器、視線跟蹤器、數(shù)據(jù)手套等輸入設備產(chǎn)生的空間位置是相對的。在三維用戶交互中必須便于用戶在三維空間中觀察、比較、操作、改變三維空間的狀態(tài)。80第80頁，共127頁，2023年，2月20日，星期三三維空間的交互操作方式直接操縱

由六個自由度、三維輸入裝置控制的三維光標將使三維交互操作更自然和方便。三維光標必須有深度感，即必須考慮光標與觀察者距離。離觀察者近的時候較大，離觀察者遠的時候較小。確定光標在三維空間的方向，這種定向操作必須自然且方便操作；為保持三維用戶界面的空間感，光標在遇到物體時不能進入到物體內部。三維光標的實現(xiàn)需要大量的計算，對硬件的要求較高，編程接口也比二維光標復雜得多。

81第81頁，共127頁，2023年，2月20日，星期三三維空間的交互操作方式三維widgets三維widgets即三維交互界面中的一些小工具。用戶可以通過直接控制它們使界面或界面中的三維對象發(fā)生改變。

三維widget包括在三維空間中漂浮的菜單、用于拾取物體的手的三維圖標、平移和旋轉指示器等。

82第82頁，共127頁，2023年，2月20日，星期三采用三視圖輸入技術，實現(xiàn)三維的輸入

如果輸入一個三維點，只要在兩個視圖上把點的對應位置指定后便唯一確定了三維空間中的一個點；把直線段上兩端點在三視圖上輸入后便可決定三維空間的一條直線；把一個面上的各頂點在三視圖上輸入后，也唯一確定了三維空間中的一個面；如果把一個多面體上的各面均用上述方法輸入，也就在三維空間中輸入了一個多面體。

83第83頁，共127頁，2023年，2月20日，星期三4.4.7語音識別（speechrecognition）

語音識別是計算機通過識別和理解過程把語音信號轉變?yōu)橄鄳奈谋疚募蛎畹募夹g。

語音識別又是一門交叉學科，它與聲學、語音學、語言學、數(shù)字信號處理理論、信息論、計算機科學等眾多學科緊密相連。

84第84頁，共127頁，2023年，2月20日，星期三語音識別涉及的技術

數(shù)字化語音信號的轉換和量化涉及到信號表示問題，需要研究如何使系統(tǒng)在傳感器與環(huán)境的變化中保持性能的穩(wěn)定，以適應這些變化。各種語音必須被恰當?shù)亟?，目前采用的最廣泛的建模技術是隱馬爾科夫模型（HMM）。最后是語言的約束問題。語音識別技術所涉及的領域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽覺機理、人工智能等等。目前主流的語音識別技術是基于統(tǒng)計的模式識別的基本理論，如圖4-13所示。

85第85頁，共127頁，2023年，2月20日，星期三圖4-13語音識別系統(tǒng)的處理流程

86第86頁，共127頁，2023年，2月20日，星期三語音識別系統(tǒng)的組成

語音特征提取

從語音信號中提取語音的特征，既可以獲得語音的本質特征,也起到數(shù)據(jù)壓縮的作用。輸入的模擬語音信號首先要進行預處理，包括預濾波、采樣和量化、加窗、端點檢測、預加重等。聲學模型

聲學模型對應于語音到音節(jié)概率的計算。在識別時將輸入的語音特征同聲學模型（模式）進行匹配與比較，得到最佳的識別結果。目前采用的最廣泛的建模技術是隱馬爾科夫模型HMM建模和上下文相關建模。87第87頁，共127頁，2023年，2月20日，星期三隱馬爾科夫模型HMM建模馬爾可夫模型是一個離散時域有限狀態(tài)自動機，隱馬爾可夫模型HMM是指這一馬爾可夫模型的內部狀態(tài)外界不可見，外界只能看到各個時刻的輸出值。

語音識別中使用HMM通常是用從左向右單向、帶自環(huán)、帶跨越的拓撲結構來對識別基元建模，一個音素就是一個三至五狀態(tài)的HMM，一個詞就是構成詞的多個音素的HMM串行起來構成的HMM，而連續(xù)語音識別的整個模型就是詞和靜音組合起來的HMM。

語音識別系統(tǒng)的組成

88第88頁，共127頁，2023年，2月20日，星期三上下文相關建模上下文相關建模方法在建模時考慮了協(xié)同發(fā)音的影響。協(xié)同發(fā)音是指一個音受前后相鄰音的影響而發(fā)生變化，從發(fā)聲機理上看就是人的發(fā)聲器官在一個音轉向另一個音時只能逐漸變化，從而使得后一個音的頻譜與其他條件下的頻譜產(chǎn)生差異。上下文相關模型能更準確地描述語音，只考慮前一音的影響的稱為Bi-Phone，考慮前一音和后一音的影響的稱為Tri-Phone。英語的上下文相關建模通常以音素為基元，由于有些音素對其后音素的影響是相似的，因而可以通過音素解碼狀態(tài)的聚類進行模型參數(shù)的共享。

語音識別系統(tǒng)的組成

89第89頁，共127頁，2023年，2月20日，星期三語言模型語言模型計算音節(jié)到字的概率。語言模型主要分為：

規(guī)則模型統(tǒng)計模型統(tǒng)計語言模型是用概率統(tǒng)計的方法來揭示語言單位內在的統(tǒng)計規(guī)律，其中N-Gram模型簡單有效，被廣泛使用。聽寫機大詞匯量、非特定人、連續(xù)語音識別系統(tǒng)通常稱為聽寫機。其架構就是建立在聲學模型和語言模型基礎上的HMM拓撲結構。對話系統(tǒng)對話系統(tǒng)往往是面向一個狹窄領域、詞匯量有限的系統(tǒng)。語音識別系統(tǒng)的組成

90第90頁，共127頁，2023年，2月20日，星期三語音識別技術在實際使用中達到了較好的效果，但如何克服影響語音的各種因素還需要更深入地分析。目前聽寫機系統(tǒng)還不能完全實用化以取代鍵盤的輸入，但識別技術的成熟同時推動了更高層次的語音理解技術的研究。由于英語與漢語有著不同的特點，針對英語提出的技術在漢語中如何使用也是一個重要的研究課題，四聲等漢語本身特有的問題也有待解決。

語音識別技術存在問題

91第91頁，共127頁，2023年，2月20日，星期三4.4.8表情識別

面部表情是人體語言的一部分。人的面部表情不是孤立的，它與情緒之間存在著千絲萬縷的聯(lián)系。人的各種情緒變化以及對冷熱的感覺都是非常復雜的高級神經(jīng)活動，如何感知、記錄、識別這些變化過程是表情識別的關鍵。到目前為止，國際上關于表情分析與識別的研究工作可以分為基于心理學的和基于計算機識別的兩類。92第92頁，共127頁，2023年，2月20日，星期三計算機面部表情的識別的三個步驟

表情的跟蹤

以某種方式將表情信息從外界攝取出來。表情的編碼

即對面部表情進行編碼。基于面部運動確定表情的思想，Ekman和Friesen于1978年提出了一個面部動作編碼系統(tǒng)（FacialActionCodingSystem，F(xiàn)ACS），它是基于對所有引起面部動作的臉的“動作單元”的枚舉編制而成的。

表情的識別

面部表情的識別可以通過對FACS中的那種預定義的面部運動的分類來進行，而不是獨立地確定每一個點。

93第93頁，共127頁，2023年，2月20日，星期三4.4.9手寫識別發(fā)展手寫識別技術并嵌入到各種設備中，將是手寫識別技術未來發(fā)展的重要方向之一。

世界上絕大多數(shù)語言的字符都可以用Unicode的形式來表示。聯(lián)機手寫識別技術的優(yōu)點是不需專門學習與訓練、不必記憶編碼規(guī)則、安裝后即可手寫輸入漢字，是最簡單方便的輸入方式。同時符合人的書寫習慣，可以一面思考、一面書寫，不會打斷思維的連續(xù)性，是最自然的輸入方式。94第94頁，共127頁，2023年，2月20日，星期三手寫識別的形式和約束脫機（off-line，又稱離線）識別脫機識別就是機器對于已經(jīng)寫好或印刷好的靜態(tài)的語言文本圖像的識別。聯(lián)機（on-line，又稱在線）識別聯(lián)機識別是指用筆在輸入板上寫，用戶一邊寫，機器一邊進行識別，可實時人機交互。手寫體識別的方法和識別率取決于對手寫約束的層次，這些約束主要是手寫的類型、寫字者的數(shù)量、詞匯量的大小以及空間的布局。顯然，約束越寬識別越困難。

95第95頁，共127頁，2023年，2月20日，星期三1.聯(lián)機手寫識別

聯(lián)機手寫文字的識別過程：預處理、歸一化、特征抽取、特征匹配漢字手寫輸入板預處理模式表達（特征提?。┡袆e（分類或句法分析）字典（特征模板集合或句法規(guī)則集合）漢字代碼圖4-14聯(lián)機手寫識別原理框圖

96第96頁，共127頁，2023年，2月20日，星期三2.脫機手寫識別

脫機手寫識別比印刷體漢字識別、聯(lián)機手寫體識別都要困難。

脫機手寫識別得到的描述則是點陣圖像，要得到筆段的點陣通常需要細化運算。

細化會損失一些信息，并且不可能得到時間順序信息。脫機識別中，筆畫與筆畫之間經(jīng)常粘連，很難拆分，而且筆段經(jīng)過與另一筆段交叉分成兩段后，也難以分清是否應該連起來。

97第97頁，共127頁，2023年，2月20日，星期三漢字識別的方法結構識別結構識別方法的出發(fā)點是漢字的組成結構。漢字是由筆劃(點、橫、豎、撇、捺等)、偏旁、部首構成，通過把復雜的漢字模式分解為簡單的子模式直至基本模式元素，對子模式的判定以及基于符號運算的匹配算法，實現(xiàn)對復雜模式的識別。結構識別法的優(yōu)點是區(qū)分相似字的能力強，缺點是抗干擾能力差。98第98頁，共127頁，2023年，2月20日，星期三漢字識別的方法統(tǒng)計識別統(tǒng)計識別方法是將漢字看為一個整體，其所有的特征是從整體上經(jīng)過大量的統(tǒng)計而得到的，然后按照一定準則所確定的決策函數(shù)進行分類判決。統(tǒng)計識別的特點是抗干擾性強，缺點是細分能力較弱。神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡具有學習能力和快速并行實現(xiàn)的特點，因此可以通過神經(jīng)網(wǎng)絡分類器的推廣能力準則和特征提取器的有效特征提取準則，對手寫字符進行識別。

99第99頁，共127頁，2023年，2月20日，星期三影響漢字識別率的因素

筆順問題

書寫習慣影響筆劃的書寫順序，單純通過串匹配進行識別難以達到理想效果。對漢字進行描述時，僅僅采用一維串也就顯得不夠，必須利用一些二維方法來描述，但其會極大地增加匹配的難度。連筆問題

對于結構識別而言，連筆一方面使筆劃種類大大增加，甚至達到難以歸納的程度；另一方面，連筆又使得筆段抽取難度大增，連筆會增加一些冗余筆段，連筆造成的畸變又會使筆段方向嚴重離散。100第100頁，共127頁，2023年，2月20日，星期三相似字區(qū)分

漢字種類繁多，很多漢字彼此之間非常相似，例如“己、已、巳”三個字相差只在細微之間。手寫漢字的變形十分嚴重，怎樣能使識別系統(tǒng)抓住微小的差別，是一個非常值得研究的問題。

對抗干擾能力的要求書寫時候，筆劃的畸變、丟失，多余筆段(如筆鋒)的插入，字的傾斜，部件間相對位置、大小的變化，經(jīng)常出現(xiàn)，會造成基元提取和識別的錯誤。影響漢字識別率的因素

101第101頁，共127頁，2023年，2月20日，星期三4.4.10數(shù)字墨水（digitalink）

數(shù)字墨水是一種新的人機界面技術，它借鑒手寫識別技術的同時，克服了它的許多局限性。

數(shù)字墨水在數(shù)學上是通過三階貝塞爾曲線來描述筆輸入的筆跡，它的記錄格式與圖像和文本格式都不同。這種存儲方式使得數(shù)字墨水文件的大小很小，從而可以更有效地進行存儲。

102第102頁，共127頁，2023年，2月20日，星期三數(shù)字墨水的處理

數(shù)字墨水的表示壓縮和顯示智能的墨水分析技術墨水標記和注解技術墨水的智能操作墨水存儲墨水搜索103第103頁，共127頁，2023年，2月20日，星期三數(shù)字墨水的解析墨水解析技術是數(shù)字墨水技術中的亮點，它可以將筆輸入的文字串解析成單字，從而將復雜的語句級手寫識別化繁為簡，分解成語句解析和單字識別兩個部分?？梢詫τ涗浵聛淼臄?shù)字墨水進行結構化和深度分析，分析目的不是要去解決“寫的是什么字”，而是要解決“到底在寫什么，以及是如何寫的”。

104第104頁，共127頁，2023年，2月20日，星期三數(shù)字墨水的保存格式數(shù)字墨水可以用墨水格式保存（ink文件），用戶不再需要利用其他Windows應用程序來把手繪、手寫的筆跡轉換為別的格式來保存、發(fā)送和編輯。同樣，由于Windows平臺將數(shù)字墨水定義為基本數(shù)據(jù)類型之一，如同文本得到操作系統(tǒng)級的支持一樣，數(shù)字墨水在不同應用軟件之間的交換也變得非常容易。數(shù)字墨水的數(shù)據(jù)格式比圖像數(shù)據(jù)格式所占的空間小得多，而且數(shù)字墨水記錄的是結構化的信息，可以進行全文搜索。

105第105頁，共127頁，2023年，2月20日，星期三數(shù)字墨水的使用當前，微軟已實現(xiàn)了數(shù)字墨水技術對英文、德文、法文、韓文、日文、簡體和繁體中文等語言的支持。WindowsXPTabletPCEdition擁有強大而簡單的數(shù)字化墨水控件和API，方便軟件開發(fā)商將筆墨功能擴展到其現(xiàn)有和即將推出的軟件中，就如同集成目前的鍵盤和鼠標一樣簡單。

106第106頁，共127頁，2023年，2月20日，星期三數(shù)字墨水的價值它結合了個人電腦強大的計算處理能力以及紙的易用性。它“還墨水以本色”，人類不再需要扭曲自己最自然的寫作方式，在機器所設置的“行”或“框”中按機器的要求書寫，而是隨心所欲、隨意勾畫。將成為許多嶄新應用的底層支持，這些應用將把人類傳統(tǒng)的手寫和手繪發(fā)揮得淋漓盡致。

107第107頁，共127頁，2023年，2月20日，星期三4.5漢字信息處理技術

漢字信息處理主要是研究漢字的屬性、編碼、輸入方法、詞處理、字形存儲等基本理論和技術，提高漢字字符處理系統(tǒng)的性能，加強漢語理解和高層次應用研究。

108第108頁，共127頁，2023年，2月20日，星期三4.5.1文字信息的計算機處理過程

圖4-17文字信息的計算機處理過程

109第109頁，共127頁，2023年，2月20日，星期三4.5.2漢字編碼

國標碼：GB2312-80《信息交換用漢字編碼字符集》是目前國內所有漢字系統(tǒng)的統(tǒng)一標準。每個國標碼都對應著一個惟一的漢字或符號。國標碼共有字符7445個，包括漢字和其他字符。其中一級漢字有3755個，按漢語拼音順序排列；二級漢字有3008個，按部首和筆畫排列；其他字符有常用符號、序號、GB1988圖形字符集、希臘字符、制表符等。是一個四位十六進制數(shù)編碼，前兩位表示行(0~93)，后兩位表示列(0~93)，分別用雙7位二進制數(shù)表示，即兩個字節(jié)的最高位為0。110第110頁，共127頁，2023年，2月20日，星期三漢字的編碼區(qū)位碼

區(qū)位碼是一個四位的十進制數(shù)，前兩位叫做區(qū)碼(1~94)，后兩位叫做位碼(1~94)，分別用雙2位十進制數(shù)表示，不足兩位時前面補0。機內碼是計算機內部實際使用的表示漢字的代碼，在微機中多用兩字節(jié)(最高位為1)代碼作為機內碼。

BIG5我國臺灣地區(qū)的計算機界實行的漢字編碼字符集，包含了420個圖形符號和13070個漢字（不包含簡化漢字）。111第111頁，共127頁，2023年，2月20日，星期三漢字的編碼GBK《漢字內碼擴展規(guī)范》，國家于1995年12月15日將它確定為技術規(guī)范指導性文件。GBK共有20902個GB漢字。包括了GB碼簡體漢字和BIG5繁體漢字。GBK向下與GB2312編碼兼容，向上支持ISO10646.1國際標準。與Unicode組織的Unicode編碼完全兼容。112第112頁，共127頁，2023年，2月20日，星期三4.5.3漢字輸入方法

鍵盤輸入利用鍵盤、根據(jù)一定的編碼規(guī)則來輸入漢字。常用漢字編碼音碼形碼音形混合碼數(shù)碼等非鍵盤輸入聯(lián)機手寫輸入語音輸入光電掃描輸入

113第113頁，共127頁，2023年，2月20日，星期三目前主要鍵盤中文輸入法

流水碼（對應碼）

音碼

形碼

聲形碼

混合輸入法

數(shù)字鍵盤輸入技術

114第114頁，共127頁，2023年，2月20日，星期三目前主要鍵盤中文輸入法流水碼（對應碼）以各種編碼表作為輸入依據(jù)因為每個漢字只有一個編碼，所以重碼率幾乎為零，效率高，可以高速盲打，缺點是需要的記憶量極大，而且基本上沒有什么規(guī)律。常見的流水碼有區(qū)位碼、電報碼、內碼等。這種方法適用于某些特殊用戶，如電報員等。在計算機中輸入漢字時，這類輸入法已經(jīng)基本淘汰。

115第115頁，共127頁，2023年，2月20日，星期三目前主要鍵盤中文輸入法音碼

是按照漢字的拼音來進行輸入漢字的，不需要特殊記憶，符合人的思維習慣，只要會拼音就可以輸入漢字。缺點：同音字太多，重碼率高，輸入效率低。對用戶的發(fā)音要求較高。很難處理不認識的生字。常用的輸入法全拼雙音、雙拼雙音、新全拼、新雙拼、智能