人機自然交互技術(shù)

人機自然交互技術(shù)

提綱

?人機交互概述

-定義，內(nèi)涵與外延

-研究內(nèi)容

-歷史、現(xiàn)狀

?人機自然交互技術(shù)

?我的工作

HCI是什么?

?用尸：我又錯了？

-用戶必須不斷地適應(yīng)計算機，而不是相反!

人機交互

?定義(ACM,1992)

-Human-computerinteractionisadiscipline

concernedwiththedesign,evaluationand

implementationofinteractivecomputing

systemsforhumanuseandwiththestudyof

majorphenomenasurroundingthem.

-一門研究人類所使用的交互式計算系統(tǒng)的設(shè)計、

實施、評估及相關(guān)主要現(xiàn)象的學(xué)科

HCI簡化模型

HCI目標

?使得用戶在完成任務(wù)時，能夠達到

-安全性(Safely)

-有效性(effectively)

-高效率(Efficiently)

-愉悅感(Enjoyably)

-高可用性(Usability)

高可用性(Usability)

?易于學(xué)習如何使用

-Easeoflearning,freeoftraining

?用戶可高速執(zhí)行任務(wù)

-Highspeedofusertaskperformance

?低的用戶錯誤率

-Lowusererrorrate

?用戶的主觀滿意度

-Subjectiveusersatisfaction

?對用戶持久的吸引力

一Userretentionovertime

HCI主要研究內(nèi)容(ACM1992)

U1u會組織與工作

C2對話技C4計律機制

術(shù)圖

nn

C3對話風

楙C5對話構(gòu)建

D4實例系統(tǒng)與、

實施技巧

D3評估技D2

與工具

巧D1設(shè)計

HCI研究內(nèi)容

?N人機交互的本質(zhì)

-N1人機交互(元-)模型

?U計算機的應(yīng)用及情景

-U1人類社會組織和工作

-U2應(yīng)用領(lǐng)域

-U3人機適應(yīng)(FitandAdaptation)

?H人類特征

-H1人類信息處理

-H2語言，通信與交互

-H3工效學(xué)(Ergonomics)

HCI研究內(nèi)容(續(xù))

?C計算機系統(tǒng)和界面構(gòu)建

-C1輸入和輸出設(shè)備

-C2對話技術(shù)

-C3對話風格Genre

-C4計算機圖形學(xué)

-C5對話架構(gòu)(ArcMtecture)

?D開發(fā)過程

-D1設(shè)計方法

-D2實施技術(shù)

-D3評估技巧

-D4實例系統(tǒng)和案例研究

?P項目展示和測試

U2HCI應(yīng)用領(lǐng)域

?面向文檔的應(yīng)用?多媒體信息亭

-文字處理，文檔格式化，

?連續(xù)控制系統(tǒng)

插圖，電子表格，超文本

?面向通信的應(yīng)用-過程控制系統(tǒng)，虛擬

-email,視頻會議，電話/聲音現(xiàn)實系統(tǒng)，仿真器，

信息系統(tǒng)座艙，視頻游戲

?設(shè)計開發(fā)環(huán)境類?嵌入式系統(tǒng)

-開發(fā)環(huán)境，CAD/CAM-復(fù)印機，電梯，消費

?在線幫助和指南電子，家用電器（TVs,

VCRs,微波爐.）

U3人機適應(yīng)

?實現(xiàn)人機適應(yīng)的可變化技術(shù)手段

?自適應(yīng)系統(tǒng)的本質(zhì)，適應(yīng)冗余系統(tǒng)的錯誤本質(zhì)，

用戶對例程改進的經(jīng)驗發(fā)現(xiàn)，成功系統(tǒng)的關(guān)鍵點

?系統(tǒng)選擇：系統(tǒng)采用理論

-系統(tǒng)適應(yīng)：定制與裁剪技術(shù)

?用戶選擇：用戶和系統(tǒng)特性的兼容性

?用戶適應(yīng)：易學(xué)習，訓(xùn)練方法（在線指南），與

系統(tǒng)設(shè)計的關(guān)系

?用戶指導(dǎo)：幫助技術(shù)，文檔，錯誤處理技術(shù)

H1人類信息處理

?認知機理模型

-符號主義，連接主義，工程模型

?諸多認知過程的現(xiàn)象和理論

-記憶，知覺，運動技巧，注意和警惕，問題求

解，學(xué)習和技巧獲得，動機等

?用戶的概念模型

?用戶行為模型

?人類的多樣性（包括殘障人士）

C1輸入和輸出設(shè)備

?輸入設(shè)備

-特定設(shè)備的結(jié)構(gòu)，性能特性，殘障人專用設(shè)備，手寫,

手勢，語音輸入，眼動跟蹤，其他設(shè)備（如腦電掃描

設(shè)備，3D掃描儀，其他測量生物信號的設(shè)備）

?輸出設(shè)備

-特定設(shè)備的結(jié)構(gòu)，向量式設(shè)備，光柵設(shè)備，幀緩存，

圖像存儲，事件處理，殘障人專用設(shè)備，聲音和語音

輸出，3D顯示器，運動等等

?輸入輸出設(shè)備特性

-重量，便攜性，帶寬，感覺模態(tài)

?虛擬顯示設(shè)備

C2對話技術(shù)

?對話輸入

-輸入目的類型（如選擇，具體參數(shù)指定，連續(xù)控制）

-輸入技術(shù)

?鍵盤技術(shù)（e.g,commands,menus）

?基于鼠標的技術(shù)（e.g.,選擇）

?基于pen的技術(shù)（eg,字符識別，手勢等）

?基于語音的技術(shù)

?對話輸出

-輸出目的

?如：傳達精確信息，信息摘要，過程展示，信息可視化

-輸出技術(shù)

?滾動條顯示，窗口，動畫，魚眼顯示，畫中畫等

-屏幕布局問題

?焦點，雜亂，視覺邏輯

C2對話技術(shù)（續(xù)）

?對話交互技術(shù)

-對話種類和技術(shù)

?文字技術(shù)，表格填充，菜單選擇，圖標和直接操作,

自然語言等

-對話市的導(dǎo)航和指向，錯誤管理

-多媒體和非圖形對話

?語音輸入/輸出，語音信箱，視頻信箱，主動文檔，

視頻磁盤

-智能代理，AI

-多人對話

HCI簡史

D4實例系統(tǒng)和案例研究

WhyHistory?

?讀史使人明智

-理解我們從哪里走過來的，有助于指明我們繼

續(xù)前進的方向！

Understandingwhereyou'vecomefromcan

helpalotinfiguringoutwhereyou'regoing.

-領(lǐng)域知識意味著對其歷史的準確評價！

Knowledgeofanareaimpliesan

appreciationofitshistory.

HCI范式(Paradigms)

?里程碑式的理論框架或科學(xué)世界觀

-如物理學(xué)上的亞里士多德時代、牛頓時代、愛

因斯坦時代

?對HCI歷史的理解，可以通過對計算機應(yīng)

用范式變遷的認識來完成

-HCI的歷史，基本上就是計算機發(fā)展的歷史！

計算機的誕生

?回溯

-數(shù)字計算機的概念在18世紀提出

-在20世紀40年代技術(shù)上稱為現(xiàn)實

?早期模擬計算機

-1943年1月：MarkI,自動順序控制計算機在美國研制

成功，被用來為美國海軍計算彈道火力表

-1943年12月：AlanTuring參與設(shè)計制造的最早的可編

程計算機Colossus在英國推出，目的是為了破譯德國

的密碼，每秒能翻譯大約5000個字符

ENIAC,1946

?開始研制于1943年，完成于1946年2月15日

-ElectronicNumericalIntegratorAndComputer電子

數(shù)字積分計算機——第一臺真正意義上的數(shù)字電子計

算機

-占地面積170平方米，30個操作臺，約相當于10間普

通房間的大小，重達30噸，耗電量150千瓦，造價48

萬美元。它使用18000個電子管，70000個電阻，

10000個電容，1500個繼電器，6000多個開關(guān)

-每秒執(zhí)行5000次加法或400次乘法，是繼電器計算機

的1000倍、手工計算的20萬倍

-負責人是JohnW.Mauchly和J.PresperEckert

ENIAC

?用途：計算彈道和氫彈的研制。

P1:V.Bush&Memex1945

?促成了美國NSF,ARPA等的創(chuàng)立

?“AsWeMayThink〃-1945年

?Memexdevice理論模型/概念

-能夠存儲所有記錄、文章和通信

-內(nèi)存巨大

-按索弓I,關(guān)鍵詞，相互參照獲取信息

-相互連接管理（提出的概念非常類似

THypertext）

g寸6LX0E8W

P2:J.R.Licklider

?心理學(xué)家f計算機科學(xué)家■

—1960年，發(fā)表了“人機共生”/

("man-computersymbiosis")的論文

?計算機如何更好的幫助人做事情1

一1962年，J.CRLicklider和W.CIark

發(fā)表論文《On-LineManComputer

Communication^,討論分布式社

交行為的全球網(wǎng)絡(luò)概念

-Batchprocessing今time-sharing

-Internet先驅(qū)人物之一

P3:LSutherland&SketchPad1963

?SketchPad"編程”系統(tǒng)

-信息論先驅(qū)Shannon的學(xué)生

-1963PhDthesisatMIT

-1988TuringAward

-可以通過使用手持物體（如光

筆）直接在顯示屏幕上創(chuàng)建圖

形圖像?？梢暤膱D樣隨即被存

入計算機內(nèi)存，它們可以被重

新調(diào)用，并同其他數(shù)據(jù)一樣可

以進行后期的處理。

-CAD先驅(qū)，后期致力于設(shè)計頭

盔式3D顯示器（1967年開始）

■

■

V

P3:IvanSutherland

?Sketchpad是第一個可以在顯示屏幕上直

接構(gòu)造圖形圖像的系統(tǒng)，不用再通過鍵盤

向計算機輸入代碼和公式

?更具革命性的是，它考慮到了在顯示屏幕

上作某些改動后，存儲在計算機中的信息

可以被改變和更新。

?Sketchpad開創(chuàng)了計算機輔助設(shè)計的一個

新領(lǐng)域，即我們所熟知的CAD

新的范式：VideoDisplayUnits

?視頻顯示部件VDU

-Sutherland^Sketchpad是里程碑式的系統(tǒng)

-計算機從此可以用于信息可視化和數(shù)據(jù)操作

■之前：主要用于數(shù)據(jù)計算

P4:DouglasEngelbart

?道格拉斯?恩格爾巴特——“人機交互”大師

—因發(fā)明鼠標而聞名，鼠標最初的名字：顯示系統(tǒng)的X-

Y位置指示器(1963?1965)

P4:DouglasEngelbart

-鼠標器只不過是他所有成果中的一個小發(fā)明。但

他提出的那些氣魄輝宏的計算機理論卻遠遠不及

他發(fā)明的鼠標器廣為世人所知曉

-發(fā)明涉及視窗、文字處理系統(tǒng)、在線呼叫集成系統(tǒng)、

共享屏幕的遠程會議、超媒體、電腦交互輸入設(shè)備、

群件，層次超文本，多媒體，鼠標

?20世紀60年代初，他就發(fā)表了一篇題為《放大人

類智力》(AugmentingtheHumanIntellect)的文

章，提出了把計算機作為人類智慧放大器的觀點

?1997年，ACM圖靈獎

P5:AlanKay

?最早的圖形用戶界面(GUI)電腦A代。

—在施樂PARC,與同事構(gòu)建了Alto,

成為Macintosh和Windows的先馬區(qū)

?2003年度圖靈獎得主(forOOP)

-發(fā)明了“ObjectOriented”這個術(shù)語，第一個完全面向

對象的動態(tài)計算機程序設(shè)計語言Smalltalk的發(fā)明者

?SmaHtalk源自AlanKay"使用一組獨立的互相通信的對象來

解決問題”的思想，它可以說是目前主流語言C++,Java和

C#的前身。

?1972年，他來到施樂PARC,開始將Smalltalk作為一種兒童

教育工具

P5:AlanKay

?個人計算之父

—1968年，提出Dynabook設(shè)想

?"Notebooksizedcomputerloadedwith

multimediaandcanstoreeverything"

?將是一款如同書籍般，既為可攜式且具互動功能的

多媒體個人式電腦，它的主要規(guī)格如下：

1.大小如A4紙張之易攜帶；

2.顯示器的解析度必須優(yōu)于報紙文字；

3.必須具有聲音輸入的功能且易操作；

4.必須能夠網(wǎng)路化和作無線通訊

新的范式：個人計算

?因易于使用而更強大

?小而強大的計算機器為個人用戶而做

?互聯(lián)和分時的重要性

?先驅(qū)者

-Kay'sDynabook,1968年

-IBMPC,1970年代

?文本和命令方式

具有GUI的PC

?XeroxPARC-mid1970Js

-Alto

?BravoWYSIWYG文本編輯.

?BravoXMicrosoftWord的祖先.

?Laurel電子郵件.

?Neptune磁盤文件管理.

?Press文件打印.

?Sil畫圖程序.

XeroxStar-1981

?第一臺為商務(wù)應(yīng)用設(shè)計的商用PC

—具有了桌面電腦的主要特征

?Pointing,WYSIWYG,highdegreeofconsistency

andsimplicity

?采用了可用性工程方法

-有原型設(shè)計和分析

-好用性測試，迭代式的改進

XeroxStar

?天才的概念，商業(yè)失敗

-$15kcost

一Closedarchitecture

一Lackingkeyfunctionality

1981IBMPC

?1981年8月12日，IBM正式發(fā)布了歷史上第一臺

PC,從此人類就進入了個人電腦時代！舊MPC

改變了我們的生活和工作方式

-IBMPC之父：埃斯特利奇，13人小組

AppleLisa-1982

?BasedonideasofStar

?更加個人化，而不全是

辦公工具

-LisaWrite:字處理

-LisaCalc:表格

-LisaGraph:圖形

-LisaList:規(guī)劃管理工具劉”

-LisaProject:項目計劃Gtdffhtrg

-LisaDraw:繪圖程序

-LisaTerminal:現(xiàn)代通信軟件

?失?、踡rtt“E

14modoiM."必

18bold/ihlfc

拉Lmin-l

AppleMacintosh-1984

?并非先驅(qū)，但非常聰明的拷貝

一Nottrailblazer,smartcopier

?優(yōu)點

-Aggressivepricing-$2500

-界面友好

-支持第三方應(yīng)用

-童質(zhì)量圖像和激光打印

一高質(zhì)量的應(yīng)用系統(tǒng)，MacWrite>MacDraw

-新的應(yīng)用：Pagemaker,Word,Excel

新的HCI范式：WIMP

?Windows,Icons,Menus,Pointers

-并行操作

?Candoseveralthingssimultaneously

-圖形用戶界面

—實例

?XeroxAlto,Star;earlyApples

P6:BenShneiderman

?Dr.Shneiderman的著作有《軟件心理學(xué)：計算

機和信息系統(tǒng)中的人類要素》，1980

-發(fā)明了直接操作DM(DirectManipulation)概念

?在1983年首次設(shè)計了選中條目點擊轉(zhuǎn)到另一頁的

方法.

?創(chuàng)立并任馬里蘭大學(xué)HCI實驗室主任4n

新的范式：直接操作

DirectManipulation

?直接操作的特點

-對象可見

-漸進動作和快速反饋

-可逆性鼓勵探索

-使用動作代替語言

-對動作進行句法修正

一WYSIWYG—WhatYouSeeIsWhatYouGet.

P7:DonaldA.Normar

?20世紀60年代他就是一流的認知心理學(xué)家，是認

知科學(xué)的開拓者之一，發(fā)展了HCI應(yīng)用科學(xué)，涉

及到認知學(xué)、工程和設(shè)計，在HCI方面做出了大

量創(chuàng)造性的成就，提出的“以人為中心的設(shè)計”

概念。

?"DesignofEverydayThings55

-已成了設(shè)計人員的必備，以人為本，可用性、易用性,

還有情感影響，新的理念指導(dǎo)著很多的設(shè)計

?《EmotionalDesign:Whywelove(orhate)

everydaythings》情感化設(shè)計

-強調(diào)情感在產(chǎn)品設(shè)計中的重要作用

新的范式：多模態(tài)用戶界面

?模態(tài)是人類交流的通道

-不僅僅是感官

?例如：語音（聽覺通道）和唇讀（視覺通道）

?多模態(tài)融合

-多通道同時使用共同協(xié)作完成輸入/輸出功能

P8:TedNelson

?Hypertext（超文本）,hypermedia（超媒

體）等概念的（合作）提出者

新的范式：Hypertext

?WWW,1993

?超文本

-將信息看作互聯(lián)的節(jié)點，而不是線性流

?Thinkofinformationnotaslinearflowbutasinterconnected

nodes

?源頭

-Nelson'shypertext

-Bush'sMEMEX

?非線性的瀏覽結(jié)構(gòu)

-Non-linearbrowsingstructure

P9:MarkWeiser

?提出普適計算是21世紀的計算模式

-MarkWeiser于1988年在XeroxPARC的

計算機科學(xué)實驗室首次提出了這個概念

-無處不在的計算描述了具有豐富計算資源和通信能力

的人和環(huán)境之間關(guān)系的場景，能夠在需要的何時何地

都可以提供信息和服務(wù)，這個環(huán)境與人們逐漸地融合

在一起。使得計算機“Invisible”，“最好的仆人是看

不見的仆人”

?還提出了"寧靜技術(shù)calmtechnology”的概念

-充分利用人體豐富多彩的感知和動作器官，以及人們

與日常物理世界打交道時所形成的自然交互技能來獲

得計算機提供的服務(wù)

人機自然交互技術(shù)

?HCI簡史——人適應(yīng)計算機的歷史！

-1960年代一70年代：鍵盤，字符界面

-1980年代一90年代：鼠標，圖形界面

?目前

-仍然以鼠標，圖形界面為主，書寫、聽覺等為輔

?未來——計算機適應(yīng)人的未來！

-到2015年左右，我們會如何使用計算機？

?下一代自然人機界面會是什么？

?需要大家的想象力！

人機自然交互技術(shù)

人們對于現(xiàn)存的人機交互方式并不滿足，因為人與

人的交互不是通過人手操作來實現(xiàn)的，而是通過聽覺與

視覺以語言、表情、手勢和體勢進行的。人們期望新一

代的人機交互能像人與人交互那樣自然、準確和快捷。

于是在20世紀90年代人機交互的研究進到了多模態(tài)的階

段，禰為人機自然交互(Human-ComputerNature

Interaction,HCNI°￡Human-MachineNatureInteraction,

HMNI)O

人機自然交互與前幾代人機交互的方式有本質(zhì)上的差

別，這是一種人機交互的革命，是擺脫人手操作，賦予

機髓以智能，通過聽覺和視覺通道來實現(xiàn)的新一代交互

方式。

人機自然交互的基本特征是只動嘴不動手，賦予計算

機聽覺與視覺智能，使計算機能認識交互的對象，理解

以語言形式表達的說話內(nèi)容，理解交互對象的情感，按

人的要求去做，或回答人提出的問題，達到交互的目的。

人機自然交互技術(shù)

?主要功能

-識別交互對象，即知道在與誰對話，以稱為說話人識

別，這可以由視覺和聽覺信息通道獲取的知識中進行

識別和判斷；

-要理解對話的內(nèi)容，以便執(zhí)行人發(fā)出的指令，或回答

人提出的問題，這是主要由聽覺信息通道獲取知識，

但由于語言本身是雙模態(tài)的，由視覺信息通道獲取的

唇動知識對某些