人機交互的過去現(xiàn)在和未來

人機交互的過去現(xiàn)在和未來第1頁/共56頁概念人機交互技術(shù)(Human-ComputerInteractionTechniques)，是指通過計算機輸入、輸出設(shè)備，以有效的方式實現(xiàn)人與計算機對話的技術(shù)。

它包括機器通過輸出或顯示設(shè)備給人提供大量有關(guān)信息及提示請示等；人通過輸入設(shè)備給機器輸入有關(guān)信息及提示請示等；人與機器之間的對話互動等。

人機交互技術(shù)是計算機用戶界面設(shè)計中的重要內(nèi)容之一。它與認知學(xué)、人機工程學(xué)、心理學(xué)等學(xué)科領(lǐng)域有密切的聯(lián)系。第2頁/共56頁發(fā)展人機交互技術(shù)的發(fā)展歷史，是從人適應(yīng)計算機到計算機不斷地適應(yīng)人的發(fā)展史。目前，大概分為以下幾個發(fā)展階段：1、早期的手工作業(yè)階段，如卡片紙帶；2、作業(yè)控制語言及交互命令語言階段，如DOS命令；3、圖形用戶界面（GUI）階段；4、網(wǎng)絡(luò)用戶界面的出現(xiàn)；5、多媒體智能人機交互階段；6、意念控制階段；第3頁/共56頁過去穿孔卡片——>穿孔紙帶——>鍵盤——>鼠標(biāo)——>輸入筆——>掃描輸入（條形碼、掃描儀、光電閱讀器等）…第4頁/共56頁穿孔卡片穿孔卡片用于輸入數(shù)據(jù)和程序，直到上世紀70年代中期還在廣泛應(yīng)用。第5頁/共56頁穿孔卡片上圖是一條Fortan程序表達式Z(1)=Y+W(1)第6頁/共56頁穿孔紙帶穿孔紙帶既用來輸入數(shù)據(jù)，也可以用來輸出數(shù)據(jù)。每一行代表一個字符。第7頁/共56頁穿孔紙帶紙帶分8單位和5單位紙帶，就是一排有8個孔的是8單位，5個是5單位，這就是8單位。前面大批空白是引導(dǎo)帶。紙帶輸入機有光電式和電容式兩種。一般每秒可以讀1000行。RDG-1光電紙帶輸入機是5-8單位兩用紙帶輸入機，或稱紙帶閱讀機，除適用計算機輸入外，還可用于各種控制系統(tǒng)，機床程序控制。制造廠：沈陽計算機外部設(shè)備廠當(dāng)年出廠價：1900元第8頁/共56頁鍵盤第9頁/共56頁鍵盤鍵盤伴隨著作業(yè)控制語言（命令），如：dir/format/copy…第10頁/共56頁鼠標(biāo)鼠標(biāo)伴隨著圖形化操作系統(tǒng)（GUI）的發(fā)展第11頁/共56頁輸入筆需求促進技術(shù)的發(fā)展，技術(shù)又帶來新的應(yīng)用第12頁/共56頁輸入筆（手寫輸入）手寫輸入指的是手機通過內(nèi)置的觸控筆在手機屏幕上手寫，手機通過內(nèi)部的識別系統(tǒng)把手寫的各種字體轉(zhuǎn)換為手機可識別的標(biāo)準(zhǔn)字體顯示在手機屏幕上，這樣就大大的提高了輸入的速度。第13頁/共56頁條形碼

條形碼(barcode)是將寬度不等的多個黑條和空白，按照一定的編碼規(guī)則排列，用以表達一組信息的圖形標(biāo)識符。常見的條形碼是由反射率相差很大的黑條（簡稱條）和白條（簡稱空）排成的平行線圖案。條形碼可以標(biāo)出物品的生產(chǎn)國、制造廠家、商品名稱、生產(chǎn)日期、圖書分類號、郵件起止地點、類別、日期等許多信息，因而在商品流通、圖書管理、郵政管理、銀行系統(tǒng)等許多領(lǐng)域都得到廣泛的應(yīng)用。第14頁/共56頁條形碼二維碼二維條碼/二維碼（2-dimensionalbarcode）是用某種特定的幾何圖形按一定規(guī)律在平面（二維方向上）分布的黑白相間的圖形記錄數(shù)據(jù)符號信息的；在代碼編制上巧妙地利用構(gòu)成計算機內(nèi)部邏輯基礎(chǔ)的“0”、“1”比特流的概念，使用若干個與二進制相對應(yīng)的幾何形體來表示文字數(shù)值信息，通過圖象輸入設(shè)備或光電掃描設(shè)備自動識讀以實現(xiàn)信息自動處理。第15頁/共56頁掃描儀掃描儀是利用光電技術(shù)和數(shù)字處理技術(shù)，以掃描方式將圖形或圖像信息轉(zhuǎn)換為數(shù)字信號的裝置。掃描儀可分為滾筒式掃描儀、平面掃描儀，近幾年有了筆式掃描儀、便攜式掃描儀、饋紙式掃描儀、膠片掃描儀、底片掃描儀和名片掃描儀等。三維激光掃描技術(shù)又被稱為實景復(fù)制技術(shù)，是測繪領(lǐng)域繼GPS技術(shù)之后的一次技術(shù)革命。第16頁/共56頁光電閱讀器

光電閱讀機（考試閱卷機）是利用光電轉(zhuǎn)換原理將規(guī)定格式的住處卡上的光學(xué)信息符號轉(zhuǎn)換成計算機能處理的電信號的裝置。信息卡通常是張紙制卡片，紙上一些確定位置印有涂寫信息的矩形或圓形標(biāo)志區(qū)，用鉛筆等對一些標(biāo)志涂黑以后，光電轉(zhuǎn)換部件便能通過卡片的反光或投射能力識別這些信息，并將其轉(zhuǎn)換為電信號。第17頁/共56頁還有？請大家補充第18頁/共56頁現(xiàn)在觸摸技術(shù)：一切都可以作為信息顯示和觸摸識別反饋的載體。語音交互：智能語音交互是基于語音輸入的新一代交互模式，通過說話就可以得到反饋結(jié)果。典型的應(yīng)用如iPhone4S后推出的SIRI。體感交互（肢體控制）：直接使用肢體動作與機器互動，而無需使用任何控制設(shè)備。包括3D虛擬現(xiàn)實、空間鼠標(biāo)、游戲手柄等，典型的應(yīng)用如微軟Xbox游戲機中的游戲。刷臉支付：第19頁/共56頁現(xiàn)在觸摸技術(shù)：公共場所的觸摸屏、銀行ATM柜員機、IPAD/IPHONE上各種應(yīng)用等。未來：無媒介！第20頁/共56頁觸摸技術(shù)第21頁/共56頁觸摸技術(shù)第22頁/共56頁語音交互語音交互技術(shù)：從識別（聽懂話，自然語言理解），到理解話的意思，并按照要求去執(zhí)行！第23頁/共56頁語音交互應(yīng)用：百度導(dǎo)航中的語音交互！第24頁/共56頁肢體控制肢體控制——跳舞毯、互動游戲機（IPAD上的打網(wǎng)球模擬）第25頁/共56頁肢體控制第26頁/共56頁肢體控制第27頁/共56頁肢體控制第28頁/共56頁“霍金”方式當(dāng)霍金不再能講話時，必須用特別方法傳達信息，對方一手拿著一張字母卡，另一手一個字母一個字母地用食指指，當(dāng)指到霍金想要的字母時，霍金會揚起眉毛，這樣，可以慢慢地把整個單字拼出來。后來，電腦專家華特·沃特斯送給他一個稱為“平等者”的程式，可以讓他在屏幕上選擇單字、單詞或字母。平等者的字匯大約有2500–3000個單字，并內(nèi)建了一個語音合成器。平等者本來是執(zhí)行于臺式電腦，護士伊蓮的先生大衛(wèi)?梅森是電腦工程師，大衛(wèi)在霍金的輪椅上設(shè)置了一臺小電腦，并且將平等者安裝在小電腦里。這樣，霍金就不再需要找人做他的翻譯，霍金很高興地說：與在我失去說話功能前相比，我現(xiàn)在可以更如意地傳達信息?；艚鹑耘f可以稍微操控他的手來開啟開關(guān)，每分鐘大約能給出15個單字。每一次演講前，他會事先準(zhǔn)備好講義，然后用語音合成器把內(nèi)容發(fā)表出來。有些人覺得語音合成器給出的聲音具有美國或斯堪地那維亞口音?；艚鹪鞠Ｍ麚Q成英國口音，但后來習(xí)慣了，反而覺得那就是他的聲音。霍金的健康仍舊在緩慢惡化，2005年，他開始使用臉頰肌肉的運動來控制他的通訊設(shè)備，每分鐘大約可以輸出一個字。由于這疾病很可能引起閉鎖癥候群，霍金正與神經(jīng)學(xué)專家研發(fā)出一套新系統(tǒng)，讓電腦將他的腦波圖樣翻譯為詞句。第29頁/共56頁“霍金”方式第30頁/共56頁刷臉支付把臉湊近手機，“滴”一聲，就付完錢了……日前，阿里集團董事局主席馬云在德國漢諾威通信和信息技術(shù)博覽會上，向德國總理默克爾與中國副總理馬凱，演示了螞蟻金服的SmiletoPay掃臉技術(shù)。這項最新的支付認證技術(shù)由螞蟻金服與Face++合作研發(fā)，可以在購物后的支付認證階段通過掃臉取代傳統(tǒng)密碼。為了證明刷臉支付有效，馬云還特地為嘉賓從淘寶上網(wǎng)購了1948年的德國漢諾威紀念郵票。早期的指紋識別、眼角膜識別第31頁/共56頁北京曠視科技有限公司旗下的新型視覺服務(wù)平臺，由3位清華大學(xué)學(xué)生創(chuàng)辦，都是中學(xué)搞OI比賽的。2011年10月，獲得聯(lián)想之星百萬級天使投資。2013年7月，獲得創(chuàng)新工場百萬美元A輪投資。2013年10月16日，F(xiàn)ace++v3.0版本上線，在這一版本中將人臉識別API免費提供了出來，開發(fā)者不再需要付費調(diào)用人臉識別技術(shù)。第32頁/共56頁聯(lián)合創(chuàng)始人楊沐、印奇、唐文斌（從左至右）第33頁/共56頁印奇：清華姚期智實驗班本科，從本科開始在MSRA（微軟亞洲研究院）實習(xí)加全職工作共四年時間，研發(fā)了微軟當(dāng)時核心的人臉識別系統(tǒng)，被廣泛應(yīng)用在X-box和Bing等微軟產(chǎn)品中。后赴美國哥倫比亞大學(xué)攻讀3D相機方向博士學(xué)位，師從computationalcamera的行業(yè)泰斗，學(xué)習(xí)兩年后phdquit回國正式創(chuàng)業(yè)。有多項國際專利和頂級論文發(fā)表。第34頁/共56頁唐文斌：清華姚期智實驗班本科，初中（紹興一中）開始參加OI，先后多次獲得acm、codejam等各類編程比賽冠軍。曾經(jīng)擔(dān)任國家信息學(xué)競賽總教練7年之久，負責(zé)從高中選拔天才兒童參加國際信息編程奧林匹克比賽（IOI）。清華研究生階段，專注社交挖掘和圖像檢索，曾獲ECMLbeststudentpaperrunner-up和googletopcodertarget。第35頁/共56頁楊沐：清華姚期智實驗班本科，曾獲國際信息學(xué)奧林匹克競賽（IOI2007）金牌（福州三中）。曾參與多個開源項目，是一個“碼力”超強的NB架構(gòu)師?，F(xiàn)在在領(lǐng)導(dǎo)團隊進行整個大規(guī)模并行系統(tǒng)的搭建。第36頁/共56頁未來腦機交互

意念控制第37頁/共56頁腦機交互

“意念”操控，是利用人類的腦波操控。通俗地講，人類在進行各項生理活動時都在放電。心臟跳動時會產(chǎn)生1～2毫伏的電壓，眼睛開閉會產(chǎn)生5～6毫伏的電壓，而思考問題時大腦會產(chǎn)生0.2～1毫伏的電壓。如果用科學(xué)儀器測量大腦的電位活動，那么在熒幕上就會顯示出波浪一樣的圖形，這就是“腦波”。

腦機交互（Brain-ComputerInterface，簡稱BCI），是指在人腦與計算機等外部設(shè)備之間建立直接的連接通路。通過對于腦電信息的分析解讀，將其進一步轉(zhuǎn)化為相應(yīng)的動作，這就是用“意念”操控物體的基本原理。腦機交互可以指通過大腦思維對其他設(shè)備進行控制，也可以反過來，對人腦進行控制。第38頁/共56頁腦機交互浙醫(yī)二院、浙大研究院腦機接口研究有重大進展。第39頁/共56頁腦機交互

到目前為止，腦機交互技術(shù)主要應(yīng)用于醫(yī)療領(lǐng)域。比如，對于癱瘓病人來說，腦機交互技術(shù)可以先讀取腦信號，并將信號編譯為程序，進而由機械假肢之類的外部設(shè)備執(zhí)行并完成動作，達到輔助癱瘓病人的目的。換句話說，病人只用思維和意念就可以控制電子假肢。第40頁/共56頁腦機交互

汽車就成為人類意識的外延，汽車可以與人腦直接相連。利用腦機交互技術(shù)，可以獲取到很多現(xiàn)在無法得到的駕駛員的信息，而這些信息如果能夠傳遞給汽車，那么駕駛的體驗將會得到很大的提升。比如汽車可以監(jiān)控駕駛員是否昏昏欲睡，是否注意力集中，是否處于不良情緒中等等。當(dāng)汽車感知到駕駛員的疲勞時，可以自動的發(fā)出警報，開啟收音機，搖下車窗甚至是自動停車?；蛘咂嚫兄今{駛員處于暴怒的情緒，就會自動的為你調(diào)整速度?；蛘邫z測到有酒精或者毒品刺激的類似狀態(tài)，就發(fā)動不了汽車。類似的潛在應(yīng)用還有很多，但是最重要的一點就是，腦機交互技術(shù)能夠提升駕駛的安全性。第41頁/共56頁看過電影《阿凡達》的人一定不會忘記影片中這樣一個橋段：在潘多拉星上，下身癱瘓的的前海軍戰(zhàn)士杰克·薩利躺在密封艙中，通過頭上戴著的復(fù)雜設(shè)備，利用意念操控人造的混血阿凡達。當(dāng)然，潘多拉星和阿凡達只是導(dǎo)演卡梅隆的虛構(gòu)，利用意念操控阿凡達自然也不可能發(fā)生。但是你或許不知道，利用“意念”操控物體已經(jīng)不再是人類的空想。意念控制（腦控）第42頁/共56頁意念控制（腦控）技術(shù)包括生物科學(xué)（大腦結(jié)構(gòu)、神經(jīng)元，皮層、腦電信號采集，但目前還不能實現(xiàn)讀心術(shù)）、認識科學(xué)、信息科學(xué)、納米科學(xué)等第43頁/共56頁意念控制（腦控）第44頁/共56頁意念控制（腦控）第45頁/共56頁目前，硅谷創(chuàng)業(yè)公司Neurosky已經(jīng)將龐大的腦波監(jiān)測設(shè)備縮減至一個頭戴式耳機的大小，并且僅僅需要一個金屬觸點就可以實現(xiàn)對于腦波的測量，這種便攜式的設(shè)備也使腦波技術(shù)的大規(guī)模民用化成為可能。憑借這方面的技術(shù)優(yōu)勢，這家成立僅僅7年的公司迅速成長為行業(yè)內(nèi)的領(lǐng)軍企業(yè)。2009年的美國消費電子展（CES）上，全球最大的玩具廠商美泰公司推出了基于腦波技術(shù)的玩具MindFlex。MindFlex是一款腦波控制玩具，玩家可以用“意志”讓小球懸浮至空中，意念越專注，小球就漂浮越高。意念控制（腦控）第46頁/共56頁意念控制（腦控）第47頁/共56頁2013年6月，美國明尼蘇達大學(xué)的華人科學(xué)家賀斌教授帶領(lǐng)的研究團隊展示了他的意念控制研究成果。與以往需要在大腦中植入電極的意念控制技術(shù)不同。賀斌教授最新的意念控制技術(shù)完全是無創(chuàng)的，無需進行大腦植入操作。使用者只需戴上一個帽子，通過帽子上的電極即可記錄下使用者的腦電波。電腦對這些數(shù)據(jù)進行處理后將之轉(zhuǎn)化為另一種電子信號，通過Wifi傳遞至飛行器的接收器，從而控制飛行器的飛行動作。賀斌教授團隊展示了如何利用自己的意念操控一架模型直升機在空中飛行、俯沖、上升，甚至可以毫無困難地穿越以氣球做成的環(huán)形形障礙物。意念控制（腦控）第48