人機(jī)交互技術(shù)及其應(yīng)用科普

人機(jī)交互技術(shù)及其應(yīng)用(科普)信息技術(shù)的高速發(fā)展對(duì)人類生產(chǎn)、生活帶來(lái)了廣泛而深刻的影響。高科技成果為人們帶來(lái)便捷、快樂(lè)的同時(shí)，也促進(jìn)著人機(jī)交互技術(shù)的發(fā)展。作為信息技術(shù)的重要內(nèi)容，人機(jī)交互技術(shù)比計(jì)算機(jī)硬件和軟件技術(shù)的發(fā)展要滯后許多，已成為人類運(yùn)用信息技術(shù)深入探索和認(rèn)識(shí)客觀世界的瓶頸。因此，人機(jī)交互技術(shù)已成為21世紀(jì)信息領(lǐng)域亟需解決的重大課題和當(dāng)前信息產(chǎn)業(yè)競(jìng)爭(zhēng)的一個(gè)焦點(diǎn)，世界各國(guó)都將人機(jī)交互技術(shù)作為重點(diǎn)研究的一項(xiàng)關(guān)鍵技術(shù)，例如，在美國(guó)21世紀(jì)信息技術(shù)計(jì)劃中，將軟件、人機(jī)交互、網(wǎng)絡(luò)、高性能計(jì)算列為基礎(chǔ)研究?jī)?nèi)容，美國(guó)國(guó)防關(guān)鍵技術(shù)計(jì)劃也把人機(jī)交互列為軟件技術(shù)發(fā)展的重要內(nèi)容之一，在我國(guó)的“863”、“973”和自然科學(xué)基金等項(xiàng)目中，也將人機(jī)自然交互理論與方法作為信息技術(shù)中需要解決的關(guān)鍵科學(xué)問(wèn)題。一、人機(jī)交互的概念人機(jī)交互(Human-ComputerInteraction，HCI)是關(guān)于設(shè)計(jì)、評(píng)價(jià)和實(shí)現(xiàn)供人們使用的交互式計(jì)算機(jī)系統(tǒng)，且圍繞這些方面主要現(xiàn)象進(jìn)行研究的科學(xué)，狹義的講，人機(jī)交互技術(shù)主要是研究人與計(jì)算機(jī)之間的信息交換，它主要包括人到計(jì)算機(jī)和計(jì)算機(jī)到人的信息交換兩部分。人們可以借助鍵盤、鼠標(biāo)、操縱桿、數(shù)據(jù)服裝、眼動(dòng)跟蹤器、位置跟蹤器、數(shù)據(jù)手套、壓力筆等設(shè)備，用手、腳、聲音、姿勢(shì)或身體的動(dòng)作、眼睛甚至腦電波等向計(jì)算機(jī)傳遞信息，同時(shí)，計(jì)算機(jī)通過(guò)打印機(jī)、繪圖儀、顯示器、頭盔式顯示器、音箱等輸出或顯示設(shè)備給人提供信息。人機(jī)交互與計(jì)算機(jī)科學(xué)、人機(jī)工程學(xué)、多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)、心理學(xué)、認(rèn)知科學(xué)和社會(huì)學(xué)以及人類學(xué)等諸多學(xué)科領(lǐng)域有密切的聯(lián)系，其中，認(rèn)知心理學(xué)與人機(jī)工程學(xué)是人機(jī)交互技術(shù)的理論基礎(chǔ)，而多媒體技術(shù)和虛擬現(xiàn)實(shí)技術(shù)與人機(jī)交互技術(shù)相互交叉和滲透。作為是信息技術(shù)的一個(gè)重要組成部分，人機(jī)交互將繼續(xù)對(duì)信息技術(shù)的發(fā)展產(chǎn)生巨大的影響。人機(jī)交互的研究?jī)?nèi)容人機(jī)交互的研究?jī)?nèi)容十分廣泛，涵蓋了建模、設(shè)計(jì)、評(píng)估等理論和方法以及在移動(dòng)計(jì)算、虛擬現(xiàn)實(shí)等方面的應(yīng)用研究與開發(fā)，在此列出幾個(gè)主要的方向：人機(jī)交互界面表示模型與設(shè)計(jì)方法(ModelandMethodology)一個(gè)交互界面的好壞，直接影響到軟件開發(fā)的成敗。友好人機(jī)交互界面的開發(fā)離不開好的交互模型與設(shè)計(jì)方法。因此，研究人機(jī)交互界面的表示模型與設(shè)計(jì)方法，是人機(jī)交互的重要研究?jī)?nèi)容之一?？捎眯苑治雠c評(píng)估(UsabilityandEvaluation)可用性是人機(jī)交互系統(tǒng)的重要內(nèi)容，它關(guān)系到人機(jī)交互能否達(dá)到用戶期待的目標(biāo)，以及實(shí)現(xiàn)這一目標(biāo)的效率與便捷性。人機(jī)交互系統(tǒng)的可用性分析與評(píng)估的研究主要涉及到支持可用性的設(shè)計(jì)原則和可用性的評(píng)估方法等。多通道交互技術(shù)(Multi-Modal)在多通道交互中，用戶可以使用語(yǔ)音、手勢(shì)、眼神、表情等自然的交互方式與計(jì)算機(jī)系統(tǒng)進(jìn)行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的評(píng)估方法以及多通道信息的融合等。其中，多通道整合是多通道用戶界面研究的重點(diǎn)和難點(diǎn)。認(rèn)知與智能用戶界面(RecognitionandIntelligentUserInterface)智能用戶界面(IntelligentUserInterface，IUI)的最終目標(biāo)是使人機(jī)交互和人－人交互一樣自然、方便。上下文感知、眼動(dòng)跟蹤、手勢(shì)識(shí)別、三維輸入、語(yǔ)音識(shí)別、表情識(shí)別、手寫識(shí)別、自然語(yǔ)言理解等都是認(rèn)知與智能用戶界面需要解決的重要問(wèn)題。虛擬環(huán)境(VirtualEnvironment)中的人機(jī)交互“以人為本”的、自然和諧的人機(jī)交互理論和方法是虛擬現(xiàn)實(shí)的主要研究?jī)?nèi)容之一。通過(guò)研究視覺、聽覺、觸覺等多通道信息融合的理論和方法、協(xié)同交互技術(shù)以及三維交互技術(shù)等，建立具有高度真實(shí)感的虛擬環(huán)境，使人產(chǎn)生“身臨其境”的感覺。移動(dòng)界面設(shè)計(jì)(MobileandUbicomp)移動(dòng)計(jì)算(MobileComputing)、普適計(jì)算(UbiquitousComputing)等對(duì)人機(jī)交互技術(shù)提出了更高的要求，面向移動(dòng)應(yīng)用的界面設(shè)計(jì)問(wèn)題已成為人機(jī)交互技術(shù)研究的一個(gè)重要應(yīng)用領(lǐng)域。針對(duì)移動(dòng)設(shè)備的便攜性、位置不固定性和計(jì)算能力有限性以及無(wú)線網(wǎng)絡(luò)的低帶寬高延遲等諸多的限制，研究移動(dòng)界面的設(shè)計(jì)方法，移動(dòng)界面可用性與評(píng)估原則，移動(dòng)界面導(dǎo)航技術(shù)，以及移動(dòng)界面的實(shí)現(xiàn)技術(shù)和開發(fā)工具，是當(dāng)前的人機(jī)交互技術(shù)的研究熱點(diǎn)之一。三、 人機(jī)交互技術(shù)的發(fā)展自1946年世界上第一臺(tái)數(shù)字計(jì)算機(jī)誕生以來(lái)，計(jì)算機(jī)為人的能力的擴(kuò)展提供了巨大的幫助，作為計(jì)算機(jī)系統(tǒng)的一個(gè)重要組成部分，人機(jī)交互一直伴隨著計(jì)算機(jī)的發(fā)展而發(fā)展。人機(jī)交互的發(fā)展過(guò)程，也是人適應(yīng)計(jì)算機(jī)到計(jì)算機(jī)不斷地適應(yīng)人的發(fā)展過(guò)程。從人機(jī)界面（Interface）的到人機(jī)交互（Interaction），從1969年第一次人機(jī)系統(tǒng)國(guó)際大會(huì)，到2010年的中國(guó)人機(jī)交互研討會(huì)，人機(jī)交互理論和技術(shù)經(jīng)歷了多個(gè)階段的發(fā)展。特別是20世紀(jì)90年代后期以來(lái)，人機(jī)交互的研究重點(diǎn)放在了智能化交互，多模態(tài)（多通道） -多媒體交互，虛擬交互以及人機(jī)協(xié)同交互等方面，也就是放在以人為在中心的人機(jī)交互技術(shù)方面。概括地講，人機(jī)交互的發(fā)展經(jīng)歷了以下幾個(gè)階段： （1）早期的手工作業(yè)階段；（2）作業(yè)控制語(yǔ)言及交互命令語(yǔ)言階段 ；（3）圖形用戶界面（GUI）階段；（4）網(wǎng)絡(luò)用戶界面的出現(xiàn) ；（5）多通道、多媒體的智能人機(jī)交互階段；（6）虛擬交互界面。鼠標(biāo)的出現(xiàn)，使人們更流暢地進(jìn)行人機(jī)交互。與鍵盤中的方向鍵相比，它顯然更加符合人的自然習(xí)慣。這是人機(jī)交互的第一次革命。鍵盤與鼠標(biāo)的人機(jī)交互組合，從PC時(shí)代一直延續(xù)到互聯(lián)網(wǎng)時(shí)代，并無(wú)太大改變，直到智能手機(jī)和多點(diǎn)觸摸的出現(xiàn)。迅速普及的多點(diǎn)觸摸技術(shù)，是人機(jī)交互史上的第二次革命，而引領(lǐng)它的又是蘋果公司與它的革命性手機(jī) iPhone。多點(diǎn)觸摸打開了另外一扇窗戶，它讓所有人意識(shí)到其實(shí)鍵盤可以成為觸摸的一部分，而很多命令其實(shí)能通過(guò)多個(gè)手指在觸摸屏上劃動(dòng)方式的不同來(lái)完成，比如放大和縮小圖片。問(wèn)世不久的Kinect則可以稱得上人機(jī)交互的引領(lǐng)新潮流的第三次革命。它整合了具有革命性的技術(shù)一3D圖片識(shí)別與視頻捕捉，加上硬件體驗(yàn)的不斷優(yōu)化，再加上對(duì)應(yīng)其特性的專屬游戲開發(fā)，在游戲這一特定的應(yīng)用場(chǎng)景對(duì)技術(shù)的強(qiáng)化，最終塑造了Kinect這一人機(jī)互動(dòng)的革命性產(chǎn)品。四、 自然和諧的人機(jī)交互當(dāng)前，虛擬現(xiàn)實(shí)、移動(dòng)計(jì)算、普適計(jì)算等新技術(shù)發(fā)展迅速，對(duì)人機(jī)交互技術(shù)提出了新的挑戰(zhàn)和更高的要求，同時(shí)也提供了許多新的機(jī)遇。在這一階段，自然和諧的人機(jī)交互方式得到了一定的發(fā)展，其主要特點(diǎn)是基于語(yǔ)音、手寫體、姿勢(shì)或者跟蹤、表情等輸入手段進(jìn)行多通道交互，其目的是使人能以聲音、動(dòng)作、表情等自然方式進(jìn)行交互操作，這正是理想的人機(jī)交互所強(qiáng)調(diào)的“用戶自由”之所在。在自然和諧的人機(jī)交互的發(fā)展過(guò)程中，人們除了致力于研究開發(fā)友好的逼真的三維用戶界面，基于聲音、動(dòng)作、表情等多種通道的自然交互方式，還發(fā)明了大量的新交互設(shè)備，如頭盔式立體顯示器，數(shù)據(jù)手套等。目前，對(duì)于人類重要的自然交互方式——語(yǔ)音和筆的交互技術(shù)，包括手寫識(shí)別、筆式交互、語(yǔ)音識(shí)別、語(yǔ)音合成、數(shù)字墨水（DigitalInk）等，其發(fā)展已經(jīng)有了很大的成效，如中科院自動(dòng)化所開發(fā)的“漢王筆”手寫漢字識(shí)別系統(tǒng)，經(jīng)過(guò)近20年的研究和開發(fā)，已能識(shí)別27000漢字，當(dāng)用非草寫漢字、以每分鐘12個(gè)漢字的速度書寫時(shí)，識(shí)別率可達(dá) 99.8%；微軟亞洲研究院多通道用戶界面組發(fā)明的數(shù)字墨水技術(shù)，采用全新易操縱的筆交互設(shè)備、高質(zhì)量的墨水繪制技術(shù)、智慧的墨跡分析技術(shù)等，使它不僅可用作為文字識(shí)別、圖形繪制的輸入，而且作為一種全新的“Ink”數(shù)據(jù)模型，使手寫筆記更易閱讀、獲取、組織和使用。數(shù)字墨水技術(shù)已作為產(chǎn)品，結(jié)合在微軟的TabletPC操作系統(tǒng)中，產(chǎn)生了巨大的社會(huì)影響。它還將繼續(xù)發(fā)展，有可能成為新一代優(yōu)秀的自然交互設(shè)備；在筆式交互技術(shù)研究中，中國(guó)科學(xué)院軟件所人機(jī)交互技術(shù)與智能信息處理實(shí)驗(yàn)室在筆式交互軟件開發(fā)平臺(tái)、面向教學(xué)的筆式辦公套件（包括課件制作、筆式授課、筆式數(shù)學(xué)公式計(jì)算器、筆式簡(jiǎn)譜制作等）、面向兒童的神筆馬良系統(tǒng)的開發(fā)應(yīng)用方面均有出色的工作，其中不少已經(jīng)實(shí)用化、產(chǎn)品化；IBM公司的ViaVoice，中國(guó)科學(xué)院自動(dòng)化所“漢語(yǔ)連續(xù)語(yǔ)音聽寫系統(tǒng)”等等。虛擬現(xiàn)實(shí)（VirtualReality,VR技術(shù)的發(fā)展和進(jìn)步極大的推動(dòng)了人機(jī)交互技術(shù)的發(fā)展。虛擬現(xiàn)實(shí)是借助于計(jì)算機(jī)技術(shù)及硬件設(shè)備，建立高度真實(shí)感的虛擬環(huán)境，使人們通過(guò)視覺、聽覺、觸覺、味覺、嗅覺等感官在其中看、聽、觸、聞起來(lái)像真實(shí)的，以產(chǎn)生身臨其境的感覺的一種技術(shù)。虛擬現(xiàn)實(shí)技術(shù)有三個(gè)鮮明特征：真實(shí)感、沉浸感和交互性。其中，自然和諧的交互方式也是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)重要研究?jī)?nèi)容，其目的是使人能以聲音、動(dòng)作、表情等自然方式與虛擬世界中的對(duì)象進(jìn)行交互 ,人們除了致力于研究開發(fā)虛擬友好的用戶界面，還發(fā)明了大量的三維交互設(shè)備，如立體眼鏡、WorkBench、頭盔式顯示器、洞穴式立體顯示器（CAVE、墻式大屏幕立體顯示器、數(shù)據(jù)服裝、位置跟蹤器、眼動(dòng)跟蹤器、觸覺和力反饋裝置、三維掃描設(shè)備、三維鼠標(biāo)、三維跟蹤球、三維游戲桿等等。雖然人機(jī)交互并不是虛擬現(xiàn)實(shí)的全部，但虛擬現(xiàn)實(shí)為人機(jī)交互的研究提供了很好的契機(jī)和媒介。五、 基于人手的人機(jī)交互技術(shù)與應(yīng)用自然人機(jī)交互模式是以直接操縱為主的的人機(jī)交互形式，而理想的人機(jī)交互模式就是要充分體現(xiàn)“用戶自由”?，F(xiàn)在很多人使用觸摸屏是因?yàn)橛|摸屏更容易得心應(yīng)手，而在人的身體構(gòu)成上，人手是最為靈活的部件，具有高度的自由度，所以基于人手的交互，體現(xiàn)了人機(jī)交互的和諧自然所在。手勢(shì)是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段,手勢(shì)輸入是實(shí)現(xiàn)自然、直接人機(jī)交互不可缺少的關(guān)鍵技術(shù)。目前的手勢(shì)識(shí)別技術(shù)主要分為基于數(shù)據(jù)手套和基于視覺兩種。這兩種方法各有自己的長(zhǎng)處，也都取得了一些研究成果，但都還不成熟。手勢(shì)輸入作為一種自然、豐富、直接的交互手段在人機(jī)交互技術(shù)中占有重要的地位。其研究?jī)?nèi)容包括手勢(shì)的定義、手勢(shì)分割、手勢(shì)建模、手勢(shì)分析、手勢(shì)識(shí)別以及基于手勢(shì)的人機(jī)交互等。由于人手是一個(gè)復(fù)雜的非剛性的多鏈接物體,且手勢(shì)本身具有多義性、多樣性以及在時(shí)間和空間上存在差異性的特點(diǎn)，手勢(shì)的這種高維狀態(tài)表達(dá)是姿態(tài)估計(jì)中有效全局搜索真實(shí)手勢(shì)的最大障礙。濟(jì)南大學(xué) xx重點(diǎn)實(shí)驗(yàn)室結(jié)合計(jì)算機(jī)科學(xué)和認(rèn)知心理學(xué)等相關(guān)學(xué)科,對(duì)3D運(yùn)動(dòng)人手跟蹤進(jìn)行多學(xué)科的交叉討論和研究，提出了基于認(rèn)知模型的運(yùn)動(dòng)人手的三維跟蹤方法，并對(duì)涉及的關(guān)鍵問(wèn)題進(jìn)行了研究。下面主要對(duì)基于人手的人機(jī)交互的應(yīng)用進(jìn)行概括和總結(jié)。(1)手語(yǔ)識(shí)別和合成中國(guó)科學(xué)院計(jì)算所研制成功了基于多功能感知的中國(guó)手語(yǔ)識(shí)別與合成系統(tǒng)，它采用數(shù)據(jù)手套可識(shí)別大詞匯量( 5177個(gè))的手語(yǔ)詞。該系統(tǒng)建立了中國(guó)手語(yǔ)詞庫(kù)。對(duì)于給定文本句子 (可由正常人話語(yǔ)轉(zhuǎn)換而成)，自動(dòng)合成相應(yīng)的人體運(yùn)動(dòng)數(shù)據(jù)。最后用計(jì)算機(jī)人體動(dòng)畫技術(shù)，將運(yùn)動(dòng)數(shù)據(jù)應(yīng)用于虛擬人，由虛擬人完成合成的手語(yǔ)運(yùn)動(dòng)。它可輸出大詞匯量的手語(yǔ)詞，為中國(guó)聾啞人的教育、生活提供了有用的輔助工具，使他們用手語(yǔ)與正常人的交流成為可能。(2)手勢(shì)遙控器澳大利亞、臺(tái)灣、日本的一些科學(xué)家和公司已經(jīng)發(fā)明了手勢(shì)遙控裝置，能夠使用簡(jiǎn)單的手勢(shì)進(jìn)行家用電器，如電視、 DVD音響等的操作，進(jìn)行開關(guān)、音量調(diào)節(jié)、換頻道等。例如，握緊拳頭表示“開始” ，將手掌舒展開表示“開機(jī)”，用V字形手勢(shì)，再將手掌橫過(guò)來(lái)表示“選擇頻道” ，翹起大拇指則表示“向上調(diào)頻道”等。日本松下公司已經(jīng)試制了電視機(jī)用手勢(shì)輸入遙控器，遙控器在功能上類似于游戲手柄，用戶拿著它通過(guò)揮動(dòng)就可實(shí)現(xiàn)對(duì)3D電視的控制。種手勢(shì)裝置的工作原理并不復(fù)雜，用戶將內(nèi)置有攝像頭的遙控裝置安裝在與電視和使用者均無(wú)視線阻隔的書架或桌子上即可，裝置內(nèi)的軟件可識(shí)別用戶事先儲(chǔ)存的簡(jiǎn)單手勢(shì)，然后向一個(gè)可操控多種電器的遙控器發(fā)出信號(hào)，最終電器將按照使用者手勢(shì)“行事” 。

(3)教育領(lǐng)域：人機(jī)交互技術(shù)在教育領(lǐng)域的應(yīng)用正在興起，特別是基于人手的交互應(yīng)用，如虛擬白板，虛擬實(shí)驗(yàn)，以及方便課堂教學(xué)的其他應(yīng)用，例如騰訊的QQ手勢(shì)達(dá)人，它可以通過(guò)普通攝像頭來(lái)進(jìn)行手勢(shì)控制，拋棄了從電腦誕生之日起就一直使用的鍵盤和鼠標(biāo)，完全由手勢(shì)控制 PPT的演示，提供了PPT的啟動(dòng)播放、上翻頁(yè)、下翻頁(yè)、結(jié)束播放等四個(gè)常用手勢(shì)命令。該類應(yīng)用主要是通過(guò)對(duì)手勢(shì)的識(shí)別進(jìn)行游戲的控制，例如基于微軟Kinect的體感游戲控制等。（5）醫(yī)學(xué)領(lǐng)域應(yīng)用外科手術(shù)操作學(xué)習(xí)/模擬可以通過(guò)構(gòu)建“手眼協(xié)調(diào)、實(shí)時(shí)交互、雙手操作”的虛擬現(xiàn)實(shí)系統(tǒng)提供通用的醫(yī)學(xué)外科手術(shù)模擬與操作學(xué)習(xí)。這些技術(shù)將可以用到需要雙手協(xié)同、手眼協(xié)調(diào)的各類精細(xì)操作任務(wù)中，例如醫(yī)療領(lǐng)域的牙科手術(shù)、腹腔鏡微創(chuàng)手術(shù)、眼科手術(shù)等，當(dāng)然也可以還可以用到軍事、航天等訓(xùn)練領(lǐng)域。這樣可以節(jié)約學(xué)習(xí)成本，提高學(xué)習(xí)的效率與準(zhǔn)確性。人手運(yùn)動(dòng)功能虛擬康復(fù)依據(jù)康復(fù)醫(yī)學(xué)發(fā)展的需要和趨勢(shì)，可以將觸覺人機(jī)交互技術(shù)與人手運(yùn)動(dòng)功能相結(jié)合進(jìn)行人手虛擬康復(fù)。例如，可以將具有力反饋功能的、能夠提供主動(dòng)運(yùn)動(dòng)、被動(dòng)運(yùn)動(dòng)、助力運(yùn)動(dòng)和阻抗運(yùn)動(dòng)等多種康復(fù)訓(xùn)練模式的人手康復(fù)交互裝置的設(shè)計(jì)理論和方法與傳感器進(jìn)行集成，對(duì)人手運(yùn)動(dòng)技能進(jìn)行建模，模擬人手虛擬康復(fù)，從而通過(guò)視頻捕獲病人的人手運(yùn)動(dòng)，進(jìn)行康復(fù)監(jiān)督和建議。（5） 工業(yè)領(lǐng)域：虛擬制造與設(shè)計(jì)在工業(yè)領(lǐng)域，可以通過(guò)基于人手的人機(jī)交互進(jìn)行虛擬裝配、產(chǎn)品設(shè)計(jì)等工作，從而可以節(jié)約成本，提高熟練度和便利。（6） 商業(yè)領(lǐng)域：包括娛樂(lè)產(chǎn)品設(shè)計(jì)，商業(yè)展覽，交互式櫥窗， KTV點(diǎn)歌等領(lǐng)域都可以通過(guò)基于人手的交互設(shè)計(jì)提高互動(dòng)性和新穎性、便利性。例如，非接觸式互動(dòng)櫥窗，該個(gè)系統(tǒng)有四個(gè)攝像頭，兩個(gè)用于追蹤手部的動(dòng)作，兩個(gè)用來(lái)追蹤臉部和眼睛。經(jīng)過(guò)該櫥窗的行人，可以通過(guò)手勢(shì)來(lái)獲取商品信息在人機(jī)交互領(lǐng)域，更加大膽的創(chuàng)新精神正在被喚醒，視頻捕捉技術(shù)、語(yǔ)音識(shí)別技術(shù)、紅外遙感技術(shù)、多通道等等技術(shù)的整合發(fā)展，必然給人機(jī)交互技術(shù)的帶來(lái)前所未有的突破。新的技術(shù)層出不窮，人機(jī)交互技術(shù)的發(fā)展將帶給人們更多的科技技術(shù)的期盼和驚喜。在未來(lái)的計(jì)算機(jī)系統(tǒng)中，將更加強(qiáng)調(diào)“以人為本”、“自然、和諧”的交互方式，以實(shí)現(xiàn)人機(jī)高效合作。概括的