基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面課件

下一代人機界面的展望

——虛擬現(xiàn)實及其應(yīng)用郭建林

下一代人機界面的展望基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面1、因特網(wǎng)2、多通道3、虛擬現(xiàn)實化4、基于智能體基于智能體的虛擬現(xiàn)實化下一代人機界面的展望1.以WIMP(窗口、圖符、菜單、鼠標(biāo))為代表的圖形用戶界面還將繼續(xù)使用，尤其是在辦公室中廣泛應(yīng)用。下一代人機界面的展望下一代人機界面的展望2.最普遍的將是以因特網(wǎng)為中心的多種多樣人機界面。我們不僅擁有現(xiàn)在以瀏覽器、搜索引擎為代表的桌面網(wǎng)絡(luò)用戶界面，而且還將有一批適應(yīng)不同帶寬（從高速視頻點播,到低速移動電話）、不同尺寸（從手表／掌上電腦，到墻壁大小）的多種多樣界面。因特網(wǎng)將進入我們的家庭和生活，界面也將嵌入在各種電器以至汽車導(dǎo)航中，普通百姓可通過語音、手寫等易用、方便的界面，實現(xiàn)網(wǎng)上購物等日常用途。下一代人機界面的展望2.最普遍的將是以因特網(wǎng)為中心的多種多樣下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發(fā)展和應(yīng)用。以虛擬現(xiàn)實為代表的計算機系統(tǒng)的擬人化和以掌上電腦為代表的計算機的微型化和隨身化，是當(dāng)前計算機的兩個重要的應(yīng)用趨勢。目前以鼠標(biāo)和鍵盤為代表的圖形用戶界面技術(shù)是影響它們發(fā)展的瓶頸。利用人的多種感覺通道和動作通道（如語音、手寫、表情、姿勢、視線、筆等輸入），以并行、非精確方式與計算機系統(tǒng)進行交互，可以提高人機交互的自然性和高效性。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發(fā)展和應(yīng)用。以三維、沉浸感的逼真輸出為標(biāo)志的虛擬現(xiàn)實技術(shù)是多媒體、多通道界面的重要應(yīng)用目標(biāo)。目前，語音和手寫輸入在實用化方面已有很大進展。預(yù)計，隨著模式識別、全息圖象、自然語言理解和新的傳感技術(shù)的發(fā)展，人機界面技術(shù)將進一步朝著計算機主動感受、理解人的意圖方向發(fā)展。新的多通道、多媒體人機界面是重要發(fā)展趨勢。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如果強迫人類去適應(yīng)計算機，坐在桌旁操作鼠標(biāo)和鍵盤，肯定會限制計算機的應(yīng)用。如果用白光全息技術(shù)代替立體顯示器或立體眼鏡，用攝像跟蹤技術(shù)及自然語言理解技術(shù)來代替“手套”或“鍵盤”，那么人們會有更充分的活動自由，可以在現(xiàn)實環(huán)境中享受虛擬的樂趣！下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如下一代人機界面的展望傳統(tǒng)界面依然會有生機。因特網(wǎng)無處不在。各式各樣的全新界面被嵌入到我們生活的各種設(shè)備中。以用戶為中心、新的自然人機界面正將我們帶離桌面，去探索更廣闊的物理的、生活的、和數(shù)字的世界！新世紀(jì)將更加美好！

下一代人機界面的展望1。什么是虛擬現(xiàn)實？ 關(guān)于術(shù)語VirtualReality（VR）(J.Lanier,1989)譯為:虛擬現(xiàn)實、靈境、幻真...其他：VirtualEnvironment ArtificialReality(M.W.Krueger,1970s)

Cyberspace(W.Gibson,1984)1。什么是虛擬現(xiàn)實？ 關(guān)于術(shù)語1。什么是虛擬現(xiàn)實？ 是一種可以創(chuàng)建和體驗虛擬世界的計算機系統(tǒng)。而虛擬世界是全體虛擬環(huán)境或給定仿真對象的全體。虛擬環(huán)境是由計算機生成的，通過視、聽、觸覺等作用于用戶，使之產(chǎn)生身臨其境感覺的交互式視景仿真。用計算機技術(shù)來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發(fā)，利用自然的技能和某些設(shè)備對這一生成的虛擬世界客體進行瀏覽和交互考察。1。什么是虛擬現(xiàn)實？ 是一種可以創(chuàng)建和體驗虛擬世界的計算1。什么是虛擬現(xiàn)實？

1.逼真的感覺 視覺，聽覺，觸覺，嗅覺等 2.自然的交互 運動，姿勢，語言，身體跟蹤等 3.個人的視點 用戶的眼、耳、身所感到的感覺信息 4.迅速的響應(yīng) 感覺信息根據(jù)視點變化和用戶輸入及時更新

1。什么是虛擬現(xiàn)實？ 1.逼真的感覺 視覺，聽覺，觸覺，1。什么是虛擬現(xiàn)實？一項綜合技術(shù)涉及 計算機圖形學(xué)、人機接口技術(shù)、圖像處理與模式識別、多傳感器技術(shù)、語音處理與音響技術(shù)、網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)、高性能計算機系統(tǒng)、人工智能技術(shù)…...核心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需要 計算機專家、人類工程學(xué)(Ergonomics)專家、心理學(xué)專家等共同開發(fā)研究。 1。什么是虛擬現(xiàn)實？一項綜合技術(shù)虛擬現(xiàn)實應(yīng)有的特征（3I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現(xiàn)實與通常CAD系統(tǒng)所產(chǎn)生的模型是不一樣的，它不是一個靜態(tài)的世界，而是可以對使用者的輸入作出反應(yīng)。虛擬現(xiàn)實環(huán)境可以通過控制與監(jiān)視裝置影響或被使用者影響。想象（Imagination）:它的應(yīng)用能解決在工程、醫(yī)學(xué)、軍事等方面的一些問題,這些應(yīng)用是ＶＲ與設(shè)計者并行操作,為發(fā)揮它們的創(chuàng)造性而設(shè)計的,這極大地依賴于人類的想象力。虛擬現(xiàn)實應(yīng)有的特征（3I)分布式虛擬環(huán)境（DistributedVirtualEnvironment)

利用計算機構(gòu)造的一個真實世界的模擬，地理上分布的用戶可以通過網(wǎng)絡(luò)共享該環(huán)境，并與周圍的環(huán)境以及在相互之間進行交互。共享虛擬環(huán)境涉及到虛擬現(xiàn)實、分布對象、網(wǎng)絡(luò)、人機交互、智能代理等領(lǐng)域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實質(zhì)是一種人機交互界面

分布式虛擬環(huán)境（DistributedVirtualEn分布式虛擬環(huán)境的應(yīng)用軍事訓(xùn)練

SIMNET&DIS

教育與培訓(xùn)

pedagogicalagentSteve;JackMOO網(wǎng)絡(luò)會議與遠程協(xié)作

Sony公司基于DIVE的一個系統(tǒng)娛樂和虛擬社區(qū)

Cybertown(使用Blaxxun）電子商務(wù)

VRcommerceofIBM分布式虛擬環(huán)境的應(yīng)用分布式虛擬環(huán)境發(fā)展的原動力因特網(wǎng)技術(shù)的廣泛使用:

Internet已經(jīng)成為娛樂、商業(yè)等的重要媒體硬件基礎(chǔ)：網(wǎng)絡(luò)帶寬的提高（寬帶網(wǎng)的逐漸普及），個人計算機圖形處理能力的增強軟件基礎(chǔ)：虛擬現(xiàn)實技術(shù)和網(wǎng)絡(luò)技術(shù)的結(jié)合日益復(fù)雜的數(shù)據(jù)使得原來的界面不能滿足需要，人們希望更加直觀的表達信息，使用更加自然的方式進行人機交互以及通過網(wǎng)絡(luò)實現(xiàn)人與人之間實時、形象的交流分布式虛擬環(huán)境發(fā)展的原動力基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面課件基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面課件2。歷史回顧 虛擬現(xiàn)實和其他技術(shù)一樣，也是在 前人大量工作的基礎(chǔ)上發(fā)展起來的。1。立體電影，立體聲技術(shù)2。飛行模擬器最早實際使用的仿真技術(shù)；3。“星際旅行”“宇宙飛船”的演示4。機械手、機器人危險場合進行各類“遙控操作”；5。游戲駕駛汽車、潛艇航行2。歷史回顧 虛擬現(xiàn)實和其他技術(shù)一樣，也是在2。歷史回顧重要事件HMD Head-MountedDisplay

1968年Sutherland三維頭盔顯示器

；Videoplace

1985年Krueger正式發(fā)表無障礙的人工現(xiàn)實；VIEW項目

VirtualEnvironmentWorkstation 美國宇航局Ames研究中心的虛擬環(huán)境工作站；DataGlove

VPL公司采用定位裝置Polhemus的數(shù)據(jù)手套；2。歷史回顧重要事件VPL公司采用三維定位裝置Polhemus的數(shù)據(jù)手套示意圖VPL公司采用三維定位裝置Polhemus的數(shù)據(jù)手套示意圖三維定位裝置Polhemus原理三維定位裝置Polhemus原理重要事件BOOM BinocularOmni-OrientedMonitor

美國宇航局FakespaceLab的雙筒全方位監(jiān)視器；CAVE Audio-VisualExperienceAutomatic VirtualEnvironment

1992年Cruz-Neira的墻式顯示屏自動聲象虛擬環(huán)境；VRML VirtualRealityModelingLanguage

因特網(wǎng)上1.0及2.0版本的虛擬現(xiàn)實建模語言重要事件CAVE

墻式顯示屏自動聲象虛擬環(huán)境

Audio-VisualExperienceAutomaticVirtualEnvironmentCAVE

墻式顯示屏自動聲象虛擬環(huán)境

Audio-Visu3。應(yīng)用應(yīng)用和需求是技術(shù)發(fā)展的推動力1）軍事

美國國防部和軍方認為：虛擬現(xiàn)實將在武器系統(tǒng)性能評價、武器操縱訓(xùn)練及指揮大規(guī)模軍事演習(xí)三方面發(fā)揮重大作用。他們制定了戰(zhàn)爭綜合演示廳計劃、防務(wù)仿真交互網(wǎng)絡(luò)計劃、綜合戰(zhàn)役橋計劃、及虛擬座艙、衛(wèi)星塑造者等應(yīng)用環(huán)境，并在核武器試驗及許多局部戰(zhàn)爭中進行了應(yīng)用，不僅節(jié)省了大量的軍事費用，更重要的是提高了現(xiàn)代化作戰(zhàn)指揮方面能力。3。應(yīng)用應(yīng)用和需求是技術(shù)發(fā)展的推動力3。應(yīng)用2）航天航空

美國宇航局是虛擬現(xiàn)實最早研究的單位和應(yīng)用者。宇宙飛船及各類航空器是需耗費巨資的現(xiàn)代化工具，而進入宇宙有大量未知、危險的因素，因而模擬各種航空器可能遇到的環(huán)境，不僅可節(jié)省大量費用，而且是十分必要的。虛擬風(fēng)洞就是一例。3。應(yīng)用2）航天航空3。應(yīng)用3）計算機輔助設(shè)計

虛擬樣機、虛擬建筑物 工業(yè)產(chǎn)品均需要反復(fù)構(gòu)思和設(shè)計，但用戶往往仍不滿意。可否在設(shè)計早期就給用戶一個逼真的產(chǎn)品樣機？ 美國波音公司Butler設(shè)計了一個稱為VS-X的虛擬飛機，它可使設(shè)計人員有身臨其境觀察飛機外形、內(nèi)部結(jié)構(gòu)及布局的效果； 建筑設(shè)計師可在蓋樓前通過虛擬建筑物，讓用戶自己來觀察外形和內(nèi)部房間部位，也便于設(shè)計師修改設(shè)計。3。應(yīng)用3）計算機輔助設(shè)計3。應(yīng)用4）外科手術(shù)和人體器官的模擬

外科醫(yī)生的培訓(xùn)是一項投資大、時間長的工作，這是因為不能隨便讓實習(xí)醫(yī)生在病人身上動手術(shù)。可是不親自動手，又如何學(xué)會手術(shù)呢？虛擬手術(shù)臺已能部分模仿外科醫(yī)生的現(xiàn)場。同樣，提供模擬的人體器官，可讓學(xué)生逼真地觀察器官內(nèi)部的構(gòu)造和病灶，具有極高的實驗價值。3。應(yīng)用4）外科手術(shù)和人體器官的模擬 外科醫(yī)生的培訓(xùn)是一3。應(yīng)用5）科學(xué)研究和計算的可視化

各種分子結(jié)構(gòu)模型、大壩應(yīng)力計算的結(jié)果、地震石油勘探數(shù)據(jù)處理等，均十分需要三維（甚至多維）圖形可視化的顯示和交互瀏覽，虛擬現(xiàn)實技術(shù)為科學(xué)研究探索微觀形態(tài)等提供了形象直觀的工具。3。應(yīng)用5）科學(xué)研究和計算的可視化 3。應(yīng)用6）遠程控制

虛擬現(xiàn)實可采用遙控手段，通過機械手、機器人對危險或有毒環(huán)境進行操作。3。應(yīng)用6）遠程控制 3。應(yīng)用7）教育、游戲與其他 這是向人們、尤其是青少年提供生動的課堂和娛樂手段的好機遇，它具有三維聲象效果、能進行交互操作的功能，因而已為商家們看好，紛紛開發(fā)低檔虛擬現(xiàn)實產(chǎn)品。如虛擬博物館，網(wǎng)上景點瀏覽。3。應(yīng)用7）教育、游戲與其他虛擬房間虛擬房間積木世界積木世界虛擬現(xiàn)實的適用特點1。需要高成本制造的設(shè)備，如航天器，軍用設(shè)備。2。對人有危險的環(huán)境，如核試驗、飛行訓(xùn)練。3。目前尚未出現(xiàn)的環(huán)境，如建筑物、天體物理虛擬現(xiàn)實的適用特點1。需要高成本制造的設(shè)備，如航天器，軍用設(shè)4。關(guān)鍵技術(shù)(系統(tǒng)框圖)1992年Bryson主計算機數(shù)據(jù)手套（傳感器）（信號源）BOOM雙筒全方位監(jiān)視器4。關(guān)鍵技術(shù)(系統(tǒng)框圖)1992年主計算機數(shù)據(jù)手套（傳感器）4。關(guān)鍵技術(shù)1.大規(guī)模數(shù)據(jù)的場景建模技術(shù)；2.動態(tài)實時的立體視覺、聽覺等生成技術(shù);3.三維定位、方向跟蹤、觸覺反饋等傳感技術(shù)和設(shè)備；4.符合人類認知心理的三維自然交互技術(shù);5.三維交互軟件及系統(tǒng)集成技術(shù)4。關(guān)鍵技術(shù)4。關(guān)鍵技術(shù)影響（沉浸感）立體視覺因素寬視野（１８０Ｘ１５０）立體顯示彩色高分辨率頭部跟蹤4。關(guān)鍵技術(shù)影響（沉浸感）立體視覺因素4。關(guān)鍵技術(shù)視覺設(shè)備紅藍濾色眼鏡液晶開關(guān)的體視眼鏡三維頭盔顯示器（HMD）雙筒全方位監(jiān)視器（BOOM）墻式顯示屏自動聲象虛擬環(huán)境（CAVE）類型：透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影4。關(guān)鍵技術(shù)視覺設(shè)備4。關(guān)鍵技術(shù)雙眼立體視圖的生成三維場景上任一點P(x,y,z)，對于左右眼視點L、R，在投影平面z=0上的成象點Pl(xl,yl)、Pr(xr,yr)計算如下：xl=(x*k-z*d/2)/(k+z)

xr=(x*k+z*d/2)/(k+z)yl=yr=y*k/(k+z)可推導(dǎo)得：xl=(x+d/2)/(1+z/k)-d/2xr=(x-d/2)/(1+z/k)+d/2可用硬件實現(xiàn)4。關(guān)鍵技術(shù)雙眼立體視圖的生成4。關(guān)鍵技術(shù)聽覺：3D&Stereo聲源定位：強度（高頻）和時差（低頻）問題：聲音從頭里發(fā)出，隨強度差而偏左或偏右原因：與耳朵形狀有關(guān)解決：Convolvotron($15,000)耳內(nèi)錄音+計算4。關(guān)鍵技術(shù)聽覺：3D&Stereo4。關(guān)鍵技術(shù)觸覺（Haptic)Haptic:機械感受器（壓力與紋理）與本體感受器(proprioceptor)（重量、形狀、大?。C械臂，空氣囊，記憶金屬，小馬達，小探針。Sandpaper(Minsky,1990)將小馬達連到游戲桿；攪動4。關(guān)鍵技術(shù)觸覺（Haptic)三維操縱棍,力反饋原理圖三維操縱棍,力反饋原理圖4。關(guān)鍵技術(shù) 適當(dāng)?shù)模ê唵蔚模┯|覺和/或聽覺提示與反饋能極大地改善人機交互質(zhì)量 兩個基本的性能指標(biāo):幀頻>10fps，響應(yīng)時間<0.1s4。關(guān)鍵技術(shù)4。關(guān)鍵技術(shù)身體跟蹤： 位置的跟蹤（位置+方向） 及角度的度量（指關(guān)節(jié)、光纖）；眼動跟蹤位置跟蹤技術(shù)：正交電磁場 Polhemustrackers超聲波信號 Logitec.MattelPowerGlove機械連接 FakeSpaceLabs視頻信號處理 MyronKruegerLED視頻傳感 UNCatChapelHill慣性跟蹤（加速度） Spaceball4。關(guān)鍵技術(shù)身體跟蹤： 位置的跟蹤（位置+方向）DHM手勢傳感裝置原理圖DHM手勢傳感裝置原理圖PowerGlove示意圖PowerGlove示意圖三維鼠標(biāo)器示意圖三維鼠標(biāo)器示意圖4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）液晶開關(guān)的體視眼鏡

SEGALCDGlasses, StereoGraphicsCrystalEyes, Toshiba3DScopeLCDGlasses三維頭盔顯示器（HMD）

LEEPSystemsCyberface2/3

PolhemusLaboratoriesLookingGlass RPIHMSI(Head-MountedSensoryInterface) VirtualRealityGroupHMD VirtualResearchFlightHelmet4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）控制和接口設(shè)備:

VPLDataGlove（數(shù)據(jù)手套）

MattelPowerGlove

Global3Dcontroller(三維定位器）

Logitech3DMouseandHeadTracker（三維鼠標(biāo)、頭部跟蹤器）

PolhemusIsotrak/Fastrak ISCANHead-MountedEyeImagingSystem（視線跟蹤器）

SENSibleTechnologiesPHANToM（觸覺反饋設(shè)備）4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）頭盔系統(tǒng)頭盔系統(tǒng)跟蹤系統(tǒng)跟蹤系統(tǒng)三維觸覺系統(tǒng)交戰(zhàn)技能訓(xùn)練者三維觸覺系統(tǒng)交戰(zhàn)技能訓(xùn)練者4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（系統(tǒng)）SGI公司 虛擬現(xiàn)實中心(RealityCenter) CAVE 仿真工作室(RealityStudio) Onyx2(8CPU) 仿真工作站(RealityStation) Onyx2 桌上型仿真工作站(RealityDesktop) Octane320NT工作站SGIIRISPerformer

仿真開發(fā)環(huán)境SGIOpenGLOptimizer(OpenInventor)仿真開發(fā)環(huán)境(中、低檔）SGIFahrenheit(沸點）三維圖形接口庫(forWindowsNT)MultiGen,Paradigm/Vega三維應(yīng)用建模軟件4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（系統(tǒng)）4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（軟件）MultiGen,Paradigm/Vega三維應(yīng)用建模軟件DimensionSuperscapeVirtualRealitiesSense8WorldToolKit(WTK)VirtusWalkThroughVREAMDivisionPROVISION100VRXStrayLightPhotoVRTheVividGroup---MandalaWIndustriesVirtuality4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（軟件）原型原型5。最新進展與分類最新進展1）使用基于圖像的繪制技術(shù)（或與圖形繪制相結(jié)合），以提高圖形生成的速度；如

蘋果公司開發(fā)的QuickTimeVR。2）各種新的交互設(shè)備:雙手輸入技術(shù)；三維力反饋設(shè)備等；5。最新進展與分類最新進展5。最新進展與分類3）增強現(xiàn)實(AugmentedReality)也稱混合現(xiàn)實。它是將真實環(huán)境和虛擬現(xiàn)實的景象結(jié)合起來的一種技術(shù)，既可減少生成復(fù)雜環(huán)境的開銷，又便于對實際物體的操作；4）分布式虛擬現(xiàn)實環(huán)境。在因特網(wǎng)（包括高速Internet）環(huán)境下，充分利用各地資源的優(yōu)勢，協(xié)同開發(fā)虛擬現(xiàn)實的應(yīng)用，如美國大型軍用交互仿真系統(tǒng)NPSNET及因特網(wǎng)上多人游戲MUD等；5）多通道人機交互技術(shù)。即采用人體多種自然交互手段，向系統(tǒng)輸入，如手勢、語音、頭部或身體動作等。5。最新進展與分類3）增強現(xiàn)實(AugmentedRea分類

實際應(yīng)用的虛擬現(xiàn)實系統(tǒng)大體可分為四類：1）桌面虛擬現(xiàn)實系統(tǒng)，也稱窗口中的VR，成本低，主要用于CAD/CAM、建筑設(shè)計等領(lǐng)域；2）沉浸虛擬現(xiàn)實系統(tǒng)，使用頭盔顯示器把用戶的視覺、聽覺及其他感覺封閉起來，產(chǎn)生一種身臨其境的錯覺；3）分布式虛擬現(xiàn)實系統(tǒng)，它建立在沉浸虛擬現(xiàn)實系統(tǒng)和分布式交互仿真(DIS-DistributedInteractionSimulation)的基礎(chǔ)上；4）增強現(xiàn)實(AugmentedReality)也稱混合現(xiàn)實。 也有采用其他的分類方法，在此不再贅述。分類 實際應(yīng)用的虛擬現(xiàn)實系統(tǒng)大體可分為四類：虛擬現(xiàn)實和多媒體、

多通道人機界面的關(guān)系虛擬現(xiàn)實和多媒體、

多通道人機界面的關(guān)系多通道與虛擬現(xiàn)實的主要區(qū)別兩者研究的目的不同

虛擬現(xiàn)實依靠三維立體視覺、頭盔式顯示器、身體跟蹤和立體音響等技術(shù)來模擬現(xiàn)實世界，旨在使用戶獲得一種沉浸式的多種感知通道的靈境體驗。VR中計算機生成的視聽幻想（Audio-VisualIllusion）涉足人腦固有的感覺-效應(yīng)通道的協(xié)調(diào)機制。多通道與虛擬現(xiàn)實的主要區(qū)別兩者研究的目的不同多通道與虛擬現(xiàn)實的主要區(qū)別

多通道研究則力求詳盡地探索人體感知和控制行為中的各種并行和協(xié)作特性，它允許用戶利用多個交互通道以并行、非精確方式與計算機系統(tǒng)進行交互，旨在提高人機交互的自然性和高效性。

從交互行為的研究上來說，VR的研究與多通道研究之間存在交集，但它更側(cè)重于應(yīng)用系統(tǒng)。多通道與虛擬現(xiàn)實的主要區(qū)別 多通道研究則力求詳盡地探索人體

下一代人機界面的展望

——虛擬現(xiàn)實及其應(yīng)用郭建林

下一代人機界面的展望基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面1、因特網(wǎng)2、多通道3、虛擬現(xiàn)實化4、基于智能體基于智能體的虛擬現(xiàn)實化下一代人機界面的展望1.以WIMP(窗口、圖符、菜單、鼠標(biāo))為代表的圖形用戶界面還將繼續(xù)使用，尤其是在辦公室中廣泛應(yīng)用。下一代人機界面的展望下一代人機界面的展望2.最普遍的將是以因特網(wǎng)為中心的多種多樣人機界面。我們不僅擁有現(xiàn)在以瀏覽器、搜索引擎為代表的桌面網(wǎng)絡(luò)用戶界面，而且還將有一批適應(yīng)不同帶寬（從高速視頻點播,到低速移動電話）、不同尺寸（從手表／掌上電腦，到墻壁大?。┑亩喾N多樣界面。因特網(wǎng)將進入我們的家庭和生活，界面也將嵌入在各種電器以至汽車導(dǎo)航中，普通百姓可通過語音、手寫等易用、方便的界面，實現(xiàn)網(wǎng)上購物等日常用途。下一代人機界面的展望2.最普遍的將是以因特網(wǎng)為中心的多種多樣下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發(fā)展和應(yīng)用。以虛擬現(xiàn)實為代表的計算機系統(tǒng)的擬人化和以掌上電腦為代表的計算機的微型化和隨身化，是當(dāng)前計算機的兩個重要的應(yīng)用趨勢。目前以鼠標(biāo)和鍵盤為代表的圖形用戶界面技術(shù)是影響它們發(fā)展的瓶頸。利用人的多種感覺通道和動作通道（如語音、手寫、表情、姿勢、視線、筆等輸入），以并行、非精確方式與計算機系統(tǒng)進行交互，可以提高人機交互的自然性和高效性。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發(fā)展和應(yīng)用。以三維、沉浸感的逼真輸出為標(biāo)志的虛擬現(xiàn)實技術(shù)是多媒體、多通道界面的重要應(yīng)用目標(biāo)。目前，語音和手寫輸入在實用化方面已有很大進展。預(yù)計，隨著模式識別、全息圖象、自然語言理解和新的傳感技術(shù)的發(fā)展，人機界面技術(shù)將進一步朝著計算機主動感受、理解人的意圖方向發(fā)展。新的多通道、多媒體人機界面是重要發(fā)展趨勢。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如果強迫人類去適應(yīng)計算機，坐在桌旁操作鼠標(biāo)和鍵盤，肯定會限制計算機的應(yīng)用。如果用白光全息技術(shù)代替立體顯示器或立體眼鏡，用攝像跟蹤技術(shù)及自然語言理解技術(shù)來代替“手套”或“鍵盤”，那么人們會有更充分的活動自由，可以在現(xiàn)實環(huán)境中享受虛擬的樂趣！下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如下一代人機界面的展望傳統(tǒng)界面依然會有生機。因特網(wǎng)無處不在。各式各樣的全新界面被嵌入到我們生活的各種設(shè)備中。以用戶為中心、新的自然人機界面正將我們帶離桌面，去探索更廣闊的物理的、生活的、和數(shù)字的世界！新世紀(jì)將更加美好！

下一代人機界面的展望1。什么是虛擬現(xiàn)實？ 關(guān)于術(shù)語VirtualReality（VR）(J.Lanier,1989)譯為:虛擬現(xiàn)實、靈境、幻真...其他：VirtualEnvironment ArtificialReality(M.W.Krueger,1970s)

Cyberspace(W.Gibson,1984)1。什么是虛擬現(xiàn)實？ 關(guān)于術(shù)語1。什么是虛擬現(xiàn)實？ 是一種可以創(chuàng)建和體驗虛擬世界的計算機系統(tǒng)。而虛擬世界是全體虛擬環(huán)境或給定仿真對象的全體。虛擬環(huán)境是由計算機生成的，通過視、聽、觸覺等作用于用戶，使之產(chǎn)生身臨其境感覺的交互式視景仿真。用計算機技術(shù)來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發(fā)，利用自然的技能和某些設(shè)備對這一生成的虛擬世界客體進行瀏覽和交互考察。1。什么是虛擬現(xiàn)實？ 是一種可以創(chuàng)建和體驗虛擬世界的計算1。什么是虛擬現(xiàn)實？

1.逼真的感覺 視覺，聽覺，觸覺，嗅覺等 2.自然的交互 運動，姿勢，語言，身體跟蹤等 3.個人的視點 用戶的眼、耳、身所感到的感覺信息 4.迅速的響應(yīng) 感覺信息根據(jù)視點變化和用戶輸入及時更新

1。什么是虛擬現(xiàn)實？ 1.逼真的感覺 視覺，聽覺，觸覺，1。什么是虛擬現(xiàn)實？一項綜合技術(shù)涉及 計算機圖形學(xué)、人機接口技術(shù)、圖像處理與模式識別、多傳感器技術(shù)、語音處理與音響技術(shù)、網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)、高性能計算機系統(tǒng)、人工智能技術(shù)…...核心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需要 計算機專家、人類工程學(xué)(Ergonomics)專家、心理學(xué)專家等共同開發(fā)研究。 1。什么是虛擬現(xiàn)實？一項綜合技術(shù)虛擬現(xiàn)實應(yīng)有的特征（3I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現(xiàn)實與通常CAD系統(tǒng)所產(chǎn)生的模型是不一樣的，它不是一個靜態(tài)的世界，而是可以對使用者的輸入作出反應(yīng)。虛擬現(xiàn)實環(huán)境可以通過控制與監(jiān)視裝置影響或被使用者影響。想象（Imagination）:它的應(yīng)用能解決在工程、醫(yī)學(xué)、軍事等方面的一些問題,這些應(yīng)用是ＶＲ與設(shè)計者并行操作,為發(fā)揮它們的創(chuàng)造性而設(shè)計的,這極大地依賴于人類的想象力。虛擬現(xiàn)實應(yīng)有的特征（3I)分布式虛擬環(huán)境（DistributedVirtualEnvironment)

利用計算機構(gòu)造的一個真實世界的模擬，地理上分布的用戶可以通過網(wǎng)絡(luò)共享該環(huán)境，并與周圍的環(huán)境以及在相互之間進行交互。共享虛擬環(huán)境涉及到虛擬現(xiàn)實、分布對象、網(wǎng)絡(luò)、人機交互、智能代理等領(lǐng)域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實質(zhì)是一種人機交互界面

分布式虛擬環(huán)境（DistributedVirtualEn分布式虛擬環(huán)境的應(yīng)用軍事訓(xùn)練

SIMNET&DIS

教育與培訓(xùn)

pedagogicalagentSteve;JackMOO網(wǎng)絡(luò)會議與遠程協(xié)作

Sony公司基于DIVE的一個系統(tǒng)娛樂和虛擬社區(qū)

Cybertown(使用Blaxxun）電子商務(wù)

VRcommerceofIBM分布式虛擬環(huán)境的應(yīng)用分布式虛擬環(huán)境發(fā)展的原動力因特網(wǎng)技術(shù)的廣泛使用:

Internet已經(jīng)成為娛樂、商業(yè)等的重要媒體硬件基礎(chǔ)：網(wǎng)絡(luò)帶寬的提高（寬帶網(wǎng)的逐漸普及），個人計算機圖形處理能力的增強軟件基礎(chǔ)：虛擬現(xiàn)實技術(shù)和網(wǎng)絡(luò)技術(shù)的結(jié)合日益復(fù)雜的數(shù)據(jù)使得原來的界面不能滿足需要，人們希望更加直觀的表達信息，使用更加自然的方式進行人機交互以及通過網(wǎng)絡(luò)實現(xiàn)人與人之間實時、形象的交流分布式虛擬環(huán)境發(fā)展的原動力基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面課件基于智能體的虛擬現(xiàn)實化多通道因特網(wǎng)界面課件2。歷史回顧 虛擬現(xiàn)實和其他技術(shù)一樣，也是在 前人大量工作的基礎(chǔ)上發(fā)展起來的。1。立體電影，立體聲技術(shù)2。飛行模擬器最早實際使用的仿真技術(shù)；3?！靶请H旅行”“宇宙飛船”的演示4。機械手、機器人危險場合進行各類“遙控操作”；5。游戲駕駛汽車、潛艇航行2。歷史回顧 虛擬現(xiàn)實和其他技術(shù)一樣，也是在2。歷史回顧重要事件HMD Head-MountedDisplay

1968年Sutherland三維頭盔顯示器

；Videoplace

1985年Krueger正式發(fā)表無障礙的人工現(xiàn)實；VIEW項目

VirtualEnvironmentWorkstation 美國宇航局Ames研究中心的虛擬環(huán)境工作站；DataGlove

VPL公司采用定位裝置Polhemus的數(shù)據(jù)手套；2。歷史回顧重要事件VPL公司采用三維定位裝置Polhemus的數(shù)據(jù)手套示意圖VPL公司采用三維定位裝置Polhemus的數(shù)據(jù)手套示意圖三維定位裝置Polhemus原理三維定位裝置Polhemus原理重要事件BOOM BinocularOmni-OrientedMonitor

美國宇航局FakespaceLab的雙筒全方位監(jiān)視器；CAVE Audio-VisualExperienceAutomatic VirtualEnvironment

1992年Cruz-Neira的墻式顯示屏自動聲象虛擬環(huán)境；VRML VirtualRealityModelingLanguage

因特網(wǎng)上1.0及2.0版本的虛擬現(xiàn)實建模語言重要事件CAVE

墻式顯示屏自動聲象虛擬環(huán)境

Audio-VisualExperienceAutomaticVirtualEnvironmentCAVE

墻式顯示屏自動聲象虛擬環(huán)境

Audio-Visu3。應(yīng)用應(yīng)用和需求是技術(shù)發(fā)展的推動力1）軍事

美國國防部和軍方認為：虛擬現(xiàn)實將在武器系統(tǒng)性能評價、武器操縱訓(xùn)練及指揮大規(guī)模軍事演習(xí)三方面發(fā)揮重大作用。他們制定了戰(zhàn)爭綜合演示廳計劃、防務(wù)仿真交互網(wǎng)絡(luò)計劃、綜合戰(zhàn)役橋計劃、及虛擬座艙、衛(wèi)星塑造者等應(yīng)用環(huán)境，并在核武器試驗及許多局部戰(zhàn)爭中進行了應(yīng)用，不僅節(jié)省了大量的軍事費用，更重要的是提高了現(xiàn)代化作戰(zhàn)指揮方面能力。3。應(yīng)用應(yīng)用和需求是技術(shù)發(fā)展的推動力3。應(yīng)用2）航天航空

美國宇航局是虛擬現(xiàn)實最早研究的單位和應(yīng)用者。宇宙飛船及各類航空器是需耗費巨資的現(xiàn)代化工具，而進入宇宙有大量未知、危險的因素，因而模擬各種航空器可能遇到的環(huán)境，不僅可節(jié)省大量費用，而且是十分必要的。虛擬風(fēng)洞就是一例。3。應(yīng)用2）航天航空3。應(yīng)用3）計算機輔助設(shè)計

虛擬樣機、虛擬建筑物 工業(yè)產(chǎn)品均需要反復(fù)構(gòu)思和設(shè)計，但用戶往往仍不滿意?？煞裨谠O(shè)計早期就給用戶一個逼真的產(chǎn)品樣機？ 美國波音公司Butler設(shè)計了一個稱為VS-X的虛擬飛機，它可使設(shè)計人員有身臨其境觀察飛機外形、內(nèi)部結(jié)構(gòu)及布局的效果； 建筑設(shè)計師可在蓋樓前通過虛擬建筑物，讓用戶自己來觀察外形和內(nèi)部房間部位，也便于設(shè)計師修改設(shè)計。3。應(yīng)用3）計算機輔助設(shè)計3。應(yīng)用4）外科手術(shù)和人體器官的模擬

外科醫(yī)生的培訓(xùn)是一項投資大、時間長的工作，這是因為不能隨便讓實習(xí)醫(yī)生在病人身上動手術(shù)?？墒遣挥H自動手，又如何學(xué)會手術(shù)呢？虛擬手術(shù)臺已能部分模仿外科醫(yī)生的現(xiàn)場。同樣，提供模擬的人體器官，可讓學(xué)生逼真地觀察器官內(nèi)部的構(gòu)造和病灶，具有極高的實驗價值。3。應(yīng)用4）外科手術(shù)和人體器官的模擬 外科醫(yī)生的培訓(xùn)是一3。應(yīng)用5）科學(xué)研究和計算的可視化

各種分子結(jié)構(gòu)模型、大壩應(yīng)力計算的結(jié)果、地震石油勘探數(shù)據(jù)處理等，均十分需要三維（甚至多維）圖形可視化的顯示和交互瀏覽，虛擬現(xiàn)實技術(shù)為科學(xué)研究探索微觀形態(tài)等提供了形象直觀的工具。3。應(yīng)用5）科學(xué)研究和計算的可視化 3。應(yīng)用6）遠程控制

虛擬現(xiàn)實可采用遙控手段，通過機械手、機器人對危險或有毒環(huán)境進行操作。3。應(yīng)用6）遠程控制 3。應(yīng)用7）教育、游戲與其他 這是向人們、尤其是青少年提供生動的課堂和娛樂手段的好機遇，它具有三維聲象效果、能進行交互操作的功能，因而已為商家們看好，紛紛開發(fā)低檔虛擬現(xiàn)實產(chǎn)品。如虛擬博物館，網(wǎng)上景點瀏覽。3。應(yīng)用7）教育、游戲與其他虛擬房間虛擬房間積木世界積木世界虛擬現(xiàn)實的適用特點1。需要高成本制造的設(shè)備，如航天器，軍用設(shè)備。2。對人有危險的環(huán)境，如核試驗、飛行訓(xùn)練。3。目前尚未出現(xiàn)的環(huán)境，如建筑物、天體物理虛擬現(xiàn)實的適用特點1。需要高成本制造的設(shè)備，如航天器，軍用設(shè)4。關(guān)鍵技術(shù)(系統(tǒng)框圖)1992年Bryson主計算機數(shù)據(jù)手套（傳感器）（信號源）BOOM雙筒全方位監(jiān)視器4。關(guān)鍵技術(shù)(系統(tǒng)框圖)1992年主計算機數(shù)據(jù)手套（傳感器）4。關(guān)鍵技術(shù)1.大規(guī)模數(shù)據(jù)的場景建模技術(shù)；2.動態(tài)實時的立體視覺、聽覺等生成技術(shù);3.三維定位、方向跟蹤、觸覺反饋等傳感技術(shù)和設(shè)備；4.符合人類認知心理的三維自然交互技術(shù);5.三維交互軟件及系統(tǒng)集成技術(shù)4。關(guān)鍵技術(shù)4。關(guān)鍵技術(shù)影響（沉浸感）立體視覺因素寬視野（１８０Ｘ１５０）立體顯示彩色高分辨率頭部跟蹤4。關(guān)鍵技術(shù)影響（沉浸感）立體視覺因素4。關(guān)鍵技術(shù)視覺設(shè)備紅藍濾色眼鏡液晶開關(guān)的體視眼鏡三維頭盔顯示器（HMD）雙筒全方位監(jiān)視器（BOOM）墻式顯示屏自動聲象虛擬環(huán)境（CAVE）類型：透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影4。關(guān)鍵技術(shù)視覺設(shè)備4。關(guān)鍵技術(shù)雙眼立體視圖的生成三維場景上任一點P(x,y,z)，對于左右眼視點L、R，在投影平面z=0上的成象點Pl(xl,yl)、Pr(xr,yr)計算如下：xl=(x*k-z*d/2)/(k+z)

xr=(x*k+z*d/2)/(k+z)yl=yr=y*k/(k+z)可推導(dǎo)得：xl=(x+d/2)/(1+z/k)-d/2xr=(x-d/2)/(1+z/k)+d/2可用硬件實現(xiàn)4。關(guān)鍵技術(shù)雙眼立體視圖的生成4。關(guān)鍵技術(shù)聽覺：3D&Stereo聲源定位：強度（高頻）和時差（低頻）問題：聲音從頭里發(fā)出，隨強度差而偏左或偏右原因：與耳朵形狀有關(guān)解決：Convolvotron($15,000)耳內(nèi)錄音+計算4。關(guān)鍵技術(shù)聽覺：3D&Stereo4。關(guān)鍵技術(shù)觸覺（Haptic)Haptic:機械感受器（壓力與紋理）與本體感受器(proprioceptor)（重量、形狀、大?。C械臂，空氣囊，記憶金屬，小馬達，小探針。Sandpaper(Minsky,1990)將小馬達連到游戲桿；攪動4。關(guān)鍵技術(shù)觸覺（Haptic)三維操縱棍,力反饋原理圖三維操縱棍,力反饋原理圖4。關(guān)鍵技術(shù) 適當(dāng)?shù)模ê唵蔚模┯|覺和/或聽覺提示與反饋能極大地改善人機交互質(zhì)量 兩個基本的性能指標(biāo):幀頻>10fps，響應(yīng)時間<0.1s4。關(guān)鍵技術(shù)4。關(guān)鍵技術(shù)身體跟蹤： 位置的跟蹤（位置+方向） 及角度的度量（指關(guān)節(jié)、光纖）；眼動跟蹤位置跟蹤技術(shù)：正交電磁場 Polhemustrackers超聲波信號 Logitec.MattelPowerGlove機械連接 FakeSpaceLabs視頻信號處理 MyronKruegerLED視頻傳感 UNCatChapelHill慣性跟蹤（加速度） Spaceball4。關(guān)鍵技術(shù)身體跟蹤： 位置的跟蹤（位置+方向）DHM手勢傳感裝置原理圖DHM手勢傳感裝置原理圖PowerGlove示意圖PowerGlove示意圖三維鼠標(biāo)器示意圖三維鼠標(biāo)器示意圖4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）液晶開關(guān)的體視眼鏡

SEGALCDGlasses, StereoGraphicsCrystalEyes, Toshiba3DScopeLCDGlasses三維頭盔顯示器（HMD）

LEEPSystemsCyberface2/3

PolhemusLaboratoriesLookingGlass RPIHMSI(Head-MountedSensoryInterface) VirtualRealityGroupHMD VirtualResearchFlightHelmet4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）4。關(guān)鍵技術(shù)市場上已有的產(chǎn)品：（硬件）控制和接口設(shè)備:

VPLDataGlove（數(shù)據(jù)手套）

MattelPowerGlove

Global3Dcontroller(三維定位器）

Logitech3DMouseandHeadTracker（三維鼠標(biāo)、頭部跟蹤器）

PolhemusIsotrak/Fastrak ISCANHead-MountedEyeImagingSystem（視線跟蹤器）

SENSibleTechnologiesPHANToM（觸覺反饋設(shè)備）4。關(guān)鍵技術(shù)市