第七章虛擬現(xiàn)實及其應用

1、浙江師范大學教育技術(shù)系 主講：夏洪文第七章第七章 虛擬現(xiàn)實及其應用本章要點本章要點 虛擬現(xiàn)實的定義和特征 虛擬現(xiàn)實系統(tǒng)的構(gòu)成與分類 虛擬現(xiàn)實實現(xiàn)的關(guān)鍵技術(shù)與設備 虛擬現(xiàn)實建模語言VRML 虛擬現(xiàn)實的教育應用27.1 虛擬現(xiàn)實的定義和特征 7.1.1 虛擬現(xiàn)實的定義 虛擬現(xiàn)實（Virtual Reality）技術(shù)是20世紀80年代末90年代初崛起的一種實用技術(shù)。它是由計算機硬件、軟件以及各種傳感器構(gòu)成的三維信息的人工環(huán)境虛擬環(huán)境，可以真實的模擬現(xiàn)實世界可以實現(xiàn)的（甚至是不可實現(xiàn)的）物理上的、功能上的事物和環(huán)境。用戶投入到這種環(huán)境中，立即有“親臨其境”的感覺，并可親自操作、實踐，與虛擬的環(huán)境交互作

2、用。3 這里所謂虛擬環(huán)境就是用計算機生成的具有表面色彩的立體圖形，它可以是某一特定現(xiàn)實世界的真實體現(xiàn)，也可以是純粹構(gòu)想的世界。傳感設備包括立體頭盔，立體眼鏡等在用戶身上的裝置和設置于現(xiàn)實環(huán)境中的傳感裝置。自然交互是指用日常使用的方式對環(huán)境內(nèi)的物體進行操作(如用手拿東西，行走等)并得到實時立體反饋。47.1.2 虛擬現(xiàn)實的特征圖7-1：虛擬感應頭盔、遙控手柄、數(shù)據(jù)手套51. 多感知性(MultiSensory) 所謂多感知就是除了一般計算機技術(shù)所具有的視覺感知之外，還有聽覺感知，力覺感知，觸覺感知，運動感知，甚至應該包括味覺感知，嗅覺感知等。理想的虛擬現(xiàn)實技術(shù)應該具有一切人所具有的感知功能。由于

3、相關(guān)技術(shù)，特別是傳感技術(shù)的限制日前虛擬現(xiàn)實技術(shù)所具有的感知功能僅限于視覺、聽覺、力覺、觸覺，運動等幾種，而且無論從感知范圍還是從感知的精確程度都還無法與人相比擬。6 2沉浸感(presence) 又稱為臨場感(Immersion)，它是指用戶感到作為主角存在于模擬環(huán)境中的真實程度。理想的模擬環(huán)境應該達到使用戶難以分辨真假的程度(例如，可視場景應隨著視點的變化而變化)，甚至比真的還“真”，如實現(xiàn)比現(xiàn)實更逼真的照明和音響效果等。7 3交互性(Interaction) 交互性是指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度(包括實時性)。例如，用戶可以用手去直接抓取模擬環(huán)境中的物體，這

4、時手有握著東西的感覺。并可以感覺物體和重量(其實這時手里并沒有實物)，視覺中被抓的物體也立刻隨著手的移動而移動。8虛擬現(xiàn)實的特征 4自主性(Autonomy) 自主性是指虛擬環(huán)境中物體反映現(xiàn)實規(guī)律的程度。例如，當受到力的推動時，物體會向力的方向移動或翻倒，或從桌面落到地面等。97.1.3 虛擬現(xiàn)實的用途領 域用 途醫(yī)學外科手術(shù)，遠程遙控手術(shù)，身體復建，虛擬超音波影像，藥物合成教育虛擬天文館，遠距教學藝術(shù)虛擬博物館，音樂商業(yè)電傳會議，電話網(wǎng)路管理，空中交通管制景觀模擬建筑設計，室內(nèi)設計，工業(yè)設計，地形地圖科學視覺化數(shù)學、物理、化學、生物、古生物、考古、行星表面重建，虛擬風洞試驗，分子結(jié)構(gòu)分析軍事

5、飛行模擬，軍事演習，武器操控太空太空訓練，太空載具駕駛模擬機械人機械人輔助設計，機械人操作模擬，遠程操控工業(yè)電腦輔助設計娛樂電腦游戲107.2 虛擬現(xiàn)實系統(tǒng)的構(gòu)成與分類 虛擬現(xiàn)實系統(tǒng)的構(gòu)成 虛擬現(xiàn)實技術(shù)的實現(xiàn)，主要分三大塊：建模技術(shù)、顯示技 術(shù)、三維場景中的交互技術(shù)。 具體來說虛擬現(xiàn)實系統(tǒng)主要由以下五個模塊構(gòu)成：圖7-2 虛擬現(xiàn)實系統(tǒng)的構(gòu)成117.2.1 虛擬現(xiàn)實系統(tǒng)的構(gòu)成1.檢測模塊：檢測用戶的操作命令，并通過傳感器模塊作用于虛擬環(huán)境。 2.反饋模塊：接受來自傳感器模塊信息，為用戶提供實時反饋。 3.傳感器模塊：一方面接受來自用戶的操作命令，并將其作用于虛擬環(huán)境；另一方面 將操作后產(chǎn)生的結(jié)果

6、以各種反饋的形式提供給用戶。4.控制模塊：對傳感器進行控制，使其對用戶、虛擬環(huán)境和現(xiàn)實世界產(chǎn)生作用。 5.建模模塊：獲取現(xiàn)實世界組成部分的三維表示，并由此構(gòu)成對應的虛擬環(huán)境。 127.2.2 虛擬現(xiàn)實系統(tǒng)的分類 虛擬現(xiàn)實系統(tǒng)按其功能高低大體可分為四類： 1桌面虛擬現(xiàn)實系統(tǒng)，也稱窗口中的VR。它可以通過桌上型機實現(xiàn)，所以成本較低，功能也最簡單，主要用于CAD（計算機輔助設計）、CAM（計算機輔助制造）、建筑設計、桌面游戲等領域。 2沉浸虛擬現(xiàn)實系統(tǒng)，如各種用途的體驗器，使人有身臨其境的感覺，各種培訓、演示以及高級游戲等用途均可用 這種系統(tǒng)。 13 3分布式虛擬現(xiàn)實系統(tǒng)，它在因特網(wǎng)環(huán)境下， 充分利

7、用分布于各地的資源，協(xié)同開發(fā)各種虛 擬現(xiàn)實的利用。它通常是浸沉虛擬現(xiàn)實系統(tǒng)的 發(fā)展，也就是把分布于不同地方的沉浸虛擬現(xiàn) 實系統(tǒng)，通過因特網(wǎng)連接起來，共同實現(xiàn)某種 用途。14分布式虛擬現(xiàn)實系統(tǒng)（DVR）即是一個較為典型的實例。所謂DVR是指一個支持多人實時通過網(wǎng)絡進行交互的軟件系統(tǒng)，每個用戶在一個虛擬現(xiàn)實環(huán)境中，通過計算機與其它用戶進行交互，并共享信息。把分布式虛擬現(xiàn)實系統(tǒng)用于建造人體模型、電腦太空旅游、化合物分子結(jié)構(gòu)顯示等領域，由于數(shù)據(jù)更加逼真，大大提高了人們的想象力、激發(fā)了受教育者的學習興趣，學習效果十分顯著。同時，隨著計算機技術(shù)、心理學、教育學等多種學科的相互結(jié)合、促進和發(fā)展，系統(tǒng)因此能夠

8、提供更加協(xié)調(diào)的人機對話方式。 15 4增強現(xiàn)實又稱混合現(xiàn)實系統(tǒng)。 它是把真實環(huán)境和虛擬環(huán)境結(jié)合起來的一種系統(tǒng)，既可減少構(gòu)成復雜真實環(huán)境的開銷（因為部分真實環(huán)境由虛擬環(huán)境取代），又可對實際物體進行操作（因為部分系統(tǒng)即系真實環(huán)境），真正達到了亦真亦幻的境界，是今后發(fā)展的方向。167.3虛擬現(xiàn)實實現(xiàn)的關(guān)鍵技術(shù)與設備 7.3.1 實時立體視覺與廣角立體顯示 相比較而言，利用計算機模型產(chǎn)生圖形圖像并不是太難的事情。如果有足夠準確的模型，又有足夠的時間，我們就可以生成不同光照條件下各種物體的精確圖像，但是這里的關(guān)鍵是實時。例如在飛行模擬系統(tǒng)中，圖像的刷新相當重要，同時對圖像質(zhì)量的要求也很高，再加上非常復雜

9、的虛擬環(huán)境，問題就變得相當困難。17 人看周圍的世界時，由于兩只眼睛的位置不同，得到的圖像略有不同，這些圖像在腦子里融合起來，就形成了一個關(guān)于周圍世界的整體景象，這個景象中包括了距離遠近的信息。當然，距離信息也可以通過其他方法獲得。18 在VR系統(tǒng)中，雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的，顯示在不同的顯示器上。有的系統(tǒng)采用單個顯示器，但用戶帶上特殊的眼鏡后，一只眼睛只能看到奇數(shù)幀圖像，另一只眼睛只能看到偶數(shù)幀圖像，奇、偶幀之間的不同也就是視差就產(chǎn)生了立體感。19圖7-3 FlyVR實景虛擬現(xiàn)實平臺 圖7-4 環(huán)形或球幕投影系統(tǒng)207.3.2 頭部及體位追蹤 用戶（

10、頭、眼）的跟蹤：在人造環(huán)境中，每個物體相對于系統(tǒng)的坐標系都有一個位置與姿態(tài)，而用戶也是如此。用戶看到的景象是由用戶的位置和頭（眼）的方向來確定的。 跟蹤頭部運動的虛擬現(xiàn)實頭套：在傳統(tǒng)的計算機圖形技術(shù)中，視場的改變是通過鼠標或鍵盤來實現(xiàn)的，用戶的視覺系統(tǒng)和運動感知系統(tǒng)是分離的，而利用頭部跟蹤來改變圖像的視角，用戶的視覺系統(tǒng)和運動感知系統(tǒng)之間就可以聯(lián)系起來，感覺更逼真。另一個優(yōu)點是，用戶不僅可以通過雙目立體視覺去認識環(huán)境，而且可以通過頭部的運動去觀察環(huán)境。21 在用戶與計算機的交互中，鍵盤和鼠標是目前最常用的工具，但對于三維空間來說，它們都不太適合。在三維空間中因為有六個自由度，我們很難找出比較直

11、觀的辦法把鼠標的平面運動映射成三維空間的任意運動?，F(xiàn)在，已經(jīng)有一些設備可以提供六個自由度，如3Space數(shù)字化儀和SpaceBall空間球等。另外一些性能比較優(yōu)異的設備是數(shù)據(jù)手套和數(shù)據(jù)衣。227.3.3 立體聲與虛擬立體聲的產(chǎn)生 人能夠很好地判定聲源的方向。在水平方向上，我們靠聲音的相位差及強度的差別來確定聲音的方向，因為聲音到達兩只耳朵的時間或距離有所不同。常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實現(xiàn)的，所以會有一種方向感。現(xiàn)實生活里，當頭部轉(zhuǎn)動時，聽到的聲音的方向就會改變。但目前在VR系統(tǒng)中，聲音的方向與用戶頭部的運動無關(guān)。23 1在虛擬環(huán)境中的聲音生成和顯示系統(tǒng)為達到一

12、定的仿真逼真度，應該達到以下一些目標: (1)聲音的生成和顯示系統(tǒng)應能夠在可聽范圍內(nèi)體現(xiàn)較高的頻率分辨度，聲音的生成和顯示系統(tǒng)應能反映目標實體的方位、距離等信息及音調(diào)變化; (2)能表達多個靜止或運動的聲源，支持多個聽點和聽點切換; (3)與其他通道的良好融合、匹配和同步。24 2揚聲器生成虛幻聲像原理 圖7-5 揚聲器生成虛幻聲像 如圖7-5所示的一對揚聲器，分別輸出相干的聲音信號，通過控制信號的增益、相位可以讓聽者產(chǎn)生聽覺上的虛幻聲像，人耳可以自然地根據(jù)不同位置的揚聲器發(fā)出的聲音來識別虛擬環(huán)境中動態(tài)目標的方位。257.3.4 觸覺與力覺的技術(shù) 從物理學仿真角度看，包括接觸覺(Tactile

13、 or Touch Sensing)和力覺(Force Sens-ing)的觸覺感知(Haptic Sensing) ,在基于虛擬現(xiàn)實操作系統(tǒng)中是不可或缺的重要感覺。當前，虛擬環(huán)境中大多數(shù)數(shù)據(jù)信急是采用視覺傳感器以及非接觸型傳感器(如超聲測距傳感器等)采集的。26 然而，實際工作中很多操作任務的信急要求具備敏捷的控制和接觸感覺。在虛擬環(huán)境中，由于缺乏觸覺感知反饋(Haptic Feedback)手段，而使許許多多的信號源很難反饋和顯示給異地的用戶，從而難以實現(xiàn)更加全而的人一機交互作用。顯而易見，沒有基于幾虛擬現(xiàn)實的觸覺感知反饋作用，就很難滿足各種工程實際應用的要求。 在一個VR系統(tǒng)中，用戶可以

14、看到一個虛擬的杯子。你可以設法去抓住它，但是你的手沒有真正接觸杯子的感覺，并有可能穿過虛擬杯子的“表面”，而這在現(xiàn)實生活中是不可能的。解決這一問題的常用裝置是在手套內(nèi)層安裝一些可以振動的觸點來模擬觸覺。277.3.5 虛擬現(xiàn)實中使用的輸出/輸入技術(shù) 語音、自然語言、手勢、視線跟蹤及頭部跟蹤等各種形式的輸入技術(shù)正在研究中，沉浸式的頭盔顯示器已經(jīng)開始使用，新的立體顯示設備也正在研制。 在VR系統(tǒng)中，語音的輸入輸出也很重要。這就要求虛擬環(huán)境能聽懂人的語言，并能與人實時交互。而讓計算機識別人的語音是相當困難的，因為語音信號和自然語言信號有其“多邊性”和復雜性。例如，連續(xù)語音中詞與詞之間沒有明顯的停頓，

15、同一詞、同一字的發(fā)音受前后詞、字的影響，不僅不同人說同一詞會有所不同，就是同一人發(fā)音也會受到心理、生理和環(huán)境的影響而有所不同 。28 使用人的自然語言作為計算機輸入目前有兩個問題，首先是效率問題，為便于計算機理解，輸入的語音可能會相當羅嗦。其次是正確性問題，計算機理解語音的方法是對比匹配，而沒有人的智能。 297.4 虛擬現(xiàn)實建模語言VRML307.4.2 VRML的基本內(nèi)容31例如，下面是一個顯示無頂面的杯狀體的VRML文檔 #VRML V2.0 utf8 Shape appearance Appearance material Material # 使用默認材質(zhì)和顏色 geometry C

16、ylinder radius 3 height 6 side TRUE top FALSE bottom TRUE 32 與上述文檔相應的屏幕顯示情況如圖7-6所示。圖7-6用VRML描述的一個虛擬圓柱體33 2VRML文檔的編輯 由于VRML文檔是一個普通的文本文件即純文本文件，因此它對編輯工具沒有特殊的要求。事實上，Mircrosoft Word、寫字板等，都可以用來編輯VRML文檔。為了方便進行VRML文檔的編輯，可以通常具有“所見即所得”功能的可視化VRML文檔編輯軟件，例如Internet Space Builder 、Canoma等，它們會自動將所編輯成的結(jié)果保存為VRML格式的文

17、本文件。 34357.4.3 VRML的發(fā)展36 2VRML2.0 1996年8月公布。VRML2.0名義上是VRML1.0的修訂版，但兩者從內(nèi)容到文檔結(jié)構(gòu)上都很不相同。在VRML2.0中，節(jié)點類型擴展為54種，支持的對象包括動態(tài)和靜態(tài)兩類。這時的VRML語言，已經(jīng)完全脫離HTML的影響，被正式命名為：虛擬現(xiàn)實建模語言（Virsual Reality Modeling Language）。377.5 虛擬現(xiàn)實的教育應用7.5.1 虛擬現(xiàn)實的教育意義主要表現(xiàn)在以下兩個方面。 1擴大經(jīng)驗 建構(gòu)主義的學習理論告訴我們，人們的知識是在一定的環(huán)境中建構(gòu)的。學習環(huán)境在知識的建構(gòu)中占有重要的位置。虛擬現(xiàn)實技

18、術(shù)為學習環(huán)境的設置，為人們獲取知識提供了條件。虛擬現(xiàn)實在人們的學習中具有重要的意義。 在虛擬現(xiàn)實的環(huán)境中，人們通過與虛擬的環(huán)境相互作用，獲取信息，取得經(jīng)驗。在此基礎上，可實現(xiàn)發(fā)現(xiàn)學習、問題解決學習。 為了培養(yǎng)學生的實踐能力、分析問題、解決問題的能力，應讓學生在虛擬現(xiàn)實的環(huán)境中近行體驗學習，去發(fā)現(xiàn)問題，解決實際的問題，實現(xiàn)能力的培養(yǎng)。382提高訓練效率 利用虛擬現(xiàn)實可進行許多復雜的訓練、飛行模擬訓練、中央控制室訓練等各種訓練系統(tǒng)是這種應用的具體實例。利用虛擬現(xiàn)實進行訓練，不僅可極大地降低訓練成本，提高訓練效率，還可以保障訓練的安全，甚至許多在一般情況下難以出現(xiàn)的情況，也可以在虛擬現(xiàn)實系統(tǒng)中進行設

19、置，予可訓練。 在理、工科教學中，實驗占有重要的位置，學生能夠在實驗的具體操作過程中，培養(yǎng)實驗能力。為此不少學校開辟有開放實驗室，讓學生自由地進入實驗室，進行有關(guān)的實驗操作和訓練。但在教學實際條件下，某些實驗或需要的實驗場地過大，或?qū)嶒炘O備過于昂貴，或?qū)嶒灥馁M用過高，或?qū)嶒灥奈ｋU性過大，它給學生正常地完成實驗、掌握實驗的操作帶來了許多因難。此時，可利用虛擬實驗室來培養(yǎng)學生的實驗能力，使學生具有一定的實驗技能。397.5.2 虛擬現(xiàn)實的教育應用 虛擬現(xiàn)實可廣泛地用于教育的各個方面，它主要應用于： 1教學訓練 它包括各種專業(yè)實驗室的實驗操作、實驗技能訓練以及實驗事故的識別、應急處置的訓練。 2設計

20、與研究 它包括用于設計與研究的各種實驗，如風洞實驗、思考實驗以及系統(tǒng)設計與設計結(jié)果的比較和研究。403過程的評價 利用虛擬現(xiàn)實系統(tǒng)可對各種操作過程進行評價和研討果進行研討，由此實現(xiàn)有效的決策。4能力與技能的評價 利用虛擬現(xiàn)實系統(tǒng)可對面臨諸如地震、洪水等有關(guān)災害應采取怎樣的防治和救助的方法及所得到的效果進行評價。該種方法可對預期的結(jié)果進行評價。415特定的教育應用 它包括各種用于具體學科內(nèi)存教學的教學設施。例如，行星儀、風桐實驗室等各種虛擬實驗設施。6娛樂 主要是基于虛擬現(xiàn)實的答種教學游戲。以上是虛擬現(xiàn)實衣教育應用中的若干個分支，隨著虛擬現(xiàn)實技術(shù)的不斷完善，其應用面還將得到不斷地擴展。427.5

21、.3 存在的問題 虛擬現(xiàn)實是近十幾年發(fā)展起來的一種新興技術(shù)，虛擬現(xiàn)實在教育中的應用雖然具有十分樂觀的前景，但日前仍然存在一定的問題，這些問題主要是：1虛擬現(xiàn)實的各種系統(tǒng)、設施還需不斷完善目前，虛擬現(xiàn)實的各種系統(tǒng)、設施還處于研制階段，其功能、穩(wěn)定性、操作性還有待完善、提高。許多虛擬現(xiàn)實系統(tǒng)及其接口多針對成年人的特點設計，若將它用于學校，特別是中、小學，還應根據(jù)學校的特點及學生的特點進行設計。43 2經(jīng)濟問題 虛擬現(xiàn)實系統(tǒng)中的硬件設備及軟件價格較為昂貴，一般學校難以接受。此外，設備的安全性、穩(wěn)定性也是項重要的問題。由于虛擬現(xiàn)實系統(tǒng)目前多處于研發(fā)階段，許多效術(shù)不甚成熟，有待研究和完善，系統(tǒng)的使用受到

22、一定的限制。 從日前的實際情況舌，虛擬現(xiàn)實多用于那些實際操作、技能訓練較多的課程，如理工科的有關(guān)課程和藝術(shù)類的有關(guān)課程，學生可以通過虛擬現(xiàn)實的情景進行模擬體驗，達到一定的學習效果。447.6 虛擬現(xiàn)實系統(tǒng)的用舉例45圖7-7 全景環(huán)視作品：故宮博物院4647圖78 全景環(huán)視制作工具實例487.6.2 VRML技術(shù)及其應用491. VRML文檔及其顯示 VRML文檔通常是用VRML語言組織起來的一個擴展名為.wrl的文本文件，它通過Web瀏覽器向用戶展示虛擬現(xiàn)實情景。 為了方便進行VRML文檔的編輯，一般采用可視化的VRML文檔編輯軟件，例如Internet Space Builder、Cano

23、ma等。編輯過的VRML文檔可以在Internet上傳輸并由Web覽器進行顯示。在Web瀏覽器 中顯示VRML文檔時需要預裝一個簡單的VRML插件。5051圖7-9 網(wǎng)上虛擬美術(shù)館 527.6.3 遙控機器人 主從式遙控機器人是指在人的操縱下，能在人難以接近、無法進入或?qū)θ梭w有害的環(huán)境，完成比較復雜操作的一種遠距離操作系統(tǒng)。受現(xiàn)有技術(shù)水平限制，目前能使用的遙控機器人在上述的大部分環(huán)境中，都是通過人工參與，借助于人的智能和經(jīng)驗來完成復雜環(huán)境下的作業(yè)。 臨場感技術(shù)是將機器人與環(huán)境交互作用信息(視覺、力覺、觸覺等)實時反饋到本地操作者處，使操作者產(chǎn)生身臨其境的感受，從而實現(xiàn)對機械手臂的控制。它是遙控

24、機器人完成接觸性任務的保證。 537.6.4 虛擬實驗室 虛擬實驗室可以說是教育領域應用信息技術(shù)的一種創(chuàng)新:允許人們訪問和使用自己沒有的設備資源，使得處于不同地理位置的學習者可以同時對一個實驗項目進行實驗工作，可以接觸最新的儀器。 1例如：卡耐基梅隆大學的虛擬實驗室 CMU ( Carnegie Meilon University)的虛擬實驗室為傳統(tǒng)的實驗室平臺與未來的實驗之間提供了一種獨特的鏈接?；窘Y(jié)構(gòu)如圖7-10所示:54圖7-10 CMU的虛擬實驗室 552. 虛擬實驗室的發(fā)展方向（1）協(xié)作式虛擬實驗室 與同伴合作是實驗過程中一個至關(guān)重要的環(huán)節(jié)，因 為科學實驗常常是種協(xié)作性的活動，一切科學均取 決于思想理念，最終為人們所共有的以及人們對思 想理念的論辯。56（2）自適應虛擬實驗室 在日常語言中，“自適應”是指生物變更自己的習性以適應新的環(huán)境的一種特征。直觀地說，“自適應實驗”即指能修正自己的特征以響應規(guī)則原理的變化，并根據(jù)學習者的學習過程生成一個反饋回路，為學習者提供一個自適應的獲取知識和技能的實驗學習環(huán)境。577.6.5 虛擬演播室 虛擬演播室是一種全新的電視節(jié)目制作工具，虛擬演播室技術(shù)包括色鍵技術(shù)、計算機虛擬場景設計和藍背景技術(shù)、燈光技術(shù)和攝像機跟蹤技術(shù)等。 虛擬演播室技術(shù)是在傳統(tǒng)色鍵摳像技術(shù)的基礎上，充分利用了計算機三維圖形技術(shù)和視頻合成技術(shù)