混合現(xiàn)實(MR)與虛擬現(xiàn)實(VR)課件

1、第 6 章混合現(xiàn)實6.1混合現(xiàn)實的概念6.2混合現(xiàn)實（MR）與虛擬現(xiàn)實（VR）的關系6.3混合現(xiàn)實的交互技術 6.1混合現(xiàn)實的概念混合現(xiàn)實是一種使真實世界和虛擬物體在同一視覺空間中顯示和交互的計算機虛擬 現(xiàn)實技術。加拿大多倫多大學工業(yè)工程系的Paul Milgram對混合現(xiàn)實（Mixed Reality， MR）的定義是：真實世界和虛擬世界在一個顯示設備中同時呈現(xiàn)。也有學者認為： “現(xiàn)代意義上的混合現(xiàn)實是不同類型的現(xiàn)實（主要是指真實現(xiàn)實與虛擬現(xiàn)實）的彼 此混合。將計算機所生成的虛擬對象融合到真實的環(huán)境當中，從而建立出一個新的環(huán)境 及符合一般視覺上所認知的虛擬影像，在這之中，現(xiàn)實世界中的物件能夠

2、與虛擬世界中 的物件共同存在并且即時地產(chǎn)生互動?！狈祷?.2 混合現(xiàn)實（MR）與虛擬現(xiàn)實（VR）的關系現(xiàn)實與虛擬兩部分構成了混合現(xiàn)實，其中用戶與虛擬世界的聯(lián)結(jié)是虛擬部分關心的 內(nèi)容。因此，涉及兩個方面的內(nèi)部，即虛擬世界的構建與呈現(xiàn)、人與虛擬世界的交互。 所看到的虛擬世界是與人類感官直接聯(lián)結(jié)的，因此，要構造完美的虛擬世界必須通過建 立與人類感官匹配的自然通道。虛擬世界的呈現(xiàn)，音響效果的營造，觸覺、力覺等各種 知覺感知和反饋要通過真實感渲染得到。因此，用戶與虛擬世界的交互必須建立相同的 知覺通道，通過分析用戶的自然行為，在感知、理解、響應和呈現(xiàn)上形成環(huán)路，這是虛 擬現(xiàn)實技術的核心內(nèi)容。下一頁返回6

3、.2 混合現(xiàn)實（MR）與虛擬現(xiàn)實（VR）的關系由于對現(xiàn)實世界的模擬本身非常困難，因此混合現(xiàn)實沒有對復雜多變的現(xiàn)實世界進 行實時模擬，其建立的是虛擬世界與現(xiàn)實世界的聯(lián)結(jié)，并模擬二者的相互影響。而要使 虛擬世界與現(xiàn)實世界融為一體，技術上的諸多挑戰(zhàn)不僅要感知用戶的主體行為，還要感 知一切現(xiàn)實世界中有關聯(lián)的人、環(huán)境甚至事件語義，提供恰當?shù)慕换ズ头答仭Ｒ虼?，?合現(xiàn)實涉及了從計算機視覺、計算機圖形學、模式識別到光學、電子、材料等多個學科領域。正是由于混合現(xiàn)實與現(xiàn)實世界的 緊密聯(lián)系，才使其具備強大且廣泛的實用價值。上一頁下一頁返回6.2 混合現(xiàn)實（MR）與虛擬現(xiàn)實（VR）的關系混合現(xiàn)實技術是 虛擬世界與現(xiàn)

4、實世界無縫融合的技術。虛 擬現(xiàn)實代表的是計 算機營造的世界，使 人類的知覺感知延展到計算機中；而混合 現(xiàn)實技術在保持對現(xiàn)實世界正常感知的基礎上，通過建立虛擬 世界與現(xiàn)實世界之間 的聯(lián)系，再將人類感 官延伸到虛擬世界。 混合現(xiàn)實技術中所關 注的虛擬世界可以有 豐富的內(nèi)容。從早期 的虛擬現(xiàn)實世界的局 部場景，與現(xiàn)實世界 無縫融合，使得我們 可以看到匪夷所思的 場景，典型的是電影阿凡達呈現(xiàn)的世 界。然而，計算機的 強大能力不僅在于對 場景的營造能力，還 在于對信息搜集、數(shù) 據(jù)整理和分析呈現(xiàn)的 能力。在信息爆炸的 時代，信息容量和復 雜度遠遠超過人類所 能夠的范圍，在宏觀 上把握信息的內(nèi)涵， 提供對數(shù)

5、據(jù)蘊涵的語 義分析，才有可能使 人類理解數(shù)據(jù)?；旌?現(xiàn)實技術可以在數(shù)據(jù)分析的基礎上建立用戶與數(shù)據(jù)的聯(lián)結(jié)，從而使得用戶可以直接感知數(shù)據(jù)分析的結(jié)果，將人類感知延展到數(shù)據(jù)語義層面。上一頁下一頁返回6.2 混合現(xiàn)實（MR）與虛擬現(xiàn)實（VR）的關系混合現(xiàn)實技術包含虛擬世界和現(xiàn)實世界。在需要虛擬現(xiàn)實技術 支持的同時，也需要增強現(xiàn)實技術的支持。虛擬現(xiàn)實技術的第一個 核心問題是對虛擬世界的建模，包括模擬現(xiàn)實世界的模型或人工設 計的模型；對現(xiàn)實世界模型的模擬，即場景重建技術。虛擬現(xiàn)實的 第二個問題是將觀察者知覺與虛擬世界的空間注冊，滿足視覺沉浸 感的呈現(xiàn)技術；第三個問題是提供與人類感知通道一致的交互技 術，即感

6、知和反饋技術。增強現(xiàn)實技術在虛擬現(xiàn)實技術的基礎上， 還需要將現(xiàn)實世界與虛擬世界進行注冊，并且感知真實世界發(fā)生的 狀況、動態(tài)，搜集真實世界的數(shù)據(jù)，進行數(shù)據(jù)分析和語義分析，并 對其進行響應。因此，混合現(xiàn)實的虛實融合分析三個層面，即虛實 世界產(chǎn)生智能上的交互融合；虛實世界產(chǎn)生社會學意義上的交互融 合，如行人互相避讓的行為；虛實空間產(chǎn)生視覺上的交互影響。上一頁返回6.3 混合現(xiàn)實的交互技術6.3.1用戶界面形態(tài)新型交互技術和設備的出現(xiàn)，使人機界面不斷向著更高效、更 自然的方向發(fā)展。在混合現(xiàn)實中使用較多的用戶界面形態(tài)包括TUI、 觸控用戶界面、3DUI、多通道用戶界面和混合用戶界面。（1）TUI是目前在

7、混合現(xiàn)實領域應用最多的交互方式。它支持 用戶直接使用現(xiàn)實世界中的物體與計算機進行交互。無論是在虛擬 環(huán)境中使用現(xiàn)實物體輔助交互（AV），還是在虛擬環(huán)境中加入輔助 的虛擬信息（AR），在這種交互方式下都顯得非常自然并對用戶具 有吸引力。下一頁返回6.3 混合現(xiàn)實的交互技術（2）觸控用戶界面是在GUI的基礎上，以觸覺感知為主要指點 技術的交互技術。在混合現(xiàn)實中，一種比較自然的方式是直接用手 通過屏幕與虛實物體交互。手機、平板電腦等移動設備及透明觸屏 都提供了這種支持，這使得直接觸控成為混合現(xiàn)實中主要的交互方 式之一。（3）在3DUI中，用戶與計算機進行交互是在一個虛擬或現(xiàn)實的3D空間中進行 的。3

8、DUI是從虛擬現(xiàn)實技術中衍生而來的交互技術，它可以支持在純虛擬環(huán)境中進行物體獲取、觀察世界、地形漫游、搜索 與導航。在混合現(xiàn)實環(huán)境中，這種交互需 求是大量存在的，因此，3DUI是混合現(xiàn)實 中重要的交互手段之一。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術（4）在混合現(xiàn)實中的許多應用都利 用了多通道交互技術。多通道用戶界面支 持用戶通過多種通道與計算機進行交互。 這些通道包括不同的輸入工具（如文字、 語音、手勢等）和不同的人類感知通道（聽覺、視覺、嗅覺等）。在這種交互方 式中通常需要維持不同通道間的一致性。（5）混合用戶界面為用戶提供更為靈活的交互平臺，它將不同但相互補足的用戶界面進行組合，用戶通

9、過多種不 同的交互設備進行交互，以滿足多樣化 的日常交互行為。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術6.3.2交互對象的虛實融合 1注冊跟蹤技術在增強現(xiàn)實中，如果用戶改變自身 位置和觀察角度，被觀察的虛擬物體就 能實時融洽地與現(xiàn)實場景保持一致。要 達到此種效果 ， 在增強現(xiàn)實中必須明 確觀察者和虛擬物體在現(xiàn)實環(huán)境中的準確位置和姿態(tài)。設計者一般會事先決定 虛擬物體在現(xiàn)實環(huán)境中的位置，因此， 只要注意觀察者的位置和姿態(tài)，就可以 根據(jù)觀察者的實時視角重建坐標系，計 算出虛擬物體的顯示姿態(tài)，實現(xiàn)交互對 象的虛實融合。這個過程是三維注冊過 程，其實現(xiàn)方法一般分為基于傳感器的 注冊技術、基于視覺的注冊

10、技術和混合 注冊技術三種。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術2顯示設備顯示設備要解決的問題是讓用戶簡單、便捷地觀察到虛實融合的場景。在AV中，由于場景的主體是虛擬的，其方位可以由系統(tǒng)唯一確定，因此，可以直接使用傳統(tǒng)顯示設 備來呈現(xiàn)虛實融合場景。而在AR中，場景是用戶直接觀察到的現(xiàn)實 世界，技術上一般采用頭戴式顯示設備（HMD）、手持式顯示設備 和投影式顯示設備來實現(xiàn)。其中，HMD包括光學透視型和視頻透視 型兩種。光學透視型顯示設備是通過透明屏幕直接觀察現(xiàn)實世界，視頻透視型顯示設備是用頭戴式攝像機采集現(xiàn)實世界視頻作為背景投影到顯示器上。手持式顯示設備（如手機、平板電腦）一般采用視頻透 視

11、技術，利用設備上的攝像頭采集現(xiàn)實世界的圖像。投影式顯示設備 利用各種投影儀將圖像直接投影到墻壁、桌面、物理實體等現(xiàn)實世界 的物體中，從而在這些物體上疊加虛擬信息。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術6.3.3手勢識別技術混合現(xiàn)實中使用的手勢識別技術可以按照輸入設備分為基于傳感 器和基于計算機視覺兩種?；趥鞲衅鞯氖謩葑R別技術利用不同的硬件設備（如數(shù)據(jù)手套、運動傳感器），跟蹤返回人手以及手部各骨骼所在的三維坐標，從而測量手勢在三維空間中的位置信息和手指等關 節(jié)的運動信息。這種系統(tǒng)可以直接獲得人手在三維空間中的坐標和手 指運動的參數(shù)，數(shù)據(jù)的精確度高，可識別的手勢多且辨識率高，但需 要佩戴額外

12、的設備。基于計算機視覺的手勢識別技術利用單個或多個 攝像頭來采集手勢信息，經(jīng)計算機系統(tǒng)分析獲取圖像來識別手勢。該 技術使學習和使用簡單靈活，更自然、直接地進行人機交互，但計算 過程較復雜，識別率和實時性較差。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術混合現(xiàn)實中使用的手勢可分為靜態(tài)手勢和動態(tài)手勢兩類。靜態(tài)手 勢是指某一時刻表態(tài)的手臂、手掌或手指的形狀、姿態(tài)，手勢數(shù)據(jù)中 不包含連續(xù)時間序列信息，這類手勢給用戶提供了利用手掌就能完成 的交互行為，一般用基于圖像特征聚類的方法進行識別；動態(tài)手勢是 指在一段連續(xù)的時間內(nèi)手臂、手掌或手指的姿態(tài)變化或移動路徑，手 勢數(shù)據(jù)中需要包括隨時間變化的空間特征，這類手

13、勢能夠很好地表示 空間路徑手勢，且需要使用基于隱馬爾可夫模型（HMM）、基于動 態(tài)時間規(guī)整和基于壓縮時間軸的方法進行識別。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術6.3.43D交互技術在3D交互技術的支持下，3DUI能夠很自然地應用于混合現(xiàn)實場景。3D交互技術支持用戶使用3D的輸入手段操作3D的對象及內(nèi)容，并得到3D的 視覺、聽覺等多通道反饋。面向通用任 務的3D交互技術分為導航、選擇/操作和 系統(tǒng)控制三個方面。其實現(xiàn)結(jié)構可以劃 分為3個具有顯著特點的層次幾何模 型、直接操縱隱喻、高層語義交互。其 中，幾何模型層提供3D可視反饋，直接 操縱隱喻定義包括選取、點擊、拖動、 旋轉(zhuǎn)在內(nèi)的直接操縱功

14、能，而面向高層語義的交互隱喻層允許用戶實現(xiàn)更為復雜的交互任務，如指定路徑進行漫游， 這些任務需要由多個直接操縱層的動作 序列組合完成?；旌犀F(xiàn)實應用中的自然 交互和直觀反饋將主要在這一層得到 實現(xiàn)。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術6.3.5語音和聲音交互技術從聲 音的類型上，可以將這種技術分為非語 音（聲音）交互技術和語音交互技術。 非語音交互技術主要使用聲音給用戶提 供聽覺線索，使用戶能夠有效地掌握和 理解交互內(nèi)容；語音交換技術包括語音 輸入、語音識別和處理及語音輸出在內(nèi) 的一整套交互技術。一個完整的語音交互系統(tǒng)由語音輸 入和語音輸出系統(tǒng)兩部分組成。語音輸入系統(tǒng)包括語音識別和語義理解

15、兩個子系統(tǒng)。語音識別系統(tǒng)負責將語音轉(zhuǎn)化為 音素，其識別方法是利用相應的語音特 征，如梅爾倒譜和語音模型、HMM和高 斯混合模型進行切分和識別。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術語義理解 系統(tǒng)通過語言模型將語音識別系統(tǒng)的結(jié) 果進行修正并組合成符合語法結(jié)構和語 言習慣的詞、短語和句子。多元語言模 型得到最廣泛的應用。語音輸出系統(tǒng)分為有限詞匯和無限詞匯兩種。有限詞匯一般用于對有限的消息提示、控制指令、標準問題進行語音反饋； 對于無限詞匯，如盲人使用的讀書軟件或復雜的導航 系統(tǒng)，無法將所有句子進行預先錄制，只能通過語音 合成的方法形成輸出語音。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術6.3.

16、6其他交互技術 1觸覺反饋技術觸覺反饋技術在產(chǎn)生力學信號的過程中能夠通過 人類的動覺和觸覺給用戶反饋信息。從字面上看，這項技術提供給用戶的是通過觸摸的方式感知實際或虛擬的力學信號。但實際上，觸覺反饋技術還包括提供 體位、運動、重量等動覺通道的力學信號。這一特點 對拓寬混合現(xiàn)實的交互帶寬，增加混合現(xiàn)實應用的真 實感和沉浸感有很大的幫助。觸覺反饋技術就曾用于 乳腺癌觸診訓練中。被訓人員通過仿真運動模型，親 身體驗到虛擬腫瘤上的觸覺刺激。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術2眼動跟蹤技術用戶感興趣的區(qū)域及用戶的心理和生理狀態(tài)是能 夠通過眼睛注視的方向體現(xiàn)出來的。因此，通過眼睛注視進行的交互技術

17、是最快速的人機交互方式之一。眼動跟蹤技術可分為基于視頻和非基于視頻兩種?；?于視頻的方法使用非接觸式攝像機獲取用戶頭部或眼睛的視頻圖像，再用圖像處理的方法獲得頭部和眼睛 的方向，最終組合計算出眼睛注視方向；非基于視頻 的方法使用接觸式設備依附于用戶的皮膚或眼球，從 而獲取眼睛注視方向。上一頁下一頁返回6.3 混合現(xiàn)實的交互技術3筆式交互技術筆式交互能夠模擬人們?nèi)粘５募埞P工作環(huán)境。由 于筆式交互設備具有便攜、可移動的特點，方便了人 們在不同的時間和地點靈活地進行交流。目前，筆式 交互技術常見的有筆式界面范式、筆跡識別與理解、 基于筆的交互通道拓展 。曾經(jīng)有人將筆和交互平板 作為主要交互工具 ，實現(xiàn)了一個混合現(xiàn)實協(xié)同工作 環(huán)境。上一頁下一頁返回6.3 混合現(xiàn)實的交互技