第1章　虛擬現(xiàn)實(shí)技術(shù)概論-1.3MR技術(shù)簡(jiǎn)介

第1章虛擬現(xiàn)實(shí)技術(shù)概論

1.3

MR技術(shù)簡(jiǎn)介

.目錄.2.MR技術(shù)體系

.3.

MR主流產(chǎn)品及差異

.1

.MR發(fā)展歷史

1.3.1MR發(fā)展歷史1.3.1MR發(fā)展歷史1.3.1MR發(fā)展歷史MR，來(lái)源于“智能硬件之父”多倫多大學(xué)教授史蒂夫?曼恩（SteveMann）提出的介導(dǎo)現(xiàn)實(shí)（MediatedReality），從范圍來(lái)說(shuō)是介導(dǎo)現(xiàn)實(shí)的子集。在20世紀(jì)七八十年代，為了增強(qiáng)視覺(jué)效果，讓眼睛在任何情境下都能夠“看到”周?chē)h(huán)境，曼恩設(shè)計(jì)出可穿戴智能硬件，這被看作是對(duì)MR技術(shù)的初步探索。MR技術(shù)是在VR及AR基礎(chǔ)上延伸的又一新型技術(shù)，其融合了兩者的優(yōu)點(diǎn)，使得現(xiàn)實(shí)與虛擬更加無(wú)縫結(jié)合。MR技術(shù)通過(guò)在虛擬環(huán)境中引入現(xiàn)實(shí)場(chǎng)景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶(hù)之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶(hù)體驗(yàn)的真實(shí)感。根據(jù)曼恩的理論，智能硬件最后都會(huì)從AR技術(shù)逐步向MR技術(shù)過(guò)渡。MR是下一個(gè)大的虛擬交互范式轉(zhuǎn)變，它是AR和VR的混合。MR比VR更先進(jìn)，因?yàn)樗Y(jié)合使用若干類(lèi)型的技術(shù)，包括傳感器、先進(jìn)的光學(xué)和下一代的計(jì)算能力。所有這些技術(shù)捆綁成一個(gè)單一的設(shè)備，將會(huì)為用戶(hù)提供疊加增強(qiáng)全息數(shù)字內(nèi)容到實(shí)時(shí)空間的能力，創(chuàng)造了令人難以置信的現(xiàn)實(shí)和令人興奮的場(chǎng)景。1.概念形成2015年，MR技術(shù)公司MagicLeap通過(guò)一段鯨魚(yú)從籃球場(chǎng)高高躍起的視頻震驚了整個(gè)世界，如圖所示。因此，MagicLeap被視為MR技術(shù)的領(lǐng)導(dǎo)者之一，該項(xiàng)技術(shù)將計(jì)算機(jī)圖形集成到現(xiàn)實(shí)世界中，主要研發(fā)方向就是將三維圖像投射到人的視野中，具體如何研發(fā)依然處于絕密狀態(tài)。1.3.2MR技術(shù)體系1.3.2MR技術(shù)體系1.3.2MR技術(shù)體系

VR和MR的產(chǎn)業(yè)鏈有大量重疊，技術(shù)體系也是如此。MR體系也要支持實(shí)現(xiàn)實(shí)時(shí)環(huán)境掃描、實(shí)時(shí)三維建模、與全息圖像交互的功能，主要包含了圖像識(shí)別、同步位置和映射、全息影像等內(nèi)容。圖像識(shí)別即計(jì)算機(jī)系統(tǒng)快速和精確地分析圖像并識(shí)別其中特征的能力。MR技術(shù)把現(xiàn)實(shí)的物體虛擬化，需要先用攝像頭捕捉畫(huà)面，但攝像頭捕捉到二維畫(huà)面，畫(huà)面扁平?jīng)]有立體感，需要把二維的圖像通過(guò)計(jì)算機(jī)重構(gòu)形成三維虛擬圖像，這就是3D建?！，F(xiàn)實(shí)物體只有虛擬化之后，才能很好地融合進(jìn)入虛擬的3D世界。1.圖像識(shí)別與重構(gòu)SLAM是一套用于定位一個(gè)人并同時(shí)映射環(huán)境的技術(shù)。SLAM是MR應(yīng)用的關(guān)鍵。為了使MR技術(shù)在新的、未知的或不斷變化的環(huán)境中發(fā)揮作用，需要不斷地創(chuàng)建這些環(huán)境的地圖，然后定位和跟蹤一個(gè)人在其中的運(yùn)動(dòng)。采用圖像識(shí)別和深度傳感器數(shù)據(jù)的SLAM算法來(lái)計(jì)算用戶(hù)在物理世界中的位置。當(dāng)然除了硬件，還有很多公司基于硬件檢測(cè)到的數(shù)據(jù)做算法的分析，能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)的實(shí)時(shí)跟蹤。2.同步定位與地圖構(gòu)建（SimultaneousLocalizationandMapping，SLAM）MR（MixedReality）是可以把全息影像和現(xiàn)實(shí)場(chǎng)景融合起來(lái)，讓虛擬與現(xiàn)實(shí)進(jìn)行交互的技術(shù)。全息影像也可以稱(chēng)為虛擬成像技術(shù)，它的原理是通過(guò)虛擬成像硬件，利用光線(xiàn)的干涉和衍射記錄再現(xiàn)物體真實(shí)的三維圖像。換個(gè)說(shuō)法，全息影像就是用戶(hù)戴上MR頭戴顯示設(shè)備時(shí)出現(xiàn)在其周?chē)澜缰械臄?shù)字對(duì)象（由光和聲音組成）。全息影像與VR技術(shù)最大的不同，在于VR技術(shù)展示出的是完全虛擬的景象，而全息投影則是在真實(shí)場(chǎng)景中呈現(xiàn)虛擬的景象，虛實(shí)混合在一起難以區(qū)分。全息影像開(kāi)發(fā)者可對(duì)全息影像進(jìn)行編程，來(lái)實(shí)現(xiàn)與用戶(hù)的視線(xiàn)、手勢(shì)或語(yǔ)音輸入的交互。開(kāi)發(fā)者可在MR空間中的特定位置放置全息影像，用戶(hù)可繞著特定位置走近或遠(yuǎn)離，而全息影像位置保持不變。開(kāi)發(fā)者也可將全息影像設(shè)置為跟隨用戶(hù)，無(wú)論用戶(hù)在哪里，全息影像都能與用戶(hù)保持一定相對(duì)距離。開(kāi)發(fā)者甚至可添加空間定位點(diǎn)，讓?xiě)?yīng)用程序記住放置全息影像的位置，有效地將全息影像固定在原地便于回來(lái)查看。3.全息影像（Holographic）1.3.3MR主流產(chǎn)品及差異1.3.3MR主流產(chǎn)品及差異1.3.3MR主流產(chǎn)品及差異

MR技術(shù)作為一種通用性技術(shù)在近幾年得到迅速發(fā)展，在很多行業(yè)內(nèi)都能找到應(yīng)用場(chǎng)景的結(jié)合點(diǎn)?；贛R技術(shù)的全息展示和空間定位等特性，在工業(yè)、設(shè)計(jì)、展覽、建筑、醫(yī)療、教育等行業(yè)中都具有顯著的業(yè)務(wù)需求。目前市場(chǎng)上主流產(chǎn)品是微軟的HoloLens和MagicLeap的MagicLeapOne。這類(lèi)MR眼鏡設(shè)備都是為了看到現(xiàn)實(shí)中不存在物體與現(xiàn)實(shí)世界融合在一起的圖像，并與其交互。從技術(shù)上可以簡(jiǎn)單地看成兩個(gè)部分：對(duì)現(xiàn)實(shí)世界的感知（Perception），頭戴式顯示器以呈現(xiàn)虛擬的影像（Display）。

MagicLeap的感知部分與微軟HoloLens并沒(méi)有太大差異，都是空間感知定位技術(shù)。在操作上，MagicLeap也與微軟HoloLens類(lèi)似，用戶(hù)所有操作都是依靠手勢(shì)來(lái)完成，而且設(shè)備上的傳感器能識(shí)別用戶(hù)用手指發(fā)出的各種命令，還能用導(dǎo)波管在真實(shí)世界中添加虛擬的3D圖像。兩者之間最大的不同應(yīng)該是來(lái)自顯示部分，MagicLeap是用光纖向視網(wǎng)膜直接投射整個(gè)數(shù)字光場(chǎng)，產(chǎn)生所謂的電影級(jí)的現(xiàn)實(shí)（CinematicReality）。而HoloLens則采用一個(gè)半透玻璃，從側(cè)面實(shí)施數(shù)字光處理（DigitalLightProcessing，DLP）投影顯示，是個(gè)二維顯示器。

MagicLeap是將畫(huà)面直接投射于用戶(hù)的視網(wǎng)膜，人們通過(guò)MagicLeap看到的物體和現(xiàn)實(shí)生活中真實(shí)的物體并沒(méi)什么區(qū)別，也不會(huì)有信息損失。從理論上來(lái)說(shuō)，使用MagicLeap的設(shè)備，是無(wú)法區(qū)分虛擬物體和現(xiàn)實(shí)物體。使用MagicLeap的設(shè)備，最明顯區(qū)別在于技術(shù)上的效果，人眼可以直接選擇聚焦（主動(dòng)選擇性聚焦），即用戶(hù)需要看近的物體，近的物體就實(shí)，遠(yuǎn)的就虛。注意這里不需要任何的人眼