虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論 課件全套 梁曉輝 第1-6章 概論、虛擬現(xiàn)實(shí)常用軟硬件-Unity開(kāi)發(fā)實(shí)例-VR電力仿真培訓(xùn)系統(tǒng)

虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論第1章概論本講大綱1.1基本概念及發(fā)展簡(jiǎn)史1.2虛擬現(xiàn)實(shí)的關(guān)聯(lián)概念1.3典型特征1.4虛擬現(xiàn)實(shí)系統(tǒng)1.5虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)建過(guò)程1.6習(xí)題1.1基本概念及發(fā)展簡(jiǎn)史虛擬現(xiàn)實(shí)(VR)——三元世界的界面真實(shí)世界虛擬世界

人虛擬現(xiàn)實(shí)是人與虛擬世界及真實(shí)世界的相互作用虛擬現(xiàn)實(shí)就是采用以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代高技術(shù)生成逼真的視、聽(tīng)、觸覺(jué)一體化的一定范圍的三維虛擬環(huán)境，用戶可以借助必要的裝備以自然的方式與虛擬環(huán)境中的物體進(jìn)行交互作用、相互影響，從而獲得親臨等同真實(shí)環(huán)境的感受和體驗(yàn)?；靖拍钐摂M現(xiàn)實(shí)技術(shù)充分利用計(jì)算機(jī)硬件和軟件的集成技術(shù)，提供一種實(shí)時(shí)、三維的虛擬環(huán)境，用戶借助必要的設(shè)備（如頭盔，手套等）以自然方式與虛擬環(huán)境中的物體進(jìn)行交互，從而沉浸于虛擬環(huán)境中，產(chǎn)生接近真實(shí)環(huán)境的感受和體驗(yàn)。虛擬環(huán)境是由計(jì)算機(jī)生成的實(shí)時(shí)動(dòng)態(tài)的三維立體逼真圖像，它可以是某一現(xiàn)實(shí)世界的再現(xiàn)，也可以是虛擬構(gòu)想的世界。關(guān)鍵詞：3D+交互基本概念3D＋交互示例虛擬現(xiàn)實(shí)產(chǎn)生的背景與應(yīng)用需求演化密切相關(guān)與計(jì)算技術(shù)發(fā)展密切相關(guān)虛擬現(xiàn)實(shí)產(chǎn)生的背景現(xiàn)代科學(xué)研究的主要手段理論研究（推導(dǎo)、演繹）科學(xué)實(shí)驗(yàn)（統(tǒng)計(jì)、歸納）一個(gè)問(wèn)題如何使得計(jì)算過(guò)程和結(jié)果更為直觀？科學(xué)計(jì)算數(shù)值計(jì)算方法模擬仿真新的計(jì)算方法虛擬現(xiàn)實(shí)產(chǎn)生的背景直觀為什么首先要可視？真正的直觀需要可視、可聽(tīng)、可觸、可嗅，而視覺(jué)占到人的輸入信息的80%以上，是基本的可視的概念并不陌生解析幾何（代數(shù)、幾何）在于虛擬現(xiàn)實(shí)關(guān)聯(lián)的學(xué)科中，與“可視”相關(guān)的也是最早發(fā)展的虛擬現(xiàn)實(shí)產(chǎn)生的背景虛擬現(xiàn)實(shí)考慮的核心問(wèn)題如何把現(xiàn)實(shí)世界中物體和數(shù)據(jù)映射成具有某種幾何、物理和行為屬性的對(duì)象（實(shí)物虛化）如何計(jì)算機(jī)中的虛擬對(duì)象映射到現(xiàn)實(shí)世界中（虛物實(shí)化）發(fā)展簡(jiǎn)史80多年前的飛行模擬器……1929年EdwinA.Link發(fā)明了一種飛行模擬器“藍(lán)盒子”，可提供俯仰、偏航、滾轉(zhuǎn)等復(fù)雜飛行動(dòng)作。這是人類模擬仿真物理現(xiàn)實(shí)的初次嘗試如今，全球民航共使用著約1200余臺(tái)全飛模擬機(jī)，其中約550臺(tái)位于美國(guó)、75臺(tái)位于英國(guó)、我國(guó)擁有約60多臺(tái)，而德國(guó)和日本分別擁有50臺(tái)，法國(guó)擁有其中的40余臺(tái)發(fā)展簡(jiǎn)史

50多年前的摩托車仿真器……1956年，MortonHeileg開(kāi)發(fā)了一個(gè)摩托車仿真器Sensorama，基于一對(duì)并排的35mm照相機(jī)實(shí)現(xiàn)三維視頻反饋，有立體聲效，能產(chǎn)生振動(dòng)感覺(jué)1962年的“Sensoramasimulator”專利已具有一定的VR技術(shù)的思想發(fā)展簡(jiǎn)史圖形學(xué)和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎(jiǎng)發(fā)展簡(jiǎn)史圖形學(xué)和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎(jiǎng)發(fā)展簡(jiǎn)史人機(jī)交互1987年，James.D.Foley在具有影響力的《科學(xué)美國(guó)人》上發(fā)表了“InterfacesforAdvancedComputing”。該雜志還發(fā)表了報(bào)導(dǎo)數(shù)據(jù)手套的文章，引起人們的關(guān)注發(fā)展簡(jiǎn)史AR……VR……1973年，Krueger提出了“ArtificialReality”一詞，這是早期出現(xiàn)的VR詞語(yǔ)1989年，美國(guó)VPL公司的創(chuàng)立者JaronLanier提出了VirtualReality一詞2014年3月20日，F(xiàn)acebook公司宣布斥資20億美元收購(gòu)虛擬現(xiàn)實(shí)公司Oculus。這是Facebook金額排名第二的收購(gòu)交易2014年7月25日，Amazon發(fā)布FirePhone3D手機(jī)，

增強(qiáng)3D購(gòu)物/娛樂(lè)體驗(yàn)2014年9月，微軟研發(fā)3D觸覺(jué)反饋觸摸屏：醫(yī)生可以摸到腫瘤2015年1月22日，微軟舉辦Win10預(yù)覽版發(fā)布會(huì)，推出HoloLens全息影像頭盔2015年CES（國(guó)際消費(fèi)電子展），三星等推出的多款虛擬現(xiàn)實(shí)頭盔、應(yīng)用等發(fā)展簡(jiǎn)史發(fā)展簡(jiǎn)史虛擬現(xiàn)實(shí)可能應(yīng)用的九個(gè)領(lǐng)域：2016年1月14日，高盛發(fā)布58頁(yè)報(bào)告，指出虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）將像PC一樣改變世界預(yù)期到2025年VR和AR軟硬件營(yíng)收達(dá)800-1800億美元高盛預(yù)測(cè)報(bào)告：像PC一樣改變世界視頻游戲現(xiàn)場(chǎng)直播視頻娛樂(lè)零售業(yè)房地產(chǎn)教育健康工程軍事發(fā)展簡(jiǎn)史2018年，美國(guó)公布的《2016-2045年新興科技趨勢(shì)報(bào)告》預(yù)測(cè)未來(lái)30年里，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)這些技術(shù)將成為主流技術(shù)。AR將把實(shí)時(shí)相關(guān)的信息給用戶投放在現(xiàn)實(shí)中，而VR則可以通過(guò)融合視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)和觸覺(jué)來(lái)實(shí)現(xiàn)深度沉浸的體驗(yàn)。發(fā)展簡(jiǎn)史近年來(lái)，元宇宙（Metaverse）成為市場(chǎng)上比較火熱的概念。元宇宙指利用科技手段連接與創(chuàng)造出與現(xiàn)實(shí)世界映射和交互的虛擬世界，該虛擬世界同時(shí)是一個(gè)具備基本新型社會(huì)體系的數(shù)字生活空間。其本質(zhì)是對(duì)現(xiàn)實(shí)世界的虛擬化、數(shù)字化，包括對(duì)內(nèi)容生產(chǎn)、經(jīng)濟(jì)系統(tǒng)、用戶體驗(yàn)以及實(shí)體世界大量真實(shí)內(nèi)容的改造。其中，擴(kuò)展現(xiàn)實(shí)（ExtendedReality，XR）技術(shù)是VR與AR技術(shù)的綜合，為用戶提供沉浸式體驗(yàn)，與數(shù)字孿生技術(shù)、區(qū)塊鏈技術(shù)一道成為支持元宇宙的核心技術(shù)之一。發(fā)展簡(jiǎn)史使人機(jī)界面、人機(jī)交互自然、友好是計(jì)算機(jī)科學(xué)工作者不懈追求的目標(biāo)。計(jì)算與仿真成為科學(xué)技術(shù)探索除理論研究、科學(xué)實(shí)驗(yàn)之外的第三種手段。人們?cè)谠S多領(lǐng)域所需解決的問(wèn)題越來(lái)越需要有力的預(yù)測(cè)手段和虛擬環(huán)境。追求、探求、需求計(jì)算機(jī)科學(xué)工作者不斷追求的三個(gè)目標(biāo)：快捷，聰明，和諧虛擬現(xiàn)實(shí)的三大應(yīng)用方向訓(xùn)練演練(模擬現(xiàn)實(shí)環(huán)境)規(guī)劃（設(shè)計(jì)）預(yù)測(cè)(虛擬未來(lái)環(huán)境)觀賞娛樂(lè)(構(gòu)想現(xiàn)實(shí)未來(lái)幻想環(huán)境)1.2虛擬現(xiàn)實(shí)的關(guān)聯(lián)概念與VR緊密相關(guān)的概念MR（混合現(xiàn)實(shí)）、AR（增強(qiáng)現(xiàn)實(shí)）、AV（增強(qiáng)虛擬）這些概念根據(jù)虛擬環(huán)境與真實(shí)環(huán)境信息融合的程度劃分虛擬現(xiàn)實(shí)發(fā)展的四個(gè)傳統(tǒng)領(lǐng)域

虛擬現(xiàn)實(shí)傳統(tǒng)仿真真實(shí)數(shù)據(jù)等游戲動(dòng)畫CAD/CAM圖形圖像人機(jī)交互等概念仿真等虛擬實(shí)體等近年來(lái)一些熱詞都有與虛擬現(xiàn)實(shí)相關(guān)內(nèi)容云計(jì)算：GoogleGlass（顯示）大數(shù)據(jù)：可視分析（視覺(jué)處理）可穿戴：新型人機(jī)界面（交互方式）5G：全景展示（內(nèi)容展現(xiàn)形式）人工智能：內(nèi)容處理，交互1.3典型特征VR3I典型特征示意圖沉浸（Immersion）交互（Interaction）構(gòu)想（Imagination）虛擬現(xiàn)實(shí)的三個(gè)主要特點(diǎn)依托的學(xué)科多（多學(xué)科交叉融合）應(yīng)用性強(qiáng)（與應(yīng)用領(lǐng)域交叉融合）高度依賴數(shù)據(jù)資源和計(jì)算資源1.4虛擬現(xiàn)實(shí)系統(tǒng)虛擬現(xiàn)實(shí)系統(tǒng)邏輯結(jié)構(gòu)典型虛擬現(xiàn)實(shí)系統(tǒng)一般包含一個(gè)虛擬環(huán)境（VirtualEnvironment，VE）及若干化身虛擬現(xiàn)實(shí)系統(tǒng)的4種分類（1）沉浸型（2）桌面型（3）增強(qiáng)型（4）分布型沉浸型這類系統(tǒng)主要面向高端應(yīng)用，其典型特點(diǎn)是使用高端圖形工作站（群）和高逼真感的視聽(tīng)觸設(shè)備，以提供更好的沉浸感。航天航空領(lǐng)域的應(yīng)用沉浸型這類系統(tǒng)主要面向高端應(yīng)用，其典型特點(diǎn)是使用高端圖形工作站（群）和高逼真感的視聽(tīng)觸設(shè)備，以提供更好的沉浸感。醫(yī)學(xué)領(lǐng)域的應(yīng)用桌面型這類系統(tǒng)主要面向普及型應(yīng)用，其典型特點(diǎn)是基于個(gè)人計(jì)算機(jī)和常規(guī)交互設(shè)備，在通用硬件上構(gòu)造簡(jiǎn)易型的系統(tǒng)。虛擬奧運(yùn)博物館增強(qiáng)型這類系統(tǒng)主要面向增強(qiáng)現(xiàn)實(shí)的應(yīng)用，其典型特點(diǎn)是：利用機(jī)械、聲波、光學(xué)、電磁技術(shù)獲取運(yùn)動(dòng)物體的3D姿態(tài)，然后與虛擬對(duì)象進(jìn)行注冊(cè)、融合，并使用透視頭盔式顯示器，在現(xiàn)實(shí)場(chǎng)景中疊加虛擬物體，增加虛實(shí)融合的內(nèi)容。大飛機(jī)虛擬融合系統(tǒng)分布型這類系統(tǒng)主要面向網(wǎng)絡(luò)環(huán)境下的虛擬現(xiàn)實(shí)應(yīng)用，其典型特點(diǎn)是：利用網(wǎng)絡(luò)將不同節(jié)點(diǎn)的虛擬現(xiàn)實(shí)系統(tǒng)加以聯(lián)結(jié)，構(gòu)建共享一致的虛擬環(huán)境，從而進(jìn)行協(xié)同和交互。分布型分布型虛擬現(xiàn)實(shí)系統(tǒng)的典型架構(gòu)：邏輯層主要實(shí)現(xiàn)了虛擬環(huán)境物理層通過(guò)每個(gè)虛擬的區(qū)域可能對(duì)應(yīng)一個(gè)區(qū)域服務(wù)器此外，物理層還設(shè)置了模型服務(wù)器與監(jiān)控服務(wù)器用于數(shù)據(jù)處理與服務(wù)管理1.5虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)建過(guò)程虛擬現(xiàn)實(shí)系統(tǒng)構(gòu)建過(guò)程建模+渲染+交互界面1.6習(xí)題習(xí)題虛擬現(xiàn)實(shí)的概念是什么？其主要特征是什么？構(gòu)造虛擬環(huán)境的主要過(guò)程是什么？你認(rèn)為構(gòu)造虛擬環(huán)境的難點(diǎn)是什么？虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論第2章虛擬現(xiàn)實(shí)常用軟硬件本講大綱2.1典型輸入設(shè)備2.2典型輸出設(shè)備2.3常用軟件2.4習(xí)題2.1典型輸入設(shè)備用戶位姿獲取設(shè)備電磁跟蹤設(shè)備（電磁發(fā)射、接收）聲學(xué)跟蹤設(shè)備（超聲等發(fā)射、接收）光學(xué)跟蹤設(shè)備（光學(xué)傳感器、攝像頭）光波、有標(biāo)志點(diǎn)、無(wú)標(biāo)識(shí)點(diǎn)、深度圖通過(guò)攝像機(jī)獲取二維圖像標(biāo)志點(diǎn)，進(jìn)而獲得三維位置慣性跟蹤設(shè)備（加速度計(jì)、陀螺儀）眼球跟蹤設(shè)備混合方式用戶位姿獲取設(shè)備——電磁跟蹤設(shè)備現(xiàn)有電磁跟蹤設(shè)備一般由控制部件、信號(hào)發(fā)射器（transmitter）和接收器（receiver）組成發(fā)射器與接收器均包括3個(gè)相互垂直（正交）的電磁感應(yīng)圈；發(fā)射器通過(guò)電磁感應(yīng)圈產(chǎn)生磁場(chǎng)，接收器接收到磁場(chǎng)，并在感應(yīng)圈上產(chǎn)生相應(yīng)的電流；根據(jù)接收到的電流信號(hào)，通過(guò)控制部件預(yù)先設(shè)定的算法計(jì)算，就能得到跟蹤目標(biāo)相對(duì)于接收器的位置和方向。根據(jù)所發(fā)射磁場(chǎng)的不同，又可分為交流電發(fā)射器型和直流電發(fā)射器型。用戶位姿獲取設(shè)備——電磁跟蹤設(shè)備目前使用較為廣泛的直流電跟蹤系統(tǒng)，如AscensionTechnology公司的FlockofBirds系統(tǒng)，其刷新率可達(dá)100Hz，系統(tǒng)延遲在沒(méi)有噪聲濾波器的情況下，最小可到17ms。FlockofBirds系統(tǒng)用戶位姿獲取設(shè)備——聲學(xué)跟蹤設(shè)備聲學(xué)跟蹤技術(shù)利用超聲波的特性來(lái)達(dá)到目標(biāo)的位置跟蹤。不過(guò)從理論上講，聽(tīng)覺(jué)波也是可以使用的。聲學(xué)跟蹤系統(tǒng)根據(jù)其跟蹤方法可以分為兩類：飛行時(shí)間（TimeofFlight，ToF）測(cè)量法相位差（Phase-Coherent，PC）測(cè)量法為了更好地確定目標(biāo)位置和方向，在實(shí)際應(yīng)用中，通常采用多個(gè)超聲波發(fā)射/接收傳感器。Logitech跟蹤設(shè)備用戶位姿獲取設(shè)備——光學(xué)跟蹤設(shè)備光學(xué)跟蹤系統(tǒng)的感光設(shè)備種類很多，如普通攝像機(jī)、光敏二極管等。光源也是多種多樣的，可以是環(huán)境光，也可以是受跟蹤器控制發(fā)出的光。為了防止可見(jiàn)光的干擾，有時(shí)也使用紅外線作為光源。光學(xué)跟蹤系統(tǒng)使用的技術(shù)主要可分為：標(biāo)志系統(tǒng)模式識(shí)別系統(tǒng)激光測(cè)距系統(tǒng)光學(xué)跟蹤設(shè)備用戶位姿獲取設(shè)備——標(biāo)志系統(tǒng)標(biāo)志系統(tǒng)（markersystem）也稱為信號(hào)燈系統(tǒng)或固定傳感器系統(tǒng)，是當(dāng)前使用最多的光學(xué)跟蹤技術(shù)。它有兩種結(jié)構(gòu)：自外而內(nèi)（out-inside）結(jié)構(gòu)，例如圖a以及結(jié)構(gòu)自內(nèi)而外（inside-out）結(jié)構(gòu)，例如圖b。用戶位姿獲取設(shè)備——模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的原理是通過(guò)比較已知的樣本模式與傳感器得到的模式而得出物體位置的，它其實(shí)是前面介紹的標(biāo)志系統(tǒng)的一個(gè)改進(jìn)。把幾個(gè)LED那樣的發(fā)光器件按某一固定陣列（即樣本模式排列），并將其固定在被跟蹤對(duì)象的身上。然后由攝像機(jī)跟蹤拍攝運(yùn)動(dòng)的LED陣列，記錄整個(gè)LED陣列模式的變化。這實(shí)際上是將人的運(yùn)動(dòng)抽象為固定模式的LED點(diǎn)陣運(yùn)動(dòng)，從而避免從圖像中直接識(shí)別被跟蹤物體所帶來(lái)的復(fù)雜性。用戶位姿獲取設(shè)備——激光測(cè)距系統(tǒng)激光測(cè)距系統(tǒng)將激光發(fā)射到被測(cè)物體，然后接收從物體上反射回來(lái)的光測(cè)量出位置。激光通過(guò)一個(gè)衍射光柵射到被跟蹤物體上，然后接收經(jīng)物體表面反射的2D衍射圖的傳感器記錄。這種經(jīng)反射的衍射圈帶有一定的畸變，而這一畸變是與距離有關(guān)的，作為測(cè)量距離的一種量度。HTCViveLighthouseHTCViveLighthouse使用雙基站定位系統(tǒng)。Valve在頭顯和控制器上安裝了很多光敏傳感器。在基站的LED閃光之后就會(huì)同步信號(hào)，然后光敏傳感器可以測(cè)量出軸激光和軸激光分別到達(dá)傳感器的時(shí)間。這個(gè)時(shí)間就正好是軸和軸激光轉(zhuǎn)到這個(gè)特定的，點(diǎn)亮傳感器的角度的時(shí)間，于是傳感器相對(duì)于基站的軸和軸角度也就已知了；分布在頭顯和控制器上的光敏傳感器位置也是已知的，于是通過(guò)各個(gè)傳感器的位置差，就可以計(jì)算出頭顯位置和運(yùn)動(dòng)軌跡。用戶位姿獲取設(shè)備——慣性跟蹤設(shè)備慣性跟蹤技術(shù)使用慣性傳感器進(jìn)行跟蹤，主要包括陀螺儀（gyroscope）傳感器從原理上，高速旋轉(zhuǎn)的陀螺有保持其旋轉(zhuǎn)軸朝向不變的能力，可以測(cè)量被跟蹤物體的3自由度選擇運(yùn)動(dòng)（yaw、roll、pitch），從而達(dá)到對(duì)頭部方向運(yùn)動(dòng)的跟蹤。加速器（accelerator）傳感器加速計(jì)用來(lái)測(cè)量頭部運(yùn)動(dòng)的加速度或者是環(huán)境中運(yùn)動(dòng)物體的加速度，達(dá)到對(duì)頭部位置運(yùn)動(dòng)的跟蹤。慣性跟蹤設(shè)備用戶位姿獲取設(shè)備——眼球跟蹤設(shè)備ASL的MobileEye是可移動(dòng)的眼球軌跡追蹤系統(tǒng)，專為需要自由移動(dòng)應(yīng)用而設(shè)計(jì)，可以用在室內(nèi)也可以在戶外，它緊湊、堅(jiān)固，能應(yīng)用到體育方面。該系統(tǒng)重量輕，用于記錄的設(shè)備也很小，能別在一條皮帶上。眼睛圖像和場(chǎng)景圖像交錯(cuò)地保存在特制的DVCR磁帶里，以確保足夠高分辨率。其采樣率為25/30Hz。ASLModel504用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備運(yùn)動(dòng)捕獲是記錄人體運(yùn)動(dòng)信息以供分析和回放的技術(shù)。捕捉的數(shù)據(jù)既可簡(jiǎn)單到記錄軀體部件的空間位置，也可復(fù)雜到記錄臉部和肌肉群的細(xì)致運(yùn)動(dòng)。應(yīng)用在計(jì)算機(jī)角色動(dòng)畫的運(yùn)動(dòng)捕捉則涉及到如何把真人動(dòng)作轉(zhuǎn)換為虛擬角色的動(dòng)作，直接轉(zhuǎn)換映射，用真人演員的手臂運(yùn)動(dòng)控制虛擬角色的手臂動(dòng)作間接轉(zhuǎn)換映射，用真人演員的手臂和手指動(dòng)作來(lái)控制虛擬角色的皮膚顏色和情緒等。影視特效動(dòng)畫制作虛擬現(xiàn)實(shí)游戲人體工程學(xué)模擬訓(xùn)練生物力學(xué)用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備運(yùn)動(dòng)數(shù)據(jù)獲取裝備全身運(yùn)動(dòng)捕捉系統(tǒng)機(jī)械電子式運(yùn)動(dòng)捕捉系統(tǒng)光學(xué)動(dòng)作捕捉系統(tǒng)臉部表情捕捉系統(tǒng)數(shù)據(jù)手套用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——機(jī)械電子式運(yùn)動(dòng)捕捉系統(tǒng)ME4是ME電子機(jī)械式運(yùn)動(dòng)捕獲系統(tǒng)的最新產(chǎn)品ME4更貼身、重量更輕、操作更簡(jiǎn)單，其設(shè)計(jì)最大程度滿足用戶動(dòng)作的自由度和舒適度，由安放于人體17處關(guān)節(jié)的43只運(yùn)動(dòng)傳感器精確記錄運(yùn)動(dòng)者骨骼的轉(zhuǎn)動(dòng)ME4價(jià)格低，同時(shí)可最多捕獲16人的運(yùn)動(dòng)信息，沒(méi)有光學(xué)運(yùn)動(dòng)捕獲常見(jiàn)的測(cè)量死角和標(biāo)記點(diǎn)混淆，沒(méi)有電磁跟蹤系統(tǒng)常見(jiàn)的外界干擾產(chǎn)生的誤差增加傳感器錨點(diǎn)數(shù)量、位置（頭、肘、膝蓋、臀部）可配合完成諸如頭手倒立、四肢匍匐、就座等復(fù)雜動(dòng)作捕獲。用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——光學(xué)動(dòng)作捕捉系統(tǒng)光學(xué)動(dòng)作捕捉系統(tǒng)廣泛用于運(yùn)動(dòng)、人體工程學(xué)、實(shí)時(shí)動(dòng)畫制作、工業(yè)測(cè)量、臨床運(yùn)動(dòng)分析、知覺(jué)動(dòng)作技能研究。它可用于各種環(huán)境包括醫(yī)院、工廠大學(xué)、運(yùn)動(dòng)場(chǎng)、動(dòng)畫制作攝影棚和國(guó)際空間站等。PS光學(xué)式人體運(yùn)動(dòng)捕捉系統(tǒng)是目前光學(xué)式系統(tǒng)中價(jià)格最便宜、性能最好的系統(tǒng)。它依靠主動(dòng)方式的、一元硬幣大小的LED，可以快速、高精度、方便地獲取人體各個(gè)部位的運(yùn)動(dòng)數(shù)據(jù)。不同于被動(dòng)式的光學(xué)反射標(biāo)志，其能夠?qū)崟r(shí)獲取多達(dá)120個(gè)LED主動(dòng)方式標(biāo)志點(diǎn)的運(yùn)動(dòng)軌跡。用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——臉部表情捕捉系統(tǒng)FT45臉部表情跟蹤系統(tǒng)是廣泛使用的人體臉部表情跟蹤系統(tǒng)。通過(guò)臉部的36個(gè)不同標(biāo)記，F(xiàn)T45系統(tǒng)可以實(shí)時(shí)捕獲臉部運(yùn)動(dòng)數(shù)據(jù)。研究者可以在不同的場(chǎng)合多次重復(fù)使用這些數(shù)據(jù)文件。這些數(shù)據(jù)可以反映到其他虛擬角色的3D臉部模型上，從而獲得和表演者相似的表情，也可以進(jìn)行表情變化。用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——數(shù)據(jù)手套數(shù)據(jù)手套是虛擬現(xiàn)實(shí)應(yīng)用的主要交互設(shè)備，它作為一只虛擬的手或控件用于3DVR場(chǎng)景的模擬交互，可進(jìn)行物體抓取、移動(dòng)、裝配、操縱、控制，有有線和無(wú)線、左手和右手之分，可用于視景仿真軟件環(huán)境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備3D掃描儀接觸式掃描儀非接觸式掃描儀激光掃描儀結(jié)構(gòu)式3D掃描儀3D照相機(jī)真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備——3D掃描儀利用光學(xué)、機(jī)械等方法，獲取三維物體的表面幾何屬性，分為接觸式和非接觸式。真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備——接觸式掃描儀接觸式掃描儀通過(guò)內(nèi)置高精度位置和方向傳感器感知探頭所處位置。主要產(chǎn)品有MS接觸式數(shù)據(jù)化儀。MS接觸式數(shù)據(jù)化儀是由三段碳纖維臂構(gòu)成，臂與臂之間由球狀連接器相連，內(nèi)置高精度位置和方向傳感器，以感知探頭所處位置。真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備——非接觸式掃描儀激光掃描儀使用條狀激光對(duì)輸入對(duì)象進(jìn)行掃描，使用CCD相機(jī)接受其反射光束。根據(jù)三角測(cè)距原理獲得與拍攝物體之間的距離，進(jìn)行3D數(shù)據(jù)化處理。目前已成形的產(chǎn)品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。結(jié)構(gòu)光式3D掃描儀有別于傳統(tǒng)的激光點(diǎn)掃描和線掃描方式，該掃描系統(tǒng)采用結(jié)構(gòu)光照相式原理對(duì)物體進(jìn)行快速面掃描。目前成型的產(chǎn)品有3DREALSCAN和北京天遠(yuǎn)的3D掃描系統(tǒng)。3D照相機(jī)美能達(dá)公司1999年推出3D1500數(shù)碼照相機(jī)可將現(xiàn)實(shí)世界中的實(shí)物實(shí)景拍攝為3D影像。3D數(shù)碼照相機(jī)在逼真再現(xiàn)立體世界方面還存在著不足，比如，目前只能通過(guò)3D技術(shù)再現(xiàn)小實(shí)物，拍攝后在計(jì)算機(jī)中處理的時(shí)間也較長(zhǎng)。目前的3D照相機(jī)主要有Komamura的Horseman3Dcamera，它采用了雙鏡頭組，但雙鏡頭是同時(shí)工作的，因此不需要額外地處理就可以直接拍攝出紅藍(lán)立體眼鏡能夠觀看的立體照片。2.2典型輸出設(shè)備典型輸出設(shè)備視覺(jué)輸出

3D立體眼鏡頭盔式顯示器3D環(huán)幕儀全息顯示真3D立體顯示器力/觸覺(jué)輸出力覺(jué)/動(dòng)感反饋設(shè)備觸覺(jué)反饋典型輸出設(shè)備——3D立體眼鏡一般由立體圖形加速卡、紅外控制發(fā)射盒、有線或線立體眼鏡，支持高分辨率、高場(chǎng)頻、逐行立體顯示。具有全面、小型、經(jīng)濟(jì)、適用的特點(diǎn)，適于基于PC機(jī)的小型VR系統(tǒng)，具有較好的性能價(jià)格比。典型輸出設(shè)備——頭盔式顯示器headmounteddisplay（HMD），分為遮擋型和透視型典型輸出設(shè)備——3D環(huán)幕儀利用投影、液晶屏構(gòu)造的大范圍視景空間典型輸出設(shè)備——全息顯示伽伯通過(guò)記錄3D物體信息的物光波的振幅和位相分布，并將記錄結(jié)果稱為“全息圖”。通常可以將全息圖理解為一個(gè)大容量的存儲(chǔ)器件，存儲(chǔ)或“凍結(jié)”了3D物體的全部信息。為了從全息圖中提取物光波的信息，還必須采用適當(dāng)?shù)墓獠ㄕ丈淙D，“解凍”或恢復(fù)原來(lái)的物光波，人眼朝向再現(xiàn)物光波進(jìn)行觀察時(shí)，就如同通過(guò)全息圖去觀察原來(lái)的真實(shí)物體一樣。典型輸出設(shè)備——真3D立體顯示器基于人眼立體視覺(jué)的3D成像受到觀察角度、輔助儀器、眼睛觀察時(shí)間等限制。由于焦距固定，使得眼睛在場(chǎng)景中無(wú)法像觀看一個(gè)真實(shí)物體那樣收縮或改變焦距，所以沒(méi)有真正意義上實(shí)現(xiàn)物體的全面3D顯示。全息成像無(wú)法顯示動(dòng)態(tài)立體圖像，很大程度上限制了全息顯示技術(shù)在現(xiàn)代信息顯示中的應(yīng)用。隨著計(jì)算機(jī)技術(shù)和圖形圖像技術(shù)的發(fā)展，出現(xiàn)了直接在3D數(shù)據(jù)場(chǎng)中生成體素點(diǎn)，不需佩戴任何輔助設(shè)備，可全視角、多人同時(shí)觀察立體圖像且具有物理景深的3D顯示器，即真3D立體顯示器，其相關(guān)技術(shù)稱為真3D立體顯示技術(shù)。真3D立體顯示技術(shù)，按成像原理不同可分為：靜態(tài)成像技術(shù)動(dòng)態(tài)成像技術(shù)把兩束激光束照到一個(gè)由特殊材料制造的透明圖像空間上，經(jīng)過(guò)折射，兩束光相交到一點(diǎn)，激發(fā)圖像空間材料發(fā)光，便產(chǎn)生了組成立體圖像最小單位—體素，每個(gè)體素對(duì)應(yīng)真實(shí)物體的一個(gè)實(shí)際的點(diǎn)，當(dāng)這兩束激光束快速移動(dòng)時(shí)，在圖像空間中就形成許許多多個(gè)交叉點(diǎn)，無(wú)數(shù)個(gè)體素點(diǎn)就構(gòu)成了真3D的物體圖像。動(dòng)態(tài)成像技術(shù)將顯示的圖像用2D切片的方式投影到一個(gè)旋轉(zhuǎn)或平移的屏幕上，同時(shí)該屏幕以觀察者無(wú)法察覺(jué)的速度在運(yùn)動(dòng)，由于人眼的視覺(jué)暫留，從而在人眼中形成3D物體，實(shí)現(xiàn)圖像的真3D顯示。典型輸出設(shè)備——真3D立體顯示器當(dāng)前幾種先進(jìn)的真3D立體顯示器包括Felix3D以及Perspecta3D等。典型輸出設(shè)備——真3D立體顯示器力覺(jué)/動(dòng)感反饋（force/kinestheticfeedback）觸覺(jué)反饋（tactilefeedback）典型輸出設(shè)備——力/觸覺(jué)輸出力覺(jué)反饋設(shè)備是虛擬現(xiàn)實(shí)系統(tǒng)中的一種重要的設(shè)備，能使參與者實(shí)現(xiàn)虛擬環(huán)境中除視覺(jué)、聽(tīng)覺(jué)之外的第三感覺(jué)——觸覺(jué)和力感。它可提供高度逼真的3D力（觸覺(jué)）反饋能力，在辦公室/桌面環(huán)境下進(jìn)行操作，并與標(biāo)準(zhǔn)PC機(jī)兼容。它能進(jìn)一步增強(qiáng)虛擬環(huán)境的交互性，從而真正體會(huì)到虛擬世界中的交互真實(shí)感。相對(duì)力反饋，觸覺(jué)反饋還處于初級(jí)階段。日本岐阜大學(xué)工學(xué)系元島棲二教授的研究小組成功開(kāi)發(fā)出世界最小的超敏感觸覺(jué)傳感器，在醫(yī)療器械領(lǐng)域應(yīng)用前景廣泛。傳感器在約0.1mm3的合成樹(shù)脂中埋入了直徑1~10μm、長(zhǎng)300~500μm、像彈簧一樣的螺旋狀微細(xì)碳線圈元件。碳線圈接觸物體之后，會(huì)將微小的壓力和溫度變化轉(zhuǎn)換成電信號(hào)。此外，傳感器還可以感知“擰”、"摩擦"等信號(hào)。2.3常用軟件構(gòu)建具有逼真感和交互性的VR系統(tǒng)，首先面臨的就是建模?，F(xiàn)有的虛擬現(xiàn)實(shí)建模軟件主要集中在支持虛擬景物的幾何和物理建模方面。前者又可分為面向動(dòng)畫制作與面向?qū)崟r(shí)繪制的建模軟件兩類。建模軟件面向動(dòng)畫制作的建模，也稱為3D幾何造型設(shè)計(jì)，是3D動(dòng)畫制作工具的基本功能。動(dòng)畫制作中的建模一般包括基本幾何形體繪制、復(fù)雜模型組合等?，F(xiàn)有一些公開(kāi)的3D模型庫(kù)可供使用，以提高開(kāi)發(fā)效率。目前流行的3D動(dòng)畫制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模軟件——面向動(dòng)畫制作的建模軟件Maya主界面Houdini主界面3D模型的數(shù)據(jù)組織合適對(duì)實(shí)時(shí)繪制有重要影響。在面向?qū)崟r(shí)繪制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。該數(shù)據(jù)格式已成為視景仿真領(lǐng)域公認(rèn)的模型數(shù)據(jù)標(biāo)準(zhǔn)，大部分VR開(kāi)發(fā)軟件，如VEGA，OpenGVS等都支持這種格式MultigenCreator是美國(guó)MultiGen-Paradigm公司推出的一個(gè)交互式3D建模軟件，支持建立優(yōu)化的3D模型，具有多邊形建模、矢量建模、大規(guī)模地形精確生成等功能。建模軟件——面向?qū)崟r(shí)繪制的建模軟件Multigencreator主界面地形模型相比其他模型規(guī)模更大，手工建模工作量巨大。因此，出現(xiàn)了一系列專為地形制作開(kāi)發(fā)的工具，如CreatorTerrainStudio，TerraVista等。為提高建模效率，出現(xiàn)了一些特定功能的輔助工具，如格式轉(zhuǎn)換工具Polytrans，Deep-Exploration等，可將面向動(dòng)畫制作的3D模型數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，適用于實(shí)時(shí)VR系統(tǒng)；三維模型化簡(jiǎn)工具GeomagicDecimate、Action3DReducer、RationalReducer等，可對(duì)較為復(fù)雜的面向動(dòng)畫制作的3D模型進(jìn)行簡(jiǎn)化，以滿足實(shí)時(shí)繪制的需要。建模軟件——面向?qū)崟r(shí)繪制的建模軟件Terravista主界面此外，還有一些面向深度圖像的建模工具，如攝像采集裝置和激光掃描儀附帶的軟件系統(tǒng)。這些軟件系統(tǒng)專門處理通過(guò)相應(yīng)設(shè)備采集到的深度圖像，并生成幾何模型。例如微軟公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中專門集成了KinectFusion等算法，實(shí)現(xiàn)從深度相機(jī)的標(biāo)定、3D點(diǎn)云建模、表面網(wǎng)格生成以及骨架標(biāo)定等。建模軟件——面向?qū)崟r(shí)繪制的建模軟件Kinect

SDK主界面最初的Web3D標(biāo)準(zhǔn)是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的幾何尺寸、形狀、色彩、材質(zhì)、光照等。但是由于標(biāo)準(zhǔn)過(guò)于龐大，VRML處理效率低下，很多公司并沒(méi)有完全遵循VRML標(biāo)準(zhǔn)，而是推出自己的制作工具，使用專用的文件格式和瀏覽器插件。Web3D標(biāo)準(zhǔn)與建模工具VRML

Editor主界面1998年，VRML組織改名Web3D聯(lián)盟，同時(shí)制定了一個(gè)新標(biāo)準(zhǔn)Extensible3D（X3D）。X3D整個(gè)新出現(xiàn)的XML，Java和流傳輸?shù)燃夹g(shù)，希望提高處理能力、繪制質(zhì)量和傳輸速度。2004年8月，X3D規(guī)范被ISO批準(zhǔn)為ISO/IEC19775國(guó)際標(biāo)準(zhǔn)。但到目前為止，X3D標(biāo)準(zhǔn)仍未完全統(tǒng)一Web3D格式，面臨一些有力的競(jìng)爭(zhēng)，如由Intel，微軟，Macromedia，Adobe，波音等公司聯(lián)合組建的3DIF（3DIndustryForum）聯(lián)盟支持的U3D（Universal3D）標(biāo)準(zhǔn)。在面向Web應(yīng)用方面也有一些基于圖像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D標(biāo)準(zhǔn)與建模工具虛擬環(huán)境和對(duì)象的逼真性取決于外觀建模水平，也有賴于虛擬對(duì)象的物理建模，也就是物理引擎的實(shí)現(xiàn)。物理引擎計(jì)算虛擬環(huán)境中物體運(yùn)動(dòng)、場(chǎng)景變化、物體與場(chǎng)景之間、物體與物體之間的交互作用和動(dòng)力學(xué)特性效果。它通常以程序庫(kù)的形式提供，其中包括若干功能模塊，各模塊為應(yīng)用程序留出接口。它定義了一個(gè)高層的API集合，封裝了底層的物理計(jì)算細(xì)節(jié)，使得開(kāi)發(fā)人員可以專注于高層應(yīng)用程序開(kāi)發(fā)，大幅度縮短開(kāi)發(fā)周期。物理引擎HavokPhysics是Havok公司開(kāi)發(fā)的物理引擎，基于剛體動(dòng)力學(xué)，能模擬多關(guān)節(jié)剛體的約束和連接，開(kāi)發(fā)者可以指定對(duì)象的物理性質(zhì)，如質(zhì)量、密度、摩擦系數(shù)等。HavokPhysics引入連續(xù)碰撞檢測(cè)技術(shù)，包含RagDoll人體模型系統(tǒng)，可以表現(xiàn)車輛在虛擬環(huán)境中的各種動(dòng)態(tài)效果，包括車輛間的相互碰撞和各種操作的模擬。HavokPhysics是目前應(yīng)用最為廣泛的物理引擎之一，但計(jì)算量大，對(duì)CPU等硬件要求高。物理引擎為解決物理運(yùn)算計(jì)算量大的問(wèn)題，美國(guó)AGEIA公司研制了專門的物理加速硬件。該公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是繼GPU以后的又一次處理器功能專門化。2006年3月GDC06（GameDeveloperConference），游戲開(kāi)發(fā)者會(huì)議），第一塊物理加速卡正式發(fā)布，命名為PhysX。在PPU的支持下，PhysX每秒可處理32000~50000個(gè)剛體，效率有了大幅度提高。物理引擎VR應(yīng)用中的渲染軟件主要來(lái)源于計(jì)算機(jī)圖形學(xué)。從圖形學(xué)發(fā)展的角度，基本可分為3層：最下層是基礎(chǔ)3D圖形繪制庫(kù)，提供一系列圖形繪制標(biāo)準(zhǔn)API；中間層是3D圖形引擎；最上層是可視化開(kāi)發(fā)平臺(tái)或?qū)嶋H應(yīng)用。渲染軟件基礎(chǔ)3D圖形繪制庫(kù)主要有OpenGL、Direct3D、Java3D、Vulcan等，它們直接操作圖形硬件，提供了3D圖形繪制的底層基礎(chǔ)API。渲染軟件——基礎(chǔ)3D圖形繪制庫(kù)OpenGL是一個(gè)開(kāi)放的3D圖形軟件包，具有建模、變換、顏色模式設(shè)置、光照和材質(zhì)設(shè)置、紋理映射、位圖顯示和圖像增強(qiáng)、雙緩存動(dòng)畫等功能。OpenGL獨(dú)立于窗口系統(tǒng)和操作系統(tǒng)，以它為基礎(chǔ)開(kāi)發(fā)的應(yīng)用程序可以十分方便地在各種平臺(tái)間移植。Direct3D是微軟提供的基于COM接口標(biāo)準(zhǔn)的3D圖形API，具有良好的硬件兼容性，支持很多最新的圖形學(xué)技術(shù)成果?，F(xiàn)在幾乎所有具有3D圖形加速的顯卡都支持Direct3D。但其接口較為復(fù)雜，且只能在Windows平臺(tái)上使用。Java3DAPI是Sun定義的用來(lái)開(kāi)發(fā)3D圖形和Web3D應(yīng)用程序的編程接口。除提供OpenGL，Direct3D定義的一部分底層繪制功能外，還提供了一些建造3D物體的高層構(gòu)造函數(shù)。從所處層次看，Java3D兼有基礎(chǔ)3D圖形繪制庫(kù)和3D圖形引擎的一些功能。3D圖形引擎提供面向?qū)崟r(shí)VR應(yīng)用的完整軟件開(kāi)發(fā)支持，負(fù)責(zé)底層3D圖形繪制的數(shù)據(jù)組織和處理，發(fā)揮硬件的加速特性，為上層應(yīng)用程序提供有效的圖形繪制支持。圖形引擎一般包括真實(shí)感渲染、3D場(chǎng)景管理、聲音管理、碰撞檢測(cè)、地形匹配以及實(shí)時(shí)對(duì)象維護(hù)等功能，并提供與3D虛擬環(huán)境繪制相關(guān)的高層API渲染軟件——3D圖形引擎渲染軟件——常見(jiàn)的圖形引擎OpenGLPerformer是一個(gè)可擴(kuò)展的實(shí)時(shí)3D視景開(kāi)發(fā)軟件包，在OpenGL圖形庫(kù)基礎(chǔ)上構(gòu)建，提供了一組標(biāo)準(zhǔn)C/C++語(yǔ)言綁定的編程接口，通過(guò)一個(gè)靈活的3D圖形工具集提供高性能繪制能力。OpenGVS直接架構(gòu)于OpenGL，Direct3D等3D圖形API上，包含一組面向?qū)ο蟮腃++API，封裝了繁雜的底層圖形驅(qū)動(dòng)函數(shù)。這些API分為相機(jī)、通道、幀緩沖、煙霧、光源、對(duì)象、場(chǎng)景、特效、工具等各組資源，開(kāi)發(fā)人員可以根據(jù)需要調(diào)用這些資源來(lái)驅(qū)動(dòng)硬件實(shí)時(shí)產(chǎn)生所需的圖形。Vega支持多種3D模型，提供了許多可選模塊，支持導(dǎo)航、照明、動(dòng)畫、人物、大規(guī)模地形、CAD數(shù)據(jù)輸入和DIS/HLA分布式應(yīng)用等需求。OpenSceneGraph（OSG）是一個(gè)基于OpenGL的開(kāi)源3D圖形開(kāi)發(fā)庫(kù)，提供了一套C++API，具有較完整的3D圖形開(kāi)發(fā)功能，通過(guò)狀態(tài)轉(zhuǎn)化、繪圖管道和自定制等操作，還可以進(jìn)行繪制性能優(yōu)化。OSG主要包括場(chǎng)景圖形核心、Producer庫(kù)、OpenThread庫(kù)以及用戶插件等4個(gè)部分。VTree是一個(gè)面向?qū)ο蟮?D圖形開(kāi)發(fā)庫(kù)，包括一系列C++類和有關(guān)函數(shù)。VTree生成并連接不同節(jié)點(diǎn)到一個(gè)附屬于景物實(shí)體的可視化樹(shù)結(jié)構(gòu)，該樹(shù)結(jié)構(gòu)定義了對(duì)實(shí)體進(jìn)行繪制和處理的方法。VTK是一個(gè)開(kāi)源庫(kù)，主要用于3D繪制、圖像處理與科學(xué)計(jì)算可視化。VTK基于面向?qū)ο笏枷?，提供一系列C++API。VTK也是基于OpenGLAPI實(shí)現(xiàn)的。渲染軟件——可視化平臺(tái)早期流行的可視化開(kāi)發(fā)平臺(tái)法國(guó)達(dá)索公司的VirtoolsDevEON公司的EONStudioAct3D公司的Quest3D等近年來(lái)，一些游戲公司開(kāi)發(fā)的游戲開(kāi)發(fā)編輯器，也具備類似可視化開(kāi)發(fā)平臺(tái)的特征，其中代表性的游戲開(kāi)發(fā)編輯器有Unity3D，Unreal等渲染軟件——可視化平臺(tái)Unity3DUnity3D由丹麥Unity公司開(kāi)發(fā)，是一款讓玩家輕松創(chuàng)建諸如3D視頻游戲、建筑可視化、實(shí)時(shí)3D動(dòng)畫等互動(dòng)內(nèi)容的多平臺(tái)的綜合型游戲開(kāi)發(fā)工具，也是一個(gè)全面整合的專業(yè)游戲引擎。作為一款跨平臺(tái)的游戲開(kāi)發(fā)工具，從一開(kāi)始就設(shè)計(jì)成易于使用的產(chǎn)品。支持包括IOS，Android、PC、Web、PS3、Xbox等多個(gè)平臺(tái)的發(fā)布。同時(shí)作為一個(gè)完全集成的專業(yè)級(jí)應(yīng)用，Unity還包含了價(jià)值數(shù)百萬(wàn)美元的功能強(qiáng)大的游戲引擎。具體的特性包含整合的編輯器、跨平臺(tái)發(fā)布、地形編輯、著色器，腳本，網(wǎng)絡(luò)，物理，版本控制等特性，是當(dāng)前最流行的游戲開(kāi)發(fā)平臺(tái)。渲染軟件——可視化平臺(tái)UnrealUE（UnrealEngine，虛幻引擎）是由Epic開(kāi)發(fā)的。其3D圖形繪制引擎采用了實(shí)時(shí)光跡追蹤、HDR光照技術(shù)、虛擬位移等技術(shù)，并且支持物理與破壞、體積光、卷積混響和環(huán)境立體聲繪制等技術(shù)。目前，虛幻引擎已經(jīng)更新到Unreal5版本。渲染軟件——可視化平臺(tái)除了Unity3D和UnrealEngine外，尚有CryEngine（水晶石）、Cocos3D等游戲引擎。這些引擎或提供專門的VR模式，或提供對(duì)VR系統(tǒng)硬件API的支持，均實(shí)現(xiàn)了對(duì)VR應(yīng)用開(kāi)發(fā)的支持渲染軟件——分布式開(kāi)發(fā)工具現(xiàn)有分布式VR支撐工具主要由虛擬環(huán)境服務(wù)器和分布式開(kāi)發(fā)平臺(tái)兩種方式。采用虛擬環(huán)境服務(wù)器建立的分布式VR應(yīng)用系統(tǒng)具有很強(qiáng)的模塊耦合性，VR服務(wù)器和客戶端的代碼需要作為一個(gè)系統(tǒng)的兩個(gè)部分進(jìn)行開(kāi)發(fā)。一些集成度較高的可視化開(kāi)發(fā)平臺(tái)，如Virtools等，都具有單獨(dú)的虛擬環(huán)境服務(wù)器模塊。分布式VR開(kāi)發(fā)平臺(tái)則是將分布式VR應(yīng)用系統(tǒng)中與分布有關(guān)的內(nèi)容，以及所需要的支撐服務(wù)提取出來(lái)，構(gòu)建獨(dú)立的開(kāi)發(fā)工具。渲染軟件——其他專業(yè)工具在機(jī)械設(shè)計(jì)領(lǐng)域，一些專業(yè)化軟件，如虛擬樣機(jī)分析軟件ADAMSCAD/CAE/CAM領(lǐng)域的幾何模型設(shè)計(jì)軟件CATIA、工業(yè)用有限元分析軟件ANSYS、計(jì)算流體力學(xué)仿真軟件Pointwise等。渲染軟件——其他專業(yè)工具虛擬人的仿真也有一些專業(yè)化的軟件開(kāi)發(fā)包，如DI-GUY。

DI-GUY采集了真實(shí)士兵訓(xùn)練的特征數(shù)據(jù)，具有士兵的7級(jí)LOD細(xì)節(jié)的全紋理模型、多種制服、武器和附屬裝備，可定義包括站、跪、匍匐前進(jìn)等行為。2.4習(xí)題習(xí)題安裝Unity，了解其主要功能。了解HTCVive、MicrosoftHololens的主要特點(diǎn)。了解ARKits、ARCore的主要功能習(xí)題安裝Unity，了解其主要功能。了解HTCVive、MicrosoftHololens的主要特點(diǎn)。了解ARKits、ARCore的主要功能虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論第1章概論本講大綱3.1虛擬現(xiàn)實(shí)模型3.2虛擬現(xiàn)實(shí)幾何建模3.3虛擬現(xiàn)實(shí)物理建模3.4虛擬現(xiàn)實(shí)行為建模3.5虛擬現(xiàn)實(shí)建模的特點(diǎn)與評(píng)價(jià)指標(biāo)3.6幾何建模例——點(diǎn)云化簡(jiǎn)3.7物理建模例——虛擬人體運(yùn)動(dòng)合成3.8物理建模例——基于SPH的熱帶氣旋建模3.9習(xí)題3.1虛擬現(xiàn)實(shí)模型模型“模型”是一個(gè)人為構(gòu)造的物體，以便使人們?nèi)菀子^察現(xiàn)實(shí)世界中的物體，例如：物理模型、數(shù)學(xué)模型……。換言之，“模型”是對(duì)物體全部或部分屬性的一個(gè)抽象。對(duì)象模型對(duì)象模型是構(gòu)建虛擬環(huán)境的基礎(chǔ)，也是實(shí)物虛化的重要組成部分。一般的，主要包括幾何形狀、表面信息、物理特性、變化屬性等。對(duì)象模型幾何形狀描述對(duì)象形狀的幾何模型包含了點(diǎn)的位置信息和拓?fù)浣Y(jié)構(gòu)信息，主要由點(diǎn)、線、面等幾何元素組成。例如，使用一些現(xiàn)有的圖形庫(kù)來(lái)表現(xiàn)對(duì)象的幾何外形：大小、方向和位置等對(duì)象外表的真實(shí)感主要取決于其顏色、光照和紋理等。通過(guò)紋理元素的色彩、明暗度和透明度的變化來(lái)表現(xiàn)對(duì)象的表面細(xì)節(jié)，能夠減少多邊形的數(shù)量和增加對(duì)象在場(chǎng)景中的真實(shí)感。目前，投影法和參數(shù)表示法是兩種常用的表面紋理映射方法。表面信息為了保證視景表示和對(duì)象物體在虛擬環(huán)境中運(yùn)動(dòng)的合理性，經(jīng)常需要建立對(duì)象物體的某些物理模型，使得場(chǎng)景中的對(duì)象遵循客觀的物理規(guī)律，從而生成具有一定真實(shí)感和逼真性的三維視景。一般賦予對(duì)象物體的物理特性主要有質(zhì)量、動(dòng)量、沖量、轉(zhuǎn)動(dòng)慣量、光滑度、柔韌性和可塑性等。物理特性與變化屬性幾何模型從數(shù)學(xué)的角度，對(duì)于一個(gè)物體的幾何表示要考慮物體自身的特征，例如：

有界性、封閉性剛性：物體在剛性變換（平移、旋轉(zhuǎn)等）下是否保持不變規(guī)則性：一個(gè)物體中的點(diǎn)或線具有相同的性質(zhì)光滑：……計(jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)中，采用“幾何模型”的概念描述現(xiàn)實(shí)中的物體的幾何形狀，對(duì)物體幾何方面的屬性進(jìn)行了抽象?！皫缀文Ｐ汀笔俏矬w模型的一個(gè)子集。幾何模型的表示方法基本幾何元素包括：點(diǎn)、邊、面、體。主要表示方法線框表示：結(jié)構(gòu)簡(jiǎn)單，用頂點(diǎn)和鄰邊表示形體表面表示：在上述基礎(chǔ)上，增加面，從而可以滿足對(duì)面的操作參數(shù)曲面三角形表示實(shí)體表示點(diǎn)表示……實(shí)體表示又稱為結(jié)構(gòu)立體幾何表示，一般直接用立體基元表示對(duì)象物體，體積表示具有簡(jiǎn)潔、可靠的特性，而且有時(shí)很容易計(jì)算?？臻g占有表示和結(jié)構(gòu)立體幾何表示（CSG）是兩種主要的體積表示方法，其中CSG方法將物體表示為一個(gè)三維體積基元的集合和一個(gè)布爾運(yùn)算集：并、交及差，其體積基元有塊、圓柱體、圓錐體和球等。表面或邊界法以Euler定理為基礎(chǔ)的結(jié)構(gòu)規(guī)則，即如果V是多面體的頂角數(shù)，E是邊緣數(shù)，F(xiàn)是面數(shù)，則V–E+F=2,推廣到非簡(jiǎn)單連接體為V–E+F=2（B–H），其中B是體的個(gè)數(shù)，H是“孔”或“柄”的個(gè)數(shù)。所以在表面或邊界法中，體結(jié)點(diǎn)描述景物結(jié)構(gòu)，面結(jié)點(diǎn)描述表面特征，邊緣結(jié)點(diǎn)提供面，邊緣和頂角間的拓?fù)湫畔?，頂角結(jié)點(diǎn)描述三維頂角的位置等。模型的組織方法（數(shù)據(jù)結(jié)構(gòu)）數(shù)據(jù)結(jié)構(gòu)主要是為了描述拓?fù)潢P(guān)系（即頂點(diǎn)連接關(guān)系、面片連接關(guān)系等）在設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)時(shí)，空間與速度總是一對(duì)矛盾。線形表、樹(shù)、圖都是可以考慮的結(jié)構(gòu)，在具體構(gòu)建時(shí)，可以使用數(shù)組也可以使用指針精心的設(shè)計(jì)這樣的數(shù)據(jù)結(jié)構(gòu)對(duì)于繪制有很大的好處往往高效的算法是以對(duì)存儲(chǔ)空間的占用為代價(jià)的繪制過(guò)程實(shí)際是對(duì)上述數(shù)據(jù)結(jié)構(gòu)的遍歷。關(guān)鍵是如何快速的遍歷，查找挑選出需要顯示的物體，將這些內(nèi)容交給底層進(jìn)行繪制模型的組織方法（數(shù)據(jù)結(jié)構(gòu)）模型的組織方法（數(shù)據(jù)結(jié)構(gòu)）對(duì)于“任意”情況，數(shù)據(jù)結(jié)構(gòu)可能需要存儲(chǔ)額外的信息。例如，如果對(duì)構(gòu)成物體的多邊形的邊數(shù)不加限制，每個(gè)面表必須顯式存儲(chǔ)每個(gè)多邊形邊的數(shù)量，而且涉及到大量的內(nèi)存的申請(qǐng)與釋放對(duì)多邊形的凸凹不加限制，額外計(jì)算量也很大所以，對(duì)多邊形構(gòu)成的物體，往往對(duì)多邊形的類型加以約束，例如采用三角形描述（最簡(jiǎn)單的一種凸多邊形）任意的多邊形可以按照一定的方法劃分為多個(gè)三角形（計(jì)算幾何）[關(guān)鍵是算法的效率問(wèn)題]基于三角面片的模型表示三個(gè)頂點(diǎn)的空間坐標(biāo)用途：空間變換，投影三個(gè)頂點(diǎn)的法向量（或面片的整個(gè)法向量）用途：光照計(jì)算三個(gè)頂點(diǎn)的紋理坐標(biāo)或顏色用途：顯示顏色信息VR中采用的幾何表示方法虛擬現(xiàn)實(shí)領(lǐng)域普遍采用的表示方法是表面多邊形（三角形網(wǎng)格）表示法，即以一組表面多邊形來(lái)存儲(chǔ)物體的描述，用多邊形描述的通常被稱為“標(biāo)準(zhǔn)圖形物體”。由于所有表面以線性方程形式加以描述，大大簡(jiǎn)化并加速了表面的繪制和顯示。也就是說(shuō)，所有的三維模型都將由點(diǎn)、線、面來(lái)構(gòu)造。3.2虛擬現(xiàn)實(shí)幾何建模幾何建模幾何建模形狀建模外觀建模結(jié)構(gòu)建模物理建模剛體建模柔性體建模流體建模行為建模形狀建模要描述虛擬對(duì)象的形狀，最基本的任務(wù)是利用點(diǎn)、線、面等基本幾何元素表征虛擬對(duì)象的外邊界。目前最常用的形狀建模方式可分為顯式表示與隱式表示兩種。其中，顯式表示是指使用點(diǎn)云、網(wǎng)格、體素等表征虛擬對(duì)象外邊界的位置與拓?fù)湫畔?；隱式表示則是指使用曲線曲面等參數(shù)方程、距離場(chǎng)（Distancefield）、水平集（Levelset）等方法描述虛擬對(duì)象的外邊界。外觀建模虛擬對(duì)象的外觀是指區(qū)別于其他虛擬對(duì)象的質(zhì)地特征，如表面反照率、紋理等影響虛擬對(duì)象真實(shí)感的特征。如果不考慮存儲(chǔ)和計(jì)算的開(kāi)銷，通過(guò)增加虛擬對(duì)象形狀多邊形的方法可以表征出十分逼真的表面，但由于VR對(duì)計(jì)算和顯示實(shí)時(shí)性要求高，實(shí)際系統(tǒng)中普遍采用紋理映射(TextureMapping)等技術(shù)刻畫虛擬對(duì)象的外觀。采用紋理映射技術(shù)，一方面可增加細(xì)節(jié)層次以及虛擬對(duì)象的真實(shí)感；二是可減少多邊形的數(shù)量，在不影響實(shí)時(shí)性的同時(shí)，增強(qiáng)了虛擬對(duì)象和場(chǎng)景的真實(shí)效果。結(jié)構(gòu)建模除了要模擬虛擬對(duì)象的形狀和外觀，很多時(shí)候還需描述虛擬對(duì)象的空間結(jié)構(gòu)信息，以體現(xiàn)虛擬對(duì)象內(nèi)部結(jié)構(gòu)或虛擬對(duì)象之間的空間關(guān)系。以虛擬人體為例，可使用骨架結(jié)構(gòu)表示各關(guān)節(jié)間的關(guān)系，并應(yīng)用于人體動(dòng)畫、人體運(yùn)動(dòng)分析、不同人體的匹配等。對(duì)復(fù)雜的工業(yè)裝備來(lái)說(shuō)，可建立各個(gè)組成部分（亦稱部件）的結(jié)構(gòu)關(guān)系，從而對(duì)不同部分進(jìn)行控制，以滿足虛擬裝配、拆裝維護(hù)等要求。幾何建模幾何建模的常用方法程序構(gòu)造——利用函數(shù)、點(diǎn)線面直接采集——三維掃描儀、視覺(jué)建模工具——利用軟件幾何建模幾何建模的常用方法程序構(gòu)造——利用函數(shù)、點(diǎn)線面直接采集——三維掃描儀、視覺(jué)建模工具——利用軟件幾何建模幾何建模的常用方法程序構(gòu)造——利用函數(shù)、點(diǎn)線面直接采集——三維掃描儀、視覺(jué)建模工具——利用軟件幾何建模中涉及的基本概念層次細(xì)節(jié)（LOD）自由度（DOF）實(shí)例透明紋理映射材質(zhì)動(dòng)畫序列層次細(xì)節(jié)技術(shù)(LevelofDetail,LOD)LOD技術(shù)用一組復(fù)雜程度（常常以多邊形數(shù)來(lái)衡量）各不相同的層次模型來(lái)描述對(duì)象，并在運(yùn)行過(guò)程中根據(jù)一些主客觀標(biāo)準(zhǔn)在這些LOD模型進(jìn)行切換，從而能夠?qū)崟r(shí)改變場(chǎng)景的復(fù)雜度。當(dāng)視點(diǎn)變化時(shí)，所選取的細(xì)節(jié)模型可能各不相同，并在模型切換的瞬間產(chǎn)生跳躍的感覺(jué)，此時(shí)就需要使用過(guò)渡算法（比如，瞬時(shí)關(guān)閉技術(shù)和形狀過(guò)渡技術(shù)）來(lái)實(shí)現(xiàn)其中的過(guò)渡。LOD在地形表示中的應(yīng)用

顯示地形最理想的情況是僅僅顯示所需的細(xì)節(jié)，而用戶卻認(rèn)為地形是在以最高的分辨率顯示。因此，那些由許多小平面以最高的分辨率建模的地形，我們希望能夠用較少的較大的小平面不斷地代替，直到整個(gè)地形被降低為在所需范圍內(nèi)的最低表示分辨率。層次結(jié)構(gòu)的四叉樹(shù)表示NPSNET（NavalPostgraduateSchoolNetwork）使用了四叉樹(shù)的存儲(chǔ)策略來(lái)實(shí)現(xiàn)LOD。它采用了一種動(dòng)態(tài)模式，可以動(dòng)態(tài)地調(diào)整分辨率和幀速率，即當(dāng)幀速率降低到某一門限值以下時(shí)，調(diào)整分辨率邊界值，則較多的地形自動(dòng)以相對(duì)低的分辨率顯示；相反地，當(dāng)幀速率超過(guò)某一門限值時(shí)，較多的地形自動(dòng)以相對(duì)高的分辨率顯示。

1km*1km的地形塊地形塊的四叉樹(shù)表逸夫館中某窗戶的LOD模型15-0米時(shí)選用高級(jí)LOD：96個(gè)多邊形的窗子，全部幾何建模35-15米時(shí)選用中級(jí)LOD：34個(gè)多邊形的窗子，部分使用紋理視點(diǎn)距窗子75-35范圍時(shí)選用低級(jí)LOD：2個(gè)多邊形的窗子，全部使用紋理視點(diǎn)在室外時(shí)僅使用逸夫館外觀模型1800個(gè)三角形視點(diǎn)位于某一樓層時(shí)，當(dāng)前樓層中的實(shí)體按距離標(biāo)準(zhǔn)選用LOD模型，其它樓層的大部分實(shí)體暫不繪制室外室內(nèi)某一樓層遠(yuǎn)距離中距離近距離

0個(gè)0個(gè)2個(gè)34個(gè)96個(gè)自由度(DegreeOfFree,DOF）紋理貼圖紋理貼圖是一個(gè)用圖像、函數(shù)或其它數(shù)據(jù)源來(lái)改變表面在每一處的外觀的過(guò)程。例如，我們不必用精確的幾何去表現(xiàn)一塊磚墻，而只需把一幅磚墻的圖像貼到一個(gè)多邊形上。除非觀察者非?？拷鼔?，否則我們并不會(huì)覺(jué)得缺少幾何細(xì)節(jié)（例如發(fā)現(xiàn)磚頭和泥漿在同一表面上）。既節(jié)省了大量的造型工作量，也節(jié)省了內(nèi)存空間，加快了繪制速度?！癆llittakesisfortherenderedimagetolookright”——JimBlinn紋理貼圖可能的缺陷但是，貼了紋理的磚墻還會(huì)出現(xiàn)并非由于缺少幾何細(xì)節(jié)而出現(xiàn)的不真實(shí)的缺陷。但是：磚是發(fā)亮的(shiny),但是泥漿不是。但我們會(huì)發(fā)現(xiàn)磚和泥漿同樣發(fā)亮。為了生成更真實(shí)的效果，我們還需要一張鏡面高光紋理貼圖。但是：磚不是平的，其表面通常是粗糙的。我們還需要凹凸紋理（Bumpmapping）廣義紋理貼圖(GeneralizedTexturing)紋理貼圖可看成是一種有效的改變物體表面屬性的一種方法。顏色、高光、凹凸、反射、透明度等等都可采用紋理貼圖。從貼圖圖像中取出相應(yīng)的值代入光亮度計(jì)算方程。計(jì)算物體空間位置用投影函數(shù)計(jì)算(u,v)用對(duì)應(yīng)函數(shù)找到紋素應(yīng)用值變換函數(shù)改變方程或Fragment值單個(gè)紋理的廣義貼圖流水線采用該復(fù)雜流水線的原因：每一步都可給用戶提供有用的控制磚墻紋理貼圖的流水線——計(jì)算空間位置磚墻紋理貼圖的流水線——投影函數(shù)投影函數(shù)把三維空間點(diǎn)轉(zhuǎn)化為紋理坐標(biāo)。常用的投影函數(shù)：Spherical,Cylindrical,PlanarProjections,參數(shù)曲面的(u,v)映射其它：如根據(jù)表面法向來(lái)確定6個(gè)平面投影方向sphericalcylindricalplanar應(yīng)用應(yīng)用應(yīng)用(u,v)磚墻紋理貼圖的流水線——對(duì)應(yīng)函數(shù)對(duì)應(yīng)函數(shù)把參數(shù)空間的值轉(zhuǎn)化為紋理空間的位置。第一種對(duì)應(yīng)函數(shù):用API選擇一部分紋理（子紋理）進(jìn)行紋理映射。另一種對(duì)應(yīng)函數(shù)：用矩陣變換。由于OpenGL支持4X4矩陣操作，任何API的應(yīng)用層都可采用這類變換，如平移、旋轉(zhuǎn)、比例變換、錯(cuò)切等ImageTexturing在硬件圖形加速卡中，紋理圖像的大小經(jīng)常為2m×2n(或者2m×2m)的紋素，其中m和n為非負(fù)整數(shù)。不同的圖形卡有不同的紋理大小上限。若投影得到的象素?cái)?shù)目比原始紋理大，則需要把紋理圖像放大(magnification)；若投影得到的象素?cái)?shù)目比原始紋理小，則需要把紋理圖像縮小(minification)；OpenGL

mipmapsMipmaps（使用Bi-linear

Interpolation）材質(zhì)（materials）幾何建模的準(zhǔn)則嚴(yán)格按照真實(shí)數(shù)據(jù)建立比例對(duì)應(yīng)的幾何模型一般應(yīng)建立各模型部件的不同層次細(xì)節(jié)，以求得漫游性能與模型質(zhì)量間的均衡效果使用最少的多邊形獲取相同的視覺(jué)效果在建模階段即對(duì)具有運(yùn)動(dòng)特征的模型部件進(jìn)行優(yōu)化的數(shù)據(jù)組織，定義基本運(yùn)動(dòng)參數(shù)幾何建模的常見(jiàn)問(wèn)題過(guò)于注重實(shí)體幾何尺寸、表面特性的構(gòu)建，忽略了更為重要的場(chǎng)景數(shù)據(jù)庫(kù)整體結(jié)構(gòu)的優(yōu)化設(shè)計(jì)。Z值爭(zhēng)奪問(wèn)題T型相交問(wèn)題使用凹多邊形表示實(shí)體表面Z值爭(zhēng)奪問(wèn)題多邊形位置重疊造成的Z值爭(zhēng)奪。即兩個(gè)多邊形在空間位置上具有相同的深度值（Z值），導(dǎo)致圖形系統(tǒng)進(jìn)行場(chǎng)景顯示時(shí)使用Z-BUFFER消隱算法無(wú)法正確判斷哪一個(gè)多邊形應(yīng)該優(yōu)先顯示，引起畫面閃爍。解決此類問(wèn)題的方法有多種，如多邊形剪切、子面設(shè)置等。NNN是否已經(jīng)掃描了所有多邊形是否計(jì)算了此多邊形所有的像素?cái)?shù)YYY幀緩沖區(qū)置成背景色Z緩沖區(qū)置成最小Z值掃描當(dāng)前多邊形把Z(x,y)存入Z緩沖區(qū)中的(x,y)處把多邊形在(x,y)處的亮度值存入緩沖區(qū)中的(x,y)處移到下一個(gè)像素計(jì)算多邊形在該像素的深度值Z(x,y)移到下一個(gè)多邊形Z(x,y)是否大于Z緩沖區(qū)在(x,y)處的值多邊形剪切算法T型多邊形組合T型多邊形組合。此類問(wèn)題常見(jiàn)于由二維CAD電子圖板經(jīng)拉伸操作構(gòu)成的三維模型中。其導(dǎo)致畫面閃爍的原因與Z值爭(zhēng)奪相似。應(yīng)在建模過(guò)程中避免T型多邊形組合的出現(xiàn)。使用凹多邊形表示實(shí)體表面使用凹多邊形表示實(shí)體表面。大多數(shù)圖形系統(tǒng)都明確規(guī)定，不能使用凹多邊形繪制實(shí)體表面。一般地，圖形系統(tǒng)對(duì)實(shí)體表面的凹多邊形進(jìn)行自動(dòng)切分，將一個(gè)凹多邊形分解為多個(gè)凸多邊形。3.3虛擬現(xiàn)實(shí)物理建模物理建模物理建模（Physically-basedModeling，PBM）是虛擬現(xiàn)實(shí)中比較高層次的建模，它有機(jī)融入物理模型，將虛擬對(duì)象的物理屬性加以體現(xiàn)。近年來(lái)，除了靜態(tài)的物理屬性，越來(lái)越多物理學(xué)中動(dòng)態(tài)過(guò)程，如人體運(yùn)動(dòng)解算、流體計(jì)算、燃燒計(jì)算等與VR結(jié)合，在虛擬環(huán)境中實(shí)現(xiàn)了面部表情的模擬、織物的模擬、爆炸的模擬等。根據(jù)虛擬對(duì)象的物理性質(zhì)，可大致分為剛體建模、柔性體建模與流體建模。剛體建模剛體建模適用于僅需考慮位置與方向的改變，而不需要考慮形變的虛擬對(duì)象，建模所涉及的內(nèi)容主要包括剛體的運(yùn)動(dòng)、碰撞檢測(cè)以及連接和約束等問(wèn)題。剛體建?！?jiǎng)傮w的運(yùn)動(dòng)僅包含一個(gè)部件的剛體運(yùn)動(dòng)較為簡(jiǎn)單，可以采用牛頓第二定律等刻畫其運(yùn)動(dòng)參數(shù)及運(yùn)動(dòng)。對(duì)于包含多個(gè)部件的剛體，如人體、手等，相對(duì)較為復(fù)雜。在刻畫多個(gè)部件的剛體運(yùn)動(dòng)時(shí)，以人體運(yùn)動(dòng)為例，可以有關(guān)鍵幀方法、運(yùn)動(dòng)學(xué)方法和動(dòng)力學(xué)方法等。后兩者分別通過(guò)使用運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)方法建立人體運(yùn)動(dòng)的物理模型。與運(yùn)動(dòng)學(xué)方法相比，動(dòng)力學(xué)方法需指定的參數(shù)較少，而且對(duì)復(fù)雜運(yùn)動(dòng)過(guò)程的模擬更為逼真，但計(jì)算量較大，運(yùn)動(dòng)控制的難度較大。剛體建模——碰撞檢測(cè)剛體的碰撞檢測(cè)主要針對(duì)對(duì)剛體運(yùn)動(dòng)中的碰撞進(jìn)行分析，為加速計(jì)算，一般采用樹(shù)結(jié)構(gòu)對(duì)虛擬環(huán)境中的虛擬對(duì)象進(jìn)行組織，通過(guò)空間剖分法或?qū)哟伟鼑蟹ń?shù)結(jié)構(gòu)?？臻g剖分的策略有均勻剖分、BSP樹(shù)、kd樹(shù)和八叉樹(shù)等,適用于分布比較稀疏均勻的幾何對(duì)象間的碰撞檢測(cè)。層次包圍盒法利用形狀簡(jiǎn)單的包圍盒刻畫復(fù)雜的虛擬對(duì)象，包圍盒的結(jié)構(gòu)有層次包圍球樹(shù)、AABB（Aligned-axisBoundingBox）層次樹(shù)、OBB（OrientedBoundingBox）層次樹(shù)等，適用于復(fù)雜環(huán)境中的碰撞檢測(cè)。八叉樹(shù)空間剖分AABB層次樹(shù)剛體建模——連接和約束連接和約束建模鉸鏈類型的虛擬對(duì)象（如門窗、轉(zhuǎn)動(dòng)的機(jī)械臂）在多個(gè)約束情況下的關(guān)聯(lián)運(yùn)動(dòng)問(wèn)題。關(guān)聯(lián)運(yùn)動(dòng)一般可分為前向關(guān)聯(lián)運(yùn)動(dòng)和反向關(guān)聯(lián)運(yùn)動(dòng)，前向關(guān)聯(lián)運(yùn)動(dòng)研究給出關(guān)聯(lián)運(yùn)動(dòng)中每個(gè)關(guān)節(jié)的角度和長(zhǎng)度，求解關(guān)節(jié)末端所能到達(dá)的位置；反向關(guān)聯(lián)運(yùn)動(dòng)研究的是給定某個(gè)位置，確定已知關(guān)節(jié)模型的可達(dá)性。柔性體建模柔性體不同于剛體，在外力的作用下會(huì)產(chǎn)生形變，建模難度更大。柔性體建模主要關(guān)注動(dòng)力學(xué)模型及其迭代求解方法。柔性體建模中常用的動(dòng)力學(xué)模型有連續(xù)體模型、彈簧-質(zhì)點(diǎn)模型等。柔性體建?！B續(xù)體模型連續(xù)體模型使用本構(gòu)模型描述不同材料的物理特性，如彈性力、阻尼力等，再使用有限元方法模擬不同形變下的力或能量。此外，為得到更加理想的物理模擬效果，還可使用力傳感、視覺(jué)傳感器等采集實(shí)際材料的力-形變關(guān)系，更加準(zhǔn)確地描述虛擬對(duì)象的靜態(tài)與動(dòng)態(tài)特性。連續(xù)體模型主要用于虛擬現(xiàn)實(shí)中布料、毛發(fā)、松軟組織、人體器官、肌肉、面部表情的模擬。柔性體建模——彈簧-質(zhì)量模型彈簧-質(zhì)點(diǎn)模型將柔性體表面視為離散的質(zhì)點(diǎn)與連接質(zhì)點(diǎn)的彈簧組成的規(guī)則網(wǎng)格結(jié)構(gòu)。質(zhì)點(diǎn)間通過(guò)彈簧相連，受到彈簧彈力和阻尼力，遵循胡克定律，即當(dāng)實(shí)際長(zhǎng)度大于松弛長(zhǎng)度時(shí)，彈簧將對(duì)兩端的質(zhì)點(diǎn)產(chǎn)生相向的拉力；反之，在外力作用下變形后，有恢復(fù)原樣（松弛狀態(tài)）的傾向。柔性體建?！黧w建模流體建模主要使用計(jì)算流體力學(xué)模型，如使用納維-斯托克斯（Navier-Stokes，NS）方程建模流體的運(yùn)動(dòng)。NS方程常見(jiàn)的迭代求解方法有基于網(wǎng)格的方法和無(wú)網(wǎng)格的方法。基于網(wǎng)格的方法主要使用拉格朗日網(wǎng)格或歐拉網(wǎng)格模擬流體在固定網(wǎng)格單元上的運(yùn)動(dòng)，是目前流體模擬的主要方法。但是，基于網(wǎng)格的方法容易產(chǎn)生網(wǎng)格畸變導(dǎo)致計(jì)算誤差過(guò)大。此外，該方法難以模擬大形變現(xiàn)象，如動(dòng)態(tài)裂紋擴(kuò)展、流固耦合等。無(wú)網(wǎng)格的方法通過(guò)使用一系列任意分布的節(jié)點(diǎn)（或粒子）來(lái)求解具有各種邊界條件的NS方程，節(jié)點(diǎn)或粒子之間不需要網(wǎng)格進(jìn)行連接，因此不僅可以保證計(jì)算的精度，還可降低計(jì)算的難度?；诰W(wǎng)格的流體仿真無(wú)網(wǎng)格（SPH）的流體仿真3.4虛擬現(xiàn)實(shí)行為建模行為建模VR中的行為建模主要研究虛擬環(huán)境中自治對(duì)象建模方法，如游戲中由計(jì)算機(jī)控制的角色，元宇宙中的人工智能生成的智能體等。早期工作中，行為建模的研究主要在軍事仿真領(lǐng)域，如ModSAF、STOW、WARSIM2000等分布式虛擬戰(zhàn)場(chǎng)環(huán)境中的計(jì)算機(jī)生成兵力。隨著VR研究與應(yīng)用的發(fā)展，行為建模已拓展到公共安全、教育、文化娛樂(lè)等眾多領(lǐng)域，如應(yīng)急仿真規(guī)劃系統(tǒng)(EmergencySimulationProgram，ESP）等。近年來(lái)，隨著數(shù)字孿生和元宇宙等的興起，各類VR應(yīng)用對(duì)自治對(duì)象行為的智能水平提出了越來(lái)越高的要求。這一領(lǐng)域?qū)儆谂c人工智能的交叉研究范疇，與生成式人工智能（ArtificialIntelligenceGeneratedContent，AIGC）和應(yīng)用都有密切的關(guān)聯(lián)，雖進(jìn)展緩慢但卻是未來(lái)VR發(fā)展的重要關(guān)注點(diǎn)。行為建模根據(jù)自治對(duì)象的類型，可以將行為建模分為個(gè)體建模與群體建模兩類。其中，群體又有聚合類對(duì)象和自治對(duì)象組織兩類。聚合類對(duì)象包括多個(gè)個(gè)體，但可以使用多種解析度來(lái)表示。例如，既可以將其當(dāng)作整體單一的對(duì)象，也可將其看作多個(gè)個(gè)體。根據(jù)具體的事件對(duì)群體的影響，可以采用不同的解析度。例如，在考察高溫對(duì)人群行為的影響時(shí)，可以將人群看作一個(gè)整體來(lái)建模；但在考察火災(zāi)對(duì)人群行為的影響時(shí)，需要采用高解析度來(lái)建模不同的個(gè)體。聚合體對(duì)象行為建模主要內(nèi)容包括計(jì)算模型、多解析度表現(xiàn)方法，以及聚合、解聚規(guī)則等。行為建模根據(jù)自治對(duì)象的類型，可以將行為建模分為個(gè)體建模與群體建模兩類。其中，群體又有聚合類對(duì)象和自治對(duì)象組織兩類。自治對(duì)象組織的行為建模更加復(fù)雜。自治對(duì)象組織是若干獨(dú)立存在個(gè)體的組織，其中每個(gè)個(gè)體進(jìn)行自主決策，同時(shí)服從組織的控制。因此，自治對(duì)象的行為表現(xiàn)為個(gè)體行為和整體組織行為兩個(gè)層面，不同層面對(duì)行為建模的要求不同。常用行為建模方法有限狀態(tài)自動(dòng)機(jī)自治對(duì)象的簡(jiǎn)單反應(yīng)性行為可以采用有限狀態(tài)自動(dòng)機(jī)進(jìn)行建模。其中，自治對(duì)象每種可能的反應(yīng)動(dòng)作表示為一個(gè)狀態(tài)，發(fā)生的事件控制狀態(tài)間的轉(zhuǎn)換。采用有限狀態(tài)自動(dòng)機(jī)是軍事仿真中常用的行為建模方法。面向?qū)＜蚁到y(tǒng)的建模方法將自治對(duì)象看成一個(gè)近似的專家系統(tǒng)，將其行為建?？醋髦R(shí)的獲取、表示和推理系統(tǒng)建立的過(guò)程，比較適合個(gè)體和群體的建模。對(duì)確定性知識(shí)，采用基于邏輯、規(guī)則、框架的表示，以及相應(yīng)的推理系統(tǒng)；對(duì)不確定性知識(shí)，可采用模糊邏輯、神經(jīng)網(wǎng)絡(luò)、基于范例的推理和貝葉斯方法等。此外，還可使用強(qiáng)化學(xué)習(xí)等方法以提高自治對(duì)象的求解復(fù)雜問(wèn)題的能力。基于專家系統(tǒng)的方法基于Agent的建模方法將人工智能中關(guān)于Agent的研究引入VR中，適用于個(gè)體和群體的行為建模。相較上述方法，基于Agent的建模方法一方面能夠描述個(gè)體對(duì)象的自主性、自治性和智能性等特征，如建模個(gè)體對(duì)象的信念、意圖、愿望等；另一方面Agent之間的通信、協(xié)商、協(xié)作等可以描述自治對(duì)象組織的協(xié)作特性。目前，基于Agent的行為建模已得到越來(lái)越多的應(yīng)用?；贏gent的方法3.5虛擬現(xiàn)實(shí)建模的特點(diǎn)與評(píng)價(jià)指標(biāo)虛擬現(xiàn)實(shí)建模的特點(diǎn)由于要實(shí)時(shí)操控和處理虛擬對(duì)象，虛擬現(xiàn)實(shí)建模方法與傳統(tǒng)計(jì)算機(jī)輔助設(shè)計(jì)中以幾何造型為主的建模有所不同。例如，在計(jì)算機(jī)輔助設(shè)計(jì)中，往往通過(guò)增加模型的幾何復(fù)雜度來(lái)提高建模的準(zhǔn)確度。但在VR中，更傾向于使用紋理、層次細(xì)節(jié)等技術(shù)來(lái)提升虛擬對(duì)象的逼真度。虛擬現(xiàn)實(shí)建模的內(nèi)容相較傳統(tǒng)計(jì)算機(jī)圖形學(xué)中的建模更為豐富，除對(duì)虛擬對(duì)象的外形、表觀、結(jié)構(gòu)等信息進(jìn)行表征外，還建模了虛擬對(duì)象的物理屬性、行為屬性等，從而為用戶提供具有沉浸感的交互體驗(yàn)。虛擬現(xiàn)實(shí)建模的特點(diǎn)差異虛擬現(xiàn)實(shí)建模計(jì)算機(jī)輔助設(shè)計(jì)建模計(jì)算機(jī)圖形學(xué)建模特點(diǎn)具有真實(shí)感、實(shí)時(shí)性和交互性，考慮交互性和實(shí)現(xiàn)意圖；模型細(xì)節(jié)比較少，可以提高實(shí)時(shí)性具有準(zhǔn)確性，較少考慮實(shí)時(shí)性和交互性；模型細(xì)節(jié)較多，可以犧牲實(shí)時(shí)性來(lái)獲得較高的精度具有真實(shí)感，較少考慮實(shí)時(shí)性和交互性；模型細(xì)節(jié)較多，渲染效果可以預(yù)先計(jì)算用戶親身體驗(yàn)虛擬環(huán)境，身臨其境，能夠交互，無(wú)時(shí)限限制，可真實(shí)詳盡地展示能夠交互，不考慮沉浸感能夠交互，較少考慮沉浸感應(yīng)用主要用于仿真，需要對(duì)用戶輸入做出反應(yīng)，如飛行訓(xùn)練、游戲和視景仿真等主要用于工業(yè)制造與仿真計(jì)算，如機(jī)械零件設(shè)計(jì)、芯片電路仿真等主要用于影視、流媒體、電子游戲等，以預(yù)先設(shè)計(jì)好的演示為主虛擬現(xiàn)實(shí)建模評(píng)價(jià)指標(biāo)真實(shí)感真實(shí)感是度量虛擬對(duì)象感知精確程度的指標(biāo)，包括但不限于視覺(jué)真實(shí)感、觸覺(jué)真實(shí)感等；實(shí)時(shí)性虛擬現(xiàn)實(shí)應(yīng)用要求虛擬對(duì)象或場(chǎng)景的顯示幀率不低于某一閾值，否則會(huì)影響用戶的視覺(jué)感知質(zhì)量；交互延遲虛擬現(xiàn)實(shí)應(yīng)用對(duì)交互延遲有高的要求。響應(yīng)時(shí)間太長(zhǎng)會(huì)大大影響用戶的體驗(yàn)；易用性虛擬現(xiàn)實(shí)應(yīng)用對(duì)交互延遲有高的要求。響應(yīng)時(shí)間太長(zhǎng)會(huì)大大影響用戶的體驗(yàn)；……3.6幾何建模例——點(diǎn)云化簡(jiǎn)點(diǎn)云化簡(jiǎn)點(diǎn)云的質(zhì)量取決于采樣密度，然而較大的采樣密度往往導(dǎo)致虛擬對(duì)象的幾何復(fù)雜度上升，不利于存儲(chǔ)與處理。特別對(duì)于存儲(chǔ)與計(jì)算資源有限的設(shè)備，如移動(dòng)終端，大規(guī)模點(diǎn)云往往導(dǎo)致較高的交互延遲，降低了用戶的視覺(jué)體驗(yàn)。因此，需要引入點(diǎn)云的化簡(jiǎn)技術(shù)對(duì)其進(jìn)行優(yōu)化?，F(xiàn)有點(diǎn)云化簡(jiǎn)算法迭代法迭代法是指不斷的從點(diǎn)云中去掉按某種標(biāo)準(zhǔn)計(jì)算的貢獻(xiàn)值或誤差值最小的點(diǎn)，直到誤差或貢獻(xiàn)值達(dá)到閾值為止，從而得到一個(gè)子集作為簡(jiǎn)化結(jié)果。該方法類似于漸近網(wǎng)格的簡(jiǎn)化方法。這類方法較為簡(jiǎn)單高效，但是不能保證全局采樣點(diǎn)的均勻分布。聚類法是指把輸入點(diǎn)集按照一定規(guī)則進(jìn)行聚類，劃分成一些小的子集，這些小的子集不能超過(guò)給定的上限范圍，如直徑的大小等。如采用基于采樣點(diǎn)層次結(jié)構(gòu)的聚類簡(jiǎn)化方法，該方法通過(guò)空間二分將點(diǎn)集遞歸地進(jìn)行劃分聚類。也有方法通過(guò)PCA找到關(guān)鍵點(diǎn)，然后進(jìn)行聚類，從而得到保持幾何特征的簡(jiǎn)化結(jié)果。這類方法簡(jiǎn)單且快速，但是誤差較大，且因?yàn)闆](méi)有優(yōu)化策略，所以結(jié)果通常會(huì)包含很多多余的點(diǎn)。聚類法粒子仿真法是指通過(guò)施加點(diǎn)的斥力使點(diǎn)的分布均勻化的方法。該方法首先在表面隨機(jī)分布需要的粒子數(shù)，然后通過(guò)點(diǎn)的斥力移動(dòng)粒子的位置直到達(dá)到平衡。該類方法能較好地控制采樣密度，但是由于收斂速度較慢，處理大規(guī)模數(shù)據(jù)時(shí)效率較低。粒子仿真法上述三類方法在簡(jiǎn)化過(guò)程中，將點(diǎn)云中的點(diǎn)看成單純幾何意義上的點(diǎn)，且不能預(yù)先指定逼近誤差，因此簡(jiǎn)化效果往往不能準(zhǔn)確表示虛擬對(duì)象的結(jié)構(gòu)，并且難以收斂?；赟plats的點(diǎn)云簡(jiǎn)化方法在簡(jiǎn)化過(guò)程中考慮到點(diǎn)云的繪制圖元的幾何空間影響，并能用預(yù)先指定的全局誤差進(jìn)行控制，得到了較好的簡(jiǎn)化效果。以常見(jiàn)的點(diǎn)的繪制圖元splat為例，首先在指定全局誤差下，生成每個(gè)采樣點(diǎn)的最大splat；然后采用貪心算法選擇能覆蓋整個(gè)表面的最小子集；最后通過(guò)全局優(yōu)化算法使所有的splat均勻分布?；诶L制圖元的方法相較上述三類方法能夠取到較好的簡(jiǎn)化結(jié)果，但是計(jì)算復(fù)雜，時(shí)間開(kāi)銷較大。改進(jìn)的算法思想基于MLS和splat的點(diǎn)云化簡(jiǎn)方法的核心思想是使用MLS投影算子計(jì)算splat的中心點(diǎn)，使得splat與其覆蓋范圍內(nèi)的原始點(diǎn)云采樣的點(diǎn)的子集之間的誤差和最小。由此得到一個(gè)代表鄰域的誤差最小的splat。通過(guò)上述方法獲得的所有splat的中心點(diǎn)的集合，就是一個(gè)化簡(jiǎn)后的點(diǎn)云。整個(gè)算法包括兩個(gè)步驟：首先，為每個(gè)原始點(diǎn)云的采樣點(diǎn)創(chuàng)建對(duì)應(yīng)的splat集；其次，通過(guò)貪心算法選擇一組能夠覆蓋整個(gè)模型且數(shù)量最小的splat集合。選擇標(biāo)準(zhǔn)是循環(huán)選取覆蓋點(diǎn)數(shù)增值最大的splat，直到選擇的splat集合能夠覆蓋所有的輸入采樣點(diǎn)集。算法實(shí)現(xiàn)創(chuàng)建splat集合MLS投影計(jì)算splat中心點(diǎn)Splat覆蓋區(qū)域Splat最小集選擇算法算法實(shí)現(xiàn)MLS投影計(jì)算splat中心點(diǎn)MLS是根據(jù)鄰域點(diǎn)進(jìn)行局部多項(xiàng)式逼近的方法，MLS投影表示將點(diǎn)投影到MLS逼近的表面上。對(duì)輸入點(diǎn)進(jìn)行MLS投影可以得到代表鄰域的誤差最小的點(diǎn)，將其作為splat中心點(diǎn)，可以得到誤差最小的代表鄰域的splat面，從而得到分布更加合理的splats集。算法實(shí)現(xiàn)MLS投影計(jì)算splat中心點(diǎn)

接下來(lái)，使用協(xié)方差分析來(lái)評(píng)估法線，其原理主要基于主成分分析。首先根據(jù)待求點(diǎn)??及其鄰域點(diǎn)計(jì)算其協(xié)方差矩陣??，如下所示：

協(xié)方差矩陣表示了點(diǎn)鄰域內(nèi)采樣點(diǎn)的分布情況，對(duì)其進(jìn)行特征值分析可以評(píng)估其局部表面的屬性。

算法實(shí)現(xiàn)splats覆蓋區(qū)域獲得splat的法線和中心點(diǎn)之后，需要知道每個(gè)splat的覆蓋面積，這取決于預(yù)先指定的全局最大誤差閾值。用splat來(lái)代表其覆蓋的鄰域范圍，則鄰域點(diǎn)中某點(diǎn)的誤差即點(diǎn)到splat在法線方向上的距離算法實(shí)現(xiàn)splats覆蓋區(qū)域

算法實(shí)現(xiàn)splats最小集選擇選擇算法的目的是獲取能覆蓋整個(gè)表面的最小splats集。具體地，通過(guò)貪心算法不斷地選取覆蓋點(diǎn)數(shù)增值最大的splat，直到選擇的splat子集能夠覆蓋所有的輸入采樣點(diǎn)。

算法實(shí)現(xiàn)splats最小集選擇算法

實(shí)驗(yàn)結(jié)果首先，使用少量的點(diǎn)驗(yàn)證MLS投影的效果，實(shí)驗(yàn)結(jié)果如圖所示。其中，綠色點(diǎn)表示點(diǎn)（藍(lán)色點(diǎn)）的最近20個(gè)鄰域點(diǎn)，（紅色點(diǎn)）是點(diǎn)的MLS投影點(diǎn)。

可看出，MLS投影點(diǎn)比點(diǎn)更適合用來(lái)代表的鄰域。實(shí)驗(yàn)結(jié)果接著，在不同幾何復(fù)雜度的點(diǎn)云上進(jìn)行了化簡(jiǎn)實(shí)驗(yàn)，化簡(jiǎn)結(jié)果如表所示?？梢钥闯觯惴梢杂行У鼗?jiǎn)模型，且計(jì)算時(shí)間較短。模型輸入點(diǎn)數(shù)

簡(jiǎn)化后的點(diǎn)數(shù)簡(jiǎn)化時(shí)間(s)bunny35,9450.2477180.1864130.051,559110.023,150100.014,6166santa75,7810.1638760.022,52540horse100,0