虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)

1、虛擬現(xiàn)實(shí)技術(shù)簡(jiǎn)介授課教師：侯守明2 2主要內(nèi)容l虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成l立體視覺(jué)的生成與獲取l虛擬現(xiàn)實(shí)交互設(shè)備l虛擬現(xiàn)實(shí)系統(tǒng)的分類l增強(qiáng)現(xiàn)實(shí)技術(shù)3 3虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成l虛擬現(xiàn)實(shí)技術(shù)綜合圖形、圖像、聲音、手勢(shì)、語(yǔ)音等要素，試圖給計(jì)算機(jī)使用者創(chuàng)造一種全新的感官體驗(yàn)，使其具有置身于真實(shí)世界的感覺(jué)l“虛擬環(huán)境是使人們具有沉浸感的由計(jì)算機(jī)生成的、交互的、三維的環(huán)境” - Aukstakalnis S and Blatner D.4 4虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成l主要特點(diǎn)l沉浸感如同置身于真實(shí)環(huán)境中：三維、立體、多通道l高交互性可采取現(xiàn)實(shí)生活中習(xí)以為常的方式來(lái)操縱虛擬環(huán)境中的物體l實(shí)時(shí)性依視點(diǎn)位置

2、和視線方向?qū)崟r(shí)地改變畫面，并實(shí)時(shí)產(chǎn)生聽(tīng)覺(jué)、觸覺(jué)/力覺(jué)響應(yīng)5 5虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成l典型虛擬現(xiàn)實(shí)系統(tǒng)的組成l計(jì)算機(jī)系統(tǒng)l用戶l虛擬環(huán)境人機(jī)界面 6 6虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成l基于HMD的虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成 7 7立體視覺(jué)的生成與獲取l產(chǎn)生沉浸感的至關(guān)重要的因素l立體圖像與觀察者視點(diǎn)和視線方向一致l實(shí)時(shí)生成l人類立體視覺(jué)的產(chǎn)生 l立體圖像生成的照相機(jī)模型l對(duì)稱透視投影成像相機(jī)模型位置方向8 8立體視覺(jué)的生成與獲取l立體圖像生成的照相機(jī)模型l對(duì)稱透視投影成像相機(jī)模型 （cont.)寬高比視角9 9立體視覺(jué)的生成與獲取1010立體視覺(jué)的生成與獲取l立體圖像生成的照相機(jī)模型l對(duì)稱透視投影成像相機(jī)

3、模型 （cont.)近裁剪平面距離與遠(yuǎn)裁剪平面距離1111立體視覺(jué)的生成與獲取l立體圖像生成的照相機(jī)模型l對(duì)稱透視投影成像相機(jī)模型 （cont.)焦距1212立體視覺(jué)的生成與獲取l立體圖像生成的照相機(jī)模型l對(duì)稱透視投影成像相機(jī)模型 （cont.)左右眼視差（Parallax）l為生成立體圖像，計(jì)算機(jī)必須針對(duì)同一場(chǎng)景生成兩幅不同的圖像l分別按照觀察者左、右眼的位置實(shí)時(shí)繪制 右眼視圖 視線方向 視差 左眼視圖 1313立體視覺(jué)的生成與獲取l立體視覺(jué)的捕獲l必須借助于一定的觀察設(shè)備，使計(jì)算機(jī)生成的左、右眼圖像分別為觀察者的左、右眼所接收l(shuí)常用的立體視覺(jué)設(shè)備HMD立體眼鏡 1414虛擬現(xiàn)實(shí)交互設(shè)備lW

4、IMP交互范式已不再適用lWindows，Icons，Menus，Pointing devicesl用戶將通過(guò)一系列新的交互手段，與虛擬世界中的物體進(jìn)行直接的、三維的交互l三維鼠標(biāo)lWANDl數(shù)據(jù)手套l麥克風(fēng)l1515虛擬現(xiàn)實(shí)交互設(shè)備l三維定位跟蹤設(shè)備l用于跟蹤用戶當(dāng)前方位的傳感器l大多數(shù)具有6自由度（6-DOF）位置和方向各3自由度l佩戴于用戶身體的某些部位可對(duì)相應(yīng)部位進(jìn)行跟蹤l一般采用電磁技術(shù)、超聲技術(shù)、光學(xué)技術(shù)，也有基于慣性的和純機(jī)械方式的1616虛擬現(xiàn)實(shí)交互設(shè)備l三維定位跟蹤設(shè)備l電磁式跟蹤器示例 1717虛擬現(xiàn)實(shí)交互設(shè)備l三維定位跟蹤設(shè)備lLogitech超聲三維鼠標(biāo) 1818虛擬現(xiàn)

5、實(shí)交互設(shè)備l三維定位跟蹤設(shè)備l光學(xué)跟蹤器 跟蹤器 紅外攝像機(jī) LED 被跟蹤物 用作標(biāo)記的小球 1919虛擬現(xiàn)實(shí)交互設(shè)備l手持式交互設(shè)備lWand/Wanda美國(guó)Illonis大學(xué)EVL實(shí)驗(yàn)室開發(fā)主要用于CAVE、ImmersaDesk等虛擬環(huán)境中類似于三維鼠標(biāo)，上有三個(gè)按鍵和一個(gè)操縱桿（Joystick）2020虛擬現(xiàn)實(shí)交互設(shè)備l手持式交互設(shè)備lWii Remote任天堂游戲主機(jī)Wii的主要控制器外形及按鈕操作與電視遙控器類似可握持在手中，特別適合于指向、揮動(dòng)等操作 2121虛擬現(xiàn)實(shí)交互設(shè)備l數(shù)據(jù)手套l附有傳感器，分布在手掌和手指的關(guān)節(jié)處，以獲取用戶手形的準(zhǔn)確信息l傳感有電磁式、機(jī)械式或光學(xué)

6、式l傳感器捕獲的數(shù)據(jù)被轉(zhuǎn)換成關(guān)節(jié)角度數(shù)據(jù)，用于控制虛擬手的運(yùn)動(dòng)2222虛擬現(xiàn)實(shí)交互設(shè)備l數(shù)據(jù)手套傳感器的典型配置 22-dof2323虛擬現(xiàn)實(shí)交互設(shè)備l數(shù)據(jù)手套示例lImmersion數(shù)據(jù)手套產(chǎn)品lhttp:/ (a) (b) (c) (d) (e) 2424虛擬現(xiàn)實(shí)交互設(shè)備l數(shù)據(jù)手套示例lPinchGlove數(shù)據(jù)手套lhttp:/2525虛擬現(xiàn)實(shí)交互設(shè)備l數(shù)據(jù)手套示例l5DT數(shù)據(jù)手套lhttp:/ 3636基于投影顯示的虛擬現(xiàn)實(shí)系統(tǒng)lVirtual WorkbenchTM 衛(wèi)星虛擬裝配衛(wèi)星虛擬裝配3737遙在系統(tǒng)l將現(xiàn)實(shí)世界中遠(yuǎn)程場(chǎng)景與操作人員的感官直接連通，讓用戶感覺(jué)就像親臨現(xiàn)場(chǎng)一樣l利用

7、計(jì)算機(jī)圖形、人機(jī)交互、傳感器、網(wǎng)絡(luò)等技術(shù)l遠(yuǎn)程傳感器可安裝在機(jī)器人身上l機(jī)器人身上有小型攝像系統(tǒng)l需感知用戶位置、動(dòng)作、語(yǔ)音等，將其傳送到遠(yuǎn)程操控遠(yuǎn)程對(duì)象l用戶與遠(yuǎn)程對(duì)象進(jìn)行信息雙向交流 3838遙在系統(tǒng)l示例： Cisco遠(yuǎn)程電話會(huì)議系統(tǒng) http:/ 混合現(xiàn)實(shí) (Mixed Reality, MR) 現(xiàn)實(shí)環(huán)境 (Real Environment) 增強(qiáng)現(xiàn)實(shí) (Augmented Reailty, AR) 增強(qiáng)虛擬 (Augmented Virtuality, AV) 虛擬環(huán)境 (Virtual Environment) 4141增強(qiáng)現(xiàn)實(shí)系統(tǒng)l系統(tǒng)組成4242增強(qiáng)現(xiàn)實(shí)技術(shù)l顯示技術(shù)l基于光學(xué)

8、視透式HMD的增強(qiáng)現(xiàn)實(shí)顯示原理 圖形系統(tǒng) 頭部位置 虛擬物體 HMD 監(jiān)視器 真實(shí)世界 光學(xué)合成 眼睛 4343增強(qiáng)現(xiàn)實(shí)技術(shù)l顯示技術(shù)l基于屏幕的增強(qiáng)現(xiàn)實(shí)顯示原理 圖形系統(tǒng) 視頻合成 真實(shí) 世界 真實(shí)場(chǎng)景 視頻 相機(jī)位置 虛擬物體 增強(qiáng)的視頻 顯示 4444增強(qiáng)現(xiàn)實(shí)技術(shù)l顯示技術(shù)l基于視頻視透式HMD的增強(qiáng)現(xiàn)實(shí)顯示原理 圖形系統(tǒng) 真實(shí) 世界 頭部位置 真實(shí)場(chǎng)景視頻 眼睛 監(jiān)視器 虛擬物體 視頻合成 HMD 相機(jī) 4545增強(qiáng)現(xiàn)實(shí)技術(shù)l配準(zhǔn)（registration）問(wèn)題l將位于不同坐標(biāo)系中的物體統(tǒng)一到一個(gè)共同的坐標(biāo)系中AR系統(tǒng)涉及多個(gè)空間，每個(gè)空間都有各自不同的坐標(biāo)系l配準(zhǔn)是實(shí)現(xiàn)虛擬景物圖像和真實(shí)世界圖像之間正確融合的前提l配準(zhǔn)錯(cuò)誤將導(dǎo)致用戶的注意力分散，甚至無(wú)法工作4646增強(qiáng)現(xiàn)實(shí)技術(shù)l配準(zhǔn)困難的原因l需對(duì)人和攝像機(jī)的運(yùn)動(dòng)進(jìn)行實(shí)時(shí)跟蹤運(yùn)動(dòng)跟蹤可借助跟蹤設(shè)備來(lái)完成，但如何校正這些運(yùn)動(dòng)數(shù)據(jù)以消除噪聲?l系統(tǒng)所采用的顯示方式?jīng)Q定了虛擬景物圖像配準(zhǔn)到真實(shí)場(chǎng)景圖