虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)

1、會(huì)計(jì)學(xué)1虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)技術(shù)的體系結(jié)構(gòu)和關(guān)鍵技術(shù)q體系結(jié)構(gòu)體系結(jié)構(gòu)輸入處理器渲染處理器用戶模擬處理器虛擬世界數(shù)據(jù)庫q模擬處理器模擬處理器 VR的核心程序的核心程序處理處理: 控制交互、對(duì)象動(dòng)作和決定虛擬世界的控制交互、對(duì)象動(dòng)作和決定虛擬世界的狀態(tài)。狀態(tài)。q渲染處理渲染處理感覺傳輸?shù)接脩舾杏X傳輸?shù)接脩粢曈X視覺聽覺聽覺觸覺（觸摸觸覺（觸摸/力）力）實(shí)時(shí)圖像生成實(shí)時(shí)圖像生成SGI 圖形工作站圖形工作站q虛擬世界數(shù)據(jù)庫虛擬世界數(shù)據(jù)庫設(shè)計(jì)的主體部分設(shè)計(jì)的主體部分隸屬虛擬世界的對(duì)象信息隸屬虛擬世界的對(duì)象信息描述動(dòng)作的腳本描述動(dòng)作的腳本用戶信息用戶信息燈光效果燈光效果程序控制程序控制

2、硬件設(shè)備支持硬件設(shè)備支持OOD技術(shù)技術(shù)q虛擬現(xiàn)實(shí)建模語言虛擬現(xiàn)實(shí)建模語言(VRML) Virtual Reality Modeling LanguageVRML 是在因特網(wǎng)上建立虛擬現(xiàn)實(shí)的開是在因特網(wǎng)上建立虛擬現(xiàn)實(shí)的開放標(biāo)準(zhǔn)放標(biāo)準(zhǔn)qA VRML cylinder#VRML V2.0 utf8 # A Cylinder Shape appearance Appearance material Material geometry Cylinder height 2.0 radius 1.5 Cylinder.wrl系統(tǒng)活動(dòng)形式感受單元器官模擬 器官行為剌激物外部信息方向感姿勢(shì)及方向調(diào)整機(jī)械及重力感

3、受器前庭器官 身體平衡重力及加速度 重力或加速度方向聽覺聽機(jī)械感受器耳蝸器官 聲音定位空氣振動(dòng)振動(dòng)方向及性質(zhì)觸覺觸摸機(jī)械、熱量及動(dòng)覺感受器皮膚、關(guān)節(jié)、肌肉及腱各種探查活動(dòng)組織變形、關(guān)節(jié)配合及肌肉纖維緊張物體表面粘性及冷熱等各種狀態(tài)味覺嘗化學(xué)及機(jī)械感受器嘴品嘗物體化學(xué)性質(zhì) 營養(yǎng)及生化價(jià)值嗅覺嗅化學(xué)感受器鼻以鼻吸氣氣體化學(xué)性質(zhì) 氣味性質(zhì)視覺看光學(xué)感受器眼睛凝視、掃描等活動(dòng)光大小、形狀、紋理及運(yùn)動(dòng)等J.J.Gibson總結(jié)的總結(jié)的感知系統(tǒng)系統(tǒng)目的應(yīng)用相關(guān)系統(tǒng)調(diào)整姿勢(shì)適應(yīng)重力及加速度維持身體平衡前庭器官定向通過部分身體運(yùn)動(dòng)獲得外部剌激考察或感覺各種信息所有相關(guān)感覺走動(dòng)通過身體運(yùn)動(dòng)進(jìn)入其它環(huán)境從一個(gè)位置

4、走到另一個(gè)位置定向及調(diào)整姿勢(shì)飲食通過部分身體運(yùn)動(dòng)獲取或給予吸收或排除品嘗、吸收及其它身體功能行動(dòng)有利于個(gè)人的行為操作、自我保護(hù)等走動(dòng)及相關(guān)行為表達(dá)用于表達(dá)、表明或識(shí)別姿勢(shì)、面部或語言表達(dá) 語言表達(dá)、聆聽及面部表情語義用信號(hào)通知或表達(dá)語言表達(dá)基于信號(hào)的相關(guān)系統(tǒng)行為系統(tǒng) 行為 感知 參與者 行為系統(tǒng) 感知系統(tǒng) 外界環(huán)境 http:/www.reflex.lth.se/reflex/whatisVR/1992年Bryson主計(jì)算機(jī)數(shù)據(jù)手套（傳感器）（信號(hào)源）BOOM雙筒全方位監(jiān)視器多感知系統(tǒng)技術(shù)框圖多感知系統(tǒng)技術(shù)框圖http:/www.ipo.tue.nl/homepages/mrauterb/pr

5、esentations/HCI-history/sld068.htme光線跟蹤技術(shù)(ray tracing)I = Ic + ts Is + tt It其中：I ： 可見點(diǎn) P 處的光亮度。Ic： 局部光照亮度ts Is：環(huán)境鏡面反射光亮度tt It： 規(guī)則透射光亮度UCourtesy Stanford 3D Scanning Repository69,451 polys2,502 polys251 polys76 polysFrom: David Luebke (University of Virginia)/gfx/Courses/2004

6、/RealTime/lecture06.LOD1.pptqDistant objects use coarser LODs:From: David Luebke (University of Virginia)/gfx/Courses/2004/RealTime/lecture06.LOD1.ppt映射紋理前的場(chǎng)景映射紋理后的場(chǎng)景單目視域雙目重疊視域單目視域基本原理：基本原理：人的視覺系統(tǒng)可以通過四種線索得到深度知覺人的視覺系統(tǒng)可以通過四種線索得到深度知覺:n 側(cè)視網(wǎng)膜圖象差側(cè)視網(wǎng)膜圖象差(lateral retinal image dispa

7、rity);n 運(yùn)動(dòng)視差運(yùn)動(dòng)視差(motion parallax);n 圖象大小差異圖象大小差異(differential image size);n 紋理梯度紋理梯度(texture gradient)。目前的立體顯示技術(shù)基本上是基于雙目視差原理實(shí)現(xiàn)的。目前的立體顯示技術(shù)基本上是基于雙目視差原理實(shí)現(xiàn)的。影響（沉浸感）立體影響（沉浸感）立體 視覺因素視覺因素 寬視野（）寬視野（） 立體顯示立體顯示 彩色彩色 高分辨率高分辨率 頭部跟蹤頭部跟蹤主要視覺設(shè)備：主要視覺設(shè)備：紅藍(lán)濾色眼鏡紅藍(lán)濾色眼鏡液晶開關(guān)的立體視眼鏡液晶開關(guān)的立體視眼鏡三維頭盔顯示器（三維頭盔顯示器（HMDHMD）雙筒全方位監(jiān)視器

8、（雙筒全方位監(jiān)視器（BOOMBOOM）墻式顯示屏自動(dòng)聲象虛擬環(huán)境（墻式顯示屏自動(dòng)聲象虛擬環(huán)境（CAVECAVE）q頭 盔 式 顯 示 器 （頭 盔 式 顯 示 器 （ H e a d M o u n t e d Display ，HMD)頭頭盔盔RGB-NTSCRBG-NTSC計(jì)計(jì)算算機(jī)機(jī)系系統(tǒng)統(tǒng)掃掃描描轉(zhuǎn)轉(zhuǎn)換換器器左左眼眼計(jì)計(jì)算算右右眼眼計(jì)計(jì)算算雙雙路路VR系系統(tǒng)統(tǒng) 圖圖形形硬硬件件圖圖形形硬硬件件HMD 實(shí)物與原理圖眼睛顯示器鏡窺視孔合成器外部世界頭盔實(shí)現(xiàn)方法1校正透鏡陰極射線管連接的光導(dǎo)纖維束校正透鏡合成器帶有光導(dǎo)纖維的HMD的原理q美國美國icuiti公司公司q分辨率：分辨率：VGA（

9、640 X 480）q價(jià)格價(jià)格69800日?qǐng)A（約合人民幣日?qǐng)A（約合人民幣5235元）元）q距離眼睛距離眼睛1 cm，畫面相當(dāng)于，畫面相當(dāng)于2 米外米外42 英寸英寸屏幕屏幕q厚度厚度2 cm，重量，重量70 gq支持連接支持連接DVD播放器、桌面電腦等播放器、桌面電腦等q電源使用電源使用3節(jié)節(jié)AA電池，可以連續(xù)播放電池，可以連續(xù)播放5小時(shí)小時(shí)左右。左右。 Video Eyewear 眼鏡式顯示器http:/ qBinocular Omni Orientation Monitor (BOOM)/pape/CAVE/http:/www.ipo.tue.nl

10、/homepages/mrauterb/presentations/HCI-history/sld076.htmIllustration of the Spherical Projection System the Fully Immersive Spherical Projection System http:/www.vr-systems.ndtilda.co.uk/sphere1.htm/pape/CAVE/idesk/paper//technology/idesk//pa

11、pe/CAVE/idesk/paper/http:/www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm聽覺聽覺 3D &Stereo聲源定位：強(qiáng)度（高頻）和時(shí)差（聲源定位：強(qiáng)度（高頻）和時(shí)差（低頻）低頻）問題：聲音從頭里發(fā)出，隨強(qiáng)度差問題：聲音從頭里發(fā)出，隨強(qiáng)度差而偏左或偏右而偏左或偏右原因：與耳朵形狀有關(guān)原因：與耳朵形狀有關(guān)解決：解決：Convolvotron($15,000) 耳內(nèi)錄音耳內(nèi)錄音 + 計(jì)算計(jì)算q觸覺（觸覺（Haptic)Haptic: 機(jī)械感受器（壓力與紋理）機(jī)械感受器（壓力與紋理）與本體感受器與本體感受器(p

12、roprioceptor)（重（重量、形狀、大?。┝?、形狀、大?。C(jī)械臂，空氣囊，記憶金屬，小馬機(jī)械臂，空氣囊，記憶金屬，小馬達(dá)，小探針達(dá)，小探針第二代TeletactII裝有更高分辨率的指尖空氣室，其余部分的空氣室更大，并提供手掌反饋系統(tǒng)。很大的手掌空氣室允許用戶使勁握物體，然后接收刺激。TeletactII與TeletactI使用相似，只是空氣室由20增加到30個(gè)。在中指尖、食指尖和拇指區(qū)域空氣室密度較大，空氣室也被放在手的背部，以產(chǎn)生手接觸物體的感覺。手掌空氣室側(cè)空氣室遠(yuǎn)程觸覺空氣室筆式力量感知器筆式力量感知器http:/ SensAble Technologies http:/ Imm

13、ersion Corporation q數(shù)據(jù)手套數(shù)據(jù)手套qDHM手勢(shì)傳感裝置原理圖手勢(shì)傳感裝置原理圖q身體跟蹤身體跟蹤位置的跟蹤（位置位置的跟蹤（位置+方向）方向）及角及角度的度量（指關(guān)節(jié)、光纖）度的度量（指關(guān)節(jié)、光纖）眼動(dòng)跟蹤眼動(dòng)跟蹤q位置跟蹤技術(shù)：位置跟蹤技術(shù)：正交電磁場(chǎng)正交電磁場(chǎng) Polhemus trackers超聲波信號(hào)超聲波信號(hào) Logitec. Mattel Power Glove機(jī)械連接機(jī)械連接 Fake Space Labs視頻信號(hào)處理視頻信號(hào)處理 Myron KruegerLED視頻傳感視頻傳感UNC at Chapel Hill慣性跟蹤（加速度）慣性跟蹤（加速度）Spac

14、eballqPowerGlove示意圖示意圖q三維鼠標(biāo)器示意圖三維鼠標(biāo)器示意圖記錄點(diǎn)記錄點(diǎn)的坐標(biāo)的坐標(biāo)轉(zhuǎn)換成轉(zhuǎn)換成旋轉(zhuǎn)角旋轉(zhuǎn)角驅(qū)動(dòng)虛驅(qū)動(dòng)虛擬角色擬角色運(yùn)動(dòng)重運(yùn)動(dòng)重定向定向http:/www.reflex.lth.se/reflex/whatisVR/http:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm系統(tǒng)活動(dòng)形式感受單元器官模擬 器官行為剌激物外部信息方向感姿勢(shì)及方向調(diào)整機(jī)械及重力感受器前庭器官 身體平衡重力及加速度 重力或加速度方向聽覺聽機(jī)械感受器耳蝸器官 聲音定位空氣振動(dòng)振動(dòng)方向及性質(zhì)觸覺觸

15、摸機(jī)械、熱量及動(dòng)覺感受器皮膚、關(guān)節(jié)、肌肉及腱各種探查活動(dòng)組織變形、關(guān)節(jié)配合及肌肉纖維緊張物體表面粘性及冷熱等各種狀態(tài)味覺嘗化學(xué)及機(jī)械感受器嘴品嘗物體化學(xué)性質(zhì) 營養(yǎng)及生化價(jià)值嗅覺嗅化學(xué)感受器鼻以鼻吸氣氣體化學(xué)性質(zhì) 氣味性質(zhì)視覺看光學(xué)感受器眼睛凝視、掃描等活動(dòng)光大小、形狀、紋理及運(yùn)動(dòng)等J.J.Gibson總結(jié)的總結(jié)的感知系統(tǒng)系統(tǒng)目的應(yīng)用相關(guān)系統(tǒng)調(diào)整姿勢(shì)適應(yīng)重力及加速度維持身體平衡前庭器官定向通過部分身體運(yùn)動(dòng)獲得外部剌激考察或感覺各種信息所有相關(guān)感覺走動(dòng)通過身體運(yùn)動(dòng)進(jìn)入其它環(huán)境從一個(gè)位置走到另一個(gè)位置定向及調(diào)整姿勢(shì)飲食通過部分身體運(yùn)動(dòng)獲取或給予吸收或排除品嘗、吸收及其它身體功能行動(dòng)有利于個(gè)人的行為操

16、作、自我保護(hù)等走動(dòng)及相關(guān)行為表達(dá)用于表達(dá)、表明或識(shí)別姿勢(shì)、面部或語言表達(dá) 語言表達(dá)、聆聽及面部表情語義用信號(hào)通知或表達(dá)語言表達(dá)基于信號(hào)的相關(guān)系統(tǒng)行為系統(tǒng) 行為 感知 參與者 行為系統(tǒng) 感知系統(tǒng) 外界環(huán)境 虛擬環(huán)境實(shí)物虛化人虛物實(shí)化王兆其，虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究，博士學(xué)位論文，北京航空航天大學(xué)，1999.6. 反饋虛擬環(huán)境真實(shí)環(huán)境操作實(shí)物虛化人虛物實(shí)化實(shí)物虛化虛物實(shí)化王兆其虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究博士論文，北京航空航天大學(xué)，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 虛擬環(huán)境實(shí)物虛化人虛物實(shí)化實(shí)物虛化虛物實(shí)化人王兆其虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究博士論文，北京航空航天大學(xué)，1999.6. 計(jì)算機(jī) 實(shí)物虛化 人 虛物實(shí)化 計(jì)算機(jī) 虛物實(shí)化 實(shí)物虛化 計(jì)算機(jī)網(wǎng)絡(luò) 人 分布式虛擬環(huán)境 王兆其虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究博士論文，北京航空航天大學(xué)，1999.6. 計(jì)算機(jī) 實(shí)物虛化 人 虛物實(shí)化 計(jì)算機(jī)或機(jī)器人 虛物實(shí)化 實(shí)物虛化 計(jì)算機(jī)網(wǎng)絡(luò) 虛擬環(huán)境 真實(shí)世界 王兆其虛擬環(huán)境中物體運(yùn)動(dòng)逼真性的研究博士論文，北京航空航天大學(xué)，1999.6.q渲染處理渲染處理感