虛擬現(xiàn)實(shí)系統(tǒng)

虛擬現(xiàn)實(shí)授課教師：?jiǎn)挝唬?主要內(nèi)容虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成立體視覺的生成與獲取虛擬現(xiàn)實(shí)交互設(shè)備虛擬現(xiàn)實(shí)系統(tǒng)的分類增強(qiáng)現(xiàn)實(shí)技術(shù)主要內(nèi)容虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成立體視覺的生成與獲取虛擬現(xiàn)實(shí)交互設(shè)備虛擬現(xiàn)實(shí)系統(tǒng)的分類增強(qiáng)現(xiàn)實(shí)技術(shù)34虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成虛擬現(xiàn)實(shí)技術(shù)綜合圖形、圖像、聲音、手勢(shì)、語(yǔ)音等要素，試圖給計(jì)算機(jī)使用者創(chuàng)造一種全新的感官體驗(yàn)，使其具有置身于真實(shí)世界的感覺“虛擬環(huán)境是使人們具有沉浸感的由計(jì)算機(jī)生成的、交互的、三維的環(huán)境”

---AukstakalnisSandBlatnerD.5虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成主要特點(diǎn)沉浸感如同置身于真實(shí)環(huán)境中：三維、立體、多通道高交互性可采取現(xiàn)實(shí)生活中習(xí)以為常的方式來(lái)操縱虛擬環(huán)境中的物體實(shí)時(shí)性依視點(diǎn)位置和視線方向?qū)崟r(shí)地改變畫面，并實(shí)時(shí)產(chǎn)生聽覺、觸覺/力覺響應(yīng)6虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成典型虛擬現(xiàn)實(shí)系統(tǒng)的組成計(jì)算機(jī)系統(tǒng)用戶虛擬環(huán)境人機(jī)界面

7虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成基于HMD的虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成

主要內(nèi)容虛擬現(xiàn)實(shí)系統(tǒng)的特點(diǎn)及組成立體視覺的生成與獲取虛擬現(xiàn)實(shí)交互設(shè)備虛擬現(xiàn)實(shí)系統(tǒng)的分類增強(qiáng)現(xiàn)實(shí)技術(shù)89立體視覺的生成與獲取產(chǎn)生沉浸感的至關(guān)重要的因素立體圖像與觀察者視點(diǎn)和視線方向一致實(shí)時(shí)生成人類立體視覺的產(chǎn)生立體圖像生成的照相機(jī)模型對(duì)稱透視投影成像相機(jī)模型位置方向10立體視覺的生成與獲取立體圖圖像生生成的的照相相機(jī)模模型對(duì)稱透透視投投影成成像相相機(jī)模模型（cont.)寬高比比視角11立體視視覺的的生成成與獲獲取12立體視視覺的的生成成與獲獲取立體圖圖像生生成的的照相相機(jī)模模型對(duì)稱透透視投投影成成像相相機(jī)模模型（cont.)近裁剪剪平面面距離離與遠(yuǎn)遠(yuǎn)裁剪剪平面面距離離13立體視視覺的的生成成與獲獲取立體圖圖像生生成的的照相相機(jī)模模型對(duì)稱透透視投投影成成像相相機(jī)模模型（cont.)焦距14立體視視覺的的生成成與獲獲取立體圖圖像生生成的的照相相機(jī)模模型對(duì)稱透透視投投影成成像相相機(jī)模模型（cont.)左右眼眼視差差（Parallax）為生成成立體體圖像像，計(jì)計(jì)算機(jī)機(jī)必須須針對(duì)對(duì)同一一場(chǎng)景景生成成兩幅幅不同同的圖圖像分別按按照觀觀察者者左、、右眼眼的位位置實(shí)實(shí)時(shí)繪繪制15立體視視覺的的生成成與獲獲取立體視視覺的的捕獲獲必須借借助于于一定定的觀觀察設(shè)設(shè)備，，使計(jì)計(jì)算機(jī)機(jī)生成成的左左、右右眼圖圖像分分別為為觀察察者的的左、、右眼眼所接接收常用的的立體體視覺覺設(shè)備備HMD立體眼眼鏡主要內(nèi)內(nèi)容虛擬現(xiàn)現(xiàn)實(shí)系系統(tǒng)的的特點(diǎn)點(diǎn)及組組成立體視視覺的的生成成與獲獲取虛擬現(xiàn)現(xiàn)實(shí)交交互設(shè)設(shè)備虛擬現(xiàn)現(xiàn)實(shí)系系統(tǒng)的的分類類增強(qiáng)現(xiàn)現(xiàn)實(shí)技技術(shù)1617虛擬現(xiàn)現(xiàn)實(shí)交交互設(shè)設(shè)備WIMP交互范范式已已不再再適用用Windows，Icons，Menus，Pointingdevices用戶將將通過(guò)過(guò)一系系列新新的交交互手手段，，與虛虛擬世世界中中的物物體進(jìn)進(jìn)行直直接的的、三三維的的交互互三維鼠鼠標(biāo)WAND數(shù)據(jù)手手套麥克風(fēng)風(fēng)…18虛擬現(xiàn)現(xiàn)實(shí)交交互設(shè)設(shè)備三維定定位跟跟蹤設(shè)設(shè)備用于跟跟蹤用用戶當(dāng)當(dāng)前方方位的的傳感感器大多數(shù)數(shù)具有有6自由度度（6-DOF）位置和和方向向各3自由度度佩戴于于用戶戶身體體的某某些部部位可可對(duì)相相應(yīng)部部位進(jìn)進(jìn)行跟跟蹤一般采采用電電磁技技術(shù)、、超聲聲技術(shù)術(shù)、光光學(xué)技技術(shù)，，也有有基于于慣性性的和和純機(jī)機(jī)械方方式的的19虛擬現(xiàn)現(xiàn)實(shí)交交互設(shè)設(shè)備三維定定位跟跟蹤設(shè)設(shè)備電磁式式跟蹤蹤器示示例20虛擬現(xiàn)現(xiàn)實(shí)交交互設(shè)設(shè)備三維定定位跟跟蹤設(shè)設(shè)備Logitech超聲三維鼠鼠標(biāo)21虛擬現(xiàn)實(shí)交交互設(shè)備三維定位跟跟蹤設(shè)備光學(xué)跟蹤器器22虛擬現(xiàn)實(shí)交交互設(shè)備手持式交互互設(shè)備Wand/Wanda美國(guó)Illonis大學(xué)EVL實(shí)驗(yàn)室開發(fā)發(fā)主要用于CAVE、ImmersaDesk等虛擬環(huán)境境中類似于三維維鼠標(biāo)，上上有三個(gè)按按鍵和一個(gè)個(gè)操縱桿（（Joystick）23虛擬現(xiàn)實(shí)交交互設(shè)備手持式交互互設(shè)備WiiRemote任天堂游戲主機(jī)Wii的主要控制器外形及按鈕鈕操作與電電視遙控器器類似可握持在手手中，特別別適合于指指向、揮動(dòng)動(dòng)等操作24虛擬現(xiàn)實(shí)交交互設(shè)備數(shù)據(jù)手套附有傳感器器，分布在在手掌和手手指的關(guān)節(jié)節(jié)處，以獲獲取用戶手手形的準(zhǔn)確確信息傳感有電磁磁式、機(jī)械械式或光學(xué)學(xué)式傳感器捕獲獲的數(shù)據(jù)被被轉(zhuǎn)換成關(guān)關(guān)節(jié)角度數(shù)數(shù)據(jù)，用于于控制虛擬擬手的運(yùn)動(dòng)動(dòng)25虛擬現(xiàn)實(shí)交交互設(shè)備數(shù)據(jù)手套傳傳感器的典典型配置22-dof26虛擬現(xiàn)實(shí)交交互設(shè)備27虛擬現(xiàn)實(shí)交交互設(shè)備28虛擬現(xiàn)實(shí)交交互設(shè)備29虛擬現(xiàn)實(shí)交交互設(shè)備30虛擬現(xiàn)實(shí)交交互設(shè)備交互設(shè)備的的軟件支持持硬件接口標(biāo)準(zhǔn)的串行行設(shè)備接口口（即RS-232）并行口其它接口（（如USB或無(wú)線通訊訊接口）軟件接口幾乎每一種種設(shè)備均未未采用標(biāo)準(zhǔn)準(zhǔn)的軟件接接口使用各自獨(dú)獨(dú)有的接口口控制協(xié)議議或命令指指令集31虛擬現(xiàn)實(shí)交交互設(shè)備交互設(shè)備的的軟件支持持軟件供應(yīng)商商必須為每每一硬件供供應(yīng)商的輸輸入設(shè)備單單獨(dú)設(shè)計(jì)應(yīng)應(yīng)用接口驅(qū)驅(qū)動(dòng)程序虛擬現(xiàn)實(shí)軟軟件間的區(qū)區(qū)別（就交交互設(shè)備而而言）所能支持的的輸入設(shè)備備的多少設(shè)備與各自自系統(tǒng)的集集成方式是否有能力力進(jìn)行擴(kuò)充充以支持新新的交互設(shè)設(shè)備主要內(nèi)容虛擬現(xiàn)實(shí)系系統(tǒng)的特點(diǎn)點(diǎn)及組成立體視覺的的生成與獲獲取虛擬現(xiàn)實(shí)交交互設(shè)備虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)系系統(tǒng)統(tǒng)的的分分類類增強(qiáng)強(qiáng)現(xiàn)現(xiàn)實(shí)實(shí)技技術(shù)術(shù)32VR系統(tǒng)統(tǒng)的的主主要要不不同同之之處處在在于于系系統(tǒng)統(tǒng)與與用用戶戶之之間間界界面面基于于系系統(tǒng)統(tǒng)與與用用戶戶界界面面劃劃分分桌面面型型VR系統(tǒng)統(tǒng)頭盔盔型型VR系統(tǒng)統(tǒng)基于于投投影影顯顯示示的的VR系統(tǒng)統(tǒng)遙在在系系統(tǒng)統(tǒng)…33虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)系系統(tǒng)統(tǒng)的的分分類類34桌面面型型虛虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)系系統(tǒng)統(tǒng)采用用計(jì)計(jì)算算機(jī)機(jī)屏屏幕幕作作為為立立體體顯顯示示載載體體輔以以一一定定的的聲聲音音輸輸出出設(shè)設(shè)備備、、三三維維交交互互設(shè)設(shè)備備和和立立體體眼眼鏡鏡等等傳統(tǒng)統(tǒng)計(jì)計(jì)算算機(jī)機(jī)圖圖形形學(xué)學(xué)的的自自然然擴(kuò)擴(kuò)展展具有有好好的的性性價(jià)價(jià)比比，，但但沉沉浸浸感感略略差差35基于于HMD的虛虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)系系統(tǒng)統(tǒng)利用用HMD等設(shè)設(shè)備備把把用用戶戶的的視視覺覺、、聽聽覺覺對(duì)對(duì)外外界界封封閉閉起起來(lái)來(lái)用戶戶完完全全投投入入到到虛虛擬擬環(huán)環(huán)境境中中能提提供供好好的的沉沉浸浸感感阻斷斷了了人人與與人人間間的的交交流流36基于于投投影影顯顯示示的的虛虛擬擬現(xiàn)現(xiàn)實(shí)實(shí)系系統(tǒng)統(tǒng)利用用大大規(guī)規(guī)模模投投影影顯顯示示設(shè)設(shè)備備讓讓用用戶戶完完全全或或部部分分融融入入虛虛擬擬環(huán)環(huán)境境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench37基于投影顯示示的虛擬現(xiàn)實(shí)實(shí)系統(tǒng)CAVE美國(guó)Illonis大學(xué)EVL實(shí)驗(yàn)室首創(chuàng)由3～6個(gè)投影屏幕組組成正方體形形狀計(jì)算機(jī)系統(tǒng)產(chǎn)產(chǎn)生立體圖像像，經(jīng)投影儀儀分別投射到到對(duì)應(yīng)的屏幕幕上用戶戴著立體體眼鏡站于CAVE的內(nèi)部立體眼鏡上附附有6-DOF跟蹤設(shè)備對(duì)用用戶頭部運(yùn)動(dòng)動(dòng)進(jìn)行實(shí)時(shí)跟跟蹤聲音系統(tǒng)38基于投影顯示示的虛擬現(xiàn)實(shí)實(shí)系統(tǒng)CAVE示意圖39基于投影顯示示的虛擬現(xiàn)實(shí)實(shí)系統(tǒng)CAVE示例40基于投影顯示示的虛擬現(xiàn)實(shí)實(shí)系統(tǒng)VirtualWorkbenchTM衛(wèi)星虛擬裝配配41遙在系統(tǒng)將現(xiàn)實(shí)世界中中遠(yuǎn)程場(chǎng)景與與操作人員的的感官直接連連通，讓用戶戶感覺就像親親臨現(xiàn)場(chǎng)一樣樣利用計(jì)算機(jī)圖圖形、人機(jī)交交互、傳感器器、網(wǎng)絡(luò)等技技術(shù)遠(yuǎn)程傳感器可可安裝在機(jī)器器人身上機(jī)器人身上有有小型攝像系系統(tǒng)需感知用戶位位置、動(dòng)作、、語(yǔ)音等，將將其傳送到遠(yuǎn)遠(yuǎn)程操控遠(yuǎn)程程對(duì)象用戶與遠(yuǎn)程對(duì)對(duì)象進(jìn)行信息息雙向交流42遙在系統(tǒng)示例：Cisco遠(yuǎn)程電話會(huì)議議系統(tǒng)主要內(nèi)容虛擬現(xiàn)實(shí)系統(tǒng)統(tǒng)的特點(diǎn)及組組成立體視覺的生生成與獲取虛擬現(xiàn)實(shí)交互互設(shè)備虛擬現(xiàn)實(shí)系統(tǒng)統(tǒng)的分類增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)4344增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)將計(jì)算機(jī)生成成的圖形與用用戶在真實(shí)物物理世界獲取取的視覺信息息組合在一起起使用戶產(chǎn)生全全新的體驗(yàn)，，提高對(duì)現(xiàn)實(shí)實(shí)世界中的事事物和物理現(xiàn)現(xiàn)象的洞察力力終極目標(biāo)：用用戶感覺不到到現(xiàn)實(shí)世界中中的真實(shí)物體體與用于增強(qiáng)強(qiáng)視覺信息的的虛擬物體之之間的差別45增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)Milgrim的現(xiàn)實(shí)--虛擬連續(xù)流46增強(qiáng)現(xiàn)實(shí)系統(tǒng)統(tǒng)系統(tǒng)組成47增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)顯示技術(shù)基于光學(xué)視透透式HMD的增強(qiáng)現(xiàn)實(shí)顯顯示原理48增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)顯示技術(shù)基于屏幕的增增強(qiáng)現(xiàn)實(shí)顯示示原理49增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)顯示技術(shù)基于視頻視透透式HMD的增強(qiáng)現(xiàn)實(shí)顯顯示原理50增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)配準(zhǔn)（registration）問題將位于不同坐坐標(biāo)系中的物物體統(tǒng)一到一一個(gè)共同的坐坐標(biāo)系中AR系統(tǒng)涉及多個(gè)個(gè)空間，每個(gè)個(gè)空間都有各各自不同的坐坐標(biāo)系配準(zhǔn)是實(shí)現(xiàn)虛虛擬景物圖像像和真實(shí)世界界圖像之間正正確融合的前前提配準(zhǔn)錯(cuò)誤將導(dǎo)導(dǎo)致用戶的注注意力分散，，甚至無(wú)法工工作51增強(qiáng)現(xiàn)實(shí)技術(shù)術(shù)配準(zhǔn)困難的原原因需對(duì)人和攝像像機(jī)的運(yùn)動(dòng)進(jìn)進(jìn)行實(shí)時(shí)跟蹤蹤