虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)跟蹤技術(shù)課件

1、一、概述二、三自由度地磁定姿系統(tǒng)三、六自由度電磁跟蹤系統(tǒng) 四、手指彎曲測(cè)量系統(tǒng) 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)六、總結(jié)目錄一、概述虛擬現(xiàn)實(shí)系統(tǒng) 虛擬現(xiàn)實(shí)是“一種利用計(jì)算機(jī)圖形技術(shù)創(chuàng)建的真實(shí)世界的仿真環(huán)境，而且這一由計(jì)算機(jī)合成的世界不是靜態(tài)的，是依用戶(hù)輸入而變化的，用戶(hù)的輸入方式可以包括手勢(shì)、命令語(yǔ)言等”。 一、概述增強(qiáng)現(xiàn)實(shí)系統(tǒng) 增強(qiáng)現(xiàn)實(shí)技術(shù)是虛擬現(xiàn)實(shí)技術(shù)發(fā)展的一個(gè)重要分支，借助光電顯示技術(shù)、交互技術(shù)、計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通過(guò)傳感技術(shù)將虛擬對(duì)象準(zhǔn)確“放置”在真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一體。一、概述虛擬現(xiàn)實(shí)系統(tǒng)的特征 虛擬現(xiàn)實(shí)系統(tǒng)是一種由

2、計(jì)算機(jī)和電子技術(shù)創(chuàng)造的具有浸沒(méi)感的高級(jí)人機(jī)界面，用戶(hù)能夠通過(guò)各種傳感設(shè)備使用人的各種自然技能對(duì)虛擬世界中的物體進(jìn)行考察或操作。浸沒(méi)感 參與者有身臨其境的真實(shí)感覺(jué)。 交互性 可以通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)中的交互接口設(shè)備以自然交互方式與虛擬現(xiàn)實(shí)環(huán)境進(jìn)行交互操作。 一、概述虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成 虛 擬 環(huán) 境 生 成 器立體聲音響合成及定位語(yǔ)音合成圖象合成語(yǔ)音識(shí)別頭眼身體跟蹤姿態(tài)語(yǔ)言識(shí)別運(yùn)動(dòng)學(xué)頭 盔 顯 示 設(shè) 備多傳感器組力反饋裝置一、概述虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用 虛擬現(xiàn)實(shí)系統(tǒng)能夠提供一種與以往所有的傳統(tǒng)技術(shù)不同的觀點(diǎn)-第一人稱(chēng)觀點(diǎn)，用戶(hù)將會(huì)沉浸在計(jì)算機(jī)生成的虛擬環(huán)境中去，而且還可以與其中的物體進(jìn)行交互。在虛擬環(huán)

3、境中，操作者可以利用天生的空間感來(lái)理解所看到的事物，計(jì)劃所要做的事情，主要應(yīng)用領(lǐng)域?yàn)? 軍事模擬訓(xùn)練 制造和設(shè)計(jì) 醫(yī)學(xué) 科學(xué)計(jì)算可視化 娛樂(lè)業(yè) 一、概述增強(qiáng)現(xiàn)實(shí)系統(tǒng)特征 增強(qiáng)現(xiàn)實(shí)系統(tǒng)把計(jì)算機(jī)生成的虛擬物體、文字和圖形等信息重疊顯示在用戶(hù)所看到的真實(shí)物體之上，頭盔顯示器和方位跟蹤器是必不可少的外設(shè)，其頭盔顯示器是透視式的。 一、概述增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)系統(tǒng)的區(qū)別 所使用的顯示設(shè)備不同 虛擬現(xiàn)實(shí)系統(tǒng)使用浸沒(méi)式頭盔顯示器或立體投影設(shè)備，增強(qiáng)現(xiàn)實(shí)系統(tǒng)使用透視式顯示設(shè)備。 跟蹤注冊(cè)涵義和精度要求不同。 虛擬現(xiàn)實(shí)系統(tǒng)中注冊(cè)指呈現(xiàn)給用戶(hù)的虛擬環(huán)境與用戶(hù)的各種感官匹配。增強(qiáng)現(xiàn)實(shí)系統(tǒng)中注冊(cè)指將計(jì)算機(jī)產(chǎn)生的虛擬物體

4、與用戶(hù)周?chē)恼鎸?shí)環(huán)境全方位對(duì)準(zhǔn)。 對(duì)虛擬環(huán)境的生成能力的要求不同 增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以緩解虛擬現(xiàn)實(shí)系統(tǒng)建立逼真的虛擬環(huán)境時(shí)對(duì)系統(tǒng)計(jì)算能力的苛刻要求。一、概述增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)用 增強(qiáng)現(xiàn)實(shí)系統(tǒng)并非以虛擬世界代替真實(shí)世界，而是利用附加信息去增強(qiáng)使用者對(duì)真實(shí)世界的感官認(rèn)識(shí)。由于真實(shí)環(huán)境的存在能夠使用戶(hù)對(duì)周?chē)h(huán)境的感知更具真實(shí)感，其主要應(yīng)用領(lǐng)域?yàn)椋?醫(yī)療研究 裝配、維修與教育培訓(xùn)娛樂(lè)及室內(nèi)裝飾設(shè)計(jì) 軍事應(yīng)用 視頻轉(zhuǎn)播 一、概述虛擬現(xiàn)實(shí)系統(tǒng)的國(guó)外進(jìn)展美國(guó)從六十年代即開(kāi)始著手進(jìn)行虛擬現(xiàn)實(shí)的研究工作，并且一直受到美國(guó)國(guó)防部的重視。英國(guó)正在利用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行高級(jí)戰(zhàn)斗機(jī)座艙設(shè)計(jì)。歐洲航天局已制定了一項(xiàng)“人在虛擬現(xiàn)實(shí)空

5、間”的研究計(jì)劃。澳大利亞國(guó)防軍開(kāi)始實(shí)施代號(hào)為“溫杜拉工程”的十年計(jì)劃以訓(xùn)練未來(lái)的士兵，該計(jì)劃的核心就是利用虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行軍事訓(xùn)練。虛擬現(xiàn)實(shí)游戲和加強(qiáng)人機(jī)接口能力是日本在虛擬現(xiàn)實(shí)方面的兩個(gè)主要研究方向，尤其在游戲方面占有重要的市場(chǎng)地位。一、概述人機(jī)交互商用裝置 -三自由度、六自由度跟蹤器 一、概述人機(jī)交互商用裝置 -手指彎曲測(cè)量系統(tǒng) 一、概述虛擬現(xiàn)實(shí)系統(tǒng)國(guó)內(nèi)研究現(xiàn)狀 清華大學(xué)計(jì)算機(jī)系智能技術(shù)與系統(tǒng)實(shí)驗(yàn)室在臨界場(chǎng)感技術(shù)等領(lǐng)域進(jìn)行了卓有成效的研究。北京科技大學(xué)虛擬現(xiàn)實(shí)實(shí)驗(yàn)室開(kāi)發(fā)出了純交互式汽車(chē)模擬駕駛培訓(xùn)系統(tǒng)。北京航空航天大學(xué)虛擬現(xiàn)實(shí)與多媒體研究室已經(jīng)在DVENET上開(kāi)發(fā)了直升機(jī)虛擬仿真器、坦克虛

6、擬仿真器、虛擬戰(zhàn)場(chǎng)環(huán)境觀察器、計(jì)算機(jī)兵力生成器?？哲姷诙娇諏W(xué)院研制了我國(guó)第一套自行研制并接近實(shí)用化的VR系統(tǒng)。浙江大學(xué)開(kāi)發(fā)了數(shù)字故宮、數(shù)字敦煌等虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)。 一、概述二、三自由度地磁定姿系統(tǒng)三、六自由度電磁跟蹤系統(tǒng) 四、手指彎曲測(cè)量系統(tǒng) 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)六、總結(jié)目錄二、三自由度地磁定姿系統(tǒng)概述 在虛擬現(xiàn)實(shí)系統(tǒng)中頭盔顯示器給用戶(hù)提供一種沉浸在虛擬環(huán)境中的浸沒(méi)感，計(jì)算機(jī)必須連續(xù)地獲得用戶(hù)頭部的精確姿態(tài)信息并實(shí)時(shí)地調(diào)整顯示的圖像，實(shí)現(xiàn)姿態(tài)測(cè)量的裝置為三自由度定姿系統(tǒng)。 看到底部看到前部看到頂部二、三自由度地磁定姿系統(tǒng)概述 在地面上標(biāo)定方向的基準(zhǔn)是地球自轉(zhuǎn)軸，基于感受地球自轉(zhuǎn)角速度

7、的定向儀表如陀螺羅經(jīng)、陀螺經(jīng)緯儀、指北陀螺系統(tǒng)和速率陀螺等，不僅技術(shù)復(fù)雜、造價(jià)昂貴、維護(hù)困難和體積龐大，而且啟動(dòng)時(shí)間長(zhǎng)。 地球自身固有的可做方位基準(zhǔn)的矢量除了地球自轉(zhuǎn)角速度矢量以外，只有地磁場(chǎng)強(qiáng)度。研制了一種采用加速度計(jì)、磁阻傳感器和單片機(jī)的數(shù)字地磁定姿系統(tǒng)及其定姿算法，通過(guò)測(cè)量地球的重力場(chǎng)及磁場(chǎng)來(lái)計(jì)算運(yùn)動(dòng)物體的三自由度姿態(tài)數(shù)據(jù)。由于采用全固態(tài)傳感器，該套系統(tǒng)具有精度高、性能穩(wěn)定、體積小、價(jià)格低廉、功耗低的特點(diǎn)。 二、三自由度地磁定姿系統(tǒng)地磁定姿原理 地磁場(chǎng)的強(qiáng)度大約為0.5Gauss，其水平分量與地球表面平行，指向地磁北極。 二、三自由度地磁定姿系統(tǒng)地磁定姿原理 目前通過(guò)羅盤(pán)確定姿態(tài)的方法均

8、為首先確定地磁場(chǎng)的水平分量HX和HY，根據(jù)HX和HY的測(cè)量值確定與地磁北極的夾角，然后在計(jì)算結(jié)果中加入地磁偏角來(lái)找到真北。 二、三自由度地磁定姿系統(tǒng)姿態(tài)角測(cè)量算法 在剛體動(dòng)力學(xué)中運(yùn)動(dòng)物體的姿態(tài)(即運(yùn)動(dòng)物體在參考空間中的方位)通過(guò)與運(yùn)動(dòng)物體相固結(jié)的運(yùn)動(dòng)參考坐標(biāo)系和定參考坐標(biāo)系之間的夾角表示。OYCY1YXX1X2(XC)Z(Z1)Z2ZC二、三自由度地磁定姿系統(tǒng)姿態(tài)角測(cè)量算法 運(yùn)動(dòng)物體處于水平狀態(tài)下姿態(tài)角的測(cè)量算法 運(yùn)動(dòng)物體處于傾斜狀態(tài)下姿態(tài)角的測(cè)量算法 二、三自由度地磁定姿系統(tǒng)環(huán)境磁場(chǎng)的影響及補(bǔ)償算法 由于定姿系統(tǒng)是通過(guò)測(cè)量地磁場(chǎng)的三軸分量來(lái)確定被跟蹤物體的姿態(tài)的，因此被跟蹤物體附近的永磁體或

9、及帶電導(dǎo)線所產(chǎn)生的環(huán)境磁場(chǎng)將影響系統(tǒng)的測(cè)量精度。 XYOXYOO(Hx0,Hy0)c(x3,y1)a(x1,y1)d(x2,y3)b(x2,y2)a1a2二、三自由度地磁定姿系統(tǒng)磁傳感器概述 磁傳感器是一種將磁場(chǎng)或磁感應(yīng)強(qiáng)度等物理量轉(zhuǎn)換成電信號(hào)的磁電轉(zhuǎn)換元器件或裝置，大部分磁傳感器是基于固體材料的磁電效應(yīng)的傳感器，其中主要是半導(dǎo)體材料。 二、三自由度地磁定姿系統(tǒng)磁阻傳感器信號(hào)處理電路-信號(hào)放大與濾波 二、三自由度地磁定姿系統(tǒng)磁阻傳感器信號(hào)處理電路-置位/復(fù)位電路 二、三自由度地磁定姿系統(tǒng)加速度傳感器概述 壓電式加速度傳感器 具有很寬的頻率響應(yīng)范圍，適用于高頻范圍的振動(dòng)測(cè)量和沖擊測(cè)量。 壓阻式加

10、速度傳感器 能測(cè)量頻率低到零的加速度信號(hào)，輸出阻抗很低，內(nèi)在噪聲小，但響應(yīng)速度較慢。 變電容式加速度傳感器 具有穩(wěn)態(tài)響應(yīng)、高靈敏度、低輸出阻抗、高線性度、抗過(guò)載能力高、體積小、重量輕、響應(yīng)快等不可多得的優(yōu)點(diǎn)。 二、三自由度地磁定姿系統(tǒng)ADXL202加速度傳感器 二、三自由度地磁定姿系統(tǒng)PIC16F877單片機(jī) 高性能精簡(jiǎn)指令集RISC CPU；一共只有35條單字指令，除了程序分支是雙周期指令外，其它所有的指令都是單周期指令；工作速度高，高達(dá)20MHz時(shí)鐘輸入和200ns指令周期；高達(dá)8K字(14位字長(zhǎng))的FLASH程序存儲(chǔ)器；高達(dá)368字節(jié)的數(shù)據(jù)存儲(chǔ)器(RAM)和高達(dá)256字節(jié)的EEPROM數(shù)

11、據(jù)存儲(chǔ)器；中斷能力強(qiáng)，多達(dá)14個(gè)內(nèi)部/外部中斷源，8級(jí)硬件堆棧；直接，間接和相對(duì)尋址方式；高速，低功耗CMOS FLASH/EEPROM技術(shù)，僅通過(guò)兩個(gè)引腳即可實(shí)現(xiàn)程序在線串行編程ICSP，編程只需要5V電壓；寬范圍的工作電壓：2.05.5V，功耗低二、三自由度地磁定姿系統(tǒng)實(shí)際定姿系統(tǒng) 數(shù)字定姿系統(tǒng)三自由度轉(zhuǎn)臺(tái)二、三自由度地磁定姿系統(tǒng) 定姿系統(tǒng)標(biāo)定方法 繞三個(gè)坐標(biāo)軸的旋轉(zhuǎn)方向上分別找出加速度計(jì)輸出的最大值MAXGi及最小值MINGi和磁阻傳感器數(shù)據(jù)輸出的最大值MAXHi及最小值MINHi。 (2-22)(2-23)(2-24) 二、三自由度地磁定姿系統(tǒng)頭部姿態(tài)變化跟蹤 二、三自由度地磁定姿系統(tǒng)

12、定姿系統(tǒng)誤差分析 Hmin=0.8G/2048 =0.39mG A/D轉(zhuǎn)換誤差 磁阻傳感器誤差 在磁阻傳感器的性能參數(shù)中，影響測(cè)量精度的因素除最小可測(cè)磁場(chǎng)之外，還包括傳感器的噪聲、線性度和重復(fù)性等，總的影響為0.14度。 環(huán)境溫度變化的影響 傳感器的溫度系數(shù)影響航向角的測(cè)量精度，溫度影響主要包括零偏的溫漂和靈敏度的溫漂。為了克服溫度漂移的影響，在環(huán)境溫度變化較大的應(yīng)用場(chǎng)合我們采用了置位/復(fù)位技術(shù)。 二、三自由度地磁定姿系統(tǒng)定姿系統(tǒng)誤差分析 地磁偏角的影響地磁偏角的數(shù)值與地理位置有關(guān)，最大可能達(dá)到25度。 傾斜角測(cè)量誤差的影響 傾斜角對(duì)航向測(cè)量誤差的影響與定姿系統(tǒng)所處的地理位置有關(guān)。二、三自由度

13、地磁定姿系統(tǒng)定姿系統(tǒng)誤差分析 一、概述二、三自由度地磁定姿系統(tǒng)三、六自由度電磁跟蹤系統(tǒng) 四、手指彎曲測(cè)量系統(tǒng) 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)六、總結(jié)目錄三、六自由度電磁跟蹤系統(tǒng)概述 在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，除了運(yùn)動(dòng)物體的三自由度姿態(tài)信息之外，在很多情況下還需要跟蹤運(yùn)動(dòng)物體的空間方位信息。能夠同時(shí)跟蹤位置和姿態(tài)的跟蹤器被稱(chēng)為六自由度跟蹤器。在三維空間內(nèi)一個(gè)物體的空間位置由笛卡爾坐標(biāo)(即X、Y、Z坐標(biāo)值)來(lái)確定。姿態(tài)由另外三個(gè)參數(shù)俯仰角、橫滾角及航向角來(lái)確定，因此用于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)系統(tǒng)的方位跟蹤器至少需要獲得6個(gè)自由度信息，即三個(gè)平移自由度和三個(gè)旋轉(zhuǎn)自由度。 三、六自由度電磁跟蹤系統(tǒng)六自由度

14、跟蹤器分類(lèi) 電磁式跟蹤系統(tǒng) 根據(jù)磁發(fā)射信號(hào)和磁感應(yīng)信號(hào)之間的耦合關(guān)系確定被測(cè)對(duì)象的方位。環(huán)境中的金屬物體、電子設(shè)備、CRT及環(huán)境磁場(chǎng)會(huì)對(duì)接收裝置造成干擾。 光學(xué)式跟蹤系統(tǒng) 采用攝像裝置或光敏器件接收具有一定幾何分布的光源所發(fā)出的光，通過(guò)接收的圖像及光源和傳感器的空間位置來(lái)計(jì)算運(yùn)動(dòng)物體的6自由度信息。在近距離內(nèi)非常精確且不受磁場(chǎng)和聲場(chǎng)的干擾，但要求光源與探測(cè)器可視，跟蹤的角度范圍有限并且現(xiàn)場(chǎng)其它光源會(huì)造成影響。 機(jī)械式跟蹤系統(tǒng) 是一種絕對(duì)位置傳感器，通過(guò)機(jī)械關(guān)節(jié)的物理連接來(lái)測(cè)量運(yùn)動(dòng)物體的位置及方向。機(jī)械裝置笨重、操作不便且易對(duì)操作者產(chǎn)生干擾，跟蹤范圍有限。 三、六自由度電磁跟蹤系統(tǒng)六自由度跟蹤器

15、分類(lèi) 超聲波式跟蹤系統(tǒng)利用不同聲源發(fā)出的超聲波到達(dá)某一特定地點(diǎn)的時(shí)間差、相位差或者聲壓差進(jìn)行定位跟蹤，包括連續(xù)波相位相干測(cè)量法和脈沖波傳播時(shí)間測(cè)量法兩種方式。不受環(huán)境磁場(chǎng)及鐵磁物體的影響，同時(shí)不產(chǎn)生電磁輻射、價(jià)格便宜。但跟蹤范圍有限、受環(huán)境聲場(chǎng)干擾、與空氣濕度有關(guān)并且要求發(fā)射器與接收器之間不能有物體遮擋。 慣性跟蹤系統(tǒng) 慣性跟蹤器利用陀螺測(cè)量三個(gè)轉(zhuǎn)動(dòng)自由度的角度變化，利用加速度計(jì)測(cè)量三個(gè)平動(dòng)自由度的位移。體積大，價(jià)格昂貴，由于角度和距離的測(cè)量分別通過(guò)對(duì)陀螺和加速度計(jì)的一次和兩次積分得到，系統(tǒng)誤差會(huì)隨著時(shí)間積累。 三、六自由度電磁跟蹤系統(tǒng)電磁式跟蹤系統(tǒng) 當(dāng)給一個(gè)線圈中通上電流后，在線圈的周?chē)鷮a(chǎn)

16、生磁場(chǎng)。磁傳感器的輸出值與發(fā)射線圈和接收器之間的距離r及磁傳感器的敏感軸與發(fā)射線圈發(fā)射軸之間的夾角有關(guān)。 三、六自由度電磁跟蹤系統(tǒng)直流式電磁跟蹤系統(tǒng) 直流式電磁跟蹤系統(tǒng)主要由發(fā)射源、接收器和控制系統(tǒng)構(gòu)成。 發(fā) 射 源接 收 器單片機(jī)控制系統(tǒng)PC 機(jī)A/D數(shù)據(jù)ZYX三、六自由度電磁跟蹤系統(tǒng)直流式電磁跟蹤系統(tǒng)位置測(cè)量算法 Or(xr,yr,zr)O(x,yz)YZXZrXrYrxyz三、六自由度電磁跟蹤系統(tǒng)直流式電磁跟蹤系統(tǒng)位置測(cè)量算法 發(fā)射線圈接收器三、六自由度電磁跟蹤系統(tǒng)直流式電磁跟蹤系統(tǒng)位置測(cè)量算法 三、六自由度電磁跟蹤系統(tǒng)直流式電磁跟蹤系統(tǒng)位置測(cè)量算法 三、六自由度電磁跟蹤系統(tǒng)直流式電磁跟

17、蹤系統(tǒng)的不足 在使用過(guò)程中的環(huán)境干擾大多為直流信號(hào)，采用常規(guī)的信號(hào)處理手段(如濾波)無(wú)法濾除。由于系統(tǒng)更新頻率僅為30Hz，無(wú)法迅速跟蹤干擾的變化。功率譜密度與頻率成反比的隨機(jī)漲落現(xiàn)象在電子器件中普遍存在，因此低頻噪聲會(huì)影響放大及信號(hào)處理系統(tǒng)的性能。由于在接收端磁場(chǎng)的強(qiáng)度與接收器和發(fā)射線圈之間的距離的立方成反比，因此接收端的磁場(chǎng)強(qiáng)度隨距離增大衰減很快。 三、六自由度電磁跟蹤系統(tǒng)交流式電磁跟蹤系統(tǒng) 為了彌補(bǔ)直流式跟蹤系統(tǒng)的不足，提出了一種采用交流磁場(chǎng)作激勵(lì)源的交流式電磁跟蹤系統(tǒng)方案。 A/D轉(zhuǎn)換及計(jì)算3軸發(fā)射線圈磁阻傳感器帶通濾波器交流驅(qū)動(dòng)電路u0(t)儀表放大器交流耦合加速度計(jì)三、六自由度電磁

18、跟蹤系統(tǒng)交流式電磁跟蹤系統(tǒng) 三、六自由度電磁跟蹤系統(tǒng)數(shù)字相敏檢波器算法 (3-39) (3-44) 三、六自由度電磁跟蹤系統(tǒng)數(shù)字相敏檢波器算法 三、六自由度電磁跟蹤系統(tǒng)交流式電磁跟蹤系統(tǒng)跟蹤算法 三、六自由度電磁跟蹤系統(tǒng)誤差分析及仿真結(jié)果 (a)(b)三、六自由度電磁跟蹤系統(tǒng)實(shí)驗(yàn)系統(tǒng)結(jié)構(gòu) 高穩(wěn)定度振蕩源 功率放大電路 發(fā)射線圈接收器 信號(hào)處理電路 一、概述二、三自由度地磁定姿系統(tǒng)三、六自由度電磁跟蹤系統(tǒng) 四、手指彎曲測(cè)量系統(tǒng) 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)六、總結(jié)目錄四、手指彎曲測(cè)量系統(tǒng)概述 人手在人類(lèi)的日常生活中起著不可替代的作用，是人們與外界進(jìn)行物理接觸及意識(shí)表達(dá)的主要媒介。 在虛擬現(xiàn)實(shí)系統(tǒng)

19、中采用手勢(shì)辨識(shí)作為人機(jī)交互手段的方法被普遍采用 。在采用人手的動(dòng)作來(lái)作人機(jī)交互的虛擬現(xiàn)實(shí)系統(tǒng)中仍然需要通過(guò)數(shù)據(jù)手套等輸入裝置來(lái)測(cè)量手指彎曲的角度和手指的外展程度等額外的信息。 手套比起傳統(tǒng)的鼠標(biāo)來(lái)，交互的區(qū)域更大，手的運(yùn)動(dòng)更自由。 四、手指彎曲測(cè)量系統(tǒng)測(cè)量手指彎曲角度的方法 光纖彎曲傳感器 具有體積小和重量輕的優(yōu)點(diǎn)。而且用戶(hù)戴上這種手套感覺(jué)舒適，不會(huì)限制用戶(hù)手部的運(yùn)動(dòng)。 變電阻式線性傳感器由于這種數(shù)據(jù)手套是松耦合的，因此輸出不互相依賴(lài)，該類(lèi)手套的價(jià)格十分昂貴。 金屬外骨架裝置 由于這種裝置在手上的位置會(huì)滑動(dòng)，所以在每次模擬開(kāi)始時(shí)都要進(jìn)行校準(zhǔn)。另外該類(lèi)手套較重，易使手感到疲勞。 基于圖像處理的手

20、指彎曲傳感技術(shù) 對(duì)硬件系統(tǒng)要求高，計(jì)算量大。四、手指彎曲測(cè)量系統(tǒng)測(cè)量原理 在采用光導(dǎo)纖維傳感器的手指測(cè)量系統(tǒng)中，將光導(dǎo)纖維縫制在手套中，當(dāng)手指彎曲而導(dǎo)致光導(dǎo)纖維彎曲時(shí)，通過(guò)光纖傳輸?shù)墓饽芰繉?huì)有衰減，光能衰減的程度與光纖的彎曲程度有關(guān)。 發(fā)光二極管光敏三極管放大及濾波電路發(fā)光二極管光敏三極管放大及濾波電路共五套A/D轉(zhuǎn)換及角度計(jì)算RS232至PC光纖四、手指彎曲測(cè)量系統(tǒng)光纖傳感器設(shè)計(jì) 光纖傳感器由發(fā)光二極管、塑料光纖和光敏三極管構(gòu)成。把發(fā)光二極管和光敏三極管的斷面鉆出與光纖直徑相等的孔洞，然后將光纖的端面插入孔洞并采用502膠粘結(jié)。采用這種方法即可以提高耦合效率，又可以保證耦合的可靠性。在粘結(jié)

21、前對(duì)光纖表面需要進(jìn)行研磨處理。 圖4-6 光纖彎曲傳感器電路四、手指彎曲測(cè)量系統(tǒng)實(shí)驗(yàn)結(jié)果 系統(tǒng)采用PIC16F877單片機(jī)作A/D轉(zhuǎn)換及數(shù)據(jù)處理，采用2252雙集成運(yùn)放作傳感器信號(hào)的放大和濾波。 一、概述二、三自由度地磁定姿系統(tǒng)三、六自由度電磁跟蹤系統(tǒng) 四、手指彎曲測(cè)量系統(tǒng) 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)六、總結(jié)目錄五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)概述 增強(qiáng)現(xiàn)實(shí)系統(tǒng)借助光電顯示技術(shù)、交互技術(shù)、計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)等產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通過(guò)傳感技術(shù)將虛擬對(duì)象準(zhǔn)確地“放置”在真實(shí)環(huán)境中，利用顯示設(shè)備將產(chǎn)生的虛擬對(duì)象與真實(shí)環(huán)境融為一體，呈現(xiàn)給用戶(hù)一個(gè)感官效果真實(shí)的新環(huán)境。 五、戶(hù)外增強(qiáng)

22、現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)概述 構(gòu)造一個(gè)成功的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的技術(shù)關(guān)鍵是進(jìn)行精確的三維跟蹤注冊(cè)，從而可以將真實(shí)場(chǎng)景與虛擬增強(qiáng)信息互相融合。 在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中所采用的跟蹤器主要包括磁跟蹤器、光學(xué)跟蹤器、超聲波跟蹤器、機(jī)械式跟蹤器和慣性跟蹤器等，用以探測(cè)和跟蹤真實(shí)環(huán)境中目標(biāo)的位置和方向。 由于在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中需要將虛擬物體與真實(shí)世界精確對(duì)準(zhǔn)，采用單一的跟蹤技術(shù)難以獲得滿(mǎn)意的跟蹤效果。為了彌補(bǔ)各跟蹤器的缺點(diǎn)，許多研究者采用混合跟蹤的方法取長(zhǎng)補(bǔ)短，以滿(mǎn)足增強(qiáng)現(xiàn)實(shí)系統(tǒng)高精度注冊(cè)的要求。 在基于視覺(jué)的跟蹤系統(tǒng)中，使用標(biāo)定的攝像機(jī)利用單幅圖像中已知點(diǎn)的坐標(biāo)實(shí)現(xiàn)三維跟蹤注冊(cè)為最為常用的方法。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)

23、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)概述 增強(qiáng)現(xiàn)實(shí)技術(shù)仍然處于實(shí)驗(yàn)室階段，已開(kāi)發(fā)的注冊(cè)技術(shù)均需要在環(huán)境可控的條件下才可以獲取精確的跟蹤結(jié)果。 構(gòu)建一套實(shí)用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)需要做很多測(cè)量及標(biāo)定的準(zhǔn)備工作，從而限制了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的推廣應(yīng)用。如果不需要事先做大量的準(zhǔn)備工作即可以獲得在室外或不可控的環(huán)境中的精確跟蹤，將大大地減少增強(qiáng)現(xiàn)實(shí)系統(tǒng)操作的復(fù)雜度及擴(kuò)大增強(qiáng)現(xiàn)實(shí)系統(tǒng)的應(yīng)用范圍。在這方面的研究工作的最終目標(biāo)是在任意條件下及環(huán)境中均可以獲得準(zhǔn)確可靠的跟蹤及注冊(cè)。 研制戶(hù)外用便攜式個(gè)人增強(qiáng)現(xiàn)實(shí)系統(tǒng)是近年來(lái)增強(qiáng)現(xiàn)實(shí)技術(shù)方面的一個(gè)重要的研究方向。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)與室內(nèi)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的區(qū)別 對(duì)系統(tǒng)硬件的

24、要求不同工作環(huán)境不同對(duì)顯示器的要求不同 可使用的跟蹤技術(shù)不同 可利用的資源不同 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)-傳感器技術(shù) 全球定位系統(tǒng)(GPS) 慣性導(dǎo)航系統(tǒng) 主動(dòng)式 (電磁式、光學(xué)式或超聲波式) 被動(dòng)光學(xué)式 羅盤(pán)及傾斜傳感器 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)-頭盔顯示器技術(shù) 為了解決光學(xué)透視式頭盔虛擬物體無(wú)法遮擋真實(shí)世界中的物體的問(wèn)題，解決方案是在光學(xué)組合器和真實(shí)世界之間加入液晶光閥，可以在選定的像素點(diǎn)上阻礙外部世界的圖像。系統(tǒng)產(chǎn)生的圖像處于固定焦距的位置，一般為幾英尺，解決這一問(wèn)題的方法是開(kāi)發(fā)自動(dòng)變焦系統(tǒng)，正在開(kāi)發(fā)的一個(gè)系統(tǒng)可以在0.3秒之內(nèi)將焦

25、距由0.25米變至無(wú)窮遠(yuǎn)處。已有的頭盔顯示器尚不能滿(mǎn)足戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)的要求，顯示的亮度不夠。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)-便攜計(jì)算機(jī)技術(shù) 戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須要由操作者攜帶，需要控制計(jì)算機(jī)系統(tǒng)的重量、功耗和體積。筆記本電腦均只有一個(gè)CPU，限制了系統(tǒng)的計(jì)算能力，特別是在視覺(jué)跟蹤或混合跟蹤的情況下會(huì)影響跟蹤系統(tǒng)的性能。目前的操作系統(tǒng)不是為實(shí)時(shí)計(jì)算開(kāi)發(fā)的，而專(zhuān)用的實(shí)時(shí)操作系統(tǒng)又沒(méi)有支持傳感器和圖像的驅(qū)動(dòng)。解決方案是由遠(yuǎn)程服務(wù)器進(jìn)行復(fù)雜的計(jì)算，從而減輕用戶(hù)所必須攜帶的重量。五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)目前進(jìn)展 第一套已知的戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)是哥倫比亞大學(xué)Fe

26、iner研究小組研制的校園漫游機(jī)，借助該套系統(tǒng)用戶(hù)可以看到校園中特定建筑的相關(guān)信息(部門(mén)或者建筑物名稱(chēng)) 。該套系統(tǒng)采用無(wú)源傳感器(包括羅盤(pán)及傾斜傳感器)及差分GPS。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)目前進(jìn)展 南澳大利亞大學(xué)正在開(kāi)發(fā)的戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以讓?xiě)敉庥脩?hù)看到虛擬軍事仿真器中存在的物體，系統(tǒng)包括筆記本電腦、TCM2-80羅盤(pán)、帶有差分的Garmin GPS12XL等。五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)目前進(jìn)展 希臘多家研究機(jī)構(gòu)和政府部門(mén)聯(lián)合成立的研究小組正在進(jìn)行古跡導(dǎo)游(Archeoguide)項(xiàng)目的開(kāi)發(fā)，研制可以為游客提供希臘奧林匹亞歷史古跡信息的可穿戴式增強(qiáng)

27、現(xiàn)實(shí)系統(tǒng)。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)目前進(jìn)展 美國(guó)NRL海軍研究試驗(yàn)室正在開(kāi)發(fā)戰(zhàn)場(chǎng)用增強(qiáng)現(xiàn)實(shí)系統(tǒng)(BARS)，其目的在于為城市戰(zhàn)場(chǎng)環(huán)境中的指揮官和士兵之間傳達(dá)三維戰(zhàn)術(shù)信息提供一個(gè)實(shí)用平臺(tái)。主要研究?jī)?nèi)容包括：設(shè)計(jì)新型用戶(hù)接口、設(shè)計(jì)新型交互方法、開(kāi)發(fā)交互式、分布式三維環(huán)境及足夠精度的跟蹤和注冊(cè)系統(tǒng)。五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)用 開(kāi)發(fā)工作于室外的增強(qiáng)現(xiàn)實(shí)系統(tǒng)將大大的擴(kuò)展其應(yīng)用范圍，同時(shí)可以提供新的、更通用的跟蹤方法。還可以減少使用前的準(zhǔn)備工作，使得建立和操作一套增強(qiáng)現(xiàn)實(shí)系統(tǒng)更加容易，同時(shí)為可穿戴式計(jì)算機(jī)提供了一個(gè)自然的人機(jī)交互手段。一些可穿戴式計(jì)算機(jī)例如CMU

28、 VuMan系統(tǒng)已經(jīng)用于戶(hù)外車(chē)輛維修的應(yīng)用中。對(duì)于森林中的徒步旅行者、戰(zhàn)場(chǎng)中的戰(zhàn)士及開(kāi)車(chē)的司機(jī)來(lái)說(shuō)，戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以提高他們對(duì)環(huán)境的認(rèn)識(shí)，提供導(dǎo)航路徑等信息，用戶(hù)可以在看到周?chē)h(huán)境的同時(shí)看到分布在空間的信息。士兵可以看到敵人的位置、戰(zhàn)友、類(lèi)似雷區(qū)等肉眼無(wú)法識(shí)別的危險(xiǎn)區(qū)域等，室外增強(qiáng)現(xiàn)實(shí)系統(tǒng)也可以用于團(tuán)隊(duì)協(xié)作。五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)用 戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)的另外一個(gè)應(yīng)用是看到過(guò)去或未來(lái)的人物或事件，裝配有戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)的游客可以看到計(jì)算機(jī)所產(chǎn)生的復(fù)活的歷史，頭盔式顯示器可以遮擋背景中的現(xiàn)代建筑物或紀(jì)念碑，顯示文物古跡在當(dāng)時(shí)的情況。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)增強(qiáng)現(xiàn)實(shí)系

29、統(tǒng)需要實(shí)現(xiàn)的功能 真實(shí)與虛擬場(chǎng)景間的精確注冊(cè) 增強(qiáng)場(chǎng)景的一定刷新率圖像的立體顯示 系統(tǒng)的初始標(biāo)定 注冊(cè)和圖像生成的實(shí)時(shí)性 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)基于視覺(jué)的跟蹤注冊(cè)算法 在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中主要包括三個(gè)坐標(biāo)系間的轉(zhuǎn)換：世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和像面坐標(biāo)系。跟蹤系統(tǒng)包括一臺(tái)彩色CCD攝像機(jī)和四個(gè)不同顏色的彩色標(biāo)志點(diǎn)，彩色標(biāo)志點(diǎn)的屏幕坐標(biāo)可以通過(guò)對(duì)輸入視頻流的濾波得到。當(dāng)所有4個(gè)標(biāo)志點(diǎn)都被跟蹤到之后，利用投影變換關(guān)系可以唯一地確定平移矩陣T和旋轉(zhuǎn)矩陣R。 YZXYWZWXW世界坐標(biāo)系合成圖像uvCCD攝像機(jī)LCD透鏡像面坐標(biāo)系攝像機(jī)坐標(biāo)系真實(shí)場(chǎng)景五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)基于視覺(jué)的跟蹤注冊(cè)算法誤差分析 實(shí)際的測(cè)量結(jié)果表明在使用該算法時(shí)旋轉(zhuǎn)角的計(jì)算值最大可能有4-5o的誤差。旋轉(zhuǎn)矩陣元素r3 的-0.015037的微小誤差會(huì)帶來(lái)俯仰角計(jì)算值1o的誤差。當(dāng)所跟蹤的標(biāo)志點(diǎn)中心的坐標(biāo)是(385, 381)，同時(shí)由于環(huán)境光照的變化每個(gè)坐標(biāo)值都有一個(gè)像素的偏差，圖像處理的輸出為(384,380)，對(duì)應(yīng)的計(jì)算誤差為0.093855，此時(shí)俯仰角的計(jì)算誤差為5。 五、戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)基于混合跟蹤的增強(qiáng)現(xiàn)實(shí)系統(tǒng) 包括固定于V8頭戴式顯示器的磁傳感器和CCD攝像機(jī)，CCD攝像機(jī)的輸出通過(guò)大恒DH-200圖像A/D轉(zhuǎn)換卡被轉(zhuǎn)