基于計算機視覺的增強現(xiàn)實三維注冊算法

基于計算機視覺的增強現(xiàn)實三維注冊算法

0維環(huán)境注冊技術(shù)現(xiàn)實的改進是一項將計算機生成的附加信息用于改善或擴展用戶在現(xiàn)實環(huán)境中看到的真實環(huán)境的技術(shù)?，F(xiàn)實和虛擬之間的區(qū)別在于，它不是將現(xiàn)實與用戶分開，而是將計算機生成的虛擬物體和場景疊加在真實場景中，從而實現(xiàn)“改善”的現(xiàn)實。在增強的環(huán)境中，用戶不僅可以看到周圍的真實環(huán)境，還可以看到計算機生成的增強信息。該增強信息可以是與真實環(huán)境或真實環(huán)境共存的虛擬物體，或者是與存在的真實物體相關(guān)的幾何信息。在用戶看來，真實物體和虛擬物體是共存的，相互放大或相互補充。由于它的應(yīng)用和發(fā)展前景，它引起了越來越多的人們的注意。許多大學和研究機構(gòu)正在進行研究和探索。三維環(huán)境注冊技術(shù)不僅是實現(xiàn)增強現(xiàn)實的基礎(chǔ)技術(shù),也是保證增強現(xiàn)實系統(tǒng)性能的關(guān)鍵技術(shù),因此一直是增強現(xiàn)實系統(tǒng)研究中的重要方面.增強現(xiàn)實系統(tǒng)利用附加的圖形或文字信息來對周圍真實世界的場景進行動態(tài)地增強.因為當轉(zhuǎn)動和移動頭部的時候,眼睛所看到的視野將隨之變動,而且計算機生產(chǎn)的增強信息也應(yīng)該隨之做相應(yīng)的變化,所以,增強現(xiàn)實系統(tǒng)必須能夠?qū)崟r地檢測出回路中人的頭部位置和視線指向,然后才能根據(jù)這些信息實時地確定所要添加的虛擬信息在真實空間坐標中的映射位置,并將這些信息實時地顯示在圖象的正確位置,這就是三維環(huán)境注冊系統(tǒng)所要完成的任務(wù).雖然利用電磁跟蹤器或者超聲波探測器也可以進行三維注冊,但是這些注冊方法的精度和使用范圍都不能滿足增強現(xiàn)實的需要,同時也容易受到外界干擾,因而通用性差;而常用的立體視覺注冊方法,一般需要兩個以上的攝像機,還要通過立體圖象對的分析來進行注冊,由于這類方法往往算法復雜,而且需要作大量的圖象處理運算,因此將使系統(tǒng)延時增加,實時性能下降.1算法原理和理論思維增強現(xiàn)實系統(tǒng)的三維環(huán)境注冊包含使用者頭部(攝像機)的空間定位跟蹤以及虛擬物體在真實空間中的定位兩個方面的內(nèi)容.1.1虛擬空間坐標系為了說明本文的注冊算法原理,這里采用4個坐標系統(tǒng)來進行描述,如圖1所示,xyz是絕對空間坐標系(真實空間坐標系);ξηζ表示虛擬空間坐標系,此坐標系用來對所添加的虛擬空間進行幾何描述;x′y′z′(左手坐標系)表示觀察空間坐標系(攝像機坐標系);uv是一個二維坐標系,表示投影圖象平面坐標系,此坐標系的o′z′軸與觀察者視線方向重合.由于所需要添加的虛擬物體在真實空間坐標系中的方位是由系統(tǒng)要完成的功能所決定的,即虛擬空間坐標系ξηζ與真實空間坐標系xyz的關(guān)系是已知的,所以虛擬空間坐標系ξηζ中三維虛擬物體的幾何描述(ξ,η,ζ)可以變換為真實空間坐標系xyz中的幾何描述(x,y,z)[xyz1]=[ξηζ1]A(1)[xyz1]=[ξηζ1]A(1)上式中,A是兩個坐標系之間已知的變換矩陣.如果能夠求出真實空間坐標系xyz與觀察空間坐標系x′y′z′之間的變換矩陣B,就可以將虛擬物體坐標系中三維虛擬物體的幾何描述(ξ,η,ζ)變換為觀察空間坐標系中的幾何描述(x′,y′,z′)[x′y′z′1]=[ξηζ1]AB(2)[x′y′z′1]=[ξηζ1]AB(2)此時,再將觀察空間坐標系中的虛擬物體投影到圖象平面坐標系uv中,就完成了增強現(xiàn)實系統(tǒng)的三維注冊.1.2旋轉(zhuǎn)矩陣b中的參數(shù)三維基準注冊的任務(wù)是實現(xiàn)對使用者頭部(攝像機)的空間定位和跟蹤,通過上面的分析可見,由于只要求出矩陣B就達到了目的,因此本文算法的基本步驟是:(1)已知標志點在場景中的坐標(xi,yi,zi);(2)測定標志點的投影坐標(ui,vi);(3)利用透視投影方程建立圖象平面點與場景點的聯(lián)系;(4)解出變換矩陣B.為方便起見,在這里虛擬物體幾何表達與真實物體幾何表達的關(guān)系用如下普通的變換表達式(x′,y′,z′)Τ=R(x,y,z)Τ+Τ(3)(x′,y′,z′)T=R(x,y,z)T+T(3)其中,R=[rxxrxyrxzryxryyryzrzxrzyrzz]Τ=(tx,ty,tz)R=???rxxryxrzxrxyryyrzyrxzryzrzz???T=(tx,ty,tz)從真實空間坐標系到觀察空間坐標系的變換如下x′=rxxx+rxyy+rxzz+txy′=ryxx+ryyy+ryzz+tyz′=rzxx+rzyy+rzzz+tz(4)x′=rxxx+rxyy+rxzz+txy′=ryxx+ryyy+ryzz+tyz′=rzxx+rzyy+rzzz+tz(4)在觀察空間坐標系中,雖然場景點的位置是未知的,但是點在圖象平面上的投影可以由透視投影方程來確定uF=x′z′=rxxx+rxyy+rxzz+txrzxx+rzyy+rzzz+tzvF=y′z′=ryxx+ryyy+ryzz+tyrzxx+rzyy+rzzz+tz(5)uF=x′z′=rxxx+rxyy+rxzz+txrzxx+rzyy+rzzz+tzvF=y′z′=ryxx+ryyy+ryzz+tyrzxx+rzyy+rzzz+tz(5)其中,F為攝像機的焦距(這里假設(shè)攝像機的內(nèi)部參數(shù)已知,即F已知),由聯(lián)立式(4)和式(5)可知,每一個標志點可以確定如下兩個獨立的約束方程u(rzxx+rzyy+rzzz+tz)-F(rxxx+rxyy+rxzz+tx)=0v(rzxx+rzyy+rzzz+tz)-F(ryxx+ryyy+ryzz+ty)=0(6)u(rzxx+rzyy+rzzz+tz)?F(rxxx+rxyy+rxzz+tx)=0v(rzxx+rzyy+rzzz+tz)?F(ryxx+ryyy+ryzz+ty)=0(6)顯然,由6個標志點可以產(chǎn)生12個方程,從而可以解出變換矩陣B中的12個參數(shù).實際上,如果使用旋轉(zhuǎn)矩陣的規(guī)范化正交約束,只需4個點就可以解出矩陣B中的12個參數(shù).例如在圖5的應(yīng)用系統(tǒng)中,由于標志點都在同一個平面內(nèi),4個標志點的絕對坐標為(xi,yi,0)(i=1,2,3,4),所以式(6)可以簡化為u(rzxx+rzyy+1)-F(rxxx+rxyy+tx)=0v(rzxx+rzyy+1)-F(ryxx+ryyy+ty)=0(7)u(rzxx+rzyy+1)?F(rxxx+rxyy+tx)=0v(rzxx+rzyy+1)?F(ryxx+ryyy+ty)=0(7)其實,由于tz只是各參數(shù)的比例因子,所以可以設(shè)tz=1,同時由于式(7)中有8個參數(shù),而且由4個標志點可以得到8個方程,因此解這個線性方程組就可以求出8個參數(shù):rzx,rzy,rxx,rxy,ryx,ryy,tx和ty.因為旋轉(zhuǎn)矩陣R是正交規(guī)范化矩陣,所以RTR=I一定成立,利用這一特性可以計算如下幾個參數(shù)rxz=√1-r2xx-r2xyryz=√1-r2yx-r2yyrzz=√1-rzxrxz-rzyryzrxz=1?r2xx?r2xy??????????√ryz=1?r2yx?r2yy??????????√rzz=1?rzxrxz?rzyryz??????????????√這樣,就完成了三維基準注冊任務(wù).1.3虛擬物體的注冊完成了虛擬空間坐標系ξηζ到觀察空間坐標系x′y′z′的轉(zhuǎn)換后,下一步就是將虛擬物體投影到畫平面坐標系中.如圖2所示,用OXY表示要顯示的畫平面坐標系,D表示攝像機中心至顯示器的距離,有一個虛擬物體圖象點A在觀察空間坐標系中的坐標為(x′a,y′a,z′a),本文的目的就是計算出A點在畫平面坐標系中的坐標(X0,Y0).圖中,a′和a″是A在o′x′z′和o′y′z′上的正投影,它們在畫平面上的投影圖象分別是ax和ay,由于Δo′oax≈Δo′a′za′,Δo′oay≈Δo′a′za″所以有X0D=x′az′a?Y0D=y′az′a其中,x′a,y′a,z′a為A點在觀察空間坐標系中的坐標(在基準注冊中已經(jīng)求出),由此可以得到X0=Dx′az′a?Y0=Dy′az′a這樣,就完成了對虛擬物體的注冊.1.4左右眼合同元型如果考慮到增強現(xiàn)實中需要立體顯示,則應(yīng)對三維注冊算法作適當修改.從立體顯示示意圖(見圖3)可以看出,立體顯示時,因為觀察點的位置分別左移和右移d的距離,所以需要將x′y′z′坐標系沿x軸作平移變換,以便最后得到圖象點分別在左右眼平面坐標系中的坐標,為此,算法上需要將式(2)作修改,即左眼[x′Ly′Lz′L1]=[ξηζ1]ABAL右眼[x′Ry′Rz′R1]=[ξηζ1]ABAR其中,左眼變換矩陣AL=[100001000010d001]右眼變換矩陣AR=[100001000010d001]2維場景注冊筆者開發(fā)的一種新型掌上增強現(xiàn)實系統(tǒng)(如圖4所示)就成功地應(yīng)用了上述算法來進行三維注冊,并且效果良好.在該系統(tǒng)中,是采用透射式HMD(頭盔顯示器)來在一塊平板上增強顯示一個虛擬物體.具體做法是:首先在平板的4個角上放置4個不同顏色的標志點,并利用頭盔上的一個彩色CCD攝像機實時拍攝真實場景;然后在三維注冊時,則通過圖象處理的方法提取出4個標志點的平面坐標,再用上述算法實現(xiàn)三維場景注冊;最后圖形工作站則根據(jù)該三維注冊信息實時生成左、右眼虛擬物體圖象對,并同步地送到左右眼的LCD顯示器上,從而在用戶面前呈現(xiàn)一個虛實結(jié)合的場景.圖5展示了幾個在實驗室里的AR系統(tǒng)上,以不同的角度試驗獲得的真實場景和復合場景,由圖5(b)可見,一只虛擬的恐龍被添加到真實場景中.其中,真實場景只是一個黑色的箱子,戴上AR頭盔的用戶所看到的是已經(jīng)添加了虛擬恐龍的復合場景.無論用戶以何種角度觀察,虛擬的恐龍好像就是站在箱子上,說明該系統(tǒng)所生成的復合場景是成功的.3基于視覺的三維注冊算法與虛擬現(xiàn)實相比,由于在增強現(xiàn)實的環(huán)境注冊時,不僅要實時地獲得用戶頭部的位置姿態(tài)信息,而且還要實現(xiàn)虛擬物體(由計算機生成的物體)與真實場景的準確融合,因此對注冊有更高的要求.這樣常用的電磁或超聲波傳感器位置跟蹤法已經(jīng)不能滿足需要了,而兩個攝像機的立體圖象對注冊法又計算量太大,為此,本文從理論上論證了一種基于視覺的三維注冊算法,由于這種算法不僅計算量小,通用性強,而且數(shù)值求解是線性過程,因此誤差小.通過實際應(yīng)用證明,該種算法具有良好的三維注冊性能,可以滿足增強現(xiàn)實的實時三維注冊需要.雖然本文從理論上證明了4個標志點就可以算出注冊矩陣的12個參數(shù),