移動增強現(xiàn)實中視覺三維注冊方法的實現(xiàn)

1、總第 266期 2011年第 12期計算機與數(shù)字工程C o m p u t e r &D i g i t a l E n g i n e e r i n gV o l . 39N o . 12 138移動增強現(xiàn)實中視覺三維注冊方法的實現(xiàn) *范利君 童小念(中南民族大學計算機學院 武漢 430074摘 要 為了提高移動增強現(xiàn)實注冊技術的性能 , 采用了一種基于計算機視覺的注冊算法 。 該方法利用 A R T o o l k i t 中 的標識檢測法查找相關的標識和特征點 , 然后基 于 視 覺 三 維 注 冊 算 法 得 到 模 型 視 圖 矩 陣 , 最 后 在 相 應 位 置 繪 制 虛 擬

2、 物 體 。 實驗結果表明這種注冊方法在實時性 、 穩(wěn)定性 、 抗遮擋性方面效果良好 , 滿足移動增強現(xiàn)實系統(tǒng)高精度三維注冊的要求 。 關鍵詞 增強現(xiàn)實 ; 注冊技術 ; 移動增強現(xiàn)實 ; 三維注冊中圖分類號 T P 391R e a l i z a t i o n o f V i s u a l T h r e e -d i m e n s i o n a l R e g i s t r a t i o n M e t h o d i n M o b i l e A u g m e n t e d R e a l i t yF a n L i j u n T o n g X i a o n

3、i a n(S c h o o l o f C o m p u t e r S c i e n c e , S o u t h -C e n t r a l U n i v e r s i t y f o r N a t i o n a l i t i e s , W u h a n 430074A b s t r a c t I n o r d e r t o i m p r o v e t h e p e r f o r m a n c e o f r e g i s t e r e d t e c h n i c i a n s , u s e s a r e g i s t r a t

4、 i o n a l g o r i t h m b a s e d o n c o m p u t -e r v i s i o n . T h e m e t h o d t a k e t h e u s e o f A R T o o l k i t d e t e c t i o n f u n c t i o n t o d o t h e i d e n t i f i c a t i o n o f t h e s e a r c h -r e l a t e d i d e n t i t y a n dc h a r a c t e r i s t i c s p o i

5、n t s , t h e n u s e t h r e e -d i m e n s i o n a l v i s i o n -b a s e d r e g i s t r a t i o n a l g o r i t h m t o g e t t h e m o d e l -v i e w m a t r i x , a t l a s td r a w t h e v i r t u a l o b j e c t . T h r o u g h e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e r e

6、g i s t r a t i o n m e t h o d i s p r e s e n t e d w e l l i n t e r m s o f r e a l -t i m e , s t a b i l i t y , a n t i -b l o c k i n g e f f e c t , m e e t i n g t h e i n c r e a s e d h i g h -p r e c i s i o n r e q u i r e m e n t s o f t h r e e -d i m e n s i o n a l r e g i s t r a

7、t i o n o f m o b i l e a u g m e n t e d r e a l i t y s y s t e m.K e y W o r d s a u g m e n t e d r e a l i t y , r e g i s t r a t i o n t e c h n o l o g y , m o b i l e a u g m e n t e d r e a l i t y , t h r e e -d i m e n s i o n a l r e g i s t r a t i o n C l a s s N u m b e r T P 3911 引言

8、增強現(xiàn)實 (A u g m e n t e d R e a l i t y , A R 是 虛 擬 現(xiàn) 實的一個重要分支 。 增強現(xiàn)實技術借助顯示技術 、 交互技術 、 多種傳感技術和計算機圖形與多媒體技 術將計算機生成的虛擬環(huán)境 和 使 用 者 周 圍 的 現(xiàn) 實 環(huán)境融為一體 , 使用戶從感官效果上認為虛擬環(huán)境 是周圍真實環(huán)境的 組 成 部 分 。 增 強 現(xiàn) 實 具 有 虛 實 結合 、 實時交互 、 三維注冊的特點 12。作為一種新型的技 術 , 增強現(xiàn)實在醫(yī)學 、 工 業(yè) 制造 、 建 筑 、 教 育 和 娛 樂 等 領 域 有 廣 泛 的 應 用 前 景 34。 隨著移動計算機設備

9、和網(wǎng)絡技術的發(fā)展 , 增強現(xiàn)實技術在網(wǎng)絡和移動 設 備 上 的 應 用 越 來 越 多 , 移動增強現(xiàn)實就是在這種趨勢下形成的一項新 技術 , 其目標就是將增強現(xiàn)實技術運用在移動設備 終端 。 增強現(xiàn)實技術可配合手機使用 , 如以相機來 掃描辨識飯店外觀 , 即可進行空房查詢 、 訂房 ; 以相 機掃描尚未裝潢的辦公室 , 則會出現(xiàn)一系列的裝潢 元素 , 讓操作者選配 。 諸如此類的應用具有廣泛的 用途 。增強現(xiàn)實逐漸向移動增強現(xiàn)實發(fā)展 , 而注冊技 術依然是其瓶頸技 術 。 注 冊 技 術 所 要 完 成 的 任 務 是實時監(jiān)測使用者頭部的位置和視線方向 , 計算機 根據(jù)這些信息確定所要添加

10、 的 虛 擬 信 息 在 投 影 平 面中的映射位置 , 并將這些信息實時的顯示在正確 的位置 。*收稿日期 :2011年 6月 10日 , 修回日期 :2011年 7月 15日作者簡介 :范利君 , 女 , 碩士研究生 , 研究方向 :增強現(xiàn)實 。 童小念 , 女 , 教授 , 研究方向 :虛擬現(xiàn)實 , 增強現(xiàn)實 。2 增強現(xiàn)實和移動增強現(xiàn)實的體系結構 A R 系統(tǒng)不需要顯示完整的場 景 ,但需 要分析 定位數(shù)據(jù)和場景信息以使得 由 計 算 機 生 成 的 虛 擬 物體可以 精 確 定 位 在 真 實 場 景 中 。 A R 系 統(tǒng) 分 為 四個步驟 :1 獲取真實場景信息 ; 2 對真實場

11、景 和相機位置信息進行分析 ; 3 生 成 虛 擬 場 景 ; 4 虛實場景融合顯示 。2. 1 傳統(tǒng)增強現(xiàn)實的體系結構增強現(xiàn)實的一般結構中 , 由攝像機獲取周圍真實 環(huán)境的信息 , 跟蹤注冊系統(tǒng)則用于跟蹤觀察用戶的頭 部方位和視線方向 , 虛擬場景生成要加入的虛擬圖形 對象 , 虛實合成系統(tǒng)則是將虛擬場景和真實場景定位 配準的系統(tǒng) 。 增強現(xiàn)實系統(tǒng)結構圖如圖 1所示。 圖 1 增強現(xiàn)實系統(tǒng)結構圖2. 2 移動增強現(xiàn)實的體系架構移動增強現(xiàn)實的系統(tǒng)架構采用客戶端/服務器的 模式 , 移動終端設備作為客戶端 , 在存儲設備上存儲虛 擬的三維圖像 。 移動終端通過攝像頭獲取真實場景 的視頻 , 通過

12、無線網(wǎng)絡傳送給服務器 , 服務器端獲取真 實場景圖像后實現(xiàn)三維跟蹤注冊 ; 再根據(jù)注冊的結果 計算出虛擬模型的渲染參數(shù) , 通過無線網(wǎng)絡傳給移動 終端 ,移動終端進行虛擬場景渲染并進行虛實融合 , 將 最終的場景圖像顯示在移動終端的用戶界面 5。 移動 增強現(xiàn)實系統(tǒng)結構圖如圖 2所示。 圖 2 移動增強現(xiàn)實系統(tǒng)結構圖3 三維注冊算法實現(xiàn)3. 1 注冊技術的基本原理一般采用 4個坐標系來描述注冊原理 。 例如 , 用 X Y Z 表示世界坐標系 , X Y Z 表 示 虛擬空間坐 標 , 用于對所疊加的虛擬物體的幾何描述 , X 1Y 1Z 1表示攝像機坐標系 。 由 于 疊 加 到 真 實 空

13、 間 中 的 虛 擬物體的方位是由增強現(xiàn)實系統(tǒng)的功能決定的 , 已 知虛擬空間坐標系和真實空間坐標系的關系 , 則三 維虛擬物體在虛擬空間坐標 系 的 幾 何 描 述 到 世 界 坐標系之間的轉換關系為 x y z 1=x y z 1S , 其中 , S 是虛擬空間坐標到世界坐標之間的轉換矩陣 。 如果再得到世 界 坐 標 到 攝 像 機 坐 標 間 的 視 圖轉換矩陣 T , 三維虛擬物體在虛擬空間坐標系中 的幾何描述 (x , y , z 通過 x 1y 1z 11=x y z 1S T 可變換 到 世 界 坐 標 系 中 的 坐 標 (x 1, y 1, z 1 。 最后 , 將虛擬物體

14、在攝像機的坐標投影到圖像平面 坐標系 , 即可實現(xiàn)增強現(xiàn)實系統(tǒng)的注冊 。 3. 2 檢測標識和特征點的位置本文 采 用 A R T o o l k i t 6中 的 標 識 檢 測 法 查 找相關標識和特征點 ,這些特征點是整個增強現(xiàn)實過 程中的參考點 。 在利用 A R T o o l k i t 開 發(fā) 增 強 現(xiàn) 實 系統(tǒng)前 ,必須制作標 識 , 系 統(tǒng) 根 據(jù) 這 些 不 同 的 標 識 返回的不 同 I D 值 來 疊 加 不 同 的 虛 擬 場 景 。 利 用A R T o o l k i t 作為開發(fā)平臺 , 首先將采集到的一幀彩 色圖像轉換成一幅二值圖像 , 然后對該二值圖像進

15、 行連通域分析 , 找出其中的所有的四邊形區(qū)域作為 候選匹配區(qū)域 , 將每一候選區(qū)域與模板庫中的模板 進行 匹 配 , 如 果 產(chǎn) 生 匹 配 , A R T o o l k i t 即 找 到 了 一 個標識 。3. 3 基于視覺三維注冊的算法推導三維基準注冊的過程就是對攝像機的空間定位及其跟蹤 79, 由注冊技術基本原理可知 , 關鍵在于求出矩陣 T 。 本文算法的基本步驟如下 :1 已知標 志點在場景中的坐標 (x i , y i , z i ; 2 測定標志點的 投影坐標 (u i , v i ; 3 利用透視投影方程建立圖像平 面點與場景點的聯(lián)系 ; 4解出變換矩陣 T 。 虛擬物體

16、幾 何 表 達 式 與 真 實 物 體 幾 何 表 達 式 的關系如下 :(x , y , z T =R (x , y ,z T+T (1其中 ,R =x x r x y r x z y x r y y r y z z x r z y r z z T =(t x , t y ,t z 從真實空間 坐 標 系 到 觀 察 空 間 坐 標 系 的 變 換 如下 :x =r x x x +r x y y +r x z z +t xy =r y x x +r y y y +r y z z +t yz =r z x x +r z y y +r z z z +t z (2 在觀察空間的坐標系中 , 場景點

17、的位置是未知 的 , 但是點在圖像平面上的投影可以由透視投影方 程來確定 :F =z F=z (3其中 , F 為攝像機 的 焦距 (F 已知為攝 像機 的 內 部 參數(shù) , 由式 (2 和式 (3 可知 , 每個標志點可以確定 如下兩個獨立的約束方程 :u (r z x x +r z y y +r z z z +t z -F (r x x x +r x y y +r x z z +t x =0 v (r z x x +r z y y +r z z z +t z -F (r y x x +r y y y +r y z z +t y =0 (4 顯然 , 由 6個標志點可以產(chǎn)生 12個方程 ,

18、從而 可以解出變換矩陣 T 中的 12個參數(shù) 。以上算法使用旋轉矩陣的規(guī)范化正交約束 , 只 需 4個標志點就可以解出矩陣 T 中 的 12個參 數(shù) 。 由于標志點都在同一個平面內 , 4個標志點的絕對 坐標為 (x i , y i , 0 (i =1, 2, 3, 4 , 則式 (4 可 以簡化 為u (r z x x +r z y y +t z -F (r x x x +r x y y +r x z z +t x =0 v (r z x x +r z y y +t z -F (r y x x +r y y y +r y z z +t y =0 (5 由于 t z 只是各參數(shù)的比例因子 ,

19、設 t z =1, 則式 (5 可以進一步簡化為u (r z x x +r z y y +1 -F (r x x x +r x y y +r x z z +t x =0 v (r z x x +r z y y +1 -F (r y x x +r y y y +r y z z +t y =0 (6 此時 , 式 (6 中只有 8個參數(shù) , 即只要 4個標志 點就可以得到 8個方程 , 解此線性方程組可求出 8個參數(shù) :r x x , r x y , ry x, ry y, rz x, rz y, tx和 t y 。因為旋轉矩陣 R 是正交規(guī)范化矩陣 , 所以 R T R =I 一定成 立 , 利

20、 用 這 一 特 性 可 以 計 算 如 下 幾 個 參數(shù) :r x z =-r 2x x -r 2x y r y z =-r 2y x -r 2y y r z z = -r z x r x z -r z y r y z如上實現(xiàn)了攝像機的跟蹤 , 并計算出了虛擬空 間坐標系和攝像機 坐 標 系 間 的 視 圖 轉 換 矩 陣 。 下 一步將虛擬物體在攝像機坐 標 系 中 的 坐 標 投 影 到 圖像平面坐標系 U V , 則可完成增強 現(xiàn)實系統(tǒng)的 注 冊 。圖 3 虛擬物體投影坐標變換圖 3中 U V 坐標系表示要顯示的圖像平面坐標 系 10, d 表示攝像機中心到視區(qū)的距離 , A 點表示一

21、 個虛擬物體的圖像點 , 它在攝像機坐標系中的坐標 為 (x a , y a , z a , 根據(jù)透視投影的原理求出 A 點在顯 示圖像平面中的坐標 (x a , y a 。 A 2是 A 點在 Y O Z 平 面的正投影 , A 1是 A 點在 X O Z 平面的正投影 。 A 2和 A 1在圖像平面上的投影分別是 y a 和 x a , 由于 o o x a o z a A 1; o o y a o z a A 2則由數(shù)學中相似定理可知 x ad=x az aad= a z a 由于 x a , y a , z a 為 A 點在攝像機坐標系中的坐 標 , 而這個坐標通過攝像機跟蹤已求出來了

22、 , 則 :x a =az a; ya =az a至此已完成 了 世 界 坐 標 系 和 攝 像 機 坐 標 系 間 的轉換 , 即完成了注冊過程 。 虛擬物體投影坐標變 換如圖 3所示 。由于攝像機的內在參數(shù)是已知的 , 利用計算出 的視圖轉換坐標 , 可通過 O p e n G L 實現(xiàn)圖像繪制 。 4 實驗結果及分析本文利用普通的免驅動的 U S B 接口的攝像頭 獲取圖像 , 采用 O p e n G L 三維圖形庫繪制三維虛擬 模型 。 其 模 型 如 圖 4所 示 , 在 大 寫 字 母 A 中 手 繪 一個黑色的小矩形 , 虛擬物體被增強到這個矩形框 上 , 圖中的虛擬物體是一個

23、彩色的立方體 。圖 4 不同狀態(tài)下的注冊效果系統(tǒng)實時性參數(shù) :1 參考點的檢測時間開銷 。 實驗中利用 A R T o o l k i t 檢測參考點的平均 計 算 時 間是 0. 0185s ; 2 參 考 點 的 跟 蹤 時 間 開 銷 。 實 驗中的圖 像 大 小 為 640480, 其 跟 蹤 指 定 點 的 時 間 不超過 0. 002s ; 3 矩陣參數(shù)的計算時間開銷 。 實 驗中計算矩陣參數(shù)的時間為 0. 0019s 。 因此 , 這種 注冊方法是快速的 , 能夠滿足實時性的要求 。5 結語本文討論并 實 現(xiàn) 了 一 種 基 于 視 覺 的 三 維 注 冊 算法 。 實驗結果表明

24、這種算法計算量小 , 數(shù)值求解 過程是線性的 , 誤差小 , 實時性效果好 。參 考 文 獻1朱淼良 , 姚遠 , 蔣 云 良 . 增 強 現(xiàn) 實 綜 述 J . 中 國 圖 象 圖 形學報 , 2004, 9(7 :7667752A z u m a R , B a i l l o t Y. R e c e n t a d v a n c e s i n a u g m e n t e d r e -a l i t y J . I E E E C o m p u t e r G r a p h i c s a n d A p p l i c a t i o n s , 2001, 21(6 :

25、33483B a r f i e l d W , B a i r d K. A p p l i c a t i o n s o f w e a r a b l e c o m p u t -e r s a n d a u g -m e n t e d r e a l i t y t o m a n u f a c t u r i n g C /F u n -d a m e n t a l s o f W e a r a b l e C o m p u t e r s a n d A u g m e n t e d R e -a l i t y , 2001:696725 4M a c l n

26、t y r e B , L o h s e M. I n t e g r a t i n g 2-D v i d e o a c t o r s i n -t o 3-D a u g -m e n t e d -r e a l i t y s y s t e m s J . P r e s e n c e , 2002, 11(2 :1872015H I L E H , B O R R I E L L O G.I n f o r m a t i o n o v e r l a y f o r c a m e r a p h o n e s i n i n d o o r e n v i r o

27、 n m e n t s J .L e c t u r e N o t e s i n C o m p u t e r S c i e n c e , 2007:68876K a t o H , B i l l i n g h u r s t M.M a r k e r t r a c k i n g a n d HM D c a l i b r a t i o n f o r a v i d e o -b a s e d a u g m e n t e d r e a l i t y c o n f e r -e n c i n g s y s t e m C /P r o c S e c

28、o n d I E E E a n d A C M l n t l W o r k s h o p A u g m e n t e d R e a l i t y , 1999:84977C h e n J i n g , W a n g Y o n g -t i a n , S h i Q i . D y n a m i c R e g i s -t r a t i o n M e t h o d i n A u g m e n t e d R e a l i t y S y s t e m J . J o u r -n a l o f B e i j i n g I n s t i t u t e o f T e c h n o l o g y , 2001, 21(5 :632 6378周雅 , 等 . 一種增強現(xiàn)實系 統(tǒng) 的 三 維 注 冊 方 法 J . 中 國 圖象圖形學報 , 2000, 5(A 5 :2542569王涌天 , 劉 越 , 胡 曉 明 . 戶 外 增 強 現(xiàn) 實 系 統(tǒng) 關 鍵 技 術 及 其應用的研究 J . 系統(tǒng)仿真學報 , 2003(3 :329334 10周雅 , 閆達