全景成像和單自由度移動機器人關(guān)鍵技術(shù)應(yīng)用

全景成像和單自由度移動機器人關(guān)鍵技術(shù)應(yīng)用

1智能全景成像在單自由度移動機器人中的應(yīng)用隨著虛擬現(xiàn)實技術(shù)的發(fā)展，現(xiàn)實技術(shù)得到了擴展，虛實結(jié)合、實時交互和三維日志記錄等新特點。目前的增強現(xiàn)實系統(tǒng)一般都采用視覺系統(tǒng)和頭盔顯示一起跟隨觀察者頭部運動的形式,佩帶頭盔顯示器的人需要在場景中,但是當(dāng)場景不適宜人進入時,考慮將全景成像裝置裝載在單自由度移動機器人上,來代替人在場景中的運動。有很多的場景,如文化古跡,為了防止人為的破壞只能關(guān)閉,卻阻礙了人們對古文化的認(rèn)識和了解,移動式全景成像的增強現(xiàn)實系統(tǒng)可以解決這個問題,讓帶有全景成像系統(tǒng)的單自由度移動機器人在已知的場景中按照規(guī)定的路徑行走,攝取場景圖像,圖像可以由多人共享,在場景之外的地方,每一個佩帶頭盔顯示器的觀察者轉(zhuǎn)動頭部,就可以看到與視線方向一致的場景圖像以及在場景中的指定位置添加的增強信息,幫助用戶觀察景物、了解其名稱和歷史。該系統(tǒng)為增強現(xiàn)實技術(shù)的發(fā)展和應(yīng)用提供了新的思路和領(lǐng)域。目前,對基于全景成像的虛擬現(xiàn)實系統(tǒng)的研究已經(jīng)廣泛展開,但是對基于全景成像的增強現(xiàn)實系統(tǒng)及其應(yīng)用的研究還非常的有限。在國內(nèi)還沒有相關(guān)內(nèi)容的文獻報道。本文將全景成像和單自由度移動機器人的關(guān)鍵技術(shù)應(yīng)用到增強現(xiàn)實中,建立了完整的基于全景成像的增強現(xiàn)實系統(tǒng),并提出圖像共享的概念。實驗表明,本文方法拼合圖像平滑自然,融合效果良好。2系統(tǒng)功能基于移動式全景成像的增強現(xiàn)實系統(tǒng)分為硬件和軟件兩個部分。硬件主要包括多個CCD攝像頭組成的全景圖像采集系統(tǒng)、承載圖像采集系統(tǒng)移動的軌道(單自由度移動機器人)及其運動控制系統(tǒng)、頭盔顯示器、實時頭部跟蹤裝置與一種虛擬多媒體信息添加方式等。軟件系統(tǒng)將實現(xiàn):1)全景圖像的實時自動拼接;2)圖像融合;3)圖像的多用戶實時共享;4)觀察者頭部姿態(tài)的精確跟蹤;5)與觀察者視線一致的全景圖像局部區(qū)域的實時顯示;6)虛擬圖像與真實圖像的精確注冊。3全景圖像的生成3.1nsb-ms-ms算法SIFT(scaleinvariancefeaturetransform)方法屬于基于特征的配準(zhǔn),利用這種方法從圖像中提取出的特征點可以用于物體或場景不同視角下的可靠匹配,匹配精度較高。SIFT主要采用金字塔分層方法,使總的計算量大幅下降,提高了運算的速度。3.1.1高斯用戶差分圖像分層結(jié)構(gòu)由于高斯函數(shù)是唯一的尺度空間內(nèi)核函數(shù),因此用高斯函數(shù)作為卷積核,構(gòu)建圖像的尺度空間函數(shù)。輸入圖像用I(x,y)表示,其尺度空間函數(shù)為L(x,y,σ)=G(x,y,σ)*I(x,y)(1)其中,G(x,y,σ)為高斯函數(shù),表達式為G(x?y?σ)=12πσ2e-(x2+y2)/(2σ2)(2)為了有效地檢測出尺度空間中的穩(wěn)定特征點,引入高斯差分函數(shù)D(x,y,σ)為D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)(3)其中,k是常量。對圖像使用不同的采樣距離以形成金字塔圖像分層結(jié)構(gòu),然后對每層圖像采用不同的高斯濾波因子進行濾波形成高斯金字塔圖像分層結(jié)構(gòu)。在高斯差分金字塔分層結(jié)構(gòu)中,樣本像素點需要和它相鄰的8個像素點以及上下相鄰圖像層中的各9個像素點共26個點進行比較,提取出圖像中的極值點作為候選特征點,并在這些候選特征點中篩選掉其中的低對比度和處于邊緣的特征點,最終提取出穩(wěn)定的特征點。3.1.2創(chuàng)建特征點對于每幅圖像L(x,y,σ),計算出其梯度值和方向。在特征點周圍所在的區(qū)域內(nèi),依據(jù)樣本點的梯度方向生成用36位代表360°方向的方向直方圖,每個樣本點根據(jù)其梯度值的大小,同時還依據(jù)具有參數(shù)σ(值是特征點尺度的1.5倍)的高斯權(quán)重圓窗口而被加到直方圖中。將方向直方圖中的峰值作為該特征點的主方向,在最大值的80%以內(nèi)的其他局部峰值也會被創(chuàng)建具有相同方向的特征點。當(dāng)特征點的位置、尺度和方向被確定后,選用4×4的方向柱狀圖矩陣的描述符,矩陣中每個元素占有8個方向位,用這樣4×4×8=128位的向量可以準(zhǔn)確地描述每個特征點。3.1.3特征點匹配算法由于SIFT算法提取出的特征點具有很高的魯棒性,對于圖像的旋轉(zhuǎn)、縮放、平移以及光線、遮擋等具有不變性,因此可以直接利用特征點間的幾何特性進行特征點間的匹配。采用最近鄰特征點歐氏距離與次近鄰特征點歐氏距離之比值來對特征點進行匹配。用BBF(best-bin-first)算法以很高的概率找到最近鄰點和次近鄰點。最后,用RANSAC(randomsampleconsensus)算法來提純特征點集合,去除野點。3.2小波變換技術(shù)經(jīng)過配準(zhǔn)后的圖像會有明顯的色彩接縫,為了使拼接圖像光滑無縫、渾然一體,傳統(tǒng)的解決方法是在接縫及其附近采用平滑處理,這樣處理的結(jié)果會導(dǎo)致圖像的分辨率下降,使圖像出現(xiàn)模糊的現(xiàn)象。把小波變換引入圖像拼接和鑲嵌技術(shù)中,可以很好地兼顧清晰度和光滑度兩個方面的要求。定義拼接圖像的示性函數(shù),表征圖像參與拼接的程度,利用其在各尺度上的低頻小波分量作為多尺度加權(quán)系數(shù),把兩幅圖像在不同尺度下的小波分量進行平均,然后利用重構(gòu),恢復(fù)整個圖像。傳統(tǒng)的圖像融合方法主要在時間域通過算術(shù)運算實現(xiàn)融合,而基于小波變換的融合算法是在不同頻帶上分別對不同算子進行融合,這個過程和人的視網(wǎng)膜成像過程類似,所以可以獲得與人的視覺特性更為接近的融合效果。3.2.1圖像a的融合系數(shù)利于SIFT算法確定圖像A和B的重疊區(qū)域AB。對于圖像A,其融合系數(shù)T可以確定為ΤA={1像素∈(A-AB)[1?0]像素∈AB0像素∈(B-AB)(4)圖像B的融合系數(shù)和圖像A的融合系數(shù)關(guān)系為TB=1-TA(5)因為小波系數(shù)是以矩陣的形式存放的,所以將上式(5)改寫為TB=E-TA(6)其中,E為單位陣。3.2.2低頻分量和高頻分量利用Mallat算法將兩個圖像、單位陣E以及融合系數(shù)TA分解,得到在各個分辨率下的低頻分量C以及垂直方向、水平方向和對角方向的高頻分量D1、D2和D3。{A∶CA?D1A?D2A?D3A};{B∶CB?D1B?D2B?D3B};{ΤA∶CΤ?D1Τ?D2Τ?D3Τ};{E∶CE?D1E?D2E?D3E}。融合圖像的低頻分量和高頻分量按{C=CΤCA+(CE-CΤ)CBD1=CΤD1A+(CE-CΤ)D1BD2=CΤD2A+(CE-CΤ)D2BD3=CΤD3A+(CE-CΤ)D3B(7)求得。然后,利用Mallat重構(gòu)算法合成融合圖像。3.3材料用戶使用以往的增強現(xiàn)實系統(tǒng),都是攝像頭攝取的圖像只供給1個佩戴頭盔顯示器的用戶使用。在本文,對于圖像采集裝置和頭盔顯示器分離的情況,提出了全景圖像的多用戶實時共享的概念,這就要在系統(tǒng)的硬件方面采取措施,來改變傳統(tǒng)增強現(xiàn)實系統(tǒng)單用戶的狀況。3.4局部圖像的顯示當(dāng)觀察者的頭部運動時,要截取全景圖像中與觀察者視線一致的局部圖像顯示到頭盔顯示器上,增強時就只需在此局部圖像上添加虛擬的增強圖像,可以降低渲染的時間,增加實時性。目前,我們的實驗結(jié)果,局部圖像的顯示會比頭部的運動有滯后,距離實時性的要求有一定的距離,還不能達到完全的實時,這會影響觀看的效果。提高圖像拼接融合算法的速度,改進系統(tǒng)的硬件設(shè)施,是縮短滯后時間,達到實時效果的關(guān)鍵。4[光軸外參數(shù)矩陣]的定義采用基于計算機視覺的跟蹤方式,在觀察者頭部設(shè)立4個位于同一平面的紅外標(biāo)志點,在頭部的上方放置帶有濾光片的攝像頭,來攝取和識別標(biāo)志點,通過標(biāo)志點像點與三維點的坐標(biāo)來跟蹤觀察者頭部的位姿。設(shè)標(biāo)志點在真實世界中的原始三維坐標(biāo)為(X,Y,Z,1),假定標(biāo)志點總是位于Z=0的平面上。則標(biāo)志點的世界坐標(biāo)為(X,Y,0,1),其與像點坐標(biāo)(u,v,1)的對應(yīng)關(guān)系為[uv1]=[fxspx0fypy001]*[Rt]*[XY01]=Κ*m*[XY01](8)其中,K為攝像機內(nèi)參數(shù)矩陣,S是一尺度因子;(R,t)稱為攝像機的外參,是攝像機坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)和平移矩陣。(u0,v0)稱為主點,是光軸與圖像平面交點的坐標(biāo),fu和fv是圖像坐標(biāo)系中u和v的尺度因子,也就是焦距f與像素點在u和v方向上寬度的比值?？梢詷?biāo)定得出M為攝像機外參數(shù)矩陣,也是我們要求的位姿矩陣。定義歸一化的圖像坐標(biāo)為[xy1]=Κ-1[uv1](9)將式(9)代入式(8)得到[xy1]=[Rt]*[XY01]=Μ*[XY01](10)設(shè)R=[r1r2r3r4r5r6r7r8r9]?t=[txtytz](11)將式(11)代入式(10)得[xy1]=[r1r2r3txr4r5r6tyr7r8r9tx][XY01](12)展開式(12)有{x=r1*X+r2*Y+txr7*X+r8*Y+tzy=r4*X+r5*Y+tyr7*X+r8*Y+tz(13)每一個標(biāo)志點可以獲得與攝像機位置參數(shù)相關(guān)的兩個方程,將4個點的坐標(biāo)代入式(13)就可以求得M矩陣,確定標(biāo)志點平面的位姿,以達到跟蹤觀察者視線方向的目的。5圖像融合處理實驗首先用實驗驗證全景成像方法,如圖1所示,選擇在室外拍攝的兩幅具有重疊區(qū)域的圖像,將其光亮度調(diào)得差異比較大。利用SIFT算法提取兩幅圖像的特征點并進行特征點匹配,在第1幅圖中找到1086個特征點,在第2幅圖中找到987個特征點,搜索匹配點并去除誤匹配后,得到152個匹配的特征點,圖2是匹配的結(jié)果,可以明顯看出匹配基本準(zhǔn)確。利用配對的特征點求得兩幅圖像間的映射關(guān)系(轉(zhuǎn)換矩陣),確定重合區(qū)域,然后進行圖像的融合處理。圖3是對比實驗,采用像素值加權(quán)融合方法,得到的圖像拼接區(qū)域簡單的綜合了兩幅圖像的信息,和其他區(qū)域的過渡部分亮度不均勻,效果不理想。圖4是利用本文方法的實驗結(jié)果,采用的是Bior雙正交小波基,拼合圖像平滑自然,融合的效果良好。用均值和方差對融合效果進行客觀分析,在統(tǒng)計理論中,統(tǒng)計均值?μ、標(biāo)準(zhǔn)方差?σ定義為?μ=1nn∑i=1xi(14)?σ2=1n-1n∑i=1(xi-?μ)2(15)其中:n為樣本總數(shù);xi為第i個樣本值。若對某一幅圖像,n為像素總數(shù),xi為第i個像素的灰度值,則均值為像素的灰度平均值,對人眼反映即為平均亮度。如果均值適中(灰度值在128附近),則視覺效果良好。方差反映了灰度相對于灰度均值的離散情況,方差越大,則灰度級分布越分散。此時,圖像中所有灰度級出現(xiàn)的概率趨于相等,從而包含的信息量越趨于最大。從表1中可以看出,本文方法得到的融合圖像均值更接近128,方差值大于像素值加權(quán)的融合圖像,說明其視覺效果好且包含的信息量大。然后,利用攝像機拍攝動態(tài)景物,并且在一幢指定大樓上疊加虛擬物體,圖5是用virtools軟件完成的實時渲染效果。6圖像采集