




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
基于圖像的VR技術(shù)VR的兩種研究方法簡介VR的兩種研究方法:方法一:基于幾何的繪制該方法有時也被稱為基于模型的方法傳統(tǒng)上,一個虛擬環(huán)境是由各類3D幾何體合成的。在虛擬環(huán)境中漫游是通過實時繪制2D幾何體實現(xiàn)的。首先對場景建立三維幾何模型,對場景中各個物體的材料、光照、紋理、消隱等因素進行描述;然后根據(jù)觀察者位置和觀察角度生成場景中各個物體的圖象,用圖形學方法進行繪制;最后用光線跟蹤或紋理映射的方法增加真實感,同時對物體進行著色、上光、粘貼材質(zhì)、判斷遮擋、填充空洞等處理?;趲缀卫L制的方法此方法有3個主要問題:第一,幾何體的建模是一個非常繁瑣的問題。其次,由于漫游需要實時顯示,因此限制了場景的復雜性和繪制的質(zhì)量。最后,加速繪制所需要的專門硬件極其昂貴,因此限制了虛擬現(xiàn)實的發(fā)展。
基于幾何的繪制方法的工作流程基于圖像繪制技術(shù)VR的兩種研究方法:方法二:基于圖像的建模和繪制(ImageBasedModelingandRendering,簡稱IBMR,簡寫為IBR)
從已知的圖像中合成新視圖來構(gòu)成虛擬環(huán)境,IBMR方法有以下優(yōu)點:建模容易:把不同視線方向、不同位置拍攝的照片數(shù)據(jù)按某種形式組織起來表示場景,如全景圖像和光場,這就是IBMR意義下的所謂建模。繪制快:不需要復雜的計算,直接從已有的視圖中合成新的視圖,整個繪制過程都在二維空間進行,繪制時間不依賴于場景的復雜度,只跟顯示分辨率有關(guān)。
真實感強:基于圖像的方法能真實地反映景物的形狀和豐富的明暗、材料及紋理細節(jié),不需要經(jīng)過額外的光照模擬。
交互性好:由于有繪制速度和真實感的保證,再加之先進的交互設(shè)備和反饋技術(shù),使得基于圖像的VR有更好的交互性。當然,IBR方法也并非沒有不足,目前還有如下缺點:1)表示模式。即數(shù)據(jù)的組織問題。需要找到一種簡便有效且適合于計算機表示的模式,使之能精確完整地表示整個場景;2)獲取方法。用手持相機或者用被精確定位與控制的數(shù)控攝像機、圖象采樣的數(shù)量多少、采樣模式及樣本均勻性等都會影響問題的難度和精度。3)失真問題失真是由于連續(xù)圖象信號的離散化、采樣設(shè)備的精度和質(zhì)量、設(shè)備噪等多種因素而產(chǎn)生的。同時,工BR方法不可避免地要對場景圖象進行多重采樣,這樣又會產(chǎn)生采樣積累誤差。4)可見性判斷。景物間的相互遮擋會使新合成的視圖中出現(xiàn)空洞和重疊。5)信息壓縮。IBR方法的計算量不大,但數(shù)據(jù)量很大,合理有效的壓縮及解壓縮機制是一個亞待解決的問題。6)完全漫游。如何實現(xiàn)基于圖象的完全實時漫游是基于IBR方法的虛擬現(xiàn)實系統(tǒng)能否走向?qū)嵱玫挠忠粋€關(guān)鍵問題?;趫D像的建模和繪制技術(shù)基于立體視覺的方法基于視圖插值的方法基于圖像拼合和分層的方法基于全視函數(shù)的方法基于立體視覺的方法基于立體視覺的視圖合成方法主要利用立體視覺技術(shù)從已知的參考圖像中合成相對于新視點的理想圖像
關(guān)鍵問題是找出每對已知圖像之間的對應映射,即解決立體匹配問題
通過對應關(guān)系建立了一個基于圖像的場景表示將場景視圖及其對應關(guān)系組成一個圖結(jié)構(gòu),圖中灰色攝像機代表不同物理位置的參考圖像,黑色攝像機代表合成視圖,雙向邊表示鄰接視圖間的立體對應關(guān)系,單向邊表示對參考圖像所做的變換。
基于圖像的建模和繪制技術(shù)1基于立體視覺的方法基于立體視覺的圖像合成方法主要有以下優(yōu)點:新視圖可以由兩幅鄰近的參考圖像及它們的對應關(guān)系合成,整體的幾何模型不是必需的;圖像變換比傳統(tǒng)的圖像繪制快得多,而且計算時間獨立于場景復雜度;只需知道鄰接攝像機之間的相對輪廓信息,而不需要對攝像機進行精確的定標?;诹Ⅲw視覺的圖像合成方法也存在著立體視覺中固有的缺陷:由于場景有可能部分和全部地被遮擋,只能掌握場景有限的信息,導致在參考圖中不可見而在新圖中應該可見的區(qū)域出現(xiàn)空洞,如何填補這些空洞是一個難以解決的問題;由于只產(chǎn)生有限的深度分辨率(深度不連續(xù)),使得匹配處理出現(xiàn)誤差。視圖插值方法可以對二維的圖像按照形狀插值來模擬和近似三維的圖形變換。給定兩幅不同視點參數(shù)的圖像,用這種方法可以求出中間視點的圖像,從而達到視點變化的效果。視圖插值就是利用圖像變形的方法產(chǎn)生視點沿著一定路徑變化時的中間圖像
基于圖像的建模和繪制技術(shù)2基于視圖插值的方法將同一場景的多張有重疊的圖像組合成一幅較大圖像的處理叫做拼合(mosaic)。圖像拼合技術(shù)典型地被用于全景圖的生成、改善圖像分辨率、圖像壓縮及視頻擴展等方面圖像整合(imageregistration),即是把參考圖像中相互重疊的部分對齊所做的變換。基于圖像的建模和繪制技術(shù)3圖像拼合和分層的方法全視函數(shù)(PlenOpticFunction)是由Adelson和Bergen命名的全視函數(shù)描述了觀察點(而非物體或光源)接收到的所有可見光輻射的能量。用計算機圖形學術(shù)語,它描述了給定場景中所有可能的環(huán)境映照集合
全視函數(shù)定義在一個七維的參數(shù)空間上
代表空間中視點的位置,視域方向和范圍用仰角
方位角
定義,
λ代表人眼感受到的波長,t代表時間基于圖像的建模和繪制技術(shù)4基于全視函數(shù)的方法
全視函數(shù)的參數(shù)化
攝像機:模型及定標攝像機模型針孔成像模型(幾何)幾種參考坐標系成像過程(代數(shù))攝像機定標線性模型攝像機定標非線性模型攝像機定標立體視覺攝像機定標一、Camera模型:針孔成像模型圖像上每一點的亮度反映了空間物體表面某點反射光的強度,而該點在圖像上的位置則與空間物體表面相應點的幾何位置有關(guān)。這些位置的相互關(guān)系,由攝像機成像幾何模型所決定;該幾何模型的參數(shù)稱為攝像機參數(shù),必須由實驗與計算來確定,實驗與計算過程稱為攝像機定標;攝像機模型是光學成像幾何關(guān)系的簡化。最簡單的模型為線性模型,亦稱為針孔模型(pin-holemodel)攝像機針孔模型示意圖Camera模型:四種參考坐標系Image坐標系camera坐標系world坐標系(物理/計算機)Camera模型:代數(shù)模型成像過程旋轉(zhuǎn)、平移(歐氏變換)(1)從world坐標到Camera坐標齊次坐標概念:Camera模型:代數(shù)模型(2)經(jīng)透視投影將Camera坐標投影到實際圖像平面透視投影(中心射影):Camera模型:代數(shù)模型(3)將實際圖像坐標轉(zhuǎn)換成計算機圖像坐標(縮放變換)Image坐標系代數(shù)表達:為計算機圖像坐標(象素單位)為實際圖像坐標(物理單位)Camera模型:代數(shù)模型完整過程攝像機定標:求解二、Camera定標目標基本原理定標參照物線性模型非線性模型立體視覺自定標(project)實例機器人手眼定標主動視覺的頭眼定標Camera定標:線性模型情形
Camera的完整代數(shù)模型:其中::
為3X4矩陣,稱為投影矩陣;:由(只與攝像機內(nèi)部結(jié)構(gòu)有關(guān))決定,稱為攝像機內(nèi)部參數(shù);:由攝像機相對于世界坐標系的方位決定,稱為攝像機外部參數(shù);Camera定標:確定某攝像機的條件:借助定標參照物(已知n個點)攝像機定標算法(線性模型情形)最小二乘法Camera定標:非線性模型情形徑向畸變離心畸變薄棱鏡畸變?nèi)鐝V角鏡頭系統(tǒng)Camera定標:立體視覺情形極線概念Camera定標:立體視覺情形消去消去Camera定標:立體視覺情形:基本矩陣外極線方程:Camera定標自定標不使用定標參照物針孔攝像機模型及坐標系
全景圖像的生成圖像拼合主要包含兩個問題:一是圖像整合,即把參考圖像中相互重疊的部分對齊所做的變換;二是圖像縫合,即把圖像經(jīng)過一定的變換后,在縫合空間進行圖像的局部匹配。通過圖象拼接來生成全景圖象的基本過程如下:針對某一場景,視點固定,采集一組有重疊區(qū)域的連續(xù)環(huán)視圖象作為原始圖象數(shù)據(jù)。按照全景視覺一致性的要求,同時也是為了維持實際場景中的空間約束關(guān)系,先將原始圖象數(shù)據(jù)轉(zhuǎn)化為拼接圖象數(shù)據(jù),即:把原始圖象轉(zhuǎn)換到用于映射全景圖象的曲面上(如:圓柱面、球面、立方體表面等)。通過圖象拼接技術(shù),將這組圖象中相鄰兩幅圖象間的重疊部分整合在一起,進而實現(xiàn)相鄰兩幅圖象的拼接。當所有的圖象都拼接完畢后,就會獲得一幅全景圖象。當然也可以不固定視點,如:手持照相機進行拍攝,但此時要通過某種辦法計算出拍攝各張相片時,照相機的位置和方位柱面全景模型柱面全景模型(圖a)就是將環(huán)境圖像表達在一個圓柱體面上,這樣就很容易將它展開為簡單的平面圖(圖b)。在水平方向上其無表面無邊界,從而簡化了建立圖像流場所需的對應關(guān)系搜索。通過旋轉(zhuǎn)攝影的方法,可以獲得一系列相互間有一定接縫的局部圖像,以此作為全景圖像生成的原始輸入。柱面體模型和展開示意圖1、柱面正投影算法在拼接全景圖像之前必須將他們統(tǒng)一投影到柱面上,使現(xiàn)實世界中相同的景物在不同的局部圖像中是相同的。柱面正投影算法是為了將多張實景圖像分別投影到一個柱面上,以柱面全景圖像的形式存儲,就是對于一張拍攝的實景圖像I上的每一個象素點P的坐標(x,y),找到其在圓柱體上的投影點Q(u,v,w)在柱面全景圖像中的坐標(x’,y’)。如下圖2-9所示。P在照相機坐標系下的坐標為:(x-W/2,y-H/2,-f),其中,W和H分別是實景圖像I的寬度和高度。把圓柱面的中心設(shè)為照相機坐標系的原點0,以數(shù)碼相機的象素焦距f作為圓柱面的半徑。柱面正投影示意圖柱面坐標轉(zhuǎn)換圖照相機坐標系原點0與象素點P的直線方程可以表示為參數(shù)方程(t是參數(shù)):圓柱面的方程可以表示為:聯(lián)立上面式即可得到P點在圓柱面上投影點Q的參數(shù)坐標:為了便于存儲,將此三維的坐標轉(zhuǎn)換為二維的圖像坐標:1、柱面全景圖像的拼接圖像的整合一般圖像整合問題可以形式化定義為其中I1和I2分別代表兩個圖像樣本,M是一個平面投影變換或攝像機定點旋轉(zhuǎn)拍攝時兩幅重疊圖像間的變換矩陣,用齊次坐標表示如下:
因為兩個圖像具有共同的視點,所以m9=1,即假如M能得到,我們就可準確地將兩幅圖像拼合。
(1)特征點的提取及相關(guān)匹配算法
特征點的提取及匹配算法的目的是提取圖像的特征點,然后對兩幅圖像中的特征點進行盡可能準確的匹配。主要包含以下三步:首先提取每幅圖像的特征點;然后通過一定的相關(guān)準則對兩幅圖像的特征點集進行初步匹配;最后通過全局優(yōu)化策略在初始匹配集中尋找最佳匹配
(a)角點檢測(CornerDetection)選取的特征點為圖像上的Harris角點,它的基本原理描述如下,建立下面的矩陣C
其中I(x,y)是亮度值,這里用灰度來表示
如果在一點上矩陣C的兩個特征值很大,則在該點向任意方向上的一個很小的移動都會引起灰度值的較大的變化角點檢測的函數(shù)如下:其中k參數(shù)設(shè)為0.04(Harris設(shè)定的最優(yōu)參數(shù))。局部區(qū)域中對應角點函數(shù)的最大值的點就是角點。確定一個閾值,僅僅選取R值大于這個閾值的點作為角點。這個閾值根據(jù)需要的角點數(shù)量確定(2)相關(guān)匹配法匹配過程如下:在一幅圖像中選擇一個角點以及角點周圍小區(qū)域的像素,把這些像素同第二幅圖像中候選角點及周圍相同大小的區(qū)域像素進行比較,得到一些相似度量值,最后通過這些度量值確定匹配點。角點的匹配過程是一個病態(tài)問題。一些角點不能得到匹配點,這是因為第一,待匹配的角點有一些非常相似,可能得到錯誤的匹配點。第二,兩幅圖像中求出的角點并不是一一對應的,存在一些角點在另一幅圖像中的匹配點沒有檢測出來。相關(guān)匹配法對于圖像I1中的角點m1,設(shè)其坐標為(x1,y1),并以該點為中心定義一個大小為(2n+1)′(2m+1)的相關(guān)窗口。選擇第二幅圖像I2中的矩形搜索窗口為在該點附近大小為(2dx+1)′(2dy+1)的窗口,然后用該區(qū)域中的所有角點m2與圖像I1中的角點m1在給定的相關(guān)窗口中進行相關(guān)操作,并設(shè)m2的坐標為(x2,y2)。角點m1和m2的相關(guān)值Score定義如下
表示相關(guān)窗口內(nèi)像素灰度均值,定義為,k=1,2.
則表示圖像Ik在以點(xk,yk)為中心,大小為(2n+1)′(2m+1)的鄰域內(nèi)的標準偏差,其表達式為相關(guān)值Score(m1,m2)的取值范圍從-1到1,當點m1與m2越相似,相關(guān)值Score(m1,m2)也就越大(3)松弛法通過對匹配點的匹配強度進行松弛法迭代來去除模糊的匹配點對。
M矩陣的魯棒求解由于M只有8個未知參數(shù),而一對匹配點可以構(gòu)成兩個方程,所以如果我們有四對匹配點,i=1,2,3,4,便可得到下面的方程組
用下式求得變換矩陣M后,可定義如下的誤差函數(shù)來衡量M的準確程度其中,n為匹配點的數(shù)目,ei為第i對匹配點的誤差,定義如下
其中圖像的縫合在求得圖像序列的變換矩陣M后,要將相鄰照片依次拼接形成圓柱面全景圖,需要處理以下三個問題:恢復攝像機焦距,將照片序列投影到圓柱面;查找變換后圖像的重疊區(qū)域;對圖像的色彩融合。攝像機焦距的求解Ii和Ii+1是相鄰的兩幅照片,圖Ii的中心點Oi在Ii+1中的對應點是Pi+1。根據(jù)Ii到Ii+1的變換矩陣Mi,并由此計算Pi+1到Oi+1的距離ti。攝像機焦距f、攝像機幀間轉(zhuǎn)角Hi與ti之間有如下關(guān)系:Hi=arctan(ti/f)。如果圖片1,2,…,N是攝像機環(huán)繞垂直軸旋軸360°攝取的如圖所示的依次相鄰的圖片序列,那么有如下等式成立,用牛頓迭代法解方程(5-1
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 檢驗質(zhì)量報告范文
- 施工人員個人半年計劃
- 二零二五家庭房產(chǎn)分配與共有權(quán)轉(zhuǎn)讓及子女贍養(yǎng)協(xié)議
- 二零二五年度房屋無償贈與及環(huán)保改造合同
- 二零二五年度可再生能源電工員工合作協(xié)議
- 二零二五年度房屋買賣及室內(nèi)空氣凈化服務合同
- 二零二五年度公司管理人員健康管理與聘用合同
- 2025年度輔導班家長學生國際視野拓展協(xié)議
- 2025年度物流合同賬戶變更補充協(xié)議
- 二零二五年度個人與企業(yè)民間借貸合同模板
- 子宮內(nèi)膜癌教學查房
- 預防深靜脈血栓VTE持續(xù)改進QCC品管圈PDCA案例3例
- 水環(huán)境綜合治理服務方案(技術(shù)標)
- 【原創(chuàng)】頭腦特工隊開的那些心理學腦洞
- 美甲藝術(shù)全套教學課件
- 高等數(shù)學上冊目錄同濟第七版
- 中國古代餐具
- 電動執(zhí)行機構(gòu)安裝施工工藝標準
- 施工日志模板
- 粗原料氣的凈化-二氧化碳的脫除(合成氨生產(chǎn))
- Agilent7820A氣相色譜儀操作規(guī)程知識講解
評論
0/150
提交評論