基于圖像的VR技術(shù)課件

基于圖像的VR技術(shù)基于圖像的VR技術(shù)1VR的兩種研究方法簡(jiǎn)介VR的兩種研究方法：方法一：基于幾何的繪制該方法有時(shí)也被稱為基于模型的方法傳統(tǒng)上，一個(gè)虛擬環(huán)境是由各類3D幾何體合成的。在虛擬環(huán)境中漫游是通過實(shí)時(shí)繪制2D幾何體實(shí)現(xiàn)的。首先對(duì)場(chǎng)景建立三維幾何模型，對(duì)場(chǎng)景中各個(gè)物體的材料、光照、紋理、消隱等因素進(jìn)行描述；然后根據(jù)觀察者位置和觀察角度生成場(chǎng)景中各個(gè)物體的圖象，用圖形學(xué)方法進(jìn)行繪制；最后用光線跟蹤或紋理映射的方法增加真實(shí)感，同時(shí)對(duì)物體進(jìn)行著色、上光、粘貼材質(zhì)、判斷遮擋、填充空洞等處理。VR的兩種研究方法簡(jiǎn)介VR的兩種研究方法：2基于幾何繪制的方法此方法有3個(gè)主要問題：第一，幾何體的建模是一個(gè)非常繁瑣的問題。其次，由于漫游需要實(shí)時(shí)顯示，因此限制了場(chǎng)景的復(fù)雜性和繪制的質(zhì)量。最后，加速繪制所需要的專門硬件極其昂貴，因此限制了虛擬現(xiàn)實(shí)的發(fā)展。

基于幾何繪制的方法3基于幾何的繪制方法的工作流程基于幾何的繪制方法的工作流程4基于圖像繪制技術(shù)VR的兩種研究方法：方法二：基于圖像的建模和繪制(ImageBasedModelingandRendering，簡(jiǎn)稱IBMR，簡(jiǎn)寫為IBR)

從已知的圖像中合成新視圖來構(gòu)成虛擬環(huán)境，IBMR方法有以下優(yōu)點(diǎn)：建模容易：把不同視線方向、不同位置拍攝的照片數(shù)據(jù)按某種形式組織起來表示場(chǎng)景，如全景圖像和光場(chǎng)，這就是IBMR意義下的所謂建模。繪制快：不需要復(fù)雜的計(jì)算，直接從已有的視圖中合成新的視圖，整個(gè)繪制過程都在二維空間進(jìn)行，繪制時(shí)間不依賴于場(chǎng)景的復(fù)雜度，只跟顯示分辨率有關(guān)。

真實(shí)感強(qiáng)：基于圖像的方法能真實(shí)地反映景物的形狀和豐富的明暗、材料及紋理細(xì)節(jié)，不需要經(jīng)過額外的光照模擬。

交互性好：由于有繪制速度和真實(shí)感的保證，再加之先進(jìn)的交互設(shè)備和反饋技術(shù)，使得基于圖像的VR有更好的交互性?；趫D像繪制技術(shù)VR的兩種研究方法：5當(dāng)然，IBR方法也并非沒有不足，目前還有如下缺點(diǎn)：1)表示模式。即數(shù)據(jù)的組織問題。需要找到一種簡(jiǎn)便有效且適合于計(jì)算機(jī)表示的模式，使之能精確完整地表示整個(gè)場(chǎng)景;2)獲取方法。用手持相機(jī)或者用被精確定位與控制的數(shù)控?cái)z像機(jī)、圖象采樣的數(shù)量多少、采樣模式及樣本均勻性等都會(huì)影響問題的難度和精度。3)失真問題失真是由于連續(xù)圖象信號(hào)的離散化、采樣設(shè)備的精度和質(zhì)量、設(shè)備噪等多種因素而產(chǎn)生的。同時(shí)，工BR方法不可避免地要對(duì)場(chǎng)景圖象進(jìn)行多重采樣，這樣又會(huì)產(chǎn)生采樣積累誤差。4)可見性判斷。景物間的相互遮擋會(huì)使新合成的視圖中出現(xiàn)空洞和重疊。5)信息壓縮。IBR方法的計(jì)算量不大，但數(shù)據(jù)量很大，合理有效的壓縮及解壓縮機(jī)制是一個(gè)亞待解決的問題。6)完全漫游。如何實(shí)現(xiàn)基于圖象的完全實(shí)時(shí)漫游是基于IBR方法的虛擬現(xiàn)實(shí)系統(tǒng)能否走向?qū)嵱玫挠忠粋€(gè)關(guān)鍵問題。當(dāng)然，IBR方法也并非沒有不足，目前還有如下缺點(diǎn)：6基于圖像的建模和繪制技術(shù)基于立體視覺的方法基于視圖插值的方法基于圖像拼合和分層的方法基于全視函數(shù)的方法基于圖像的建模和繪制技術(shù)基于立體視覺的方法7基于立體視覺的方法基于立體視覺的視圖合成方法主要利用立體視覺技術(shù)從已知的參考圖像中合成相對(duì)于新視點(diǎn)的理想圖像

關(guān)鍵問題是找出每對(duì)已知圖像之間的對(duì)應(yīng)映射，即解決立體匹配問題

通過對(duì)應(yīng)關(guān)系建立了一個(gè)基于圖像的場(chǎng)景表示將場(chǎng)景視圖及其對(duì)應(yīng)關(guān)系組成一個(gè)圖結(jié)構(gòu)，圖中灰色攝像機(jī)代表不同物理位置的參考圖像，黑色攝像機(jī)代表合成視圖，雙向邊表示鄰接視圖間的立體對(duì)應(yīng)關(guān)系，單向邊表示對(duì)參考圖像所做的變換。

基于圖像的建模和繪制技術(shù)1基于立體視覺的方法基于立體視覺的方法基于圖像的建模和繪制技術(shù)8基于立體視覺的圖像合成方法主要有以下優(yōu)點(diǎn)：新視圖可以由兩幅鄰近的參考圖像及它們的對(duì)應(yīng)關(guān)系合成，整體的幾何模型不是必需的；圖像變換比傳統(tǒng)的圖像繪制快得多，而且計(jì)算時(shí)間獨(dú)立于場(chǎng)景復(fù)雜度；只需知道鄰接攝像機(jī)之間的相對(duì)輪廓信息，而不需要對(duì)攝像機(jī)進(jìn)行精確的定標(biāo)?；诹Ⅲw視覺的圖像合成方法主要有以下優(yōu)點(diǎn)：9基于立體視覺的圖像合成方法也存在著立體視覺中固有的缺陷：由于場(chǎng)景有可能部分和全部地被遮擋，只能掌握?qǐng)鼍坝邢薜男畔?，?dǎo)致在參考圖中不可見而在新圖中應(yīng)該可見的區(qū)域出現(xiàn)空洞，如何填補(bǔ)這些空洞是一個(gè)難以解決的問題；由于只產(chǎn)生有限的深度分辨率(深度不連續(xù))，使得匹配處理出現(xiàn)誤差。基于立體視覺的圖像合成方法也存在著立體視覺中固有的缺陷：10視圖插值方法可以對(duì)二維的圖像按照形狀插值來模擬和近似三維的圖形變換。給定兩幅不同視點(diǎn)參數(shù)的圖像，用這種方法可以求出中間視點(diǎn)的圖像，從而達(dá)到視點(diǎn)變化的效果。視圖插值就是利用圖像變形的方法產(chǎn)生視點(diǎn)沿著一定路徑變化時(shí)的中間圖像

基于圖像的建模和繪制技術(shù)2基于視圖插值的方法視圖插值方法可以對(duì)二維的圖像按照形狀插值來模擬和近似三維的圖11將同一場(chǎng)景的多張有重疊的圖像組合成一幅較大圖像的處理叫做拼合(mosaic)。圖像拼合技術(shù)典型地被用于全景圖的生成、改善圖像分辨率、圖像壓縮及視頻擴(kuò)展等方面圖像整合(imageregistration),即是把參考圖像中相互重疊的部分對(duì)齊所做的變換。基于圖像的建模和繪制技術(shù)3圖像拼合和分層的方法將同一場(chǎng)景的多張有重疊的圖像組合成一幅較大圖像的處理叫做拼合12第7章基于圖像的VR技術(shù)課件13全視函數(shù)(PlenOpticFunction)是由Adelson和Bergen命名的全視函數(shù)描述了觀察點(diǎn)(而非物體或光源)接收到的所有可見光輻射的能量。用計(jì)算機(jī)圖形學(xué)術(shù)語，它描述了給定場(chǎng)景中所有可能的環(huán)境映照集合

全視函數(shù)定義在一個(gè)七維的參數(shù)空間上

代表空間中視點(diǎn)的位置，視域方向和范圍用仰角

方位角

定義，λ代表人眼感受到的波長(zhǎng),t代表時(shí)間基于圖像的建模和繪制技術(shù)4基于全視函數(shù)的方法

全視函數(shù)(PlenOpticFunction)是由Adel14全視函數(shù)的參數(shù)化

全視函數(shù)的參數(shù)化15攝像機(jī)：模型及定標(biāo)攝像機(jī)模型針孔成像模型（幾何）幾種參考坐標(biāo)系成像過程（代數(shù)）攝像機(jī)定標(biāo)線性模型攝像機(jī)定標(biāo)非線性模型攝像機(jī)定標(biāo)立體視覺攝像機(jī)定標(biāo)攝像機(jī)：模型及定標(biāo)攝像機(jī)模型16一、Camera模型：針孔成像模型圖像上每一點(diǎn)的亮度反映了空間物體表面某點(diǎn)反射光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面相應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機(jī)成像幾何模型所決定；該幾何模型的參數(shù)稱為攝像機(jī)參數(shù)，必須由實(shí)驗(yàn)與計(jì)算來確定，實(shí)驗(yàn)與計(jì)算過程稱為攝像機(jī)定標(biāo)；攝像機(jī)模型是光學(xué)成像幾何關(guān)系的簡(jiǎn)化。最簡(jiǎn)單的模型為線性模型，亦稱為針孔模型(pin-holemodel)一、Camera模型：針孔成像模型圖像上每一點(diǎn)的亮度反映了17攝像機(jī)針孔模型示意圖攝像機(jī)針孔模型示意圖18Camera模型：四種參考坐標(biāo)系Image坐標(biāo)系camera坐標(biāo)系world坐標(biāo)系（物理/計(jì)算機(jī)）Camera模型：四種參考坐標(biāo)系Image坐標(biāo)系camera19Camera模型：代數(shù)模型成像過程旋轉(zhuǎn)、平移（歐氏變換）(1)從world坐標(biāo)到Camera坐標(biāo)齊次坐標(biāo)概念：Camera模型：代數(shù)模型成像過程旋轉(zhuǎn)、平移（歐氏變換）(120Camera模型：代數(shù)模型(2)經(jīng)透視投影將Camera坐標(biāo)投影到實(shí)際圖像平面透視投影（中心射影）：Camera模型：代數(shù)模型(2)經(jīng)透視投影將Camera坐標(biāo)21Camera模型：代數(shù)模型(3)將實(shí)際圖像坐標(biāo)轉(zhuǎn)換成計(jì)算機(jī)圖像坐標(biāo)(縮放變換)Image坐標(biāo)系代數(shù)表達(dá)：為計(jì)算機(jī)圖像坐標(biāo)（象素單位）為實(shí)際圖像坐標(biāo)（物理單位）Camera模型：代數(shù)模型(3)將實(shí)際圖像坐標(biāo)轉(zhuǎn)換成計(jì)算機(jī)圖22Camera模型：代數(shù)模型完整過程攝像機(jī)定標(biāo)：求解Camera模型：代數(shù)模型完整過程攝像機(jī)定標(biāo)：求解23二、Camera定標(biāo)目標(biāo)基本原理定標(biāo)參照物線性模型非線性模型立體視覺自定標(biāo)(project)實(shí)例機(jī)器人手眼定標(biāo)主動(dòng)視覺的頭眼定標(biāo)二、Camera定標(biāo)目標(biāo)24Camera定標(biāo)：線性模型情形Camera的完整代數(shù)模型：Camera定標(biāo)：線性模型情形Camera的完整代數(shù)模型：25其中：:

為3X4矩陣，稱為投影矩陣;:由（只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)）決定，稱為攝像機(jī)內(nèi)部參數(shù);:由攝像機(jī)相對(duì)于世界坐標(biāo)系的方位決定，稱為攝像機(jī)外部參數(shù);Camera定標(biāo)：確定某攝像機(jī)的其中：:為3X4矩陣，稱為投影矩陣;:由26條件：借助定標(biāo)參照物（已知n個(gè)點(diǎn)）攝像機(jī)定標(biāo)算法（線性模型情形）條件：借助定標(biāo)參照物（已知n個(gè)點(diǎn)）攝像機(jī)定標(biāo)算法（線性模型情27最小二乘法最小二乘法28第7章基于圖像的VR技術(shù)課件29Camera定標(biāo)：非線性模型情形徑向畸變離心畸變薄棱鏡畸變?nèi)鐝V角鏡頭系統(tǒng)Camera定標(biāo)：非線性模型情形徑向畸變離心畸變薄棱鏡畸變?nèi)?0Camera定標(biāo)：立體視覺情形極線概念Camera定標(biāo)：立體視覺情形極線概念31Camera定標(biāo)：立體視覺情形消去消去Camera定標(biāo)：立體視覺情形消去消去32Camera定標(biāo)：立體視覺情形：基本矩陣外極線方程：Camera定標(biāo)：立體視覺情形：基本矩陣外極線方程：33Camera定標(biāo)自定標(biāo)不使用定標(biāo)參照物Camera定標(biāo)自定標(biāo)34針孔攝像機(jī)模型及坐標(biāo)系

針孔攝像機(jī)模型及坐標(biāo)系35第7章基于圖像的VR技術(shù)課件36全景圖像的生成圖像拼合主要包含兩個(gè)問題：一是圖像整合，即把參考圖像中相互重疊的部分對(duì)齊所做的變換；二是圖像縫合，即把圖像經(jīng)過一定的變換后，在縫合空間進(jìn)行圖像的局部匹配。全景圖像的生成圖像拼合主要包含兩個(gè)問題：37通過圖象拼接來生成全景圖象的基本過程如下:針對(duì)某一場(chǎng)景，視點(diǎn)固定，采集一組有重疊區(qū)域的連續(xù)環(huán)視圖象作為原始圖象數(shù)據(jù)。按照全景視覺一致性的要求，同時(shí)也是為了維持實(shí)際場(chǎng)景中的空間約束關(guān)系，先將原始圖象數(shù)據(jù)轉(zhuǎn)化為拼接圖象數(shù)據(jù)，即:把原始圖象轉(zhuǎn)換到用于映射全景圖象的曲面上(如:圓柱面、球面、立方體表面等)。通過圖象拼接技術(shù)，將這組圖象中相鄰兩幅圖象間的重疊部分整合在一起，進(jìn)而實(shí)現(xiàn)相鄰兩幅圖象的拼接。當(dāng)所有的圖象都拼接完畢后，就會(huì)獲得一幅全景圖象。當(dāng)然也可以不固定視點(diǎn)，如:手持照相機(jī)進(jìn)行拍攝，但此時(shí)要通過某種辦法計(jì)算出拍攝各張相片時(shí)，照相機(jī)的位置和方位通過圖象拼接來生成全景圖象的基本過程如下:38柱面全景模型柱面全景模型(圖a)就是將環(huán)境圖像表達(dá)在一個(gè)圓柱體面上，這樣就很容易將它展開為簡(jiǎn)單的平面圖(圖b)。在水平方向上其無表面無邊界，從而簡(jiǎn)化了建立圖像流場(chǎng)所需的對(duì)應(yīng)關(guān)系搜索。通過旋轉(zhuǎn)攝影的方法，可以獲得一系列相互間有一定接縫的局部圖像，以此作為全景圖像生成的原始輸入。柱面全景模型柱面全景模型(圖a)就是將環(huán)境圖像表達(dá)在一個(gè)圓39柱面體模型和展開示意圖柱面體模型和展開示意圖401、柱面正投影算法在拼接全景圖像之前必須將他們統(tǒng)一投影到柱面上，使現(xiàn)實(shí)世界中相同的景物在不同的局部圖像中是相同的。柱面正投影算法是為了將多張實(shí)景圖像分別投影到一個(gè)柱面上，以柱面全景圖像的形式存儲(chǔ),就是對(duì)于一張拍攝的實(shí)景圖像I上的每一個(gè)象素點(diǎn)P的坐標(biāo)(x,y)，找到其在圓柱體上的投影點(diǎn)Q(u,v,w)在柱面全景圖像中的坐標(biāo)(x’，y’)。如下圖2-9所示。P在照相機(jī)坐標(biāo)系下的坐標(biāo)為:(x-W/2,y-H/2,-f)，其中，W和H分別是實(shí)景圖像I的寬度和高度。把圓柱面的中心設(shè)為照相機(jī)坐標(biāo)系的原點(diǎn)0，以數(shù)碼相機(jī)的象素焦距f作為圓柱面的半徑。1、柱面正投影算法在拼接全景圖像之前必須將他們統(tǒng)一投影到柱面41柱面正投影示意圖柱面正投影示意圖42柱面坐標(biāo)轉(zhuǎn)換圖柱面坐標(biāo)轉(zhuǎn)換圖43照相機(jī)坐標(biāo)系原點(diǎn)0與象素點(diǎn)P的直線方程可以表示為參數(shù)方程(t是參數(shù)):圓柱面的方程可以表示為:聯(lián)立上面式即可得到P點(diǎn)在圓柱面上投影點(diǎn)Q的參數(shù)坐標(biāo):照相機(jī)坐標(biāo)系原點(diǎn)0與象素點(diǎn)P的直線方程可以表示為參數(shù)方程(t44為了便于存儲(chǔ)，將此三維的坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo):為了便于存儲(chǔ)，將此三維的坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo):451、柱面全景圖像的拼接圖像的整合一般圖像整合問題可以形式化定義為其中I1和I2分別代表兩個(gè)圖像樣本，M是一個(gè)平面投影變換或攝像機(jī)定點(diǎn)旋轉(zhuǎn)拍攝時(shí)兩幅重疊圖像間的變換矩陣，用齊次坐標(biāo)表示如下:

1、柱面全景圖像的拼接圖像的整合46因?yàn)閮蓚€(gè)圖像具有共同的視點(diǎn)，所以m9=1，即假如M能得到，我們就可準(zhǔn)確地將兩幅圖像拼合。

因?yàn)閮蓚€(gè)圖像具有共同的視點(diǎn)，所以m9=1，即47（1）特征點(diǎn)的提取及相關(guān)匹配算法

特征點(diǎn)的提取及匹配算法的目的是提取圖像的特征點(diǎn)，然后對(duì)兩幅圖像中的特征點(diǎn)進(jìn)行盡可能準(zhǔn)確的匹配。主要包含以下三步：首先提取每幅圖像的特征點(diǎn)；然后通過一定的相關(guān)準(zhǔn)則對(duì)兩幅圖像的特征點(diǎn)集進(jìn)行初步匹配；最后通過全局優(yōu)化策略在初始匹配集中尋找最佳匹配

（1）特征點(diǎn)的提取及相關(guān)匹配算法特征點(diǎn)的提取及匹配算法的目48(a)角點(diǎn)檢測(cè)(CornerDetection)選取的特征點(diǎn)為圖像上的Harris角點(diǎn)，它的基本原理描述如下，建立下面的矩陣C

其中I(x,y)是亮度值，這里用灰度來表示

如果在一點(diǎn)上矩陣C的兩個(gè)特征值很大，則在該點(diǎn)向任意方向上的一個(gè)很小的移動(dòng)都會(huì)引起灰度值的較大的變化(a)角點(diǎn)檢測(cè)(CornerDetection)49角點(diǎn)檢測(cè)的函數(shù)如下：其中k參數(shù)設(shè)為0.04(Harris設(shè)定的最優(yōu)參數(shù))。局部區(qū)域中對(duì)應(yīng)角點(diǎn)函數(shù)的最大值的點(diǎn)就是角點(diǎn)。確定一個(gè)閾值，僅僅選取R值大于這個(gè)閾值的點(diǎn)作為角點(diǎn)。這個(gè)閾值根據(jù)需要的角點(diǎn)數(shù)量確定角點(diǎn)檢測(cè)的函數(shù)如下：50（2）相關(guān)匹配法匹配過程如下：在一幅圖像中選擇一個(gè)角點(diǎn)以及角點(diǎn)周圍小區(qū)域的像素，把這些像素同第二幅圖像中候選角點(diǎn)及周圍相同大小的區(qū)域像素進(jìn)行比較，得到一些相似度量值，最后通過這些度量值確定匹配點(diǎn)。角點(diǎn)的匹配過程是一個(gè)病態(tài)問題。一些角點(diǎn)不能得到匹配點(diǎn)，這是因?yàn)榈谝唬ヅ涞慕屈c(diǎn)有一些非常相似，可能得到錯(cuò)誤的匹配點(diǎn)。第二，兩幅圖像中求出的角點(diǎn)并不是一一對(duì)應(yīng)的，存在一些角點(diǎn)在另一幅圖像中的匹配點(diǎn)沒有檢測(cè)出來。（2）相關(guān)匹配法51相關(guān)匹配法相關(guān)匹配法52對(duì)于圖像I1中的角點(diǎn)m1，設(shè)其坐標(biāo)為(x1,y1)，并以該點(diǎn)為中心定義一個(gè)大小為(2n+1)′(2m+1)的相關(guān)窗口。選擇第二幅圖像I2中的矩形搜索窗口為在該點(diǎn)附近大小為(2dx+1)′(2dy+1)的窗口，然后用該區(qū)域中的所有角點(diǎn)m2與圖像I1中的角點(diǎn)m1在給定的相關(guān)窗口中進(jìn)行相關(guān)操作，并設(shè)m2的坐標(biāo)為(x2,y2)。角點(diǎn)m1和m2的相關(guān)值Score定義如下對(duì)于圖像I1中的角點(diǎn)m1，設(shè)其坐標(biāo)為(x1,y1)，并以該53

表示相關(guān)窗口內(nèi)像素灰度均值，定義為，k=1,2.

則表示圖像Ik在以點(diǎn)(xk,yk)為中心，大小為(2n+1)′(2m+1)的鄰域內(nèi)的標(biāo)準(zhǔn)偏差，其表達(dá)式為相關(guān)值Score(m1,m2)的取值范圍從-1到1，當(dāng)點(diǎn)m1與m2越相似，相關(guān)值Score(m1,m2)也就越大表示相關(guān)窗口內(nèi)像素灰度均值，定54（3）松弛法通過對(duì)匹配點(diǎn)的匹配強(qiáng)度進(jìn)行松弛法迭代來去除模糊的匹配點(diǎn)對(duì)。

（3）松弛法55M矩陣的魯棒求解由于M只有8個(gè)未知參數(shù)，而一對(duì)匹配點(diǎn)可以構(gòu)成兩個(gè)方程，所以如果我們有四對(duì)匹配點(diǎn)，i=1，2，3，4，便可得到下面的方程組

M矩陣的魯棒求解由于M只有8個(gè)未知參數(shù)，而一對(duì)匹配點(diǎn)可以構(gòu)56用下式求得變換矩陣M后，可定義如下的誤差函數(shù)來衡量M的準(zhǔn)確程度其中，n為匹配點(diǎn)的數(shù)目，ei為第i對(duì)匹配點(diǎn)的誤差，定義如下

其中用下式求得變換矩陣M后，可定義如下的誤差函數(shù)來衡量M的準(zhǔn)確程57圖像的縫合在求得圖像序列的變換矩陣M后，要將相鄰照片依次拼接形成圓柱面全景圖，需要處理以下三個(gè)問題：恢復(fù)攝像機(jī)焦距，將照片序列投影到圓柱面；查找變換后圖像的重疊區(qū)域；對(duì)圖像的色彩融合。圖像的縫合在求得圖像序列的變換矩陣M后，要將相鄰照片依次拼58攝像機(jī)焦距的求解Ii和Ii+1是相鄰的兩幅照片，圖Ii的中心點(diǎn)Oi在Ii+1中的對(duì)應(yīng)點(diǎn)是Pi+1。根據(jù)Ii到Ii+1的變換矩陣Mi，并由此計(jì)算Pi+1到Oi+1的距離ti。攝像機(jī)焦距f、攝像機(jī)幀間轉(zhuǎn)角Hi與ti之間有如下關(guān)系：Hi=arctan(ti/f)。如果圖片1,2,…,N是攝像機(jī)環(huán)繞垂直軸旋軸360°攝取的如圖所示的依次相鄰的圖片序列，那么有如下等式成立,用牛頓迭代法解方程(5-16)，可得到以象素為單位的攝像機(jī)焦距f的值攝像機(jī)焦距的求解Ii和Ii+1是相鄰的兩幅照片，圖Ii的中59攝像機(jī)焦距的恢復(fù)示意圖攝像機(jī)焦距的恢復(fù)示意圖60為簡(jiǎn)化計(jì)算，設(shè)攝像機(jī)內(nèi)參數(shù)矩陣為對(duì)于純旋轉(zhuǎn)運(yùn)動(dòng)的情況，變換矩陣可表示為為旋轉(zhuǎn)矩陣。由于R為正交矩陣，因此可由下面的式子

可以求f

為簡(jiǎn)化計(jì)算，設(shè)攝像機(jī)內(nèi)參數(shù)矩陣為61縫合點(diǎn)的查找將圖像投影到圓柱面上后，得到了具有重疊相似區(qū)域的兩幅圖像對(duì)兩幅圖像分別運(yùn)算相似距離，根據(jù)相似距離來尋找圖像的相似部分

由于在上面的算法中已經(jīng)得到了匹配的特征點(diǎn)，所以利用重疊區(qū)域的搜尋方法。

圖像投影變換后的匹配點(diǎn)對(duì)縫合點(diǎn)的查找將圖像投影到圓柱面上后，得到了具有重疊相似區(qū)域62對(duì)于圖像中的特征點(diǎn)，設(shè)其坐標(biāo)為(,)，并以該點(diǎn)為中心定義一個(gè)大小為(2n+1)′(2m+1)的相關(guān)窗口。并設(shè)的坐標(biāo)為(,)，選擇第二幅圖像中的搜索窗口為以該點(diǎn)為中心大小為(2s+1)′(2t+1)的窗口，然后用該區(qū)域中的所有點(diǎn)與圖像中的特征點(diǎn)在給定的相關(guān)窗口中進(jìn)行相關(guān)操作，并設(shè)的坐標(biāo)為(,)。點(diǎn)和的相關(guān)值Score的定義上面所述。在實(shí)驗(yàn)中，為使縫合點(diǎn)查找的更準(zhǔn)確，例如使m=n=10，考慮到，分別為m1和m2變換后的對(duì)應(yīng)點(diǎn)，所以確定搜索窗口很小，s=t=5，相關(guān)值的閾值為0.95對(duì)于圖像中的特征點(diǎn)，設(shè)其坐標(biāo)為(,)，并以該點(diǎn)為中心定義一個(gè)63縫合點(diǎn)查找的算法描述：Step1隨機(jī)選擇一對(duì)匹配點(diǎn)m1、m2，投影變換后得到對(duì)應(yīng)點(diǎn)和。Step2在投影變換后的圖像和上進(jìn)行上面所述的相關(guān)匹配。Step3若存在滿足要求的匹配，從中選擇一個(gè)最優(yōu)的匹配作為結(jié)果，算法結(jié)束；否則，轉(zhuǎn)到Step1?？p合點(diǎn)查找的算法描述：64圖像的色彩融合由于相鄰幀之間亮度差的存在，如果將圖像簡(jiǎn)單疊加，拼接處會(huì)產(chǎn)生明顯的接縫。為了消除拼接縫隙，在兩幅圖的重疊區(qū)域，將兩幀圖的像素值按一定的權(quán)值合成到新圖圖像融合加權(quán)函數(shù)圖像的色彩融合由于相鄰幀之間亮度差的存在，如果將圖像簡(jiǎn)單疊加65第7章基于圖像的VR技術(shù)課件66第7章基于圖像的VR技術(shù)課件67生成的全景圖像生成的全景圖像68球面全景圖生成技術(shù)使用普通數(shù)字相機(jī)的球面全景圖生成技術(shù)難度雖然較高，但是應(yīng)用價(jià)值也大。這種方法對(duì)硬件的要求低，只需有一臺(tái)數(shù)字相機(jī)即可，隨著數(shù)字相機(jī)的普及，它能使個(gè)人制作自己的球面全景圖。用這種方法構(gòu)造的全景圖有很大的靈活性，可以根據(jù)需要設(shè)置場(chǎng)景的分辨率，可以滿足不同的應(yīng)用需求。還可以用于從拍攝的較低分辨率的圖像構(gòu)造高分辨率圖像。球面全景圖生成技術(shù)使用普通數(shù)字相機(jī)的球面全景圖生成技術(shù)難度雖69

基于圖像繪制的全景圖生成系統(tǒng)可以采用立方體、圓柱體和球體等模型來實(shí)現(xiàn)。采用球面模型生成的全景圖，相對(duì)于立方體模型而言效果真實(shí)，相對(duì)于圓柱體模型而言視角范圍廣，但球面全景圖模型較復(fù)雜，技術(shù)尚欠成熟。同時(shí)由于球面模型生成全景圖在兩極的變形較大，在實(shí)際中應(yīng)用受到限制。球面模型原始圖像的拍攝可以用普通相機(jī)也可以外掛魚眼鏡頭拍攝?；趫D像繪制的全景圖生成系統(tǒng)可以采用立方體、圓柱體和球體等70

對(duì)于用普通相機(jī)拍攝得到的照片圖像，其全景圖的生成過程一般為:獲得系列圖像一計(jì)算相機(jī)焦距一投影變換一拼接生成全景圖一反投影變換實(shí)時(shí)瀏覽。用魚眼鏡頭，我們只需要拍攝2-4張圖片，就可覆蓋水平和垂直方向360度的場(chǎng)景，由于全方位光線投射的方式使得魚眼圖片中的場(chǎng)景呈現(xiàn)扭曲現(xiàn)象，因而不能直接使用一般的拼接方式合成全景圖。因此用魚眼圖像的全景圖生成過程為:獲得魚眼圖片一魚眼圖片校正一拼接生成全景圖一反投影變換。對(duì)于用普通相機(jī)拍攝得到的照片圖像，其全景圖的生成過程一般為71相鄰照片幾何關(guān)系示意圖相鄰照片幾何關(guān)系示意圖72為獲得球體的半徑，首先應(yīng)對(duì)相機(jī)的焦距進(jìn)行估計(jì)。對(duì)于繞固定視點(diǎn)旋轉(zhuǎn)360度拍攝到的水平層系列圖片，利用等距離匹配算法計(jì)算出相機(jī)焦距。原理如前圖所示。為獲得球體的半徑，首先應(yīng)對(duì)相機(jī)的焦距進(jìn)行估計(jì)。對(duì)于繞固定視73Ii和Ii+1是相鄰兩幅照片;為拍攝此相鄰照片時(shí)相機(jī)的轉(zhuǎn)角，亦即相機(jī)光軸的夾角;di為兩幅照片的交點(diǎn)至照片中心的距離，對(duì)相鄰兩幅照片而言，此值相同。設(shè)提相機(jī)的焦距，如圖有下列公式:=2arctan(di/f)P(x,y,z)和P‘(x’，y‘,z’)是兩個(gè)實(shí)物景點(diǎn)，由于相機(jī)視角的改變，P‘在兩幅照片上的成象位置不同，變形有差異;而P點(diǎn)在兩幅照片上的成象位于照片平面的交點(diǎn)上，變形相同。因此，可以比較相鄰兩幅照片上各列象素點(diǎn)之間的顏色差值求得di的值。Ii和Ii+1是相鄰兩幅照片;為拍攝此相鄰照片時(shí)相74若相機(jī)經(jīng)360。旋轉(zhuǎn)拍攝得到n幅系列照片，則有如下關(guān)系式:

上式中，若求出n幅系列照片的di值，便可求出f求得f值后，就可以將各層的系列照片投影到以f為半徑的球面上。若相機(jī)經(jīng)360。旋轉(zhuǎn)拍攝得到n幅系列照片，則有如下關(guān)系式:75球面正投影算法我們先做如下的假設(shè)：XYZ為世界坐標(biāo)系，xyz為照相機(jī)坐標(biāo)系，并且xyz是XYZ繞X軸轉(zhuǎn)，再繞Y軸旋轉(zhuǎn)得到的。實(shí)景圖像I上任意一個(gè)象素點(diǎn)P的圖像坐標(biāo)為(x,y），它在球體上的對(duì)應(yīng)點(diǎn)Q在球面全景圖像上的圖像坐標(biāo)為(x‘，y’)，下圖為球面正投影示意圖。首先要將P(x,y)在xyz下的坐標(biāo)(x-W/2,y-H/2,-f)變換到XYZ下的坐標(biāo)為（u,v,w)球面正投影算法我們先做如下的假設(shè)：XYZ為世界坐標(biāo)系，xyz76球面正投影示意圖球面正投影示意圖77球面坐標(biāo)轉(zhuǎn)換圖球面坐標(biāo)轉(zhuǎn)換圖78過點(diǎn)O與點(diǎn)P的直線方程可以表示為參數(shù)方程(t是參數(shù))球面方程可以表示為:即可以求出參數(shù)t過點(diǎn)O與點(diǎn)P的直線方程可以表示為參數(shù)方程(t是參數(shù))79為了方便存儲(chǔ)，把三維的參數(shù)坐標(biāo)轉(zhuǎn)化為二維的圖像坐標(biāo)，當(dāng)w’>0時(shí)，有:否則，有:為了方便存儲(chǔ)，把三維的參數(shù)坐標(biāo)轉(zhuǎn)化為二維的圖像坐標(biāo)，當(dāng)w’80假設(shè)：假設(shè)：81使用上面的算法實(shí)現(xiàn)了全景圖。試驗(yàn)平臺(tái)是一臺(tái)PentiumIII600的PC機(jī)，Geforce2，顯示卡，256M內(nèi)存，編程環(huán)境為VisualC++6.0，運(yùn)行在WindowsXP下，底層圖形繪制和操作采用三維圖形標(biāo)準(zhǔn)Direct3D，每個(gè)項(xiàng)目包含120幅圖像。使用上面的算法實(shí)現(xiàn)了全景圖。試驗(yàn)平臺(tái)是一臺(tái)Pentium82第7章基于圖像的VR技術(shù)課件83第7章基于圖像的VR技術(shù)課件84基于圖像的VR技術(shù)基于圖像的VR技術(shù)85VR的兩種研究方法簡(jiǎn)介VR的兩種研究方法：方法一：基于幾何的繪制該方法有時(shí)也被稱為基于模型的方法傳統(tǒng)上，一個(gè)虛擬環(huán)境是由各類3D幾何體合成的。在虛擬環(huán)境中漫游是通過實(shí)時(shí)繪制2D幾何體實(shí)現(xiàn)的。首先對(duì)場(chǎng)景建立三維幾何模型，對(duì)場(chǎng)景中各個(gè)物體的材料、光照、紋理、消隱等因素進(jìn)行描述；然后根據(jù)觀察者位置和觀察角度生成場(chǎng)景中各個(gè)物體的圖象，用圖形學(xué)方法進(jìn)行繪制；最后用光線跟蹤或紋理映射的方法增加真實(shí)感，同時(shí)對(duì)物體進(jìn)行著色、上光、粘貼材質(zhì)、判斷遮擋、填充空洞等處理。VR的兩種研究方法簡(jiǎn)介VR的兩種研究方法：86基于幾何繪制的方法此方法有3個(gè)主要問題：第一，幾何體的建模是一個(gè)非常繁瑣的問題。其次，由于漫游需要實(shí)時(shí)顯示，因此限制了場(chǎng)景的復(fù)雜性和繪制的質(zhì)量。最后，加速繪制所需要的專門硬件極其昂貴，因此限制了虛擬現(xiàn)實(shí)的發(fā)展。

基于幾何繪制的方法87基于幾何的繪制方法的工作流程基于幾何的繪制方法的工作流程88基于圖像繪制技術(shù)VR的兩種研究方法：方法二：基于圖像的建模和繪制(ImageBasedModelingandRendering，簡(jiǎn)稱IBMR，簡(jiǎn)寫為IBR)

從已知的圖像中合成新視圖來構(gòu)成虛擬環(huán)境，IBMR方法有以下優(yōu)點(diǎn)：建模容易：把不同視線方向、不同位置拍攝的照片數(shù)據(jù)按某種形式組織起來表示場(chǎng)景，如全景圖像和光場(chǎng)，這就是IBMR意義下的所謂建模。繪制快：不需要復(fù)雜的計(jì)算，直接從已有的視圖中合成新的視圖，整個(gè)繪制過程都在二維空間進(jìn)行，繪制時(shí)間不依賴于場(chǎng)景的復(fù)雜度，只跟顯示分辨率有關(guān)。

真實(shí)感強(qiáng)：基于圖像的方法能真實(shí)地反映景物的形狀和豐富的明暗、材料及紋理細(xì)節(jié)，不需要經(jīng)過額外的光照模擬。

交互性好：由于有繪制速度和真實(shí)感的保證，再加之先進(jìn)的交互設(shè)備和反饋技術(shù)，使得基于圖像的VR有更好的交互性?；趫D像繪制技術(shù)VR的兩種研究方法：89當(dāng)然，IBR方法也并非沒有不足，目前還有如下缺點(diǎn)：1)表示模式。即數(shù)據(jù)的組織問題。需要找到一種簡(jiǎn)便有效且適合于計(jì)算機(jī)表示的模式，使之能精確完整地表示整個(gè)場(chǎng)景;2)獲取方法。用手持相機(jī)或者用被精確定位與控制的數(shù)控?cái)z像機(jī)、圖象采樣的數(shù)量多少、采樣模式及樣本均勻性等都會(huì)影響問題的難度和精度。3)失真問題失真是由于連續(xù)圖象信號(hào)的離散化、采樣設(shè)備的精度和質(zhì)量、設(shè)備噪等多種因素而產(chǎn)生的。同時(shí)，工BR方法不可避免地要對(duì)場(chǎng)景圖象進(jìn)行多重采樣，這樣又會(huì)產(chǎn)生采樣積累誤差。4)可見性判斷。景物間的相互遮擋會(huì)使新合成的視圖中出現(xiàn)空洞和重疊。5)信息壓縮。IBR方法的計(jì)算量不大，但數(shù)據(jù)量很大，合理有效的壓縮及解壓縮機(jī)制是一個(gè)亞待解決的問題。6)完全漫游。如何實(shí)現(xiàn)基于圖象的完全實(shí)時(shí)漫游是基于IBR方法的虛擬現(xiàn)實(shí)系統(tǒng)能否走向?qū)嵱玫挠忠粋€(gè)關(guān)鍵問題。當(dāng)然，IBR方法也并非沒有不足，目前還有如下缺點(diǎn)：90基于圖像的建模和繪制技術(shù)基于立體視覺的方法基于視圖插值的方法基于圖像拼合和分層的方法基于全視函數(shù)的方法基于圖像的建模和繪制技術(shù)基于立體視覺的方法91基于立體視覺的方法基于立體視覺的視圖合成方法主要利用立體視覺技術(shù)從已知的參考圖像中合成相對(duì)于新視點(diǎn)的理想圖像

關(guān)鍵問題是找出每對(duì)已知圖像之間的對(duì)應(yīng)映射，即解決立體匹配問題

通過對(duì)應(yīng)關(guān)系建立了一個(gè)基于圖像的場(chǎng)景表示將場(chǎng)景視圖及其對(duì)應(yīng)關(guān)系組成一個(gè)圖結(jié)構(gòu)，圖中灰色攝像機(jī)代表不同物理位置的參考圖像，黑色攝像機(jī)代表合成視圖，雙向邊表示鄰接視圖間的立體對(duì)應(yīng)關(guān)系，單向邊表示對(duì)參考圖像所做的變換。

基于圖像的建模和繪制技術(shù)1基于立體視覺的方法基于立體視覺的方法基于圖像的建模和繪制技術(shù)92基于立體視覺的圖像合成方法主要有以下優(yōu)點(diǎn)：新視圖可以由兩幅鄰近的參考圖像及它們的對(duì)應(yīng)關(guān)系合成，整體的幾何模型不是必需的；圖像變換比傳統(tǒng)的圖像繪制快得多，而且計(jì)算時(shí)間獨(dú)立于場(chǎng)景復(fù)雜度；只需知道鄰接攝像機(jī)之間的相對(duì)輪廓信息，而不需要對(duì)攝像機(jī)進(jìn)行精確的定標(biāo)?；诹Ⅲw視覺的圖像合成方法主要有以下優(yōu)點(diǎn)：93基于立體視覺的圖像合成方法也存在著立體視覺中固有的缺陷：由于場(chǎng)景有可能部分和全部地被遮擋，只能掌握?qǐng)鼍坝邢薜男畔ⅲ瑢?dǎo)致在參考圖中不可見而在新圖中應(yīng)該可見的區(qū)域出現(xiàn)空洞，如何填補(bǔ)這些空洞是一個(gè)難以解決的問題；由于只產(chǎn)生有限的深度分辨率(深度不連續(xù))，使得匹配處理出現(xiàn)誤差?；诹Ⅲw視覺的圖像合成方法也存在著立體視覺中固有的缺陷：94視圖插值方法可以對(duì)二維的圖像按照形狀插值來模擬和近似三維的圖形變換。給定兩幅不同視點(diǎn)參數(shù)的圖像，用這種方法可以求出中間視點(diǎn)的圖像，從而達(dá)到視點(diǎn)變化的效果。視圖插值就是利用圖像變形的方法產(chǎn)生視點(diǎn)沿著一定路徑變化時(shí)的中間圖像

基于圖像的建模和繪制技術(shù)2基于視圖插值的方法視圖插值方法可以對(duì)二維的圖像按照形狀插值來模擬和近似三維的圖95將同一場(chǎng)景的多張有重疊的圖像組合成一幅較大圖像的處理叫做拼合(mosaic)。圖像拼合技術(shù)典型地被用于全景圖的生成、改善圖像分辨率、圖像壓縮及視頻擴(kuò)展等方面圖像整合(imageregistration),即是把參考圖像中相互重疊的部分對(duì)齊所做的變換?；趫D像的建模和繪制技術(shù)3圖像拼合和分層的方法將同一場(chǎng)景的多張有重疊的圖像組合成一幅較大圖像的處理叫做拼合96第7章基于圖像的VR技術(shù)課件97全視函數(shù)(PlenOpticFunction)是由Adelson和Bergen命名的全視函數(shù)描述了觀察點(diǎn)(而非物體或光源)接收到的所有可見光輻射的能量。用計(jì)算機(jī)圖形學(xué)術(shù)語，它描述了給定場(chǎng)景中所有可能的環(huán)境映照集合

全視函數(shù)定義在一個(gè)七維的參數(shù)空間上

代表空間中視點(diǎn)的位置，視域方向和范圍用仰角

方位角

定義，λ代表人眼感受到的波長(zhǎng),t代表時(shí)間基于圖像的建模和繪制技術(shù)4基于全視函數(shù)的方法

全視函數(shù)(PlenOpticFunction)是由Adel98全視函數(shù)的參數(shù)化

全視函數(shù)的參數(shù)化99攝像機(jī)：模型及定標(biāo)攝像機(jī)模型針孔成像模型（幾何）幾種參考坐標(biāo)系成像過程（代數(shù)）攝像機(jī)定標(biāo)線性模型攝像機(jī)定標(biāo)非線性模型攝像機(jī)定標(biāo)立體視覺攝像機(jī)定標(biāo)攝像機(jī)：模型及定標(biāo)攝像機(jī)模型100一、Camera模型：針孔成像模型圖像上每一點(diǎn)的亮度反映了空間物體表面某點(diǎn)反射光的強(qiáng)度，而該點(diǎn)在圖像上的位置則與空間物體表面相應(yīng)點(diǎn)的幾何位置有關(guān)。這些位置的相互關(guān)系，由攝像機(jī)成像幾何模型所決定；該幾何模型的參數(shù)稱為攝像機(jī)參數(shù)，必須由實(shí)驗(yàn)與計(jì)算來確定，實(shí)驗(yàn)與計(jì)算過程稱為攝像機(jī)定標(biāo)；攝像機(jī)模型是光學(xué)成像幾何關(guān)系的簡(jiǎn)化。最簡(jiǎn)單的模型為線性模型，亦稱為針孔模型(pin-holemodel)一、Camera模型：針孔成像模型圖像上每一點(diǎn)的亮度反映了101攝像機(jī)針孔模型示意圖攝像機(jī)針孔模型示意圖102Camera模型：四種參考坐標(biāo)系Image坐標(biāo)系camera坐標(biāo)系world坐標(biāo)系（物理/計(jì)算機(jī)）Camera模型：四種參考坐標(biāo)系Image坐標(biāo)系camera103Camera模型：代數(shù)模型成像過程旋轉(zhuǎn)、平移（歐氏變換）(1)從world坐標(biāo)到Camera坐標(biāo)齊次坐標(biāo)概念：Camera模型：代數(shù)模型成像過程旋轉(zhuǎn)、平移（歐氏變換）(1104Camera模型：代數(shù)模型(2)經(jīng)透視投影將Camera坐標(biāo)投影到實(shí)際圖像平面透視投影（中心射影）：Camera模型：代數(shù)模型(2)經(jīng)透視投影將Camera坐標(biāo)105Camera模型：代數(shù)模型(3)將實(shí)際圖像坐標(biāo)轉(zhuǎn)換成計(jì)算機(jī)圖像坐標(biāo)(縮放變換)Image坐標(biāo)系代數(shù)表達(dá)：為計(jì)算機(jī)圖像坐標(biāo)（象素單位）為實(shí)際圖像坐標(biāo)（物理單位）Camera模型：代數(shù)模型(3)將實(shí)際圖像坐標(biāo)轉(zhuǎn)換成計(jì)算機(jī)圖106Camera模型：代數(shù)模型完整過程攝像機(jī)定標(biāo)：求解Camera模型：代數(shù)模型完整過程攝像機(jī)定標(biāo)：求解107二、Camera定標(biāo)目標(biāo)基本原理定標(biāo)參照物線性模型非線性模型立體視覺自定標(biāo)(project)實(shí)例機(jī)器人手眼定標(biāo)主動(dòng)視覺的頭眼定標(biāo)二、Camera定標(biāo)目標(biāo)108Camera定標(biāo)：線性模型情形Camera的完整代數(shù)模型：Camera定標(biāo)：線性模型情形Camera的完整代數(shù)模型：109其中：:

為3X4矩陣，稱為投影矩陣;:由（只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)）決定，稱為攝像機(jī)內(nèi)部參數(shù);:由攝像機(jī)相對(duì)于世界坐標(biāo)系的方位決定，稱為攝像機(jī)外部參數(shù);Camera定標(biāo)：確定某攝像機(jī)的其中：:為3X4矩陣，稱為投影矩陣;:由110條件：借助定標(biāo)參照物（已知n個(gè)點(diǎn)）攝像機(jī)定標(biāo)算法（線性模型情形）條件：借助定標(biāo)參照物（已知n個(gè)點(diǎn)）攝像機(jī)定標(biāo)算法（線性模型情111最小二乘法最小二乘法112第7章基于圖像的VR技術(shù)課件113Camera定標(biāo)：非線性模型情形徑向畸變離心畸變薄棱鏡畸變?nèi)鐝V角鏡頭系統(tǒng)Camera定標(biāo)：非線性模型情形徑向畸變離心畸變薄棱鏡畸變?nèi)?14Camera定標(biāo)：立體視覺情形極線概念Camera定標(biāo)：立體視覺情形極線概念115Camera定標(biāo)：立體視覺情形消去消去Camera定標(biāo)：立體視覺情形消去消去116Camera定標(biāo)：立體視覺情形：基本矩陣外極線方程：Camera定標(biāo)：立體視覺情形：基本矩陣外極線方程：117Camera定標(biāo)自定標(biāo)不使用定標(biāo)參照物Camera定標(biāo)自定標(biāo)118針孔攝像機(jī)模型及坐標(biāo)系

針孔攝像機(jī)模型及坐標(biāo)系119第7章基于圖像的VR技術(shù)課件120全景圖像的生成圖像拼合主要包含兩個(gè)問題：一是圖像整合，即把參考圖像中相互重疊的部分對(duì)齊所做的變換；二是圖像縫合，即把圖像經(jīng)過一定的變換后，在縫合空間進(jìn)行圖像的局部匹配。全景圖像的生成圖像拼合主要包含兩個(gè)問題：121通過圖象拼接來生成全景圖象的基本過程如下:針對(duì)某一場(chǎng)景，視點(diǎn)固定，采集一組有重疊區(qū)域的連續(xù)環(huán)視圖象作為原始圖象數(shù)據(jù)。按照全景視覺一致性的要求，同時(shí)也是為了維持實(shí)際場(chǎng)景中的空間約束關(guān)系，先將原始圖象數(shù)據(jù)轉(zhuǎn)化為拼接圖象數(shù)據(jù)，即:把原始圖象轉(zhuǎn)換到用于映射全景圖象的曲面上(如:圓柱面、球面、立方體表面等)。通過圖象拼接技術(shù)，將這組圖象中相鄰兩幅圖象間的重疊部分整合在一起，進(jìn)而實(shí)現(xiàn)相鄰兩幅圖象的拼接。當(dāng)所有的圖象都拼接完畢后，就會(huì)獲得一幅全景圖象。當(dāng)然也可以不固定視點(diǎn)，如:手持照相機(jī)進(jìn)行拍攝，但此時(shí)要通過某種辦法計(jì)算出拍攝各張相片時(shí)，照相機(jī)的位置和方位通過圖象拼接來生成全景圖象的基本過程如下:122柱面全景模型柱面全景模型(圖a)就是將環(huán)境圖像表達(dá)在一個(gè)圓柱體面上，這樣就很容易將它展開為簡(jiǎn)單的平面圖(圖b)。在水平方向上其無表面無邊界，從而簡(jiǎn)化了建立圖像流場(chǎng)所需的對(duì)應(yīng)關(guān)系搜索。通過旋轉(zhuǎn)攝影的方法，可以獲得一系列相互間有一定接縫的局部圖像，以此作為全景圖像生成的原始輸入。柱面全景模型柱面全景模型(圖a)就是將環(huán)境圖像表達(dá)在一個(gè)圓123柱面體模型和展開示意圖柱面體模型和展開示意圖1241、柱面正投影算法在拼接全景圖像之前必須將他們統(tǒng)一投影到柱面上，使現(xiàn)實(shí)世界中相同的景物在不同的局部圖像中是相同的。柱面正投影算法是為了將多張實(shí)景圖像分別投影到一個(gè)柱面上，以柱面全景圖像的形式存儲(chǔ),就是對(duì)于一張拍攝的實(shí)景圖像I上的每一個(gè)象素點(diǎn)P的坐標(biāo)(x,y)，找到其在圓柱體上的投影點(diǎn)Q(u,v,w)在柱面全景圖像中的坐標(biāo)(x’，y’)。如下圖2-9所示。P在照相機(jī)坐標(biāo)系下的坐標(biāo)為:(x-W/2,y-H/2,-f)，其中，W和H分別是實(shí)景圖像I的寬度和高度。把圓柱面的中心設(shè)為照相機(jī)坐標(biāo)系的原點(diǎn)0，以數(shù)碼相機(jī)的象素焦距f作為圓柱面的半徑。1、柱面正投影算法在拼接全景圖像之前必須將他們統(tǒng)一投影到柱面125柱面正投影示意圖柱面正投影示意圖126柱面坐標(biāo)轉(zhuǎn)換圖柱面坐標(biāo)轉(zhuǎn)換圖127照相機(jī)坐標(biāo)系原點(diǎn)0與象素點(diǎn)P的直線方程可以表示為參數(shù)方程(t是參數(shù)):圓柱面的方程可以表示為:聯(lián)立上面式即可得到P點(diǎn)在圓柱面上投影點(diǎn)Q的參數(shù)坐標(biāo):照相機(jī)坐標(biāo)系原點(diǎn)0與象素點(diǎn)P的直線方程可以表示為參數(shù)方程(t128為了便于存儲(chǔ)，將此三維的坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo):為了便于存儲(chǔ)，將此三維的坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo):1291、柱面全景圖像的拼接圖像的整合一般圖像整合問題可以形式化定義為其中I1和I2分別代表兩個(gè)圖像樣本，M是一個(gè)平面投影變換或攝像機(jī)定點(diǎn)旋轉(zhuǎn)拍攝時(shí)兩幅重疊圖像間的變換矩陣，用齊次坐標(biāo)表示如下:

1、柱面全景圖像的拼接圖像的整合130因?yàn)閮蓚€(gè)圖像具有共同的視點(diǎn)，所以m9=1，即假如M能得到，我們就可準(zhǔn)確地將兩幅圖像拼合。

因?yàn)閮蓚€(gè)圖像具有共同的視點(diǎn)，所以m9=1，即131（1）特征點(diǎn)的提取及相關(guān)匹配算法

特征點(diǎn)的提取及匹配算法的目的是提取圖像的特征點(diǎn)，然后對(duì)兩幅圖像中的特征點(diǎn)進(jìn)行盡可能準(zhǔn)確的匹配。主要包含以下三步：首先提取每幅圖像的特征點(diǎn)；然后通過一定的相關(guān)準(zhǔn)則對(duì)兩幅圖像的特征點(diǎn)集進(jìn)行初步匹配；最后通過全局優(yōu)化策略在初始匹配集中尋找最佳匹配

（1）特征點(diǎn)的提取及相關(guān)匹配算法特征點(diǎn)的提取及匹配算法的目132(a)角點(diǎn)檢測(cè)(CornerDetection)選取的特征點(diǎn)為圖像上的Harris角點(diǎn)，它的基本原理描述如下，建立下面的矩陣C

其中I(x,y)是亮度值，這里用灰度來表示

如果在一點(diǎn)上矩陣C的兩個(gè)特征值很大，則在該點(diǎn)向任意方向上的一個(gè)很小的移動(dòng)都會(huì)引起灰度值的較大的變化(a)角點(diǎn)檢測(cè)(CornerDetection)133角點(diǎn)檢測(cè)的函數(shù)如下：其中k參數(shù)設(shè)為0.04(Harris設(shè)定的最優(yōu)參數(shù))。局部區(qū)域中對(duì)應(yīng)角點(diǎn)函數(shù)的最大值的點(diǎn)就是角點(diǎn)。確定一個(gè)閾值，僅僅選取R值大于這個(gè)閾值的點(diǎn)作為角點(diǎn)。這個(gè)閾值根據(jù)需要的角點(diǎn)數(shù)量確定角點(diǎn)檢測(cè)的函數(shù)如下：134（2）相關(guān)匹配法匹配過程如下：在一幅圖像中選擇一個(gè)角點(diǎn)以及角點(diǎn)周圍小區(qū)域的像素，把這些像素同第二幅圖像中候選角點(diǎn)及周圍相同大小的區(qū)域像素進(jìn)行比較，得到一些相似度量值，最后通過這些度量值確定匹配點(diǎn)。角點(diǎn)的匹配過程是一個(gè)病態(tài)問題。一些角點(diǎn)不能得到匹配點(diǎn)，這是因?yàn)榈谝?，待匹配的角點(diǎn)有一些非常相似，可能得到錯(cuò)誤的匹配點(diǎn)。第二，兩幅圖像中求出的角點(diǎn)并不是一一對(duì)應(yīng)的，存在一些角點(diǎn)在另一幅圖像中的匹配點(diǎn)沒有檢測(cè)出來。（2）相關(guān)匹配法135相關(guān)匹配法相關(guān)匹配法136對(duì)于圖像I1中的角點(diǎn)m1，設(shè)其坐標(biāo)為(x1,y1)，并以該點(diǎn)為中心定義一個(gè)大小為(2n+1)′(2m+1)的相關(guān)窗口。選擇第二幅圖像I2中的矩形搜索窗口為在該點(diǎn)附近大小為(2dx+1)′(2dy+1)的窗口，然后用該區(qū)域中的所有角點(diǎn)m2與圖像I1中的角點(diǎn)m1在給定的相關(guān)窗口中進(jìn)行相關(guān)操作，并設(shè)m2的坐標(biāo)為(x2,y2)。角點(diǎn)m1和m2的相關(guān)值Score定義如下對(duì)于圖像I1中的角點(diǎn)m1，設(shè)其坐標(biāo)為(x1,y1)，并以該137

表示相關(guān)窗口內(nèi)像素灰度均值，定義為，k=1,2.

則表示圖像Ik在以點(diǎn)(xk,yk)為中心，大小為(2n+1)′(2m+1)的鄰域內(nèi)的標(biāo)準(zhǔn)偏差，其表達(dá)式為相關(guān)值Score(m1,m2)的取值范圍從-1到1，當(dāng)點(diǎn)m1與m2越相似，相關(guān)值Score(m1,m2)也就越大表示相關(guān)窗口內(nèi)像素灰度均值，定138（3）松弛法通過對(duì)匹配點(diǎn)的匹配強(qiáng)度進(jìn)行松弛法迭代來去除模糊的匹配點(diǎn)對(duì)。

（3）松弛法139M矩陣的魯棒求解由于M只有8個(gè)未知參數(shù)，而一對(duì)匹配點(diǎn)可以構(gòu)成兩個(gè)方程，所以如果我們有四對(duì)匹配點(diǎn)，i=1，2，3，4，便可得到下面的方程組

M矩陣的魯棒求解由于M只有8個(gè)未知參數(shù)，而一對(duì)匹配點(diǎn)可以構(gòu)140用下式求得變換矩陣M后，可定義如下的誤差函數(shù)來衡量M的準(zhǔn)確程度其中，n為匹配點(diǎn)的數(shù)目，ei為第i對(duì)匹配點(diǎn)的誤差，定義如下

其中用下式求得變換矩陣M后，可定義如下的誤差函數(shù)來衡量M的準(zhǔn)確程141圖像的縫合在求得圖像序列的變換矩陣M后，要將相鄰照片依次拼接形成圓柱面全景圖，需要處理以下三個(gè)問題：恢復(fù)攝像機(jī)焦距，將照片序列投影到圓柱面；查找變換后圖像的重疊區(qū)域；對(duì)圖像的色彩融合。圖像的縫合在求得圖像序列的變換矩陣M后，要將相鄰照片依次拼142攝像機(jī)焦距的求解Ii和Ii+1是相鄰的兩幅照片，圖Ii的中心點(diǎn)Oi在Ii+1中的對(duì)應(yīng)點(diǎn)是Pi+1。根據(jù)Ii到Ii+1的變換矩陣Mi，并由此計(jì)算Pi+1到Oi+1的距離ti。攝像機(jī)焦距f、攝像機(jī)幀間轉(zhuǎn)角Hi與ti之間有如下關(guān)系：Hi=arctan(ti/f)。如果圖片1,2,…,N是攝像機(jī)環(huán)繞垂直軸旋軸360°攝取的如圖所示的依次相鄰的圖片序列，那么有如下等式成立,用牛頓迭代法解方程(5-16)，可得到以象素為單位的攝像機(jī)焦距f的值攝像機(jī)焦距的求解Ii和Ii+1是相鄰的兩幅照片，圖Ii的中143攝像機(jī)焦距的恢復(fù)示意圖攝像機(jī)焦距的恢復(fù)示意圖144為簡(jiǎn)化計(jì)算，設(shè)攝像機(jī)內(nèi)參數(shù)矩陣為對(duì)于純旋轉(zhuǎn)運(yùn)動(dòng)的情況，變換矩陣可表示為為旋轉(zhuǎn)矩陣。由于R為正交矩陣，因此可由下面的式子

可以求f

為簡(jiǎn)化計(jì)算，設(shè)攝像機(jī)內(nèi)參數(shù)矩陣為145縫合點(diǎn)的查找將圖像投影到圓柱面上后，得到了具有重疊相似區(qū)域的兩幅圖像對(duì)兩幅圖像分別運(yùn)算相似距離，根據(jù)相似距離來尋找圖像的相似部分

由于在上面的算法中已經(jīng)得到了匹配的特征點(diǎn)，所以利用重疊區(qū)域的搜尋方法。

圖像投影變換后的匹配點(diǎn)對(duì)縫合點(diǎn)的查找將圖像投影到圓柱面上后，得到了具有重疊相似區(qū)域146對(duì)于圖像中的特征點(diǎn)，設(shè)其坐標(biāo)為(,)，并以該點(diǎn)為中心定義一個(gè)大小為(2n+1)′(2m+1)的相關(guān)窗口。并設(shè)的坐標(biāo)為(,)，選擇第二幅圖像中的搜索窗口為以該點(diǎn)為中心大小為(2s+1)′(2t+1)的窗口，然后用該區(qū)域中的所有點(diǎn)與圖像中的特征點(diǎn)在給定的相關(guān)窗口中進(jìn)行相關(guān)操作，并設(shè)的坐標(biāo)為(,)。點(diǎn)和的相關(guān)值Score的定義上面所述。在實(shí)驗(yàn)中，為使縫合點(diǎn)查找的更準(zhǔn)確，例如使m=n=10，考慮到，分別為m1和m2變換后的對(duì)應(yīng)點(diǎn)，所以確定搜索窗口很小，s=t=5，相關(guān)值的閾值為0.95對(duì)于圖像中的特征點(diǎn)，設(shè)其坐標(biāo)為(,)，并以該點(diǎn)為中心定義一個(gè)147縫合點(diǎn)查找的算法描述：Step1隨機(jī)選擇一對(duì)匹配點(diǎn)m1、m2，投影變換后得到對(duì)應(yīng)點(diǎn)和。Step2在投影變換后的圖像和上進(jìn)行上面所述的相關(guān)匹配。Step3若存在滿足要求的匹配，從中選擇一個(gè)最優(yōu)的匹配作為結(jié)果，算法結(jié)束；否則，轉(zhuǎn)到Step1。縫合點(diǎn)查找的算法描述：148圖像的色彩融合由于相鄰