全景圖像拼接技術(shù)

1、第6章全景圖像的拼接技術(shù)全景圖像(全景圖)的拼接是指利用攝像機(jī)的平移或旋轉(zhuǎn)得到的部分重，登的圖像樣本，生成一個(gè)較大的甚至360°的全方位圖像的場(chǎng)景繪制方法,換句話說，就是給定某個(gè)真實(shí)場(chǎng)景的一組局部圖像，然后對(duì)這一組圖像進(jìn)行拼接，生成包含這組局部圖像的新視圖。目前全景圖像基本可分為柱面、球面、立方體等形式，以柱面和球面全景圖最易實(shí)現(xiàn)而普遍采用。本節(jié)主要介紹柱面和球面全景圖像的拼接算法。全景圖的拼接一般有以下幾個(gè)步驟。(1)將從真實(shí)世界中拍攝的一組照片以一定方式投影到統(tǒng)一的空間面上，如立方體、圓柱體和球體表面等，這樣這組照片就具有統(tǒng)一的參數(shù)空間坐標(biāo)。(2)在這個(gè)統(tǒng)一的空間對(duì)相鄰圖像進(jìn)行比

2、較，以確定可匹配的區(qū)域位置。(3)將圖像重疊區(qū)域進(jìn)行融合處理，拼接成全景圖。在全景圖的拼接中，一般都是根據(jù)圖像序列中相鄰兩幅圖像的重疊區(qū)域的相似性來實(shí)現(xiàn)的,有基于特征的方法和直接方法等。本章將主要從基于特征的方法和直接方法兩方面介紹柱面和球面全景圖像的拼接算法技術(shù)。6.1 柱面全景圖像拼接技術(shù)本節(jié)分為兩部分：第一部分是基于特征的拼接算法，這種算法主要從兩幅圖像中選擇一系列特征，然后根據(jù)相似性原則進(jìn)行圖像間的特征匹配，這一部分介紹了基于特征點(diǎn)和特征塊匹配的全景圖像拼接算法；第二部分是基于相位相關(guān)拼接算法，這種方法是直接從圖像的重疊區(qū)域?qū)?yīng)像素灰度值出發(fā)考慮，利用所有可利用的數(shù)據(jù)實(shí)現(xiàn)很精準(zhǔn)的匹配。

3、6.1.1 基于特征的拼接算法1 .基于特征點(diǎn)的拼接算法本節(jié)提出一種基于特征點(diǎn)匹配的柱面全景圖像拼接算法。首先將360°環(huán)繞拍攝的序列圖像投影到柱面坐標(biāo)系下：然后提取各圖像的尺寸不變特征變換(ScaleInvariantFeatureTransform,SIFT)特征點(diǎn)，通過特征點(diǎn)匹配完成兩幅圖像的配準(zhǔn)：再根據(jù)配準(zhǔn)結(jié)果計(jì)算出圖像間的變換參數(shù)；最后采用加權(quán)平均的融合方法對(duì)兩幅圖像進(jìn)行無縫拼接。1)柱面投影變換在進(jìn)行柱面全景圖的拼接過程中，為了保持實(shí)際場(chǎng)景中的空間約束關(guān)系和實(shí)際場(chǎng)景的視覺一致性，需將拍攝得到的反映各自投影平面的重登圖像序列映射到一個(gè)標(biāo)準(zhǔn)的柱面坐標(biāo)空間上,即柱面投影，得到柱

4、面圖像序列，再進(jìn)行拼接得到柱面全景圖。柱面投影變換的核心是投影變換公式，如圖6.1.1(a)所示為柱面投影空間，I表示原始圖像，/'是I的柱面投影圖像，坐標(biāo)原點(diǎn)0選為圓柱中心(投影中心)，假定攝像機(jī)的運(yùn)動(dòng)都發(fā)生在Oxz平面，而且圖像中心點(diǎn)就是光軸與圖像平面的交點(diǎn)，現(xiàn)在要得到。點(diǎn)觀察到的原始圖像I在柱面空間K上的柱面投影圖像°設(shè)柱面半徑r,投影角為氏圖像寬度為W,圖像高度為H,容易得到柱面圖像的寬度為2rsin8/2,高度仍為H。圖像的像素坐標(biāo)均以圖像平面中的最左上角像素為坐標(biāo)原點(diǎn)。對(duì)于圖像I上的任意一點(diǎn)P(x,y),在柱面圖像上的對(duì)應(yīng)點(diǎn)為P'(x',y'

5、;),對(duì)點(diǎn)P沿Oxz平面和O-xz的橫截面分別如圖6.1.1(b)和圖6.1.1(c)所小，可得柱面投影變換公式J.0.(fx-W/2x=rsin+rsmaictan<2IIr)rHr(y-H/2)<k式中，k=7r2+(W/2-x)2,r=IV/2tan(8/2)。柱面投影變換示意圖r為拍攝焦距，。為每張圖像所占的弧度角，一副全景圖像所占的角度為360°。假設(shè)相機(jī)拍攝時(shí)為等轉(zhuǎn)角拍攝，相鄰兩幅圖像重合度均為小拼接成一副全景圖像需要待拼接圖像總數(shù)為九，難么每一幅圖像所占的弧度角就可以近似為27r10=n(1-77)2)圖像配準(zhǔn)在全景圖的拼接中，圖像的配準(zhǔn)既是一個(gè)難點(diǎn)乂是一項(xiàng)

6、核心工作，它宜接影響圖像拼接的效果?；趫D像特征的配準(zhǔn)方法，首先要盡可能準(zhǔn)確地提取出圖像的特征，所以選擇高精度的提取方法至關(guān)重要。為了克服由于照相機(jī)的運(yùn)動(dòng)而存在的視角和尺度上的噪聲，采用2004年Low改進(jìn)的SIFT算法完成圖像序列特征點(diǎn)的提取。(1)特征點(diǎn)的提取。SIFT特征提取算法步驟如下。檢測(cè)尺度空間極值.首先對(duì)原始圖像進(jìn)行一系列的高斯濾波得到圖像的高斯空間；然后對(duì)高斯圖像進(jìn)行差分，形成高斯差分圖像空間DOG圖像(DiffeienceofGaussian)；最后，取這些特征點(diǎn)不受噪聲影響，DOG圖像保證特征點(diǎn)不受亮度差的影響，在高斯差分圖像空間提取極值點(diǎn)保證尺度不變性。精確定位特征點(diǎn)。首

7、先獲取候選特征點(diǎn)處的擬合函數(shù),、dDT1Td2Dd(x)=d+衩X+/T訴X求導(dǎo)得到極值點(diǎn)X=dX2dX對(duì)應(yīng)極值D(X)=D+ldDT2dX不斷修正X求取局部最優(yōu)點(diǎn)，剔除出(石|V0.03的弱特征點(diǎn)，同時(shí)獲取候選特征點(diǎn)的精確位置、尺度。然后獲取特征點(diǎn)的Hessian矩陣_/DxxDxyDxyDyy)的特征值a、B別代表x、y方向的梯度，剔除僅對(duì)一個(gè)方向梯度大的特征點(diǎn)。確定特征點(diǎn)的主方向。這一步驟的目的是用于特征點(diǎn)的匹配，找出主方向后，在進(jìn)行匹配時(shí)就可以把圖像旋轉(zhuǎn)到主方向，以保證圖像的旋轉(zhuǎn)不變性。(x,y)處的梯度值和方向值分別為lfy)-L(x-lfy)24-L(x,y+1)-L(x,y-l)

8、20(x,y)=tan-1L(3+1)-1)i(x+l,y)-L(x-l,y)在以特征點(diǎn)為中心的鄰域窗口內(nèi)采樣，采用梯度方向直方圖來統(tǒng)計(jì)鄰域像素的梯度方向,直方圖的最高峰值點(diǎn)對(duì)應(yīng)的方向即為主方向。生成特征點(diǎn)描述符。特征點(diǎn)的匹配就是進(jìn)行特征點(diǎn)描述符的比較，所以特征點(diǎn)的描述非常重要。以特征點(diǎn)為中心取16x16的窗口，然后在圖像的4x4小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，形成一個(gè)種子點(diǎn)。則一個(gè)特征點(diǎn)就用4x4=16個(gè)種子點(diǎn)來描述，而每個(gè)種子點(diǎn)有個(gè)8個(gè)方向向量信息，所以每個(gè)特征點(diǎn)就可以產(chǎn)生4x4x8=128個(gè)數(shù)據(jù)，即128維的SIFT特征向量或特征描述符。對(duì)特征向量的長(zhǎng)度歸一

9、化即可去除光照變化的影響。通過以上四步計(jì)算得到的SIFT特征點(diǎn)己經(jīng)比較穩(wěn)定了，下面就進(jìn)行特征點(diǎn)的匹配，以完成圖像的配準(zhǔn)。(2)特征點(diǎn)的匹配。以兩個(gè)特征點(diǎn)描述符之間的歐氏距離作為特征點(diǎn)匹配的相似度準(zhǔn)則。假設(shè)特征點(diǎn)對(duì)p和q的特征描述符分別為Desp和Desq，則其歐氏距離定義為d=Z(Desp(i)-Desq(i)211=0，.127首先采用優(yōu)先kd樹進(jìn)行優(yōu)先搜索來查找每個(gè)特征點(diǎn)的兩個(gè)近似最近鄰特征點(diǎn)，例如，找出特征點(diǎn)p歐氏距離最近和次近的兩個(gè)相鄰特征點(diǎn)q'和q，然后計(jì)算p與q'以及p與q兩組描述符之間歐氏距離的比值3如果t小于規(guī)定閾值T,則視為匹配成功，接受點(diǎn)對(duì)(p,q'

10、)為圖像序列中的一對(duì)匹配點(diǎn)，否則匹配失敗。然后采用RANSAC(RandomSampleConsensus)算法通過不斷地在所有特征點(diǎn)對(duì)中抽取4對(duì)特征點(diǎn)計(jì)算透視變換模型，同時(shí)統(tǒng)計(jì)符合模型的內(nèi)點(diǎn)，獲取最多內(nèi)點(diǎn)的模型即為圖像轉(zhuǎn)換模型，此時(shí)錯(cuò)誤匹配的點(diǎn)對(duì)也被刪除。3)圖像融合圖像配準(zhǔn)后，根據(jù)圖像間變換模型確定圖像間的重疊區(qū)域，今兒拼接圖像序列形成一幅完整的、寬視角的全景圖像，但是由于普通的手持照相機(jī)在拍攝照片時(shí)會(huì)自動(dòng)選取曝光參數(shù)，這會(huì)使輸入圖像間存在亮度差異，導(dǎo)致拼接后的圖像縫合線兩端出現(xiàn)明顯的明暗變化，因此，為了使融合后的圖像具有視覺一致性而沒有明顯的接縫，采用加權(quán)平均的融合方法進(jìn)行圖像平滑過渡。

11、假設(shè)元和心是兩幅待拼接的圖像，f是融合后的圖像，則九(。)f(zy)=piAtey)+刈心(x,y)O,y)e(An人)、似匕刃式中，n、電表示權(quán)重值，與重桎區(qū)域的寬度有關(guān)，且盛+d2=1,0<dltd2<1,在重疊區(qū)域，dI由1漸變至0,d2由0漸變至1,由此實(shí)現(xiàn)了在重疊區(qū)域由人慢慢平滑過渡到力。2 .基于特征塊的拼接算法本節(jié)提出一種基于特征塊匹配的柱面全景圖像拼接算法。首先將360。環(huán)繞拍攝的序列圖像投影到柱而坐標(biāo)系下：然后以一幅圖像為基準(zhǔn)圖像，選擇基準(zhǔn)圖像中邊緣信息豐富的塊作為基準(zhǔn)塊，利用特征塊匹配法在待配圖像中找出與基準(zhǔn)塊匹配的配準(zhǔn)塊，進(jìn)而實(shí)現(xiàn)兩幅圖像的配準(zhǔn):再根據(jù)配準(zhǔn)結(jié)果

12、計(jì)算出圖像間的變換參數(shù)：最后采用平滑因子對(duì)兩幅圖像的重，登區(qū)域進(jìn)行圖像無縫拼接。1)柱面坐標(biāo)映射柱面投影就是將圖像投影到柱面上，以獲得從投影中心(視點(diǎn))觀察圖像在柱面上的成像,從而滿足人類的視覺一致性。如圖6.1.2(a)所示，。為觀測(cè)點(diǎn)，Cylinder為投影柱面，/為待投(a)影圖像，r為I的柱面投影圖像。將圖6.1.2(a)分別向觀測(cè)點(diǎn)所在水平面和OMN面投影，得到的截面圖為圖6.1.2(b)和圖6.1.2(c),其中N(x,y)為/中的一點(diǎn)，N'(/，V)為其對(duì)應(yīng)的投即點(diǎn)。圖像的像素坐標(biāo)均以圖像平面中的左上角像素為坐標(biāo)原點(diǎn)。設(shè)柱面半徑為r,攝影寬度角為。，圖像寬度為W,高度為H

13、。容易得到，柱面圖像的寬度為2rsin(。/2),高度仍為H。由圖6.1.2(b)和圖6.1.2(c)可得柱面投影公式為,0x9-W/2圖6,1.2柱而坐標(biāo)映射示意圖=r-4-rarctan2r,Hr(H/2-y)其反投影公式為Wxf-rO/2%=+rtan2Hk(H/2-/)y=2式中，J為每張圖像所占的弧度角"為拍攝焦距，r="/2tan(6/2),k=y/r2(x-W/2)2.一幅全景圖像的角度為2n°假設(shè)照相機(jī)拍攝時(shí)為等轉(zhuǎn)角拍攝，相鄰兩幅圖像的重合度均為I拼接成一幅全景圖像需要的待拼接圖像總數(shù)為n,那么每一幅圖像所占的弧度角就可以近似為2)圖像配準(zhǔn)(1)基

14、準(zhǔn)特征塊的選取。利用特征塊匹配進(jìn)行圖像拼接的關(guān)鍵一步就是選取基準(zhǔn)特征塊，基準(zhǔn)塊選取不當(dāng)往往會(huì)造成拼接算法不能適應(yīng)待拼接圖像的變化。因此，本節(jié)基于邊緣信息進(jìn)行基準(zhǔn)特征塊的選取。采用Sobel算子對(duì)待拼接圖像進(jìn)行邊緣檢測(cè)，獲得原圖像的邊緣圖以圖像中每個(gè)像素點(diǎn)的鄰域邊緣量(NE/1)來定義此位置的邊緣信息大小為NEA(ij)=yye(i+m,j+n)式中，A為在點(diǎn)E(iJ)處所取鄰域邊長(zhǎng)的1/2o找出NE4(i,j)最大值所對(duì)應(yīng)的點(diǎn)(ij)作為基準(zhǔn)點(diǎn)，然后以此點(diǎn)n為中心點(diǎn)選擇大小適中的塊就可以找到基準(zhǔn)特征塊?；鶞?zhǔn)特征塊的.t|trinput行數(shù)乙和列數(shù)7；分別取Tr=rinput/8Tc=cinpu

15、t/8如圖6.1.3所示，圖中input為待拼接圖像，input為圖像的行圖6.1.3特征塊選取力數(shù)，cinput為圖像的列數(shù)，T(圖中陰影部分)為所選的基準(zhǔn)特征塊。(2)配準(zhǔn)準(zhǔn)則圖像配準(zhǔn)就是通過一定的配準(zhǔn)準(zhǔn)則找出兩幅待拼接圖像的重登區(qū)域，它是整個(gè)圖像拼接算法的核心部分。本書以兩幅圖像重疊部分灰度差的平方和為標(biāo)準(zhǔn)來衡量此區(qū)域是否配準(zhǔn)，設(shè)兩幅待拼接的圖像分別為A(iJ)和辦。/)，模版為T，則配準(zhǔn)公式如下D(i,j)=£聞(")一T(”)式中，T是圖像，28力中的基準(zhǔn)特征塊(模版圖像塊)：模版T登放在圖像上平移，模版下覆蓋的搜索塊叫做子圖(ij)是子圖左上角在圖像A(iJ)中

16、的坐標(biāo)。最佳匹配塊為D取最小值時(shí)所對(duì)應(yīng)的A(i,j)中的搜索塊。將式(6.1.15)展開得D(iJ)=WW酩&y)一2$ja,y)T(x,y)+T2(x,y)xy式中，中括號(hào)內(nèi)的第一項(xiàng)是模版T覆蓋下圖像Zi(iJ)子圖S»j的能量，它的值與T無關(guān)；第三項(xiàng)是基準(zhǔn)特征塊T的總能量，當(dāng)模版T選定后它就是個(gè)常數(shù)：第二項(xiàng)可以看成衡量Sj與T相似度的量，由不等式的性質(zhì)可以知道，當(dāng)Sj與T完全匹配時(shí)，此項(xiàng)的絕對(duì)值最大，因此，可以選取以下配準(zhǔn)式準(zhǔn)則R(i,j)=WWSjG，y)T(x-i，y-i)ky對(duì)式(6.1.17)歸一化得A(iJ)=ZxZy(,；Uy)-)(n%-Cy-7)-T-s)

17、2ZxSy(r(x-ify-j)-r)2式中，S為圖像A(iJ)中對(duì)應(yīng)搜索塊Su的灰度平均值；T為基準(zhǔn)特征塊的灰度平均值。計(jì)算對(duì)應(yīng)重疊區(qū)先與t的黃)，其最大值所對(duì)應(yīng)的位置(i。,j。)即為最佳匹配位置3)圖像融合將兩幅圖像配準(zhǔn)之后，接著就可以進(jìn)行融合了。圖像融合就是指將圖像進(jìn)行空間疊加從而增加信息量的過程。為了能夠使融合后的圖像具有視覺一致性而且沒有明顯的接縫，本書采用漸入漸出加權(quán)平均的方法實(shí)現(xiàn)圖像平滑過渡。設(shè)兩幅待拼接圖像分別為A(i,j)和，2。,力，融合后的圖像像素/(ij)可表示為(1J)(iJ)e人I(iJ)=叫(ij)+(1-a)I2(itj)(ij)GZin/2也切)aJ)el2

18、式中,aw(0,1),由式(6.L19)可以看出，當(dāng)a由1漸變到0時(shí),圖像從A(i,力平滑過渡到了心(ij),這樣就可以消除拼接的痕跡。4)算法步驟總結(jié)前面的論述，該柱面全景圖像拼接算法步驟如下。(1)讀取兩幅待拼接的圖像4(iJ)和以刑)，將原始圖像4GJ)和以訂)按照式CLIO)分別進(jìn)行柱面投影，得到柱面圖像/ci(Lj)和2(仃)。(2)取L(iJ)為基準(zhǔn)圖像，對(duì)圖像/c2(。)進(jìn)行邊緣檢測(cè)，并對(duì)其邊緣圖計(jì)算NEA(i,j)的值，找出NEA(i,j)的最大值，并以此點(diǎn)作為特征塊的中心點(diǎn)選取基準(zhǔn)特征塊。(3)對(duì)圖像H(iJ)和LOJ)和按照配準(zhǔn)準(zhǔn)則進(jìn)行搜索，找出最佳匹配塊。(4)根據(jù)兩個(gè)匹

19、配塊的位置計(jì)算兩幅圖像之間的位移，采用融合算法對(duì)拼接結(jié)果圖像進(jìn)行融合顯示。(5)重復(fù)步驟(1)步驟(5),完成所有圖像序列的拼接。6.1.2基于相位相關(guān)拼接算法本算法采用基于傅氏功率譜的頻域相關(guān)技術(shù)來尋找相鄰圖像的重疊部分，首先將相機(jī)拍攝的實(shí)景照片投影到圓柱面上，以柱面圖像的形式存儲(chǔ)；然后精確定位相鄰兩張照片間的重疊位置并融合相鄰圖像的亮度，通過圖像拼接形成完整的360。環(huán)境視景：最后采用互動(dòng)率譜中的相位信息進(jìn)行圖像配準(zhǔn)。其對(duì)圖像間的亮度變化不敏感，這樣可以有效避免局部最優(yōu)的現(xiàn)象。簡(jiǎn)而言之，本算法使用的拼接柱面全景圖方法可分為三部分。(1)利用頻域相位相關(guān)性構(gòu)造函數(shù)，該函數(shù)對(duì)兩幅輸入圖像分別進(jìn)

20、行二維傅里葉變換，返回相鄰兩幅圖像之間偏移位置。(2)計(jì)算一組360°實(shí)景圖片的相機(jī)焦距，對(duì)圖像序列分別進(jìn)行柱面投影。(3)逐次調(diào)用第一部分中函數(shù)對(duì)投影后圖像進(jìn)行拼接，并對(duì)光照進(jìn)行處理，完成柱面全景圖的生成。1 .投影變換及焦距估計(jì)在進(jìn)行柱而投影時(shí)，只要找到柱面坐標(biāo)和直角坐標(biāo)直接的對(duì)應(yīng)關(guān)系，就可以進(jìn)行投影變換。柱面投影原理圖如圖6.1.4所示。圖6.1.4柱面投影原理圖設(shè)投影前圖像h寬為W,高為H,令W_0=round(學(xué))H_0=roundg)則投影后圖像的坐標(biāo)(y)同Ii的坐標(biāo)3,九)有如下對(duì)應(yīng)關(guān)系X=r°um篇2嚕2+憶。)y=r°und(泮p+比°

21、;)式中，3=1/W,h=1/H,應(yīng)用柱面投影公式對(duì)于圖像進(jìn)行投影變換時(shí)，焦距f是重要參數(shù)。將投影前的照片序列兩兩之間的平移量分別設(shè)為Ci，C2,，C12,其中Ck表示第k幅照片與第k+1幅照片之間的水平位移，則可計(jì)算出焦距的初始值fo為12八，。立各k=l為了盡可能地逼近實(shí)際拍攝焦距，也可以采用迭代算法來減小誤差，算法具體步驟如下。(1)據(jù)式(6.1.22)初步計(jì)算出焦距/o，令f=卜(2)以/作為柱面投影參數(shù)，將該組照片投影到統(tǒng)一圓柱面上。(3)對(duì)投影后的圖片kbJ12進(jìn)行處理后再次使用相位相關(guān)法得出相對(duì)位移，據(jù)此重新計(jì)算焦距/o。(4)如果|/一為|>£,即精度不滿足要求

22、，則令f=/o,程序轉(zhuǎn)入步驟(3)。(5)直至|f一%|V£,得到較精確的f值。2 .基于相位相關(guān)的圖像配準(zhǔn)圖像拼接是根據(jù)相鄰兩幅圖像重疊區(qū)域的相似性來確定的，包括圖像配準(zhǔn)和圖像融合兩個(gè)關(guān)鍵環(huán)節(jié)。圖像配準(zhǔn)有基于區(qū)域、基于特征和基于相位的方法?；趨^(qū)域的方法通過比較兩幅圖像亮度(或顏色)差異，并使之最小化來尋找最佳匹配點(diǎn)，只要時(shí)間足夠長(zhǎng)，就可以拼接得足夠精確?；谔卣鞯钠唇臃椒ú捎脤ふ揖植繉?duì)應(yīng)和抽取圖像之間的對(duì)應(yīng)特征點(diǎn)的方法進(jìn)行匹配，如Hanis角點(diǎn)算法和SUSAN角點(diǎn)算法，該算法的優(yōu)點(diǎn)是計(jì)算量比較小，計(jì)算速度快，但是不一定能找到合適的圖像特征，結(jié)果也可能是局部最優(yōu)解。本節(jié)采取的是一種

23、基于頻域的方法，通過求得圖像在頻域上的相位相關(guān)特點(diǎn)來找到特征位置，從而進(jìn)行圖像拼合。假設(shè)*xy)表示尺寸為MXN的圖像，該函數(shù)的二維離散傅里葉變換為F(U,V)WWW/(%,ye-2rtj(ux/M+vy/N)x=0y=o式中，F(xiàn)(u,v)是復(fù)變函數(shù)：ii、v是頻率變量，u=O,l,Nl；x、y是空間或圖像變量。二維離散傅里葉逆變換為MTNT/(x,y)=yYF(u,v)e-2nj(ux/M+vy/N)x=0y=o式中，x=y=0,l/*,N-lo設(shè)兩幅圖像h、I2的重疊位置為(xo,yo)，則圖像L、b的互動(dòng)率譜為=_2町of+y亮)比延川)X2，七)1式中，*為共輾符號(hào)，對(duì)式(6.1.25

24、)兩邊進(jìn)行傅里葉逆變換將在的墳)處產(chǎn)生一個(gè)5函數(shù)，因此，只要檢測(cè)式(6.1.25)傅里葉逆變換結(jié)果最大值的位置，就可以獲得兩幅圖像間的平移量(xo，y。)。具體算法步驟和函數(shù)如下。(1)讀入兩幅照片h、k(函數(shù)輸入)，并轉(zhuǎn)換為灰度圖像。(2)分別對(duì)h、b作二維傅里葉變換，即A=fft2(/i),B=fft2(/2)則通過對(duì)A、B進(jìn)行簡(jiǎn)單的矩陣運(yùn)算得到另一矩陣Q，即3*conj(4)3norm(B*conj(4),1)(3)由式(6.1.27)可知，q的二維傅里葉逆變換矩陣。在Go，y。)處取得最大值，通過遍歷比較C(i，j)大小即可找到該位置，并作為函數(shù)返回值。3.圖像拼接對(duì)于重，登區(qū)域的圖像

25、，如果僅進(jìn)行簡(jiǎn)單平均加權(quán)求和，會(huì)在拼接的圖像中存在明顯的拼接痕帶，主要原因是相鄰圖像間存在亮度的差異和普通相機(jī)的拍攝會(huì)在采集到的圖像中出現(xiàn)邊緣失真的現(xiàn)象，而拼接使用的恰恰是圖像的邊緣區(qū)。本節(jié)采用函數(shù)加權(quán)法來處理重福區(qū)域的圖像，確保圖像的無縫過度。設(shè)A(x，9)、i2(戈，y)分別為待融合圖像區(qū)域點(diǎn)(xy)的像素值，則融合后該點(diǎn)的像素值I(x,y)為/(x,y)=+%(3)，2式中，匕(X,丁)、w2(x,y)分別為重疊像素點(diǎn)對(duì)應(yīng)A、，2的加權(quán)值。為使拼接后的圖像在兩個(gè)方向上都能平滑過渡，達(dá)到更好的融合效果，本書的加權(quán)系數(shù)Wi(X，y)、IV2(x,y)采用三角函數(shù)W12=4sin(wx,+3)

26、+T式中，xz=i/Wo本節(jié)對(duì)柱而全景圖像的幾種常見拼接算法作了詳細(xì)論述，闡述了基于特征點(diǎn)、特征塊和相關(guān)相位三種拼接方法，都是從投影變換、圖像配準(zhǔn)和圖像融合三方面進(jìn)行敘述。6.2基于球面的全景圖像拼接本節(jié)分為兩部分：第一部分介紹球面全景圖像的基礎(chǔ)知識(shí)，包括球面投影模型、球面全景圖的投影變換、參數(shù)模型和圖像變形問題的解決等：第二部分介紹基于球面的全景圖像拼接算法，一種是基于特征點(diǎn)的方法，另一種是基于像素點(diǎn)對(duì)應(yīng)關(guān)系的方法。6. 2.1球面全景圖像基礎(chǔ)知識(shí)球面全景圖可以實(shí)現(xiàn)參與者在照相機(jī)的視點(diǎn)以任意角度、任意方向的觀察，將所有拍攝的圖像都投影到球面模型上進(jìn)行合成，以便得到球而全景圖。球而全景圖符合人

27、眼的構(gòu)造并最適應(yīng)人們的觀察習(xí)慣，且滿足各向異性，真實(shí)感會(huì)更逼真。由于球面全景圖在計(jì)算機(jī)里存儲(chǔ)結(jié)構(gòu)的限制，一般對(duì)球面全景圖在俯仰角和方位角上進(jìn)行采樣處理，再展開球面圖像成寬高比為2:1的平面圖象。球面投影模型避免了空間不足的缺點(diǎn)，它不僅可以完整的表現(xiàn)全景空間，能夠搜索和反應(yīng)空間中所有方向的場(chǎng)景，而且它在獨(dú)立的球坐標(biāo)系下能夠僅用方位角和俯仰角來表示圖像上的任意一點(diǎn)，可以很好地完成圖像的存儲(chǔ)和漫游時(shí)的截取工作，這是利用球面投影模型最大的好處。盡管球而全景圖比較復(fù)雜，但它符合人眼的結(jié)構(gòu)，是觀看視點(diǎn)空間最理想的方式。因此，隨著科技的不斷發(fā)展和人們要求的不斷提高，球面全景圖必將成為最重要的研究對(duì)象。1 .

28、球面全景圖的投影變換基于圖像拼接的全景圖生成技術(shù)需要解決的問題是顯示的模型和產(chǎn)生模型上的圖像。球面全景圖不僅能夠描述大范圍場(chǎng)景，而且最符合人們的觀察習(xí)慣。球面模型盡管比較復(fù)雜，但垂直方向視角廣，可實(shí)現(xiàn)真正意義上的全景瀏覽，虛擬場(chǎng)景是經(jīng)過圖像處理生成全景圖進(jìn)行空間關(guān)聯(lián)，再建立起具有交互性的虛擬環(huán)境。1)圖像參數(shù)模型為了從圖像中提取球面每個(gè)位置的色彩信息，需要知道圖像中像素對(duì)應(yīng)的球面位置，其中某一幅圖像拍攝時(shí)的方向?yàn)榛鶞?zhǔn)，從而得出圖像中像素在球面上的對(duì)應(yīng)位置。(1)拍攝方向參數(shù)模型。定義一個(gè)原點(diǎn)為視點(diǎn)的基準(zhǔn)坐標(biāo)系，其中空間任意一點(diǎn)P(XYZ)在相機(jī)坐標(biāo)系中(原點(diǎn)也為視點(diǎn))的對(duì)應(yīng)點(diǎn)設(shè)為它們的對(duì)應(yīng)關(guān)系

29、可以先用下面的變換來表示Yfz.X=RYz.式中，K為三角單位正交矩陣，K有多種表示方法，常見的有方向角、四元組。相機(jī)的方向角包括俯仰角、偏轉(zhuǎn)角、繞攝像機(jī)光軸的旋轉(zhuǎn)角，分別用/、/表示。旋轉(zhuǎn)變換使用方向角的表示方法為將R表示為cosysiny0R=sinycosy0001cos/?sinasin/?cosacosp0cosasinasin/?sinacos/?cosacosa這種方式表現(xiàn)較為直觀，且沒有增加參數(shù)的個(gè)數(shù)，同時(shí)表征的相機(jī)坐標(biāo)系的絕對(duì)方向。(2)焦距的計(jì)算。實(shí)景圖像統(tǒng)一的基本度量單位一般為像素。為獲得球體的半徑，首先要估計(jì)相機(jī)的焦距，這里利用等距離匹配算法的方法實(shí)現(xiàn)。其原理如圖621

30、所示，A和/2是拍攝的相鄰的兩張水平層系列圖片；0為相機(jī)旋轉(zhuǎn)一次光軸的夾角，也是拍攝人和12時(shí)相機(jī)的轉(zhuǎn)角，山為相鄰照片的交點(diǎn)到照片的位移。設(shè)/是相機(jī)的焦距，則有4(P=2arctan若相機(jī)旋轉(zhuǎn)一周拍攝得到n幅序列圖像，則有Zdt2arctani=l/根據(jù)序列圖像的4值求得f值后，就得到了球面模型的半徑，接著把各層的圖像投影到半徑為f的球面模型上。(3)投影模型。設(shè)相機(jī)的焦距為f,投影中心在圖像中的位置為(小,與)，在尤拍攝方向確定的相機(jī)坐標(biāo)系中,空間中的一點(diǎn)(XX,Z')在圖像平面中的對(duì)應(yīng)點(diǎn)(x.y)之間有如下關(guān)系X'Yfz'.f0Cx0fCy10011此時(shí)圖像數(shù)據(jù)矩陣

31、中的第一列表示圖像最底下的那一列。如果數(shù)據(jù)的排列形式不同，則還要做進(jìn)一步變換。如果第一行表示圖像最頂上一列，則存在如下關(guān)系(4)坐標(biāo)變換矩陣。在不同的參數(shù)模型下，圖像的變換矩陣有不同的形式，在這些表示形式中，圖像的投影模型是相同的，不同的只是旋轉(zhuǎn)變換參數(shù)。用/、/2表示兩幅圖像，方、心表示他們的焦距，投影中心位于圖像中心(q,Cy)。用表示人到12的坐標(biāo)變換矩陣，則2121Jrxyl曠LZZJ1勺=11rxylX1=Myi.1.產(chǎn)1yi111=k2r2rk%11JIf0cxK=0fCy(i=1,2)001.對(duì)于方向角參數(shù)模型而言，設(shè)兩幅圖像A和12的相機(jī)參數(shù)分別是31邛1，丫1)和(。2，02

32、，丫2)，則坐標(biāo)變換矩陣為M=K2R2RilKi1式中，入為第i幅圖像的旋轉(zhuǎn)變換矩陣。2)球面投影算法攝像機(jī)獲取的反應(yīng)360°全景的序列圖像是在不同角度下拍攝的，直接拼接時(shí)視覺一致性受到嚴(yán)重破壞，因?yàn)樵谥睾蠀^(qū)域會(huì)產(chǎn)生局部變形扭曲。視覺一致性要求首先把圖像統(tǒng)一投影到球面上，完成球面正投影后再進(jìn)行拼接才能得到無變形和無畸變的全景圖像。(1)投影圖平面展開圖。圖622所示投影到球面后展開的平面圖。(a)為原始照片；(b)為平視層的球面展開圖；(c)為仰視層的球面展開面圖照片平面上有一像素點(diǎn)設(shè)為P(x,y),在球面展開圖上對(duì)應(yīng)的點(diǎn)為%),在球面半徑一定時(shí)，球面展開平面圖像的形狀只與仰角有關(guān)。

33、(0,0)(a)原始圖像1111P"乂).I(0,0)“一X(b)平視層的球面展開圖L-(0,0)J仰視層的球面展開圖(2)正投影算法。球而正投影算法是將所有的實(shí)景圖像分別投影到一個(gè)球面上，這樣做不僅消除了直接拼接時(shí)產(chǎn)生的局部扭曲與變形情況，而且消除了不必要的重復(fù)信息，同時(shí)還得到了像素點(diǎn)在視覺空間的方位信息。由拍攝所得實(shí)景圖像經(jīng)球面正投影算法得到球面圖像。設(shè)攝像機(jī)坐標(biāo)系為Oc-、c%Zc，世界坐標(biāo)系為。卬-Xw%vZw，照相機(jī)的拍攝方向?yàn)?%B)3任意一個(gè)實(shí)景像素點(diǎn)P(x,y)在球面全景圖像上的對(duì)應(yīng)點(diǎn)為P'(£,y')；點(diǎn)P(x,y)在攝像機(jī)坐標(biāo)系中的坐標(biāo)為

34、(x,y,f),其在世界坐標(biāo)系。w-wWZw下的坐標(biāo)為(Xp,yp,Zp),則有0sin0l1000cos/?JLo0cosasina0-sinacosa根據(jù)式(6211)可以推導(dǎo)出球面全景圖像上尸'(xy)與P(x,y)之間的函數(shù)對(duì)應(yīng)關(guān)系。這里P(x,y)是球面空間中視線方向(a、。)的圖像上一點(diǎn)。三維球面方程的表示。過點(diǎn)O與點(diǎn)P的直線的參數(shù)方程(t是參數(shù))可以表示為(Xp=tXpyp=tyPzp=tzp球面方程表示為42+%2+Zfp2=f2聯(lián)立式(6.2.12)和式(6.2.13)可得出參數(shù)t為-_f+yp+zp三維球面方程轉(zhuǎn)變?yōu)槎粓D像坐標(biāo)。像素點(diǎn)P(%y)在球面上投影點(diǎn)P的參

35、數(shù)左邊為年。由于三維左邊不便于儲(chǔ)存，必須轉(zhuǎn)化為二維坐標(biāo)，即把球面展開成平面，所以有以下情況。當(dāng)4>o時(shí)(x'pX，=/arccosI=I卜+用a,yf=/arccos=、+靖)當(dāng)多<0時(shí)推導(dǎo)出P(x,y)和P'(£,y')的關(guān)系，記A=ysinacos/?xsin/?/cosacos/?由以上各式得到以下結(jié)論。當(dāng)AN0時(shí)x'=/arccosxcos0+ysinasin0+fsin0cosax?+(ysinq+fcosq)2當(dāng)AV0時(shí)/=/(+arctanycosa-fsina+(ysina+fcosa)2n+arctanyjx2+(ysin

36、a+/cosa)2(xcos0+ysinasin0+fsin0cosa2narccosycosa-fsina+(ysina+/cosa)2(3)反第投影法。球面反投影是正投影的逆過程，即把球面全景圖像生成供觀察到的視圖，經(jīng)推導(dǎo)得出=fsin(y7f)cos-0)IXsin(yz/)cosasin(y,/4-/?)cos(y，/f)sina|,fsin(y7f)sin(£/)+0)-cos(y7f)cosaVsin(yV/)cosasin(%V/+0)cos(yz/)sina這就是球面反投影變換公式。對(duì)于輸入圖像中的一點(diǎn)，坐標(biāo)經(jīng)過一些計(jì)算后，輸出圖像上的坐標(biāo)變換，其結(jié)果一般會(huì)是小數(shù)值，

37、這些結(jié)果的映射在非整數(shù)位置，所以在投影變換過程中，數(shù)據(jù)不具有連續(xù)性，出現(xiàn)鋸齒現(xiàn)象導(dǎo)致變形。2 .球面投影變形問題的解決采用雙線性插值算法可以解決球面投影過程中的變形。雙線性插值就是根據(jù)輸出圖像寬度和高度，將輸入圖像的寬度和高度均分，來確定輸出圖像的灰度值的方法。雙線性插值乂稱為一階插值算法，可以把它描述成：已知單位正方形的四個(gè)頂點(diǎn)值，求正方形內(nèi)任一點(diǎn)/(x,y)的值。如圖6.2.3所示，其中，設(shè)插值點(diǎn)為其相鄰的四個(gè)點(diǎn)分別為Zi、z2為、z"它就是用四個(gè)鄰近點(diǎn)的灰度值的線性組合得到插值點(diǎn)z(/,y')的灰度值z(mì)=z1+(z2-z2)(%z-%i)+(z3-Zi)(y'-

38、%)+(z4-z3-z2-z。'-%)利用二維雙線性函數(shù)具有的可分離性分為兩步一維線性插值來計(jì)算，即對(duì)水平方向作一次一維線性插值，再對(duì)垂直方向作一次一維線性插值，從而得到T'的光強(qiáng)值。要獲得投影圖上某像素點(diǎn)的灰度值，必須首先知道它在原始圖中相應(yīng)的實(shí)數(shù)坐標(biāo)點(diǎn)，進(jìn)一步由該實(shí)數(shù)坐標(biāo)可以判斷出該實(shí)數(shù)坐標(biāo)點(diǎn)所在整數(shù)坐標(biāo)網(wǎng)格的四點(diǎn)的坐標(biāo)，然后根據(jù)這四點(diǎn)的灰度值進(jìn)行雙線性插值的計(jì)算。也就是說，在投影算法的實(shí)現(xiàn)中，采用反向計(jì)算的方法，利用反投影公式計(jì)算投影后圖像的所有像素值，之后根據(jù)每一個(gè)投影后的像素在投影圖像中的位置計(jì)算出它在源圖像中對(duì)應(yīng)的位置，再通過雙線性插值求出實(shí)際的像素值。6. 2.2

39、球面全景圖像拼接圖像拼接是全景圖生成中最重要的步驟。圖像拼接可以分為兩類，分別是基于特征的算法和基于像素點(diǎn)對(duì)應(yīng)關(guān)系的算法。1 .基于像素點(diǎn)對(duì)應(yīng)關(guān)系的困像拼接方法1)基于像素點(diǎn)對(duì)應(yīng)關(guān)系的算法原理算法假設(shè)兩幅圖像上的對(duì)應(yīng)點(diǎn)表示場(chǎng)景中同一方向的光線，對(duì)應(yīng)點(diǎn)的像素值應(yīng)盡量接近。算法的目標(biāo)是使所有對(duì)應(yīng)點(diǎn)像素值的差異總和最小。所以，對(duì)于兩幅重碎八、；2,優(yōu)化算法的目標(biāo)函數(shù)為E=名歷,:/)一(%y)wel2x.y假設(shè)優(yōu)化的參數(shù)»=口打，給定產(chǎn)的初值，算法根據(jù)尸變化時(shí)E的變化來決定下一個(gè)優(yōu)化的尸值。對(duì)于每一對(duì)對(duì)應(yīng)點(diǎn)，誤差變化與參數(shù)的變化近似為線性關(guān)系E(A»)=£exy+.(&

40、quot;)+。工42x,y1xty式中，%y=/2(x',y')-/1(芍、)為亮度誤差，9：%，=W2(x',y')為圖像亮度場(chǎng)在(x',y)處的梯度。是/%),=0(£,y')/而關(guān)于萬的Jacobian矩陣。A"可以通過正則方程求解HAp=-G式中，H=人3gx3魔力其力，,G=exyJx>y>gxiy».2)球面圖像的拼接理想情況下。確定了所有重疊圖像對(duì)之間的位置關(guān)系即可確定所有圖像之間的位置關(guān)系,但由于誤差影響，所有圖像之間的位置關(guān)系可能互相矛盾。為此，算法以所有圖像之間的誤差能量最小作為準(zhǔn)則

41、對(duì)所有圖像參數(shù)進(jìn)行優(yōu)化，從而確定它們之間的位置關(guān)系。設(shè)所有需要定位的圖像為匕/力，4，則算法的目標(biāo)函數(shù)就是E=W”式中，是兩幅重疊圖像4、4的無常能量，1wi=/W幾,此時(shí)正則方程為HAp=-G式中，P=(P1，P2,，Pn)T。將”寫成(“5)，”為4X4階矩陣，將G寫成(GJnxi，G1為4X1階向量，則yixzi仇=Wexyxy式中，為人上的點(diǎn)與今上對(duì)應(yīng)點(diǎn)的亮度誤差。對(duì)應(yīng)于每?jī)煞馗D像人和與有式中，冬沙為人上的點(diǎn)與4上對(duì)應(yīng)點(diǎn)的亮度誤差。3)算法實(shí)現(xiàn)為了克服上述算法收斂速度較慢、計(jì)算時(shí)間較長(zhǎng)的問題，提出了相應(yīng)的解決辦法，首先是構(gòu)造圖像金字塔，用多分辨率的方法由粗到精進(jìn)行參數(shù)最優(yōu)值的搜索，

42、其次在匹配的圖像中選擇一部分點(diǎn)進(jìn)行計(jì)算，在保證算法可靠性的前提下減少計(jì)算量。(1)圖像金字塔的構(gòu)造。圖像金字塔將源圖像保存成多個(gè)降低分辨率的圖像，拼接時(shí)首先對(duì)低分辨率的圖像進(jìn)行拼接，拼接的結(jié)果作為下一步較高分辨率圖像拼接的初值，有多種構(gòu)造方法，最常用的是Gauss金字塔，即首先對(duì)圖像進(jìn)行Gauss濾波，五階Gauss濾波器有如下形式G=W'W然后對(duì)圖像采樣得到低分辨率圖像。另一種常用的金字塔是Laplacian金字塔，它是由Gauss金字塔中相應(yīng)層次圖像減去較低分辨率圖像插值得到的同分辨率圖像得到的，這樣金字塔中的每一層只保留相應(yīng)分辨率層次的信息。其優(yōu)點(diǎn)在于除了最低分辨率的那一層之外，

43、其他層次對(duì)圖像間整體亮度的差別不敏感,從而提高了計(jì)算速度。(2)計(jì)算點(diǎn)的選擇。在算法的處理過程中，主要的計(jì)算時(shí)間花費(fèi)在計(jì)算對(duì)應(yīng)點(diǎn)的坐標(biāo)、圖像的梯度及參數(shù)變化時(shí)坐標(biāo)的變化上。在處理大分辨率圖像的時(shí)候，如果對(duì)每一個(gè)像素點(diǎn)都進(jìn)行計(jì)算，計(jì)算量會(huì)非常大。根據(jù)本算法采用的參數(shù)模型，對(duì)于兩幅圖像事實(shí)上只需四對(duì)對(duì)應(yīng)點(diǎn)即可確定相互之間的對(duì)應(yīng)關(guān)系，考慮到精度和穩(wěn)定性，可適當(dāng)增加計(jì)算點(diǎn)。所以本書算法采用在圖像中抽取一部分店進(jìn)行計(jì)算的方法來降低計(jì)算量。具體的方法是根據(jù)要選取的點(diǎn)的樹木將圖像等分為若干區(qū)域，由于大部分區(qū)域圖像的梯度都為零，而梯度為零的點(diǎn)對(duì)于計(jì)算沒有任何影響，所以選取每個(gè)區(qū)域內(nèi)梯度最大的圖像點(diǎn)進(jìn)行計(jì)算既保

44、證了計(jì)算的精度，同時(shí)大大提高了計(jì)算的速度。根據(jù)上述算法，球面全景圖像拼接算法的流程如下。(1)讀取每一幅場(chǎng)景圖像，對(duì)每幅圖像進(jìn)行處理，使圖像中只包含亮度信息，這樣每一幅圖像就可以用一個(gè)矩陣來表示。(2)為每一幅圖像建立圖像金字塔，金字塔的層數(shù)以及每一層的分辨率由場(chǎng)景圖像的分辨率確定。(3)為每一幅圖像確定初始參數(shù)，判斷任意兩幅圖像之間的重疊關(guān)系，對(duì)重盤區(qū)域大于某個(gè)值得圖像計(jì)算變換參數(shù)。(4)計(jì)算每幅圖像的梯度圖像。(5)使用優(yōu)化算法計(jì)算下一個(gè)較優(yōu)的圖像參數(shù)。(6)判斷優(yōu)化的結(jié)果，如果滿足收斂條件，則停止優(yōu)化，否則返回步驟(5)重新計(jì)算。2 .基于特征點(diǎn)的圖像拼接方法圖6.2.4所示為基于特征點(diǎn)

45、的球面全景圖拼接總體框架?；谔卣鼽c(diǎn)的拼接方法是目前應(yīng)用最廣泛的一類方法，該方法通過計(jì)算特征點(diǎn)之間的最大相似度量，建立匹配點(diǎn)對(duì)之間的對(duì)應(yīng)關(guān)系進(jìn)行配準(zhǔn)，再對(duì)重登區(qū)域采樣融合，形成一幅寬視角場(chǎng)景的，完整的并且包括圖像所有序列信息的新圖像技術(shù)。1)相鄰兩幅圖像特征點(diǎn)的匹配選取角點(diǎn)作為待提取的特征點(diǎn)。角點(diǎn)檢測(cè)算法很多，常見的算法包括Moravec角點(diǎn)檢測(cè)算法、SUSAN角點(diǎn)檢測(cè)算法和Harris角點(diǎn)檢測(cè)算法。Hanis角點(diǎn)檢測(cè)算法是Harris和Stephens提出的一種對(duì)信號(hào)有效的點(diǎn)特征提取算法，這種算法亮取的特征均勻合理，比較穩(wěn)定，而且計(jì)算簡(jiǎn)單。本節(jié)選用Harris角點(diǎn)檢測(cè)算子提取特征點(diǎn)。Harris角點(diǎn)檢測(cè)算法實(shí)現(xiàn)步驟如下：圖624博于特征點(diǎn)6的球面