全景圖像拼接技術(shù)

1、第6章 全景圖像的拼接技術(shù)全景圖像(全景圖)的拼接是指利用攝像機的平移或旋轉(zhuǎn)得到的部分重疊的圖像樣本，生成一個較大的甚至360°的全方位圖像的場景繪制方法。換句話說，就是給定某個真實場景的一組局部圖像，然后對這一組圖像進行拼接，生成包含這組局部圖像的新視圖。目前全景圖像基本可分為柱面、球面、立方體等形式，以柱面和球面全景圖最易實現(xiàn)而普遍采用。本節(jié)主要介紹柱面和球面全景圖像的拼接算法。全景圖的拼接一般有以下幾個步驟。(1)將從真實世界中拍攝的一組照片以一定方式投影到統(tǒng)一的空間面上，如立方體、圓柱體和球體表面等，這樣這組照片就具有統(tǒng)一的參數(shù)空間坐標。(2)在這個統(tǒng)一的空間對相鄰圖像進行比

2、較，以確定可匹配的區(qū)域位置。(3)將圖像重疊區(qū)域進行融合處理，拼接成全景圖。在全景圖的拼接中，一般都是根據(jù)圖像序列中相鄰兩幅圖像的重疊區(qū)域的相似性來實現(xiàn)的，有基于特征的方法和直接方法等。本章將主要從基于特征的方法和直接方法兩方面介紹柱面和球面全景圖像的拼接算法技術(shù)。6.1 柱面全景圖像拼接技術(shù)本節(jié)分為兩部分：第一部分是基于特征的拼接算法，這種算法主要從兩幅圖像中選擇一系列特征，然后根據(jù)相似性原則進行圖像間的特征匹配，這一部分介紹了基于特征點和特征塊匹配的全景圖像拼接算法；第二部分是基于相位相關(guān)拼接算法，這種方法是直接從圖像的重疊區(qū)域?qū)?yīng)像素灰度值出發(fā)考慮，利用所有可利用的數(shù)據(jù)實現(xiàn)很精準的匹配。

3、6.1.1基于特征的拼接算法1.基于特征點的拼接算法本節(jié)提出一種基于特征點匹配的柱面全景圖像拼接算法。首先將360°環(huán)繞拍攝的序列圖像投影到柱面坐標系下：然后提取各圖像的尺寸不變特征變換(Scale Invariant Feature Transform, SIFT)特征點，通過特征點匹配完成兩幅圖像的配準；再根據(jù)配準結(jié)果計算出圖像間的變換參數(shù)；最后采用加權(quán)平均的融合方法對兩幅圖像進行無縫拼接。1)柱面投影變換在進行柱面全景圖的拼接過程中，為了保持實際場景中的空間約束關(guān)系和實際場景的視覺一致性，需將拍攝得到的反映各自投影平面的重疊圖像序列映射到一個標準的柱面坐標空間上，即柱面投影，得

4、到柱面圖像序列，再進行拼接得到柱面全景圖。柱面投影變換的核心是投影變換公式，如圖6.1.1(a)所示為柱面投影空間，I表示原始圖像，I'是I的柱面投影圖像，坐標原點O選為圓柱中心(投影中心)，假定攝像機的運動都發(fā)生在O-xz平面，而且圖像中心點就是光軸與圖像平面的交點，現(xiàn)在要得到O點觀察到的原始圖像I在柱面空間K上的柱面投影圖像I'。設(shè)柱面半徑r，投影角為，圖像寬度為W，圖像高度為H，容易得到柱面圖像的寬度為2rsin2,高度仍為H。圖像的像素坐標均以圖像平面中的最左上角像素為坐標原點。對于圖像I上的任意一點P(x,y)，在柱面圖像I上的對應(yīng)點為P'(x',y&

5、#39;),對點P沿O-xz平面和O-xz的橫截面分別如圖6.1.1(b)和圖6.1.1(c)所示，可得柱面投影變換公式&&式中，k=r2+(W2-x)2，r=W2tan2。圖6.1.1 柱面投影變換示意圖r為拍攝焦距，為每張圖像所占的弧度角，一副全景圖像所占的角度為360°。假設(shè)相機拍攝時為等轉(zhuǎn)角拍攝，相鄰兩幅圖像重合度均為，拼接成一副全景圖像需要待拼接圖像總數(shù)為n，難么每一幅圖像所占的弧度角就可以近似為=2n1(1-)2)圖像配準在全景圖的拼接中，圖像的配準既是一個難點又是一項核心工作，它直接影響圖像拼接的效果。基于圖像特征的配準方法，首先要盡可能準確地提取出圖像

6、的特征，所以選擇高精度的提取方法至關(guān)重要。為了克服由于照相機的運動而存在的視角和尺度上的噪聲，采用2004年Low改進的SIFT算法完成圖像序列特征點的提取。(1)特征點的提取。SIFT特征提取算法步驟如下。檢測尺度空間極值.首先對原始圖像進行一系列的高斯濾波得到圖像的高斯空間；然后對高斯圖像進行差分，形成高斯差分圖像空間DOG圖像(Difference of Gaussian)；最后，取這些特征點不受噪聲影響，DOG圖像保證特征點不受亮度差的影響，在高斯差分圖像空間提取極值點保證尺度不變性。精確定位特征點。首先獲取候選特征點處的擬合函數(shù)DX=D+DTXX+12XT2DX2X 求導(dǎo)得到極值點X

7、=-2D-1X2DX對應(yīng)極值DX=D+12DTX不斷修正X求取局部最優(yōu)點，剔除DX<0.03的弱特征點，同時獲取候選特征點的精確位置、尺度。然后獲取特征點的Hessian矩陣H=DxxDxyDxyDYYH的特征值、別代表x、y方向的梯度，剔除僅對一個方向梯度大的特征點。確定特征點的主方向。這一步驟的目的是用于特征點的匹配，找出主方向后，在進行匹配時就可以把圖像旋轉(zhuǎn)到主方向，以保證圖像的旋轉(zhuǎn)不變性。(x,y)處的梯度值和方向值分別為mx,y=Lx+1,y-L(x-1,y)2+Lx,y+1-L(x,y-1)2x,y=tan-1Lx,y+1-L(x,y-1)Lx+1,y-L(x-1,y)在以特

8、征點為中心的鄰域窗口內(nèi)采樣，采用梯度方向直方圖來統(tǒng)計鄰域像素的梯度方向，直方圖的最高峰值點對應(yīng)的方向即為主方向。生成特征點描述符。特征點的匹配就是進行特征點描述符的比較，所以特征點的描述非常重要。以特征點為中心取的窗口，然后在圖像的小塊上計算個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種子點。則一個特征點就用個種子點來描述，而每個種子點有個個方向向量信息，所以每個特征點就可以產(chǎn)生個數(shù)據(jù)，即維的SIFT特征向量或特征描述符。對特征向量的長度歸一化即可去除光照變化的影響。通過以上四步計算得到的SIFT特征點已經(jīng)比較穩(wěn)定了，下面就進行特征點的匹配，以完成圖像的配準。(2)特征點的匹配。

9、以兩個特征點描述符之間的歐氏距離作為特征點匹配的相似度準則。假設(shè)特征點對和的特征描述符分別為Desp和Desq，則其歐氏距離定義為d=i=0,127(Despi-Desqi)2首先采用優(yōu)先k-d樹進行優(yōu)先搜索來查找每個特征點的兩個近似最近鄰特征點，例如，找出特征點歐氏距離最近和次近的兩個相鄰特征點q'和q''，然后計算p與q'以及p與q''兩組描述符之間歐氏距離的比值t，如果t小于規(guī)定閾值T，則視為匹配成功，接受點對(p,q')為圖像序列中的一對匹配點，否則匹配失敗。然后采用RANSAC (Random Sample Consensus)

10、 算法通過不斷地在所有特征點對中抽取4對特征點計算透視變換模型，同時統(tǒng)計符合模型的內(nèi)點，獲取最多內(nèi)點的模型即為圖像轉(zhuǎn)換模型，此時錯誤匹配的點對也被刪除。 3)圖像融合圖像配準后，根據(jù)圖像間變換模型確定圖像間的重疊區(qū)域，今兒拼接圖像序列形成一幅完整的、寬視角的全景圖像，但是由于普通的手持照相機在拍攝照片時會自動選取曝光參數(shù)，這會使輸入圖像間存在亮度差異，導(dǎo)致拼接后的圖像縫合線兩端出現(xiàn)明顯的明暗變化，因此，為了使融合后的圖像具有視覺一致性而沒有明顯的接縫，采用加權(quán)平均的融合方法進行圖像平滑過渡。假設(shè)f1和f2是兩幅待拼接的圖像，f是融合后的圖像，則fx,y=f1(x,y)d1f1x,y+d2f2x

11、,y (x,y)(f1f2)f2(x,y)式中，d1、d2表示權(quán)重值，與重疊區(qū)域的寬度有關(guān)，且d1+d2=1, 0<d1,d2<1, 在重疊區(qū)域，d1由1漸變至0，d2由0漸變至1，由此實現(xiàn)了在重疊區(qū)域由f1慢慢平滑過渡到f2。2. 基于特征塊的拼接算法本節(jié)提出一種基于特征塊匹配的柱面全景圖像拼接算法。首先將360°環(huán)繞拍攝的序列圖像投影到柱面坐標系下：然后以一幅圖像為基準圖像，選擇基準圖像中邊緣信息豐富的塊作為基準塊，利用特征塊匹配法在待配圖像中找出與基準塊匹配的配準塊，進而實現(xiàn)兩幅圖像的配準：再根據(jù)配準結(jié)果計算出圖像間的變換參數(shù)：最后采用平滑因子對兩幅圖像的重疊區(qū)域進

12、行圖像無縫拼接。1)柱面坐標映射柱面投影就是將圖像投影到柱面上，以獲得從投影中心(視點)觀察圖像在柱面上的成像，從而滿足人類的視覺一致性。如圖6.1.2(a)所示，O為觀測點，Cylinder為投影柱面，I為待投影圖像，I'為I的柱面投影圖像。圖6.1.2 柱面坐標映射示意圖將圖6.1.2(a)分別向觀測點所在水平面和OMN面投影，得到的截面圖為圖6.1.2(b)和圖6.1.2(c)，其中Nx,y為I中的一點，N'(x',y')為其對應(yīng)的投影點。圖像的像素坐標均以圖像平面中的左上角像素為坐標原點。設(shè)柱面半徑為r，攝影寬度角為，圖像寬度為W，高度為H。容易得到，柱

13、面圖像的寬度為2rsin(2)，高度仍為H。由圖6.1.2(b)和圖6.1.2(c)可得柱面投影公式為&x'=r2+rarctanx'-W2r&y'=H2-r(H2-y)k其反投影公式為x=W2+rtanx'-r/2ry=H2-k(H2-y')r式中，為每張圖像所占的弧度角：r為拍攝焦距，r=W2tan2, k=r2+x-W22。一幅全景圖像的角度為2。假設(shè)照相機拍攝時為等轉(zhuǎn)角拍攝，相鄰兩幅圖像的重合度均為，拼接成一幅全景圖像需要的待拼接圖像總數(shù)為n，那么每一幅圖像所占的弧度角就可以近似為=2n1(1-)2)圖像配準(1)基準特征塊的選取

14、。利用特征塊匹配進行圖像拼接的關(guān)鍵一步就是選取基準特征塊，基準塊選取不當往往會造成拼接算法不能適應(yīng)待拼接圖像的變化。因此，本節(jié)基于邊緣信息進行基準特征塊的選取。采用Sobel 算子對待拼接圖像進行邊緣檢測，獲得原圖像的邊緣圖Ei,j，以圖像中每個像素點的鄰域邊緣量NEA來定義此位置的邊緣信息大小為NEAi,j=m=-AAn=-AAE(i+m,j+n)式中，A為在點E(i,j)處所取鄰域邊長的1/2 。找出NEA(i,j)最大值所對應(yīng)的點(i,j)作為基準點，然后以此點為中心點選擇大小適中的塊就可以找到基準特征塊。基準特征塊的行數(shù)Tt和列數(shù)Tc分別取Tr=rinput/8Tc=cinput/8圖

15、6.1.3 特征塊選取示意圖如圖6.1.3所示，圖中input為待拼接圖像，rinput為圖像的行數(shù)，cinput為圖像的列數(shù)，T(圖中陰影部分)為所選的基準特征塊。(2)配準準則圖像配準就是通過一定的配準準則找出兩幅待拼接圖像的重疊區(qū)域，它是整個圖像拼接算法的核心部分。本書以兩幅圖像重疊部分灰度差的平方和為標準來衡量此區(qū)域是否配準，設(shè)兩幅待拼接的圖像分別為I1(i,j)和I2(i,j)，模版為T，則配準公式如下Di,j=xySi,jx,y-T(x,y)2式中，T是圖像I2(i,j)中的基準特征塊(模版圖像塊)；模版T疊放在圖像I1(i,j)上平移，模版下覆蓋的搜索塊叫做子圖Si,j，(i,j

16、)是子圖Si,j左上角在圖像I1(i,j)中的坐標。最佳匹配塊為D取最小值時所對應(yīng)的I1(i,j)中的搜索塊。將式(6.1.15)展開得Di,j=xySi,j2x,y-2Si,jx,yTx,y+T2(x,y)式中，中括號內(nèi)的第一項是模版T覆蓋下圖像I1(i,j)子圖Si,j的能量，它的值與T無關(guān)；第三項是基準特征塊T的總能量，當模版T選定后它就是個常數(shù)；第二項可以看成衡量Si,j與T相似度的量，由不等式的性質(zhì)可以知道，當Si,j與T完全匹配時，此項的絕對值最大，因此，可以選取以下配準式準則Ri,j=xySi,j(x,y)T(x-i,y-i)對式(6.1.17)歸一化得R(i,j)=xy(Si,

17、jx,y-S)(Tx-i,y-j-Txy(Si,jx,y-S)2xy(Tx-i,y-j-T)2式中，S為圖像I1(i,j)中對應(yīng)搜索塊Si,j的灰度平均值；T為基準特征塊的灰度平均值。計算對應(yīng)重疊區(qū)Si,j與T的R(i,j)，其最大值所對應(yīng)的位置(i0,j0)即為最佳匹配位置。3)圖像融合將兩幅圖像配準之后，接著就可以進行融合了。圖像融合就是指將圖像進行空間疊加從而增加信息量的過程。為了能夠使融合后的圖像具有視覺一致性而且沒有明顯的接縫，本書采用漸入漸出加權(quán)平均的方法實現(xiàn)圖像平滑過渡。設(shè)兩幅待拼接圖像分別為I1(i,j)和I2(i,j)，融合后的圖像像素I(i,j)可表示為Ii,j=&

18、I1i,j (i,j)I1&I1i,j+1-I2i,j (i,j)I1 &I2i,j (i,j)I2I2式中，0,1，由式(6.1.19)可以看出，當由1漸變到0時，圖像從I1(i,j)平滑過渡到了I2(i,j)，這樣就可以消除拼接的痕跡。4)算法步驟總結(jié)前面的論述，該柱面全景圖像拼接算法步驟如下。(1)讀取兩幅待拼接的圖像I1(i,j)和I2(i,j)，將原始圖像I1(i,j)和I2(i,j)按照式(6.1.10)分別進行柱面投影，得到柱面圖像IC1(i,j)和IC2(i,j)。(2)取IC1(i,j)為基準圖像，對圖像IC2(i,j)進行邊緣檢測，并對其邊緣圖計算NEA(i

19、,j)的值，找出NEA(i,j)的最大值，并以此點作為特征塊的中心點選取基準特征塊。(3)對圖像IC1(i,j)和IC2(i,j)和按照配準準則進行搜索，找出最佳匹配塊。(4)根據(jù)兩個匹配塊的位置計算兩幅圖像之間的位移，采用融合算法對拼接結(jié)果圖像進行融合顯示。(5)重復(fù)步驟(1)步驟(5)，完成所有圖像序列的拼接。6.1.2 基于相位相關(guān)拼接算法本算法采用基于傅氏功率譜的頻域相關(guān)技術(shù)來尋找相鄰圖像的重疊部分，首先將相機拍攝的實景照片投影到圓柱面上，以柱面圖像的形式存儲；然后精確定位相鄰兩張照片間的重疊位置并融合相鄰圖像的亮度，通過圖像拼接形成完整的360°環(huán)境視景；最后采用互動率譜中

20、的相位信息進行圖像配準。其對圖像間的亮度變化不敏感，這樣可以有效避免局部最優(yōu)的現(xiàn)象。簡而言之，本算法使用的拼接柱面全景圖方法可分為三部分。(1)利用頻域相位相關(guān)性構(gòu)造函數(shù)，該函數(shù)對兩幅輸入圖像分別進行二維傅里葉變換，返回相鄰兩幅圖像之間偏移位置。(2)計算一組360°實景圖片的相機焦距，對圖像序列分別進行柱面投影。(3)逐次調(diào)用第一部分中函數(shù)對投影后圖像進行拼接，并對光照進行處理，完成柱面全景圖的生成。1.投影變換及焦距估計在進行柱面投影時，只要找到柱面坐標和直角坐標直接的對應(yīng)關(guān)系，就可以進行投影變換。柱面投影原理圖如圖6.1.4所示。圖6.1.4 柱面投影原理圖設(shè)投影前圖像I1寬為

21、W，高為H，令W_0=roundW2H_0=roundH2則投影后圖像的坐標x,y同I1的坐標,h有如下對應(yīng)關(guān)系x=round(f2-W0-W02+f2+W_0)y=round(f2h-H_0-W_02+f2+H_0)式中，=1/W，h=1/H。應(yīng)用柱面投影公式對于圖像進行投影變換時，焦距f是重要參數(shù)。將投影前的照片序列兩兩之間的平移量分別設(shè)為C1，C2，C12，其中Ck表示第k幅照片與第k+1幅照片之間的水平位移，則可計算出焦距的初始值f0為f0=k=112Ck2為了盡可能地逼近實際拍攝焦距，也可以采用迭代算法來減小誤差，算法具體步驟如下。(1)據(jù)式(6.1.22)初步計算出焦距f0，令f=

22、f0.(2)以f作為柱面投影參數(shù)，將該組照片投影到統(tǒng)一圓柱面上。(3)對投影后的圖片I1,I2,I12進行處理后再次使用相位相關(guān)法得出相對位移，據(jù)此重新計算焦距f0。(4)如果f-f0>，即精度不滿足要求，則令f=f0，程序轉(zhuǎn)入步驟(3)。(5)直至f-f0<，得到較精確的f值。2. 基于相位相關(guān)的圖像配準圖像拼接是根據(jù)相鄰兩幅圖像重疊區(qū)域的相似性來確定的，包括圖像配準和圖像融合兩個關(guān)鍵環(huán)節(jié)。圖像配準有基于區(qū)域、基于特征和基于相位的方法。基于區(qū)域的方法通過比較兩幅圖像亮度(或顏色)差異，并使之最小化來尋找最佳匹配點，只要時間足夠長，就可以拼接得足夠精確。基于特征的拼接方法采用尋找局

23、部對應(yīng)和抽取圖像之間的對應(yīng)特征點的方法進行匹配，如Harris角點算法和SUSAN角點算法，該算法的優(yōu)點是計算量比較小，計算速度快，但是不一定能找到合適的圖像特征，結(jié)果也可能是局部最優(yōu)解。本節(jié)采取的是一種基于頻域的方法，通過求得圖像在頻域上的相位相關(guān)特點來找到特征位置，從而進行圖像拼合。假設(shè)f(x,y)表示尺寸為M×N的圖像，該函數(shù)的二維離散傅里葉變換為Fu,v=1MNx=0M-1y=oN-1f(x,y)e-2j(ux/M+vy/N)式中，F(xiàn)(u,v)是復(fù)變函數(shù)；u、v是頻率變量，u=0,1,M-1,v=0,1,N-1;x、y是空間或圖像變量。二維離散傅里葉逆變換為fx,y=x=0M

24、-1y=oN-1Fu,ve-2j(ux/M+vy/N)式中，x= 0,1,M-1；y=0,1,N-1。設(shè)兩幅圖像I1、I2的重疊位置為(x0,y0)，則圖像I1、I2的互動率譜為I1(,)×I2*(,)|I1(,)×I2(,)|=e-2j(x0+y0)式中，*為共軛符號，對式(6.1.25)兩邊進行傅里葉逆變換將在(x0,y0)處產(chǎn)生一個函數(shù)，因此，只要檢測式(6.1.25)傅里葉逆變換結(jié)果最大值的位置，就可以獲得兩幅圖像間的平移量(x0,y0)。具體算法步驟和函數(shù)如下。(1)讀入兩幅照片I1、I2 (函數(shù)輸入)，并轉(zhuǎn)換為灰度圖像。(2)分別對I1、I2作二維傅里葉變換，即

25、A=fft2I1, B=fft2I2則通過對A、B進行簡單的矩陣運算得到另一矩陣C3，即C3=B*conj(A)norm(B*conjA,1)(3)由式(6.1.27)可知，C3的二維傅里葉逆變換矩陣C在(x0,y0)處取得最大值，通過遍歷比較C(i，j)大小即可找到該位置，并作為函數(shù)返回值。 3.圖像拼接 對于重疊區(qū)域的圖像，如果僅進行簡單平均加權(quán)求和，會在拼接的圖像中存在明顯的拼接痕帶，主要原因是相鄰圖像間存在亮度的差異和普通相機的拍攝會在采集到的圖像中出現(xiàn)邊緣失真的現(xiàn)象，而拼接使用的恰恰是圖像的邊緣區(qū)。本節(jié)采用函數(shù)加權(quán)法來處理重疊區(qū)域的圖像，確保圖像的無縫過度。 設(shè)I1 (x，y)、I2

26、 (x，y)分別為待融合圖像區(qū)域點(x,y)的像素值，則融合后該點的像素值I(x，y)為Ix,y=W1x,yI1+W2x,yI2式中，W1 (x，y)、W2 (x，y)分別為重疊像素點對應(yīng)I1、I2的加權(quán)值。為使拼接后的圖像在兩個方向上都能平滑過渡，達到更好的融合效果，本書的加權(quán)系數(shù)W1 (x，y)、W2 (x，y)采用三角函數(shù)W12=Asinx'+T式中，x'=i/W。本節(jié)對柱面全景圖像的幾種常見拼接算法作了詳細論述，闡述了基于特征點、特征塊和相關(guān)相位三種拼接方法，都是從投影變換、圖像配準和圖像融合三方面進行敘述。6.2 基于球面的全景圖像拼接本節(jié)分為兩部分：第一部分介紹球面

27、全景圖像的基礎(chǔ)知識，包括球面投影模型、球面全景圖的投影變換、參數(shù)模型和圖像變形問題的解決等；第二部分介紹基于球面的全景圖像拼接算法，一種是基于特征點的方法，另一種是基于像素點對應(yīng)關(guān)系的方法。 6.2.1 球面全景圖像基礎(chǔ)知識球面全景圖可以實現(xiàn)參與者在照相機的視點以任意角度、任意方向的觀察，將所有拍攝的圖像都投影到球面模型上進行合成，以便得到球面全景圖。球面全景圖符合人眼的構(gòu)造并最適應(yīng)人們的觀察習慣，且滿足各向異性，真實感會更逼真。由于球面全景圖在計算機里存儲結(jié)構(gòu)的限制，一般對球面全景圖在俯仰角和方位角上進行采樣處理，再展開球面圖像成寬高比為2:1的平面圖象。球面投影模型避免了空間不足的缺點，它

28、不僅可以完整的表現(xiàn)全景空間，能夠搜索和反應(yīng)空間中所有方向的場景，而且它在獨立的球坐標系下能夠僅用方位角和俯仰角來表示圖像上的任意一點，可以很好地完成圖像的存儲和漫游時的截取工作，這是利用球面投影模型最大的好處。盡管球面全景圖比較復(fù)雜，但它符合人眼的結(jié)構(gòu)，是觀看視點空間最理想的方式。因此，隨著科技的不斷發(fā)展和人們要求的不斷提高，球面全景圖必將成為最重要的研究對象。 1.球面全景圖的投影變換 基于圖像拼接的全景圖生成技術(shù)需要解決的問題是顯示的模型和產(chǎn)生模型上的圖像。球面全景圖不僅能夠描述大范圍場景，而且最符合人們的觀察習慣。球面模型盡管比較復(fù)雜，但垂直方向視角廣，可實現(xiàn)真正意義上的全景瀏覽，虛擬場

29、景是經(jīng)過圖像處理生成全景圖進行空間關(guān)聯(lián)，再建立起具有交互性的虛擬環(huán)境。1)圖像參數(shù)模型為了從圖像中提取球面每個位置的色彩信息，需要知道圖像中像素對應(yīng)的球面位置，其中某一幅圖像拍攝時的方向為基準，從而得出圖像中像素在球面上的對應(yīng)位置。(1)拍攝方向參數(shù)模型。定義一個原點為視點的基準坐標系，其中空間任意一點P(X,Y,Z)在相機坐標系中(原點也為視點)的對應(yīng)點設(shè)為P'(X',Y',Z')，它們的對應(yīng)關(guān)系可以先用下面的變換來表示X'Y'Z'=RXYZ式中，R為三角單位正交矩陣，R有多種表示方法，常見的有方向角、四元組。相機的方向角包括俯仰角、偏

30、轉(zhuǎn)角、繞攝像機光軸的旋轉(zhuǎn)角，分別用、表示。旋轉(zhuǎn)變換使用方向角的表示方法為將R表示為R=cossin0 sincos0 001cossinsin-coscos 0cossin sin-sincoscoscos這種方式表現(xiàn)較為直觀，且沒有增加參數(shù)的個數(shù)，同時表征的相機坐標系的絕對方向。(2)焦距的計算。實景圖像統(tǒng)一的基本度量單位一般為像素。為獲得球體的半徑，首先要估計相機的焦距，這里利用等距離匹配算法的方法實現(xiàn)。其原理如圖6.2.1所示，I1和I2是拍攝的相鄰的兩張水平層系列圖片；為相機旋轉(zhuǎn)一次光軸的夾角，也是拍攝I1和I2時相機的轉(zhuǎn)角，d1為相鄰照片的交點到照片的位移。圖6.2.1 相鄰照片幾何

31、關(guān)系示意圖 設(shè)f是相機的焦距，則有=2arctandif若相機旋轉(zhuǎn)一周拍攝得到n幅序列圖像，則有2=i=1n2arctandif根據(jù)序列圖像的di值求得f值后，就得到了球面模型的半徑，接著把各層的圖像投影到半徑為f的球面模型上。 (3)投影模型。設(shè)相機的焦距為f，投影中心在圖像中的位置為(cx,cy)，在尤拍攝方向確定的相機坐標系中，空間中的一點(X',Y',Z')在圖像平面中的對應(yīng)點(x，y)之間有如下關(guān)系xy1=f00 0f0 CxCy1X'Y'Z'此時圖像數(shù)據(jù)矩陣中的第一列表示圖像最底下的那一列。如果數(shù)據(jù)的排列形式不同，則還要做進一步變換。

32、如果第一行表示圖像最頂上一列，則存在如下關(guān)系xy1=f00 0f0 CxCy1X'Y'Z'=KX'Y'Z'(4)坐標變換矩陣。在不同的參數(shù)模型下，圖像的變換矩陣有不同的形式，在這些表示形式中，圖像的投影模型是相同的，不同的只是旋轉(zhuǎn)變換參數(shù)。用I1、I2表示兩幅圖像，f1、f2表示他們的焦距，投影中心位于圖像中心(cx,cy)。用M表示I1到I2的坐標變換矩陣，則x1y11=K1R1X'Y'Z', x2y21=K2R2X'Y'Z'x2y21=K2R2R1-1K1-1x1y11=Mx1y11Ki=f00

33、 0f0 CxCy1(i=1,2)對于方向角參數(shù)模型而言，設(shè)兩幅圖像I1和I2的相機參數(shù)分別是1,1,1和2,2,2，則坐標變換矩陣為M=K2R2R1-1K1-1式中，Ri為第i幅圖像的旋轉(zhuǎn)變換矩陣。2)球面投影算法攝像機獲取的反應(yīng)360°全景的序列圖像是在不同角度下拍攝的，直接拼接時視覺一致性受到嚴重破壞，因為在重合區(qū)域會產(chǎn)生局部變形扭曲。視覺一致性要求首先把圖像統(tǒng)一投影到球面上，完成球面正投影后再進行拼接才能得到無變形和無畸變的全景圖像。(1)投影圖平面展開圖。圖6.2.2所示投影到球面后展開的平面圖。(a)為原始照片；(b)為平視層的球面展開圖；(c)為仰視層的球面展開面圖照片

34、平面上有一像素點設(shè)為P(x，y)，在球面展開圖上對應(yīng)的點為Ps(xs,ys)，在球面半徑一定時，球面展開平面圖像的形狀只與仰角有關(guān)。圖6.2.2 投影到球面展開后的平面圖(2)正投影算法。球面正投影算法是將所有的實景圖像分別投影到一個球面上，這樣做不僅消除了直接拼接時產(chǎn)生的局部扭曲與變形情況，而且消除了不必要的重復(fù)信息，同時還得到了像素點在視覺空間的方位信息。 由拍攝所得實景圖像經(jīng)球面正投影算法得到球面圖像。設(shè)攝像機坐標系為Oc-xcyczc，世界坐標系為Ow-xwywzw，照相機的拍攝方向為、。任意一個實景像素點P(x，y)在球面全景圖像上的對應(yīng)點為P'(x',y')

35、；點P(x，y)在攝像機坐標系中的坐標為(x，y，f)，其在世界坐標系Ow-xwywzw下的坐標為(xp,yp,zp)，則有xpypzp=cos0-sin 010 sin0cos100 0cossin 0-sincosxyf根據(jù)式(6.2.11)可以推導(dǎo)出球面全景圖像上P'(x',y')與P(x，y)之間的函數(shù)對應(yīng)關(guān)系。這里P(x，y)是球面空間中視線方向、的圖像上一點。三維球面方程的表示。過點O與點P的直線的參數(shù)方程(t是參數(shù))可以表示為xp'=txpyp'=typzp'=tzp球面方程表示為xp'2+yp'2+zp'2

36、=f2聯(lián)立式(6.2.12)和式(6.2.13)可得出參數(shù)t為t=fxp2+yp2+zp2三維球面方程轉(zhuǎn)變?yōu)槎粓D像坐標。像素點P(x,y)在球面上投影點P'的參數(shù)左邊為xp',yp',zp'。由于三維左邊不便于儲存，必須轉(zhuǎn)化為二維坐標，即把球面展開成平面，所以有以下情況。當zp'0時x'=farccosxp'xp'2+yp'2y'=farccosyp'xp'2+yp'2當zp'<0時x'=f2-arccosxp'xp'2+yp'2y'=

37、f2-arctanyp'xp'2+yp'2推導(dǎo)出P(x,y)和P'(x',y')的關(guān)系，記=ysincos-xsin-fcoscos由以上各式得到以下結(jié)論。當0時&x'=farccosxcos+ysinsin+fsincosx2+(ysin+fcos)2&y'=f2+arctanycos-fsinx2+(ysin+fcos)2當<0時&x'=f2-arccosxcos+ysinsin+fsincosx2+(ysin+fcos)2&y'=f2+arctanycos-fsinx2+

38、(ysin+fcos)2(3)反算投影法。球面反投影是正投影的逆過程，即把球面全景圖像生成供觀察到的視圖，經(jīng)推導(dǎo)得出x'=fsiny'fcosy'f-siny'fcossiny'f+-cosy'fsiny'=fsiny'fsinx'f+-cosy'fcossiny'fcossinx'f+-cosy'fsin這就是球面反投影變換公式。對于輸入圖像中的一點，坐標經(jīng)過一些計算后，輸出圖像上的坐標變換，其結(jié)果一般會是小數(shù)值，這些結(jié)果的映射在非整數(shù)位置，所以在投影變換過程中，數(shù)據(jù)不具有連續(xù)性，出現(xiàn)鋸齒

39、現(xiàn)象導(dǎo)致變形。2.球面投影變形問題的解決采用雙線性插值算法可以解決球面投影過程中的變形。雙線性插值就是根據(jù)輸出圖像寬度和高度，將輸入圖像的寬度和高度均分，來確定輸出圖像的灰度值的方法。雙線性插值又稱為一階插值算法，可以把它描述成：已知單位正方形的四個頂點值，求正方形內(nèi)任一點f(x,y)的值。如圖6.2.3所示，其中，設(shè)插值點為zx',y'，其相鄰的四個點分別為z1、z2、z3、z4。它就是用四個鄰近點的灰度值的線性組合得到插值點zx',y'的灰度值z=z1+z2-z2x'-x1+z3-z1y'-y1+z4-z3-z2-z1x'-x1y&#

40、39;-y1圖6.2.3 雙線性插值 利用二維雙線性函數(shù)具有的可分離性分為兩步一維線性插值來計算，即對水平方向作一次一維線性插值，再對垂直方向作一次一維線性插值，從而得到T'的光強值。要獲得投影圖上某像素點的灰度值，必須首先知道它在原始圖中相應(yīng)的實數(shù)坐標點，進一步由該實數(shù)坐標可以判斷出該實數(shù)坐標點所在整數(shù)坐標網(wǎng)格的四點的坐標，然后根據(jù)這四點的灰度值進行雙線性插值的計算。也就是說，在投影算法的實現(xiàn)中，采用反向計算的方法，利用反投影公式計算投影后圖像的所有像素值，之后根據(jù)每一個投影后的像素在投影圖像中的位置計算出它在源圖像中對應(yīng)的位置，再通過雙線性插值求出實際的像素值。6.2.2球面全景圖

41、像拼接圖像拼接是全景圖生成中最重要的步驟。圖像拼接可以分為兩類，分別是基于特征的算法和基于像素點對應(yīng)關(guān)系的算法。1.基于像素點對應(yīng)關(guān)系的圖像拼接方法1)基于像素點對應(yīng)關(guān)系的算法原理算法假設(shè)兩幅圖像上的對應(yīng)點表示場景中同一方向的光線，對應(yīng)點的像素值應(yīng)盡量接近。算法的目標是使所有對應(yīng)點像素值的差異總和最小。所以，對于兩幅重疊I1、I2，優(yōu)化算法的目標函數(shù)為E=x,yI2x',y'-I1(x,y)2 x,yI1,x',y'I2假設(shè)優(yōu)化的參數(shù)p=p1，給定P的初值，算法根據(jù)P變化時E的變化來決定下一個優(yōu)化的P值。對于每一對對應(yīng)點，誤差變化與參數(shù)的變化近似為線性關(guān)系Ep=

42、x,yex,y+I2x',y'x',y'pp2=x,ygx',y'TJx',y'Tp+ex,y2式中，ex,y=I2x',y'-I1x,y為亮度誤差，gx',y'T=I2x',y'為圖像亮度場在x',y'處的梯度。是Jx',y'T=x',y'/p關(guān)于p的Jacobian矩陣。p可以通過正則方程求解Hp=-G式中， H=Jx',y'gx',y'gx',y'TJx',y'T,G

43、=ex,yJx',y'gx',y'。2)球面圖像的拼接理想情況下。確定了所有重疊圖像對之間的位置關(guān)系即可確定所有圖像之間的位置關(guān)系，但由于誤差影響，所有圖像之間的位置關(guān)系可能互相矛盾。為此，算法以所有圖像之間的誤差能量最小作為準則對所有圖像參數(shù)進行優(yōu)化，從而確定它們之間的位置關(guān)系。設(shè)所有需要定位的圖像為I1,I2,In，則算法的目標函數(shù)就是E=i,jEi,j式中，Ei,j是兩幅重疊圖像Ii、Ij的無常能量，1i=jn,此時正則方程為Hp=-G式中，p=p1,p2,pnT。將H寫成Hi,jn×n, H為4×4階矩陣，將G寫成Gin×1

44、, Gi為4×1階向量，則Gi=x,yex,yex,yp式中，ex,y為Ii上的點與Ij上對應(yīng)點的亮度誤差。對應(yīng)于每兩幅重疊圖像Ii和Ij有Hi,j=x,yex,ypiex,ypiT式中，ex,y為Ii上的點與Ij上對應(yīng)點的亮度誤差。3)算法實現(xiàn)為了克服上述算法收斂速度較慢、計算時間較長的問題，提出了相應(yīng)的解決辦法，首先是構(gòu)造圖像金字塔，用多分辨率的方法由粗到精進行參數(shù)最優(yōu)值的搜索，其次在匹配的圖像中選擇一部分點進行計算，在保證算法可靠性的前提下減少計算量。(1)圖像金字塔的構(gòu)造。圖像金字塔將源圖像保存成多個降低分辨率的圖像，拼接時首先對低分辨率的圖像進行拼接，拼接的結(jié)果作為下一步較

45、高分辨率圖像拼接的初值，有多種構(gòu)造方法，最常用的是Gauss金字塔，即首先對圖像進行Gauss濾波，五階Gauss濾波器有如下形式G=W'W然后對圖像采樣得到低分辨率圖像。另一種常用的金字塔是Laplacian金字塔，它是由Gauss金字塔中相應(yīng)層次圖像減去較低分辨率圖像插值得到的同分辨率圖像得到的，這樣金字塔中的每一層只保留相應(yīng)分辨率層次的信息。其優(yōu)點在于除了最低分辨率的那一層之外，其他層次對圖像間整體亮度的差別不敏感，從而提高了計算速度。(2)計算點的選擇。在算法的處理過程中，主要的計算時間花費在計算對應(yīng)點的坐標、圖像的梯度及參數(shù)變化時坐標的變化上。在處理大分辨率圖像的時候，如果對

46、每一個像素點都進行計算，計算量會非常大。根據(jù)本算法采用的參數(shù)模型，對于兩幅圖像事實上只需四對對應(yīng)點即可確定相互之間的對應(yīng)關(guān)系，考慮到精度和穩(wěn)定性，可適當增加計算點。所以本書算法采用在圖像中抽取一部分店進行計算的方法來降低計算量。具體的方法是根據(jù)要選取的點的樹木將圖像等分為若干區(qū)域，由于大部分區(qū)域圖像的梯度都為零，而梯度為零的點對于計算沒有任何影響，所以選取每個區(qū)域內(nèi)梯度最大的圖像點進行計算既保證了計算的精度，同時大大提高了計算的速度。根據(jù)上述算法，球面全景圖像拼接算法的流程如下。(1)讀取每一幅場景圖像，對每幅圖像進行處理，使圖像中只包含亮度信息，這樣每一幅圖像就可以用一個矩陣來表示。(2)為

47、每一幅圖像建立圖像金字塔，金字塔的層數(shù)以及每一層的分辨率由場景圖像的分辨率確定。(3)為每一幅圖像確定初始參數(shù)，判斷任意兩幅圖像之間的重疊關(guān)系，對重疊區(qū)域大于某個值得圖像計算變換參數(shù)。(4)計算每幅圖像的梯度圖像。(5)使用優(yōu)化算法計算下一個較優(yōu)的圖像參數(shù)。(6)判斷優(yōu)化的結(jié)果，如果滿足收斂條件，則停止優(yōu)化，否則返回步驟(5)重新計算。2.基于特征點的圖像拼接方法圖6.2.4所示為基于特征點的球面全景圖拼接總體框架。基于特征點的拼接方法是目前應(yīng)用最廣泛的一類方法，該方法通過計算特征點之間的最大相似度量，建立匹配點對之間的對應(yīng)關(guān)系進行配準，再對重疊區(qū)域采樣融合，形成一幅寬視角場景的，完整的并且包括圖像所有序列信息的新圖像技術(shù)。1)相鄰兩幅圖像特征點的匹配選取角點作為待提取的特征點。角點檢測算法很多，常見的算法包括Moravec角點檢測算法、SUSAN角點檢測算法和Harris角點檢測算法。Harris角點檢測算法是Harris和Stephens提出的一種對信號有效的點特征提取算法，這種算法提取的特征均勻合理，比較穩(wěn)定，而且計算簡單。本節(jié)選用Harris角點檢測算子提取特征點。Harris角點檢測算法實現(xiàn)步驟如下： 圖6.2.4 基于特征點6的球面全景圖拼接總體框架(1)輸入圖像，計算圖像中