視覺成像畸變的直線透視校正

1、第24卷 第6期2006年11月應(yīng)用科學(xué)學(xué)報(bào)JOURNALOFAPPLIEDSCIENCESVol.24,No.6 Nov.2006文章編號(hào):0255-8297(2006)06-0627-06視覺成像畸變的直線透視校正楊永躍, 鄧善熙, 王訓(xùn)四(合肥工業(yè)大學(xué)儀器科學(xué)學(xué)院,安徽合肥230009)摘 要:針對(duì)視覺成像畸變,提出基于直線透視成像變形的畸變校正方法.無需任何預(yù)先參數(shù),利用畸變曲線擬合逼近過中心的近似直線,通過兩直線的交點(diǎn)求得圖像對(duì)稱中心.利用徑向畸變的數(shù)學(xué)模型和參數(shù)分解的方法對(duì)變形量進(jìn)行線性求解,求得的畸變因子代入成像過程,為最終理想線性透視模型的標(biāo)定消除畸變對(duì)成像的影響.關(guān)鍵詞:視覺

2、;成像;畸變;透視中圖分類號(hào):TB921 文獻(xiàn)標(biāo)志碼:ACorrectionofAnamorphicVisionImagewithPerspectiveLinesYANGYong-yue, DENGShan-xi, WANGXun-si(SchoolofInstrumentScience,HefeiUniversityofTechnology,Hefei230009,China)Abstract:Anamorphicvisionimagesarecorrectedwithperspectivemodeloflines.Anapproximatelinepassingthroughthecent

3、erisapproachedbyanamorphiccurves.Intersectionoftwodifferentapproximatelinesisregardedastheimagecenter.Distortionisanalyzedwitharadialanamorphicmodel.Theanamorphiccoefficientiscombinedwiththevisionprocesstocorrectananamorphicimageforthefinalcalibrationofthelinermodel.Keywords:vision;image;anamorphic;

4、perspective 在進(jìn)行視覺測(cè)量時(shí),消除攝像機(jī)鏡頭畸變影響為高精度測(cè)量的關(guān)鍵過程.在攝像機(jī)成像標(biāo)定的研14究中,大多是在標(biāo)定成像時(shí)將畸變因子作為一個(gè)未知參量來構(gòu)成一個(gè)高階的非線性方程組,然后進(jìn)行迭代求解.雖然此方法的執(zhí)行過程簡單,原理也不難理解,但是初始值的最優(yōu)選擇和穩(wěn)定性很難保證.本文提出一種基于直線變形的直線校正法,直觀地表示了畸變過程,并將畸變校正過程與理論成像過程分開,便于理論透視成像標(biāo)定的線性求解.利用線性方程求解出的畸變因子進(jìn)行圖像校正.成像后仍為直線.由于成像鏡頭畸變的存在,導(dǎo)致直線成像后形成不同的表現(xiàn)形式.占主要成分的徑向畸變,其體現(xiàn)形式如圖1所示. 成像點(diǎn)徑向畸變的數(shù)學(xué)

5、模型為2254ud=u+$u=u+u(k1r+k2r+,)vd=v+$v=v+v(k1r+k2r+,)4(1)式中,u、v為實(shí)際像素坐標(biāo),ud、vd為校正后坐標(biāo),$u、$v為徑向畸變分量,r為徑向畸變量,r=(u-u0)+(v-v0).因?yàn)槌上顸c(diǎn)的連續(xù)性,所以在此點(diǎn)處的導(dǎo)數(shù)斜率為dvddvdPdu=duddudPdu(2)2221 直線成像模型在理想的攝像機(jī)小孔成像模型中,空間的直線收稿日期:2006-03-15; 修訂日期:2006-06-05在理想成像時(shí),過圖像中心的直線在圖像坐標(biāo)基金項(xiàng)目:安徽省/十五0科技攻關(guān)重點(diǎn)項(xiàng)目(01022010);安徽省重點(diǎn)實(shí)驗(yàn)室建設(shè)項(xiàng)目(2004275)作者簡

6、介:楊永躍,博士,副教授,研究方向:在線檢測(cè)技術(shù)及應(yīng)用、機(jī)器視覺和圖像測(cè)量技術(shù)等,E-mail:jamoyang;鄧善熙,教授,Escom628 應(yīng) 用 科 學(xué) 學(xué) 報(bào)24卷圖2 確定過中心直線的擬合法Fig.2 Thelinespassingthecenterareimitated圖1 枕形畸變和桶形畸變Fig.1 Pillowyandtubbishaberrance實(shí)際過中心直線的逼近,可通過對(duì)實(shí)際成像曲線(因畸變引起的直線變曲線)的曲率分析來實(shí)現(xiàn),當(dāng)選取分布在中心線兩邊的兩樣本曲線后,如圖2(3)中的L1和L2,利用最小二乘法擬合直線,根據(jù)擬合的非線性誤差來優(yōu)化循環(huán),逼近過中心的近似直線

7、的坐標(biāo)及方程.具體方法如下:(一)曲線逼近的情形分析(1)當(dāng)曲線L1和L2為對(duì)稱圖像(相對(duì)對(duì)稱中心)時(shí),一次逼近擬合就能得到過對(duì)稱中心的直線.(2)在曲線L1和L2非對(duì)稱時(shí),如果它的原始理想圖像是平行直線,就必須由直線擬合誤差最大的曲線慢慢擬合逼近至與另一條曲線對(duì)稱的位置,然后執(zhí)行第(1)步.(3)如果在理想成像下不是平行的兩直線時(shí),對(duì)曲線L1和L2進(jìn)行擬合直線,根據(jù)兩者誤差的比較值.按一定比例K來計(jì)算第三條曲線各采樣點(diǎn)的坐標(biāo)值,然后根據(jù)凹凸性和誤差值取代L1或L2,循環(huán)執(zhí)行(3).直至獲得的L1和L2曲線可以按第(2)或第(1)步的情況處理.(4)為保證經(jīng)過一次直線擬合逼近后所得的兩曲線的凹

8、凸性相反和直線性較好,應(yīng)選盡可能小的步長.(二)實(shí)際操作的主要步驟(1)對(duì)畸變圖像進(jìn)行灰度分析,以獲得目標(biāo)曲線的灰度分布特性.(2)用不同的編號(hào)區(qū)分各曲線,選取兩條最接近直線而且有著相反的凹凸性的曲線.3)6系中的形式可寫成u=rcosHv=rsinH傾角,因此dvdd(k1r+k2r+,)sinHdvd =duddudd(k1r+k2r,)cosHdrdr=tanH=K(4)可見,直線通過圖像中心點(diǎn)的成像保持原有的直線特性.而一旦偏離中心點(diǎn),受鏡頭畸變影響,原有的直線性就遭受到破壞.利用這些特性,進(jìn)行下面的直線法修正.在這里,先利用直線成像特性來對(duì)畸變進(jìn)行校正,然后將這些校正參數(shù)帶入理論成像

9、模型中去求解各理想成像參數(shù),從而形成成像和畸變分離的預(yù)先校正法.35式中,r、H為該點(diǎn)相對(duì)于中心對(duì)稱點(diǎn)的極徑和2 直線逼近法求圖像中心點(diǎn)根據(jù)畸變對(duì)成像直線的影響,當(dāng)某直線在成像后仍舊保持直線,則該直線所成的圖像一定通過圖像對(duì)稱中心點(diǎn).兩條具有相似特征的直線,在它們不平行的情況下,它們的交點(diǎn)就是圖像的對(duì)稱實(shí)際中心點(diǎn).實(shí)際理想成像直線難以確定,這里采用直線逼近方法來擬合經(jīng)過對(duì)稱成像中心點(diǎn)的直線.如圖2所示.6期楊永躍等:視覺成像畸變的直線透視校正629條紋進(jìn)行亞像素識(shí)別,以獲得識(shí)別數(shù)據(jù)點(diǎn)的精確位置(xj,yj)(j=0,1,2,).(4)利用數(shù)據(jù)點(diǎn)判斷各曲線的彎曲程度.最小二乘法擬合直線yj=ai

10、xj+bi (i=1,2)N所以當(dāng)A=PP2時(shí),smin=$L,即選取兩垂直的擬合直線交點(diǎn)作為成像對(duì)稱中心點(diǎn)時(shí)誤差最小.由于廣角鏡頭的畸變比較大,在實(shí)驗(yàn)時(shí)采用AVENIR的CCTVLENS2.8mmF1.4的廣角鏡頭對(duì)平行直線的靶標(biāo)進(jìn)行拍攝.靶標(biāo)圖案和所成圖像見圖4.(5)(6)用 Di=6(yij-aixij-bi)j=1(5)利用公式G=yi-2表示該曲線的彎曲程度,N為采樣點(diǎn)數(shù).(xi-xi-1)(yi+1-yi-1)(xi+1-xi-1)(7)的正負(fù)來分段判斷此曲線每三點(diǎn)間的凹凸性,然后綜合全部數(shù)據(jù)點(diǎn)所表示的凹凸性,分析估計(jì)曲線的凹凸性.(6)逼近第三條曲線坐標(biāo)(x3,y3):y3=y

11、1+(y2-y1)D(D2P1+D2)(8)按照式(5)(7)計(jì)算其彎曲度D3和凹凸性.若D1<D2且凹凸性滿足相反條件,用第三條曲線取代第二條曲線;反之取代第一條直線.(7)重復(fù)第(6)步,直到可以認(rèn)為兩條曲線已經(jīng)重合.由經(jīng)過兩次以上相同步驟所確定的兩條曲線的交點(diǎn),作為圖像對(duì)稱中心.(三)過對(duì)稱中心的兩相交直線的選擇與誤差分析由兩條經(jīng)過對(duì)稱中心的非重合直線的交點(diǎn)作為成像對(duì)稱中心.由于實(shí)際擬合出來的直線存在一定偏差,造成交叉中心的誤差.實(shí)際相交情形及關(guān)系如圖3所示.圖4 靶標(biāo)及畸變成像Fig.4 Thetargetanditsanamorphicimage利用圖4(b)中的豎直線條與每條

12、曲線的交點(diǎn)來識(shí)別曲線.分別取凹凸性相反的曲線對(duì)進(jìn)行優(yōu)化求解,相關(guān)數(shù)據(jù)見表1,表中R為擬合直線的直線度標(biāo)準(zhǔn)差.部分?jǐn)M合前后曲線形狀對(duì)照見圖5.圖3 相交直線位置關(guān)系Fig.3 Thelocationoftwocrossinglines圖中(u0,v0)為理論成像中心,(uc0,vc0)為實(shí)際兩擬合直線的可能交點(diǎn).A為兩直線夾角(0<APP2).當(dāng)近似的$L1=$L2=$L時(shí),可能交點(diǎn)與實(shí)際中心之間的誤差距離s為9)圖5 不同曲線及其逼近擬合直線Fig. by630 應(yīng) 用 科 學(xué) 學(xué) 報(bào)24卷表1 不同曲線對(duì)的逼近直線Table1 Thelinesapproachedbydifferent

13、coupledcurves逼近后的擬合直線實(shí)驗(yàn)曲線對(duì)曲線9曲線11曲線1曲線20曲線7曲線14曲線8曲線16曲線10曲線12R2.35451.184110.485411.28157.28316.449412.304612.18631.71032.5393R0.05490.17980.04500.07000.0514a0.05750.041425.1715-35.6540-23.4198b263.3365269.20589949.714090.09303.8迭代次數(shù)單位:pixelsunit:pixels直線方向?qū)嶒?yàn)一實(shí)驗(yàn)二實(shí)驗(yàn)三實(shí)驗(yàn)四實(shí)驗(yàn)五506545201771水平水平豎直豎直豎直在獲得至少

14、兩條過對(duì)稱中心的直線后,利用直線相交原理,就可得u0=-(b1-b2)P(a1-a2)v0=(-a2b1+b2a1)P(a1-a2)L1、L2的斜率和截距.利用公式(10)對(duì)表1中的擬合直線組進(jìn)行交點(diǎn)求取,所得中心點(diǎn)P坐標(biāo)見表2.表2 交叉直線對(duì)求得對(duì)稱中心坐標(biāo)(pixels)Table2 Thesymmetricalcentercoordinateobtainedfromcrossingcouplelines(pixels)實(shí)驗(yàn)一實(shí)驗(yàn)三實(shí)驗(yàn)四實(shí)驗(yàn)五384.9377,285.4129385.1768,285.5992385.0725,285.4782實(shí)驗(yàn)二384.9500,285.101338

15、5.1870,285.2353385.0866,285.1484(10)式中,(a1,b1)、(a2,b2)分別為兩條相交直線圖6 畸變因子引起的變形曲線Fig.6 Acurvecausedbyanamorphiccoefficient作用過程,應(yīng)有vd=A+=uduuuA+B=udP(k1rc+k2rc+,)2BrcrcA+Bk1+Bk+,ududud2(12)由表2中6組圖像中心點(diǎn)的數(shù)據(jù)可得到此CCD相面的實(shí)際成像對(duì)稱中心P(385.0684,285.3292),重復(fù)性引起的最大偏差為(0.1307,-0.27).實(shí)際使用時(shí),畸變因子在4次方項(xiàng)以后的數(shù)值已經(jīng)很小,可以忽略.由于使用的是以中

16、心點(diǎn)為原點(diǎn)的坐標(biāo),而實(shí)際采用的像素坐標(biāo)是以圖像左上角為坐標(biāo)原點(diǎn).轉(zhuǎn)換關(guān)系為u=uc-u0,v=vc-v0,ud=ucd-u0,vd=vcd-v03 曲線分析法求畸變因子由于畸變的存在,導(dǎo)致原始直線成像時(shí)變?yōu)榍€,曲線的彎曲程度和畸變成正比,與距對(duì)稱中心距離也成正比,見圖6.由式(1)可知,徑向畸變的另一公式模型為ud=u+$u=u+u(k1rc+k2rc+,)vd=v+$v=v+v(k1rc+k2rc+,)22222(13)式中,uc、vc、ucd、vcd為理想點(diǎn)和畸變點(diǎn)實(shí)際對(duì)應(yīng)的像素坐標(biāo)值.在曲線上獲取N個(gè)采樣點(diǎn)后,依據(jù)式(12)列方程組(式中,rc=(ud-u0)+(vd-v0).以方便地

17、求解理論值(u,v),很明顯,k6期楊永躍等:視覺成像畸變的直線透視校正631式中,kB1=k1B,kB2=k2B,按照最小二乘算法求解方程組即可得出相應(yīng)的畸變因子k1、k2以及此曲線對(duì)應(yīng)的原始直線的斜率A和截距B.根據(jù)所求出的對(duì)稱中心坐標(biāo),利用式(13)和(14)對(duì)圖4所拍攝的圖像中曲線進(jìn)行取點(diǎn)分析,就可得出相應(yīng)的畸變因子k1、k2等7,8,數(shù)據(jù)表格見表3.表3 理論直線及成像畸變因子Table3 Linesintheoryandtheanamorphiccoefficients直線方向垂直方向試驗(yàn)曲線第9條第11條水平方向第11條第20條A-51.4572140.52970.05930.0

18、779B3.2122e+0036.5223e+00322.7058341.3440k1-2.3571e-006-2.3609e-006-2.2431e-006-2.6625e-006k2-3.8026e-013-3.5061e-013-3.6609e-013-3.2370e-0134 利用畸變因子進(jìn)行校正利用式(14)求得的畸變參數(shù)因子,根據(jù)式(11)和(13)可知理想的(經(jīng)過畸變校正后的)點(diǎn)坐標(biāo)為u=v=ud-u0+u01+k1r+k2rvd-v0+v01+k1r+k2r的線性度來評(píng)價(jià)精確性.在這些校正擬合直線中,其擬合直線誤差值如下:表4 擬合直線的誤差值(pixels)Table4 Er

19、rorsofthesyntheticlines(pixels)直線Ri10.175160.145020.385170.098030.108680.175240.114390.320650.1266100.1930(15)直線Ri利用此非線性畸變參數(shù)校正圖像的結(jié)果見圖7.由于成像畸變的影響,圖4中靶標(biāo)圖的直線組成像為曲線組.利用該非線性畸變校正方法以及根據(jù)表2和3的校正結(jié)果,就可以對(duì)該畸變圖像或攝像機(jī)視野范圍內(nèi)所成的所有畸變圖像進(jìn)行校正.平面圖形成像校正前后效果對(duì)照見圖8.圖7 成像畸變及其校正Fig.7 Anamorphicimageandthecorrectedone圖7(b)中直線為(a)中相應(yīng)畸變曲線校正后的結(jié)果,即理想成像中的直線.,圖8 直線靶標(biāo)畸變成像及其校正Fig.8 Ananamorphictargetimageandthecorrectedone632 應(yīng) 用 科 學(xué) 學(xué) 報(bào)24卷3張全法,何金田.提高廣角成像系統(tǒng)幾何畸變數(shù)字校正5 結(jié) 語基于直線成像畸變的直線法直觀地表示了畸變過程.不需要預(yù)設(shè)參數(shù)就可以直接標(biāo)定出實(shí)際成像的對(duì)稱中心.利用徑向畸變的數(shù)學(xué)模型和參數(shù)分解的方法求得的畸變因子,消除徑向畸變給成像帶來的影響,進(jìn)而采用理想透視幾何模型的標(biāo)定方法進(jìn)行標(biāo)定求解