淺談相機(jī)標(biāo)定中的對(duì)應(yīng)點(diǎn)

淺談相機(jī)標(biāo)定中的對(duì)應(yīng)點(diǎn)

1自動(dòng)匹配算法相機(jī)校正是計(jì)算機(jī)視覺(jué)研究的基礎(chǔ)，在三維重建和目標(biāo)跟蹤定位方面發(fā)揮著重要作用。在高精度的視覺(jué)任務(wù)中,一般都采用標(biāo)定板進(jìn)行相機(jī)內(nèi)參數(shù)標(biāo)定。標(biāo)定板上布有規(guī)則的控制點(diǎn),它們的坐標(biāo)事先已知,定位誤差通常在μ級(jí)。自從Tsai和Zhang的經(jīng)典論文相繼問(wèn)世以來(lái),相機(jī)標(biāo)定已被認(rèn)為是一項(xiàng)較為成熟的技術(shù)。但是,現(xiàn)有的標(biāo)定算法通常都假設(shè)不同圖像之間標(biāo)志點(diǎn)的對(duì)應(yīng)關(guān)系已經(jīng)確定,重點(diǎn)研究如何精確地計(jì)算內(nèi)外參數(shù)。而標(biāo)志點(diǎn)間的匹配問(wèn)題長(zhǎng)期來(lái)沒(méi)有得到足夠的重視,一般都采用手工的方式指定對(duì)應(yīng)關(guān)系,使得相機(jī)標(biāo)定依然是一個(gè)耗時(shí)而費(fèi)力的過(guò)程。因此,研究可靠而自動(dòng)的匹配算法是實(shí)現(xiàn)全自動(dòng)相機(jī)標(biāo)定的關(guān)鍵所在。標(biāo)志點(diǎn)的匹配與標(biāo)定板的模式密切相關(guān)。采用自我識(shí)別的標(biāo)志點(diǎn)可以實(shí)現(xiàn)自動(dòng)匹配,但是該模式的制作難度較高,價(jià)格偏貴。目前,大多數(shù)匹配算法都是針對(duì)棋盤(pán)模式的,雖然取得了長(zhǎng)足的進(jìn)展,但這些算法對(duì)噪聲和圖像模糊比較敏感。鑒于棋盤(pán)模式固有的局限性,為了確保角點(diǎn)的提取精度,通常要求較高的圖像質(zhì)量。相反,圓型標(biāo)志點(diǎn)對(duì)圖像質(zhì)量要求相對(duì)較低,具有較好的實(shí)用價(jià)值,但針對(duì)這種模式的匹配幾乎都是采用純手動(dòng)方式進(jìn)行的,如果要標(biāo)定幾十幅圖像,工作量相當(dāng)大,很容易造成誤匹配。典型的計(jì)算機(jī)用戶只是偶爾使用一下視覺(jué)任務(wù),一般不愿意投資昂貴的設(shè)備。因此,靈活、穩(wěn)定和廉價(jià)是非常重要的。為此,本文在圓點(diǎn)模式的基礎(chǔ)上,增設(shè)了5個(gè)大圓作為方位圓,設(shè)計(jì)出一種新的圓型標(biāo)定模式。經(jīng)過(guò)圖像閾值化和橢圓檢測(cè)等前處理后,提出了在圓型標(biāo)定模式下的標(biāo)志點(diǎn)自動(dòng)檢測(cè)和匹配算法,并集成現(xiàn)有的相機(jī)內(nèi)外參數(shù)計(jì)算方法,最終實(shí)現(xiàn)相機(jī)的全自動(dòng)標(biāo)定。2標(biāo)志列數(shù)nx行數(shù)ny本文使用如圖1所示的標(biāo)定板,其參數(shù)為:沿X軸方向的圓形標(biāo)志列數(shù)Nx=11,沿Y軸方向的圓形標(biāo)志行數(shù)Ny=9,縱向和橫向間距皆為35mm,5個(gè)大圓的直徑皆為20mm,小圓直徑皆為10mm。整個(gè)標(biāo)定系統(tǒng)結(jié)構(gòu)如圖2所示。3圓標(biāo)記的檢測(cè)3.1橢圓檢測(cè)去噪由于標(biāo)定板通常是黑底白圖案,因此采用閾值的辦法就可以把圖像中感興趣的區(qū)域從背景中分割出來(lái)。本文基于圖像灰度直方圖,通過(guò)迭代的方式來(lái)實(shí)現(xiàn)閾值的自動(dòng)選擇。閾值分割后的圖像一般含有冗余信息,很難通過(guò)常規(guī)去噪方法把它們剔出。由于采用了圓形標(biāo)志點(diǎn),經(jīng)過(guò)透視變換后,它在圖像中的像為橢圓,因此,可以利用橢圓檢測(cè)的方法來(lái)濾出圖中明顯的冗余信息。橢圓檢測(cè)方法種類(lèi)繁多,這里直接借用文獻(xiàn)的方法。設(shè)P為所有檢測(cè)到的橢圓點(diǎn)集合。經(jīng)橢圓檢測(cè)后,大量的冗余信息被去除,但是,一些與標(biāo)志點(diǎn)的形狀大小都非常相似的橢圓形區(qū)域依然保留了下來(lái)。3.2標(biāo)志點(diǎn)和噪聲首先約定標(biāo)定板中標(biāo)志點(diǎn)的編碼順序,如圖1所示。設(shè)標(biāo)定板共有Nm個(gè)標(biāo)志點(diǎn),Nm=Nx×Ny,Nx為沿X軸方向的標(biāo)志點(diǎn)列數(shù),Ny為沿Y軸方向的標(biāo)志點(diǎn)行數(shù),縱向間距等于橫向間距。設(shè)Nmin=min(Nx,Ny),對(duì)于圖1中的標(biāo)定板,Nmin=9。在復(fù)雜背景下,經(jīng)過(guò)橢圓檢測(cè)后,橢圓集合P中的元素個(gè)數(shù)NP一般大于等于Nm,標(biāo)志點(diǎn)檢測(cè)的實(shí)質(zhì)就是刪除多余的元素,使NP=Nm?；谏厦娴募s定,本文提出了一種基于代價(jià)函數(shù)的標(biāo)志點(diǎn)檢測(cè)算法。對(duì)于任意的pi∈P,求P中距離pi最近的4個(gè)點(diǎn)qj,pi與每個(gè)qj相連可以形成4條直線Lpi,qj(j=1,2,3,4)。對(duì)于每條直線Lpi,qj,計(jì)算P中距離Lpi,qj最近的Nmin個(gè)點(diǎn)(包括pi和qj本身),記這Nmin個(gè)點(diǎn)構(gòu)成的集合為PNmin。設(shè)PNmin中距離最遠(yuǎn)的兩個(gè)點(diǎn)分別為pf1和pf2,把PNmin中的點(diǎn)按距離pf1從近到遠(yuǎn)的順序排列,得到如圖3中的xl(l=1,2,…,Nmin)。定義集合PNmin中的元素在直線Lpf1,pf2方向的間距規(guī)則度為ˉRijRijˉˉˉˉˉ:ˉRij=Νmin∑l=1RlΝmin(1)Rijˉˉˉˉˉ=∑l=1NminRlNmin(1)式中:Rl=recip(|xl+2-xl+1||xl+1-xl|)Rl=recip(|xl+2?xl+1||xl+1?xl|),l=1,2,…,Nmin-2,recip(x)={x?x≥11/x?x<1。設(shè)PNmin中距離直線Lpi,qj最遠(yuǎn)的點(diǎn)為pf,距離為d(Lpiqj,pf),那么,PNmin中的元素在Lpf1,pf2方向的線性間距規(guī)則度Hij可定義為:Ηij=ˉRij?d(Lpi,qj,pf)(2)Hij的值越小,說(shuō)明PNmin中的元素在Lpf1,pf2方向分布得越規(guī)則,pi點(diǎn)就越有可能是標(biāo)志點(diǎn)。但是,對(duì)于某些線性度較好的噪聲點(diǎn),僅靠單個(gè)方向的Hij很可能造成誤判。因此,定義pi成為標(biāo)志點(diǎn)的代價(jià)函數(shù)如下:Ci=min(T1,T2,…,T6)(3)式中:Τ1=Ηi1+Ηi2∠(Lpi,q1,Lpi,q2),Τ2=Ηi1+Ηi3∠(Lpi,q1,Lpi,q3),Τ3=Ηi1+Ηi4∠(Lpi,q1,Lpi,q4),Τ4=Ηi2+Ηi3∠(Lpi,q2,Lpi,q3),Τ5=Ηi2+Ηi4∠(Lpi,q2,Lpi,q4),Τ6=Ηi3+Ηi4∠(Lpi,q3,Lpi,q4),∠(*,*)表示取銳角。Ci表示pi點(diǎn)的鄰域規(guī)則分布性。采用式(3),標(biāo)志點(diǎn)和噪聲的代價(jià)函數(shù)值通常相差一個(gè)數(shù)量級(jí)左右,因此比較容易分離。求P中所有點(diǎn)的代價(jià)函數(shù),并按從小到大的順序排列,則排在前面的Nm個(gè)點(diǎn)即為標(biāo)志點(diǎn),記為Pm。4橢圓標(biāo)志點(diǎn)的確定在3.2節(jié),從圖像中檢測(cè)出來(lái)的標(biāo)志點(diǎn)還未與標(biāo)定板編碼建立起對(duì)應(yīng)關(guān)系,為此,利用標(biāo)定板中5個(gè)大圓的位置信息,提出一種自動(dòng)的標(biāo)志點(diǎn)匹配算法。規(guī)定標(biāo)定板中5個(gè)大圓按圖1所示的方式排列的。接下來(lái)的首要任務(wù)是找出這5個(gè)圓在Pm中所對(duì)應(yīng)的橢圓。根據(jù)橢圓長(zhǎng)半軸的值,很容易把最大的5個(gè)橢圓從Pm中標(biāo)記出來(lái),記為E。按如下步驟,可從E中識(shí)別出每個(gè)橢圓標(biāo)號(hào):1)求E中距離最近的2個(gè)橢圓,記為E1和E2(它們分別對(duì)應(yīng)著Ⅳ和Ⅴ,或者Ⅴ和Ⅳ);2)在剩余的3個(gè)橢圓中,求距離最遠(yuǎn)的2個(gè)橢圓,記為E3和E4(它們分別對(duì)應(yīng)著Ⅱ和Ⅲ,或者Ⅲ和Ⅱ),把最后剩余的橢圓記為E5,E5就是橢圓Ⅰ;3)計(jì)算橢圓E1和E2連線的中點(diǎn)O,記過(guò)點(diǎn)O和橢圓E5圓心的直線為L(zhǎng)OI,則E1和E2中離直線LO,I較近的就是橢圓Ⅳ,不失一般性,假設(shè)E1被判為橢圓Ⅳ,則E2為橢圓Ⅴ。4)設(shè)過(guò)橢圓Ⅳ和Ⅰ的圓心的直線為L(zhǎng)IV,I,當(dāng)觀察者沿著直線LIV,I從橢圓Ⅳ向橢圓Ⅰ行進(jìn)時(shí)(以后凡是涉及到點(diǎn)與直線的位置判斷時(shí),觀察者總是從直線的第1個(gè)下標(biāo)點(diǎn)走向第2個(gè)下標(biāo)點(diǎn)),如果E3位于觀察者左邊的則為橢圓Ⅲ,反之為橢圓Ⅱ。假設(shè)E3被判為橢圓Ⅲ,則E4為橢圓Ⅱ。點(diǎn)與直線的方位關(guān)系可以通過(guò)下面的方法判斷:設(shè)c(x,y)、s(xs,ys)和e(xe,ye)為平面上的3點(diǎn),c點(diǎn)與直線Lse的位置關(guān)系判別式為:F=y(xe-xs)-x(ye-ys)+xsye-xeys(4)如果F>0,表示當(dāng)觀察者沿著直線Ls,e從點(diǎn)s(xs,ys)向點(diǎn)e(xe,ye)行進(jìn)時(shí),c(x,y)在觀察者的左方,反之,c(x,y)在觀察者的右方。到此,5個(gè)大橢圓全被識(shí)別出來(lái),并建立起了與標(biāo)定板中5個(gè)大圓的一一對(duì)應(yīng)關(guān)系,接下來(lái)將討論如何利用5個(gè)大圓找出所有標(biāo)志點(diǎn)的匹配關(guān)系。設(shè)標(biāo)定板左下標(biāo)志點(diǎn)為A,左上標(biāo)志點(diǎn)為B,右下標(biāo)志點(diǎn)為C,右上標(biāo)志點(diǎn)為D,如圖1所示。我們首先根據(jù)5個(gè)已知的橢圓找出標(biāo)志點(diǎn)A、B、C、D,然后由這4個(gè)標(biāo)志點(diǎn)確定別的標(biāo)志點(diǎn)。設(shè)過(guò)橢圓Ⅲ和Ⅱ的圓心的直線為L(zhǎng)III,II,設(shè)φ為直線LIII,II與LIV,I之間的夾角(從LIII,II到LIV,I為逆時(shí)針,φ為正)。1pk確定ny個(gè)點(diǎn)根據(jù)橢圓Ⅱ和Ⅰ,計(jì)算Pm中位于直線LII,I左側(cè)且離LII,I最遠(yuǎn)的點(diǎn),即為A點(diǎn)。同理,可以確定B、C、D。計(jì)算Pm中距離直線LA,B最近的Ny個(gè)點(diǎn),并按離直線A點(diǎn)的距離從小到大的順序排列,這Ny個(gè)點(diǎn)正好對(duì)應(yīng)著標(biāo)定板中的左起第1列。計(jì)算Pm中離直線LIII,II最近的Nx個(gè)點(diǎn),并按離直線LA,B的距離從小到大的順序排列,把排序后的Nx個(gè)點(diǎn)記為集合PIII,II。對(duì)于pk∈PIII,II(k=2,…,Nx),計(jì)算過(guò)pk且平行于LA,B的直線Lk,求Pm中距離Lk最近的Ny個(gè)點(diǎn),設(shè)A′和B′是這Ny個(gè)點(diǎn)中最遠(yuǎn)的兩個(gè)點(diǎn),且A′離A比B′離A更近,將這Ny個(gè)點(diǎn)按距離A′由近到遠(yuǎn)的順序排列,生成集合PA′,B′,那么PA′,B′正好對(duì)應(yīng)著標(biāo)定板中的左起第k列的標(biāo)志點(diǎn)。更新A=A′,B=B′,開(kāi)始考察pk+1。依次類(lèi)推,可以實(shí)現(xiàn)所有標(biāo)志點(diǎn)的匹配。2如圖4b所示，處理方法與1相似，不會(huì)重復(fù)5動(dòng)3次或3次以上難以完成標(biāo)定相機(jī)標(biāo)定的目的是要確定內(nèi)參數(shù)和外參數(shù)。Zhang等人提出的兩步法只需將平面模板在相機(jī)面前轉(zhuǎn)動(dòng)3次或3次以上即可完成標(biāo)定,無(wú)需知道模板的運(yùn)動(dòng)參數(shù),已成為目前普遍采用的方法之一。后來(lái),人們從標(biāo)定精度、魯棒性以及簡(jiǎn)便性等角度對(duì)Zhang的標(biāo)定模型進(jìn)行了發(fā)展。鑒于標(biāo)定算法的研究已經(jīng)比較完善,本文以第4節(jié)的匹配結(jié)果作為輸入,直接采用Zhang的方法計(jì)算內(nèi)外參數(shù)。6機(jī)光軸和標(biāo)定板法向的不同時(shí)距離圖像的成像以CCD、KADAKDCS420D、NIKOND50和NIKOND200等數(shù)碼相機(jī)以及焦距在20～50mm之間的NIKON系列定焦鏡頭為標(biāo)定對(duì)象,所有的算法均在VC++平臺(tái)下實(shí)現(xiàn)。拍攝任務(wù)在室內(nèi)進(jìn)行,只要保持相機(jī)光軸和標(biāo)定板法向之間的夾角處于在15°～70°之間,標(biāo)定板可以隨意旋轉(zhuǎn)和移動(dòng)。圖5(a)是順光(來(lái)自窗外的自然光)并強(qiáng)制閃光情況下拍攝的照片,在逆光情況下獲得的照片如圖5(c)所示,而圖5(e)顯示了在紋理地板背景下的成像效果。圖5(b)、(d)和(f)分別給出了相應(yīng)條件下標(biāo)志點(diǎn)的匹配結(jié)果。為了驗(yàn)證提出的匹配算法的正確性和精度,本文把匹配好的點(diǎn)對(duì)作為Zhang的算法的輸入,計(jì)算出內(nèi)外參數(shù)和反投影誤差,反投影誤差是指投影點(diǎn)和測(cè)量點(diǎn)之間的歐式距離。設(shè)k1和k2為畸變系數(shù),ea為平均反投影誤差,em為最大反投影誤差。從表1中可以看出,針對(duì)4種不同相機(jī)的標(biāo)定實(shí)驗(yàn)反投影誤差都在2個(gè)像素以?xún)?nèi),說(shuō)明標(biāo)志點(diǎn)的檢測(cè)和匹配是正確的。7實(shí)驗(yàn)結(jié)果分析盡管已有大量的標(biāo)定算法和軟件可用,但是相機(jī)標(biāo)定依然是一個(gè)耗時(shí)的過(guò)程。本文以標(biāo)志點(diǎn)的自動(dòng)檢測(cè)和匹配為突破口,結(jié)合現(xiàn)有的標(biāo)定算法,最終實(shí)現(xiàn)了相機(jī)的全自動(dòng)標(biāo)定。實(shí)驗(yàn)結(jié)果顯示了本文所提系統(tǒng)在不同場(chǎng)景和光照條件下的自動(dòng)性和正