版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、第12章 標(biāo)定本章將討論各種攝象機(jī)系統(tǒng)及深度成像系統(tǒng)的標(biāo)定方法在攝影測(cè)量學(xué)領(lǐng)域中,已經(jīng)建立了大量的攝象機(jī)和測(cè)距傳感器標(biāo)定方法這些方法可以用來確定攝象機(jī)或測(cè)距傳感器在場(chǎng)景中的位置和方向以及與場(chǎng)景坐標(biāo)之間的關(guān)系在攝影測(cè)量學(xué)中有以下四個(gè)標(biāo)定問題: (1) 絕對(duì)定位:通過標(biāo)定點(diǎn)確定兩個(gè)坐標(biāo)系在絕對(duì)坐標(biāo)系統(tǒng)中的變換關(guān)系,或確定測(cè)距傳感器在絕對(duì)坐標(biāo)系中的位置和方向 (2) 相對(duì)定位:通過場(chǎng)景中的標(biāo)定點(diǎn)投影確定兩個(gè)攝象機(jī)之間的相對(duì)位置和方向 (3) 外部定位:通過場(chǎng)景中的標(biāo)定點(diǎn)投影確定攝象機(jī)在絕對(duì)坐標(biāo)系中的位置和方向 (4) 內(nèi)部定位:確定攝象機(jī)內(nèi)部幾何參數(shù),包括攝象機(jī)常數(shù),主點(diǎn)的位置以及透鏡變形的修正量
2、這些標(biāo)定問題主要起源于高空攝影技術(shù),是攝影測(cè)量中的經(jīng)典問題除了以上四個(gè)標(biāo)定問題外,攝影測(cè)量學(xué)還解決以下兩個(gè)問題:一是通過雙目立體視差確定點(diǎn)在場(chǎng)景中的實(shí)際位置,二是對(duì)立體圖像對(duì)進(jìn)行校正變換,使得立體圖像對(duì)的外極線與圖像的行平行以便簡(jiǎn)化后續(xù)處理(見第十一章)攝象機(jī)標(biāo)定過程中涉及到以下幾種坐標(biāo),場(chǎng)景坐標(biāo)、攝象機(jī)坐標(biāo)、圖像坐標(biāo)和像素坐標(biāo)等,這些坐標(biāo)已經(jīng)在17中介紹成像基礎(chǔ)知識(shí)時(shí)引入確定這些坐標(biāo)之間的關(guān)系就是本章所要討論的各種標(biāo)定問題的目的121 剛體變換物體位置和方向的任意變化都可以認(rèn)為是剛體變換,因?yàn)槲矬w的移動(dòng)只改變其位置和方向,并不改變其形狀和大小假定通過兩個(gè)處于不同位置的攝像機(jī)均可看到點(diǎn),點(diǎn)在兩
3、個(gè)攝像機(jī)坐標(biāo)系中的坐標(biāo)分別是和顯然兩個(gè)攝象機(jī)位置之間的變換是剛體運(yùn)動(dòng),因此,點(diǎn)在第一個(gè)視場(chǎng)中的坐標(biāo)可以通過旋轉(zhuǎn)和平移變換到第二個(gè)視場(chǎng)中的坐標(biāo), (121)其中矩陣R是一個(gè)的正交方陣,用于旋轉(zhuǎn)變換: (122)矢量表示平移,或者說點(diǎn)是第一個(gè)坐標(biāo)系原點(diǎn)在第二個(gè)坐標(biāo)系上的坐標(biāo),如圖121所示圖121 兩個(gè)攝像機(jī)坐標(biāo)系方程121可以認(rèn)為是計(jì)算一個(gè)點(diǎn)經(jīng)過旋轉(zhuǎn)和平移以后的新坐標(biāo),或是計(jì)算空間中同一個(gè)點(diǎn)在不同坐標(biāo)系中的坐標(biāo) 前者用于剛體力學(xué):在物體移動(dòng)到一個(gè)新的位置以后,計(jì)算物體上一點(diǎn)的新坐標(biāo);后者用于標(biāo)定問題:同一點(diǎn)在不同觀察位置上觀察將會(huì)得到不同的坐標(biāo),這種不同可以由剛體變換確定,而標(biāo)定問題就是來確定這
4、種剛體變換例如,考慮兩個(gè)具有不同位置和姿態(tài)的攝象機(jī)觀察場(chǎng)景中同一點(diǎn),由于觀察角度不同,這一點(diǎn)在兩個(gè)攝像機(jī)坐標(biāo)系中的坐標(biāo)是不同的設(shè)想旋轉(zhuǎn)第一個(gè)攝象機(jī),使其方向與第二個(gè)攝象機(jī)的方向相同;再設(shè)想將第一攝象機(jī)平移到第二攝象機(jī)的位置上,則兩個(gè)攝象機(jī)坐標(biāo)系完全重合1211旋轉(zhuǎn)矩陣空間角可用直角坐標(biāo)系中的歐拉角描述:繞軸旋轉(zhuǎn)角,繞新的軸旋轉(zhuǎn)角,繞新的z軸旋轉(zhuǎn)角,角是光軸的俯仰角(pitch),也叫垂直角,角是光軸的偏航角(yaw)(水平角),角表示光軸滾動(dòng)角(roll)或扭轉(zhuǎn)角(twist)無轉(zhuǎn)動(dòng)(三個(gè)角都等于零)指的是兩個(gè)坐標(biāo)系統(tǒng)完全對(duì)正各角度旋轉(zhuǎn)正方向?yàn)閺淖鴺?biāo)系原點(diǎn)沿各軸正方向觀察時(shí)的逆時(shí)針旋轉(zhuǎn)方向用這
5、些角表示方程122定義的旋轉(zhuǎn)矩陣各元素如下:(123)用歐拉角的形式來確定坐標(biāo)系的旋轉(zhuǎn)會(huì)引起數(shù)值解不穩(wěn)定,因?yàn)闅W拉角很小的變化可能對(duì)應(yīng)很大的旋轉(zhuǎn)變化因此,標(biāo)定算法或者求解旋轉(zhuǎn)矩陣的各元素常使用其它形式的旋轉(zhuǎn)角表達(dá)式,如,四元數(shù)等旋轉(zhuǎn)矩陣是一個(gè)正交矩陣:(124)其中表示單位矩陣由上述公式不難得到旋轉(zhuǎn)矩陣的逆就是該矩陣的轉(zhuǎn)置標(biāo)定算法會(huì)在坐標(biāo)系之間產(chǎn)生剛體變換;例如,從坐標(biāo)系1到坐標(biāo)系2,我們有(125)剛體變換的逆變換就是將坐標(biāo)系2的坐標(biāo)變?yōu)樽鴺?biāo)系1的坐標(biāo): (126)這里的表示坐標(biāo)系上的點(diǎn)是另一個(gè)坐標(biāo)系的原點(diǎn)注意平移變換的逆變換并不是簡(jiǎn)單的等于必須乘以旋轉(zhuǎn)變換的逆變換,因?yàn)楸硎驹谧鴺?biāo)系2上的平
6、移,其逆變換一定要表示到與坐標(biāo)系1同一個(gè)方位的坐標(biāo)系中 圖122 歐拉角或俯仰角、偏航角和滾動(dòng)角示意圖1212旋轉(zhuǎn)軸旋轉(zhuǎn)也可以規(guī)定為逆時(shí)針(右手坐標(biāo)系)繞由單位矢量表示的軸的旋轉(zhuǎn)這是一種觀察旋轉(zhuǎn)的非常直觀方法,但是它在數(shù)值計(jì)算上也有和歐拉角一樣的問題旋轉(zhuǎn)軸和旋轉(zhuǎn)角度表達(dá)式可以轉(zhuǎn)換成矩陣表達(dá)式(方程121),以作為剛體變換的公式當(dāng)然,如果能直接使用旋轉(zhuǎn)軸和旋轉(zhuǎn)角表達(dá)式來產(chǎn)生滿意的數(shù)值解,將是最好不過的了在這種思路的基礎(chǔ)上產(chǎn)生了旋轉(zhuǎn)四元數(shù),這也是將四元數(shù)用于旋轉(zhuǎn)表示的原因之一1213 四元數(shù)四元數(shù)是一個(gè)四元矢量,可用來表示坐標(biāo)旋轉(zhuǎn)實(shí)踐證明,對(duì)于定位求解問題,四元數(shù)表示可以給出很好的數(shù)值解為了理解四
7、元數(shù)是如何對(duì)旋轉(zhuǎn)進(jìn)行表示的,我們首先想象在二維平面上的一個(gè)單位圓,單位圓上的任何一個(gè)位置都只對(duì)應(yīng)于一個(gè)旋轉(zhuǎn)角如圖12.3所示圖123單位圓上一點(diǎn)只能對(duì)應(yīng)一個(gè)旋轉(zhuǎn)角再考慮三維空間中的單位球: (127) 在單位球上的任意一點(diǎn)只對(duì)應(yīng)繞軸和軸旋轉(zhuǎn)的兩個(gè)角和,無法表示繞軸旋轉(zhuǎn)的第三個(gè)角顯然,再增加一個(gè)自由度就可以表示所有三個(gè)旋轉(zhuǎn)角四維空間單位球定義如下: (128)三維空間中所有三個(gè)旋轉(zhuǎn)角可以通過四維單位球上的點(diǎn)來表示由單位四元數(shù)表示的旋轉(zhuǎn)公式如下: (129)每一個(gè)單位四元數(shù)和其反極點(diǎn)(antipole)都表示三維空間中的旋轉(zhuǎn) 用單位四元數(shù)表示剛體變換的旋轉(zhuǎn)矩陣: (1210)在計(jì)算出單位四元數(shù)之后
8、,就可利用上式計(jì)算旋轉(zhuǎn)矩陣單位四元數(shù)與上節(jié)描述的旋轉(zhuǎn)角和旋轉(zhuǎn)軸有密切關(guān)系旋轉(zhuǎn)可以用旋轉(zhuǎn)量和旋轉(zhuǎn)軸方向的組合來表示,即四元數(shù)由一個(gè)與旋轉(zhuǎn)量有關(guān)的標(biāo)量和一個(gè)旋轉(zhuǎn)軸矢量組成 設(shè)旋轉(zhuǎn)軸的單位矢量為,使用,和表示坐標(biāo)軸,則旋轉(zhuǎn)軸單位矢可以表示為: (1211) 繞該軸逆時(shí)針旋轉(zhuǎn)角的單位四元數(shù)為: (1212)上式的第一項(xiàng)為四元數(shù)的標(biāo)量(實(shí))部分,其余項(xiàng)為矢量(虛)部分空間點(diǎn)的四元數(shù)實(shí)際上只有矢量部分(虛部),該矢量就是空間點(diǎn)的矢量表示 (1213)設(shè)是點(diǎn)通過矩陣旋轉(zhuǎn)得到,(1214)若是點(diǎn)的四元數(shù)表示,那么對(duì)旋轉(zhuǎn)后點(diǎn)的四元數(shù)表示可以由四元數(shù)直接計(jì)算: (1215)這里的,是的共軛四元數(shù): 四元數(shù)乘法定義
9、如下: (1216)剛體變換可以很方便地用七個(gè)元素表示,前四個(gè)量是單位四元數(shù),后三個(gè)量是平移量在這一表達(dá)式中,若用R(q)表示對(duì)應(yīng)于單位四元數(shù)的旋轉(zhuǎn)矩陣,則剛體變換式為: (1217)122絕對(duì)定位 絕對(duì)定位問題是確定兩個(gè)坐標(biāo)系之間的剛體變換問題求解絕對(duì)定位問題在機(jī)器視覺中有著許多應(yīng)用,其中的一個(gè)應(yīng)用是確定測(cè)距成像系統(tǒng)或雙目立體視覺系統(tǒng)與定義在場(chǎng)景中的絕對(duì)坐標(biāo)系之間的關(guān)系,這樣可以將所有的測(cè)量值均表示在一個(gè)公共的坐標(biāo)系里若表示點(diǎn)在攝象機(jī)坐標(biāo)系中的坐標(biāo),表示點(diǎn)在絕對(duì)坐標(biāo)系中的坐標(biāo),則絕對(duì)坐標(biāo)定位問題的輸入就是一個(gè)共軛對(duì)組:,為了求解絕對(duì)定位問題,我們把剛體變換方程展開,以便說明旋轉(zhuǎn)矩陣中各項(xiàng)的作
10、用設(shè)是攝象機(jī)坐標(biāo)系內(nèi)的點(diǎn),是絕對(duì)坐標(biāo)系內(nèi)的點(diǎn),從到的剛體變換公式為:(1218)其中12個(gè)未知參數(shù)中有9個(gè)是旋轉(zhuǎn)矩陣參數(shù),3個(gè)是平移參數(shù)每個(gè)共軛對(duì)對(duì)應(yīng)有三個(gè)等式,則至少需要四個(gè)共軛對(duì)產(chǎn)生12個(gè)方程才能解出12個(gè)未知數(shù)在實(shí)際應(yīng)用過程中,常常使用大量的共軛對(duì)(這些共軛對(duì)通常是空間標(biāo)定點(diǎn)在不同坐標(biāo)系中的表示)來提高計(jì)算精度在解線性系統(tǒng)方程時(shí),如果旋轉(zhuǎn)矩陣沒有正交標(biāo)準(zhǔn)化,則可能得不到有效的旋轉(zhuǎn)矩陣使用非標(biāo)準(zhǔn)正交矩陣作為旋轉(zhuǎn)矩陣可能會(huì)產(chǎn)生意想不到的結(jié)果,如不能保證矩陣轉(zhuǎn)置一定等于矩陣逆,并且共軛對(duì)的測(cè)量誤差會(huì)嚴(yán)重地影響計(jì)算結(jié)果,從而不能產(chǎn)生剛體變換的最佳逼近有些方法是在每一步迭代過程之后對(duì)矩陣進(jìn)行正交化
11、,但仍不能保證正交化的矩陣是旋轉(zhuǎn)矩陣的最佳逼近一種替代的方法是求解旋轉(zhuǎn)角而不是矩陣的各項(xiàng)元素旋轉(zhuǎn)角最一般的表示方法是歐拉角,不過使用歐拉角會(huì)導(dǎo)致非線性方程,從而產(chǎn)生數(shù)值計(jì)算上的困難在攝影測(cè)量中,通常的做法是對(duì)非線性方程線性化并求解,以便得到名義值的修正值這種線性化算法的成功與否很大程度上取決于初始預(yù)估值好壞下面討論用單位四元數(shù)表示方法求剛體變換設(shè)是對(duì)應(yīng)于單位四元數(shù)的旋轉(zhuǎn)矩陣,則攝象機(jī)坐標(biāo)系上的每一點(diǎn)坐標(biāo)轉(zhuǎn)換成絕對(duì)坐標(biāo)的剛體變換公式如下: (1219)其中是攝象機(jī)原點(diǎn)在絕對(duì)坐標(biāo)系中的位置現(xiàn)在的回歸問題有七個(gè)參數(shù):表示旋轉(zhuǎn)的單位四元數(shù)的四個(gè)參數(shù)加上平移矢量的三個(gè)參數(shù)正如前面所指出的,絕對(duì)定位問題的
12、輸入是共軛對(duì)集合:,考慮一組點(diǎn)的兩種集合表示,在攝象機(jī)坐標(biāo)系中的點(diǎn)集和絕對(duì)坐標(biāo)系中的點(diǎn)集絕對(duì)定位問題就是在空間中將這兩個(gè)點(diǎn)群對(duì)正下面計(jì)算每個(gè)點(diǎn)集的矩中心: (1220) (1221)用矩中心與每一個(gè)點(diǎn)相減得: (1222) (1223)若已知旋轉(zhuǎn)矩陣,則平移表達(dá)式可表示為: (1224) 下面將討論求解旋轉(zhuǎn)矩陣,使得這兩簇射線對(duì)正在推導(dǎo)旋轉(zhuǎn)矩陣時(shí),將點(diǎn)表示為從矩中心出發(fā)的射線,這樣所有坐標(biāo)都將是射線坐標(biāo)由于射線束是由共軛對(duì)集合推導(dǎo)的,因此,我們可以知道在攝象機(jī)射線束中的某一條射線對(duì)應(yīng)于絕對(duì)坐標(biāo)射線的那一條射線當(dāng)兩組射線對(duì)正后,每一對(duì)對(duì)應(yīng)射線將會(huì)重合換句話說,每一對(duì)射線位于同一條直線上,并指向同
13、一方向若不考慮測(cè)量誤差的影響,則每對(duì)射線之間的夾角應(yīng)為0,夾角的余弦為1測(cè)量誤差導(dǎo)致射線束不能完全對(duì)正但可以在最小方差的意義上,通過求解旋轉(zhuǎn)矩陣束得到最佳對(duì)正結(jié)果,其中旋轉(zhuǎn)矩陣的求解是求每對(duì)射線標(biāo)量積的極大值: (1225) 在四元數(shù)中,上面的和式可以表示為: (1226)上式可以變成二次表達(dá)式: (1227)假設(shè)對(duì)應(yīng)一個(gè)列向量則使二次式取極大值的單位四元數(shù)是對(duì)應(yīng)于最大正特征值的特征向量特征根可以利用Horn 1987給出的公式求解四階多項(xiàng)式來確定,也可以利用標(biāo)準(zhǔn)數(shù)值方法Press 1988計(jì)算特征向量和特征值矩陣和是由每個(gè)射線元素構(gòu)成設(shè),那么: (1228) (1229)矩陣N為: (123
14、0)式中的和式S是由攝象機(jī)坐標(biāo)系和絕對(duì)坐標(biāo)系的射線坐標(biāo)元構(gòu)成其中,是求所有共軛對(duì)的攝象機(jī)坐標(biāo)點(diǎn)的坐標(biāo)坐標(biāo)和在絕對(duì)坐標(biāo)點(diǎn)的坐標(biāo)坐標(biāo)的乘積和: (1231)上述計(jì)算的結(jié)果是一個(gè)單位四元法,表示校準(zhǔn)射線束的旋轉(zhuǎn)變換剛體變換可以作用于測(cè)距攝象機(jī),雙目立體視覺系統(tǒng)或任何其它深度測(cè)量系統(tǒng)產(chǎn)生的測(cè)量坐標(biāo)值,以便把這是測(cè)量值變換到絕對(duì)坐標(biāo)系統(tǒng)的測(cè)量坐標(biāo)值 123 相對(duì)定位相對(duì)定位問題是指用場(chǎng)景點(diǎn)在兩個(gè)圖像平面上的投影來確定兩個(gè)攝象機(jī)坐標(biāo)系之間的關(guān)系相對(duì)定位問題是雙目立體視覺系統(tǒng)標(biāo)定的第一步我們?cè)诘谑徽掠懻摿搜貥O線匹配特征的雙目立體視覺算法為了簡(jiǎn)化表示,假定左、右圖像平面上的外極線皆與圖像陣列的行線重合,且
15、對(duì)應(yīng)的左、右圖像陣列的行標(biāo)號(hào)也相同設(shè)場(chǎng)景點(diǎn)在左、右兩個(gè)攝象機(jī)的視場(chǎng)范圍內(nèi)(見圖111)點(diǎn)在左攝象機(jī)坐標(biāo)系用表示,在右攝象機(jī)坐標(biāo)系內(nèi)用表示點(diǎn)在左攝象機(jī)圖像平面上的投影為,在右攝象機(jī)圖像平面上的投影為設(shè)左右攝像機(jī)智的焦距分別為由透視投影得到公式: (1232) (1233)將左攝象機(jī)坐標(biāo)系轉(zhuǎn)換為右攝象機(jī)坐標(biāo)系的剛體變換方程如下: (1234)從透視投影方程(12.32)和(12.33)求出和,并將它們代入上面的剛體變換方程,得到一組共軛對(duì)投影之間的關(guān)系方程: (1235)變換方程的旋轉(zhuǎn)部分改變左攝象機(jī)的方位使之與右攝象機(jī)方位相同而平移部分就是兩個(gè)攝象機(jī)之間的基線平移變量和深度變量在等式中以比值的形
16、式出現(xiàn),分別表示基線的長(zhǎng)度和深度可任意縮放例如,可以將攝象機(jī)分離兩倍的距離,并將場(chǎng)景中的點(diǎn)移遠(yuǎn)兩倍的距離而不改變透視幾何關(guān)系僅通過標(biāo)定點(diǎn)的投影是不可能確定基線長(zhǎng)度,但這并不是一個(gè)嚴(yán)重的問題,和確定比例系數(shù)一樣,基線長(zhǎng)度可以通過其它的方法確定現(xiàn)在,假定攝象機(jī)之間的平移量是單位矢量求解相對(duì)定位問題可以得到旋轉(zhuǎn)的三個(gè)參數(shù)和表示基線方向的單位矢量的兩個(gè)參數(shù)雙目立體深度測(cè)量值是以基線長(zhǎng)度為計(jì)量單位的假定單位基線長(zhǎng)度,意味著雙目立體測(cè)量值可以用任意計(jì)量單位表示在這個(gè)單位基線長(zhǎng)度假設(shè)下得到的測(cè)量值是正確的,但仍未確定比例系數(shù)點(diǎn)之間的相對(duì)距離是正確的這些任意設(shè)置的計(jì)量單位值乘以基線長(zhǎng)度可以得到真實(shí)計(jì)量單位值1
17、27節(jié)將介紹如何確定基線距離,這也是求解絕對(duì)定位問題的一個(gè)部分求解絕對(duì)定位問題得到絕對(duì)坐標(biāo)變換使用絕對(duì)坐標(biāo)變換,任意計(jì)量單位立體測(cè)量值到真實(shí)計(jì)量單位的轉(zhuǎn)換和點(diǎn)在觀察者坐標(biāo)系到絕對(duì)坐標(biāo)系的變換可以同步進(jìn)行方程組(12.35)含有12個(gè)相對(duì)位置參數(shù)和2個(gè)與場(chǎng)景點(diǎn)有關(guān)的未知數(shù),因此若有個(gè)標(biāo)定點(diǎn),則有個(gè)未知量,旋轉(zhuǎn)矩陣是正交矩陣,由此可以產(chǎn)生6個(gè)約束,另一個(gè)約束是基線距離取單位值的約束。根據(jù)方程(12.34),若有n個(gè)標(biāo)定點(diǎn),則可產(chǎn)生3n個(gè)約束方程,這樣會(huì)有7+3n個(gè)約束當(dāng)n=5時(shí),約束數(shù)等于未知量數(shù)。所以求解這一問題至少需要五個(gè)共軛對(duì),在實(shí)際中,使用更多的共軛對(duì)可以得到更高的求解精度求解相對(duì)定位問題
18、首先從一組標(biāo)定點(diǎn)開始,使用這些標(biāo)定點(diǎn)在左、右圖像平面上的投影來確定這兩個(gè)攝象機(jī)之間的剛體變換每個(gè)投影點(diǎn)對(duì)應(yīng)于一條從攝象機(jī)投影中心出發(fā)的射線,這條射線穿過投影點(diǎn)進(jìn)入場(chǎng)景對(duì)于場(chǎng)景中的標(biāo)定點(diǎn),其在兩個(gè)圖像平面的兩個(gè)投影點(diǎn)和對(duì)應(yīng)的兩條射線應(yīng)相交于點(diǎn)但實(shí)際上,由于在圖像平面上投影點(diǎn)位置的測(cè)量誤差,相交點(diǎn)位置可能不在點(diǎn)我們希望求出滿足單位基線長(zhǎng)度約束的兩個(gè)攝象機(jī)在空間的相對(duì)位置和方向,以便使圖像平面中的射線位置測(cè)量誤差達(dá)到最小設(shè)是從左攝象機(jī)投影中心點(diǎn)出發(fā),穿過左圖像平面上的點(diǎn)的射線(矢量);是從右攝象機(jī)投影中心點(diǎn)出發(fā),穿過右圖像平面上的點(diǎn)射線(矢量);是從左攝象機(jī)投影中心點(diǎn)到右攝象機(jī)投影中心點(diǎn)的矢量我們需
19、要在同一個(gè)坐標(biāo)系中處理每一條射線,所以旋轉(zhuǎn)以使它和在同一個(gè)坐標(biāo)系中,用表示這個(gè)旋轉(zhuǎn)后得到的射線如果兩條射線相交,則說明它們位于垂直于的平面中基線也位于同一平面中因此,基線也垂直于,這一關(guān)系在數(shù)學(xué)上可描述為基線矢量與的點(diǎn)積為0: (1236)這個(gè)關(guān)系式稱為共面條件由于測(cè)量誤差,射線將不會(huì)交于點(diǎn),也不滿足共面條件解決這一問題的有效方法是使用使用最小二乘法124 校正校正(rectification)是立體圖像對(duì)重新取樣的過程,以使得外極線對(duì)應(yīng)于圖像陣列的行其基本思想:校正左、右圖像平面位置,使這兩個(gè)平面與兩攝像機(jī)光學(xué)中心連線平行,此時(shí),由于極點(diǎn)在無窮遠(yuǎn)處,圖像陣列的行就是極線,如圖12.4所示。立
20、體對(duì)應(yīng)點(diǎn)可以沿對(duì)應(yīng)圖像搜索匹配點(diǎn)得到如圖12.5所示。圖12.4 校正處理示意圖 圖12.5 校正處理實(shí)驗(yàn)結(jié)果(a)原始圖像 (b)校正處理后的圖像實(shí)際上,上述條件很難達(dá)到,可能會(huì)出現(xiàn)一些偏差(繞攝相機(jī)垂直軸向內(nèi)旋轉(zhuǎn)),但如果將左,右圖像投影到一個(gè)平面上,就能得到理想的極線幾何左(右)攝象機(jī)中的每一個(gè)像素點(diǎn)分別對(duì)應(yīng)于左(右)攝象機(jī)坐標(biāo)系統(tǒng)中的一條射線設(shè)和分別表示將左,右攝象機(jī)的射線變換到公共平面坐標(biāo)系的剛體變換確定每個(gè)圖像的頂點(diǎn)在公共平面上的位置,創(chuàng)建新的左、右圖像網(wǎng)格,將每一個(gè)網(wǎng)格點(diǎn)變換回原來的圖像上使用1262節(jié)所討論的雙變量線性內(nèi)插方法內(nèi)插旬素值以確定公共平面上新的左、右圖像中的像素值1
21、25 雙目立體深度測(cè)量 雙目立體視覺是匹配左、右圖像平面上的特征點(diǎn)并生成共軛對(duì)集合 ,在理想狀態(tài)下,每一個(gè)共軛對(duì)定義的兩條射線,相交于空間中某一場(chǎng)景點(diǎn)空間相交的問題就是找到相交點(diǎn)的三維空間坐標(biāo)由于圖像平面坐標(biāo)的測(cè)量誤差以及攝象機(jī)的誤差,兩條射線不會(huì)相交,所以通過立體對(duì)計(jì)算深度問題就是求最接近射線的場(chǎng)景點(diǎn)的坐標(biāo) 我們將假設(shè)立體測(cè)量所有的坐標(biāo)系不同于任一攝象機(jī)坐標(biāo)系例如,立體坐標(biāo)系可以建立在支撐兩個(gè)攝象機(jī)的框架上這里出現(xiàn)了兩個(gè)剛體變換:一個(gè)是左攝象機(jī)相對(duì)于立體坐標(biāo)系的校準(zhǔn)變換,另一個(gè)是右攝象機(jī)相對(duì)于立體坐標(biāo)系的校準(zhǔn)變換左變換包括有旋轉(zhuǎn)矩陣和平移量 ,右轉(zhuǎn)換包括旋轉(zhuǎn)矩陣和平移量為了在右(左)攝象機(jī)坐
22、標(biāo)系中表示測(cè)量點(diǎn),則需要使用相對(duì)定位問題中的剛體變換公式和平移公式在三維空間中共軛對(duì)的坐標(biāo)分別為 和 將左攝象機(jī)坐標(biāo)系旋轉(zhuǎn)和平移到立體坐標(biāo)系中: (1237)同樣,對(duì)于右攝像機(jī)有: (1238)為了計(jì)算最靠近兩條射線的點(diǎn),通過求下式的最小值求出對(duì)應(yīng)于兩條射線之間的最小的距離時(shí),和值 (1239)其中,是立體坐標(biāo)系中的基,和分別是旋轉(zhuǎn)后進(jìn)入立體坐標(biāo)系的左,右射線為了求解射線相交問題,對(duì)和求導(dǎo)并等于0解方程求出和并代入射線方程(方程1242和1243),以便求取位于每一條射線上的點(diǎn)求出這兩點(diǎn)的位置平均值,就得到深度的估計(jì)值立體點(diǎn)測(cè)量值是在立體坐標(biāo)系統(tǒng)中進(jìn)行的,立體坐標(biāo)系可以是左或右攝象機(jī)坐標(biāo)系,或
23、是一個(gè)中性坐標(biāo)系如果通過求解外部定位問題(128節(jié))或通過其它方法來求解左、右攝象機(jī)與立體坐標(biāo)系之間的剛體變換,那么,立體點(diǎn)測(cè)量值單位與標(biāo)定點(diǎn)單位一樣不考慮如何標(biāo)定立體坐標(biāo)系,我們必須將點(diǎn)測(cè)量值變換到場(chǎng)景絕對(duì)坐標(biāo)系中同時(shí)通過求解具有比例因子的絕對(duì)定位問題將測(cè)量值轉(zhuǎn)換到與場(chǎng)景相適應(yīng)的某一計(jì)量單位系統(tǒng)中126 含有比例因子的絕對(duì)定位在122節(jié)中,絕對(duì)定位變換公式不允許包含比例因子;坐標(biāo)系之間的變換僅包括旋轉(zhuǎn)和平移的剛體變換在雙目立體系統(tǒng)中,若兩個(gè)攝象機(jī)之間的基線未知或不正確時(shí),或在測(cè)距攝象機(jī)之間具有不同測(cè)量單位時(shí),比例因子會(huì)發(fā)生改變122節(jié)所討論的絕對(duì)定位問題可以推廣到包含比例因子變化的情況推廣后
24、的坐標(biāo)變換將包含用于視點(diǎn)與絕對(duì)坐標(biāo)對(duì)正(alignment)的旋轉(zhuǎn)和平移變換,也包含攝象機(jī)專用的測(cè)量單位到公用計(jì)量單位轉(zhuǎn)換的比例因子設(shè)點(diǎn)在一個(gè)坐標(biāo)系中的坐標(biāo)為,在另一個(gè)坐標(biāo)系中的坐標(biāo)為,則坐標(biāo)系變換公式為: (1240)其中,s是比例因子這一參數(shù)使絕對(duì)定位問題參數(shù)數(shù)量增加到七個(gè):三個(gè)旋轉(zhuǎn)參數(shù),三個(gè)平移參數(shù),一個(gè)比例因子比例變換是一種均勻比例縮放:即每個(gè)軸縮放比例量相同絕對(duì)定位問題的輸入是來自第一和第二個(gè)視場(chǎng)的幾個(gè)共軛對(duì)集合回歸問題是求出旋轉(zhuǎn)陣,平移量,和比例因子s: (1241)達(dá)到極小值求解上述問題至少需要三個(gè)點(diǎn),以得到九個(gè)方程來解七個(gè)未知量實(shí)際中,使用更多的點(diǎn)可以得到更高的精度暫時(shí)忽略一下
25、共軛對(duì)的對(duì)應(yīng)關(guān)系是已知的,設(shè)想一下兩個(gè)點(diǎn)集(在第一個(gè)坐標(biāo)系中的點(diǎn)集和在第二個(gè)坐標(biāo)系中的點(diǎn)集)是在絕對(duì)坐標(biāo)系中的兩個(gè)點(diǎn)群計(jì)算每個(gè)點(diǎn)群矩中心如下: (1242) (1243)將每個(gè)點(diǎn)群變換為有關(guān)矩中心的一個(gè)矢量簇: (1244)計(jì)算矢量簇平均長(zhǎng)度,即可確定比例因子這說計(jì)算比例因子列需知道旋轉(zhuǎn)和平移,這在標(biāo)定雙目立體基線距離中十分有用,并且使用點(diǎn)越多計(jì)算結(jié)果越精確在確定旋轉(zhuǎn)和比例因子之后,平移可以從矩中心很容易地計(jì)算出來: (1245)計(jì)算旋轉(zhuǎn)是確定如何校準(zhǔn)關(guān)于矩中心的射線束的基本問題,計(jì)算第一和第二視場(chǎng)中的射線坐標(biāo)標(biāo)量積之和,得到的矩陣M: (1246) 設(shè)矩陣Q = 則旋轉(zhuǎn)矩陣為: (1247)
26、其中矩陣S為: (1248)矩陣Q的特征值和特征向量的分解表示為: (1249)的特征值是通過解一個(gè)三次方程得到的這個(gè)三次方程的根可以直接利用197公式求出用特征值解線性方程: (1250)得到正交特征向量V1 ,V2和V3矩陣S是矩陣Q的平方根在特征系統(tǒng)表示中(方程1247),矩陣的平方根和其逆矩陣是很容易計(jì)算的矩陣S的逆矩陣為: (1251) 計(jì)算特征向量的叉積,除以特征向量的平方根,再乘以矩陣M就可得到旋轉(zhuǎn)矩陣R這種計(jì)算方法保證了矩陣R是歸一化正交矩陣這個(gè)算法提供了一種旋轉(zhuǎn)矩陣的解析解(非迭解)比例尺度可以通過方程1244得到無需確定平移或旋轉(zhuǎn)參數(shù),而平移量可以通過方程1245來確定變換
27、公式1240可以作用于任何深度測(cè)量系統(tǒng)的點(diǎn)測(cè)量值,包括雙目立體系統(tǒng)或測(cè)距攝象機(jī),以便將測(cè)量點(diǎn)變換到絕對(duì)坐標(biāo)系中,并將測(cè)量值轉(zhuǎn)換成絕對(duì)坐標(biāo)計(jì)量單位測(cè)量值計(jì)量單位是任何一種可用于絕對(duì)定位問題中標(biāo)定點(diǎn)計(jì)量單位例如,在絕對(duì)坐標(biāo)系統(tǒng)中標(biāo)定點(diǎn)的單位是毫米,而雙目立體深度測(cè)量值是以基線為一個(gè)單位,則由這些標(biāo)定點(diǎn)求解絕對(duì)定位問題的剛體變換將深度測(cè)量值的單位轉(zhuǎn)換成毫米單位測(cè)量系統(tǒng)中每個(gè)坐標(biāo)軸上的單位應(yīng)是相同的,因?yàn)樽饔糜诿恳粋€(gè)坐標(biāo)軸上的比例因子是相同的127 外部定位外部定位問題就是在絕對(duì)坐標(biāo)系中,確定圖像平面坐標(biāo)和場(chǎng)景點(diǎn)坐標(biāo)之間的關(guān)系在機(jī)器人學(xué)和機(jī)器視覺中,外部定位問題被稱之為手眼問題直到本節(jié),我們一直在攝象
28、機(jī)坐標(biāo)系中表示場(chǎng)景點(diǎn)的坐標(biāo);但在許多應(yīng)用中,都需要建立圖像平面坐標(biāo)系與定義在場(chǎng)景中的絕對(duì)坐標(biāo)系之間的關(guān)系在圖像平面中,每個(gè)點(diǎn)都定義一條從投影中心出發(fā),經(jīng)過圖像平面中的點(diǎn),指向場(chǎng)景的射線在場(chǎng)景中,攝象機(jī)的位置就是投影中心的位置,攝象機(jī)的定位決定了從投影中心出發(fā)穿過圖像平面點(diǎn)的射線簇的定位一個(gè)圖像平面點(diǎn)并不對(duì)應(yīng)場(chǎng)景中唯一的一個(gè)點(diǎn),但我們可以利用穿過此點(diǎn)的射線方程,連同其它有關(guān)場(chǎng)景的幾何信息,在場(chǎng)景絕對(duì)坐標(biāo)系中確定唯一的對(duì)應(yīng)點(diǎn)例如,如果我們知道一個(gè)圖像點(diǎn)對(duì)應(yīng)于墻上的一個(gè)點(diǎn),并且也知道墻的模型平面方程,則只要求出射線方程與平面方程的交點(diǎn)就可以得到墻上對(duì)應(yīng)點(diǎn)的準(zhǔn)確位置外部定位問題就是確定對(duì)應(yīng)圖像平面點(diǎn)的
29、射線簇的位置和方向,使得每一個(gè)圖像平面點(diǎn)可以被變換為場(chǎng)景絕對(duì)坐標(biāo)系中的對(duì)應(yīng)射線,如圖126所示射線束的位置和方向可以表示成攝象機(jī)坐標(biāo)與絕對(duì)坐標(biāo)之間的剛體變換一個(gè)圖像平面點(diǎn)在攝象機(jī)三維坐標(biāo)系中的坐標(biāo)為 ,其中表示圖像平面位于投影中心前面距離為的位置投影中心對(duì)應(yīng)攝象機(jī)坐標(biāo)系的原點(diǎn),攝象機(jī)在場(chǎng)景中的位置就是投影中心在絕對(duì)坐標(biāo)系中的位置 在攝象機(jī)坐標(biāo)系中,經(jīng)過圖像平面中點(diǎn)的射線參數(shù)方程為 (1252)其中t的取值可以從0(在投影的中心)到無窮大當(dāng)t1時(shí),攝象機(jī)坐標(biāo)系中的點(diǎn) 是圖像平面點(diǎn)已知圖像上一個(gè)測(cè)量點(diǎn)位置和攝象機(jī)常數(shù)的估計(jì)值,則可以從攝象機(jī)坐標(biāo)系中得到對(duì)應(yīng)的射線方程圖12.6外部定位問題示意圖設(shè),
30、則可以將攝象機(jī)坐標(biāo)系與絕對(duì)坐標(biāo)系之間的剛體變換作用于射線的參數(shù)方程(方程1252)中,得到場(chǎng)景絕對(duì)坐標(biāo)系中的射線方程: (1253)確定剛體變換的基本步驟是:已知標(biāo)定點(diǎn)在場(chǎng)景中的坐標(biāo)為,測(cè)定標(biāo)定點(diǎn)的投影坐標(biāo),利用透視投影方程建立圖像平面點(diǎn)與場(chǎng)景點(diǎn)的聯(lián)系,最后求解剛體變換攝象機(jī)外部定位參數(shù)(旋轉(zhuǎn)角和到攝象機(jī)原點(diǎn)的平移)稱為非固有參數(shù),與攝象機(jī)內(nèi)部幾何的固有參數(shù)(例如攝象機(jī)焦距)相對(duì)外部定位問題可以簡(jiǎn)單地陳述為:什么是絕對(duì)坐標(biāo)與相對(duì)坐標(biāo)之間的剛體變換,該變換可以確定空間射線簇位置和方向使得每一條射線都通過其對(duì)應(yīng)的標(biāo)定點(diǎn)?為了明確一下坐標(biāo)系,我們將使用下標(biāo)來區(qū)分絕對(duì)坐標(biāo)和攝象機(jī)坐標(biāo)在絕對(duì)坐標(biāo)系中,點(diǎn)
31、的位置是 ,在攝象機(jī)坐標(biāo)系中,點(diǎn)的位置是我們將外部定位問題確定為從絕對(duì)(場(chǎng)景)坐標(biāo)到攝象機(jī)坐標(biāo)的變換實(shí)際應(yīng)用中的逆變換由式1212給出從絕對(duì)坐標(biāo)到攝象機(jī)坐標(biāo)的剛體變換如下: (1254) 在攝象機(jī)坐標(biāo)系中,場(chǎng)景點(diǎn)的位置是未知的,但是點(diǎn)在圖像平面上的投影可以由透視投影方程來確定: (1255)因此,聯(lián)立(12.54)和(12.55) 可知每一個(gè)標(biāo)定點(diǎn)確定兩個(gè)獨(dú)立的約束方程: (1256)6個(gè)標(biāo)定點(diǎn)產(chǎn)生12個(gè)等式可以用于求解變換矩陣中12個(gè)參數(shù),但是使用旋轉(zhuǎn)矩陣的歸一化正交約束可以將標(biāo)定點(diǎn)減少為4個(gè)在實(shí)際應(yīng)用中,常常使用更多的點(diǎn)以便得到精確的結(jié)果使用歐拉角公式替換旋轉(zhuǎn)矩陣的元素,然后求解非線性回歸
32、問題下面是一個(gè)求取外部定位的例子機(jī)器人在手臂的底部安裝了一個(gè)吸力抓取機(jī)構(gòu)抓取機(jī)構(gòu)非常適合于抓取那些小而平的物體,但前提是抓取機(jī)構(gòu)必須定位在這些物體的中心附近已知一個(gè)扁平物體放在手臂可以到達(dá)的一個(gè)桌子上,絕對(duì)坐標(biāo)系定義在桌子的一個(gè)角點(diǎn)一部攝象機(jī)位于桌子的上方,整個(gè)桌子在視場(chǎng)范圍內(nèi)圖像平面中的點(diǎn)的位置坐標(biāo)是如果物體相對(duì)于桌面背景具有很好的的反差,則可以使用一階矩就可估算圖像平面位置在桌子的絕對(duì)坐標(biāo)系中的點(diǎn)的位置坐標(biāo)是通過求解外部定位問題可以確定相對(duì)于絕對(duì)坐標(biāo)系的攝象機(jī)的位置和方向給定一個(gè)圖像平面中物體中心的位置,通過求出由攝象機(jī)原點(diǎn)出發(fā),穿過點(diǎn)的射線與桌面的交點(diǎn),可以確定桌面上的物體中心在絕對(duì)坐標(biāo)
33、系中的的位置桌面的方程: (1257)和從攝象機(jī)中心出發(fā)的射線方程: (1258)必須在絕對(duì)坐標(biāo)系中通過求解外部定位問題得到變換公式可以把從攝象機(jī)出發(fā)的射線轉(zhuǎn)換到絕對(duì)坐標(biāo)系中如果絕對(duì)坐標(biāo)系的原點(diǎn)是在桌面上,其z軸垂直于桌面,則方程1257變?yōu)閦 = 0,計(jì)算射線與桌面的交點(diǎn)變得十分容易128 內(nèi)部定位內(nèi)部定位問題就是確定攝象機(jī)內(nèi)部幾何參數(shù),這些幾何參數(shù)包括: (1) 攝象機(jī)常數(shù):投影中心到攝象機(jī)平面的距離; (2) 主點(diǎn):圖像平面坐標(biāo)系原點(diǎn)的位置; (3) 透鏡變形系數(shù):由于攝象機(jī)的光學(xué)缺陷引起的圖像平面坐標(biāo)的改變; (4) 比例因子:表示行和列之間的距離 攝象機(jī)內(nèi)部幾何參數(shù)也稱為固有參數(shù)(i
34、ntrinsic parameters),是與攝象機(jī)外部定位問題中的非固有參數(shù)相對(duì)應(yīng)內(nèi)部定位問題是用于確定攝象機(jī)固有參數(shù)的一個(gè)回歸問題攝象機(jī)常數(shù)與透鏡焦距長(zhǎng)度不完全一樣當(dāng)透鏡聚焦于無窮遠(yuǎn)時(shí),攝象機(jī)常數(shù)等于焦距,否則,攝象機(jī)常數(shù)小于焦距長(zhǎng)度主點(diǎn)是光軸與圖像平面的交點(diǎn),是圖像平面坐標(biāo)系的原點(diǎn),也可以認(rèn)為是圖像陣列的中心盡管攝象機(jī)常數(shù)接近于焦距,主點(diǎn)很靠近圖像中心點(diǎn),但在許多應(yīng)用中,這種近似可能并不是很好在圖像傳感器中,像素行和列之間的間距可以從攝象機(jī)技術(shù)說明書得到,但是圖像幀獲取裝置可能會(huì)引入誤差,因此,必須標(biāo)定像素間距一些標(biāo)定算法可以同時(shí)求解內(nèi)部定位問題和外部定位問題其出發(fā)點(diǎn)是在攝象機(jī)外部定位確
35、定之前,圖像平面上標(biāo)定點(diǎn)的真正位置是未知的然而,內(nèi)部定位問題可以由其自身來解決現(xiàn)在已經(jīng)有幾種確定攝象機(jī)常數(shù),主點(diǎn)位置和透鏡變形量的方法,無需知道攝象機(jī)在絕對(duì)坐標(biāo)系中的外部定位1210節(jié)將討論確定固有參數(shù)和非固有參數(shù)的方法確定攝象機(jī)的獨(dú)立于非固有參數(shù)的固有參數(shù)的基本思想是使用一個(gè)具有規(guī)則圖形的標(biāo)定圖像,如網(wǎng)格線圖形變形可被用來估算透鏡變形量,并計(jì)算對(duì)其它非固有參數(shù)名義值的修正量透鏡變形包括兩個(gè)部分:徑向變形 ,它會(huì)或多或少地使光線彎曲;偏心,由于透鏡中心偏離光軸引起的徑向變形和偏心可以用多項(xiàng)式模型來表示;內(nèi)部定位算法就是估算這些多項(xiàng)式的系數(shù) 圖127示意的是在不考慮偏心的情況下,大多數(shù)透鏡變形呈
36、現(xiàn)的徑向?qū)ΨQ性光線或多或少地彎曲指向光軸,但這一誤差在透鏡上(或在圖像平面上)與主點(diǎn)距離相同的所有點(diǎn)處都是相同的因?yàn)橛晒饩€彎曲量引起的誤差是旋轉(zhuǎn)對(duì)稱的,故徑向變形可以用一個(gè)含有半徑偶次冪的多項(xiàng)式模型來表示 ,用 表示真實(shí)的圖像坐標(biāo), 表示未修正的圖像坐標(biāo),這個(gè)坐標(biāo)是通過使用主點(diǎn)位置的估計(jì)由像素坐標(biāo)為和得到的: (1259)圖127大多數(shù)透鏡變形是徑向?qū)ΨQ射線將或多或少地彎曲并指向圖像中心在圖像平面中,與主點(diǎn)真實(shí)位置距離相等的所有點(diǎn)的徑向變形量是相同的 將修正量 (dx ,dy ) 加到未修正坐標(biāo)以便得到真實(shí)圖像平面坐標(biāo): (1260) 徑向透鏡變形的修正量由距圖像中心距離的偶次冪多項(xiàng)式模型來表
37、示: (1261)其中是主點(diǎn)位置坐標(biāo)的精確值,而 (1262)是到圖像中心的徑向距離的平方注意,和與方程12114和12115中的和不一樣,后者是用來計(jì)算未修正的圖像坐標(biāo);和是對(duì)和的修正在標(biāo)定結(jié)束之后,修正量可用于初始估算: (1263)修正徑向變形的標(biāo)定問題就是找出多項(xiàng)式的系數(shù)、和六階以上的透鏡變形多項(xiàng)式模型很少用到,事實(shí)上,也沒有必要用二階多項(xiàng)式由于需要精確的主點(diǎn)位置估計(jì)以便建立透鏡變形的模型,因此,主點(diǎn)的位置包含在標(biāo)定問題之中透鏡變形更有力的模型可以包含由于透鏡偏心而引起的切向變形的影響: (1264) 使用一個(gè)具有幾條不同定位和位置的標(biāo)定目標(biāo)唯一的要求就是線必須是直的,并不要求一定是絕
38、對(duì)的水平或垂直這個(gè)方法沒有涉及到同時(shí)求外部定位問題用激光機(jī)很容易制成一個(gè)由水平線和垂直線構(gòu)成的網(wǎng)格斜線的渲染圖像不是很精確,但由于外部定位對(duì)問題求解無關(guān)緊要,因此可以平移和旋轉(zhuǎn)網(wǎng)格到不同位置,獲取幾幅圖像,收集大量數(shù)字化直線用于標(biāo)定集合將這個(gè)網(wǎng)格安放在一個(gè)垂直于光軸的扁平剛體平面上由于并不要求直線一定是平行的,所以任意傾斜目標(biāo)上的直線并不影響標(biāo)定結(jié)果在整幅圖像上,通過計(jì)算所有小窗函數(shù)上的一階矩,可以確定圖像邊緣點(diǎn)的位置到子像素分辨率級(jí)水平窗口的尺寸應(yīng)該略大于直線寬度,但應(yīng)小于網(wǎng)格直線的間距Hough變換可以用來把邊緣組合成直線,并確定直線參數(shù)的初始估計(jì)值在真實(shí)(未修正)圖像坐標(biāo)系中,每一條直線
39、的方程為: (1265) 因?yàn)槊織l直線的確切位置和方向未知,因此,直線參數(shù)的估計(jì)必須作為內(nèi)部定位問題的一部分來精確求解若表示直線上邊緣點(diǎn)的坐標(biāo),則使用上述修正模型得到未修正坐標(biāo)(,),用這一坐標(biāo)去替換方程1265中的真實(shí)圖像坐標(biāo)對(duì)于每一個(gè)觀測(cè)值(邊緣點(diǎn))和所有固s有參數(shù)值,將產(chǎn)生如下形式的方程: (1266)n個(gè)邊緣點(diǎn)的方程組是n維非線性系統(tǒng),必須使用非線性回歸方法求解主點(diǎn)位置的修正量初始值為0,徑向透鏡變形和偏心系數(shù)也被初始化為0 全部最小化判據(jù)是: (1267) 求解這個(gè)非線性回歸問題可以得到主點(diǎn)的位置、徑向透鏡變型參數(shù)、和,以及透鏡偏心參數(shù)、和每條直線的參數(shù)估算是確定固有參數(shù)時(shí)的副產(chǎn)品,
40、可以舍棄129攝象機(jī)標(biāo)定攝象機(jī)標(biāo)定問題就是建立圖像陣列中的像素位置和場(chǎng)景點(diǎn)位置之間的關(guān)系因?yàn)槊總€(gè)像素都是通過透射投影得到的,它對(duì)應(yīng)于與場(chǎng)景點(diǎn)的一條射線攝象機(jī)標(biāo)定問題就是確定這條射線在場(chǎng)景絕對(duì)坐標(biāo)系中的方程攝象機(jī)標(biāo)定問題即包括外部定位問題又包括內(nèi)部定位問題這是因?yàn)?,建立圖像平面坐標(biāo)和絕對(duì)坐標(biāo)之間的關(guān)系,必須首先確定攝象機(jī)的位置和方向以及攝象機(jī)常數(shù),建立圖像陣列位置(像素坐標(biāo))和圖像平面位置之間的關(guān)系,必須確定主點(diǎn)的位置、縱橫比和透鏡變形攝象機(jī)標(biāo)定問題涉及到確定兩組參數(shù):用于剛體變換(外部定位)的非固有參數(shù)和攝象機(jī)自身(內(nèi)部定位)所擁有的固有參數(shù)1291 攝像機(jī)標(biāo)定基本方法下面將介紹由Tsai 1
41、987總結(jié)的一種攝象機(jī)標(biāo)定基本方法,該方法在計(jì)算機(jī)視覺中得到廣泛的應(yīng)用設(shè)表示圖像平面的原點(diǎn)位置,表示從點(diǎn)出發(fā)到圖像點(diǎn)的矢量,是一個(gè)標(biāo)定點(diǎn),表示從光軸上的點(diǎn)出發(fā)到的矢量如圖12.8所示,如果僅是由于徑向透鏡變形而造成實(shí)際圖像坐標(biāo)不同于理想圖像坐標(biāo),那么平行于攝象機(jī)常數(shù)和在z方向上的平移并不影響的方向,因?yàn)閮蓚€(gè)圖像坐標(biāo)分量是以同樣的比例縮放的這些約束對(duì)于求解外部定位問題是足夠了 圖12.8攝像機(jī)透視投影與透鏡徑向變形幾何示意圖假設(shè)標(biāo)定點(diǎn)位于的平面中,并假設(shè)攝象機(jī)相對(duì)于這個(gè)平面放置的,以滿足下面兩條重要條件:1. 絕對(duì)坐標(biāo)系中的原點(diǎn)不在視場(chǎng)范圍內(nèi)2. 絕對(duì)坐標(biāo)系中的原點(diǎn)不會(huì)投影到圖像上接近于圖像平面
42、坐標(biāo)系統(tǒng)的軸 條件1消除了透鏡變形對(duì)攝象機(jī)常數(shù)和到標(biāo)定平面距離的影響;條件2保證了剛體平移的分量不會(huì)接近于0,因?yàn)榉至砍33霈F(xiàn)在下面引入的許多方程的分母中這兩個(gè)條件在許多成像場(chǎng)合下是很容易滿足的例如,假定攝象機(jī)放在桌子的正上方,鏡頭朝下正好看到桌子的中間位置絕對(duì)坐標(biāo)系可以定義在桌子上,其中,對(duì)應(yīng)于桌子平面,和軸分別對(duì)應(yīng)于桌子的邊緣,桌子的頂角是絕對(duì)坐標(biāo)系的原點(diǎn),位于視場(chǎng)之外假定有個(gè)標(biāo)定點(diǎn),每個(gè)標(biāo)定點(diǎn)的絕對(duì)坐標(biāo)為,未修正圖像坐標(biāo)根據(jù)這些觀測(cè)值形成一個(gè)矩陣,其中的行為: (1268)設(shè)是含有與剛體變換參數(shù)有關(guān)的未知參數(shù)的矢量: (1269)從標(biāo)定點(diǎn)的次觀察來形成一個(gè)矢量使用五個(gè)以上標(biāo)定點(diǎn),我們就可
43、以得到關(guān)于參數(shù)矢量的過量線性方程組使用奇異值分解來求解這個(gè)線性系統(tǒng),并使用方程解來計(jì)算除了的所有剛體變換參數(shù),是攝象機(jī)常數(shù)的比例函數(shù),將在后面確定首先,計(jì)算出平移的分量的大小如果和不同時(shí)為0,和不同時(shí)為0,則: (1270)其中如果和同時(shí)都為0,則: (1271)如果和同時(shí)為0,則: (1272)其次,確定的符號(hào)選取標(biāo)定點(diǎn),這個(gè)點(diǎn)在圖像平面上的投影點(diǎn)是離圖像中心最遠(yuǎn)的圖像點(diǎn)(位于視場(chǎng)邊界的場(chǎng)景點(diǎn)和其對(duì)應(yīng)的圖像點(diǎn))利用上面得到的結(jié)果矢量,可根據(jù)1269,計(jì)算,和 設(shè)和如果和同號(hào), 和也同號(hào),那么具有正確的符號(hào)(正號(hào)) ,否則在前加一個(gè)負(fù)號(hào)注意,在不考慮的符號(hào)時(shí),上述剛體變換計(jì)算參數(shù)都是正確的,不
44、需要改變第三, 計(jì)算余下的剛體變換參數(shù): (1273) 因?yàn)樾D(zhuǎn)矩陣是正交歸一化矩陣,則一定成立使用這一性質(zhì)來計(jì)算旋轉(zhuǎn)矩陣的最后一行中的各個(gè)元素: (1274) 如果的符號(hào)是正的,則在前加負(fù)號(hào)在下面的計(jì)算攝象機(jī)常數(shù)步驟之后,和的符號(hào)可能會(huì)有所變動(dòng)第四,計(jì)算攝象機(jī)常數(shù)和平移的分量為了估計(jì)和,可使用所有的標(biāo)定點(diǎn)來構(gòu)成線性方程組, (1275)使用每一個(gè)標(biāo)定點(diǎn)來計(jì)算對(duì)應(yīng)的矩陣行, (1276)并計(jì)算出方程1275右邊所對(duì)應(yīng)的矢量元素, (1277)矢量包括所要估計(jì)的參數(shù): (1278)使用奇異值分解求解這個(gè)方程組如果攝象機(jī)常數(shù),則在剛體變換的旋轉(zhuǎn)矩陣元素和前加負(fù)號(hào)第五, 使用前面各步驟得到的和的估算
45、值作為非線性回歸的初始條件,計(jì)算一階透鏡變形系數(shù),并進(jìn)一步得到和的更精確的估計(jì)值通過透視投影來建立真實(shí)(修正)圖像平面坐標(biāo) 與攝象機(jī)坐標(biāo)系中的標(biāo)定點(diǎn)之間的關(guān)系式: (1279) 假設(shè)通過使用徑向透鏡變形模型第一項(xiàng)建立的真實(shí)(修正)圖像平面坐標(biāo)與測(cè)量圖像平面坐標(biāo)之間關(guān)系為: (1280)其中半徑的計(jì)算公式如下: (1281) 注意,未修正(測(cè)量)圖像平面坐標(biāo)不同于像素坐標(biāo),因?yàn)榍罢叩挠?jì)算過程中已經(jīng)用到了圖像中心位置坐標(biāo),行間距和列間距,以及比例系數(shù)估計(jì)值使用透射投影和透鏡變形方程中的分量以及絕對(duì)坐標(biāo)與攝象機(jī)坐標(biāo)之間的剛體變換公式,可以得到有關(guān)攝象機(jī)常數(shù),平移和透鏡變形的一個(gè)約束條件: (1282
46、)這將形成求解參數(shù)、和的一個(gè)非線性因歸問題我們使用軸測(cè)量值,而不使用軸測(cè)量值,是因?yàn)闇y(cè)量值會(huì)受到比例系數(shù)的影響圖像的行間距是非常精確的,可以通過攝象機(jī)的說明書得到,而不受數(shù)字電路的影響因?yàn)闃?biāo)定點(diǎn)是在一個(gè)平面上,所以不能確定比例系數(shù)而且,圖像中心位置沒有被標(biāo)定在本章末進(jìn)一步閱讀一節(jié)中提供了有關(guān)此類標(biāo)定問題的參考文獻(xiàn)1292 仿射變換法內(nèi)部定位問題同部外部定位問題組合起來可以得到未修正圖像坐標(biāo)與絕對(duì)坐標(biāo)系中射線位置和方向之間關(guān)系的整體轉(zhuǎn)換假設(shè)(未修正)圖像與真實(shí)圖像坐標(biāo)之間的變換模型是圖像平面內(nèi)的一個(gè)仿射模型這個(gè)變換考慮了引起攝象機(jī)誤差的幾種來源 比例誤差:由攝象機(jī)常數(shù)的不精確值造成 平移誤差:由
47、圖像原點(diǎn)(主點(diǎn))的不精確估計(jì)值造成旋轉(zhuǎn):圖像傳感器繞光軸的旋轉(zhuǎn)彎曲誤差:由攝象機(jī)軸的不垂直造成差速比例縮放:由圖像傳感器行列間距不等(非正方形像素)造成然而,由于透鏡變形,仿射變換無法來模型化誤差在128節(jié)求解外部定位問題的過程中,我們建立了從絕對(duì)坐標(biāo)系到圖像坐標(biāo)系的變換公式現(xiàn)在我們將增加真實(shí)圖像坐標(biāo)到測(cè)量(未修正)圖像坐標(biāo)的仿射變換,從而得到絕對(duì)坐標(biāo)到測(cè)量圖像坐標(biāo)的整體變換公式在圖像平面中,由于誤差和其它未知的內(nèi)部參數(shù)造成的變形的模型是一個(gè)仿射變換: (1283)這里我們將真實(shí)圖像平面坐標(biāo)映射為未修正(測(cè)量)圖像坐標(biāo)根據(jù)透視投影的公式1279有: (1284)使用1254式替換具有絕對(duì)坐標(biāo)表
48、達(dá)式的仿射變換中的攝象機(jī)坐標(biāo)比值, (1285)這些系數(shù)是仿射變換和剛體變換中的系數(shù)乘積和我們所得到的是一對(duì)方程,類似于建立絕對(duì)坐標(biāo)和實(shí)際圖像坐標(biāo)之間關(guān)系外部定位問題中的方程(方程1255)攝象機(jī)誤差的仿射模型已經(jīng)在絕對(duì)坐標(biāo)到攝象機(jī)坐標(biāo)的變換中上述公式說明(未修正)圖像坐標(biāo)和攝象機(jī)坐標(biāo)之間是透視投影關(guān)系,但是攝象機(jī)坐標(biāo)空間已經(jīng)發(fā)生扭曲,以便考慮攝象機(jī)誤差 回到1285式中,我們可以將主點(diǎn)位置的修正量和加到仿射變換中,得到下式: (1286)上式表明通過每個(gè)標(biāo)定點(diǎn)和在圖像平面中的對(duì)應(yīng)測(cè)量位置產(chǎn)生關(guān)于變換參數(shù)的兩個(gè)線性方程攝象機(jī)常數(shù)的名義值并未納入到仿射變換中,因?yàn)樗挥脕順?gòu)造攝象機(jī)坐標(biāo)系中的射線
49、標(biāo)定點(diǎn)集產(chǎn)生一組齊次線性方程,從而求出變換的系數(shù)至少需要6個(gè)標(biāo)定點(diǎn)產(chǎn)生12個(gè)方程來求解12個(gè)未知數(shù),但應(yīng)該使用更多的標(biāo)定點(diǎn)以提高求解的參數(shù)精度為了避免所有系數(shù)等于0這一不必要的結(jié)果,應(yīng)將其中一個(gè)參數(shù)固定,如或,并將其移至方程的右邊由此形成的線性方程組為, (1287)其中是變換系數(shù)矢量;矩陣的行元素用標(biāo)定點(diǎn)的絕對(duì)坐標(biāo)及其絕對(duì)坐標(biāo)的乘積和、或來填充;矢量的元素一個(gè)常數(shù),從或中選出由于圖像平面中的仿射轉(zhuǎn)換與求解外部定位問題的旋轉(zhuǎn)矩陣合并在一起,所以形成的變換矩陣不再是正交歸一化矩陣在沒有正交歸一化約束下,也可以使用通常的數(shù)值方法,如奇異值分解法(SVD),來解線性方程組該變換將絕對(duì)坐標(biāo)映射為測(cè)量圖
50、像坐標(biāo)實(shí)際應(yīng)用中還需要逆轉(zhuǎn)換,其公式如下: (1288)上式可用于確定在絕對(duì)坐標(biāo)系中,從圖像測(cè)量坐標(biāo)點(diǎn)出發(fā)的射線方程注意,攝象機(jī)常數(shù)在整個(gè)標(biāo)定算法過程中是不變的因?yàn)閷?duì)攝象機(jī)常數(shù)的修正量包含在仿射變換中(方程12162和12163),透鏡的焦距長(zhǎng)度可以用來替代最后,從像素坐標(biāo)到圖像坐標(biāo)的變換公式為, (1289)這個(gè)變換可以同攝象機(jī)誤差模型(1283)組合起來,從而產(chǎn)生絕對(duì)坐標(biāo)到像素坐標(biāo)的變換 1293 非線性方法給定一組標(biāo)定點(diǎn),確定標(biāo)定點(diǎn)在圖像平面上的投影,計(jì)算投影位置的誤差,使用這些誤差來求解攝象機(jī)標(biāo)定參數(shù)因?yàn)橹罉?biāo)定點(diǎn)在圖像上的投影位置十分必要,所以需要同時(shí)求解外部定位問題本節(jié)介紹的方法不同于1292節(jié)中介紹的將內(nèi)部定位問題和外部定位問題合并成單一的仿射變換的方法,用本節(jié)的方法可以得到攝象機(jī)實(shí)際的標(biāo)定參數(shù),并且攝象機(jī)在標(biāo)定后,無論放在場(chǎng)景中什么位置,這些參數(shù)都是正確的攝象機(jī)標(biāo)定問題求解的基本思想是測(cè)量標(biāo)定點(diǎn)在圖像平面上的投影位置,計(jì)算出其與正確位置之間的偏移量,再將這些測(cè)量值加到攝象機(jī)參數(shù)模型的方程中每個(gè)標(biāo)定點(diǎn)產(chǎn)生兩個(gè)方程通常需要足夠數(shù)量的方程才能解出所有未知參數(shù),但為了提高求解精度,可以
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024食品工廠代加工冷鏈配送服務(wù)合同范本3篇
- 2024版無人機(jī)遙感監(jiān)測(cè)服務(wù)合同
- 2025年度水庫(kù)魚塘智能化養(yǎng)殖技術(shù)承包合同4篇
- 出資協(xié)議書范本
- 2024版鋁錠批發(fā)銷售協(xié)議樣本一
- 2025年度生態(tài)環(huán)保打井承包合同標(biāo)準(zhǔn)范本4篇
- 2025年度智慧家居產(chǎn)品銷售與售后服務(wù)合同3篇
- 2025年度住宅小區(qū)墻面公共藝術(shù)創(chuàng)作租賃合同標(biāo)的協(xié)議4篇
- 2025年度牙科專業(yè)人才培養(yǎng)與承包服務(wù)合同范本4篇
- 2024苗木種植與生物防治合作合同標(biāo)準(zhǔn)3篇
- 2025四川中煙招聘高頻重點(diǎn)提升(共500題)附帶答案詳解
- 2025年云南大理州工業(yè)投資(集團(tuán))限公司招聘31人管理單位筆試遴選500模擬題附帶答案詳解
- 風(fēng)電危險(xiǎn)源辨識(shí)及控制措施
- 《教師職業(yè)道德與政策法規(guī)》課程教學(xué)大綱
- EHS工程師招聘筆試題與參考答案(某大型央企)2024年
- 營(yíng)銷策劃 -麗亭酒店品牌年度傳播規(guī)劃方案
- 兒童傳染病預(yù)防課件
- 2025年中國(guó)蛋糕行業(yè)市場(chǎng)規(guī)模及發(fā)展前景研究報(bào)告(智研咨詢發(fā)布)
- 護(hù)理組長(zhǎng)年底述職報(bào)告
- 集裝箱活動(dòng)房供需合同
- 山西省2022年中考道德與法治真題試卷(含答案)
評(píng)論
0/150
提交評(píng)論