基于投影矩陣的數(shù)碼相機(jī)定位

1、基于投影矩陣的數(shù)碼相機(jī)定位摘 要本文根據(jù)數(shù)碼相機(jī)定位的相關(guān)數(shù)據(jù)圖像，建立了一個多坐標(biāo)系下投影矩陣的相機(jī)定位模型，并對模型進(jìn)行了檢驗(yàn)，使用立體幾何的方法解決了雙目定位。1.針對問題一，根據(jù)圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間關(guān)系及攝像機(jī)標(biāo)定原理，引入了投影矩陣：導(dǎo)出了世界坐標(biāo)系中的點(diǎn)與其投影點(diǎn)之間的關(guān)系：其中投影矩陣至少需要6個控制點(diǎn)才能確定。2.問題二是在問題一的基礎(chǔ)上，利用仿射變換的不變性，通過公切線交點(diǎn)法，確定出投影矩陣，從而得到靶標(biāo)上圓的圓心在圖像坐標(biāo)系和攝相機(jī)坐標(biāo)系中的坐標(biāo)。如下表： 圖像坐標(biāo)系（322.37，191.52）（423.55，194.44）（645.71，214.19

2、5）（585.725,502.305）（284.62,501.39）攝相機(jī)坐標(biāo)系（-50.2,50.925,417.20）（-23.4,50.15,417.20）（35.375,44.925, 417.20）（19.505,-32.295,417.20）（-60.155,-31.055,417.20）3.針對問題三，先求出靶標(biāo)平面上特殊點(diǎn)（即控制點(diǎn)）在像平面上的坐標(biāo)，然后將其與在像平面上相應(yīng)點(diǎn)的距離作為檢驗(yàn)?zāi)Ｐ偷膮?shù)。通過測定得出該模型的誤差小于3個像素，由此得出該方法有較高的精度和穩(wěn)定性。4.針對問題四，建立以靶標(biāo)為面的空間直角坐標(biāo)系，根據(jù)靶標(biāo)及其對應(yīng)的像，采用立體幾何的方法建立了相機(jī)相對位

3、置的數(shù)學(xué)模型，確定了兩個相機(jī)在坐標(biāo)系下的坐標(biāo)以及其光軸與靶標(biāo)平面的夾角。關(guān)鍵字：世界坐標(biāo)系 投影矩陣 控制點(diǎn) 幾何分析一 問題重述數(shù)碼相機(jī)定位在交通監(jiān)管（電子警察）等方面有廣泛的應(yīng)用。所謂數(shù)碼相機(jī)定位是指用數(shù)碼相機(jī)攝制物體的相片確定物體表面某些特征點(diǎn)的位置。最常用的定位方法是雙目定位，即用兩部相機(jī)來定位。對物體上一個特征點(diǎn)，用兩部固定于不同位置的相機(jī)攝得物體的像，分別獲得該點(diǎn)在兩部相機(jī)像平面上的坐標(biāo)。只要知道兩部相機(jī)精確的相對位置，就可用幾何的方法得到該特征點(diǎn)在固定一部相機(jī)的坐標(biāo)系中的坐標(biāo)，即確定了特征點(diǎn)的位置。于是對雙目定位，精確地確定兩部相機(jī)的相對位置就是關(guān)鍵，這一過程稱為系統(tǒng)標(biāo)定。標(biāo)定的

4、一種做法是：在一塊平板上畫若干個點(diǎn)， 同時用這兩部相機(jī)照相，分別得到這些點(diǎn)在它們像平面上的像點(diǎn)，利用這兩組像點(diǎn)的幾何關(guān)系就可以得到這兩部相機(jī)的相對位置。然而，無論在物平面或像平面上我們都無法直接得到?jīng)]有幾何尺寸的“點(diǎn)”。實(shí)際的做法是在物平面上畫若干個圓（稱為靶標(biāo)），它們的圓心就是幾何的點(diǎn)了。而它們的像一般會變形，則必須從靶標(biāo)上的這些圓的像中把圓心的像精確地找到，標(biāo)定就可實(shí)現(xiàn)。（1）建立數(shù)學(xué)模型和算法以確定靶標(biāo)上圓的圓心在該相機(jī)像平面的像坐標(biāo), 這里坐標(biāo)系原點(diǎn)取在該相機(jī)的光學(xué)中心，x-y平面平行于像平面；（2）對由題中給出的圖像分別給出的靶標(biāo)及其像，計(jì)算靶標(biāo)上圓的圓心在像平面上的像坐標(biāo), 該相機(jī)

5、的像距（即光學(xué)中心到像平面的距離）是1577個像素單位(1毫米約為3.78個像素單位)，相機(jī)分辨率為1024×768；（3）設(shè)計(jì)一種方法檢驗(yàn)?zāi)銈兊哪Ｐ?，并對方法的精度和穩(wěn)定性進(jìn)行討論；（4）建立用此靶標(biāo)給出兩部固定相機(jī)相對位置的數(shù)學(xué)模型和方法。二 模型假設(shè)（1）靶標(biāo)為物平面；（2）相機(jī)在拍照時，機(jī)身不晃動且靶標(biāo)也是靜止的；（3）在拍照時，光線充足；（4）不考慮拍照時發(fā)生畸變；（5）相機(jī)的焦距是不變的。三 符號說明靶標(biāo)中某一點(diǎn)的坐標(biāo)（世界坐標(biāo)系）像坐標(biāo)系下點(diǎn)的坐標(biāo)攝像機(jī)坐標(biāo)下點(diǎn)的坐標(biāo)投影矩陣、外部參數(shù)矩陣、內(nèi)部參數(shù)矩陣一個像素在軸和軸上的物理尺度光學(xué)中心在向坐標(biāo)系下的坐標(biāo)旋轉(zhuǎn)矩陣三維平

6、移向量焦距與一個像素物理尺寸的比旋轉(zhuǎn)矩陣中的元素靶標(biāo)上圓共切線的切點(diǎn)靶標(biāo)上圓共切線的切點(diǎn)的像靶標(biāo)上圓的像靶標(biāo)上圓的其它切點(diǎn)圓對應(yīng)像中的切點(diǎn)靶標(biāo)所在平面方程的系數(shù)、靶標(biāo)平面法向量與軸和光軸的夾角，垂點(diǎn)及光軸與靶標(biāo)平面的交點(diǎn)四 模型分析建立與求解4.1問題一由于物平面（靶標(biāo)）與相機(jī)像平面是分離的，而且靶標(biāo)中的點(diǎn)與像平面中的點(diǎn)是一一對應(yīng)的關(guān)系，據(jù)此我們可以求得靶標(biāo)中的點(diǎn)與像平面中的點(diǎn)滿足的矩陣方程式，只要確定投影矩陣，就可以確定靶標(biāo)上任一點(diǎn)（例如圓的圓心）在該相機(jī)像平面的像坐標(biāo)。這就是解決問題的相機(jī)模型。這里中的是圖像上定義的直角坐標(biāo)系，每一個像素的坐標(biāo)分別是指該像素在矩陣中的列數(shù)和行數(shù)，而坐標(biāo)1是

7、指三維圖形所形成平面的像，稱為齊次坐標(biāo)。題目使用的四個坐標(biāo)系（1）世界坐標(biāo)系 圖一中，在世界坐標(biāo)系中，三維空間中的一點(diǎn)可以表示為。在本題中，靶標(biāo)上的點(diǎn)就是在世界坐標(biāo)系中度量的。（2）照相機(jī)坐標(biāo)系 圖一中，該坐標(biāo)系以相機(jī)鏡頭的光學(xué)中心為原點(diǎn),光軸為軸。攝像機(jī)坐標(biāo)系上的一點(diǎn)可以表示為。（3）像素坐標(biāo)系圖一中，每一個像素的坐標(biāo)分別是指該像素在矩陣中的列數(shù)和行數(shù)。由于只表示像素位于矩陣中列數(shù)和行數(shù)，并沒有用物理單位表示出該像素在圖像中的位置，因而需要建立以物理單位（毫米）表示的圖像坐標(biāo)系。（4）圖像坐標(biāo)系圖1中，該坐標(biāo)系以圖像內(nèi)某一點(diǎn)為原點(diǎn)，軸與軸分別與軸平行，表示以毫米為單位的圖像坐標(biāo)系坐標(biāo)。本題中

8、，原點(diǎn)定義在相機(jī)的光軸與圖像平面是交點(diǎn)，該點(diǎn)為與圖像的中心處。圖14.1.2 四個坐標(biāo)系之間的相互聯(lián)系（1）圖像坐標(biāo)系與像素坐標(biāo)系如圖2所示，若在坐標(biāo)系（像素坐標(biāo)系中）的坐標(biāo)為，每一個像素在軸和軸上的物理尺度分別為，則圖像中任意一個像素在兩個坐標(biāo)系下的坐標(biāo)滿足如下公式：將公式（1）用齊次坐標(biāo)表示：圖2（2）相機(jī)坐標(biāo)系與世界坐標(biāo)系在整個空間區(qū)域中，相機(jī)可安放在任何位置，從中知道，世界坐標(biāo)系是一個最為普遍意義的坐標(biāo)系，是一個基準(zhǔn)坐標(biāo)系，根據(jù)相關(guān)資料2，設(shè)法找到相機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系。相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣尺和平移向量來描述，滿足下式：對（3）式的幾點(diǎn)說明：1）分別表示

9、兩個坐標(biāo)系下的齊次坐標(biāo)；2），為三維平移向量；3）是由相機(jī)所處外界環(huán)境決定的，稱為外部參數(shù)。（3）相機(jī)坐標(biāo)系與像素坐標(biāo)系相機(jī)坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系是由相機(jī)自身的參數(shù)決定的，相機(jī)自身的參數(shù)主要有：焦距，像素是物理長度，光軸與像平面的交點(diǎn)。根據(jù)相關(guān)資料2，得到相機(jī)坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系：注 上式中，為相機(jī)焦距，分別是每一個像素在軸和軸上的物理尺度；，稱為相機(jī)內(nèi)部參數(shù)。4.1.3計(jì)算投影矩陣由（3）（4）兩式，得到像素坐標(biāo)和空間某一點(diǎn)的世界坐標(biāo)的關(guān)系：其中為投影矩陣且，即已知空間點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)可求得矩陣。對于世界坐標(biāo)系中的任意一點(diǎn)，只要求出矩陣，即可求出該點(diǎn)在相機(jī)像平面上成像的像

10、素位置，還可以根據(jù)（2）式得到圖像坐標(biāo)系中具體坐標(biāo)。4.1.4相機(jī)內(nèi)外參數(shù)（、）的求解（1）由，可得：其中，矩陣中共含有17個未知參數(shù)，只要確定出這17個參數(shù)，就可求出矩陣。（2），得到部分約束條件如下：旋轉(zhuǎn)矩陣中雖然有9個未知參數(shù)，但只要確定其中三個，根據(jù)（7）式，另外的參數(shù)就可由這三個求得，即矩陣中有三個獨(dú)立參數(shù)。綜上所述，矩陣中需要確定的未知量有11個，這里定義控制點(diǎn)3：世界坐標(biāo)系中某點(diǎn)所對應(yīng)像素坐標(biāo)系里的某點(diǎn)，這兩個點(diǎn)稱為一個控制點(diǎn)。一個控制點(diǎn)可以確定兩個方程（u方向v方向各一個），所以只需要取6個控制點(diǎn)便可以求取相機(jī)內(nèi)部參數(shù)和外部參數(shù)，從而求出投影矩陣，即找出世界坐標(biāo)系內(nèi)6個點(diǎn)和它們

11、所對應(yīng)像素坐標(biāo)系內(nèi)6個點(diǎn)的坐標(biāo)，便可得矩陣。求得投影矩陣，根據(jù)（5）式，對世界坐標(biāo)系內(nèi)的任意點(diǎn)，都可以給出這點(diǎn)在像素坐標(biāo)系的坐標(biāo)，進(jìn)而得到圖像坐標(biāo)系中的坐標(biāo)，如果像距已知，就是這點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)。4.2問題二 本題是問題一的模型在實(shí)際問題中的應(yīng)用，解題思路是找出在原圖與照片中滿足幾何上一一對應(yīng)的點(diǎn)，這些點(diǎn)稱為控制點(diǎn)，找到控制點(diǎn)，用解方程組的辦法確立（5）式的各個系數(shù)。根據(jù)題意，確定了（5）式的各個參數(shù)，也就得知模型的旋轉(zhuǎn)矩陣、平移向量，進(jìn)而得到投影矩陣，這樣，（5）式就變?yōu)橐粋€方程左邊是像平面坐標(biāo)（像素坐標(biāo)系）右邊是物平面坐標(biāo)（在世界坐標(biāo)系下，或者稱為靶標(biāo)平面）的矩陣方程，此時，只要知道

12、物平面上任意點(diǎn)坐標(biāo)（在世界坐標(biāo)系下），就可以得到像平面坐標(biāo)。問題分析由題意，（5）式中的內(nèi)部參數(shù)是可以確定的：（1）照片分辨率是1024×768，按照圖2建立像素坐標(biāo)系，則（5）式中，；（2）每個像素的大??；（3）在相機(jī)坐標(biāo)系里相機(jī)光學(xué)中心（原點(diǎn)）到像平面的距離為，根據(jù)題意，；（4）視相機(jī)焦距為未知參數(shù)進(jìn)行求解。綜上，（5）式中獨(dú)立的未知參數(shù)只有7個（旋轉(zhuǎn)矩陣有3個獨(dú)立的未知參數(shù)，平移向量有3個未知參數(shù)，焦距未知），每個控制點(diǎn)能確立兩個方程，最少需要找到四組控制點(diǎn)才能將7個參量確定。模型建立求解.1確定控制點(diǎn)首先要找到控制點(diǎn)，就是找到物平面某點(diǎn)（世界坐標(biāo)）與對應(yīng)像平面的像（相機(jī)坐標(biāo)）

13、的坐標(biāo)。找控制點(diǎn)的步驟：1）引理：若物平面上一直線經(jīng)過某點(diǎn)，則該點(diǎn)在像平面上的像一定在的投影直線上；反之，若直線不經(jīng)過點(diǎn)（光軸與共面的情況除外），則像平面上點(diǎn)的投影點(diǎn)一定不在直線在像平面的投影上。這個定理等價于直線所成的像仍然是直線（除直線與光軸重合的情況）。用反證法能簡單證明（證明略）。2）分析原圖（靶標(biāo)），如下圖所示，做出過靶標(biāo)中兩個圓的公切線，公切線的交點(diǎn)分別為，五個圓在像平面的像分別命名為，如下圖，由上面定理可知，原圖中的公切線在像平面的像仍然是閉合曲線的公切線，的像是閉合曲線的公切線的交點(diǎn)。我們?nèi)〉脑瓌t是使點(diǎn)的分布盡量均勻，減小由于切線判斷造成的誤差。圖3在世界坐標(biāo)內(nèi)的坐標(biāo)根據(jù)題意可

14、直接讀出，在像平面（像素坐標(biāo)系）的坐標(biāo)可以用Matlab軟件處理照片得到。3）確定要在像素坐標(biāo)系內(nèi)找到照片中閉合曲線的公切線的交點(diǎn)，公切線必須精確找到，尋找公切線產(chǎn)生誤差會對結(jié)果造成很大影響。采用Matlab命令分析和圖像觀察不失為尋找公切線的一個辦法。用繪圖軟件Photoshop能準(zhǔn)確描繪出公切線，然后把照片導(dǎo)入Matlab，用imtool命令分析照片，用Pixel Region觀察放大后的照片像素點(diǎn)，這樣就可以直接在像素圖上讀取，如下圖：圖4用這種方法，讀出圖3中八組數(shù)據(jù)，數(shù)據(jù)見下表，這樣就有了八個控制點(diǎn)，表1組別像素坐標(biāo)（287，146）（682，177）（242，537）（609，53

15、4）組別像素坐標(biāo)（327，467）（598，246）（556，470）（358，232）.2模型求解四組控制點(diǎn)就可以確定投影矩陣，我們分別以，分別計(jì)算投影矩陣，然后取均值，由于時間倉促，我們并沒能夠做出很多組值來降低誤差，但是我們發(fā)現(xiàn)這兩組數(shù)據(jù)求得的投影矩陣很相似，而且求得的最后圓心的像坐標(biāo)也很相似，所以將兩種方法求得的均值作為結(jié)果。（1）第一組數(shù)據(jù)求解用Matlab中fsolve函數(shù)求旋轉(zhuǎn)矩陣和平移向量，得如下結(jié)果：，由（8）（9）兩式求投影矩陣將和投影矩陣代入（5）式得靶標(biāo)上的點(diǎn)在像素坐標(biāo)系中的坐標(biāo)，由（1）式還可以確定圖像坐標(biāo)系坐標(biāo)，由于在相機(jī)坐標(biāo)系中軸垂直于像平面，且像距為1577/3

16、.78=417.20(mm)，可以確定相機(jī)坐標(biāo)系坐標(biāo)：表2像素坐標(biāo)系坐標(biāo)（318.25，189.46）（417.78，187.64）（640.96，211.34）（583.67，503.27）（280.56，502.65）圖像坐標(biāo)系坐標(biāo)（-51.32，51.47）（-24.93，51.95）（34.12，45.68）（18.96，-33.55）（-61.23，-31.39）相機(jī)坐標(biāo)系坐標(biāo)（-51.32，51.47，417.20）（-24.93，51.95，417.20）（34.12，45.68，417.20）（18.96，-33.55，417.20）（-61.23，-31.39，417.20）

17、（2）第二組數(shù)據(jù)求解，旋轉(zhuǎn)矩陣，平移向量，投影矩陣分別為：， 求出像素坐標(biāo)系坐標(biāo)、圖像坐標(biāo)系坐標(biāo)、相機(jī)坐標(biāo)系坐標(biāo)，這里只列出了像素坐標(biāo)系坐標(biāo)和相機(jī)坐標(biāo)系坐標(biāo)：表3像素坐標(biāo)系坐標(biāo)（326.49，193.58）（429.32，201.24）（650.46，217.05）（587.78，501.34）（288.68，500.13）相機(jī)坐標(biāo)系坐標(biāo)（-49.08，50.38，417.20）（-21.87,48.35，417.20）（36.63，44.17，417.20）（20.05,-31.04，417.20）（-59.08,-30.72，417.20）對于表2表3的數(shù)據(jù)取均值，得到結(jié)論：表4 像素坐標(biāo)

18、系坐標(biāo)（322.37，191.52）（423.55，194.44）（645.71，214.195）（585.725,502.305）（284.62,501.39）相機(jī)坐標(biāo)系坐標(biāo)（-50.2,50.925,417.20）（-23.4,50.15,417.20）（35.375,44.925,417.20）（19.505,-32.295,417.20）（-60.155,-31.055,417.20）4.3檢驗(yàn)?zāi)Ｐ头椒?檢驗(yàn)?zāi)Ｐ驮谖覀兡Ｐ椭校覀兪沁x取八個公切線的交點(diǎn)，然后計(jì)算出投影矩陣，用投影矩陣計(jì)算圓心的像點(diǎn)坐標(biāo)。對這個模型的可行性進(jìn)行檢驗(yàn)。如圖7所示，在模型中用求解得到投影矩陣，為檢驗(yàn)?zāi)Ｐ偷目尚?/p>

19、性，在靶標(biāo)上，取另外的公切線交點(diǎn)，用投影矩陣計(jì)算出這兩點(diǎn)在像平面的像點(diǎn)，而像平面上對應(yīng)的公切線交點(diǎn)，比較和坐標(biāo)之間的距離，距離越短，重合程度越高，我們在問題二中的模型越合理。如圖7，舉例說明圖5，經(jīng)計(jì)算在像平面的投影為誤差小于3像素，說明我們的模型是合理的。分析檢驗(yàn)方法的精度和穩(wěn)定度通過分析，影響檢驗(yàn)方法精度和穩(wěn)定度主要在兩個方面：（1）世界坐標(biāo)系變換的算法本身的精度；（2）在求解的過程中用到的切線的描繪。參閱相關(guān)資料12，這個算法的精度和魯棒性（穩(wěn)定性）都是非常好的，即使系統(tǒng)有大的波動，也能較好地恢復(fù)靶標(biāo)的歐式度量（坐標(biāo)系的轉(zhuǎn)換）。所以在分析檢驗(yàn)方法的精度主要考慮切線描繪的精度，也就是說，檢

20、驗(yàn)方法的精度和穩(wěn)定度在受到切線誤差的影響越小，那么檢驗(yàn)方法的精度和穩(wěn)定度就越好。在求每條公切線的時候，都有可能產(chǎn)生誤差，這是因?yàn)樵谡掌幚淼倪^程中，不可能存在絕對圓滑的圖形，圖形的邊緣或多或少都是有“顆?！钡?。所以誤差的出現(xiàn)是隨機(jī)的，這個誤差可以認(rèn)為是系統(tǒng)誤差，所以減小系統(tǒng)誤差的辦法就是多次測量，多次的試驗(yàn)。在本題中，公切線有很多交點(diǎn)，可以選擇很多對點(diǎn)對模型進(jìn)行度量，然后可以取像平面上點(diǎn)的參差平方和檢驗(yàn)?zāi)Ｐ?。所以，這種大量點(diǎn)檢驗(yàn)的方法是精度較高穩(wěn)定性較好，也是合理的。4.4問題四要根據(jù)題中所給的正方形靶標(biāo)建立確定兩相機(jī)方位的模型，只需求出相機(jī)透鏡光學(xué)中心（假設(shè)相機(jī)的位置由光學(xué)中心決定）在我們建

21、立統(tǒng)一坐標(biāo)系下的坐標(biāo)，由于相機(jī)還有鏡頭的方向性，故我們還要得到它鏡頭的朝向。由于題中只給了一臺相機(jī)所拍攝的靶標(biāo)的像，所以這臺相機(jī)的位置和方向是可以根據(jù)我們要建立的模型去確定的，而另外一臺相機(jī)的方位的確定采用類似的方法，即可得到它們的相對位置，確立的基本算法如下：第一步，由題中所給的圖2、3，以及第二問求得的五個圓心所在像的坐標(biāo)（這里坐標(biāo)系的原點(diǎn)在相機(jī)的光學(xué)中心），根據(jù)光學(xué)中透鏡成像的原理（圖五），設(shè)靶標(biāo)所在面的方程為，將所得到圓心的像沿反方向與靶標(biāo)平面相交一點(diǎn)，這樣可以得到五個圓心的位置，又因?yàn)檫@五個圓圓心的連線要滿足圖2中正方形（邊長為100mm）這一要求，就可以列出對應(yīng)的方程組，用相關(guān)的m

22、atlab軟件工具可以得到的值即唯一確定靶標(biāo)的平面方程。圖 6第二步，在確定了靶標(biāo)平面方程以后，由于前面解決問題都是建立在以相機(jī)鏡頭的光學(xué)中心為原點(diǎn)的空間坐標(biāo)系中的，要確立相機(jī)的方位，我們需要建立另外一個參考坐標(biāo)系，從而來得到相機(jī)在這個坐標(biāo)體系下的具體位置，我們考慮將新坐標(biāo)系的原點(diǎn)定在靶標(biāo)平面正方形的中心位置上，以垂直靶標(biāo)平面的軸為軸。在最初的坐標(biāo)系（原點(diǎn)為鏡頭的光學(xué)中心）下，已知靶標(biāo)平面的方程，由此確立了該面的法向量，可以求出其與軸方向單位向量的夾角，從而計(jì)算得出光軸與靶標(biāo)平面的夾角。第三步，從鏡頭的光學(xué)中心（相機(jī)所在位置）引靶標(biāo)平面的垂線并做出光軸在其面上的投影，設(shè)垂點(diǎn)為，光軸與靶標(biāo)平面的交點(diǎn)為，現(xiàn)設(shè)定軸，以平行邊為軸，以垂直邊為軸。圖7第四步，確定相機(jī)的位置，首先確定坐標(biāo)，因?yàn)辄c(diǎn)的坐標(biāo)都可以