數(shù)碼相機(jī)定位08A課件

1、數(shù)學(xué)建模競(jìng)賽題選講(3-2)數(shù)碼相機(jī)定位（2008 年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽 A 題） 數(shù)碼相機(jī)定位在交通監(jiān)管 (電子警察)等方面有廣泛的應(yīng)用。所謂數(shù)碼相機(jī)定位是指用數(shù)碼相機(jī)攝制物體的相片確定物體表面某些特征點(diǎn)的位置。最常用的定位方法是雙目定位，即用兩部相機(jī)來定位。對(duì)物體上一個(gè)特征點(diǎn)，用兩部固定于不同位置的相機(jī)攝得物體的像，分別獲得該點(diǎn)在兩部相機(jī)像平面上的坐標(biāo)。只要知道兩部相機(jī)精確的相對(duì)位置，就可用幾何的方法得到該特征點(diǎn)在固定一部相機(jī)的坐標(biāo)系中的坐標(biāo)，即確定了特征點(diǎn)的位置。于是對(duì)雙目定位，精確地確定兩部相機(jī)的相對(duì)位置就是關(guān)鍵，這一過程稱為系統(tǒng)標(biāo)定。 標(biāo)定的一種做法是：在一塊平板上畫若干個(gè)點(diǎn)，

2、同時(shí)用這兩部相機(jī)照相，分別得到這些點(diǎn)在它們像平面上的像點(diǎn)，利用這兩組像點(diǎn)的幾何關(guān)系就可以得到這兩部相機(jī)的相對(duì)位置。然而，無論在物平面或像平面上我們都無法直接得到?jīng)]有幾何尺寸的點(diǎn)”.實(shí)際的做法是在物平面上畫若干個(gè)圓（稱為靶標(biāo)），它們的圓心就是幾何的點(diǎn)了。而它們的像一般會(huì)變形, 如圖1所示, 所以必須從靶標(biāo)上的這些圓的像中把圓心的像精確地找到，標(biāo)定就可實(shí)現(xiàn)。 圖 1 靶標(biāo)上圓的像 有人設(shè)計(jì)靶標(biāo)如下，取1個(gè)邊長(zhǎng)為100mm的正方形，分別以四個(gè)頂點(diǎn)(對(duì)應(yīng)為A、C、D、E)為圓心，12mm為半徑作圓。以AC邊上距離A點(diǎn)30mm處的B為圓心，12mm為半徑作圓，如圖2所示。圖 2 靶標(biāo)示意圖圖3 靶標(biāo)的像

3、 用一位置固定的數(shù)碼相機(jī)攝得其像，如圖3所示。請(qǐng)你們： 建立數(shù)學(xué)模型和算法以確定靶標(biāo)上圓的圓心在該相機(jī)像平面的像坐標(biāo), 這里坐標(biāo)系原點(diǎn)取在該相機(jī)的光學(xué)中心，x-y平面平行于像平面； 對(duì)由圖2、圖3分別給出的靶標(biāo)及其像，計(jì)算靶標(biāo)上圓的圓心在像平面上的像坐標(biāo), 該相機(jī)的像距(即光學(xué)中心到像平面的距離)是1577個(gè)像素單位(1毫米約為3.78個(gè)像素單位)，相機(jī)分辨率為1024768； 設(shè)計(jì)一種方法檢驗(yàn)?zāi)銈兊哪Ｐ?，并?duì)方法的精度和穩(wěn)定性進(jìn)行討論； 建立用此靶標(biāo)給出兩部固定相機(jī)相對(duì)位置的數(shù)學(xué)模型和方法。賽題說明 注1 A題相機(jī)分辨率應(yīng)為1024768。 第一小問和第二小問中 的焦點(diǎn)一詞應(yīng)該是光學(xué)中心.

4、問題分析方法提要 首先對(duì)數(shù)碼相機(jī)雙目定位問題進(jìn)行了研究，建立了合理的數(shù)碼相機(jī)成像的具體數(shù)學(xué)模型與算法。 針對(duì)問題一,根據(jù)透鏡成像原理，在合理假設(shè)的基礎(chǔ)上，首先建立像素圖像、物理圖像、相機(jī)、空間世界4坐標(biāo)系并推導(dǎo)出坐標(biāo)轉(zhuǎn)換公式，進(jìn)而確定了相機(jī)成像的線性幾何模型。 針對(duì)問題二利用 Matlab 讀圖，選取五個(gè)圓的上下左右各四個(gè)邊界點(diǎn)作為特征點(diǎn)，其次通過 Excel 像素模擬圖得到各特征點(diǎn)的像素圖像坐標(biāo)，利用最小二乘法求的模型一中坐標(biāo)變換的最優(yōu)矩陣參數(shù)。然后通過坐標(biāo)變換求得靶標(biāo)圓心像素圖像坐標(biāo)系下的坐標(biāo)。 問題三根據(jù)問題二中得到的圓心的像坐標(biāo)，通過坐標(biāo)變換逆運(yùn)算得到世界坐標(biāo)系下的圓心坐標(biāo)，分析兩圓心

5、之間距離的平均值與標(biāo)準(zhǔn)差以檢驗(yàn)?zāi)Ｐ偷暮侠硇浴Ｆ浯卫妹商乜_模擬的方法進(jìn)行了穩(wěn)定性分析，多次迭代以精確檢測(cè)模型的穩(wěn)定性。 問題四中利用模型一對(duì)兩相機(jī)系統(tǒng)外參數(shù)進(jìn)行求解，建立了相機(jī)空間相對(duì)位置關(guān)系模型。 關(guān)鍵詞 坐標(biāo)變換 透視投影模型 Excel 像素模擬圖 蒙特卡羅模擬創(chuàng)建模型將圖像用 Excel 進(jìn)行處理，建立像素模擬圖表模型精度檢驗(yàn)與穩(wěn)定分析建立相機(jī)空間相對(duì)位置關(guān)系模型求解參數(shù)矩陣，求出靶標(biāo)圓心坐標(biāo)一、模型假設(shè)1、假設(shè)數(shù)碼相機(jī)成像原理為透鏡成像原理；2、假設(shè)相機(jī)成像鏡頭不會(huì)產(chǎn)生鏡頭畸變?cè)斐晒鈱W(xué)畸 c變誤差；3、假設(shè)光學(xué)中心、焦點(diǎn)及數(shù)碼相機(jī)屏幕中心的像平 c面共線，稱該線為光軸；4、假設(shè)所討

6、論的照相設(shè)備是最簡(jiǎn)單的情形，不具有c廣角等功能。二、符號(hào)說明 1、 Qw 世界坐標(biāo)系 2、 Qc 相機(jī)坐標(biāo)系 3、 Qp 像坐標(biāo)系 4、 T 平移向量 5、 R 旋轉(zhuǎn)矩陣 6、 M 空間轉(zhuǎn)換矩陣 7、 f 焦距 8、 (XW,YW, ZW) 任意物點(diǎn)P在空間世界坐標(biāo)系中的坐標(biāo) 9、 (XC ,YC , ZC) P點(diǎn)在相機(jī)的坐標(biāo)系中坐標(biāo)10、(x, y) P點(diǎn)在物理圖像坐標(biāo)系中坐標(biāo)11、(u, v) P點(diǎn)在圖像像素坐標(biāo)系中的坐標(biāo)12、(u0,v0) 光軸與圖像平面的交點(diǎn)在圖像像素坐標(biāo)系中的坐標(biāo)三、模型的建立假設(shè)相機(jī)鏡頭透鏡很小，光學(xué)系統(tǒng)為針孔成像系統(tǒng)。3-1 坐標(biāo)系的引入 在假設(shè)基礎(chǔ)上建立四個(gè)坐

7、標(biāo)系：空間世界坐標(biāo)系、相機(jī)坐標(biāo)系、物理圖像坐標(biāo)系以及圖像像素坐標(biāo)系。 世界坐標(biāo)系以靶標(biāo)中心為原點(diǎn)o，以靶標(biāo)平面為xw-yw平面，單位為mm。 相機(jī)坐標(biāo)系：以相機(jī)光心為原點(diǎn)O,其XC軸和YC軸與物理圖像坐標(biāo)系的 x 軸，y 軸平行，ZC軸與圖像平面垂直。光軸與圖像平面的交點(diǎn)即為物理圖像坐標(biāo)系的原點(diǎn)。 物理圖像坐標(biāo)系，其原點(diǎn)為透鏡光軸與成像平面的交點(diǎn)，X 與Y 軸分別平行于攝像機(jī)坐標(biāo)系的 x 與 y 軸，是平面直角坐標(biāo)系，單位為毫米。 圖像像素坐標(biāo)系，固定在圖像上的以像素為單位的平面直角坐標(biāo)系，其原點(diǎn)位于圖像左上角, u，v 平行于圖像物理坐標(biāo)系的X 和Y軸。對(duì)于數(shù)字圖像，每個(gè)像素點(diǎn)的坐標(biāo)(u，v

8、)分別表示該像素點(diǎn)在坐標(biāo)系中的行數(shù)與列數(shù)。3-2 坐標(biāo)的變換3-2-1 圖像像素坐標(biāo)與物理圖像坐標(biāo)的變換 若物理圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中的坐標(biāo)為(u0, v0) , 每一個(gè)像素在 x 軸與 y 軸方向上的物理尺寸為(dx, dy) , 則圖像任意一個(gè)像素的像素坐標(biāo)與物理圖像坐標(biāo)有如下變換：(u, v)將上式用齊次坐標(biāo)與矩陣形式表示，即：通過矩陣變換的知識(shí)可以得到上式逆關(guān)系為：3-2-2 相機(jī)坐標(biāo)向物理圖像坐標(biāo)的轉(zhuǎn)換 按透鏡透視投影成像原理，由相機(jī)坐標(biāo)向圖像坐標(biāo)的轉(zhuǎn)換過程符合中心影射或透視投影，可用齊次坐標(biāo)與矩陣表示為：3-2-3 空間世界坐標(biāo)系與相機(jī)坐標(biāo)系變換 由于數(shù)碼相機(jī)可安放在環(huán)境中任

9、何位置，在環(huán)境中應(yīng)該選擇一個(gè)基準(zhǔn)坐標(biāo)來描述數(shù)碼相機(jī)的位置，并用它描述環(huán)境中任何物體的位置，該坐標(biāo)線之間的關(guān)系可以用旋轉(zhuǎn)矩陣A與平移向量T來描述。因此，空間某一點(diǎn)在世界坐標(biāo)系與數(shù)碼相機(jī)坐標(biāo)系下的齊次坐標(biāo)如果分別是(XW,YW, ZW)與(XC ,YC , ZC),于是存在下列關(guān)系：齊次坐標(biāo)可表示為： 其中，A為33正交單位矩陣， 又為旋轉(zhuǎn)矩陣. 式中，A1，A2，A3分別表示照相機(jī)坐標(biāo)圍繞空間世界坐標(biāo)系XC ,YC , ZC軸的旋轉(zhuǎn)矩陣；、與旋轉(zhuǎn)矩陣對(duì)應(yīng)的三個(gè)角度。所以便可以得到矩陣A為：AA=I；A的各行是單位向量且兩兩正交 乘以一個(gè)向量時(shí)改變向量的方向但不改變大小的效果的矩陣 其中 T 為三

10、維平移向量，3 個(gè)分量分別表示相機(jī)坐標(biāo)系原點(diǎn)在XW ,YW , ZW方向上的三個(gè)偏移量，為矩陣。所以，空間世界坐標(biāo)到圖像像素坐標(biāo)的轉(zhuǎn)換為 其中M1與相機(jī)內(nèi)部有關(guān)稱為內(nèi)部參數(shù)，M2含有和T 六個(gè)由空間世界坐標(biāo)系與相機(jī)坐標(biāo)系相對(duì)位置所決定的六個(gè)參量，一旦建立給定的空間世界坐標(biāo)系，即為常數(shù)。上式也可寫成 上述方程描述了三維世界坐標(biāo)點(diǎn)(Xw，Yw，Zw，1)與相應(yīng)圖像 (u,v,1) 之間的關(guān)系。故也可寫成 如果已知三維世界坐標(biāo)和相應(yīng)的圖像坐標(biāo)，將變換矩陣看作未知數(shù)，則共有12 個(gè)未知數(shù)。又因?yàn)槭澜缱鴺?biāo)系的X-Y平面與物體所在平面坐標(biāo)系重合，即Zw=0，所以它的系數(shù)對(duì)結(jié)果不影響,可設(shè)為0，因此只有八個(gè)

11、參數(shù)。3-3 問題二的處理 在第一問模型基礎(chǔ)上根據(jù)題靶標(biāo)和靶標(biāo)的像，求算靶標(biāo)上圓的圓心在像平面上的像坐標(biāo)，可分三步進(jìn)行。 第一，讀取靶標(biāo)的像圖，確定邊界點(diǎn)的位置。 用 matlab 中的 imread 圖像處理工具讀取像圖，得到像圖中每個(gè)像素點(diǎn)亮度值的矩陣。對(duì)上述矩陣進(jìn)行二值化處理，將數(shù)據(jù)導(dǎo)出至 excel 中，然后跟據(jù)像素調(diào)整行寬和列高并對(duì)中間圖像部分進(jìn)行涂色得到像素模擬圖表。該像素模擬圖表的優(yōu)點(diǎn)在于，它可以利用 excel 的表格對(duì)圖像的像素進(jìn)行模擬，直觀展現(xiàn)出每個(gè)像素點(diǎn)位置及亮度情況。 第二，利用靶標(biāo)、像素模擬圖中邊界點(diǎn)的坐標(biāo)對(duì)應(yīng)關(guān)系，對(duì)上式系數(shù)進(jìn)行擬合，然后求出圓心的坐標(biāo)。根據(jù)物理成像

12、原理可知原圖中的邊界點(diǎn)在像圖中仍為邊界點(diǎn)。選取五個(gè)圓的上下左右四個(gè)邊界點(diǎn)共20個(gè)點(diǎn)作為特征點(diǎn)如下：圖4.2.1 選取點(diǎn)散點(diǎn)圖(x-y)單位：毫米 圖4.2.2 對(duì)應(yīng)像點(diǎn)散點(diǎn)圖(u-v)，單位：像素 將以上數(shù)據(jù)代入模型一的式(12) 對(duì)m11、m12、m14、m21、m22、m24、m31、m32、m34這八個(gè)系數(shù)進(jìn)行線性擬合，由于參數(shù)矩陣乘以任意不為零的常數(shù)對(duì)結(jié)果沒有影響，故制定m34=1。計(jì)算結(jié)果如下：具體坐標(biāo)數(shù)據(jù)表點(diǎn)xyuv點(diǎn)xyuv1-506212055115038233922-625010470126250248763-50381198413-50-321061714-38501346

13、914-62-50911855-20621575815-50-621041966-32501427316-38-501191827-2038155861750-322161738-850170711838-5020218695062237651950-62212196103850222802062-50226182帶回到式(12)求得圓心坐標(biāo)，結(jié)果如下： x y u v-5050102.431 359.964 74-2050140.556 365.441 585050236.667 079.248 34-50-50104.302 2183.534 4050-50248.858 1214.964

14、 40 第三，結(jié)果檢驗(yàn)及校正。根據(jù)附表一的模擬圖像，可以近似比對(duì)圓心坐標(biāo)結(jié)果，可知誤差仍在允許的范圍之內(nèi)。3-4-1 檢驗(yàn)算法及求解從像素圖像坐標(biāo)到空間世界坐標(biāo) 在以上模型的求解過程中，并沒有利用圖形中給出的全部信息就得到了結(jié)果，在以上求解圓心坐標(biāo)時(shí)，只利用了圓上某四個(gè)點(diǎn)所映射出的點(diǎn)確定圓心的像位置。這里面暗含了一個(gè)假設(shè)，即像上的點(diǎn)都是由求得的靶標(biāo)位置上的圓的點(diǎn)形成的。但是求得的靶標(biāo)的位置是不精確的，因此三維空間內(nèi)圓上的點(diǎn)與像上圓上的點(diǎn)可能會(huì)有偏差。因此精度檢驗(yàn)可以轉(zhuǎn)換為像上的圖形與靶標(biāo)上的圓的映射關(guān)系的檢驗(yàn)。 C 具體方法是，首先將像上的點(diǎn)投射到以上模型求得的靶標(biāo)上，然后計(jì)算靶標(biāo)上相應(yīng)的圓心

15、距離這些點(diǎn)的平均距離和標(biāo)準(zhǔn)差，平均距離和標(biāo)準(zhǔn)差越小，說明模型越準(zhǔn)確。3-4 模型檢驗(yàn)和穩(wěn)定性分析 由問題二的求解，可得到靶標(biāo)上五個(gè)圓的圓心在像素平面坐標(biāo)系中的坐標(biāo)，設(shè)為 利用模型一中得到的坐標(biāo)變換，進(jìn)行坐標(biāo)逆變換，可求的5個(gè)像圓心在靶標(biāo)上對(duì)應(yīng)的空間世界坐標(biāo)，進(jìn)而求的與靶標(biāo)圓心之間的距離，計(jì)算公式如下：3-4-2 計(jì)算映射點(diǎn)與圓心距離的均值與方差 有上述可得所有像圓心在靶標(biāo)上對(duì)應(yīng)點(diǎn)與靶標(biāo)圓心之間的距離OAi，并計(jì)算出所有這些點(diǎn)距離相應(yīng)圓心的距離的均值與標(biāo)準(zhǔn)差。故可得下數(shù)據(jù)表： 從以上表可以看出，以 OAi 的平均偏差都不大于一個(gè)像素，標(biāo)準(zhǔn)差也控制在2 像素左右標(biāo)準(zhǔn)差系數(shù)非常小，說明像平面上的點(diǎn)映

16、射到靶標(biāo)平面上，得到的點(diǎn)比較好的擬合了原靶標(biāo)平面上的五個(gè)圓，因此有理由相信，經(jīng)過以上算法計(jì)算得到的像平面上的圓心精度很高。%計(jì)算精度誤差 bound_zb;qj;wc=;jl=;jlj=;nzb=;yx=oA;oB;oC;oE;oD;for i=1:5for j=1:length(zb_boundi(:,1)h=-oa*inv(xs2wl(zb_boundi(j,2),zb_boundi(j,1),1577;ab;ac);nzb=-h(1)*xs2wl(zb_boundi(j,2),zb_boundi(j,1),1577;jl=norm(nzb-yx(i,:);jlj=jlj;jl;endwc

17、=wc;mean(jlj),std(jlj);jlj=;endwcwc(:,1)-12*3.78wc(:,2)./wc(:,1)3-5 穩(wěn)定性分析 相機(jī)在實(shí)際拍攝物體時(shí)往往有一定的角度，為了便于說明，定義數(shù)碼相機(jī)垂直拍攝物體時(shí)所看到的面為基準(zhǔn)面。用數(shù)碼相機(jī)進(jìn)行拍攝，看到的平面都與基準(zhǔn)面有一定的夾角，如右圖： 圖中的平面A表示基準(zhǔn)面，物體的形狀沒有發(fā)生變化，但在實(shí)際生活中攝像所看到的平面通常是平面，平面和平面之間的夾角為，也即是我們的視線與平面法線的夾角；夾角的變化范圍是 0。 其中， 為在世界坐標(biāo)系中到坐標(biāo)原點(diǎn)(Xw,Yw,Zw)的距離， 為在像平面中到坐標(biāo)原點(diǎn)的距離，(x, y)為放大或者縮

18、小的比率。其中，為在世界坐標(biāo)系中到坐標(biāo)原點(diǎn)的距離，為在像平面中到坐標(biāo)原點(diǎn)的距離，k 為放大或者縮小的比率。此時(shí)，可以運(yùn)用蒙特卡羅思想來進(jìn)行多次模擬，迭代次數(shù)至少在1 000 次以上，隨機(jī)產(chǎn)生滿足以上約束的像平面上的坐標(biāo)的預(yù)測(cè)值，此產(chǎn)生出來的坐標(biāo)與問題一中的得到的坐標(biāo)進(jìn)行對(duì)比，得出結(jié)論。 設(shè)物體上的點(diǎn)在空間世界坐標(biāo)中的坐標(biāo)設(shè)為(Xw,Yw,Zw) ，世界坐標(biāo)系的坐標(biāo)原點(diǎn)為；圖像坐標(biāo)系的原點(diǎn)為。世界坐標(biāo)中的相對(duì)應(yīng)的點(diǎn)為，那么它們與相應(yīng)坐標(biāo)原點(diǎn)存在著如下的關(guān)系：如果用兩相機(jī)同時(shí)觀察同一立體對(duì)象，可有第一問中單一相機(jī)標(biāo)定方法得出兩個(gè)相機(jī)坐標(biāo)系與空間世界坐標(biāo)系的相對(duì)位置關(guān)系參數(shù) A 和 T.1.建立空間世界坐標(biāo)系，設(shè)原點(diǎn)為靶標(biāo)圓心，垂直靶 c標(biāo)面為 Z 軸。2.由坐標(biāo)轉(zhuǎn)換,利用問題二求出的圓心坐標(biāo)和靶標(biāo)圓心 c 在空間世界坐標(biāo)系中的坐標(biāo)，可建立5個(gè)方程組。3.最小二乘法可求的上述方程參數(shù) M 的最優(yōu)解，而內(nèi) c 參數(shù)矩陣 M1 已知，故可求的外參數(shù)矩陣 M2，即旋 c 轉(zhuǎn)矩陣 A 和平移向量 T.四 、相機(jī)相對(duì)定位法4-1求兩相機(jī)外參數(shù)矩陣M24-2 求兩相機(jī)的幾何關(guān)系A(chǔ),T, 兩個(gè)攝像機(jī)之間的幾何關(guān)系可用以下的A 和T 表示： 由此可由 A1,