攝像機標(biāo)定和三維重建

攝像機標(biāo)定和三維重建第一頁，共四十六頁，2022年，8月28日主要內(nèi)容1、引言2、圖象的形成過程3、傳統(tǒng)標(biāo)定方法 DLT方法，RAC方法和簡易標(biāo)定方法4、預(yù)備知識5、攝像機自標(biāo)定6、基于主動視覺的攝像機標(biāo)定7、分層重建理論8、多視點幾何第二頁，共四十六頁，2022年，8月28日引言幾個問題 什么是攝像機標(biāo)定？ 為什么要對攝像機進行標(biāo)定？ 為什么要研究不同的攝像機標(biāo)定方法？ 什么是三維重建？ 為什么要進行三維重建？第三頁，共四十六頁，2022年，8月28日引言三維重建是人類視覺的主要目的，也是計算機視覺的最主要的研究方向.(Marr1982)所謂三維重建就是指從二幅和二幅以上圖象恢復(fù)空間點三維坐標(biāo)的過程。三維重建的三個關(guān)鍵步驟圖象對應(yīng)點的確定攝像機標(biāo)定二圖象間攝像機運動參數(shù)的確定第四頁，共四十六頁，2022年，8月28日第五頁，共四十六頁，2022年，8月28日圖象的形成過程和攝像機針孔模型第六頁，共四十六頁，2022年，8月28日Ou攝像機坐標(biāo)系yxv圖像坐標(biāo)系世界坐標(biāo)系1、世界坐標(biāo)系：

2、攝像機坐標(biāo)系：3、圖像坐標(biāo)系:

說明：為了校正成像畸變用理想圖像坐標(biāo)系和真實圖像坐標(biāo)系分別描述畸變前后的坐標(biāo)關(guān)系

坐標(biāo)系第七頁，共四十六頁，2022年，8月28日攝像機光學(xué)成像過程的四個步驟

剛體變換透視投影畸變校正數(shù)字化圖像世界坐標(biāo)系攝像機坐標(biāo)系真實圖像坐標(biāo)系數(shù)字化圖像坐標(biāo)系理想圖像坐標(biāo)系1、剛體變換公式齊次坐標(biāo)形式第八頁，共四十六頁，2022年，8月28日CB物體AB圖像Of=OB為透鏡的焦距m=OC為像距n=AO為物距

一般地由于于是這時可以將透鏡成像模型近似地用小孔模型代替

2、透視投影——透鏡成像原理圖第九頁，共四十六頁，2022年，8月28日

o寫成齊次坐標(biāo)形式為

2、透視投影——小孔成像模型第十頁，共四十六頁，2022年，8月28日寫成齊次坐標(biāo)形式為

2、中心透視投影模型of第十一頁，共四十六頁，2022年，8月28日PositionwithdistortionIdealPositiondr:radialdistortiondt:tangentialdistortion3、畸變校正——徑向和切向畸變徑向畸變離心畸變薄透鏡畸變徑向失真切向失真第十二頁，共四十六頁，2022年，8月28日

a:barreldistortionb:pincushiondistortionab3、畸變校正——其它畸變類型桶形畸變a和枕形畸變b薄棱鏡畸變

AxisofmintangentialdistortionAxisofmaxTangentialdistortion第十三頁，共四十六頁，2022年，8月28日

在中的坐標(biāo)為象素在軸上的物理尺寸為

AffineTransformation:4、圖像數(shù)字化UCV齊次坐標(biāo)形式:其中第十四頁，共四十六頁，2022年，8月28日攝像機的內(nèi)參數(shù)矩陣K第十五頁，共四十六頁，2022年，8月28日線性攝像機成像模型圖像物理坐標(biāo)系圖像像素坐標(biāo)系攝像機坐標(biāo)系世界坐標(biāo)系圖像像素坐標(biāo)系世界坐標(biāo)系最終得到：這是忽略畸變的線性成像模型第十六頁，共四十六頁，2022年，8月28日傳統(tǒng)的攝像機標(biāo)定方法特點 要求攝像機標(biāo)定塊，算法復(fù)雜，精度高第十七頁，共四十六頁，2022年，8月28日直接線性變換（DLT變換）

DLT:DirectLinearTransformation第十八頁，共四十六頁，2022年，8月28日Abdal-Aziz和Karara于70年代初提出了直接線性變換像機定標(biāo)的方法，他們從攝影測量學(xué)的角度深入的研究了像機圖像和環(huán)境物體之間的關(guān)系，建立了像機成像幾何的線性模型，這種線性模型參數(shù)的估計完全可以由線性方程的求解來實現(xiàn)。

DLT變換第十九頁，共四十六頁，2022年，8月28日直接線性變換是將像點和物點的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式：

DLT變換其中為圖像坐標(biāo)系下的點的齊次坐標(biāo)，為世界坐標(biāo)系下的空間點的歐氏坐標(biāo)，為的透視投影矩陣，為未知尺度因子。

第二十頁，共四十六頁，2022年，8月28日DLT變換消去，可以得到方程組:第二十一頁，共四十六頁，2022年，8月28日當(dāng)已知個空間點和對應(yīng)的圖像上的點時，可以得到一個含有2*個方程的方程組：

DLT變換其中為的矩陣，為透視投影矩陣元素組成的向量。

第二十二頁，共四十六頁，2022年，8月28日DLT變換像機定標(biāo)的任務(wù)就是尋找合適的，使得為最小，即

給出約束：

為的前11個元素組成的向量，為前11列組成的矩陣，為第12列組成的向量。第二十三頁，共四十六頁，2022年，8月28日DLT變換是否合理？

約束不具有旋轉(zhuǎn)和平移的不變性,解將隨著世界坐標(biāo)系的選取不同而變化.證明：世界坐標(biāo)系作剛性坐標(biāo)變換則顯然在一般的情況下第二十四頁，共四十六頁，2022年，8月28日另一個約束具有旋轉(zhuǎn)和平移的不變性DLT變換由向量,,是兩兩垂直的單位向量第二十五頁，共四十六頁，2022年，8月28日R.Tsai的RAC的定標(biāo)算法

第二十六頁，共四十六頁，2022年，8月28日80年代中期Tsai提出的基于RAC的定標(biāo)方法是計算機視覺像機定標(biāo)方面的一項重要工作，該方法的核心是利用徑向一致約束來求解除（像機光軸方向的平移）外的其它像機外參數(shù)，然后再求解像機的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。簡介第二十七頁，共四十六頁，2022年，8月28日像機模型

徑向一致約束

定標(biāo)算法

主要內(nèi)容

第二十八頁，共四十六頁，2022年，8月28日世界坐標(biāo)系和攝像機坐標(biāo)系的關(guān)系像機模型第二十九頁，共四十六頁，2022年，8月28日攝像機坐標(biāo)系和圖像坐標(biāo)系的關(guān)系像機模型第三十頁，共四十六頁，2022年，8月28日理想圖像坐標(biāo)到實際圖像坐標(biāo)的變換

（只考慮徑向偏差）

像機模型第三十一頁，共四十六頁，2022年，8月28日從實際圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換

像機模型第三十二頁，共四十六頁，2022年，8月28日徑向一致約束徑向一致約束:

第三十三頁，共四十六頁，2022年，8月28日定標(biāo)算法1.利用徑向一致約束來求解和

定標(biāo)步驟:2.求解有效焦距、方向上的平移和畸變參數(shù)

第三十四頁，共四十六頁，2022年，8月28日定標(biāo)算法——步驟一1.求解外像機參數(shù)旋轉(zhuǎn)矩陣和、方向上的平移

由一個空間點和其圖像投影點,根據(jù)徑向一致約束性可以得到下面的方程

其中

第三十五頁，共四十六頁，2022年，8月28日定標(biāo)算法——步驟一如果得到一系列數(shù)目大于7個的標(biāo)志點和它們的對應(yīng)投影圖像點，就變成了一個過限制方程組，可以由最小二乘法解出以下的7個變量2.計算

由

第三十六頁，共四十六頁，2022年，8月28日定標(biāo)算法——步驟一3.確定

由，4.計算旋轉(zhuǎn)矩陣和，并確定的符號

先假定取正號，由以下的公式可以計算出旋轉(zhuǎn)矩陣和

第三十七頁，共四十六頁，2022年，8月28日定標(biāo)算法——步驟一取世界坐標(biāo)系中任一標(biāo)志點,則可以計算出其在像機坐標(biāo)系中的坐標(biāo)同時取這個坐標(biāo)點在圖像上的投影點在實際像機系統(tǒng)中，應(yīng)該和同號，如果計算出兩者異號，則取為負(fù)號。最后求解第三十八頁，共四十六頁，2022年，8月28日定標(biāo)算法——步驟二對于一個標(biāo)志點，可以得到以下的兩個方程當(dāng)不存在徑向畸變時，。

式變?yōu)槭降谌彭?，共四十六頁?022年，8月28日定標(biāo)算法——步驟二對于一系列的標(biāo)志點，則形成了一個超定的方程組，可以

用線性最小二乘法求出和。當(dāng)存在徑向畸變時，仍應(yīng)用式求出和的初始值，然后將求出的和連同作為條件，對式進行非線性優(yōu)化，估計出、和的真實值。第四十頁，共四十六頁，2022年，8月28日張正友的平面標(biāo)定方法

第四十一頁，共四十六頁，2022年，8月28日張正友的平面標(biāo)定方法基本原理：在這里假定模板平面在世界坐標(biāo)系的平面上其中，為攝像機的內(nèi)參數(shù)矩陣，為模板平面上點的齊次坐標(biāo)，為模板平面上點投影到圖象平面上對應(yīng)點的齊次坐標(biāo)，和分別是攝像機坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量第四十二頁，共四十六頁，2022年，8月28日其中根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即和，每幅圖象可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束由于攝像機有5個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時，就可以線性唯一求解出張正友的平面標(biāo)定方法第四十三頁，共四十六頁，2022年，8月28日張正友方法所用的平面模板張正友的平面標(biāo)定方法第四十四頁，共四十六頁，2022年，8月28日算法描述張正友的平面標(biāo)定方法打印一張模板并貼在一個平面上從不同角度拍攝若干張模板圖象檢測出圖象中的特征點求出攝