單視多視測(cè)量技術(shù)

單視多視測(cè)量技術(shù)第1頁(yè)，共63頁(yè)，2023年，2月20日，星期一主要內(nèi)容1.單視幾何（應(yīng)用單幅圖像測(cè)量）2.兩視幾何（EpipolarGeometry約束）空間平面與Homography3.三視幾何（TrifocalGeometry約束）第2頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視幾何成像平面攝像機(jī)坐標(biāo)系ZXYOMm成像平面O第3頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量目標(biāo)、內(nèi)容研究的意義國(guó)內(nèi)外研究的現(xiàn)狀算法第4頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量從單幅圖像中恢復(fù)場(chǎng)景的全部或部分三維信息運(yùn)用射影幾何理論，探索利用單幅圖像實(shí)現(xiàn)場(chǎng)景測(cè)量所需的圖像信息以及場(chǎng)景信息，從而實(shí)現(xiàn)對(duì)場(chǎng)景中距離、面積、體積等的測(cè)量目標(biāo)、內(nèi)容第5頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量利用超聲波、激光等來(lái)測(cè)量，很容易受到外界不可預(yù)測(cè)反射等因素的影響基于圖像的測(cè)量技術(shù)，因其所需的只是場(chǎng)景圖像，所以更靈活、方便、即時(shí)、準(zhǔn)確具有非常廣泛的應(yīng)用前景，如法庭取證、交通事故現(xiàn)場(chǎng)的測(cè)量、建筑物測(cè)量等等很多方面研究的意義第6頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量用兩幅或多幅圖像對(duì)場(chǎng)景進(jìn)行重建以后進(jìn)行測(cè)量的方法以及攝影測(cè)量學(xué)的方法有很大的局限性利用單幅圖像對(duì)場(chǎng)景進(jìn)行測(cè)量，已引起人們的關(guān)注A.CriminisiUniversityofOxford目前，國(guó)內(nèi)外在此方面還沒(méi)有系統(tǒng)的研究研究現(xiàn)狀第7頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量空間平面與其圖像間的關(guān)系可由平面Homography:H來(lái)表示(一個(gè)的矩陣).一般將空間平面假設(shè)為即X-Y

平面,則：

算法成像平面攝像機(jī)坐標(biāo)系ZXYOMmXwYw平面測(cè)量第8頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量

如果4個(gè)空間點(diǎn)已知，則由它們可線性求解H：算法然后通過(guò)將圖像點(diǎn)反投到空間平面，實(shí)現(xiàn)空間平面上的測(cè)量平面測(cè)量距離\面積\夾角第9頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量已知一個(gè)空間平面的homography和此平面法向量方向的一組平行線、某個(gè)線段的距離，或已知另一個(gè)平面的位置，可測(cè)：算法空間測(cè)量體積、身高、兩個(gè)平面的距離、兩個(gè)平面內(nèi)的兩個(gè)點(diǎn)之間的距離第10頁(yè)，共63頁(yè)，2023年，2月20日，星期一1.單視測(cè)量算法物體體積的測(cè)量結(jié)果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%第11頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何外（對(duì)）極幾何（Epipolargeometry）基本矩陣、本質(zhì)矩陣重建景物平面與單應(yīng)矩陣（Homography）主要內(nèi)容第12頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何外極幾何外極幾何是研究?jī)煞鶊D像之間存在的幾何。它和場(chǎng)景結(jié)構(gòu)無(wú)關(guān)，只依賴于攝像機(jī)的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面。基本概念：基線；外極點(diǎn)；外極線；外極平面；基本矩陣；本質(zhì)矩陣第13頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何外極幾何外極線Mmm'l'ee'lOO'm'TFm=0基線外極點(diǎn)外極平面對(duì)極線基本矩陣，的矩陣第14頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何基線：連接兩個(gè)攝象機(jī)光心O（O’）的直線外極點(diǎn)：基線與像平面的交點(diǎn)外極平面：過(guò)基線的平面外極線：對(duì)極平面與圖像平面的交線基本矩陣F：對(duì)應(yīng)點(diǎn)對(duì)之間的約束外極幾何第15頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何外極幾何世界坐標(biāo)系Ou攝像機(jī)坐標(biāo)系v圖像坐標(biāo)系O’R0,t0R’,t’如果將世界坐標(biāo)系取在第一個(gè)攝像機(jī)坐標(biāo)系上，則：R,t第16頁(yè)，共63頁(yè)，2023年，2月20日，星期一基本矩陣F：

是一秩為2的3×3矩陣，自由度為72.兩視幾何外極幾何對(duì)象的數(shù)學(xué)表達(dá)：Mmm'l'ee'lOO'm'TFm=0外極點(diǎn)：光心：第17頁(yè)，共63頁(yè)，2023年，2月20日，星期一本質(zhì)矩陣E：

是一秩為2的3×3矩陣，自由度為52.兩視幾何外極幾何對(duì)象的數(shù)學(xué)表達(dá)：Mmm'l'ee'lOO'm'TFm=0外極線：（用法向量表示）對(duì)象之間的關(guān)系式：第18頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何外極幾何Mmm'l'ee'lOO'm'TFm=0對(duì)象之間的關(guān)系式：F不是一個(gè)一一對(duì)應(yīng)的變換。如果，m，m’是一對(duì)對(duì)應(yīng)點(diǎn)，則：反之，不成立。第19頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何H是一個(gè)射影變換矩陣，投影矩陣對(duì)和對(duì)應(yīng)相同的基本矩陣?；揪仃嚨?0頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何在兩幅圖像之間，基本矩陣將點(diǎn)m映射為對(duì)應(yīng)的對(duì)極線，將對(duì)極點(diǎn)映射為0。不能提供對(duì)應(yīng)點(diǎn)間的一一對(duì)應(yīng)。基本矩陣的變換作用Mmm'l'ee'lOO'm'TFm=0F0F第21頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何空間中一點(diǎn)在兩幅圖像上的成像分別為：極點(diǎn)極線基本矩陣的代數(shù)推導(dǎo)mm'l'ee'lCC'm'TFm=0M因此：第22頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何基于代數(shù)誤差的線性估計(jì)---8、7點(diǎn)算法基于幾何誤差的非線性優(yōu)化基于RANSAC思想的自動(dòng)估計(jì)算法基本矩陣F的估計(jì)方法第23頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何一對(duì)對(duì)應(yīng)點(diǎn)，之間滿足約束：展開(kāi)可以得到約束方程為：基本矩陣F的估計(jì)方法8點(diǎn)算法:第24頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何當(dāng)n>=8時(shí)，可以線性求解f。對(duì)于n對(duì)對(duì)應(yīng)的圖像點(diǎn)對(duì)可得到n個(gè)這樣的方程構(gòu)造向量:構(gòu)造矩陣:從而:基本矩陣F的估計(jì)方法8點(diǎn)算法:第25頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何基于代數(shù)誤差的估計(jì)方法是滿足某些約束下使最小的算法8點(diǎn)算法：步驟：1)由對(duì)應(yīng)點(diǎn)(n>=8)集構(gòu)造矩陣A；2)對(duì)A進(jìn)行奇異值分解，由向量構(gòu)造矩陣F（3）對(duì)F進(jìn)行SVD分解得到基本矩陣的估計(jì)基本矩陣F的估計(jì)方法8點(diǎn)算法:第26頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何8點(diǎn)算法估計(jì)基本矩陣F

的結(jié)果與圖像點(diǎn)的坐標(biāo)系有關(guān)。當(dāng)圖像數(shù)據(jù)有噪聲，即對(duì)應(yīng)點(diǎn)不精確時(shí)，由8點(diǎn)算法給出的基本矩陣F的解精度很低。存在一種規(guī)一化坐標(biāo)系，在此坐標(biāo)系下估計(jì)的基本矩陣優(yōu)于其它坐標(biāo)系?；揪仃嘑的估計(jì)方法8點(diǎn)算法:第27頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何規(guī)一化變換：1)對(duì)圖像點(diǎn)做位移變換，使得圖像的原點(diǎn)位于圖像點(diǎn)集的質(zhì)心；2)對(duì)圖像點(diǎn)做縮放變換，使得圖像點(diǎn)分布在以質(zhì)心為圓心半徑為的圓內(nèi)?；揪仃嘑的估計(jì)方法8點(diǎn)算法:H第28頁(yè)，共63頁(yè)，2023年，2月20日，星期一規(guī)一化8點(diǎn)算法：由對(duì)應(yīng)點(diǎn)，求F1)對(duì)兩幅圖像分別做規(guī)一化變換,得到新的對(duì)應(yīng)點(diǎn)集；2)有新的對(duì)應(yīng)點(diǎn)集和8點(diǎn)算法估計(jì)；3）基本矩陣

2.兩視幾何基本矩陣F的估計(jì)方法8點(diǎn)算法:第29頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何

如果求解的基本矩陣F不滿足約束，即那么不存在向量e使得Fe=0，則在圖像中的對(duì)極線不交于同一點(diǎn)(對(duì)極點(diǎn)e

)。由于基本矩陣的秩為2，因此基本矩陣僅具有7個(gè)自由度，所以已知7對(duì)匹配點(diǎn)便足以確定基本矩陣?；揪仃嘑的估計(jì)方法7點(diǎn)算法:第30頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何利用SVD分解的方法得到兩個(gè)對(duì)應(yīng)于系數(shù)矩陣A

的右零空間的基向量和的矩陣基和，然后利用det(F)=0性質(zhì)來(lái)解出F通解中的比例因子，來(lái)確定所要估計(jì)的基本矩陣。由于基本矩陣行列式為零所對(duì)應(yīng)的約束是一個(gè)三次方程，因此最后所可能得到的基本矩陣的解的個(gè)數(shù)對(duì)應(yīng)于上述三次方程實(shí)數(shù)解的個(gè)數(shù)，最多可以得到3個(gè)解?；揪仃嘑的估計(jì)方法7點(diǎn)算法:第31頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何將估計(jì)基本矩陣的問(wèn)題化為數(shù)學(xué)的最優(yōu)化問(wèn)題，然后使用某種優(yōu)化迭代算法求解.算法如下：（1）構(gòu)造基于幾何意義的目標(biāo)函數(shù)（2）選取8點(diǎn)算法的結(jié)果作為迭代算法的初始值（3）選取一種迭代方法（L-M方法），迭代求解最小化問(wèn)題基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:第32頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何常用準(zhǔn)則：(1)點(diǎn)到對(duì)應(yīng)極線距離的平方和

(2)反投影距離基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:構(gòu)造基于幾何意義的目標(biāo)函數(shù)第33頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何mm'l'ee'lOO’基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:準(zhǔn)則(1)點(diǎn)到對(duì)應(yīng)極線距離的平方和第34頁(yè)，共63頁(yè)，2023年，2月20日，星期一其中和是通過(guò)一定的方法進(jìn)行射影重建所得到空間點(diǎn)的反投影圖像點(diǎn).2.兩視幾何準(zhǔn)則(2)反投影距離基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:mm'ee'OO’第35頁(yè)，共63頁(yè)，2023年，2月20日，星期一基于準(zhǔn)則(2)步驟：1.由線性算法求出基本矩陣的初始值;2.由對(duì)應(yīng)點(diǎn)和基本矩陣射影重建得到三維空間點(diǎn)坐標(biāo)；3.由三維空間點(diǎn)得到新的圖像點(diǎn)：.2.兩視幾何基本矩陣F的估計(jì)方法基于幾何誤差的優(yōu)化:第36頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何例：利用RANSAC思想估計(jì)直線給定7點(diǎn)，找最匹配的直線，使有效點(diǎn)到直線的距離小于0.8個(gè)單位，找到的點(diǎn)集為{1,2,3,4,5,6}，然后用最小二乘法計(jì)算直線方程。x01123234578645910yPOINTXY1234567001122323344102理想直線基本矩陣F的估計(jì)方法RANSAC估計(jì)第37頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何前面所講的所有的方法都假設(shè)沒(méi)有錯(cuò)誤匹配點(diǎn)(Outliers)。實(shí)際處理過(guò)程中可能會(huì)出現(xiàn)錯(cuò)誤的匹配點(diǎn)。可以用RANSAC方法剔除錯(cuò)誤的匹配點(diǎn)基本思想：1.通過(guò)迭代地隨機(jī)抽取最小點(diǎn)集來(lái)找出能夠使得所謂Inliers所占比例最高的最小點(diǎn)集

2.用此最小點(diǎn)集估計(jì)的基本矩陣和所識(shí)別出的Inliers一起進(jìn)行進(jìn)一步非線性優(yōu)化，從而得到最終的基本矩陣估計(jì)值基本矩陣F的估計(jì)方法RANSAC估計(jì)第38頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何本質(zhì)矩陣E(EssentialMatrix)由攝像機(jī)的外參數(shù)確定，與攝像機(jī)內(nèi)參數(shù)無(wú)關(guān)。本質(zhì)矩陣EO攝像機(jī)坐標(biāo)系v圖像像素坐標(biāo)系O’uxymm’第39頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何

本質(zhì)矩陣E當(dāng)攝像機(jī)內(nèi)參數(shù)K已知時(shí)，當(dāng)F被求出時(shí)，重建即要求出R，t。tR第40頁(yè)，共63頁(yè)，2023年，2月20日，星期一給定一基本矩陣F，構(gòu)造投影矩陣對(duì)2.兩視幾何重建有了投影矩陣和圖像點(diǎn)就可以通過(guò)三角化實(shí)現(xiàn)重建第41頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何重建H是一個(gè)4×4的可逆射影變換矩陣，則HH第42頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何例子

第43頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何例子第44頁(yè)，共63頁(yè)，2023年，2月20日，星期一概念已知基本矩陣F確定單應(yīng)矩陣H已知單應(yīng)矩陣H確定基本矩陣F無(wú)窮遠(yuǎn)平面的單應(yīng)矩陣2.兩視幾何景物平面與單應(yīng)矩陣第45頁(yè)，共63頁(yè)，2023年，2月20日，星期一兩幅圖像上的點(diǎn)如果來(lái)自空間的同一個(gè)平面，則在它們之間存在一個(gè)射影變換，可以用一個(gè)33矩陣表示，稱為單應(yīng)矩陣,記為H。xπmm'ee'2.兩視幾何景物平面與單應(yīng)矩陣概念H33第46頁(yè)，共63頁(yè)，2023年，2月20日，星期一建立世界坐標(biāo)系，使得X-Y

平面為空間平面，即為平面，則2.兩視幾何景物平面與單應(yīng)矩陣概念第47頁(yè)，共63頁(yè)，2023年，2月20日，星期一若是空間平面上的點(diǎn)在兩幅圖像上對(duì)應(yīng)點(diǎn)對(duì)，則存在矩陣H使得s為非零常數(shù)因子，H是一3×3矩陣，一般可由4對(duì)對(duì)應(yīng)點(diǎn)求得。2.兩視幾何景物平面與單應(yīng)矩陣概念第48頁(yè)，共63頁(yè)，2023年，2月20日，星期一若兩視點(diǎn)投影矩陣為則空間平面的單應(yīng)矩陣H可表示為2.兩視幾何景物平面與單應(yīng)矩陣概念第49頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何景物平面與單應(yīng)矩陣由F確定H給定三對(duì)對(duì)應(yīng)點(diǎn)：它們對(duì)應(yīng)的空間的景物點(diǎn)為：M1，M2，M3則這三個(gè)景物點(diǎn)唯一確定了一個(gè)空間平面如果F已求出，則這個(gè)平面的H也可以求出：e,e’H第50頁(yè)，共63頁(yè)，2023年，2月20日，星期一2.兩視幾何景物平面與單應(yīng)矩陣由F確定Hxπmm'ee'第51頁(yè)，共63頁(yè)，2023年，2月20日，星期一一.由共面的4對(duì)對(duì)應(yīng)點(diǎn)求得H二.由直線和確定極點(diǎn)e'

三.

由6個(gè)點(diǎn)，其中4個(gè)點(diǎn)共面，來(lái)求解基本矩陣F：2.兩視幾何景物平面與單應(yīng)矩陣由H確定F第52頁(yè)，共63頁(yè)，2023年，2月20日，星期一當(dāng)空間平面為無(wú)窮遠(yuǎn)平面時(shí)，對(duì)應(yīng)的單應(yīng)矩陣為無(wú)窮遠(yuǎn)平面的H：如果H已知后，則可進(jìn)行標(biāo)定、重建。2.兩視幾何景物平面與單應(yīng)矩陣無(wú)窮遠(yuǎn)平面的單應(yīng)矩陣第53頁(yè)，共63頁(yè)，2023年，2月20日，星期一引言點(diǎn)、線關(guān)聯(lián)關(guān)系基本矩陣、投影矩陣3.三視幾何主要內(nèi)容第54頁(yè)，共63頁(yè)，2023年，2月20日，星期一兩幅圖像之間存在約束：基本矩陣F；三幅圖像之間存在約束：三焦張量T（TrifocalTensor）；四幅或更多幅圖像之間不存在獨(dú)立的約束，它們可以由F和T生成。3.三視幾何引言第55頁(yè)，共63頁(yè)，20