多視幾何continue(課件)

圓環(huán)點(the

circularpoints)平面上任何圓與無窮遠直線的交點：3點+2圓環(huán)點=5點確定一個圓1圓環(huán)點(thecircularpoints)平面上任何圓絕對二次曲線(TheAbsoluteConic)

歐氏空間中,無窮遠平面上的二次曲線:

稱為絕對二次曲線.它都由虛點構(gòu)成。任意一個球與無窮遠平面的交點：2絕對二次曲線(TheAbsoluteConic)AC性質(zhì)無窮遠直線交絕對二次曲線于兩點，這兩個點是通過該無窮遠線的平面的圓環(huán)點。絕對二次曲線是空間中所有平面的圓環(huán)點所構(gòu)成的集合，因而任意一個圓與絕對二次曲線交于兩個圓環(huán)點。設(shè)絕對二次曲線在無窮遠平面上的矩陣表示為，則它的任一點的切線為，反之。配極對應(yīng)也成立。3AC性質(zhì)無窮遠直線交絕對二次曲線于兩點，這兩個點是通過該無窮

絕對二次曲線的像與照相機的內(nèi)參數(shù)緊密相連.假定照相機的內(nèi)參數(shù)為:

則絕對二次曲線的像是:

反之,如果絕對二次曲線的像已知,則K

可以被完全確定.4絕對二次曲線的像與照相機的內(nèi)參數(shù)緊密相連.假定照相機如果圓環(huán)點的像已知，也可以對照相機的內(nèi)參數(shù)構(gòu)成約束，通過解方程組來得到內(nèi)參數(shù)的值。假定m是圓環(huán)點的像，則：5如果圓環(huán)點的像已知，也可以對照相機的內(nèi)參數(shù)構(gòu)成約束，通過解方三維射影幾何點、空間直線、平面二次曲面扭三次曲線：與三維重建中的退化情況緊密相連。6三維射影幾何點、空間直線、平面6計算機視覺的多視幾何7計算機視覺的多視幾何7主要內(nèi)容1.單視幾何（單幅圖像測量）2.兩視幾何（EpipolarGeometry約束）3.三視幾何（TrifocalGeometry約束）8主要內(nèi)容1.單視幾何（單幅圖像測量）81.單視幾何91.單視幾何91.單視幾何成像平面攝像機坐標(biāo)系ZXYOMm成像平面O101.單視幾何成像平面攝像機坐標(biāo)系ZXYOMm成像平面O101.單視測量從單幅圖像中恢復(fù)場景的全部或部分三維信息運用射影幾何理論，探索利用單幅圖像實現(xiàn)場景測量所需的圖像信息以及場景信息，從而實現(xiàn)對場景中距離、面積、體積等的測量111.單視測量從單幅圖像中恢復(fù)場景的全部或部分三維信息111.單視測量利用超聲波、激光等來測量，很容易受到外界不可預(yù)測反射等因素的影響?；趫D像的測量技術(shù)，因其所需的只是場景圖像，所以更靈活、方便、即時、準(zhǔn)確。具有非常廣泛的應(yīng)用前景，如法庭取證、交通事故現(xiàn)場的測量、建筑物測量等等很多方面。121.單視測量利用超聲波、激光等來測量，很容易受到外界不可預(yù)1.單視測量131.單視測量13空間平面與其圖像平面間的關(guān)系可由平面Homography:H來表示(一個的矩陣).一般將空間平面假設(shè)為,即X-Y

平面,則：成像平面攝像機坐標(biāo)系ZXYOMmXwYw1.單視測量之平面測量14空間平面與其圖像平面間的關(guān)系可由平面Homography:1.

單視測量之平面測量

如果4個空間點已知，則由它們可線性求解H：然后通過將圖像點反投到空間平面，實現(xiàn)空間平面上的測量距離、面積、夾角151.單視測量之平面測量如果4個空間點已知，

已知一個空間平面的homography和此平面法向量方向的一組平行線、某個線段的距離，或已知另一個平面的位置，可測：體積、身高、兩個平面的距離、兩個平面內(nèi)的兩個點之間的距離1.單視測量之空間測量16已知一個空間平面的homography和此平面法向量方1.單視測量物體體積的測量結(jié)果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%171.單視測量物體體積的測量結(jié)果：172.兩視幾何182.兩視幾何182.兩視幾何192.兩視幾何192.兩視幾何外（對）極幾何（Epipolargeometry）基本矩陣F、本質(zhì)矩陣E202.兩視幾何外（對）極幾何（Epipolargeomet三個問題CorrespondenceGeometry給定mi，mi’在哪里CameraGeometry(motion)給定mi～mi’,P,P’是什么？SceneGeometry(Structure)給定mi～mi’,P,P’,M在哪里？2.兩視幾何21三個問題CorrespondenceGeometry2.2.兩視幾何之外極幾何外極幾何是研究兩幅圖像之間存在的幾何。它和場景結(jié)構(gòu)無關(guān)，只依賴于攝像機的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面。222.兩視幾何之外極幾何外極幾何是研究兩幅圖像之間存在的幾何2.兩視幾何之外極幾何如果只知道C,C’,x的話，會得到什么？232.兩視幾何之外極幾何如果只知道C,C’,x的話，會得到什2.兩視幾何之基本概念基線：連接兩個攝象機光心O（O’）的直線外極點：基線與像平面的交點外極平面：過基線的平面外極線：對極平面與圖像平面的交線基本矩陣F：對應(yīng)點對之間的約束242.兩視幾何之基本概念基線：連接兩個攝象機光心O（O’）252526262.兩視幾何世界坐標(biāo)系Ou攝像機坐標(biāo)系v圖像坐標(biāo)系O’R0,t0R’,t’如果將世界坐標(biāo)系取在第一個攝像機坐標(biāo)系上，則：R,t272.兩視幾何世界坐標(biāo)系Ou攝像機坐標(biāo)系v圖像坐標(biāo)系O’R02.兩視幾何空間中一點在兩幅圖像上的成像分別為：極點極線基本矩陣的代數(shù)推導(dǎo)mm'l'ee'lCC'm'TFm=0M因此：282.兩視幾何空間中一點基本矩陣F：是一秩為2的3×3矩陣，自由度為72.兩視幾何Mmm'l'ee'lOO'm'TFm=0外極點：外極線：29基本矩陣F：2.兩視幾何Mmm'l'ee'lOO'm'2.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應(yīng)的極線，將極點映射為0。不能提供對應(yīng)點間的一一對應(yīng)?；揪仃嚨淖儞Q作用Mmm'l'ee'lOO'm'TFm=0F0F如果，m，m’是一對對應(yīng)點，則：反之，不成立。302.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應(yīng)的2.兩視幾何H是一個射影變換矩陣，投影矩陣對和對應(yīng)相同的基本矩陣?；揪仃?12.兩視幾何H是一個射影變換矩陣，投影矩2.兩視幾何基于代數(shù)誤差的線性估計---8點、7點算法基于幾何誤差的非線性優(yōu)化基于RANSAC（RANdomSampleConsensus）思想的自動估計算法基本矩陣F的估計方法322.兩視幾何基于代數(shù)誤差的線性估計---8點、7點算法基本2.兩視幾何一對對應(yīng)點，之間滿足約束：展開可以得到約束方程為：基本矩陣F的估計方法8點算法:332.兩視幾何一對對應(yīng)點2.兩視幾何當(dāng)n>=8時，可以線性求解f。對于n對對應(yīng)的圖像點對可得到n個這樣的方程構(gòu)造向量:構(gòu)造矩陣:從而:基本矩陣F的估計方法8點算法:342.兩視幾何當(dāng)n>=8時，可以線性求解f。對于n2.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使最小的算法8點算法：步驟：由對應(yīng)點(n>=8)集構(gòu)造矩陣A；對A進行奇異值分解，由向量構(gòu)造矩陣F對F進行SVD分解得到基本矩陣的估計基本矩陣F的估計方法8點算法:352.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使基本矩36362.兩視幾何基本矩陣F的估計方法8點算法存在的問題:372.兩視幾何基本矩陣F的估計方法8點算法存在的問題:37歸一化處理－規(guī)一化變換：對圖像點做位移變換，使得圖像的原點位于圖像點集的質(zhì)心；對圖像點做縮放變換，使得圖像點分布在以質(zhì)心為圓心半徑為的圓內(nèi)。38歸一化處理－規(guī)一化變換：38規(guī)一化8點算法：由對應(yīng)點，求F對兩幅圖像分別做規(guī)一化變換,得到新的對應(yīng)點集；有新的對應(yīng)點集和8點算法估計；基本矩陣

2.兩視幾何基本矩陣F的估計方法8點算法:39規(guī)一化8點算法：由對應(yīng)點左邊：未歸一化右邊：歸一化后40左邊：未歸一化右邊：歸一化后40左邊：未歸一化右邊：歸一化后41左邊：未歸一化右邊：歸一化后41上面曲線：未歸一化下面曲線：歸一化后點到極線的距離42上面曲線：未歸一化下面曲線：歸一化后點到極線的距離422.兩視幾何

如果求解的基本矩陣F不滿足約束，即那么不存在向量e使得Fe=0，則在圖像中的對極線不交于同一點(對極點e

)。由于基本矩陣的秩為2，因此基本矩陣僅具有7個自由度，所以已知7對匹配點便足以確定基本矩陣?；揪仃嘑的估計方法7點算法:432.兩視幾何如果求解的基本矩陣F不滿足約束2.兩視幾何基本矩陣F的估計方法7點算法:442.兩視幾何基本矩陣F的估計方法7點算法:442.兩視幾何將估計基本矩陣的問題化為數(shù)學(xué)的最優(yōu)化問題，然后使用某種優(yōu)化迭代算法求解.算法如下：構(gòu)造基于幾何意義的目標(biāo)函數(shù)選取8點算法的結(jié)果作為迭代算法的初始值選取一種迭代方法（Levenberg-Marquardt方法），迭代求解最小化問題基本矩陣F的估計方法基于幾何誤差的優(yōu)化:http://www.ics.forth.gr/~lourakis/levmar/452.兩視幾何將估計基本矩陣的問題化為數(shù)學(xué)的最優(yōu)化問題，然后2.兩視幾何常用準(zhǔn)則：(1)點到對應(yīng)極線距離的平方和

(2)反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:構(gòu)造基于幾何意義的目標(biāo)函數(shù)462.兩視幾何常用準(zhǔn)則：(1)點到對應(yīng)極線距離的平方和基本矩2.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法基于幾何誤差的優(yōu)化:準(zhǔn)則(1):點到對應(yīng)極線距離的平方和472.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法其中和是通過一定的方法進行射影重建所得的空間點的反投影圖像點.2.兩視幾何準(zhǔn)則(2):反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:mm'ee'OO’48其中和是通過一定的方法進行射影重建所得的基于準(zhǔn)則(2)步驟：由線性算法求出基本矩陣的初始值;由對應(yīng)點和基本矩陣射影重建得到三維空間點坐標(biāo)；由三維空間點得到新的圖像點：

.2.兩視幾何基本矩陣F的估計方法基于幾何誤差的優(yōu)化:49基于準(zhǔn)則(2)步驟：2.兩視幾何基本矩陣F的估計方法基前面所講的所有的方法都假設(shè)沒有錯誤數(shù)據(jù)點(Outliers)。實際處理過程中可能會出現(xiàn)錯誤的數(shù)據(jù)點?？捎肦ANSAC方法(FischlerandBolles,1981)剔除錯誤的數(shù)據(jù)點50前面所講的所有的方法都假設(shè)沒有錯誤數(shù)據(jù)點(Outliers)2.兩視幾何例：利用RANSAC思想估計直線

基本矩陣F的估計方法RANSAC估計隨機選兩個點，作線測量每點support此線的程度(閾值)重復(fù)randomly選點(次數(shù))由眾多中選thelinewithmostsupport(多大)512.兩視幾何例：利用RANSAC思想估計直線基本矩陣2.兩視幾何基本思想通過迭代地隨機抽取最小點集來找出所謂的一致集(即Inliers所占比例最高的最小點集)

用此最小點集估計的基本矩陣和所識別出的Inliers一起進行進一步非線性優(yōu)化，從而得到最終的基本矩陣估計值基本矩陣F的估計方法RANSAC估計522.兩視幾何基本思想基本矩陣F的估計方法RANSAC估計閾值t的確定經(jīng)驗值如果度量誤差～，則～（m=codimensionofthemodel）53閾值t的確定經(jīng)驗值～（m=codimensionofth采樣次數(shù)N目標(biāo)：在N次采樣中，至少有一次采樣，所有的點(共S個)都是inliers.以概率p(e.g.=99%)保證至少有一次。54采樣次數(shù)N目標(biāo)：在N次采樣中，至少有一次采樣，所有的點(共S一致集的大小T55一致集的大小T55完整流程給定一對圖像Find基本矩陣F和對應(yīng)點對提取圖像點尋找對應(yīng)點對計算F,e56完整流程給定一對圖像56特征提取程序SIFT:http://www.cs.ubc.ca/~lowe/keypoints/?Scale-InvariantFeaturesTransform?FeaturedescriberKLT:/~stb/klt/?Kanade-Lucas-Tomasi?FeatureTracker57特征提取程序SIFT:57AutomaticcomputationofFInterestpointsPutativecorrespondencesRANSACrobustestimationNon-linearestimationGuidedmatchingRepeat4and5untilstable58AutomaticcomputationofFInte＝﹢59＝﹢59建議1.Donotuseunnormalizedalgorithms2.Quickandeasytoimplement:8-pointnormalized3.Better:enforcerank-2constraintduringminimization4.Best:MaximumLikelihoodEstimation(minimalparameterization,sparseimplementation)60建議1.Donotuseunnormalized2.兩視幾何本質(zhì)矩陣E(EssentialMatrix)由攝像機的外參數(shù)確定，與攝像機內(nèi)參數(shù)無關(guān)。本質(zhì)矩陣EO攝像機坐標(biāo)系v圖像像素坐標(biāo)系O’uxymm’612.兩視幾何本質(zhì)矩陣E(EssentialMatri2.兩視幾何

本質(zhì)矩陣E當(dāng)攝像機內(nèi)參數(shù)K,K’已知時，當(dāng)F被求出時，可重建，即求出R，ttR622.兩視幾何本質(zhì)矩陣E當(dāng)攝像機內(nèi)參數(shù)K,K’已知時，如何從F中恢復(fù)P,P’?63如何從F中恢復(fù)P,P’?63如何從F中恢復(fù)P,P’?64如何從F中恢復(fù)P,P’?64如何從F中恢復(fù)P,P’?canoniccameramatrices:Rank=2,65如何從F中恢復(fù)P,P’?canoniccameramat給定一基本矩陣F，構(gòu)造投影矩陣對2.兩視幾何

有了投影矩陣和圖像點就可以通過三角化(Triangulation:computeintersectionoftwobackprojectedrays)實現(xiàn)重建射影重建66給定一基本矩陣F，構(gòu)造投影矩陣對2.兩視幾何有了投影理想情況下真實情況下67理想情況下真實情況下67LinearTriangulationmethodsSVD68LinearTriangulationmethodsSV幾何誤差possibilitytocomputeusingLM(for2ormorepoints)ordirectly(for2points)69幾何誤差possibilitytocomputeusiReconstructionambiguity:

projective70Reconstructionambiguity:

projTheprojectivereconstruction

theoremIfasetofpointcorrespondencesintwoviewsdeterminethefundamentalmatrixuniquely,thenthesceneandcamerasmaybereconstructedfromthesecorrespondencesalone,andanytwosuchreconstructionsfromthesecorrespondencesareprojectivelyequivalent71Theprojectivereconstruction

Findx,x’FindFFindP,P’FindX72Findx,x’72Stratifiedreconstruction(分層重建)ProjectivereconstructionAffinereconstructionMetricreconstruction73Stratifiedreconstruction(分層重建Affinereconstruction

仿射不變量：保持無窮遠平面不變。反之，亦然。保持平行性。保持物體的體積比、平行圖形（或共面圖形）的面積比、平行線段（或共線線段）的長度比不變12DOF74Affinereconstruction

仿射不變量：12Affinereconstruction

Buthowdoweobtainsoastoachieveaffinereconstruction?Anaffinereconstructioncanbesufficientdependingonapplications,e.g.calculatemid-point,centroid,parallelism75Affinereconstruction

ButhowTranslationalmotion(e.g.inacaronastraightroad,moon)Pointsatinfinityarefixedforapuretranslationreconstructionbythosexi?xiwhichareon,wecanobtainthe

andaffinereconstruction76Translationalmotion(e.g.inSceneConstraintsFind3pointswhichareknowntolieontheplaneatinfinity3setsofparallellinesallowtouniquelydetermine找三組平行線，求得V1,V2,V3求得最后77SceneConstraintsFind3pointsAvanishingpointvanditscorrespondinglinel’

([v]xP)X=0and(l’TP’)X=0SceneConstraints78AvanishingpointvanditscoSceneConstraintsDistanceratiosonaline交比不變性79SceneConstraintsDistanceratiSceneconstraints–

infinityhomography80Sceneconstraints–

infinityhReconstructionambiguity:

similarity（＝MetricandEuclideanreconstruction）81Reconstructionambiguity:

simiMetricReconstruction7DOF相似不變量：保持絕對二次曲線不變。反之，亦然。保持平行性。保持物體的體積比、平行圖形（或共面圖形）的面積比、平行線段（或共線線段）的長度比不變保角82MetricReconstruction7DOF相似不變量Keytoaffinereconstruction:planeatinfinityKeytometricreconstruction:absoluteconicMetricReconstruction83Keytoaffinereconstruction:848485858686878788888989射影變換仿射變換剛體變換交比不變，共線、共面性不變平行線變?yōu)槠叫芯€，不保持垂直關(guān)系，單比不變平行線變?yōu)槠叫芯€，保持垂直關(guān)系，線段的長度不變不同空間下的若干性質(zhì)相似變換平行線變?yōu)槠叫芯€，保持垂直關(guān)系，單比不變90射影變換仿射變換剛體變換交比不變，共線、共面性不變平行線變?yōu)閳A環(huán)點(the

circularpoints)平面上任何圓與無窮遠直線的交點：3點+2圓環(huán)點=5點確定一個圓91圓環(huán)點(thecircularpoints)平面上任何圓絕對二次曲線(TheAbsoluteConic)

歐氏空間中,無窮遠平面上的二次曲線:

稱為絕對二次曲線.它都由虛點構(gòu)成。任意一個球與無窮遠平面的交點：92絕對二次曲線(TheAbsoluteConic)AC性質(zhì)無窮遠直線交絕對二次曲線于兩點，這兩個點是通過該無窮遠線的平面的圓環(huán)點。絕對二次曲線是空間中所有平面的圓環(huán)點所構(gòu)成的集合，因而任意一個圓與絕對二次曲線交于兩個圓環(huán)點。設(shè)絕對二次曲線在無窮遠平面上的矩陣表示為，則它的任一點的切線為，反之。配極對應(yīng)也成立。93AC性質(zhì)無窮遠直線交絕對二次曲線于兩點，這兩個點是通過該無窮

絕對二次曲線的像與照相機的內(nèi)參數(shù)緊密相連.假定照相機的內(nèi)參數(shù)為:

則絕對二次曲線的像是:

反之,如果絕對二次曲線的像已知,則K

可以被完全確定.94絕對二次曲線的像與照相機的內(nèi)參數(shù)緊密相連.假定照相機如果圓環(huán)點的像已知，也可以對照相機的內(nèi)參數(shù)構(gòu)成約束，通過解方程組來得到內(nèi)參數(shù)的值。假定m是圓環(huán)點的像，則：95如果圓環(huán)點的像已知，也可以對照相機的內(nèi)參數(shù)構(gòu)成約束，通過解方三維射影幾何點、空間直線、平面二次曲面扭三次曲線：與三維重建中的退化情況緊密相連。96三維射影幾何點、空間直線、平面6計算機視覺的多視幾何97計算機視覺的多視幾何7主要內(nèi)容1.單視幾何（單幅圖像測量）2.兩視幾何（EpipolarGeometry約束）3.三視幾何（TrifocalGeometry約束）98主要內(nèi)容1.單視幾何（單幅圖像測量）81.單視幾何991.單視幾何91.單視幾何成像平面攝像機坐標(biāo)系ZXYOMm成像平面O1001.單視幾何成像平面攝像機坐標(biāo)系ZXYOMm成像平面O101.單視測量從單幅圖像中恢復(fù)場景的全部或部分三維信息運用射影幾何理論，探索利用單幅圖像實現(xiàn)場景測量所需的圖像信息以及場景信息，從而實現(xiàn)對場景中距離、面積、體積等的測量1011.單視測量從單幅圖像中恢復(fù)場景的全部或部分三維信息111.單視測量利用超聲波、激光等來測量，很容易受到外界不可預(yù)測反射等因素的影響。基于圖像的測量技術(shù)，因其所需的只是場景圖像，所以更靈活、方便、即時、準(zhǔn)確。具有非常廣泛的應(yīng)用前景，如法庭取證、交通事故現(xiàn)場的測量、建筑物測量等等很多方面。1021.單視測量利用超聲波、激光等來測量，很容易受到外界不可預(yù)1.單視測量1031.單視測量13空間平面與其圖像平面間的關(guān)系可由平面Homography:H來表示(一個的矩陣).一般將空間平面假設(shè)為,即X-Y

平面,則：成像平面攝像機坐標(biāo)系ZXYOMmXwYw1.單視測量之平面測量104空間平面與其圖像平面間的關(guān)系可由平面Homography:1.

單視測量之平面測量

如果4個空間點已知，則由它們可線性求解H：然后通過將圖像點反投到空間平面，實現(xiàn)空間平面上的測量距離、面積、夾角1051.單視測量之平面測量如果4個空間點已知，

已知一個空間平面的homography和此平面法向量方向的一組平行線、某個線段的距離，或已知另一個平面的位置，可測：體積、身高、兩個平面的距離、兩個平面內(nèi)的兩個點之間的距離1.單視測量之空間測量106已知一個空間平面的homography和此平面法向量方1.單視測量物體體積的測量結(jié)果：V1Realvolume: 109265.0cm3

Measuredvalue: 110018.9cm3

Relativeerror: 0.69%

V2Realvolume: 26826.7cm3

Measuredvalue: 26628.2cm3

Relativeerror: 0.74%1071.單視測量物體體積的測量結(jié)果：172.兩視幾何1082.兩視幾何182.兩視幾何1092.兩視幾何192.兩視幾何外（對）極幾何（Epipolargeometry）基本矩陣F、本質(zhì)矩陣E1102.兩視幾何外（對）極幾何（Epipolargeomet三個問題CorrespondenceGeometry給定mi，mi’在哪里CameraGeometry(motion)給定mi～mi’,P,P’是什么？SceneGeometry(Structure)給定mi～mi’,P,P’,M在哪里？2.兩視幾何111三個問題CorrespondenceGeometry2.2.兩視幾何之外極幾何外極幾何是研究兩幅圖像之間存在的幾何。它和場景結(jié)構(gòu)無關(guān)，只依賴于攝像機的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面。1122.兩視幾何之外極幾何外極幾何是研究兩幅圖像之間存在的幾何2.兩視幾何之外極幾何如果只知道C,C’,x的話，會得到什么？1132.兩視幾何之外極幾何如果只知道C,C’,x的話，會得到什2.兩視幾何之基本概念基線：連接兩個攝象機光心O（O’）的直線外極點：基線與像平面的交點外極平面：過基線的平面外極線：對極平面與圖像平面的交線基本矩陣F：對應(yīng)點對之間的約束1142.兩視幾何之基本概念基線：連接兩個攝象機光心O（O’）11525116262.兩視幾何世界坐標(biāo)系Ou攝像機坐標(biāo)系v圖像坐標(biāo)系O’R0,t0R’,t’如果將世界坐標(biāo)系取在第一個攝像機坐標(biāo)系上，則：R,t1172.兩視幾何世界坐標(biāo)系Ou攝像機坐標(biāo)系v圖像坐標(biāo)系O’R02.兩視幾何空間中一點在兩幅圖像上的成像分別為：極點極線基本矩陣的代數(shù)推導(dǎo)mm'l'ee'lCC'm'TFm=0M因此：1182.兩視幾何空間中一點基本矩陣F：是一秩為2的3×3矩陣，自由度為72.兩視幾何Mmm'l'ee'lOO'm'TFm=0外極點：外極線：119基本矩陣F：2.兩視幾何Mmm'l'ee'lOO'm'2.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應(yīng)的極線，將極點映射為0。不能提供對應(yīng)點間的一一對應(yīng)?；揪仃嚨淖儞Q作用Mmm'l'ee'lOO'm'TFm=0F0F如果，m，m’是一對對應(yīng)點，則：反之，不成立。1202.兩視幾何在兩幅圖像之間，基本矩陣將點m映射為對應(yīng)的2.兩視幾何H是一個射影變換矩陣，投影矩陣對和對應(yīng)相同的基本矩陣?；揪仃?212.兩視幾何H是一個射影變換矩陣，投影矩2.兩視幾何基于代數(shù)誤差的線性估計---8點、7點算法基于幾何誤差的非線性優(yōu)化基于RANSAC（RANdomSampleConsensus）思想的自動估計算法基本矩陣F的估計方法1222.兩視幾何基于代數(shù)誤差的線性估計---8點、7點算法基本2.兩視幾何一對對應(yīng)點，之間滿足約束：展開可以得到約束方程為：基本矩陣F的估計方法8點算法:1232.兩視幾何一對對應(yīng)點2.兩視幾何當(dāng)n>=8時，可以線性求解f。對于n對對應(yīng)的圖像點對可得到n個這樣的方程構(gòu)造向量:構(gòu)造矩陣:從而:基本矩陣F的估計方法8點算法:1242.兩視幾何當(dāng)n>=8時，可以線性求解f。對于n2.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使最小的算法8點算法：步驟：由對應(yīng)點(n>=8)集構(gòu)造矩陣A；對A進行奇異值分解，由向量構(gòu)造矩陣F對F進行SVD分解得到基本矩陣的估計基本矩陣F的估計方法8點算法:1252.兩視幾何基于代數(shù)誤差的估計方法是滿足某些約束下使基本矩126362.兩視幾何基本矩陣F的估計方法8點算法存在的問題:1272.兩視幾何基本矩陣F的估計方法8點算法存在的問題:37歸一化處理－規(guī)一化變換：對圖像點做位移變換，使得圖像的原點位于圖像點集的質(zhì)心；對圖像點做縮放變換，使得圖像點分布在以質(zhì)心為圓心半徑為的圓內(nèi)。128歸一化處理－規(guī)一化變換：38規(guī)一化8點算法：由對應(yīng)點，求F對兩幅圖像分別做規(guī)一化變換,得到新的對應(yīng)點集；有新的對應(yīng)點集和8點算法估計；基本矩陣

2.兩視幾何基本矩陣F的估計方法8點算法:129規(guī)一化8點算法：由對應(yīng)點左邊：未歸一化右邊：歸一化后130左邊：未歸一化右邊：歸一化后40左邊：未歸一化右邊：歸一化后131左邊：未歸一化右邊：歸一化后41上面曲線：未歸一化下面曲線：歸一化后點到極線的距離132上面曲線：未歸一化下面曲線：歸一化后點到極線的距離422.兩視幾何

如果求解的基本矩陣F不滿足約束，即那么不存在向量e使得Fe=0，則在圖像中的對極線不交于同一點(對極點e

)。由于基本矩陣的秩為2，因此基本矩陣僅具有7個自由度，所以已知7對匹配點便足以確定基本矩陣?；揪仃嘑的估計方法7點算法:1332.兩視幾何如果求解的基本矩陣F不滿足約束2.兩視幾何基本矩陣F的估計方法7點算法:1342.兩視幾何基本矩陣F的估計方法7點算法:442.兩視幾何將估計基本矩陣的問題化為數(shù)學(xué)的最優(yōu)化問題，然后使用某種優(yōu)化迭代算法求解.算法如下：構(gòu)造基于幾何意義的目標(biāo)函數(shù)選取8點算法的結(jié)果作為迭代算法的初始值選取一種迭代方法（Levenberg-Marquardt方法），迭代求解最小化問題基本矩陣F的估計方法基于幾何誤差的優(yōu)化:http://www.ics.forth.gr/~lourakis/levmar/1352.兩視幾何將估計基本矩陣的問題化為數(shù)學(xué)的最優(yōu)化問題，然后2.兩視幾何常用準(zhǔn)則：(1)點到對應(yīng)極線距離的平方和

(2)反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:構(gòu)造基于幾何意義的目標(biāo)函數(shù)1362.兩視幾何常用準(zhǔn)則：(1)點到對應(yīng)極線距離的平方和基本矩2.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法基于幾何誤差的優(yōu)化:準(zhǔn)則(1):點到對應(yīng)極線距離的平方和1372.兩視幾何mm'l'ee'lOO’基本矩陣F的估計方法其中和是通過一定的方法進行射影重建所得的空間點的反投影圖像點.2.兩視幾何準(zhǔn)則(2):反投影距離基本矩陣F的估計方法基于幾何誤差的優(yōu)化:mm'ee'OO’138其中和是通過一定的方法進行射影重建所得的基于準(zhǔn)則(2)步驟：由線性算法求出基本矩陣的初始值;由對應(yīng)點和基本矩陣射影重建得到三維空間點坐標(biāo)；由三維空間點得到新的圖像點：

.2.兩視幾何基本矩陣F的估計方法基于幾何誤差的優(yōu)化:139基于準(zhǔn)則(2)步驟：2.兩視幾何基本矩陣F的估計方法基前面所講的所有的方法都假設(shè)沒有錯誤數(shù)據(jù)點(Outliers)。實際處理過程中可能會出現(xiàn)錯誤的數(shù)據(jù)點?？捎肦ANSAC方法(FischlerandBolles,1981)剔除錯誤的數(shù)據(jù)點140前面所講的所有的方法都假設(shè)沒有錯誤數(shù)據(jù)點(Outliers)2.兩視幾何例：利用RANSAC思想估計直線

基本矩陣F的估計方法RANSAC估計隨機選兩個點，作線測量每點support此線的程度(閾值)重復(fù)randomly選點(次數(shù))由眾多中選thelinewithmostsupport(多大)1412.兩視幾何例：利用RANSAC思想估計直線基本矩陣2.兩視幾何基本思想通過迭代地隨機抽取最小點集來找出所謂的一致集(即Inliers所占比例最高的最小點集)

用此最小點集估計的基本矩陣和所識別出的Inliers一起進行進一步非線性優(yōu)化，從而得到最終的基本矩陣估計值基本矩陣F的估計方法RANSAC估計1422.兩視幾何基本思想基本矩陣F的估計方法RANSAC估計閾值t的確定經(jīng)驗值如果度量誤差～，則～（m=codimensionofthemodel）143閾值t的確定經(jīng)驗值～（m=codimensionofth采樣次數(shù)N目標(biāo)：在N次采樣中，至少有一次采樣，所有的點(共S個)都是inliers.以概率p(e.g.=99%)保證至少有一次。144采樣次數(shù)N目標(biāo)：在N次采樣中，至少有一次采樣，所有的點(共S一致集的大小T145一致集的大小T55完整流程給定一對圖像Find基本矩陣F和對應(yīng)點對提取圖像點尋找對應(yīng)點對計算F,e146完整流程給定一對圖像56特征提取程序SIFT:http://www.cs.ubc.ca/~lowe/keypoints/?Scale-InvariantFeaturesTransform?FeaturedescriberKLT:/~stb/klt/?Kanade-Lucas-Tomasi?FeatureTracker147特征提取程序SIFT:57AutomaticcomputationofFInterestpointsPutativecorrespondencesRANSACrobustestimationNon-linearestimationGuidedmatchingRepeat4and5untilstable148AutomaticcomputationofFInte＝﹢149＝﹢59建議1.Donotuseunnormalizedalgorithms2.Quickandeasytoimplement:8-pointnormalized3.Better:enforcerank-2constraintduringminimization4.Best:MaximumLikelihoodEstimation(minimalparameterization,sparseimplementation)150建議1.Donotuseunnormalized2.兩視幾何本質(zhì)矩陣E(EssentialMatrix)由攝像機的外參數(shù)確定，與攝像機內(nèi)參數(shù)無關(guān)。本質(zhì)矩陣EO攝像機坐標(biāo)系v圖像像素坐標(biāo)系O’uxymm’1512.兩視幾何本質(zhì)矩陣E(EssentialMatri2.兩視幾何

本質(zhì)矩陣E當(dāng)攝像機內(nèi)參數(shù)K,K’已知時，當(dāng)F被求出時，可重建，即求出R，ttR1522.兩視幾何本質(zhì)矩陣E當(dāng)攝像機內(nèi)參數(shù)K,K’已知時，如何從F中恢復(fù)P,P’?153如何從F中恢復(fù)P,P’?63如何從F中恢復(fù)P,P’?154如何從F中恢復(fù)P,P’?64如何從F中恢復(fù)P,P’?canoniccameramatrices:Rank=2,155如何從F中恢復(fù)P,P’?canoniccameramat給定一基本矩陣F，構(gòu)造投影矩陣對2.兩視幾何

有了投影矩陣和圖像點就可以通過三角化(Triangulation:computeintersectionoftwobackprojectedrays)實現(xiàn)重建射影重建156給定一基本矩陣F，構(gòu)造投影矩陣對2.兩視幾何有了投影理想情況下真實情況下157理想情況下真實情況下67LinearTriangulationmethodsSVD158LinearTriangulationmethodsSV幾何誤差possibilitytocomputeusingLM(for2ormorepoints)ordirectly(for2points)159幾何誤差possibilitytocomputeusiReconstructionambiguity:

projective160Reconstructionambiguity:

projTheprojectivereconstruction

theoremIfasetofpointcorrespondencesintwoviewsdeterminethefundamentalmatrixuniquely,thenthesceneandcamerasmaybereconstructedfromthes