視覺(jué)測(cè)量與三維重建課件

視覺(jué)測(cè)量與三維重建Computervisiontechnologyhasbeenwidelyappliedinmanyfields,suchasassocialproductionandlife.Itenablesdigitalcomputerhavetheabilityofrecoveringthesurroundingenvironmentandinformationfromthetwo-dimensionaldata,andcopyshumanvisualcognitiontocomputer.視覺(jué)測(cè)量與三維重建Computervisiontec目錄CONTENTS1稀疏點(diǎn)云重建Sparsepointcloudreconstruction2點(diǎn)云配準(zhǔn)pointcloudregistration4參考文獻(xiàn)Referencepaper3后期計(jì)劃Laterplan目錄CONTENTS1稀疏點(diǎn)云重建Sparsepoint01稀疏點(diǎn)云重建Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever01稀疏點(diǎn)云重建Doonethingatatime,稀疏點(diǎn)云重建步驟：（1）特征點(diǎn)的提取特征點(diǎn)指的是圖像灰度值發(fā)生劇烈變化的點(diǎn)或者在圖像邊緣上曲率較大的點(diǎn)(即兩個(gè)邊緣的交點(diǎn))。當(dāng)前比較常用的特征點(diǎn)提取算法：1）尺度不變特征變換算法（ScaleInvariantFeatureTransform，SIFT）2）加速魯棒特征算法（Speeded-UpRobustFeature，SURF）

場(chǎng)景的三維重建問(wèn)題可總結(jié)為：從二維空間中的點(diǎn)估計(jì)相機(jī)的位置、投影矩陣以及恢復(fù)場(chǎng)景在三維空間中的點(diǎn)。稀疏點(diǎn)云重建步驟：（1）特征點(diǎn)的提取場(chǎng)景的三維（2）圖像特征點(diǎn)匹配

在特征點(diǎn)提取完成之后，就需要對(duì)立體圖像進(jìn)行特征匹配，當(dāng)前常用的特征點(diǎn)匹配算法：1）歸一化互相關(guān)技術(shù)（NormalizedCrossCorrelationMethod，NCC）2）最近鄰算法（NearestNeighbor-NN）（3）去除誤匹配

上述特征點(diǎn)匹配方法會(huì)產(chǎn)生許多錯(cuò)誤點(diǎn)對(duì)，常用的去除誤匹配算法為RANSAC（RandomSampleConsensus）。其主要思想是：在模型參數(shù)估計(jì)中，為了消除異常樣本，最直觀的想法是找出一組不包含異常值的數(shù)據(jù)抽樣來(lái)進(jìn)行參數(shù)估計(jì)。RANSAC算法搜索M組數(shù)據(jù)，且M足夠大，就可以認(rèn)為在這M組中至少有一組不包含異常點(diǎn)，然后用這M組抽樣數(shù)據(jù)分別估計(jì)參數(shù)，根據(jù)一定的評(píng)選標(biāo)準(zhǔn)，找出最優(yōu)模型。利用最優(yōu)模型根據(jù)一定的規(guī)則對(duì)其他數(shù)據(jù)進(jìn)行篩選，確定最終模型參數(shù)。（2）圖像特征點(diǎn)匹配（3）去除誤匹配（4）SFM算法

在特征點(diǎn)提取和匹配完成之后，可以用SFM算法得到稀疏的三維點(diǎn)云。SFM（structurefrommotion）可以在不知道相機(jī)參數(shù)和場(chǎng)景三維信息的情況下通過(guò)迭代解出三維點(diǎn)云和相機(jī)矩陣。SFM開(kāi)源庫(kù)：*OpenMVGhttp://openmvg.readthedocs.io/en/latest/#*libMV/tag/libmv/*VisualSFMhttp://ccwu.me/vsfm/*Bundler/~snavely/bundler/（4）SFM算法（5）利用VisualSFM得到的結(jié)果（5）利用VisualSFM得到的結(jié)果視覺(jué)測(cè)量與三維重建ppt課件02點(diǎn)云配準(zhǔn)Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever02點(diǎn)云配準(zhǔn)Doonethingatatime,a很多時(shí)候，由于設(shè)備的顯示，我們需要從不同角度拍攝圖像，獲取點(diǎn)云數(shù)據(jù)，從而才能得到目標(biāo)的完整的點(diǎn)云。這些點(diǎn)云需要轉(zhuǎn)換到同一坐標(biāo)系下，這個(gè)過(guò)程被稱(chēng)為配準(zhǔn)過(guò)程。對(duì)于兩個(gè)點(diǎn)云來(lái)說(shuō)，配準(zhǔn)的目的就在于找到一個(gè)最優(yōu)的幾何變換使得兩個(gè)點(diǎn)云數(shù)據(jù)在同一坐標(biāo)系下最大程度的對(duì)齊融合。點(diǎn)云配準(zhǔn)最常用的是最近點(diǎn)迭代（IterativeClosestPoint，ICP）點(diǎn)云配準(zhǔn)算法。很多時(shí)候，由于設(shè)備的顯示，我們需要從不同角度拍ICP算法的基本原理是：分別在帶匹配的目標(biāo)點(diǎn)云P和源點(diǎn)云Q中，按照一定的約束條件，找到最鄰近點(diǎn)（pi，qi），然后計(jì)算出最優(yōu)匹配參數(shù)R和t，使得誤差函數(shù)最小。誤差函數(shù)為E（R，t）為：

其中n為最鄰近點(diǎn)對(duì)的個(gè)數(shù)，pi為目標(biāo)點(diǎn)云P中的一點(diǎn)，qi

為源點(diǎn)云Q中與pi

對(duì)應(yīng)的最近點(diǎn)，R為旋轉(zhuǎn)矩陣，t為平移向量。ICP算法原理ICP算法的基本原理是：分別在帶匹配的目標(biāo)點(diǎn)云（1）在目標(biāo)點(diǎn)云P中取點(diǎn)集pi∈P；（2）找出源點(diǎn)云Q中的對(duì)應(yīng)點(diǎn)集qi∈Q，使得||qi-pi||=min；（3）計(jì)算旋轉(zhuǎn)矩陣R和平移矩陣t，使得誤差函數(shù)最小；（4）對(duì)pi使用上一步求得的旋轉(zhuǎn)矩陣R和平移矩陣t進(jìn)行旋轉(zhuǎn)和平移變換，的到新的

對(duì)應(yīng)點(diǎn)集pi’={pi’=Rpi+t,pi∈P}；（5）計(jì)算pi’與對(duì)應(yīng)點(diǎn)集qi的平均距離；（6）如果d小于某一給定的閾值或者大于預(yù)設(shè)的最大迭代次數(shù)，則停止迭代計(jì)算。

否則返回第2步，直到滿(mǎn)足收斂條件為止。ICP算法步驟（1）在目標(biāo)點(diǎn)云P中取點(diǎn)集pi∈P；ICP算法步驟（1）原始點(diǎn)集的采集

均勻采樣、隨機(jī)采樣和法矢采樣（2）確定對(duì)應(yīng)點(diǎn)集

點(diǎn)到點(diǎn)、點(diǎn)到投影、點(diǎn)到面（3）計(jì)算變化矩陣

四元數(shù)法、SVD奇異值分解法

ICP算法重點(diǎn)問(wèn)題（1）原始點(diǎn)集的采集ICP算法重點(diǎn)問(wèn)題（5）ICP算法配準(zhǔn)結(jié)果（5）ICP算法配準(zhǔn)結(jié)果03后期計(jì)劃Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever03后期計(jì)劃Doonethingatatime,a（1）理解SFM算法完整過(guò)程（2）完成ICP算法及其優(yōu)化算法的編程（2）了解PMVS算法，實(shí)現(xiàn)點(diǎn)云的稠密重建（3）學(xué)習(xí)點(diǎn)云空洞填補(bǔ)的算法后期計(jì)劃（1）理解SFM算法完整過(guò)程后期計(jì)劃04參考文獻(xiàn)Doonethingatatime,anddowell.Neverforgettosaythanks”.Keepongoingnevergiveup.Whatever04參考文獻(xiàn)Doonethingatatime,a[1]SegalA,H?hnelD,ThrunS.Generalized-ICP[C]//DBLP,2009.[2]SerafinJ,GrisettiG.NICP:Densenormalbasedpointcloudregistration[C]//Ieee/rsjInternationalConferenceonIntelligentRobotsandSystems.IEEE,2015:742-749.[3]戴嘉境.基于多幅圖像的三維重建理論及算法研究[D].上海交通大學(xué),2012.[4]張明明.基于點(diǎn)云邊界特征點(diǎn)的改進(jìn)ICP算法研究[D].吉林大學(xué),2013.[5]DuS,ZhangC,WuZ,etal.RobustisotropicscalingICPalgorithmwithbidirectionaldistanceandboundedrotationangle[J].Neurocomputing,2016,215(C):160-168.[6]解則曉,徐尚.三維點(diǎn)云數(shù)據(jù)拼接中ICP及其改進(jìn)算法綜述[J].中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,40(1):99-103.參考文獻(xiàn)：[1]SegalA,H?hnelD,ThrunS2018謝謝聆聽(tīng)LobalStandardAdesignercanusedefaulttexttosi