三維重建過(guò)程課件

1、三維重建過(guò)程1圖像預(yù)處理2特征點(diǎn)檢測(cè)與匹配3相機(jī)標(biāo)定4計(jì)算基礎(chǔ)矩陣與本質(zhì)矩陣5稠密點(diǎn)云的網(wǎng)格化目錄圖像預(yù)處理 圖像預(yù)處理的目的在于改善圖像的視覺(jué)效果，提高圖像的清晰度，有選擇的突出某些感興趣的信息，抑制無(wú)用的信息，以提高圖像的使用價(jià)值。圖像平滑處理：形態(tài)學(xué)濾波、雙邊濾波、自適應(yīng)均值濾波、自適應(yīng)中值濾波、自適應(yīng)加權(quán)濾波等。椒鹽噪聲過(guò)濾算法：GA-BP神經(jīng)網(wǎng)絡(luò)噪聲檢測(cè)的自適應(yīng)濾波算法。 遺傳算法：Genetic Algorithm GA 反向傳播神經(jīng)網(wǎng)絡(luò)：Back BP BP特征點(diǎn)檢測(cè)與匹配 特征點(diǎn)問(wèn)題主要包括特征點(diǎn)的提取和特征點(diǎn)的匹配。特征點(diǎn)的通常理解為：某些鄰域變化比較大的點(diǎn)。如角點(diǎn)和噪聲，因

2、此特征點(diǎn)的本質(zhì)問(wèn)題可以歸結(jié)為：在抵抗一定的圖像畸變的情況下，保證特征點(diǎn)的正確提取和匹配。特征點(diǎn)提取方法：（1）加權(quán)平均Harris-Laplace特征點(diǎn)提取算法（2）基于SIFT算子的特征提取算法 尺度不變特征轉(zhuǎn)換 SIFT (Scale-invariant feature transform)用來(lái)偵測(cè)與描述影像中的 局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不 變量。該算子具有對(duì)圖像旋轉(zhuǎn)、縮放、光照變化和仿射變換保持不變性的特點(diǎn)。 SIFT 方法的主要思想為：首先建立高斯差分金字塔表征，然后將每個(gè)像素點(diǎn)與它周?chē)陌藗€(gè)點(diǎn)，以及上下相鄰層的十八個(gè)鄰域點(diǎn)，總共 26 個(gè)點(diǎn)作比

3、較。如果該點(diǎn)是極值點(diǎn)，那么就認(rèn)為該點(diǎn)為特征點(diǎn)，同時(shí)計(jì)算出該特征點(diǎn)的主方向。由此，就可以將特征點(diǎn)提取出來(lái)了。（3）基于SURF算子的特征提取算法 加速魯棒特征（Speeded-Up Robust Features）借鑒SIFT簡(jiǎn)化思想，借助積分圖和harr小波技術(shù)的使用，使模板對(duì)圖像的卷積可以通過(guò)加減運(yùn)算在線(xiàn)性時(shí)間內(nèi)完成。經(jīng)實(shí)驗(yàn)證明，SURF的檢測(cè)效率要明顯高于算法，且具備較優(yōu)的綜合性能。目前SURF算法在特征提取與匹配鄰域比較流行。特征點(diǎn)匹配方法：（1）NCC特征匹配 歸一化互相關(guān)（normalizes cross correlation）方法的優(yōu)點(diǎn)是它可以抵抗全局的亮度變化和對(duì)比度變化，并且

4、速度快。 缺點(diǎn)是：(a)不抗圖像縮放。(b)不抗大的視角的變化。(c)當(dāng)初始匹配點(diǎn)的錯(cuò)誤匹配率高于 40%的時(shí)候以上兩種方法失效。（2）SIFT特征匹配 主要思想是用特征點(diǎn)的 1616 的鄰域計(jì)算該鄰域的每個(gè)點(diǎn)的梯度。然后將 1616 的區(qū)域劃分為 44 的小區(qū)域，每個(gè)小區(qū)域的點(diǎn)向 8 個(gè)方向投影。這樣總共可以得到 448=128 維的特征向量描述符。特征點(diǎn)的匹配首先需要將特征點(diǎn)旋轉(zhuǎn)到它的主方向上，然后計(jì)算匹配點(diǎn)的 128 維特征描述符的歐式距離。距離最小的匹配點(diǎn)為正確匹配點(diǎn)。（3）SURF特征匹配 與Sift特征點(diǎn)匹配類(lèi)似，Surf也是通過(guò)計(jì)算兩個(gè)特征點(diǎn)間的歐式距離來(lái)確定匹配度，歐氏距離越短

5、，代表兩個(gè)特征點(diǎn)的匹配度越好。不同的是Surf還加入了Hessian（黑塞矩陣）矩陣跡的判斷，如果兩個(gè)特征點(diǎn)的矩陣跡正負(fù)號(hào)相同，代表這兩個(gè)特征具有相同方向上的對(duì)比度變化，如果不同，說(shuō)明這兩個(gè)特征點(diǎn)的對(duì)比度變化方向是相反的，即使歐氏距離為0，頁(yè)直接予以排除。相機(jī)標(biāo)定 相機(jī)標(biāo)定就是求出相機(jī)的內(nèi)部參數(shù)，最終得到內(nèi)參數(shù)矩陣K。相機(jī)標(biāo)定的方法：（1）Tsai的兩步標(biāo)定方法 其主要思想是首先利用透視變換原理線(xiàn)性求解出一些相機(jī)參數(shù)，接著把求得的這些參數(shù)作為非線(xiàn)性?xún)?yōu)化算法的初始值，只考慮相機(jī)的徑向畸變，通過(guò)優(yōu)化算法求解其余參數(shù)，從而相對(duì)于線(xiàn)性標(biāo)定方法提高了標(biāo)定的精度。（2）圓點(diǎn)模板標(biāo)定方法（3）張正友的平面標(biāo)

6、定方法 張正友結(jié)合傳統(tǒng)攝影測(cè)量標(biāo)定與計(jì)算機(jī)視覺(jué)自標(biāo)定優(yōu)勢(shì)，提出使用簡(jiǎn)易的平面標(biāo)定模板，通過(guò)多個(gè)角度獲取的圖像間單應(yīng)關(guān)系，高精度高效的求解出相機(jī)的內(nèi)參數(shù)與畸變參數(shù)。張正友標(biāo)定方法因其有效性、可靠性和靈活性而得到廣泛應(yīng)用。（4）相機(jī)自標(biāo)定方法 相機(jī)自標(biāo)定方法因其不需要額外的已知信息而具有極大的靈活性，受到廣泛的關(guān)注與研究。常見(jiàn)的方法有：直接求解Kruppa方程的自標(biāo)定法、分層自標(biāo)定法和基于絕對(duì)對(duì)偶二次曲面標(biāo)定法。目前應(yīng)用最廣泛的為利用絕對(duì)對(duì)偶二次曲面的標(biāo)定方法。計(jì)算基礎(chǔ)矩陣與本質(zhì)矩陣 基礎(chǔ)矩陣是對(duì)同一場(chǎng)景的兩幅圖像間約束關(guān)系的數(shù)學(xué)描述，是在未標(biāo)定圖像序列中存在的幾何結(jié)構(gòu)約束信息，隱式的包含了相機(jī)的

7、所有內(nèi)外參數(shù)。 對(duì)圖像進(jìn)行歸一化后，特殊的基本矩陣就可以表示成本質(zhì)矩陣。即基本矩陣是本質(zhì)矩陣的廣義形式，之所以本質(zhì)矩陣是基礎(chǔ)矩陣的特殊形式，是因?yàn)楸举|(zhì)矩陣多了一個(gè)假設(shè)條件。相比基礎(chǔ)矩陣，本質(zhì)矩陣缺少了自由度卻多出了一些性質(zhì)?；A(chǔ)矩陣計(jì)算方法：（1）歸一化8點(diǎn)算法 通過(guò)對(duì)線(xiàn)性法的計(jì)算過(guò)程與結(jié)果進(jìn)行分析，發(fā)現(xiàn)直接使用原始的匹配點(diǎn)圖像坐標(biāo)構(gòu)成的系數(shù)矩陣會(huì)有比較大的條件數(shù)，影響計(jì)算結(jié)果。所以提出在應(yīng)用點(diǎn)法前，對(duì)原始數(shù)據(jù)做各向同性變換的歸一化處理的歸一化8點(diǎn)算法。該方法可以降低噪聲的干擾，減小系數(shù)矩陣條件數(shù)大小，從而提高解算精度。（2）RANSAC算法 隨機(jī)抽樣一致性算法RANSAC（Random Sa

8、mple Consensus）可以在一組包含“外點(diǎn)”的數(shù)據(jù)集中，采用不斷迭代的方法，尋找最優(yōu)參數(shù)模型，不符合最優(yōu)模型的點(diǎn)，被定義為“外點(diǎn)”。本質(zhì)矩陣計(jì)算方法： 假設(shè)內(nèi)參矩陣分別為K1和K2的兩幅圖像之間的基礎(chǔ)矩陣為F，由此可以求得它們之間的本質(zhì)矩陣：E=k2TFK1。接著對(duì)本質(zhì)矩陣進(jìn)行分解（SVD分解方法），得到旋轉(zhuǎn)矩陣R和平移向量t。然后計(jì)算出兩幅圖像的投影矩陣P1和p2。利用投影矩陣獲得空間三維點(diǎn)的坐標(biāo)。稠密點(diǎn)云的網(wǎng)格化 通過(guò)上面的步驟可以得到基于圖像的三維點(diǎn)云，但要對(duì)空間物體的表面信息進(jìn)行重構(gòu)，需要對(duì)三維點(diǎn)云進(jìn)行三角剖分。三角剖分的方法：（1）平面投影法方法 采用投影映射的方法，將三維點(diǎn)云投影到二維平面上，接著對(duì)投影后的二維點(diǎn)進(jìn)行三角剖分，然后將二維剖分關(guān)系傳遞給三維點(diǎn)云的三角剖分。（2）直接剖分法方法 三角剖分所給點(diǎn)集R，保留原始點(diǎn)云的拓?fù)浣Y(jié)構(gòu)，實(shí)際上是對(duì)R的線(xiàn)性插值