基于雙目視覺的三維重建課件

1、基于雙目視覺圖像的三維重建人機(jī)交互課程1.引言2.基于圖像的三維重建 2.1 攝像機(jī)標(biāo)定 2.2特征抽取與特征匹配 2.3三維空間點(diǎn)定位 2.4表面幾何建模 2.5紋理映射3.三維重建效果與應(yīng)用主要內(nèi)容 我們看到的世界是三維的。人機(jī)交互中計(jì)算機(jī)視覺方面的研究目的就是為了賦予計(jì)算機(jī)以人類的視覺認(rèn)知功能，使計(jì)算機(jī)具有通過二維圖像認(rèn)知三維世界的能力。1、引言 三維信息獲取的技術(shù)手段通常分三種： 第一種：利用三維建模軟件（如3DSMAX，AutoCAD等）構(gòu)造三維模型； 第二種：人們通過儀器設(shè)備直接獲取三維信息； 第三種：利用圖像或者視頻來重建三維模型； 最后一種基于圖像的三維建模方法，通過對物體實(shí)拍

2、的圖像序列或者圖像對來恢復(fù)出物體模型。根據(jù)重建算法的復(fù)雜性，建模過程也越來越自動化，使得人工勞動強(qiáng)度越來越輕，降低了建模成本。而建模所需的設(shè)備只需要一個(gè)普通的相機(jī)，適用于任何場景的重構(gòu)。 基于立體視覺的三維重建流程原始圖像攝像機(jī)基礎(chǔ)矩陣攝像機(jī)標(biāo)定特征點(diǎn)特征點(diǎn)對特征匹配特征點(diǎn)檢測對極線約束空間點(diǎn)定位點(diǎn)云模型表面幾何重建可見外殼紋理映射三維模型 2.1攝像機(jī)標(biāo)定 2.1.1定義與幾何意義 (1)定義：從攝像機(jī)獲取的圖像信息出發(fā)，計(jì)算三維空間中物體的幾何信息，并由此重建和識別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像

3、機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過程被稱為攝像機(jī)定標(biāo)(或稱為標(biāo)定)。 對圖像坐標(biāo)系，如圖，原點(diǎn) 定義為攝像機(jī)光軸與圖像平面的交點(diǎn)。若 在u，v坐標(biāo)系中的坐標(biāo)為 ，每一個(gè)像素在x軸與y軸方向上的物理尺寸為dx,dy，則圖像中任意一個(gè)像素在坐標(biāo)系下的坐標(biāo)有如下關(guān)系：寫為齊次坐標(biāo)形式 圖 圖像坐標(biāo)系 o寫成齊次坐標(biāo)形式為 （3）兩種攝像機(jī)模型a、小孔成像模型寫成齊次坐標(biāo)形式為 ofb、中心透視投影模型 由以上推導(dǎo)的公式 (5)幾何意義最終得到K蘊(yùn)涵了攝像機(jī)的焦距等內(nèi)部參數(shù)，被稱為內(nèi)參矩陣；(R,t)則反映了攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的方向和位置等外部參數(shù)，稱為外參矩

4、陣。 所以，求投影矩陣P的過程則成為攝像機(jī)的標(biāo)定。 通常，可以采用在攝像機(jī)取景范圍內(nèi)放置定標(biāo)物體的方法進(jìn)行攝像機(jī)定標(biāo)，其中定標(biāo)物體的三維形狀是已知的，即定標(biāo)物體上標(biāo)識點(diǎn)(也稱為參考點(diǎn))相對于物體本身坐標(biāo)系的三維坐標(biāo)是已知的。 目前廣為采用的定標(biāo)物體是一塊畫有棋盤格 的平板（如圖），只需要用攝像機(jī)從不同視角拍攝 這個(gè)平板，對每幅圖像提取標(biāo)識點(diǎn)(定標(biāo)板上已經(jīng)標(biāo) 記好位置)，從而獲得定標(biāo)板標(biāo)識點(diǎn)與圖像標(biāo)識點(diǎn)間 的對應(yīng)關(guān)系，這樣，對每幅圖像就可以確定一個(gè)投 影矩陣P，從而完成攝像機(jī)標(biāo)定。 2.2特征提取與特征匹配 2.2.1特征提取 特征提取，就是要從大量的圖像數(shù)據(jù)中選擇最能反應(yīng)景物屬性特征的因素，用

5、于特征匹配。在目前的特征提取算法中，經(jīng)常采用的是區(qū)域特征、邊緣特征和角點(diǎn)特征。為空間點(diǎn)的定位重建，這里采取提取特征點(diǎn)。圖像特征點(diǎn)提取方法有很多，可以定義某種算子(Harris算子、DoG算子等)，通過在圖像上尋找該算子的極值來提取圖像的特征點(diǎn)；也可以通過從圖像中提取邊緣，然后，在邊緣上搜索曲率最大的點(diǎn)作為特征點(diǎn)等等。圖 特征點(diǎn)的提取結(jié)果2.2.2特征匹配 圖像匹配是圖像處理中的重要課題，也是三維重建的一個(gè)重要步驟。是為了尋找同一空間場景在不同視點(diǎn)下投影圖像像素間的對應(yīng)關(guān)系。 對特征提取出的特征點(diǎn)來說，匹配即是在不同視角的圖像中找出特征點(diǎn)的對應(yīng)點(diǎn)，也稱對應(yīng)基元匹配。（1）對極幾何約束 設(shè)兩相機(jī)的

6、中心分別為C和C，兩圖像平面分別為I和I，X1、X2為共同視域中的場景空間點(diǎn)，它們在兩幅圖像平面上的投影點(diǎn)分別為 ， 。 已知點(diǎn)C，C， X1，X2構(gòu)成一個(gè)平面，稱為對極平面 ；該平面與成像平面I和I分別交于直線L和L，稱為極線。 對極幾何約束可以描述為：假設(shè)x和x分別為同一場景空間點(diǎn)X在兩幅圖像平面I，I上的像點(diǎn)，則x必定位于x對應(yīng)的極線L上，反之亦然。（2）匹配約束條件 a、唯一性：在給定的兩幅圖中，一幅圖中的一點(diǎn)，在另一幅圖中的對應(yīng) 匹配點(diǎn)至多只有一個(gè)，反之亦然。 b、相似性：對應(yīng)的特征應(yīng)該具有相同的屬性。在某種度量下，同一物理 特性在兩幅圖像中應(yīng)該表現(xiàn)出相似的性質(zhì)。 c、連續(xù)性：與觀察

7、點(diǎn)的距離相比，物體表面因凸凹不平引起的深度變化 是緩慢的，因而，視差的變化也是緩慢的，或者說視差具有連續(xù)性。 2.3三維空間點(diǎn)定位圖 三維空間點(diǎn)定位 如圖，m是提取的圖像特征點(diǎn)，通過特征匹配得到其在另一平面的匹配點(diǎn)為m。由攝像機(jī)標(biāo)定得知投影矩陣P和P，故可以得到這對匹配點(diǎn)（m，m）的反投影的兩條射線。當(dāng)匹配點(diǎn)滿足對極幾何約束時(shí)，反投影射線會在空間中相交，交點(diǎn)M的坐標(biāo)即為三維空間坐標(biāo)。 通常情況下，像點(diǎn)坐標(biāo)都存在測量誤差，使得對極幾何約束得不到滿足，無法使用反投影交點(diǎn)的方法得到三維空間坐標(biāo)。因此，需要計(jì)算出三維空間坐標(biāo)的最佳估計(jì)值，這個(gè)過程稱為三維空間點(diǎn)定位。 可用最小二乘法求取坐標(biāo)，或者用最大

8、似然估計(jì)法最小化投影誤差。2.4.2 表面重建與實(shí)現(xiàn) 對于散亂點(diǎn)云，尋找一種快速有效的曲面重建方法是當(dāng)前的一個(gè)研究熱點(diǎn)。 （1）根據(jù)重建曲面和數(shù)據(jù)點(diǎn)云之間的關(guān)系可以將曲面重建分為插值法和逼近法兩大類。前者得到的重建曲面完全通過原始數(shù)據(jù)點(diǎn)。后者得到的重建曲面是原始數(shù)據(jù)點(diǎn)的一個(gè)逼近。 （2）根據(jù)重建曲面表示形式的不同可以將曲面重建分為五大類：參 數(shù)曲面重建、隱式曲面重建、變形曲面重建、細(xì)分曲面重建和分片線 性曲面重建。 （3）根據(jù)曲面拓?fù)湫问降牟煌梢詫⑶嬷亟ǚ椒ǚ譃閮纱箢悾夯诰匦斡蚯娴姆椒ê突谌怯蚯娴姆椒??；诰匦斡虻那娼Ｖ饕嫦蛴行驍?shù)據(jù)點(diǎn)云，而基于三角域的曲面建模則是面向散亂數(shù)

9、據(jù)點(diǎn)云。這樣，經(jīng)過曲面重建算法，可以得到三維模型的可見外殼 2.5紋理映射 2.5.1紋理映射定義 在計(jì)算機(jī)圖形學(xué)中，為了使模型具有視覺上的真實(shí)感，常常預(yù)先定義一個(gè)紋理圖像，再通過某種映射算法建立物體表面點(diǎn)和紋理圖像像素點(diǎn)之間的對應(yīng)關(guān)系，合理填充紋理圖像像素，最后將紋理圖像覆蓋到三維表面上，這一過程就是紋理映射。 2.5.2紋理映射基本思想 紋理映射以多幅圖像為基礎(chǔ)，需要解決的問題是如何將存在于不同圖像中的紋理信息組織起來。 這就需要將圖像中的有用信息提取出來，用一張紋理圖像進(jìn)行表示。這部分工作通常包含兩個(gè)步驟：第一步是建立幾何模型與紋理圖像間的對應(yīng)關(guān)系；第二步是根據(jù)對應(yīng)關(guān)系合成紋理圖像。 圖

10、 紋理像素映射過程 2.5.3模型優(yōu)化 可見外殼一般以網(wǎng)格形式表示。網(wǎng)格中三角面片數(shù)目的多少，對模型的顯示速度及模型所需的存儲空間都有非常大的影響。 目前人們熟知的網(wǎng)格優(yōu)化技術(shù)包括網(wǎng)格平滑和網(wǎng)格簡化。在進(jìn)行紋理映射之前，采用適當(dāng)?shù)钠交秃喕惴▽W(wǎng)格結(jié)構(gòu)進(jìn)行優(yōu)化，有利于提高映射精度。 圖 可見外殼 2.5.4模型展開 空間六面體可以按照一定的對應(yīng)關(guān)系展開二維平面中?；谶@個(gè)思想，選定一個(gè)可以包圍三維模型的六面體，將模型向空間六面體的六個(gè)面進(jìn)行投影，再通過平面展開，就獲得了三維模型與二維平面間的對應(yīng)關(guān)系。 圖 模型平面參數(shù)化和柱面參數(shù)化圖 六面體的一種展開方式 2.5.5最終紋理合成 由同空間點(diǎn)定位的方法可知幾何模型與每幅彩色圖像之間的投影關(guān)系，我們可以計(jì)算出模型上的每一個(gè)三維點(diǎn)在各幅圖像上所對應(yīng)的象素。 經(jīng)過一些處理（面片可見性判斷、加權(quán)平均），就獲得了所有三維模型在紋理圖上對應(yīng)的紋理信息，也就臺成了模型的最終紋理圖像。在進(jìn)行繪制的時(shí)候只需通過新合成的紋理圖對模型進(jìn)行映射，就能正確的