基于圖像的三維建模技術(shù)綜述課件

1、基于圖像的3-D建模技術(shù)綜述 組員：目 錄總結(jié)與展望應(yīng)用實(shí)現(xiàn)方法基本分類引言測控技術(shù)與儀器電氣與信息工程學(xué)院引 言 對于計(jì)算機(jī)而言，其所能夠直接獲取到的數(shù)據(jù)源僅為二維平面圖像，相對于真實(shí)的三維景物無疑會存在著一定程度的信息丟失，因此利用二維圖像來重建三維物體便不可避免的成為一個(gè)重點(diǎn)問題。在實(shí)際工作中采用對同一物體從不同的角度分別成像，進(jìn)而對這些數(shù)據(jù)進(jìn)行分析、綜合來恢復(fù)出被攝物體的三維信息。測控技術(shù)與儀器電氣與信息工程學(xué)院測控技術(shù)與儀器電氣與信息工程學(xué)院基本分類1、傳統(tǒng)的三維建模技術(shù) 傳統(tǒng)的三維建模主要使用基于幾何造型的建模方法，由專業(yè)美術(shù)人員通過使用幾何造型軟件（如AutoCAD，3DsMax

2、，Maya等），運(yùn)用計(jì)算機(jī)圖形學(xué)與美術(shù)理論，創(chuàng)建出物體的三維模型。 測控技術(shù)與儀器電氣與信息工程學(xué)院基本分類 主動法基于圖像的建模 被動法 基于圖像的建?；趫D像的建模能夠生成物體精確的三維幾何模型，根據(jù)圖像采集時(shí)對光源是否進(jìn)行主動控制，基于圖像的幾何建?？梢苑譃橹鲃臃ㄅc被動法2 種。測控技術(shù)與儀器電氣與信息工程學(xué)院主動法Text優(yōu)點(diǎn)得到物體精確的表面細(xì)節(jié)特征缺點(diǎn)成本很高操作不便后期處理有損處理激光掃描法陰影法結(jié)構(gòu)光法基本分類測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法實(shí)現(xiàn)方法輪廓法運(yùn)動法明暗法紋理法交互法亮度法變焦法測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法輪廓法： 基于輪廓的建模（shape f

3、rom silhouettes/contours）通過分析物體多視角下的輪廓圖像（contour）或側(cè)影輪廓線（silhouette），得到物體的三維模型。19941983MartinLaurentini將物體所在的三維空間離散化成體素，并使用正向試探，剔除投影在輪廓區(qū)域外的體素，從而得到物體的三維模型?？梢暁な撬休喞獔D像反投影到三維空間中形成的三維錐殼的交集。測控技術(shù)與儀器電氣與信息工程學(xué)院199320022003SzeliskiFrancoTarini八叉樹數(shù)據(jù)結(jié)構(gòu)Marching Intersection結(jié)構(gòu)兼顧速度與精度測控技術(shù)與儀器電氣與信息工程學(xué)院效率最高通用性好建模速度快魯棒性

4、高復(fù)雜性低透明、紋理欠缺、特征點(diǎn)較少的物體的建模優(yōu)點(diǎn)缺點(diǎn)精度低物體大致的三維輪廓與拓?fù)漭斎朐匆蟾咻喞☉?yīng)用于人機(jī)交互、運(yùn)動跟蹤測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法亮度法：基于亮度的建模（shape from illumination）通過分析物體多個(gè)視角下圖像中亮度特征的一致性關(guān)系，恢復(fù)出其表面的深度信息，并得到其三維幾何模型。Concept亮度一致性算子亮度一致性對于滿足朗伯表面假設(shè)的物體，不論光源方向如何，相同的表面點(diǎn)從任何方向觀察都具有同樣的亮度顏色絕對差值算子誤差平方和算子歸一化互相關(guān)算子特殊算子（特殊物體）測控技術(shù)與儀器電氣與信息工程學(xué)院體素顏色法Seitz1997水平集的局部

5、優(yōu)化Faugeras1998搜索空間由三維降至一維Cheung2003通用體素顏色法Culbertson1999空間雕刻法Kutulakos2000測控技術(shù)與儀器電氣與信息工程學(xué)院逆向法 在圖像中搜索滿足亮度一致性的匹配點(diǎn)，使用立體視覺的三角測量原理，由這些特征點(diǎn)反算其對應(yīng)的三維點(diǎn)位置。基于立體視覺的建模 由于匹配點(diǎn)的搜索是一個(gè)高自由度的問題，簡單的搜索方法極易陷入局部最優(yōu)，這將極大地影響重建效果。因此，逆向法主要需解決匹配特征點(diǎn)的高效搜索問題。圖像校正極線幾何約束圖像間極線的對應(yīng)關(guān)系搜索的空間由二維降低到一維測控技術(shù)與儀器電氣與信息工程學(xué)院魯棒性差單點(diǎn)比較窗口比較精確性差（窗口形狀、大?。┗?/p>

6、于圖割的全局優(yōu)化（添加平滑性約束）Boykov1998點(diǎn)匹配測控技術(shù)與儀器電氣與信息工程學(xué)院靈活性低魯棒性低復(fù)雜性高優(yōu)點(diǎn)缺點(diǎn) 亮度法亮度信息無手工交互沒有嚴(yán)格的光照條件要求應(yīng)用于文物數(shù)字化、人臉自動建模全自動建模精度高測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法運(yùn)動法： 基于運(yùn)動的建模（shape-structure from motion）通過在2幅或多幅未定標(biāo)圖像中檢測匹配的特征點(diǎn)集，使用數(shù)值方法，同時(shí)恢復(fù)出相機(jī)運(yùn)動參數(shù)與場景幾何，并得到物體三維模型。HarrisKLTSIFT匹配特征點(diǎn)檢測算子 恢復(fù)出相鄰圖像間相機(jī)的位置關(guān)系測控技術(shù)與儀器電氣與信息工程學(xué)院因式分解Tomasi1992幾何約束

7、Faugeras1992射影重建仿射、度量與歐氏層次的重建測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)用價(jià)值高魯棒性高建模精度較低優(yōu)點(diǎn)缺點(diǎn) 運(yùn)動法不需預(yù)先標(biāo)定相機(jī)的參數(shù)，從而降低了對圖像采集過程的限制對光照條件圖像噪聲具有魯棒性應(yīng)用于室外場景、自然景觀、建筑物等的三維建模。測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法明暗法： 基于明暗度的建模（shape from shading）通過分析圖像中的明暗信息，運(yùn)用反射光照模型，恢復(fù)出物體表面的法向信息，從而得到其三維幾何模型?；诠舛攘Ⅲw視覺的建模使用同一視點(diǎn)、不同光照條件下得到的多幅圖像明暗信息，可以增加明暗度方程的約束，提高求解的精度與魯棒性Woodham

8、1999測控技術(shù)與儀器電氣與信息工程學(xué)院建模精度高全自動靈活性低魯棒性低復(fù)雜性高優(yōu)點(diǎn)缺點(diǎn) 明暗法精確地計(jì)算物體表面的法向量與深度值無手工交互沒有嚴(yán)格的光照條件要求應(yīng)用于文物數(shù)字化、人臉自動建模測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法紋理法：基于紋理的建模（shape from texture）通過分析單張圖像中物體表面重復(fù)紋理單元的大小、形狀，恢復(fù)出物體的法向、深度等信息，并得到三維幾何模型。 對于一個(gè)具有光滑表面并覆蓋了重復(fù)模式（紋理單元）的物體，當(dāng)被投影在二維圖像時(shí)，模式會發(fā)生一定程度的變形。射影變形透視收縮變形使得與圖像平面越遠(yuǎn)的紋理單元看上去越小使得與圖像平面角度越大的紋理單元看上去越

9、短測量變形量，反求物體表面法向、深度，測控技術(shù)與儀器電氣與信息工程學(xué)院從紋理梯度中恢復(fù)平面的法向Gibson1950特征分析法1981Witkin從等方性的紋理中恢復(fù)平面的法向 方法比較簡單，卻需要進(jìn)行精確的特征檢測，魯棒性較低，并且對圖像中紋理信息的利用率不高。測控技術(shù)與儀器電氣與信息工程學(xué)院譜分析法1976Bajesy傅里葉變換1990Brown等方性紋理重建1992Garding理論聯(lián)系紋理梯度與表面曲面1993Malik仿射變換重建2002Clerc小波分解存在過約束實(shí)用性較差僅適用于紋理單元結(jié)構(gòu)不發(fā)生改變2005Loh透視投影下的表面重建2006Forsyth正交投影下的表面重建紋理

10、單元拓?fù)涓淖儨y控技術(shù)與儀器電氣與信息工程學(xué)院通用性較低優(yōu)點(diǎn)缺點(diǎn) 紋理法與明暗法在數(shù)學(xué)上是等價(jià)的基于不同的理論依據(jù)建模精度對光照、噪聲不敏感、魯棒性強(qiáng)的優(yōu)勢測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法變焦法： 基于變焦的建模方法（shape from focus/defocus）通過分析相機(jī)焦距、光圈與圖像清晰度之間的關(guān)系，恢復(fù)出物體的深度，從而得到其三維模型。聚焦法失焦法 采集大量不同焦距下物體的圖像，對于每個(gè)表面區(qū)域，從中檢索出聚焦最佳的圖像，從而反求出物體的深度，并進(jìn)行重建。 在圖像采集的過程中，記錄下改變相機(jī)焦距的多張圖像，通過分析其不同區(qū)域的模糊程度，恢復(fù)出物體表面深度，從而進(jìn)行建模。測控

11、技術(shù)與儀器電氣與信息工程學(xué)院聚焦法2000Yun動態(tài)規(guī)劃的優(yōu)化方法1998Watanabe頻域法19992005失焦法FavaroRajagopalan統(tǒng)計(jì)法空域法2007Pradeep利用失焦形成的模糊2009Hasinoff共焦立體視覺法測控技術(shù)與儀器電氣與信息工程學(xué)院操作復(fù)雜優(yōu)點(diǎn)缺點(diǎn) 變焦法在采集圖像的過程中改變相機(jī)的焦距、光圈等設(shè)置物體表面的幾何細(xì)節(jié)對光照條件不苛刻建模效果差測控技術(shù)與儀器電氣與信息工程學(xué)院實(shí)現(xiàn)方法交互法： 基于交互的建模方法（shape from interaction）通過引入少量的用戶交互，為建模算法提供數(shù)據(jù)與約束信息，可以方便、快捷、魯棒地生成較精確的三維模型。

12、 這種方法結(jié)合了傳統(tǒng)手動建模與基于圖像自動建模的優(yōu)勢，實(shí)用性較強(qiáng)。二維圖像點(diǎn)三維空間點(diǎn)映射測控技術(shù)與儀器電氣與信息工程學(xué)院基于單張相片的漫游Horry1997基于滅點(diǎn)與幾何約束1999Cipolla滅點(diǎn)求取相機(jī)參數(shù)2000Criminisi單目度量技術(shù)只能處理一些比較規(guī)則的平面與幾何體測控技術(shù)與儀器電氣與信息工程學(xué)院基于復(fù)雜信息交互建?；跀?shù)據(jù)庫 交互建模直接使用交互的手段，給圖像中的像素設(shè)置復(fù)雜的深度、法向等信息，從而恢復(fù)得到三維模型?；谌四様?shù)據(jù)庫Blanz1999基于人體數(shù)據(jù)庫Mao2004基于建筑元素?cái)?shù)據(jù)庫Muller2006測控技術(shù)與儀器電氣與信息工程學(xué)院依賴客戶優(yōu)點(diǎn)缺點(diǎn) 交互法商業(yè)建模軟件的核心Autodesk ImageModeler；Google Sketchup避免建模過程的發(fā)散通用性較高依賴交互操作測控技術(shù)與儀器電氣與信息工程學(xué)院 應(yīng) 用12345Cycle 傳統(tǒng)應(yīng)用方向文物保存工業(yè)設(shè)計(jì)醫(yī)療康復(fù)影視制作游戲娛樂測控技術(shù)與儀器電氣與信息工程學(xué)院應(yīng) 用1非剛體的三維建模2特殊規(guī)模