中期考核報告

1、基于非郎伯材質(zhì)的高精度建模技術(shù)李敏 11121072導師：許端清中期考核報告目錄背景介紹關(guān)鍵技術(shù)研究內(nèi)容及目標等工作進展下一步工作計劃應用背景文物是人類在歷史發(fā)展過程中遺留下來的遺物、遺跡。文物的保護管理和科學研究，對于人們認識自己的歷史和創(chuàng)造力量，揭示人類社會發(fā)展的客觀規(guī)律，認識并促進當代和未來社會的發(fā)展，具有重要的意義。但隨著時間的推移，文物的本體會不斷退化，甚至消亡，所以文物的數(shù)字保存將具有十分重要的意義。文物數(shù)字化就是要客觀、準確、真實地記錄文物的三維形狀和表面紋理信息，具有廣闊的應用前景。文物高保真采集要求客觀、準確、真實的記錄文物的三維形狀和表面紋理信息應用背景文物特點幾何位置信息

2、準確且采集精度要高材質(zhì)多樣形狀多變 應用背景目前主要研究對象三維建模的是基于郎伯模型以及顏色一致性的假設，且物體多具有以下熱點： 不透明 剛性物體博物館主要研究對象博物館的館藏文物中有大量的玉器以及瓷器玉器多為半透明材質(zhì)，受非直接光照影響較為嚴重每一個瓷器本身的色彩都有其自身的特性，目前無法采集瓷器自身的特有屬性。Zhejiang University應用背景小結(jié) 需要可以控制光照的三維掃描測量技術(shù)技術(shù)背景 目錄背景介紹關(guān)鍵技術(shù)研究內(nèi)容及目標等工作進展下一步工作計劃關(guān)鍵技術(shù)結(jié)構(gòu)光掃描技術(shù)原理：將激光或者其它可見光構(gòu)成的點、線、面、光柵等形式的結(jié)構(gòu)光投射到被測物體上，利用雙目或多目視覺傳感器采集

3、經(jīng)物體表面調(diào)制的結(jié)構(gòu)光圖像，利用圖像處理技術(shù)得到被測物體的三維幾何信息和空間位置信息利弊：因為面結(jié)構(gòu)光三維掃描需要用到相機和投影儀等硬件設備，要獲得物體細微特征的三維精確數(shù)據(jù)，必須要提高三維數(shù)據(jù)的采集密度，一般可以通過提高圖像的分辨率的方法實現(xiàn)，雖然高分辨率的相機是容易獲得的，但是高分辨率的投影儀卻不容易找到關(guān)鍵技術(shù)光度立體視覺最初的光度立體視覺技術(shù)（The Photometric Stereo）假設了一個已知的重構(gòu)函數(shù)，即理想的朗伯體反射模型。采用一個相機和幾個發(fā)光強度相同的光源，保持相機和所拍攝的物體不動，通過改變光源的方向，同時拍攝物體在不同光源照射條件下的一組圖像，然后根據(jù)這些圖像計算

4、出物體的表面法向基于不同材質(zhì)選定光照模型標定光源方向根據(jù)標定的光源方向和圖像信息求解法向量關(guān)鍵技術(shù)基于光度立體視覺的表面精細特征三維重建技術(shù)光度立體-物體表面法向向從梯度重構(gòu)物體表面結(jié)構(gòu)光掃描-點云位置信息法向-梯度目錄背景介紹關(guān)鍵技術(shù)研究內(nèi)容及目標等工作進展下一步工作計劃研究內(nèi)容獲取特殊材質(zhì)物體的高精度模型特殊材質(zhì)物體的形狀高精度獲取材質(zhì)光度立體視覺全局光照理論高精度從梯度重構(gòu)物體表面研究目標高精度多材質(zhì)采集技術(shù)進行高精度采集。解決目前算法與高分辨率大數(shù)據(jù)量之間的不匹配問題，對目前的算法進行重新定位和改進，使高分辨率圖像的重構(gòu)成為可能，最終結(jié)果達到微米級別。研究特殊材質(zhì)的三維采集技術(shù)，考慮基

5、于更加接近實際情況的光照模型提出新的光度立體視覺算法。擬解決的關(guān)鍵問題如何準確獲取特殊材質(zhì)的三維形狀。三維采集的方法由來已久，但是非郎伯材質(zhì)由于其固有的材質(zhì)屬性導致的高光陰影以及全局光照等現(xiàn)象始終是三維建模領(lǐng)域的難點問題，故試圖提出新的算法采集特殊材質(zhì)。如何獲取物體的高精度三維模型。從梯度重建物體表面的方法實際是一個積分問題，在面對巨大計算量時，之前的方法不能夠很好的處理數(shù)據(jù)，所以要對之前的方法進行改進并提出新的算法。目錄背景介紹關(guān)鍵技術(shù)研究內(nèi)容及目標等工作進展下一步工作計劃工作進展完成學校要求課程承擔實驗室有關(guān)項目，負責實現(xiàn)改進核心算法，主要有“基于光度立體視覺的精細表面三維重建算法”等閱讀

6、相關(guān)方向的專業(yè)書籍和論文，跟蹤研究的前沿方向，并結(jié)合實際開發(fā)中遇到的科學問題明確研究方向，制定后面幾年的研究目標和研究計劃研究進展光度立體視覺及相關(guān)理論大量閱讀光度立體視覺方面的文獻，并學習相關(guān)理論，包括BRDF模型、PDE方程求解、全局光照理論以及圖像處理等方面的內(nèi)容總結(jié)近年來研究熱點：盡可能減少光度立體視覺對光照模型的研究，重點是基于各向同性的光度立體視覺研究，也有少部分研究半透明（全局光照現(xiàn)象）對光度立體視覺算法的影響，明確研究方向研究進展BRDF對于一個表面，它用來定義給定入射方向上的輻射照度（irradiance）如何影響給定出射方向上的輻射率（radiance）。更籠統(tǒng)地說，它描述

7、了入射光線經(jīng)過某個表面反射后如何在各個出射方向上分布這可以是從理想鏡面反射到漫反射、各向同性（isotropic）或者各向異性（anisotropic）的各種反射入射方向出射方向法向量研究進展理想鏡面反射理想漫反射一束光射向光滑表面，有確定的反射方向一束平行的入射光線射到粗糙的表面時，光線向四面八方均勻反射研究進展BRDF研究進展光度立體條件假設：物體表面為理想散射表面，即從所以觀察方向看它都是同樣亮的，并且完全反射所有入射光研究趨勢放寬條件，具體主要表現(xiàn)為：與其它理論（全局光照理論、光場傳輸理論等）結(jié)合，消除視覺中較難處理的互反射、子分表面反射等現(xiàn)象全局光照是指場景內(nèi)某一點光照的貢獻之外，也

8、要考慮場景中其他的點對該點最終顏色值的影響，這跟現(xiàn)實生活中的光照現(xiàn)象是一致的。全局光照，包括互反射和子分表面反射等理想漫反射的郎伯面更為接近實際情況的光照模型（isotropic，甚至半透明現(xiàn)象的物體）研究進展從梯度重建物體表面（surface reconstruction from gradient)理論上，梯度場的曲面積分是與路徑無關(guān)而只與起始點有關(guān)，即梯度場的旋度為0.但是在實際操作中，比如光度立體視覺等帶來誤差導致旋度不為0，即梯度場不可積分。在盡可能小的計算代價下，如何將不可積分路徑強制成可積分路徑是接下來的研究內(nèi)容。研究進展梯度場重構(gòu)表面Poisson Solver-surface

9、M-estimators實驗條件實驗設備計算機一臺投影機（1024768）一臺相機（4368832）四盞led光源 及光源控制系統(tǒng)相關(guān)軟件實現(xiàn)算法標定光源方向通過高光球圖像，查找圖像中的高光位置，通過高光位置來獲得反射光線的方向，進而推算光源方向?qū)崿F(xiàn)算法光度立體視覺求解法向量光源為無限遠處的點光源，或者均勻照明的平行光成像幾何關(guān)系為正交投影（平行投影）物體表面為理想散射表面，即從所以觀察方向看它都是同樣亮的，并且完全反射所有入射光設圖像一像素點的亮度為 ，其表面的單位法向量為 ,光源方向為 ，則根據(jù)朗伯體的反射模型有：Zhejiang University 實現(xiàn)算法 Image irradia

10、nce:We can write this in matrix form:實現(xiàn)算法部分實驗結(jié)果 314512 1248832實現(xiàn)算法存在問題對于理想輸入圖像（相機模型矯正、顏色一致性矯正、郎伯）最終結(jié)果比較理想（左圖）對陰影和高光等現(xiàn)象非常敏感，當物體為非郎伯體時，假設郎伯模型的方法會使結(jié)果有很多噪點（右圖）盡管算法中已經(jīng)加入對陰影和高光的操作，但當實際物體與假設的漫反射體差別較大時，結(jié)果誤差依然很大。實現(xiàn)算法從梯度重建物體表面假設有一個HW的圖像（y，x），p(y，x)，q（y，x）是關(guān)于圖像的不可積分梯度場。目標就是利用p，q求表面Z， 表示Z的梯度場，從梯度場回復物體表面，實際是最小化下

11、面的誤差函數(shù)：拉格朗日方程實現(xiàn)算法部分實驗結(jié)果實現(xiàn)算法存在問題只能獲得局部信息，故最后深度圖并不能夠準確反應真實的幾何形狀算法依賴初始值，如果初始值出現(xiàn)outlier，對整個結(jié)果影響很大實現(xiàn)算法精細重建輸入圖像，由光度立體視覺視覺直接計算出每一個點的法向量N 。由結(jié)構(gòu)光測量出物體表面的三維點L 。利用光度立體視覺的法向量計算出物體表面的梯度場。使用泊松方程通過梯度場重構(gòu)物體表面細節(jié)，同時加入結(jié)構(gòu)光三維點云的約束幾何形狀實現(xiàn)算法實驗結(jié)果籃球結(jié)構(gòu)光（1248832）點云數(shù)74399光度立體1（1248832）點云數(shù)165284光度立體2（24961664）點云數(shù)657889實現(xiàn)算法實驗結(jié)果 琉璃盤

12、結(jié)構(gòu)光（1248832）點云數(shù)215239光度立體1（1248832）點云數(shù)326086光度立體2（24961664）點云數(shù)1832162實現(xiàn)算法存在問題依賴于初始迭代值，如果初始值 中有偏離正常值距離很遠的異常 值點，誤差被擴散，可能會對全 局產(chǎn)生影響“空洞問題”對于某些非郎伯的 材質(zhì)局部會有高光現(xiàn)象發(fā)生， 結(jié)構(gòu)光掃描得到的高光部分為 空洞，后面的處理過程中由于光 度立體假設模型為漫反射體，所以 不能對“空洞”進行填補目錄背景介紹關(guān)鍵技術(shù)研究內(nèi)容及目標等工作進展下一步工作計劃下一階段計劃重難點問題及解決思路不同的材質(zhì)材質(zhì)對應不同的光照模型，對于實際中有些光照現(xiàn)象較為復雜的材質(zhì)使用簡單的郎伯假設是不能滿足要求的，針對非郎伯材質(zhì)的特性提出新的光度立體算法是難點之一。打算結(jié)合全局光照理論以及BRDF模型的性質(zhì)提出更為