基于雙路圖像采集的三維模型構(gòu)建問題研究

1、    基于雙路圖像采集的三維模型構(gòu)建問題研究    費(fèi)建軍摘要：本文主要研究的是對(duì)同一物體的不同方向的兩張圖片進(jìn)行分析，并完成曲面重建。從同一的兩個(gè)不同角度獲取兩張圖像，并對(duì)其進(jìn)行特征匹配處理和密集匹配，最終可以得到一個(gè)形成3d點(diǎn)模型，經(jīng)過適當(dāng)處理可得模型。關(guān)鍵研究工作內(nèi)容如下：1）關(guān)于sift特征匹配的研究應(yīng)用sift特征匹配算法具有更好的優(yōu)勢，因?yàn)樗塬@取更穩(wěn)定的特征點(diǎn)，并能在圖像發(fā)生運(yùn)動(dòng)時(shí)依舊能正確匹配，具有較強(qiáng)的魯棒性，在目前匹配性能中表現(xiàn)最為突出，在基于特征的匹配中研究最普及的匹配算法。2）m估計(jì)抽樣一致性算法（msac算法）的研究應(yīng)用利用m

2、sac算法去除誤匹配點(diǎn)。關(guān)鍵詞：三維重建；msac；sift匹配：tp391 ：a ：1007-9416（2017）07-0137-05隨著vr/ar技術(shù)的興起與推廣，人們將其作為人類與計(jì)算機(jī)虛擬環(huán)境交互的一種手段。把虛擬現(xiàn)實(shí)技術(shù)看做推動(dòng)科技進(jìn)步的新工具。認(rèn)為其可以改變?nèi)祟惪茖W(xué)研究、工業(yè)設(shè)計(jì)和生產(chǎn)實(shí)踐的方式。雖然虛擬現(xiàn)實(shí)技術(shù)還存在著諸多技術(shù)難題，但已經(jīng)引起了人們的廣泛關(guān)注1。vr技術(shù)中涉及到大量模型的使用，并且對(duì)模型的復(fù)雜度和真實(shí)還原度有著更高的要求。傳統(tǒng)的三維建模技術(shù)成熟，但是建模所需要的人力和時(shí)間消耗過大，人們急于尋求一種快捷的建模方式?？紤]到人們能以現(xiàn)實(shí)中的物體作為模型的基礎(chǔ)，現(xiàn)在學(xué)者提

3、出利用計(jì)算機(jī)對(duì)獲取圖像進(jìn)行處理，提取出圖像中的模型，這樣生成的模型不僅快捷方便，而且更具真實(shí)感2。利用圖片建模具有時(shí)間短，逼真度較高的優(yōu)點(diǎn)3。伴隨著計(jì)算機(jī)視覺技術(shù)的研究和發(fā)展，它也呈現(xiàn)出豐富的發(fā)展趨勢，越來越多的方法被開發(fā)出來，它們都涉及了計(jì)算機(jī)視覺個(gè)個(gè)方面的知識(shí)4。該文對(duì)常見的五種常規(guī)建模方式進(jìn)行了說明（基于單幅圖像重建幾何模型、采用立體視覺方法重建幾何模型、同時(shí)恢復(fù)場景的幾何和相機(jī)的運(yùn)動(dòng)、基于側(cè)影輪廓線重建幾何模型、基于深度圖像重建幾何模型）對(duì)比其優(yōu)缺點(diǎn)。在經(jīng)過對(duì)比并且結(jié)合本文論點(diǎn)：快捷簡單地生成模型，所以采用了立體視覺方法重建幾何模型為重點(diǎn)闡述對(duì)象。1 常規(guī)模型優(yōu)缺點(diǎn)講解1.1 基于單幅

4、圖像重建幾何模型現(xiàn)在已有技術(shù)使用輸入的滅點(diǎn)信息和幾何不變量實(shí)現(xiàn)分片平面的幾何重建。利用用戶輸入的約束系統(tǒng)能從圖像中恢復(fù)基本的集合模型。通過一些基本幾何模型實(shí)現(xiàn)建筑環(huán)境的交互建模。這些方法都存在這一些缺陷，即需要大量的人機(jī)交互，并且需要很強(qiáng)的邏輯能力實(shí)現(xiàn)，沒有達(dá)到簡單快捷的建模目的。1.2 采用立體視覺方法重建幾何模型該方法利用兩幅及以上的圖像進(jìn)行模型重建，通過尋找兩幅圖像中的對(duì)應(yīng)點(diǎn)建立起點(diǎn)云模型，再進(jìn)一步處理成模型。其中，尋找對(duì)應(yīng)點(diǎn)是立體視覺中最困難的部分，實(shí)際物體表面復(fù)雜，還存在外界環(huán)境影響，這些都需要解決。1.3 同時(shí)恢復(fù)場景的幾何和相機(jī)的運(yùn)動(dòng)在傳統(tǒng)的圖像建模中，都需要對(duì)拍攝的相機(jī)進(jìn)行標(biāo)定

5、，但近年來，開始有學(xué)者研究如何免除這一步。他們希望通過多幅未標(biāo)定圖像同時(shí)恢復(fù)場景的幾何和相機(jī)的運(yùn)動(dòng)，使用未標(biāo)定的圖像有許多好處，例如不會(huì)受到相機(jī)自身參數(shù)的影響，并且可以改變相機(jī)的焦距等。這方面的創(chuàng)始人是 tomasi 團(tuán)隊(duì)，他們利用放射分解的方法從一系列的圖像中實(shí)現(xiàn)了這些成果。該方法相對(duì)較好，但是對(duì)設(shè)備要求很高，對(duì)圖像噪聲極為敏感。1.4 基于側(cè)影輪廓線重建幾何模型該方法是通過物體的側(cè)影輪廓線去了解物體的幾何形狀，當(dāng)以透視投影去多視角地分析空間物體時(shí)，我們能得到每個(gè)物體的側(cè)影輪廓線。分析輪廓線和對(duì)應(yīng)的透視投影中心，就能得到三維空間中一個(gè)一般形狀的錐體，所有這些椎體復(fù)合相交構(gòu)成了物體的空間包絡(luò)，

6、它被稱為物體的可見外殼。該方法缺點(diǎn)在于十分耗時(shí)，沒有體現(xiàn)其建?？旖菪?。1.5 基于深度圖像重建幾何模型上述方法均為基于亮度圖像的幾何模型重建，而那些方法的模型重建出來的模型往往存在不同的缺陷，模型精度和復(fù)雜度難以得到保證，此時(shí)基于深度圖像重建幾何模型重建得到了廣泛應(yīng)用?；谏疃葓D像模型重建方法為主動(dòng)方法，其他類似的方法還有基于陰影重建模型和柵格投影方法。主動(dòng)方法需要控制光照或利用特殊方式獲取三維物體信息，而亮度圖像只能被動(dòng)地接受物體的亮度信息，因此它們被稱為被動(dòng)法。相對(duì)于被動(dòng)法，主動(dòng)法能得到更加精確的模型，但是對(duì)設(shè)備的要求很高，同時(shí)實(shí)現(xiàn)過程復(fù)雜，無法達(dá)到該文簡單建模的要求5。2 雙路圖像采集中

7、的三維模型構(gòu)建分析本文主要主要目的是如何快捷便利的生成模型，故而重建幾何模型時(shí)采用的是立體視覺法。該方法是圖像建模方法的一個(gè)分支，是基于圖像幾何建模問題，主要研究如何從圖像中能夠抽取三維信息，并使之構(gòu)成萬為模型?；趫D像的幾何建模是將圖像中存在大量信息（光線、強(qiáng)度、物體輪廓等等）與相機(jī)參數(shù)相關(guān)聯(lián)，利用成像原理進(jìn)行逆運(yùn)算恢復(fù)物體三維信息。2.1 關(guān)鍵技術(shù)分析2.1.1 相機(jī)標(biāo)定物體成像時(shí)，其表面的三維空間位置和圖像間存在的對(duì)應(yīng)關(guān)系是由相機(jī)成像參數(shù)規(guī)定。所以相機(jī)參數(shù)是三維成像的關(guān)鍵，為了換算出相機(jī)參數(shù)，就必須對(duì)相機(jī)進(jìn)行標(biāo)定。其中有三個(gè)重要的坐標(biāo)：（1）世界坐標(biāo)（xw，yw，zw）：為了準(zhǔn)確描述物體

8、和相機(jī)的物理位置而建立的三維坐標(biāo)。如圖1所示。（2）攝像機(jī)坐標(biāo)系（xc，yc，zc）：用來描述相機(jī)相關(guān)信息的坐標(biāo)系。（3）圖像坐標(biāo)系為了表示圖像中的點(diǎn)而建立，可分為：圖像物理坐標(biāo)系（uov），以毫米為單位；圖像像素坐標(biāo)系（xoy），以像素為單位；如圖2所示。世界坐標(biāo)與相機(jī)坐標(biāo)的關(guān)系：設(shè)三維空間中存在一點(diǎn)p，它的坐標(biāo)為：世界坐標(biāo)系：（xw，yw，zw）、相機(jī)坐標(biāo)系：（xc，yc，zc），他們之間的關(guān)系為：endprint其中，參數(shù)r為3x3的正交旋轉(zhuǎn)矩陣，參數(shù)t為三維平移向量。通過研究針孔模型，透鏡成像焦距f，物距u和相距v的關(guān)系可由下列式子表示：我們可對(duì)上面的式子進(jìn)行轉(zhuǎn)化，以更好表示它們之間的

9、關(guān)系：相機(jī)標(biāo)定原理：上述部分所建立的坐標(biāo)系，是為了將圖像中的點(diǎn)與空間中的點(diǎn)產(chǎn)生對(duì)應(yīng)關(guān)系，以便能將從圖像中獲取的點(diǎn)正確放入所建三維模型中，可以通過坐標(biāo)對(duì)應(yīng)關(guān)系了解畸變?cè)蛞员阈拚?。如圖3所示。將上述公式導(dǎo)入針孔模型公式中得到可得其中k代表相機(jī)的內(nèi)部參數(shù)，參數(shù)r為3x3的正交旋轉(zhuǎn)矩陣，參數(shù)t為三維平移向量。2.1.2 尺度不變特征變換（sift）sift是通過檢測圖像局部特征而獲得特征點(diǎn)的算法，該算法通過求一幅圖像中的特征點(diǎn)以及有關(guān)尺度和方位，進(jìn)行圖像特征匹配，具有良好的效果。通過求圖像中的特征點(diǎn)等參數(shù)，進(jìn)行圖像匹配。一般需要做以下四步工作：（1）尺度空間極值檢測：需要檢測圖像的的物理位置和尺度空

10、間，為了更精細(xì)的探查尺度空間的不確定位置和沒有發(fā)現(xiàn)的特征點(diǎn)，采用了高斯差分函數(shù)進(jìn)行驗(yàn)證。（2）關(guān)鍵點(diǎn)定位：可以將關(guān)鍵點(diǎn)定位在圖像的所有候選點(diǎn)，這時(shí)還需要測試這些點(diǎn)的穩(wěn)定性，來確保獲得優(yōu)良數(shù)據(jù)。方向分配：所有關(guān)鍵點(diǎn)都有自己的方向，對(duì)于已分配的方向，所有后續(xù)操作都是針對(duì)其來執(zhí)行的。（3）方向分配：每個(gè)關(guān)鍵點(diǎn)位置需要有自己的方向，數(shù)量可為一個(gè)或多個(gè)，對(duì)于已經(jīng)分配方位，比例和位置的特征，以后所有的操作都是針對(duì)它們執(zhí)行的。（4）關(guān)鍵點(diǎn)描述符：在每個(gè)關(guān)鍵點(diǎn)附近的區(qū)域中需要測量局部圖像梯度，這時(shí)可以使用所選擇的尺度測量，這樣的轉(zhuǎn)化允許了一定量的圖像顯著形狀失真和光照的改變。該方法的使用提升了匹配能力，能夠從

11、圖像中獲取涉及各個(gè)尺度和位置區(qū)域的特征。在lowe的實(shí)驗(yàn)中得知尺度500x500像素的典型圖像可以產(chǎn)生大約2000個(gè)穩(wěn)定特征（這個(gè)數(shù)值會(huì)受到圖像內(nèi)容和各種參數(shù)選擇的影響）7。特征的數(shù)量對(duì)于對(duì)象識(shí)別特別重要，例如在檢測雜亂背景中的小物體，至少要正確匹配3個(gè)特征才能進(jìn)行可靠的識(shí)別。2.1.3圖像預(yù)處理（msac處理）-離群點(diǎn)移除這里介紹了一種魯棒估計(jì)器msac，可用于廣泛的各種估計(jì)任務(wù)。特別地，msac非常適合估算復(fù)雜表面的物體。在這里應(yīng)用于對(duì)由剛性運(yùn)動(dòng)相關(guān)的圖像之間存在的多個(gè)視圖關(guān)系的幾個(gè)估計(jì)。這些是兩個(gè)或多個(gè)視圖中的相應(yīng)圖像點(diǎn)之間的關(guān)系，并且包括例如對(duì)極幾何和投影，這些圖像關(guān)系用于幾個(gè)目的：（

12、a）匹配；（b）結(jié)構(gòu)恢復(fù)；（c）運(yùn)動(dòng)切割；（d）運(yùn)動(dòng)模型選擇。msac可以消除因匹配集相似度產(chǎn)生的誤匹配，即對(duì)初次匹配的特征點(diǎn)進(jìn)行進(jìn)一步的刪選。首先對(duì)初次匹配得到的匹配點(diǎn)進(jìn)行隨機(jī)采樣，然后通過反復(fù)迭代的方法，使得匹配點(diǎn)對(duì)的漢明距離和的代價(jià)比我們?cè)O(shè)定的閾值小，從而消除錯(cuò)誤匹配。3 三維模型構(gòu)建的簡單展示3.1 標(biāo)定過程3.1.1 輸入圖像（圖4）3.1.2 輸入標(biāo)定板中方塊長寬（圖5）通過計(jì)算得到的相機(jī)內(nèi)參數(shù)矩陣如圖6。參數(shù)保存在文本文件中，之后進(jìn)行讀取。同時(shí)分析對(duì)外參數(shù)，可得如圖7所示。3.2 sift特征點(diǎn)提取及匹配（1）關(guān)鍵點(diǎn)檢測：分為建立尺度空間（高斯差分金字塔：高斯模糊與圖像降采樣），

13、檢測dog尺度空間極值點(diǎn)，特征點(diǎn)優(yōu)化（精確定位與消除邊緣響應(yīng)）；（2）關(guān)鍵點(diǎn)描述：特征點(diǎn)方向分配，局部圖像描述符；（3）關(guān)鍵點(diǎn)匹配。部分關(guān)鍵代碼詳解：fprintf（sift：用構(gòu)造尺度空間dog.n）；tic；scalespace=gaussian（i，sigman，o，s，omin，-1，s+1，sigma0）；fprintf（高斯尺度空間計(jì)時(shí)：（%.3fs）n，toc）；tic；difofg=diffofg（scalespace）；fprintf（構(gòu)建相減尺度空間：（%.3fs）n，toc）；for o=1：scalespace.ofprintf（sift：計(jì)算“組” %dn，o-1+o

14、min）；tic；%scale space structure構(gòu)建尺度空間l.o=o；l.s=s；l.sigma0=sigma0；l.omin=omin；l.smin=smin；l.smax=smax；%first octave第一組%初始化第一組%l.octave1=zeros（m，n，smax-smin+1）；%初始化第一層%sig=sqrt（sigma0*ksmin）2-（sigman/2omin）2）；l.octave1（：，：，1）=smooth（i，sig）；%other sub-levels其它層%for s=smin+1：smaxdsigma=ks * dsigma0；l.oc

15、tave1（：，：，s+so）=smooth（.squeeze（l.octave1（：，：，s-1+so），dsigma）；end%只是記錄下了和用到的層數(shù)，并不為每層確定具體的尺度值，sigma0%具體尺度值可推導(dǎo)出來%轉(zhuǎn)化所有組%endprintforo=2：o%接下來從第二組開始%sbest=min（smin+s，smax）；tmp=halvesize（squeeze（l.octaveo-1（：，：，sbest+so）；%以第四層降采樣%sigma_next=sigma0*ksmin；sigma_prev=sigma0*k（sbest-s）；if（sigma_next>sigma_

16、prev）sig=sqrt（sigma_next2-sigma_prev2）；tmp=smooth（tmp，sig）；endm，n=size（tmp）；l.octaveo=zeros（m，n，smax-smin+1）；%初始化下一組l.octaveo（：，：，1）=tmp；%降采樣得到圖像作為該組第一層%other sub-levels其它層%fors=smin+1：smaxdsigma=ks*dsigma0；l.octaveo（：，：，s+so）=smooth（.squeeze（l.octaveo（：，：，s-1+so），dsigma）；endend再經(jīng)過關(guān)鍵點(diǎn)檢測-檢測dog尺度空間極值點(diǎn)

17、、關(guān)鍵點(diǎn)檢測-特征點(diǎn)優(yōu)化、關(guān)鍵點(diǎn)描述-特征點(diǎn)方向分配、關(guān)鍵點(diǎn)描述-局部圖像描述符關(guān)鍵點(diǎn)匹配：這里用的是歐氏距離的鄰近搜索方法，建立樹結(jié)構(gòu)，縮小搜索范圍。其中鄰域取值是關(guān)鍵，越大越準(zhǔn)確，然而計(jì)算量也越大。3.3 msac 消除誤匹配for trails=1：maxtrailssampleindicies=randperm（npoints，8）；f=eightpoint（points1homo（：，sampleindicies），points2homo（：，.sampleindicies）；pfp=（points2homo*f）；pfp=pfp.*points1homo；d=sum（pfp，1）.

18、2；inliers=coder.nullcopy（false（1，npoints）；inliers（dthreshold）=true；ninliers=sum（inliers）；% msac檢測dist=cast（sum（d（inliers），double）+threshold*（npoints-.ninliers）；if bestdist>distbestdist=dist；bestinliers=inliers；endend3.4 模型分析與進(jìn)一步處理在光線不足的情況下由于生成的匹配點(diǎn)過少，導(dǎo)致模型存在錯(cuò)漏，為了更好地完成模型，在戶外選取的物體，并對(duì)其四面進(jìn)行了拍攝，通過上述處理建模

19、后，對(duì)結(jié)果進(jìn)行了拼接，如圖8所示。拼合所得模型可生成如下點(diǎn)云模型，如圖9所示。最后，通過對(duì)模型進(jìn)行進(jìn)一步的處理，恢復(fù)其表面，如圖10所示。通過圖10可以看出，物體表面越平整，恢復(fù)得越好。而雜亂無章的花草及拼合處依然有缺陷，需要對(duì)模型進(jìn)行進(jìn)一步人工細(xì)化和平整。4 總結(jié)與展望由于虛擬現(xiàn)實(shí)中的仿真模擬具有突出的特點(diǎn)，所以vr技術(shù)不單位科學(xué)研究提供了新的認(rèn)知工具，并且已經(jīng)在而且會(huì)更將繼續(xù)的引起制造工業(yè)的巨大變革。在科學(xué)研究中，研究人員可以形象的討論高抽象的研究對(duì)象，并能精確的對(duì)其施加影響。利用圖片進(jìn)行三維模型的復(fù)原，以后也必將成為虛擬現(xiàn)實(shí)技術(shù)中的重要手段之一。由于圖像和相機(jī)所限，復(fù)雜模型的表面不夠細(xì)致，整體粗糙，同時(shí)暗光部分重建有待提高。同時(shí)由于時(shí)間，經(jīng)驗(yàn)和知識(shí)水平有限，整體過程存在諸多不足，例如特征點(diǎn)匹配可換做surf方法。之后的模型處理也沒有完成，根據(jù)查閱的資料，可使用meshlab對(duì)后續(xù)點(diǎn)云模型進(jìn)行處理。本文只起到了拋磚引玉的作用，希望各位同行提起興趣，為促進(jìn)虛擬現(xiàn)實(shí)技術(shù)的發(fā)展添磚加瓦。參考文獻(xiàn)1da.simon m.hebert t. techniques for