基于OpenCV的結(jié)構(gòu)光三維視覺在泥石流表面重建中的應(yīng)用

1、兵工自動化 2010-11Ordnance Industry Automation 29(11 48doi: 10.3969/j.issn.1006-1576.2010.11.014基于OpenCV的結(jié)構(gòu)光三維視覺在泥石流表面重建中的應(yīng)用李洪雷1,管群1,胡凱衡2,3,楊宇1(1. 四川大學(xué)計算機學(xué)院,四川成都 610065;2. 中國科學(xué)院山地災(zāi)害與地表過程重點實驗室,四川成都 610041;3. 中國科學(xué)院-水利部成都山地災(zāi)害與環(huán)境研究所,四川成都 610041摘要:為了快速處理泥石流動力學(xué)實驗中所采集到的數(shù)據(jù),采用結(jié)構(gòu)光三維視覺原理,選用多線結(jié)構(gòu)光方式的主動式測量方法對其表面進(jìn)行三維重建

2、。先分析泥石流堆積扇的表面特征,并根據(jù)泥石流動力學(xué)實驗的實驗要求,成功地還原出泥石流堆積扇。實驗結(jié)果表明:該方法所使用的設(shè)備較簡單,能快速方便地滿足泥石流表面的三維測量要求。關(guān)鍵詞:結(jié)構(gòu)光;三維重建;泥石流;堆積扇;OpenCV中圖分類號:TP391.41 文獻(xiàn)標(biāo)識碼:AApplication of Structure Light 3D Vision Based on OpenCV in Reconstruction ofDebris-Flow SurfaceLi Honglei1, Guan Qun1, Hu Kaiheng2,3, Yang Yu 1(1. College of Compu

3、ter Science, Sichuan University, Chengdu 610065, China; 2. Key Laboratory of Mountain Disaster &Surface Processes, Chinese Academy of Sciences, Chengdu 610041, China; 3. Institute of Mountain Disaster & Environment, Chinese Academy of Sciences & Ministry of Water Conservancy, Chengdu 610041, China A

4、bstract: In order to process data collected in the debris-flow dynamics experiment quickly. Under structured light 3D vision principle, reconstruct 3D surface of debris-flow alluvial fan by using multi-line structured light active measurement. Firstly, analyze the surface characteristics of the debr

5、is-flow alluvial fan, and then reconstruct debris-flow alluvial fan successfully according to the requirements of debris-flow dynamics experiment. Experimental results show that this method, by using simple equipment, can meet the requirements of debris-flow surface measurement quickly and convenien

6、tly.Keywords: structure light; 3D reconstruction; debris-flow; alluvial fan; OpenCV0 引言從物體的二維圖像還原出其三維形狀是計算機視覺領(lǐng)域中的重點研究內(nèi)容之一。目前,基于結(jié)構(gòu)光的三維重建技術(shù)以其大量程、大視場、較高的精度、光紋信息提取簡單、實時性強和主動受控等特點,被廣泛地應(yīng)用在工業(yè)檢測、醫(yī)學(xué)診斷、航空航天和機器人自主導(dǎo)引等領(lǐng)域1。由Intel公司開發(fā)的OpenCV是一個優(yōu)秀的開放源代碼的計算機視覺庫,它實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法,具有良好的跨平臺移植性,是二次開發(fā)的理想工具2。故根據(jù)泥石流動

7、力學(xué)實驗的實驗要求,利用結(jié)構(gòu)光三維視覺原理對泥石流堆積扇表面進(jìn)行三維重建。1 OpenCV中的三維重建1.1 三維重建的分類三維曲面重建技術(shù)可分為接觸測量法和非接觸測量法,而非接觸測量法又包括主動式測量和被動式測量兩大類。一般來說,接觸式測量法精度很高,但速度慢,而且只適合測量幾何形狀簡單的物體;非接觸測量方法速度較快,但一般情況下,精度低于接觸式測量方法3。在泥石流動力學(xué)仿真實驗中,由于泥石流流速很快,既必須保證在不能破壞泥石流堆積扇原始形狀,又不能干擾實驗正常進(jìn)行的情況下,對其表面進(jìn)行三維重建,故接觸測量方法不適合用于泥石流表面的三維重建。被動式測量采用非結(jié)構(gòu)光照明方式,通常需要通過特征點

8、匹配運算來獲取被測物體的三維數(shù)據(jù),但該方法需要進(jìn)行大量的數(shù)據(jù)運算,當(dāng)被測物體上的各反射率沒有明顯差異時,運算將變得更加困難4。1.2 OpenCV中的三維重建OpenCV使用被動式測量中的立體視覺法進(jìn)行三維重建。該方法需要經(jīng)過攝像機標(biāo)定、特征提取、特征點匹配等步驟實現(xiàn)。而特征點匹配是其中的關(guān)收稿日期:2010-05-23;修回日期:2010-06-17基金項目:國家自然科學(xué)基金項目(40701014;中科院知識創(chuàng)新重要方向項目(KZCX2-YW-302;中科院成都山地災(zāi)害與環(huán)境研究所創(chuàng)新工程項目基金資助項目(1100001062作者簡介:李洪雷(1982-,男,山東人,碩士研究生,從事計算機視

9、覺和數(shù)字圖像處理。李洪雷,等:基于OpenCV 的結(jié)構(gòu)光三維視覺在泥石流表面重建中的應(yīng)用49第11期鍵步驟,但由于環(huán)境變化的復(fù)雜性,使得要得到一個可靠、穩(wěn)定的匹配算法變得十分困難2。特征點匹配可分為稀疏點匹配和密集點匹配兩種方法,其中,稀疏點匹配主要是對圖像中的角點、輪廓點等強特征點進(jìn)行匹配,然后再進(jìn)行插值運算;而密集點匹配是對圖像中的所有像素點進(jìn)行匹配2。2 泥石流堆積扇表面三維重建圖1為實驗過程中所拍攝的泥石流堆積扇,由 于圖中并沒有明顯的強特征點,因此不適合采用稀疏點匹配算法對其進(jìn)行重建。同時,圖像中大部分點不具有很強的特征性,且大部分區(qū)域灰度分布均勻,因此采用密集點匹配算法時將很容易產(chǎn)

10、生誤匹配。由此可以看出,也不適合用立體視覺法被動三維測量技術(shù)對其進(jìn)行三維重建,而應(yīng)采用主動式測量原理。 圖1 實驗過程中所拍攝的泥石流堆積扇由于實驗過程較長,所獲取的數(shù)據(jù)較多,要求采用快速、簡單的方法來完成實驗任務(wù)。從圖1還可以看出:泥石流堆積扇表面起伏不是很大,其表面高度沒有劇烈的變化。根據(jù)泥石流堆積扇的表面特征以及實驗要求,選用多線結(jié)構(gòu)光方式的主動式測量方法對其表面進(jìn)行三維重建:將一組能夠發(fā)出正交十字線的激光器所形成的激光網(wǎng)格均勻地照射在泥石流堆積扇表面,然后經(jīng)過攝像機標(biāo)定、結(jié)構(gòu)光標(biāo)定和三維重建3個步驟,便可將結(jié)構(gòu)光網(wǎng)格照射處的泥石流堆積扇表面重建出來。這樣,既避免了激光掃描法中精密復(fù)雜的

11、機械掃描設(shè)備的使用,又克服了光柵編碼法中需要對結(jié)構(gòu)光進(jìn)行編碼和解碼的困難5。 2.1 攝像機標(biāo)定OpenCV 中使用介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種由張正友6提出的closed -form 標(biāo)定方法。該方法通過在至少3個不同位置獲取平面靶標(biāo)的圖像,并利用攝像機坐標(biāo)系與空間坐標(biāo)系間的變換關(guān)系:11121314212223243132334111X X u m m m m Y Y s v m m m m A Z Z m m m m = (1求出攝像機的內(nèi)參數(shù)。其中,(X, Y, Z 為任一空間點坐標(biāo),(u, v 為該點相應(yīng)的圖像坐標(biāo),A 為攝像機內(nèi)參數(shù)矩陣。在實驗中,首先使用cvFindCh

12、essboardCorners 函數(shù)計算棋盤格中角點的位置,當(dāng)檢測到角點位置坐標(biāo)的粗略值時,再利用cvFindCornerSubPix 求取角點位置坐標(biāo)的精確值。最后,使用cvCalibrateCamera2便可計算得到攝像機的各內(nèi)外參數(shù)值。 2.2 結(jié)構(gòu)光標(biāo)定圖2為結(jié)構(gòu)光標(biāo)定的示意圖。圖2 結(jié)構(gòu)光標(biāo)定結(jié)構(gòu)光的標(biāo)定4是根據(jù)式 (2式 (7 確定結(jié)構(gòu)光平面在攝像機坐標(biāo)系下的平面方程。在實驗中,通過擺放標(biāo)定板的不同位置獲得2條相交直線L 1、L 2的直線方程,然后求出L 1、L 2所在的結(jié)構(gòu)光平面方程,見式 (8。c p c p c p x x y R y Tz z =+(2 c cn c c x

13、 z x x y y z =(3246(11(1(2(5d (2d d c c c d x x x k r k r k r x x y =+(4 22222(3(4(2d (3(22(4c c c c k xy k r x x k r y k xy +=+(5 (1(1(1(10(2(2(210011i c c d i c d x f ac f cc x y f cc x =(6222r x y =+ (70c c c ax by cz d += (8兵工自動化50第29卷其中,R和T分別為標(biāo)定板相對攝像機的旋轉(zhuǎn)和平移矩陣,x c、y c和z c為空間任意一點在攝像機坐標(biāo)系下的三維坐標(biāo),x i

14、和y i為該點的像素坐標(biāo),fc為相機焦距,cc為攝像機光心坐標(biāo),kc為相機畸變因子,ac為不確定因子。在標(biāo)定過程中,從圖像上選取2條相交直線L1、L2時存在一定的誤差,通過使用cvFitLine函數(shù)對選取的多個點進(jìn)行擬合,可減少這種由于操作不當(dāng)所引起的誤差。2.3 三維重建三維重建是結(jié)構(gòu)光三維測量過程中最后的重要步驟,通過該步驟可以將被測物體的表面三維輪廓還原出來,還可以檢測前面2個步驟,即攝像機標(biāo)定和結(jié)構(gòu)光標(biāo)定的結(jié)果正確與否,而提取結(jié)構(gòu)光光帶中心又是三維重建中非常重要的步驟。目前,提取線結(jié)構(gòu)光光帶中心的算法主要有:灰度閾值法、灰度極值法、灰度重心法、梯度重心法等。由于實驗要求能夠?qū)D像進(jìn)行快

15、速處理,精度要求在像素級別,因此,實驗中選用灰度極值法或灰度閾值法來對光帶中心進(jìn)行提取。三維重建的流程如圖3。 圖3 三維重建流程在實驗過程中,由于被測物體和周圍物體的表面反射、背景光照以及各種噪聲的影響,需要對采集到的圖像進(jìn)行濾波處理,以去掉噪聲信號?？赏ㄟ^cvSmooth函數(shù)利用中值濾波對結(jié)構(gòu)光圖像進(jìn)行處理,去除大部分的隨機噪聲7。由于結(jié)構(gòu)光條紋的灰度近似呈高斯分布,灰度閾值法將大于給定閾值的像素區(qū)域認(rèn)為是結(jié)構(gòu)光條紋,并利用灰度領(lǐng)域?qū)傩源_定結(jié)構(gòu)光條紋的中心8;而灰度極值法則將光帶區(qū)域的光強最大值處作為光帶的中心位置。由于實驗中使用的是能發(fā)出正交十字線的激光器,照射在泥石流堆積扇表面的是2組

16、互相垂直的結(jié)構(gòu)光平面(如圖4,在兩方向結(jié)構(gòu)光交點處的灰度值將出現(xiàn)陡增,為防止提取時在交點處偏離至另外的結(jié)構(gòu)光,還需要考慮剛提取過的結(jié)構(gòu)光條紋方向。當(dāng)提取完結(jié)構(gòu)光條紋的中心線后將中心線上的像素坐標(biāo)代入式(3式(8,即可得到泥石流堆積扇表面的三維點云。圖5為選定的某處需重建的泥石流堆積扇區(qū)域,圖 6為使用 OpenGL從2個側(cè)面4個角度所觀察到的重建后的泥石流堆積扇表面三維輪廓。為了便于觀察和計算泥石流堆積扇的高度,圖6中將實驗所用的水槽的側(cè)壁和槽底也重建了出來。圖4 照射在泥石流堆積圖5 需重建的泥石流堆扇表面的結(jié)構(gòu)光 積扇圖像圖6 重建后的泥石流堆積扇表面三維輪廓3 結(jié)束語實驗結(jié)果證明:該方法

17、快速簡單,既避免了使用精密復(fù)雜的機械掃描設(shè)備,又不需要對結(jié)構(gòu)光進(jìn)行編碼和解碼。同時,還充分利用了OpenCV開源計算機視覺庫在圖像處理和計算機視覺方面的優(yōu)勢,在一定程度上提高了開發(fā)效率、降低了開發(fā)難度。參考文獻(xiàn):1 劉國文, 閆達(dá)遠(yuǎn). 一種基于線結(jié)構(gòu)光的三維視覺曲面測量方法J. 光學(xué)技術(shù), 2005, 31(4: 554-556.2 陳勝勇, 劉盛, 等. 基于OpenCV的計算機視覺技術(shù)實現(xiàn)M. 北京: 科學(xué)技術(shù)出版社, 2008.3 楊萍, 唐亞哲. 結(jié)構(gòu)光三維曲面重構(gòu)J. 科學(xué)技術(shù)與工程, 2006, 6(19: 3057-3060.4 吳占偉. 泥石流表面三維形狀獲取及運動分析D. 合肥: 中國科學(xué)技術(shù)大學(xué), 2007.5 C.P.Keferstein, M.Marxer. Testing bench for lasertriangulation sensorsJ. Sens.Rev,1998, 18(3: 183-1