雙目立體視覺三維重建技術(shù)

雙目立體視覺三維重建技術(shù)盧毅;李曉艷;徐熙平【摘要】使用兩臺CCD相機(jī)采集目標(biāo)物體的二維圖像，并對相機(jī)進(jìn)行標(biāo)定產(chǎn)生類似于人類的視差效果.再對二維圖像進(jìn)行立體匹配及深度信息的提取,最終完成目標(biāo)物體的三維重建.【期刊名稱】《長春工業(yè)大學(xué)學(xué)報（自然科學(xué)版）》【年（卷），期】2015（036）006【總頁數(shù)】5頁（P678-682）【關(guān)鍵詞】雙目視覺;像機(jī)標(biāo)定;立體匹配;深度提取;三維重建【作者】盧毅;李曉艷;徐熙平【作者單位】長春理工大學(xué)光電工程學(xué)院，吉林長春130022;長春理工大學(xué)光電工程學(xué)院，吉林長春130022;長春理工大學(xué)光電工程學(xué)院，吉林長春130022【正文語種】中文【中圖分類】TP391.70引言通過計算機(jī)或機(jī)器人實現(xiàn)像人類那樣靈活、高效的視覺，是科技工作者多年來為之努力的目標(biāo)。計算機(jī)視覺是計算機(jī)把采集的圖像經(jīng)過圖像處理、人工智能等手段來模擬人類或生物視覺系統(tǒng)功能，其研究的目標(biāo)是通過一幅或多幅二維圖像認(rèn)知（識別、理解、描述和存儲）三維場景信息（如形狀、大小、位置、姿態(tài)等幾何信息）的能力，雙目立體視覺是其重要分支之一［1-2］。根據(jù)仿生物學(xué)視覺系統(tǒng)原理，利用兩個CCD相機(jī)從不同的角度獲取兩幅數(shù)字圖像，通過立體匹配計算出兩幅圖像像素的位置偏差（即視差）來獲取這一場景的立體幾何信息與深度信息，并建立三維坐標(biāo)，重建該場景的三維形狀與位置關(guān)系［3-4］。雙目立體視覺系統(tǒng)由圖像采集、攝像機(jī)標(biāo)定、特征提出、立體匹配、三維信息恢復(fù)和三維信息重建等6部分組成［5-6］。Marr認(rèn)為計算機(jī)視覺是一個信息處理的過程，并分為3個層次，即計算理論層次、表達(dá)與算法層次和硬件實現(xiàn)層次，Marr視覺系統(tǒng)處理過程如圖1所示［7-8］。圖1Marr視覺系統(tǒng)處理過程1攝像機(jī)標(biāo)定雙目立體視覺系統(tǒng)利用兩臺CCD相機(jī)獲取兩幅二維圖像，通過相關(guān)算法，計算機(jī)得到該場景的三維坐標(biāo)及深度信息，進(jìn)而提取深度信息及三維重建。該場景中某點的三維坐標(biāo)與二維圖像中對應(yīng)點之間關(guān)系是由CCD相機(jī)的幾何模型決定的，幾何模型的參數(shù)就是攝像機(jī)的參數(shù)，它包括內(nèi)參數(shù)和夕卜參數(shù)。攝像機(jī)的參數(shù)通過實驗獲得，實驗及計算的過程就叫做攝像機(jī)的標(biāo)定［9-10］。CCD相機(jī)的成像模型在雙目立體視覺系統(tǒng)中，三維場景中的點與二維圖像中對應(yīng)點之間的聯(lián)系通過建立相機(jī)成像的幾何模型來確立。小孔透視成像幾何模型是一種最常用的幾何模型，它包括光心、光軸和成像平面三部分，其原理如圖2所示。圖2小孔透視成像幾何模型CCD相機(jī)標(biāo)定坐標(biāo)系從三維場景投影到相機(jī)二維像平面的過程中，主要涉及以下坐標(biāo)系。1.2.1圖像像素坐標(biāo)系用來表示三維場景中的點在二維圖像上的投影，坐標(biāo)用（u,v）表示像素在數(shù)組中的行數(shù)和列數(shù)，原點在平面圖像的左上角，u軸水平向右，v軸水平向下。1.2.2圖像物理坐標(biāo)系表征圖像像素的位置而像素沒有實際物理意義，用坐標(biāo)（x，y）來表示，原點在平面圖像中心。圖像坐標(biāo)系如圖3所示。圖3圖像坐標(biāo)系1.2.3相機(jī)坐標(biāo)系相機(jī)光心為原點，X、Y軸與圖像坐標(biāo)系X、Y光軸平行，光軸為Z軸與平面圖像的交點稱圖像主點，用（Xc，Yc，Zc）表示。1.2.4世界坐標(biāo)系表示三維場景點的絕對坐標(biāo)，也叫絕對坐標(biāo)系，用（Xw，Yw，Zw）表示。相機(jī)坐標(biāo)系與世界坐標(biāo)系如圖4所示。圖4相機(jī)坐標(biāo)系與世界坐標(biāo)系CCD相機(jī)標(biāo)定參數(shù)圖3描述了物理坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系，設(shè)主點O1在u，v坐標(biāo)系的坐標(biāo)為（u0，v0），每一個像素在u和v軸上物理尺寸為dx和dy，在不考慮畸變的情況下，變換關(guān)系如下：用矩陣形式表示如下：圖4描述了相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系，也就是外參數(shù)。夕卜參數(shù)表示相機(jī)在世界坐標(biāo)系中的位置和方向，用旋轉(zhuǎn)矩陣R和平移矢量T來表示。三維場景中某點P在世界坐標(biāo)系和相機(jī)坐標(biāo)系下的齊次坐標(biāo)分別為（Xw,Yw,Zw,1）T和（Xc,Yc,Zc,1）T，它們之間的關(guān)系為：由式（1）~式（3）得：式中：K—相機(jī)內(nèi)參數(shù);s——扭轉(zhuǎn)因子；P——3x4的投影矩陣。2雙目視覺立體匹配技術(shù)立體匹配研究的主要內(nèi)容是三維場景中不同角度拍攝的二維圖像像素之間的對應(yīng)關(guān)系，目的在于獲取精確的視差圖，進(jìn)而完成深度檢測。立體匹配過程大多采用灰度圖像進(jìn)行匹配，但二維圖像受到鏡頭畸變、圖像噪聲、物體幾何特征和光照等原因的影響，得到的圖像會有所差異。多種匹配方法都包含3個基本問題，即匹配基元、匹配準(zhǔn)則和匹配算法。從采集到的二維圖像中提取對應(yīng)的圖像特征，是立體匹配的核心步驟。用來描述圖像特征的元素稱之為基元，它包含特征點、邊緣、區(qū)域、相位和灰度圖像等。匹配基元的選取結(jié)果直接影響到視差圖的效果，成功的基元匹配應(yīng)具有唯一性、穩(wěn)定性、不變性、可區(qū)分性和有效解決歧義匹配的能力。源圖像中的一個特征點，在對應(yīng)的待匹配圖像中可能存在多個相似的候選匹配基元。因此必須引入一定的約束準(zhǔn)則作為輔助判據(jù)，來得到唯一正確的對應(yīng)關(guān)系。匹配準(zhǔn)則就是要去除不符合要求的干擾因素，提高抗誤匹配的能力，減少算法的計算量。采用廣為應(yīng)用的極限約束準(zhǔn)則來作為匹配準(zhǔn)則，如圖5所示。圖5極限約束準(zhǔn)則原理示意圖立體匹配的實質(zhì)就是研究如何在一定的約束準(zhǔn)則下，實現(xiàn)最佳搜索。現(xiàn)有的基于區(qū)域的匹配算法主要分為全局最優(yōu)搜索算法和局部最優(yōu)搜索算法。文獻(xiàn)［11］提出立體匹配算法的實現(xiàn)過程分為4步，即匹配代價計算、代價值聚合、視差計算和視差精度提升。3雙目視覺三維重建方法雙目立體視覺的三維重建就是指從采集到的兩幅二維圖像中恢復(fù)目標(biāo)物體的三維坐標(biāo)及幾何形狀的過程。三維目標(biāo)物體的深度信息隱含在兩幅二維圖像中，通過深度計算提取出這些隱含在二維圖像中的深度信息，再經(jīng)過空間點集的三維重建算法來進(jìn)行三維重建。雙目成像系統(tǒng)中兩臺CCD相機(jī)的光學(xué)中心之間的距離為基線B，空間某點坐標(biāo)投射到像平面坐標(biāo)分別為（x1，y1）和（x2，y2），雙目成像系統(tǒng)如圖6所示。兩臺CCD相機(jī)拍攝的同一目標(biāo)體上P點的兩幅圖像坐標(biāo)分別為（Xleft，Yleft）和（Xright，Yright），目標(biāo)物體上P點的深度距離為：式（5）中，視差為Disparity^Xleft-Yleft，基線B和焦距f為已知量，可以計算出P點的三維坐標(biāo)。這種通過左右投影點計算出空間點坐標(biāo)的方法，稱為點對點運(yùn)算。利用相關(guān)軟件對目標(biāo)體的三維坐標(biāo)進(jìn)行計算，顯示出三維模型經(jīng)過紋理粘貼得到真實三維模型。圖6雙目成像系統(tǒng)示意圖雙目立體成像視差圖如圖7所示。應(yīng)用本系統(tǒng)對復(fù)雜目標(biāo)進(jìn)行三維重構(gòu)，實驗結(jié)果如圖8所示。圖7雙目立體成像視差圖圖8復(fù)雜目標(biāo)的三維重建圖像圖8（a）為未經(jīng)過旋轉(zhuǎn)的立體圖，立體感不強(qiáng)，效果不明顯；（6）和（c）為三維空間內(nèi)經(jīng)過旋轉(zhuǎn)的圖像，圖中直線為物體旋轉(zhuǎn)的中心軸線，立體感較強(qiáng)；（d）為被測目標(biāo)的三維點云圖像。4結(jié)語介紹了基于雙目立體視覺對目標(biāo)體進(jìn)行三維重建的方法，著重分析了相機(jī)的標(biāo)定、立體匹配算法及深度信息的提取，實現(xiàn)了通過拍攝兩幅二維圖像重建三維場景的目標(biāo)，并達(dá)到了良好的效果。參考文獻(xiàn)：[1]MinglunGong,Yee-HongYang.Genetic-asedstereoalgorithmanddisparitymapevaluation[J].InternationalJournalofComputerVision,2002(1/3):63-77.[2]KrystianMikolajczyk,CordeliaSchmid.Scale&affineinvariantinterestpointdetectors[J].InternationalJournalofComputerVision,2004(1):63-86[3]劉慶華，唐伯良，董戎萍.雙目立體匹配圖像對的預(yù)處理研究[J].計算機(jī)工程與設(shè)計，2005,26(3):793-795.[4]邱茂林，馬頌德，李毅.計算機(jī)視覺中攝像機(jī)定標(biāo)綜述[J].自動化學(xué)報，2000,26(1):43-45.[5]羅桂娥，劉小群.區(qū)域與特征相結(jié)合的立體匹配算法[J].計算機(jī)安全，2011(5):14-17.[6]裴婭男.單幅圖像三維目標(biāo)定位及重建[J].長春工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2014,35(6):660-667.[7]曹之樂，嚴(yán)中紅，王洪.雙目立體視覺匹配技術(shù)綜述[J].重慶理工大學(xué)學(xué)報，2015,29(2):14-17.[8]張梁，徐錦法，夏青元.雙目立體視覺的無人機(jī)位姿估計算法及驗證[J].哈爾濱工業(yè)大學(xué)學(xué)報，2014,46(5):66-71.[9]戴玉艷，朱燦焰，季愛明，等.一種基于圖像處理的雙目視覺校準(zhǔn)方法[J].電子