雙目視覺傳輸系統(tǒng)攝像機標定與立體匹配

1、 密級： NANCHANG UNIVERSITY 學(xué) 士 學(xué) 位 論 文THESIS OF BACHELOR（2013 2017 年）題 目 雙目視覺相機標定與立體匹配算法研究 學(xué) 院： 信息工程學(xué)院 系 電子系 專業(yè)班級： 卓越通信131班 學(xué)生姓名： 蔣楊婷 學(xué)號： 6102213916 指導(dǎo)教師： 陳其綸 職稱： 講師 起訖日期： 摘要雙目視覺相機標定與立體匹配算法研究 專 業(yè)： 通信工程 學(xué) 號：6102213916學(xué)生姓名： 蔣楊婷 指導(dǎo)教師：陳其綸摘要本文基于雙目視覺圖像傳輸系統(tǒng)重點研究了攝像機標定與立體匹配兩個模塊。在攝像機標定中，重點闡述了三大坐標系、兩種攝像機模型以及張正友平

2、面標定法，基于Matlab實現(xiàn)了立體標定過程并對實驗結(jié)果進行了分析；在立體標定中，重點闡述了基于全局誤差能量最小化立體匹配算法和基于線性生長立體匹配算法的原理，基于Matlab仿真了立體匹配算法的實現(xiàn)過程，并就可靠度與計算量兩個指標對兩種匹配算法進行了比較分析。關(guān)鍵詞： 雙目視覺，攝像機標定，立體匹配，張正友平面標定，攝像機坐標系三維重建，模板匹配IIAbstractBinocular vision image transmission system design AbstractBased on the binocular visual image transmission system,

3、this paper focuses on the camera calibration and stereo matching .In the camera calibration, this study was expounded the three coordinates, the two kinds of camera models and ilf plane calibration method, camera calibration was implemented based on Matlab and the experiment results are analyzed; In

4、 stereo calibration, this study was expounded the principle of stereo matching algorithm based the global error energy minimization and stereo matching algorithm based on linear growth, and the implementation process of the stereo matching algorithm based on Matlab, and the reliability and the amoun

5、t of calculation of two indicators of the two matching algorithms are analyzed in comparison.Keyword: Binocular vision, camera calibration, stereo matching, ilf plane calibration, the camera coordinate system of 3 d reconstruction, template matching目錄目錄摘要IAbstractII第一章 緒論- 1 -1.1背景及研究意義- 1 -1.2國內(nèi)外研究

6、現(xiàn)狀- 1 -1.3論文的主要工作- 2 -1.4論文的組織結(jié)構(gòu)- 2 -第二章 雙目視覺系統(tǒng)- 3 -2.1雙目立體視覺系統(tǒng)簡介- 3 -2.2雙目立體視覺系統(tǒng)應(yīng)用- 4 -2.3攝像機立體標定- 4 -2.3.1像平面坐標系、攝像機坐標系和世界坐標系- 5 -2.3.2攝像機模型- 7 -2.3.3張正友標定平面標定- 9 -2.4立體匹配- 10 -2.4.1基于全局誤差能量最小化的區(qū)域匹配算法- 10 -2.4.2基于線性生長區(qū)域立體匹配算法- 11 -2.4.3從差距圖生成深度圖- 12 -2.5本章小結(jié)- 14 -第三章 立體標定與匹配- 14 -3.1雙目攝像機標定的實現(xiàn)- 15

7、 -3.1.1左右兩攝像機單目標定- 15 -3.1.2雙目立體視覺標定- 18 -3.1.3實驗結(jié)果分析- 20 -3.2立體匹配仿真結(jié)果- 20 -3.2.1基于全局誤差能量最小化區(qū)域匹配算法- 20 -3.2.2基于線性生長區(qū)域匹配算法- 23 -3.3不同匹配算法差異分析- 26 -3.4本章小結(jié)- 28 -第四章 總結(jié)與展望- 28 -4.1總結(jié)- 28 -4.2展望- 29 -參考文獻- 31 -致謝- 33 - 13 -第一章 緒論1.1研究背景與意義第一章 緒論隨著圖像處理，人工智能，計算機科學(xué)等相關(guān)學(xué)科的發(fā)展，計算機視覺的研究也得到了深入的發(fā)展1。雙目視覺系統(tǒng)技術(shù)作為計算機視

8、覺最重要的一個分支，在軍事、醫(yī)學(xué)、工業(yè)等領(lǐng)域都有著極其重要的作用，例如3D電影，谷歌視覺眼鏡、無人駕駛以及虛擬現(xiàn)實網(wǎng)上購物等技術(shù)為我們的生產(chǎn)生活提供了新的技術(shù)和工具，不斷改變著我們的生活。因此雙目視覺的研究發(fā)展對各個領(lǐng)域科技創(chuàng)新發(fā)展具有重要的價值。雙目視覺系統(tǒng)的設(shè)計原理源自于人類的視覺感知系統(tǒng)，模擬人眼獲取視覺范圍內(nèi)的物體信息?？陀^世界真實存在是3D的，但人眼或者攝像機獲取的圖像是顯示場景中物體的2D信息，人類視覺系統(tǒng)能夠通過大腦神經(jīng)網(wǎng)絡(luò)分析出空間中的物體3D信息。因此雙目視覺系統(tǒng)最終目標是利用計算機圖像處理，模式識別，人工智能等技術(shù)，對攝像機得到的圖像或者圖像序列進行處理，進而恢復(fù)圖像中的3

9、D信息，形成具有立體感的圖像。雙目視覺系統(tǒng)2中攝像機標定的目的是求解出攝像機內(nèi)外參數(shù)；立體匹配過程利用求解出的參數(shù)采用特定的算法獲取圖像的深度信息，還原圖像的立體感。因此，雙目視覺系統(tǒng)中的利用2D圖像獲取3D信息過程中，攝像機標定與立體匹配具有極其重要的地位。標定的精確度與立體匹配算法的可靠度直接影響獲取深度信息的準確性，后續(xù)三維重建優(yōu)劣以及最終實驗結(jié)果的整體效果。1.2國內(nèi)外研究現(xiàn)狀1、國內(nèi)研究現(xiàn)狀 浙江大學(xué)完全利用透視成像原理并結(jié)合雙目視覺技術(shù)設(shè)計出了機械系統(tǒng)。該系統(tǒng)可動態(tài)精準檢測多自由度裝置的位姿，僅需提取左右兩幅圖像必要的特征點，具有信息量少，速度快，無運動影響，精度高的特點3；東南大

10、學(xué)電子工程系提出了一種新雙目視覺立體匹配算法。該算法基于灰度相關(guān)多峰值極小化，可非接觸精密測量三維不規(guī)則物體(偏轉(zhuǎn)線圈)的空間坐標4； 哈工大采用異構(gòu)雙目活動視覺系統(tǒng)實現(xiàn)了全自主足球機器人導(dǎo)航。該系統(tǒng)包括一個固定在機器人頂部的攝像機和一個安裝在機器人中下部可以水平旋轉(zhuǎn)的攝像機，可以實現(xiàn)全自主足球機器人導(dǎo)航5；火星863計劃課題“人體三維尺寸的非接觸測量”，采用“雙視點投影光柵三維測量”原理，通過對雙攝像機獲取的左右圖像進行圖像處理，獲取人體圖像上任意一點的三維坐標，從而計算出服裝設(shè)計所需的人體特征尺寸6。2、國外研究現(xiàn)狀日本岡山大學(xué)研制了視覺反饋系統(tǒng)，該系統(tǒng)使用立體顯微鏡和雙目攝像機控制微操作

11、器對細胞進行操作，進行基因注射和微裝配等微操作7；麻省理工學(xué)院計算機系統(tǒng)提出了一種新的傳感器融合方式，并將其運用于智能交通上，該方法采用雷達系統(tǒng)和雙目立體視覺得到目標深度信息，再結(jié)合改進的圖像分割算法，能夠在高速環(huán)境下對視頻圖像中的目標位置進行分割8；華盛頓大學(xué)與微軟公司合作研制了寬基線立體視覺系統(tǒng)9。1.3論文的主要工作本文重點圍繞雙目立體視覺系統(tǒng)技術(shù)進行探究，其中重點闡述攝像機標定與立體匹配兩個重要模塊。本文通過攝像機的線性模型與非線性模型探討出了攝像機內(nèi)外參數(shù)的理論求解公式，敘述了張正友平面標定法10 基本原理，提出了基于全局誤差能量最小立體匹配算法11和基于線性生長立體匹配算法12兩種

12、匹配算法。并且均基于Matlab進行實驗，對實驗結(jié)果進行了探究，對兩種算法進行了利弊分析。1.4論文的組織結(jié)構(gòu)第一章：緒論。主要闡述雙目視覺系統(tǒng)的研究背景與意義以及國內(nèi)外研究發(fā)展現(xiàn)狀。第二章：雙目視覺系統(tǒng)。簡單介紹雙目視覺系統(tǒng)及其應(yīng)用，重點探究了攝像機標定與立體匹配兩個模塊的理論知識。第三章：立體標定與匹配?；贛atlab敘述立體標定和匹配的仿真過程，并對實驗結(jié)果進行分析。第四章：總結(jié)與展望。對論文內(nèi)容進行總結(jié)，對今后工作進行展望。第二章 雙目視覺系統(tǒng)第二章 雙目視覺系統(tǒng)2.1雙目立體視覺系統(tǒng)簡介立體視覺系統(tǒng)設(shè)計原理仿照人類雙眼工作原理：兩臺平行的攝像機模擬雙眼；計算機圖像處理相當于人腦神經(jīng)

13、系統(tǒng)。雙眼所形成的圖像信息是具有差異性的，這種圖像信息的差異性通過大腦神經(jīng)系統(tǒng)進行分析匹配，得到圖像的深度信息13。隨著人們生產(chǎn)生活與科技的發(fā)展，利用立體視覺的原理設(shè)計出了雙目視覺系統(tǒng)，讓計算機分析得出2D圖像中的立體信息，即獲取圖像的深度信息。如圖2-1是雙目平行攝像機成像示意圖，點和點分別是左右攝像機的成像焦點，即左右攝像機坐標系的原點；空間任意點投影在左右兩圖像上的點是和，立體匹配算法找出與點和之間的關(guān)系。圖2-2 雙目平行攝像機成像示意圖由投影原理的性質(zhì)，有： (2-1) 則 (2-2) 其中，為左右攝像機的焦距，表示為兩平行雙目攝像機的距離。在這里，點以為坐標中心，左攝像頭成像坐標系

14、為坐標系；由（2-2）式表示的是左右兩圖像的投影點與空間中點之間的關(guān)系。2.2雙目立體視覺系統(tǒng)應(yīng)用一個完整的雙目立體視覺系統(tǒng)通?？蓜澐譃橐韵挛鍌€模塊14：(1)獲取圖像 模擬雙目的方式，兩臺平行的攝像機對同一場景進行拍攝，從而獲取左右眼圖像。(2)攝像機標定 通過選取圖像特征點，建立攝像機的幾何成像模型，得出攝像機內(nèi)外參數(shù)。(3)立體匹配，通過左右兩圖像的視覺差獲取圖像深度圖，為三維重建提供立體模型。(4)三維重建 通過圖像的立體模型，恢復(fù)圖像的立體感，獲取場景立體信息。本文研究重點在立體標定與立體匹配。2.3攝像機立體標定雙目視覺系統(tǒng)最終目標是獲取圖像場景的立體信息。由攝像機投影原理我們可知

15、，攝像機拍攝到的圖像與圖像場景的立體信息存在某種關(guān)系。這某種關(guān)系與攝像機的內(nèi)外參數(shù)有關(guān)，求解這些參數(shù)的過程即是攝像機標定。因此，攝像機標定在雙目視覺系統(tǒng)中具有重要的地位：標定結(jié)果的精度直接影響到后續(xù)工作的可靠度。以下我們對攝像機標定相關(guān)理論知識進行探究。2.3.1像平面坐標系、攝像機坐標系和世界坐標系 由圖形學(xué)知識我們可知，攝像機采集的圖像在計算機內(nèi)表示為數(shù)組：表示圖像中像素的行數(shù)與列數(shù)；數(shù)組值表示各個像素點的亮度值。如圖(2-2)，定義直角坐標系為圖像坐標系，表示某一像素點的圖像坐標。由于只是表示某一像素的圖像坐標，而不是數(shù)學(xué)意義上的點坐標，因此需要將以像素為單位的像平面坐標系轉(zhuǎn)換成以毫米為

16、單位的像平面坐標系。該坐標系可表示為如圖2.3所示。圖2-2 圖像坐標系與像平面坐標系一般圖像中心點表示為像平面坐標系中的原點，而一般圖像左上角點表示為圖像坐標系中的原點，任意點在兩種坐標系中的關(guān)系如下： (2-3)其中，分別表示點在圖像坐標系與像平面坐標系中的坐標，分別表示圖像坐標系與像平面坐標系原點坐標；分別表示每一個像素在與方向上的物理尺寸，上式表示為齊次坐標與矩陣形式： (2-4)如圖2-2雙目視覺系統(tǒng)成像示意圖可知，在攝像機坐標系中：攝像機光軸與圖像平面的交點為原點，與像平面坐標系平行。三大坐標系如圖2-3所示， 為世界坐標系，為世界坐標系原點； 為像平面坐標系，為像平面坐標系原點。

17、表示攝像機坐標系，為攝像機光心即攝像機坐標系原點；為攝像機焦距。圖2-3 三大坐標系（像平面坐標系，攝像機坐標系，世界坐標系）其中，世界坐標系與攝像機坐標系的關(guān)系表示為： (2-5） 其中， 表示正交單位旋轉(zhuǎn)矩陣；t表示三維平移向量； 為矩陣15。2.3.2攝像機模型1、線性攝像機模型(針孔成像模型)由圖2.2可知針孔成像模型中成像系統(tǒng)沒有任何畸變，空間任何一點在圖像中的投影位置表示為，是攝像機光心點與點的連線在圖像平面的交點。由投影比例關(guān)系有如下關(guān)系式（以左攝像機成像為例）： (2-6)其中，為空間點左攝像機成像點坐標；為空間點的攝像機坐標表示形式。上述透視投影關(guān)系為： (2-7)其中，表示

18、比例因子，表示透視投影矩陣16。將公式(2-4)，(2-5)代入上式得出空間中與其投影點的關(guān)系 (2-8)其中，分別稱為軸上歸一化焦距；為投影矩陣；參數(shù)決定，稱為攝像機內(nèi)部參數(shù)；稱為攝像機外部參數(shù)。攝像機標定過程即是確定某一攝像機的內(nèi)外參數(shù)的過程。 由上式可得出求出某空間點的空間坐標方程， 但是事實上，由于是不可逆矩陣，即使已知攝像機的內(nèi)外參數(shù)和圖像點的位置時，消去只可得到關(guān)于的兩個線性方程，由這兩個線性方程只能確定點位于射線上。因此，只由線性模型無法確定空間點的位置坐標。2、非線性模型 非線性模型在線性模型的基礎(chǔ)上考慮到實際中的畸變。假設(shè)在實際成像過程中產(chǎn)生了畸變，新的成像點坐標為，表示為1

19、7： (2-9)其中，是非線性畸變值，與成像點在圖像中的位置有關(guān)。理論上非線性畸變可分為徑向畸變和切向畸變。但一般來講切向畸變比較小，可忽略不計。因此，非線性畸變可用徑向畸變的修正量表示，公式如下： (2-10)其中，；參數(shù)與非線性畸變參數(shù)和統(tǒng)稱為非線性攝像機模型的內(nèi)部參數(shù)18。由此，攝像機非線性模型通過內(nèi)部參數(shù)可以得出空間任意一點的空間坐標。2.3.3張正友平面標定算法數(shù)學(xué)原理圖2-4 張正友平面標定示意圖在這里假定模板平面中任意點坐標為，公式(2-8)可表示為： (2-11)其中， 和分別是攝像機坐標系相對于世界坐標系的旋轉(zhuǎn)矩陣和平移向量； (2-12)根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即和，每幅圖像對

20、內(nèi)參數(shù)矩陣的基本約束： (2-13)由上式可得攝像機有5個未知內(nèi)參數(shù)，所以當圖像對足夠多時，就可以解線性方程求出唯一解。算法步驟如圖圖2-5 算法流程圖首先，用雙目攝像機從不同角度拍攝若干張圖像對；然后進行圖像特征點提取，并求出攝像機的內(nèi)外參數(shù)和畸變系數(shù)，最后對標定后的參數(shù)進行優(yōu)化求精19。至此，攝像機標定過程完成。2.4立體匹配立體匹配作為雙目視覺系統(tǒng)最重要也是最關(guān)鍵的一步，立體匹配的優(yōu)劣直接影響到后面進行三維重建的好壞20。在現(xiàn)實場景中，同一時間不同視點拍攝出的圖片受到光照，噪聲等干擾因素的影響，會產(chǎn)生很大的不同，從而導(dǎo)致增加了獲取高精度的匹配效果困難性。本文研究內(nèi)容是基于區(qū)域立體匹配算法

21、，通過兩種不同的算法思路實現(xiàn)，分別為：基于全局誤差能量最小化和基于線性區(qū)域生長21。兩種方式原理如下：2.4.1基于全局誤差能量最小化的區(qū)域匹配算法在此算法中，我們利用模板匹配技術(shù)來得到圖像中每個像素點的誤差能量值，圖像中所有像素的誤差能量值便構(gòu)成一個誤差能量矩陣。若雙目攝像機獲取的是彩色圖像則為三維矩陣，若為灰度圖像則為二維矩陣。本研究所采用圖像為彩色圖像，因此我們用分別用，表示Matlab通過imread函數(shù)讀取左右圖像的RGB值，其中，c取值為1，2，3分別表示R，G，B維度的值。當模板取值大小為的窗口，誤差能量值可下式求得： (2-14) 其中，是由圖像每個像素的誤差能量值組成的誤差能

22、量矩陣；表示視差值。首先預(yù)定一個視差搜索范圍，再將每個像素的誤差能量值通過多次均值濾波器進行處理得到平均誤差能量矩陣；均值濾波器可以消除像素點之間RGB差值驟變導(dǎo)致的匹配誤差。并且通過均值濾波器還可以得到誤差能量整體變化趨勢。因此，該算法也可以稱為全局匹配算法。用大小的窗口進行匹配時，平均誤差能量矩陣可由下面公式表示： (2-15) 對每個差值進行反復(fù)的均值濾波器后，我們可以選取中最小的誤差2能量值作為像素點誤差值，因此這表示左右圖像結(jié)果立體匹配后的圖像視差矩陣。算法步驟如下：步驟1：在視差搜索范圍內(nèi)計算得出誤差能量矩陣。(圖2-6)步驟2：在視差搜索范圍內(nèi)對每一個視差矩陣進行多次平均濾波 (

23、圖2-7)步驟3：在矩陣中為每一個像素找到最小視差量，將最小視差每個像素處的視差值定義為視差圖像。(圖2-7)圖2-6 計算能量矩陣原理圖 (a) (b)圖2-7 算深度圖示意圖 (a)通過均值濾波器(b)最小值搜索2.4.2基于線性生長區(qū)域立體匹配算法基于線性生長的立體匹配算法分為兩個部分：尋找基點發(fā)展區(qū)域和按照預(yù)定的規(guī)則進行區(qū)域生長。我們的規(guī)則是利用公式(1)點與臨近點的誤差能量值，當誤差能量值大于我們預(yù)先設(shè)計的閾值時，則重新找基點；當小于預(yù)先設(shè)計的閾值時，則進行區(qū)域生長。事實上，更準確的說該算法叫做視差值生長。在實際運算中為減少運算量，我們限定生長方向為線性水平方向。算法步驟如下：步驟1

24、(根點選擇)：在圖像中選取一個不屬于任何生長區(qū)域的點并利用能量函數(shù)(式1)求取該點視差，將該點作為基點并作為區(qū)域視差初值，進行步驟2。若找不到任何一點比小則重復(fù)該步驟。步驟2（區(qū)域生長）：計算基點的緊鄰點的視差值，如果等于或小于初值，則將該點定義為區(qū)域點。否則將其定義為閑置點步驟3：重復(fù)步驟2對圖像的所有點進行計算，直到圖像中所有的點都被計算過，算法停止。所有的區(qū)域點組成的區(qū)域構(gòu)成視差圖。圖2-8 生長匹配算法示意圖2.4.3從差距圖生成深度圖左右兩圖像深度和視差關(guān)系可由立體投影示意圖(2-9)表示，利用基本幾何計算可以得出深度和差異之間的關(guān)系如下： (2-16)圖像中像素點投影在物體表面的真

25、實位置的空間立體坐標，按以下公式可用于計算后計算深度。 (2-17)圖2-9 立體投影示意為了獲得更平滑的深度圖，可在在計算深度之前使用窗口大小的中值濾波過濾不可靠的視差。通過設(shè)置平均誤差閾值來消除不可靠誤差估計我們通過視差圖的平均誤差值來定義獲得的視差圖的可靠度。 它可以表示為如下公式： (2-18)視差圖的誤差值可以如下表示： (2-19)視差圖包含一些不可靠的差異估計在對象邊界周圍大部分是由于圖像中的物體遮蔽。 這些可以通過觀察中的高誤差值來刪除不可靠的差異。 為了增加獲得的視差圖的可靠性，如(2-20)描述的簡單的閾值機制，可以在得到過程中過濾一些不可靠的差異估計。 (2-20)通過過

26、濾一些不可靠的差異，將比的誤差能量估計更加精準。 在方程(2-20)中將差異設(shè)定為是指“無估計”狀態(tài)在計算中排除具有狀態(tài)的值。方程(2-18)中參數(shù)表示不是的誤差值的點數(shù)。是的誤差值。是用于決定視差估計的誤差值是不可靠的。 為了自動確定，我們使用以下公式： (2-21)在等式(2-18)中，是容忍公差系數(shù)，用于調(diào)整濾波的可靠性。 減少導(dǎo)致更可靠。然而，減少會由于消除了更多的差距點而削弱視差圖。- 27 -2.5本章小結(jié)在本章中，首先，對雙目立體視覺系統(tǒng)就行了簡單介紹。其次，敘述了三大坐標系和兩種攝像機模型，并推導(dǎo)出了雙目視覺系統(tǒng)中的攝像機標定原理。最后，敘述基于全局誤差能量最小化和基于線性生長

27、兩種區(qū)域匹配算法?？傊?，本章是對攝像機標定以及立體匹配過程進行了理論研究，下一章的實驗打下基礎(chǔ)。第三章 立體標定與匹配在本章實驗中的攝像機標定與立體匹配過程中均基于Matlab進行實驗仿真。攝像機標定原理是基于張正友棋盤標定發(fā)利用Matlab標定工具箱完成的，實驗14張圖片是采用雙目攝像機從不同角度進行拍攝的，首先，攝像機內(nèi)參數(shù)是固定不變的，因此在對內(nèi)參數(shù)標定后，利用已知的內(nèi)參數(shù)實現(xiàn)對攝像機外參數(shù)的標定，至此，攝像機標定過程完成。立體匹配利用Matlab對基于全局誤差能量最小化立體匹配算法和基于線性生長立體匹配算法進行編程，對雙目攝像機拍攝的左右圖像進行立體匹配，進而求出空間中物體深度信息。3

28、.1雙目攝像機標定的實現(xiàn)3.1.1左右兩攝像機單目標定以下以實現(xiàn)左圖像標定為例，步驟如下：1、下載Matlab標定工具箱22加載到Matlab工作目錄中，從middlebury23網(wǎng)站下載標定圖片，左右攝像機拍攝的圖片分別為14張，大小均為， 100mm為邊長的黑白棋盤格標圖，如圖3-1所示：圖3-1 ，20mm為邊長的棋盤格標定圖像2、運行calib_gui指令，按照工具箱的指令手動對每一幅靶標圖像選定靶標區(qū)域，然后提取角點。鼠標點擊設(shè)定棋盤格靶標的選定區(qū)域時，選取區(qū)域四邊與棋盤格靶標的網(wǎng)格線重合，重合度決定角點提取結(jié)果的準確度，正確選取結(jié)果如圖3-2所示，誤選如圖3-3所示： 圖3-2 合

29、適的靶標選定區(qū)域與角點提取結(jié)果，(a) 靶標選定區(qū)域，(b) 角點提取結(jié)果如(a)圖所示標出了待提取角點的區(qū)域，圖(b)標出了角點提取區(qū)域中提取出的角點。如圖3-2中所示，圖(a)中的角點與十字標記位置有所偏差，但在十字標記位置附近；圖(b)中每個角點均在角點提取窗口區(qū)域。表示正確選取了靶標區(qū)域。圖3-4 錯誤的靶標選定區(qū)域與角點提取結(jié)果，(a) 靶標選定區(qū)域，(b) 角點提取結(jié)果如圖3-4(a)所示角點與十字標記位置存在明顯偏差，甚至個別角點遠離十字標記；圖(b)中很多角點在角點提取區(qū)域窗口之外。說明錯誤選取了靶標區(qū)域，不符合實驗要求。3、 內(nèi)參數(shù)標定對每一幅靶標圖像正確提取角點后，在標定工

30、具箱操作面板點擊“Calibration”鍵，完成攝像機的內(nèi)參數(shù)標定以及標定優(yōu)化： 其中， fc表示焦距；cc表示為光軸主點坐標，單位為像素23；alpha_c是圖像坐標系的y軸與攝像機坐標系Yc軸實際夾角，單位為弧度；angle of pixel axes為對應(yīng)于圖像坐標u、v的攝像機的x、y軸之間的夾角，默認值為90； kc為畸變系數(shù)；err為誤差的標準方差，單位為像素。1）顯示攝像機與標定靶標之間的關(guān)系，如圖3-5所示：圖3-5 攝像機坐標系與靶標之間的關(guān)系 (a) 攝像機固定，(b) 靶標固定圖(a)為假設(shè)攝像機固定時攝像機與靶標之間的關(guān)系，圖(b)為假設(shè)靶標固定時攝像機與靶標之間的關(guān)

31、系。2）所有角點反投影到圖像空間的圖像坐標誤差，如圖3-6所示：圖3-6 反投影到圖像空間的角點圖像坐標誤差圖像坐標誤差的標準方差為：4、圖像畸變校正完成內(nèi)參數(shù)標定后，在標定工具箱操作面板點擊“Undistort image”鍵：對讀入的所有靶標圖像進行消畸處理，生成的消除畸變后的圖像。原始圖像和消除畸變后的圖像：圖3-8 原始圖像和校正后圖像，(a) 原始圖像 (b) 消除畸變后的圖像5、外參數(shù)標定完成攝像機的內(nèi)參數(shù)標定后，點擊“Comp. Extrinsic”鍵，進行靶標相對于攝像機的外參數(shù)標定，結(jié)果如下：其中，Tc_ext表示位移向量，單位為mm；omc_ext表示旋轉(zhuǎn)向量；Rc_ext

32、表示旋轉(zhuǎn)矩陣； 3.1.2雙目立體視覺標定左攝像機內(nèi)參數(shù)的標定結(jié)果保存為Calib_Results_left.mat，右攝像機的標定結(jié)果保存為Calib_Results_right.mat。運行stereo_gui指令，進行雙目立體標定程序，依次導(dǎo)入左、右攝像機的標定結(jié)果文件，實驗結(jié)果如下26：其中， om，T分別表示為左攝像機相對于右攝像機的姿態(tài)矩陣與位移向量24。點擊“Run stereo calibration”鍵，計算并輸出左、右攝像機的內(nèi)參數(shù)和優(yōu)化后的內(nèi)參數(shù)。輸出結(jié)果：點擊“Show Extrinsics of stereo rig”鍵，實驗結(jié)果如圖3-9所示：圖3-9 靶標相對于攝

33、像機的位姿該圖顯示是14張棋盤圖相對于雙目攝像機的位姿三維圖。3.1.3實驗結(jié)果分析Matlab攝像機標定工具是基于張正友平面標定法原理設(shè)計的，張正友平面標定法的原理與流程在本文中的第二章有所敘述。此處，我們針對該算法以及實驗結(jié)果進行分析：張正友的平面標定方法比傳統(tǒng)標定方法設(shè)備要求低，操作簡單，又較自標定方法精度高，符合家用，辦公用的桌面視覺系統(tǒng)(DVS)的標定要求。但是基于Matlab實現(xiàn)張正友標定法需要手動進行特征點標靶區(qū)域選取，手動選取的不確定性會給實驗結(jié)果帶來誤差。3.2立體匹配仿真結(jié)果采用高清雙目攝像機拍攝一組左右圖像，并分別用兩種算法進行匹配，實驗圖片以及其對應(yīng)的實物輪廓圖片如圖3

34、-10所示圖3-10 彩色立體左右圖像對以及實物輪廓圖 圖中上面一組圖片顯示是左右攝像機拍攝的左右彩色實物圖像，下面一組圖片顯示的是左右實物圖像中物體輪廓圖3.2.1基于全局誤差能量最小化區(qū)域匹配算法我們分別取窗口大小為的模板進行立體匹配，實驗結(jié)果如下：1、參數(shù)取值為，其中表示窗口大小，表示能量誤差閾值，表示攝像機焦距， 表示兩攝像機距離， 表示容忍誤差系數(shù)；窗口大小為時模塊匹配又稱為點匹配，實驗結(jié)果如下：圖3-11 模塊為視差圖圖3-12 模塊為深度圖其中可靠視差圖是全局視差圖去除了“無估計”點(即誤差值大于閾值的點)的視差圖，比較兩圖可以發(fā)現(xiàn)，可靠視差圖較比全局誤差視圖陡變區(qū)域更緩和；經(jīng)過

35、中值濾波后的視差圖較平滑；誤差能量可以大致顯示出物體邊緣輪廓；深度圖顯示的是左右兩圖像中空間物體的視覺差。2、參數(shù)取值為，窗口大小為時模塊匹配又稱為行匹配，實驗結(jié)果如下：圖3-12 模塊為視差圖圖3-13 模塊為深度圖3）參數(shù)取值為，實驗結(jié)果如下：圖3-14 模塊為視差圖圖3-15 模塊為深度圖3.2.2基于線性生長區(qū)域匹配算法1）參數(shù)分別為時，其中，表示誤差閾值。實驗結(jié)果如下圖3-15 模塊為視差圖圖3-16 模塊為深度圖點匹配狀態(tài)圖中，棕色代表閑置點，黃色代表基點，藍色代表區(qū)域點。2）僅改變閾值，其他參數(shù)不變，實驗結(jié)果如下：圖3-17 模塊為視差圖圖3-18 模塊為深度圖3）僅改變 ，其他

36、參數(shù)不變，實驗結(jié)果如下：圖3-19 模塊為視差圖圖3-20 模塊為深度圖3.3不同匹配算法差異分析1、基于全局誤差能量最小化區(qū)域匹配算法本實驗采取窗口大小為進行匹配，實驗結(jié)果如3-21所示圖3-21 (a)窗口大小與可靠度關(guān)系圖 (b)濾波前后可靠度關(guān)系圖 (c)窗口大小與計算量關(guān)系圖圖3-21 (a)(b)分別表示的實驗采取5種窗口大小時可靠度與計算量大小的柱形圖 (c)濾波前后可靠度大小的柱形圖。實驗結(jié)果表明：1)當匹配窗口較小時基于全局誤差能量最小化算法的可靠度較大、計算量較??；2）濾波可使得算法的可靠度大大的提高算法的可考率。- 27 -第四章 總結(jié)與展望2、基于線性生長區(qū)域匹配算法圖

37、3-22 (a)誤差閾值與可靠度關(guān)系圖 (b)濾波前后可靠度對比圖 (c)誤差閾值與計算量關(guān)系圖圖3-22(a)(b)分別表示的實驗改變閾值值時算法可靠度與計算量大小的柱形圖 (c)濾波前后可靠度大小的柱形圖。實驗結(jié)果表明：1）在誤差閾值較小時，算法的可靠度隨著誤差閾值的增大而增加；誤差閾值較大時，閾值越大時可靠度不再變化趨于一定值；2）整體來說，算法的計算量隨著誤差閾值的增大而減小；3）濾波能夠大大增大算法的可靠度3、兩種算法比較圖3-23 (a)兩算法可靠度比較圖 (b)兩算法計算量對比圖圖3-23(a)(b)分別表示濾波前后兩種算法可靠度和計算量大小的柱形圖。實驗結(jié)果表明：兩種算法基于全

38、局誤差能量最小化算法的算法可靠度比基于線性生長區(qū)域算法要高，但是計算量也高。3.4本章小結(jié) 本章分別對攝像機標定和立體匹配的實現(xiàn)過程做了詳解敘述，得出了實驗結(jié)果，并對實驗結(jié)果進行了分析。第四章 總結(jié)與展望近年來，計算機視覺技術(shù)發(fā)展迅速，研究領(lǐng)域逐漸從2D向3D轉(zhuǎn)換。雙目視覺作為計算機視覺中的一個重要分支28，為該轉(zhuǎn)化提供了理論基礎(chǔ)。其中攝像機標定與立體匹配技術(shù)是雙目視覺系統(tǒng)最為重要的環(huán)節(jié)，研究其實現(xiàn)方式及匹配效率與精度等問題對雙目視覺系統(tǒng)的發(fā)展有著極其重要的意義。 本文在搭建雙目視覺系統(tǒng)采集模塊完成的基礎(chǔ)上，對雙目視覺系統(tǒng)三大坐標、攝像機兩種模型和立體匹配兩種區(qū)域算法進行了理論研究，并基于Ma

39、tlab對攝像機標定與立體匹配算法進行軟件仿真。 本文通過對兩種匹配算法進行分析后得出結(jié)論：基于全局最小化匹配算法在可靠度和計算量上均優(yōu)于基于線性生長立體匹配算法；兩種算法通過濾波均能夠大大增加算法的可靠度。4.1總結(jié)本文主要研究內(nèi)容是雙目視覺系統(tǒng)中的攝像機標定與立體匹配兩大模塊，完成以下內(nèi)容：1、簡要敘述了雙目立體視覺系統(tǒng)的研究背景和意義以及國內(nèi)外發(fā)展現(xiàn)狀。文章重點敘述了雙目立體視覺系統(tǒng)中的攝像機標定和立體匹配兩大模塊，包括理論知識以及實驗過程。2、利用middlebury網(wǎng)站提供的標圖基于Matlab對攝像機進行標定，再利用實驗采集的圖片進行立體匹配，為雙目視覺系統(tǒng)的三維重建建立基礎(chǔ)。3、

40、在攝像機標定過程中，我們詳細闡述了世界坐標系，像平面坐標系以及攝像機三大坐標系、線性與非線性攝像機兩種模型以及張正友平面標定原理與步驟。4、在立體匹配過程中，首先詳細闡述了基于全局誤差能量最小化匹配與基于線性生長立體匹配算法的基本原理，并基于Matlab實現(xiàn)了算法，得出了試驗結(jié)果。5、通過綜合分析得出不同匹配算法在可靠率、計算量以及均值濾波效果的結(jié)論：基于全局誤差能量最小化匹配算法的可靠率明顯高于基于線性生長立體匹配算法；基于全局誤差能量最小化匹配算法的模板窗口較小可靠率較大，計算量較小；基于線性生長立體匹配算法誤差閾值越大可靠度越大，計算量越??；算法結(jié)果進行均值濾波會大大增加算法的可靠率。4

41、.2展望在計算機視覺領(lǐng)域中，雙目視覺技術(shù)的研究的熱度一直居高不退的，至今為止雙目視覺系統(tǒng)有著越來越重要的地位，也逐漸運用于我們生產(chǎn)生活中的各個領(lǐng)域。本文研究內(nèi)容主要在雙目視覺系統(tǒng)中的攝像機標定與立體匹配這兩個模塊，但是由于時間倉促導(dǎo)致本畢業(yè)設(shè)計存在著一定的不足，我將在今后繼續(xù)關(guān)注這個領(lǐng)域的研究與發(fā)展，我將從以下幾個方面對雙目視覺技術(shù)的研究繼續(xù)充實：1、在攝像機標定中，采用了工具箱中的模板網(wǎng)格圖，應(yīng)該自己制作高清的網(wǎng)格模板圖片集進行實驗仿真。2、在立體匹配算法研究中，匹配算法基礎(chǔ)簡單，可以嘗試在現(xiàn)有的算法基礎(chǔ)上進行算法改進與優(yōu)化，提高算法的精度和效率；3、本文中攝像機標定與匹配算法均依賴于Mat

42、lab實現(xiàn)的，對底層實現(xiàn)研究較少，可以嘗試通過研究底層實現(xiàn)獲得更多的知識支持，對雙目視覺系統(tǒng)進行更深入的探究；4、在本實驗中后續(xù)工作可以增加采集的圖片對，因為圖像采集的光線和角度會影響實驗結(jié)果。若光線較暗淡或圖像與攝像頭距離較近時會降低算法精度，因此可以增加實驗原料，再就光線角度等指標進行篩選，提高算法精度。5、本設(shè)計采集的圖片由于資源限制的問題，采集的圖片中物體特征量少，圖片色彩單一，導(dǎo)致匹配算法效果不明顯。6、可以采取圖片增強技術(shù)對原始圖片進行圖像預(yù)處理。- 33 -參考文獻1 趙笑可. 基于全局能量最小化的立體匹配算法研究D. 南京理工大學(xué), 2008.2 陳林. 面向雙目立體視覺圖像的

43、匹配技術(shù)D. 上海交通大學(xué), 2013.3 劉俸材, 謝明紅, 王偉. 雙目視覺的立體標定方法J. 計算機工程與設(shè)計, 2011, 32(4):1508-1512.4 王明明.鐵路大機與線路固定設(shè)施間距檢測算法研究D.西南交通大學(xué), 2015.5 李寧. 基于立體視覺的三維尺寸測量系統(tǒng)研制D. 合肥工業(yè)大學(xué), 2013.6 馮成義. 模擬目視實現(xiàn)空間定位系統(tǒng)的研究和應(yīng)用D. 吉林大學(xué), 2007.7 隋婧, 金偉其. 雙目立體視覺技術(shù)的實現(xiàn)及其進展J. 電子技術(shù)應(yīng)用, 2004, 30(10):4-6.8 吳勇. 基于立體視覺的機器人圖像動態(tài)檢測系統(tǒng)D. 東華大學(xué), 2009.9 黃濤. 基于圖像立體匹配的三維重建D. 廣西師范大學(xué), 2008.10ZhangZ.AflexiblenewtechniqueforcameracalibrationJ.IEEETransactionsonPatter