Word操作文件2

1、鍵入文字分類號(hào)：分類號(hào)：O439 U D C：D10621-408-(2007)1940-0密密 級(jí)：公級(jí)：公 開開 編編 號(hào)：號(hào)：2003071152成成 都都 信信 息息 工工 程程 學(xué)學(xué) 院院學(xué)學(xué) 位位 論論 文文基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究論文作者姓名：XXX申請(qǐng)學(xué)位專業(yè)：申請(qǐng)學(xué)位類別：工學(xué)學(xué)士指導(dǎo)教師姓名（職稱）：XXX（工程師）論文提交日期：xxxx 年 xx 月 xx 日鍵入文字基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究摘摘 要要雙目視覺技術(shù)是光學(xué)三維測(cè)量技術(shù)之一，在機(jī)器人視覺方面有一定應(yīng)用，但目前也存在沒有解決的問題，譬如圖像紋

2、理的對(duì)應(yīng)關(guān)系、雙目攝像機(jī)的位置等等，還無法在實(shí)際環(huán)境中得到大量應(yīng)用?；陔p目視覺的光學(xué)傳感技術(shù)研究涉及到原理分析、攝像機(jī)標(biāo)定、最佳閾值分割圖像、目標(biāo)區(qū)域的提取、視覺信息處理等內(nèi)容，本文通過計(jì)算機(jī)仿真，進(jìn)行簡(jiǎn)單物體的模擬測(cè)量，著重分析了雙目視覺測(cè)量技術(shù)的應(yīng)用范圍和優(yōu)劣勢(shì)。在計(jì)算機(jī)仿真中用兩個(gè)相同的攝像機(jī)在不同的位置拍下兩張圖片，根據(jù)兩圖片的相差求出物體的三維坐標(biāo)。本論文在從原理、實(shí)際測(cè)量環(huán)境等各個(gè)方面對(duì)雙目視覺技術(shù)進(jìn)行詳細(xì)探討的基礎(chǔ)上，也對(duì)雙目視覺技術(shù)將來可能的應(yīng)用領(lǐng)域和范圍做了介紹。關(guān)鍵詞關(guān)鍵詞：光學(xué)三維傳感；最佳閾值分割圖像；目標(biāo)區(qū)域的提??；計(jì)算機(jī)仿真鍵入文字Research of Opti

3、cal Sensing TechnologyBased on Binocular VisionAbstractBinocular technology is one of the 3D optical measurement techniques, and has been used to 3-D sensing, automated manufacturing, robot simulation, industry monitor, quality control, etc. But until now there are unresolved issues for binocular te

4、chnology, such as texture images counterparts, binocular camera position. Based on binocular vision optical sensor technology, this paper studies the principle of binocular technology and analyzes its measurement process. With computer simulation, we finished a simple object measurement and analyze

5、the applications, advantages and disadvantages about this method. In the computer simulation, we use the two same cameras in different positions to take two photographs, and then by comparing the difference between two pictures, can get the 3D coordinates of objects. From the principle, the actual m

6、easurement of environmental and other aspects of binocular vision technology, this paper conducts a detailed study on the basis of binocular vision technology and discusses some possible future areas of applications.Key words: 3-D optical sensing; optimal threshold image segmentation; stereo-matchin

7、g; computer simulation鍵入文字目錄目錄目錄.11 引言.12 各種三維方法.12.1 位相測(cè)量輪廓術(shù).12.1.1 PMP 系統(tǒng)結(jié)構(gòu) .12.1.2 時(shí)間相移法.22.2 調(diào)制度.32.3 傅里葉變換.53 雙目視覺測(cè)量傳感器.63.1 雙目視覺測(cè)量傳感器組成.63.2 雙目視覺測(cè)量傳感器工作原理.63.3 測(cè)量雙目視覺.63.3.1 攝像機(jī)模型.73.3.2 最佳閾值分割圖像.73.3.3 目標(biāo)區(qū)域的提取.84 雙目視覺.94.1 基本原理.94.2 雙目視覺的設(shè)計(jì).94.3 推導(dǎo)過程.114.4 計(jì)算機(jī)防真.11結(jié) 論.1參考文獻(xiàn).1致 謝.2聲 明.2成都信息工程學(xué)

8、院學(xué)位論文第 1 頁1 引言引言雙目體視目前主要應(yīng)用于四個(gè)領(lǐng)域：機(jī)器人導(dǎo)航、微操作系統(tǒng)的參數(shù)檢測(cè)、三維測(cè)量和虛擬現(xiàn)實(shí)。日本大阪大學(xué)自適應(yīng)機(jī)械系統(tǒng)研究院研制了一種自適應(yīng)雙目視覺伺服系統(tǒng)，利用雙目體視的原理，如每幅圖像中相對(duì)靜止的三個(gè)標(biāo)志為參考，實(shí)時(shí)計(jì)算目標(biāo)圖像的雅可比短陣，從而預(yù)測(cè)出目標(biāo)下一步運(yùn)動(dòng)方向，實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)方式未知的目標(biāo)的自適應(yīng)跟蹤。該系統(tǒng)僅要求兩幅圖像中都有靜止的參考標(biāo)志，無需攝像機(jī)參數(shù)。而傳統(tǒng)的視覺跟蹤伺服系統(tǒng)需事先知道攝像機(jī)的運(yùn)動(dòng)、光學(xué)等參數(shù)和目標(biāo)的運(yùn)動(dòng)方式。麻省理工學(xué)院計(jì)算機(jī)系統(tǒng)提出了一種新的用于智能交通工具的傳感器融合方式，由雷達(dá)系統(tǒng)提供目標(biāo)深度的大致范圍，利用雙目立體視覺提供

9、粗略的目標(biāo)深度信息，結(jié)合改進(jìn)的圖像分割算法，能夠在高速環(huán)境下對(duì)視頻圖像中的目標(biāo)位置進(jìn)行分割，而傳統(tǒng)的目標(biāo)分割算法難以在高速實(shí)時(shí)環(huán)境中得到令人滿意的結(jié)果。華盛頓大學(xué)與微軟公司合作為火星衛(wèi)星“探測(cè)者”號(hào)研制了寬基線立體視覺系統(tǒng)，使“探測(cè)者”號(hào)能夠在火星上對(duì)其即將跨越的幾千米內(nèi)的地形進(jìn)行精確的定位導(dǎo)航。系統(tǒng)使用同一個(gè)攝像機(jī)在“探測(cè)者”的不同位置上拍攝圖像對(duì)，拍攝間距越大，基線越寬，能觀測(cè)到越遠(yuǎn)的地貌。系統(tǒng)采用非線性優(yōu)化得到兩次拍攝圖像時(shí)攝像機(jī)的相對(duì)準(zhǔn)確的位置，利用魯棒性強(qiáng)的最大似然概率法結(jié)合高效的立體搜索進(jìn)行圖像匹配，得到亞像素精度的視差，并根據(jù)此視差計(jì)算圖像對(duì)中各點(diǎn)的三維坐標(biāo)。本文設(shè)計(jì)了一個(gè)測(cè)量物

10、體三維坐標(biāo)的方法，用兩個(gè)攝像機(jī)給物體拍照得到兩張圖片，找出兩個(gè)相對(duì)應(yīng)的區(qū)域和攝像機(jī)的參數(shù)、兩區(qū)域的相差，運(yùn)用幾何光學(xué)原理推導(dǎo)出高度計(jì)算公式，把這些相關(guān)參數(shù)代入公式中就可以求出物體的三維坐標(biāo)。再通過計(jì)算機(jī)用 MATLB 進(jìn)行簡(jiǎn)單的模擬，來分析實(shí)驗(yàn)的結(jié)果。2 各種三維方法各種三維方法2.1 位相測(cè)量輪廓術(shù)位相測(cè)量輪廓術(shù)位相測(cè)量輪廓術(shù)(PMP)是一種非接觸三維傳感方法，這種方法采用正弦光柵投影和數(shù)字相移技術(shù)，能以較低廉的光學(xué)、電子和數(shù)字硬件設(shè)備為基礎(chǔ)，以較高的速度和精度獲取和處理大量的三維數(shù)據(jù)。2.1.1 PMP 系統(tǒng)結(jié)構(gòu)系統(tǒng)結(jié)構(gòu)PMP 系統(tǒng)的框圖可用圖 2.1 表示，系統(tǒng)由投影、成像、數(shù)據(jù)獲取與處

11、理三大部分組成。測(cè)量過程：光源發(fā)出的白光經(jīng)正弦光柵投影到參考平面上和被測(cè)物體表面上，分別得到正弦光柵條紋圖的光強(qiáng)信息和受物體表面面形調(diào)制后的變形條紋光強(qiáng)信息，采用高精度的 CCD 攝像機(jī)采集變形前后的條紋圖像，并將接收到的光強(qiáng)信號(hào)轉(zhuǎn)換為電信號(hào)，送至圖像卡，進(jìn)行電信號(hào)放大，再經(jīng) A/D 轉(zhuǎn)基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究第 2 頁換后量化為數(shù)字圖像，存儲(chǔ)在計(jì)算機(jī)的系統(tǒng)內(nèi)存中，由計(jì)算機(jī)對(duì)它們進(jìn)行運(yùn)算，并結(jié)合相位技術(shù)，最終得到所要求的相位信息，經(jīng)數(shù)據(jù)處理后，可從計(jì)算機(jī)的顯示屏上觀察到被測(cè)物體的表面三維輪廓圖形。即由原來讀條紋圖而進(jìn)展為計(jì)算機(jī)直接輸出最后測(cè)量結(jié)果，從而使測(cè)量

12、自動(dòng)化。圖 2.1 PMP 系統(tǒng)框圖2.1.2 時(shí)間相移法時(shí)間相移法相移是位相測(cè)量輪廓術(shù)的核心技術(shù)，它可分為時(shí)間相移法和空間相移法。空間相移法利用分光相移裝置同時(shí)得到幾幅相移圖像，它比較適用于動(dòng)態(tài)測(cè)量，但目前空間相移裝置尚不夠完善，精度也不高。時(shí)間相移法是通過移動(dòng)正弦光柵周期 1/N，以獲得 N 幅變形光柵圖像，即人為改變圖像的相對(duì)相位，通過比較 N 幅圖像中同一點(diǎn)在不同相移量下的光強(qiáng)值來求解該點(diǎn)的相位。當(dāng)正弦光柵模板被投影到參考平面時(shí)，在參考平面上沿 x 方向的強(qiáng)度分布為： (2.1),(cos),(),(),(0yxyxByxAyxI當(dāng)條紋投影到被測(cè)物體上時(shí)，由于受到物體高度調(diào)制及其表面反

13、射的影響，其光強(qiáng)分布為： (2.2),(cos),(),(),(),(0yxyxByxAyxRyxI式中：R(x,y)物體表面光強(qiáng)不均勻性反射系數(shù)；A(x,y)背景光強(qiáng)；B(x,y)/A(x,y)條紋對(duì)比度；(x,y)物體調(diào)制的變形條紋的相位函數(shù)，表示條紋的變形；(x,y)與物體三維面形 Z=h(x,y)有關(guān)。相位與三維信息之間的關(guān)系取決于系統(tǒng)結(jié)構(gòu)參數(shù)2。在變形光柵圖像的強(qiáng)度分布中包含有相位信息。一般對(duì)(2.2)式直接求(x,y)很難，而相移算法卻提供了一種精確測(cè)定相位的手段,引入相移算法可以簡(jiǎn)單、精確地測(cè)定相位。使正弦光柵移動(dòng)其周期的 1/N 時(shí)，條紋圖的相位被移動(dòng)了2/N，產(chǎn)生了一個(gè)新的強(qiáng)

14、度函數(shù) In(x,y)。使用三個(gè)或更多的對(duì)應(yīng)不同相移值的條紋圖，相位函數(shù)(x,y)就可以獨(dú)立于式(2.2)中的其他參數(shù)而單獨(dú)提出。為此我們?cè)跅l紋相位上附加一個(gè)常位相，在全場(chǎng)每個(gè)像素上的值都相同，則： (2.3),(cos(),(),(),(),(yxyxByxAyxRyxI將(2.3)式改寫成： (2.4)(sin),()(cos),(),(),(),(nyxqnyxgyxfyxIyxIn成都信息工程學(xué)院學(xué)位論文第 3 頁其中; ),(),(),(yxAyxRyxf(2.5) (2.6),(cos),(),(),(yxyxByxRyxg (2.7)( , )( , ) ( , )sin ( ,

15、 )q x yR x y B x yx y 上式(2.4)實(shí)際為 In(x,y)的傅立葉級(jí)數(shù)，f(x,y)為直流量的系數(shù)，g(x,y)和 q(x,y)為一級(jí)簡(jiǎn)諧量的系數(shù)，若相移量為： (2.8)NnQnn2 , 12)(式中 Q，n 均為整數(shù)，Q 表示在一個(gè)周期內(nèi)的采樣點(diǎn)數(shù)，k 為總共采樣的周期數(shù)，N 為每一個(gè)像素的采樣總次數(shù)。在(n)處探測(cè)到的相應(yīng)強(qiáng)度為 In(x,y)，利用三角函數(shù)的正交性可以證明： (2.9)11( , )( , )Nnnf x yIx yN (2.10)11222( , )( , )cos ( )( , )cos()NNnnnnng x yIx ynIx yNNN (2

16、.11)11222( , )( , )sin ( )( , )sin()NNnnnnnq x yIx ynIx yNNN由(2.6)和(2.7)得： (2.12)( , )arctan ( , )/( , )x yq x yg x y 把 (2.10)和(2.11)代入上式得： (2.13)112( , )sin()( , )arctan2( , )cos()NnnNnnnIx yNx ynIx yN 可以看出通過兩束光強(qiáng)的探測(cè)，利用(2.13)就可以求出(x,y)。這樣，通過相移-(x,y)，然后根據(jù)幾何三角關(guān)系，就可獲取物體的輪廓信息8。為了清晰地說明光學(xué)相移位相測(cè)量方法，采用三步相移技術(shù)

17、即在參考光中引入相移量(0、2/3、4/3),當(dāng)一正弦光柵投影到三維物體表面時(shí)，光柵受物體表面形狀調(diào)制后的變形光場(chǎng)的數(shù)學(xué)表達(dá)式可表示為： (2.14)0( , )( , ) ( , )( , )cos ( , )Ix yR x yA x yB x yx y采用三步相位算法，相移增量是 2/3，所產(chǎn)生的三個(gè)干涉圖可表示為： (2.15)1( , )( , ) ( , )( , )cos ( , )I x yR x yA x yB x yx y (2.16)22( , )( , ) ( , )( , )cos ( , )3Ix yR x yA x yB x yx y (2.17)34( , )(

18、, ) ( , )( , )cos ( , )3Ix yR x yA x yB x yx y由式(2.15)、(2.16)及(2.17)可以計(jì)算出相位函數(shù)5： (2.18)231233( , )( , )( , )arctan( , )( , )( , )Ix yIx yx yI x yIx yIx y2.2 調(diào)制度調(diào)制度對(duì)物體三維輪廓術(shù)的測(cè)量已經(jīng)發(fā)展起來的方法主要有相移測(cè)量術(shù)(PMP)、傅里葉變換術(shù)(FTP)、莫爾條紋法、飛行時(shí)間法、相干雷達(dá)技術(shù) E 等，其中前三種方法的測(cè)量是基于三角測(cè)量原理，即通過分析受物面調(diào)制的投影條紋的變形情況獲取空間信息，所以受到陰影、遮擋、相位截?cái)嗟南拗?，不能測(cè)量

19、劇烈的面型變化 飛行時(shí)間法雖然可以實(shí)現(xiàn)垂直測(cè)量，但固空間信息是靠光線的時(shí)間差得基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究第 4 頁到的，對(duì)信號(hào)處理的時(shí)間分辨率有特別高的要求，所以一般只用于大范圍絕對(duì)距離測(cè)量?；谡{(diào)制度測(cè)量的三維輪廓術(shù)(MMP)，它完全基于投影到待測(cè)物面上的正弦條紋的調(diào)制度分布，并且投影方向和探測(cè)方向一致，所以可以實(shí)現(xiàn)對(duì)物體的垂直測(cè)量，不用解相位和相位展開，亦即可以測(cè)量物表面高度劇烈變化或不連續(xù)的區(qū)域。這種方法是將正弦條紋投影到物面上，利用橫向相移技術(shù)計(jì)算物面上各點(diǎn)的調(diào)制度，然后將物體在縱向范圍內(nèi)移 N 次，就可得到 N 幀調(diào)制度圖，再找出每一個(gè)像素點(diǎn)調(diào)制度最

20、大值的位置，由此位置就可計(jì)算出此像素點(diǎn)的高度值。將一正弦光柵投影到物體上，從與投影方向相同的方向上探測(cè)被測(cè)物體上的條紋圖形。物體上的光強(qiáng)分布可表示為： (2.19)00( , )( , )( , )cos(2)I x yIx yc x yxfz式中 I0(x,y)為背景強(qiáng)度，C(x,y)為條紋對(duì)比度,f 為投影條紋空間頻率，0 為初位相。在正弦光柵的成像面上，條紋對(duì)比度最大，而在成像面前后，即離焦像面上條紋對(duì)比度降低，在光軸方向就有一對(duì)比度分布，不同的對(duì)比度對(duì)應(yīng)此點(diǎn)到投影系統(tǒng)的不同距離。如圖 2.2 所示。為計(jì)算調(diào)制度，在與正弦光柵條紋垂直的方向上，以等間距移動(dòng)光柵 L(L3)次，總移動(dòng)量為一

21、個(gè)光柵周期。則可得 L 幀條紋圖，由此就可計(jì)算對(duì)應(yīng)點(diǎn)的調(diào)制度?？紤]某一點(diǎn)的所有相移強(qiáng)度值，該點(diǎn)條紋的調(diào)制度函數(shù) M(x,y)定義為： (2.20)22111( , )2( , )00,sin(2/ )cos(2/ )LLx yx yirM x yItLItL式中 I1 是第 1 次相移的強(qiáng)度值。將(2.19)式代入(2.20)式可得如下表達(dá)式： (2.21)1,( , )2M x yLc x y由此可知，調(diào)制度函數(shù) M(x,y)與背景強(qiáng)度，I0(x,y)無關(guān)，而是與條紋對(duì)比度C(x,y)成正比。在基于調(diào)制度測(cè)量的三維輪廓術(shù)測(cè)量中的調(diào)制度實(shí)際相當(dāng)于條紋對(duì)比度。在光柵像平面上的像素點(diǎn)調(diào)制度最大，在

22、光柵像平面前后的像素點(diǎn)調(diào)制度變小。在實(shí)際測(cè)量中通過前后移動(dòng)投影系統(tǒng)，保持探測(cè)系統(tǒng)和物體的相對(duì)光柵相移透鏡成像面前成像面成像面后圖2.2 光柵成像面前后調(diào)制度分布示意圖成都信息工程學(xué)院學(xué)位論文第 5 頁位置不動(dòng)，則可由物體縱深范圍內(nèi)的調(diào)制度三維分布得到待測(cè)物體的空間信息2。2.3 傅里葉變換傅里葉變換設(shè) f(x)為定義在區(qū)間-x上的函數(shù)。一般說來，它是非周期的，不能展為傅里葉級(jí)數(shù)。為了研究這樣的函數(shù)的傅里葉展開問題，我們采取如下辦法：試將非周期函數(shù) f(x)看作是某個(gè)周期函數(shù) g(x)于周期 2 時(shí)的極限情形。這樣lg(x)的傅里葉級(jí)數(shù)展開式： (2.22)01( )(cos)kk xk xg

23、xaakbksinll在 時(shí)的極限形式就是所要尋找的非周期函數(shù) f(x)的傅里葉展開。下面l仔細(xì)研究一下這一極限過程。為此，引入不連續(xù)量： (2.23)/ (0,1,2,.),1/kkkkl kl 這樣(2.22)成為： (2.24)01( )(cossin)kkkkkg xaaw xbw x傅里葉系數(shù)為：1( )coslkklafwdkl (2.25)1( )sinlkklbfwdl 將(2.25)代入(2.24)，然后取 的極限。l對(duì)于系數(shù) a0,若有限，則lim( )lllfd01limlim( )02llllafdl余弦部分為： (2.26)111lim( )coscos1lim( )

24、coscoslkkllklkkkllkfwdw xlfdx 于，不連續(xù)參量 的積分，上式成為：l 0kl (2.27)01( )coscosfdxd 同理，正弦部分的極限是： (2.28)101lim( )sinsin1( )sinsinlkkllkfdxlfdxd 于是(2.24)在 時(shí)的極限形式是：l (2.29)00( )( )cos( )sinf xAxdBxd其中 1( )( )cosAfd (2.30)1( )( )sinBfd (2.29)右邊的積分稱為傅里葉積分，(2.29)稱為非周期函數(shù) f(x)的傅里葉積分表達(dá)式，(2.30)稱為 f(x)的傅里葉變換式。這里必須指出， (

25、2.29) ,(2.30)兩式只是形式的結(jié)果。關(guān)于這一結(jié)果的數(shù)學(xué)理論，有傅里葉積分定理：若函數(shù) f(x)在區(qū)間(-,)上滿足條件(1) f(x)在任意一個(gè)有限區(qū)間上滿足狄里希利條件，(2) f(x)在(-,)上絕對(duì)可積，則 f(x)可表成傅里葉積分，且傅里葉積分值=f(x+0)+f(x-0)/2。基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究第 6 頁(2.28)又可改寫為： (2.31)0( )( )cos( )f xcxd 其中 1222( )( )( )cAB (2.32)12( )( )/( )tg BA 又稱為 f(x)的振幅譜，稱為 f(x)的相位譜1。( )c( )

26、 3 雙目視覺測(cè)量傳感器雙目視覺測(cè)量傳感器3.1 雙目視覺測(cè)量傳感器組成雙目視覺測(cè)量傳感器組成雙目視覺測(cè)量探頭由 2 個(gè) CCD 攝像機(jī)和 1 個(gè)半導(dǎo)體激光器組成，半導(dǎo)體激光器作為光源，它發(fā)射出一點(diǎn)光源射到一柱狀透鏡上后變成一條直線。該線激光投射到工件表面，作為測(cè)量標(biāo)志線。激光波長(zhǎng)為 650nm，其掃描激光線寬約為 lmm。2 個(gè)普通 CCD 攝像機(jī)呈一定角度放置，構(gòu)成深度測(cè)量的傳感器。CCD鏡頭焦距長(zhǎng)短會(huì)影響鏡頭光軸與線激光的夾角、探頭與待測(cè)物體的距離以及測(cè)量景深。3.2 雙目視覺測(cè)量傳感器工作原理雙目視覺測(cè)量傳感器工作原理視覺測(cè)量屬于一種非接觸式測(cè)量，它是基于激光三角法測(cè)量原理 。激光器l

27、 發(fā)出的光線經(jīng)柱狀透鏡單方向擴(kuò)展后變成一光條，投射在被測(cè)物體表面，由于物體表面曲度或深度的變化，使光條變形，由 CCD 攝像機(jī)攝取此變形光條的圖像，這樣就可以由激光束的發(fā)射角和激光束在 CCD 內(nèi)成像位置，通過三角幾何關(guān)系獲得被測(cè)點(diǎn)的距離或位置等數(shù)據(jù)。與人類使用雙眼觀察物體的遠(yuǎn)近類似，雙目視覺測(cè)量傳感器是通過 2 個(gè) CCD 攝像機(jī)同時(shí)攝取一個(gè)光條的圖像，再通過兩幅圖像的匹配，得到光條上所有像素點(diǎn)分別在兩幅圖像中的位置，利用視差，即可計(jì)算該點(diǎn)的位置以及深度信息的。如果配合掃描機(jī)構(gòu)得到的掃描線某一坐標(biāo)值，可得到被掃描物體所有的輪廓信息（即三維坐標(biāo)點(diǎn)） 。如圖 3.1 所示，按照三角測(cè)量原理空間點(diǎn)

28、 的深度信息 Z 可以通過下式確定為： (3.1)1211BxxZf式中(x1,x2)為空間 w 點(diǎn)在 2 個(gè)像平面上投影點(diǎn)的坐標(biāo)值；B 為雙目視覺傳感器的基線長(zhǎng)度，即 2 個(gè)鏡頭中心的距離；f 為鏡頭的有效焦距；Z 為物體的空間坐標(biāo)，即深度信息。一般來說，雙目傳感器的視差(x2-x1)越大，則其測(cè)量精度越高。由式(3.1)知，測(cè)量精度受基線長(zhǎng)度、有效焦距等影響。通過實(shí)驗(yàn)發(fā)現(xiàn)，增大基線長(zhǎng)度可以提高視覺測(cè)量的精度。但對(duì)某一焦距的鏡頭，過大的基線長(zhǎng)度會(huì)造成雙目軸線夾角增大，使圖像產(chǎn)生較大畸變，不利于 CCD 的標(biāo)定及特征匹配，反而使測(cè)量精度下降。選擇 2 個(gè)焦距為 10mm 的鏡頭，通過實(shí)驗(yàn)，找到

29、與之相匹配的基線長(zhǎng)成都信息工程學(xué)院學(xué)位論文第 7 頁度，可保證在鏡頭的景深范圍內(nèi)，雙目視覺傳感器有較量精度4。像平面 1像平面 2( . . )ooo( . . )p oo z( , )x y zwZx2(,2)xy11(,)xy圖 3.1 交叉擺放的雙目形成的視差3.3 測(cè)量雙目視覺測(cè)量雙目視覺3.3.1 攝像機(jī)模型攝像機(jī)模型采用的攝像機(jī)模型為針孔模型如圖 3.2 所示：Z=-FfRFxmzyvwc圖 3.2 針孔攝像機(jī)模型由一個(gè)投影中心 c 和一個(gè)圖像平面 R 所組成。世界坐標(biāo)系的任意一個(gè)三維點(diǎn)叫 w=x,y,z投影到圖像平面的點(diǎn) m=u,v，是連接 w 和 c 點(diǎn)直線與圖像平面R 的交點(diǎn)

30、。這種透視投影關(guān)系可由矩陣 P 表示:smpw (3.1)式(3.1)中，s 是任意尺度因子，和分別為 m 和 w 的齊次坐標(biāo)表示：m w ， (3.2)1umv 1XYwZ因此，攝像機(jī)模型可采用透視投影矩陣 p 表示，且可以分解為： (3.3)01RtpA矩陣 A 包含了攝像機(jī)的內(nèi)參數(shù)信息，可表示為： (3.4)0000001uvauAav這里 au=fku ,av=-fkv 是分別以水平和垂直象素單位表示的焦距長(zhǎng)度。(u0,v0)為圖像中心點(diǎn)坐標(biāo)，定義為光軸與圖像平面的交點(diǎn)。攝像機(jī)的外部參數(shù)，包括位置和朝向，由一個(gè) 33 的旋轉(zhuǎn)矩陣 R 和一個(gè)平移矢量 t 表示。外部參數(shù)表達(dá)的是攝像機(jī)坐標(biāo)

31、系與世界坐標(biāo)系的關(guān)系3。3.3.2 最佳閾值分割圖像最佳閾值分割圖像圖像分割就是要將圖像中有意義的特征或者需要應(yīng)用的特征提取出來。這些特征可以是圖像的原始特征，如物體占有區(qū)的像素灰度值、物體輪廓曲線或紋理特征等，還可以是空間頻譜或直方圖特征。分割的目的是將二維數(shù)字圖像在空間和灰度兩方面都進(jìn)行簡(jiǎn)化處理。經(jīng)圖像分割處理后，原始圖像中灰度連續(xù)變化的場(chǎng)景變成一些相對(duì)獨(dú)立的幾何區(qū)域，目標(biāo)中我們關(guān)心的重要特性得到增強(qiáng)，而冗余信息被去除，整個(gè)圖像的信息量大大減小，有利于目標(biāo)特性的分析。為了保證機(jī)器人視覺系統(tǒng)的實(shí)時(shí)性要求，采集的圖像首先轉(zhuǎn)換為灰度圖像，便于設(shè)計(jì)算法，因?yàn)橥ǔＧ闆r下，利用目標(biāo)區(qū)域和背景區(qū)域在灰度

32、方面的差異可以實(shí)現(xiàn)對(duì)圖像的分割。圖像分割的一個(gè)難點(diǎn)在于，在劃分之前，不能夠確定圖像區(qū)域的數(shù)目。移動(dòng)機(jī)器人和自動(dòng)駕駛車所工作的環(huán)境也是千差萬別，不能要求具體的特定的工作環(huán)境，可以行走在平坦的具有灰度一致性的道路上，也可能工作于像草地、基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究第 8 頁丘陵、河流的環(huán)境下，所以如何劃分出對(duì)場(chǎng)景有實(shí)際意義的分割目標(biāo)是很重要的。按照通用的分割定義，分割出的區(qū)域應(yīng)該是滿足均勻性和連通性的條件。其中均勻性指的是該區(qū)域中的所有像素點(diǎn)都滿足基于灰度、紋理等特征的相似性準(zhǔn)則，而連通性是指在該區(qū)域內(nèi)任意兩點(diǎn)存在相互連通的路徑?；诖?，我們考慮動(dòng)態(tài)確定多層次局部最

33、佳閾值的方法。設(shè)圖像為 f，不失一般性，假設(shè)多個(gè)目標(biāo)的灰度范圍為 G1,G2,G3可以考慮設(shè)定多個(gè)閾值來把各個(gè)目標(biāo)區(qū)域進(jìn)行分割識(shí)別。在一個(gè)區(qū)域內(nèi)，如果同時(shí)存在目標(biāo)和背景，其灰度直方圖就存在著兩個(gè)山峰，一定存在最佳閾值。如果只有目標(biāo)或背景，一般情況下，就是沒有谷底的單峰。首先把圖像 f 看作一個(gè)區(qū)域 R，對(duì) R 求出最佳閾值 T1，根據(jù)閾值 T1 把 R分割成了灰度值級(jí)別不同的兩個(gè)子區(qū)域 RL1,Rh1。如果以一個(gè)二又樹結(jié)構(gòu)來描述，R 就是二叉樹的樹根。兩個(gè)子區(qū)域分別為的左、右子樹。節(jié)點(diǎn)的閾值 T 是劃分左、右子樹的標(biāo)準(zhǔn)。這樣對(duì)節(jié)點(diǎn)進(jìn)行分叉，直到節(jié)點(diǎn)區(qū)域的灰度值直方圖近似平坦，不存在明顯的雙峰或

34、多峰，如圖 3.3 所示。R1TR1D1D2R2R2hD32TR1h圖 3.3 圖像閾值分割樹對(duì)每一個(gè)區(qū)域進(jìn)行一種迭代算法來求圖像最佳分割閾值。首先求出圖像中的最大和最小灰度值 Gmin 和 Gmax，令初始閾值 (3.5)minmax02GGT閾值 T0 將圖像分割成低灰度級(jí)區(qū)域 l0 和高灰度級(jí) h0 區(qū)域兩部分。不失一般性，設(shè)閾值 Tk 將圖像分割成低灰度級(jí)區(qū)域 lk 和高灰度級(jí)區(qū)域 hk 兩部分，求出該兩部分的平均灰度值 Glk 和 Ghk： (3.6)( , )( , )( , ) ( , )( , )kkf x yTklf x yTf x y w x yGw x y (3.7)(

35、, )( , )( , ) ( , )( , )kkf x yTkhf x yTf x y w x yGw x y式中 f(x,y)是圖像上(x,y)點(diǎn)的灰度值，w(x,y)是(x,y)點(diǎn)的權(quán)重系數(shù)，一般取1。根據(jù) Glk 和 Glk 求出新的閾值： (3.8)12kkklhGGT如果 Tk=Tk+1 或者趨于收斂，則結(jié)束計(jì)算，從而得到該區(qū)域的最佳分割閾值；否則，繼續(xù)迭代。3.3.3 目目標(biāo)區(qū)域的提取標(biāo)區(qū)域的提取通過多閾值的分割，原始圖像變成以不同區(qū)域灰度均值填充的區(qū)域分割圖像。為了進(jìn)行基于區(qū)域的立體匹配計(jì)算，必須提取分割出的目標(biāo)區(qū)域的特征量。特征量包括反映區(qū)域大小的面積 A 和區(qū)域重心。(

36、, )x y 成都信息工程學(xué)院學(xué)位論文第 9 頁在實(shí)際場(chǎng)景圖像中，目標(biāo)區(qū)域的形狀并非總是規(guī)則的和容易識(shí)別的，相當(dāng)多的情況是，目標(biāo)區(qū)域?yàn)椴灰?guī)則形狀，而且有時(shí)候不規(guī)則的目標(biāo)形狀在某一個(gè)方向上是狹窄而且彎曲的。在這種情況下，求得的重心坐標(biāo)可能是失效的。如求得的重心坐標(biāo)落在實(shí)際目標(biāo)區(qū)域之外，這樣在立體匹配操作下，就會(huì)得到錯(cuò)誤的視差結(jié)果。鑒于此，在求任意形狀目標(biāo)區(qū)域的重心問題時(shí)可以通過區(qū)域分解的辦法得到解決。把大的目標(biāo)區(qū)域進(jìn)一步細(xì)分成多個(gè)矩形區(qū)域（邊緣為三角形） ，再分別求得各個(gè)子區(qū)域的重心坐標(biāo)，分別進(jìn)行視差計(jì)算。在對(duì)區(qū)域進(jìn)行分解的同時(shí)計(jì)算分解區(qū)域的面積。區(qū)域面積 A 描述區(qū)域的大小，就是對(duì)于屬于區(qū)域的

37、像素的計(jì)數(shù)。對(duì)于面積小于一個(gè)預(yù)定小閾值的目標(biāo)區(qū)域，對(duì)其進(jìn)行歸一化處理。目的是對(duì)分割的區(qū)域進(jìn)行進(jìn)一步的整理，通過區(qū)域生長(zhǎng)、修補(bǔ)由于目標(biāo)或背景（即障礙物或道路）表面的光照不均勻或部分表面灰度的差異而引起的分割空洞。而對(duì)于均質(zhì)的物體而言，重心就是其幾何中心，分解的目標(biāo)區(qū)域重心可以由式(3.8)求得： (3.9)1111,AAiiiiilAAiilip xp xxyXX式(3.9)中，是所求物體的重心坐標(biāo)；(xi,yi)是目標(biāo)區(qū)域的像素坐標(biāo)；Pi, x y 是區(qū)域(xi,yi)點(diǎn)處的質(zhì)點(diǎn)重量，一般取 1。采用上述方法求得分解目標(biāo)區(qū)域的重心后，就可以通過掃描圖像的分割分解圖,對(duì)分割分解得到的目標(biāo)區(qū)域進(jìn)行

38、編號(hào)處理，為進(jìn)一步的立體匹配工作做準(zhǔn)備。4 雙目視覺雙目視覺4.1 基基本原理本原理一般的圖片都是二維的，很少是三維的。但人的眼睛就一眼能看出它是三維的，雙目視覺就相當(dāng)于人的眼睛。它是通過兩個(gè)攝像機(jī)給物體拍照得到兩張圖片，在隨便找出兩個(gè)相對(duì)應(yīng)的區(qū)域，找到攝像機(jī)的參數(shù)、兩區(qū)域的相差，就可以通過計(jì)算求出該區(qū)域的三維坐標(biāo)。在選一個(gè)區(qū)域也可以求出它的坐標(biāo)，選n 次就可以把物體全部選完，這樣就可以確定物體的整體坐標(biāo)。4.2 雙目視覺的設(shè)計(jì)雙目視覺的設(shè)計(jì)對(duì)雙目視覺傳感的測(cè)量是很復(fù)雜和困難的。如機(jī)構(gòu)設(shè)計(jì)首先要設(shè)計(jì)一個(gè)機(jī)械平臺(tái)，根據(jù)具體任務(wù)的不同，視覺系統(tǒng)的自由度和鏡頭的配置均有所不同。 自由度的設(shè)置：對(duì)于工

39、業(yè)機(jī)器人來說，若需要測(cè)量深度的情況下，就是將兩個(gè)攝像頭裝配在機(jī)械手末端。即對(duì)于攝像頭來說或者設(shè)有可控的自由度，或者有兩個(gè)自由度而對(duì)于仿人型機(jī)器人來說。需要配置更多的自由度來模仿人眼和頭部的功能通常人眼和頭部是在一起來設(shè)計(jì)的。最常見的是四個(gè)自由度，兩眼各一個(gè)，脖子兩個(gè)。仿人型(上半身)機(jī)器人則有更多的自由度，它可以任意基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究第 10 頁的旋轉(zhuǎn)，大大的增加了它的視覺。由于條件的限制我就不可能設(shè)計(jì)成像那樣的，為了能計(jì)算出它的坐標(biāo)就把攝像機(jī)安置在一條垂直線上，而且固定攝像機(jī)鏡頭使它不能旋轉(zhuǎn)，視線水平。在設(shè)計(jì)的時(shí)候就忽略了它的視場(chǎng)誤差，如果讓兩個(gè)攝像

40、機(jī)的中心軸平行，兩個(gè)的視場(chǎng)是不一樣的，及一個(gè)攝像機(jī)得到的圖片，它的一部分在另一張圖片上找不到與它相對(duì)應(yīng)的。為了設(shè)計(jì)的需要就把兩個(gè)攝像機(jī)的視場(chǎng)看成一樣的。 像頭距離：兩個(gè)攝像頭之間的距離越大，則目標(biāo)在兩個(gè)攝像頭上的視差越大，有利于求取深度。如果太大，則整個(gè)裝置的體積就變大了不利于移動(dòng)，而且它視場(chǎng)差也要變大就不能忽略它的存在了。為利于求取深度、裝置的移動(dòng)和加小誤差，就把它的距離 d 設(shè)為 50m。 物體的選擇也有一定的限制，如圖：圖 4.1 物體側(cè)面成直角像這樣一個(gè)直角的物體，當(dāng) 1 號(hào)攝像機(jī)給物體拍照時(shí)有一部分被擋，不能在照片是看到，然而在 2 號(hào)像機(jī)照下的圖片上有被擋了的那部分。就找不到兩張圖

41、片相對(duì)應(yīng)的圖像，也就不能找到它們的相差，不可能求出它的三維坐標(biāo)。還有很多像這樣的物體，如圖：圖 4.2 物體側(cè)面是斜面如果攝像機(jī)的最大視角線正好于物體的斜面平行，在 1 號(hào)攝像機(jī)的到的照片就沒有物體的斜面。而在另一張圖片上就多出些圖像，沒有辦法在那張圖片上找12圖 4.3 兩個(gè)攝像拍一個(gè)特殊物體到于它對(duì)應(yīng)的像，通過公式就不能求出物體的三維坐標(biāo)。還有很多像這樣的物體是不能完成實(shí)驗(yàn)的，所以就需要找到一個(gè)特殊物體。如側(cè)面像正弦的條紋物體就能很好的完成實(shí)驗(yàn)，用條紋型的物體，它比 無論把它放在那個(gè)位置都可以完成實(shí)驗(yàn)。但為了實(shí)驗(yàn)的效果更明顯就需要選擇一個(gè)好的位置，如果把物體放在兩個(gè)攝像機(jī)的中間，從圖片上可

42、以看出相差很小不利于計(jì)算，也增大了偶然誤差。如圖 4.3，2 號(hào)攝像機(jī)正對(duì)著物體，圖片的中間就會(huì)出現(xiàn)均勻的條紋。1 號(hào)攝像機(jī)的視角線與物體中間的斜面的角度很小，所以在圖片中間上得到很密的條紋。如果把物體放在其他的地方，雖然可以算出物體的坐標(biāo)，但是圖片的對(duì)比性不高，不利于找到對(duì)應(yīng)的條紋和坐標(biāo)的計(jì)算。所以就把物體放在一個(gè)理想成都信息工程學(xué)院學(xué)位論文第 11 頁的位置，及一個(gè)攝像機(jī)的正對(duì)著物體中心。a1a1a2a2zdy2x21圖 4.3 雙目視覺的光路圖兩張條紋圖片，是拍同一個(gè)物體得到的及它們到是相互對(duì)應(yīng)的?？梢酝ㄟ^圖片的灰度圖像求得那兩個(gè)條紋是對(duì)應(yīng)的關(guān)系。為了說明雙目視覺的測(cè)量原理，我們選取了很

43、特殊的一個(gè)理想模型，垂直擺放兩個(gè)攝像機(jī)(設(shè)攝像機(jī)的焦距為 f=10)，要求它們的中心距離為 50m，攝像機(jī)的鏡頭固定在水平方向上且不讓旋轉(zhuǎn)。為了讓實(shí)驗(yàn)的效果更加的明顯，把物體的中心與一個(gè)攝像機(jī)的中心在一條水平線上。為了使設(shè)計(jì)的效果明顯，就需要一個(gè)特別的物體。如側(cè)面像正弦波的物體，就可以在一張圖片上看到均勻的條紋，另外一幅就是間距不相同的條紋。這樣就很容易的找到每一條紋在兩張圖片上的像高度。在這里就只選擇了有普遍意義的兩個(gè)條紋，一個(gè)在兩個(gè)攝像機(jī)的中間區(qū)域，另一個(gè)就在上面一個(gè)攝像機(jī)的水平線上面。如圖 推導(dǎo)過程推導(dǎo)過程先求條紋 1 號(hào)的高度由牛頓公式可得： (4.1)fxz111如圖

44、可以得出： (4.2)dyy21 (4.3)22yaxz11yaxz由(4.1)能計(jì)算出： (4.4)fzzfx由(4.2)得： (4.5)zxay11zxay22在把(4.5)代入(4.2)得： 及 (4.6)dzaax)(21zdaax)(21在把(4.6)代入(4.4)得： 算得：fdaaxfdaaxx)()(2121) 1(21aadfx同理也可以求出 2 號(hào)條紋的高度，應(yīng)該注意到 a1 和 a1的坐標(biāo)關(guān)系，設(shè) a1為負(fù)，則 a1 為正。(設(shè)過攝像機(jī)中心的直線為 x 軸)因?yàn)橄旅娴臄z像機(jī)的成像都在 x 軸的下面就不需要考慮坐標(biāo)關(guān)系。4.4 計(jì)算機(jī)防真計(jì)算機(jī)防真首先清空一個(gè)區(qū)域，設(shè) x

45、的取值在(1:256)，y1 是一條 3x 的直線。y2 是物體的側(cè)面圖，它以 y1=3x 這條直線為軸，振幅 40，周期是 2/256 的正弦波。讓y1，y2 在同一張圖片上輸出。建立一個(gè) for 循環(huán),模擬圖片的形狀及 a1，a2，把它們用圖片表示出來。再用 for 循環(huán)把 d1，d2 的取值表示出來，如圖 4.3 像有正基于雙目視覺的光學(xué)傳感技術(shù)研究基于雙目視覺的光學(xué)傳感技術(shù)研究第 12 頁負(fù)的區(qū)分 d1 就需要減 386，把參數(shù)代入公式中去，就求出 x1。用二維和三維顯示出 x1，再在三維圖片中每隔 8 個(gè)點(diǎn)抽一次，輸出圖片。clear allx=(1:256);y1=3*x;y2=3

46、*x+40*sin(2*pi*x/(256);plot(y1)hold onplot(y2,r)figurefor i=1:256 for j=1:256 a1(i,j)=2+sin(2*pi*(3*j)./30); a2(i,j)=2+sin(2*pi*(3*j+40*sin(2*pi*j/(256)./30); endendimshow(a1,)figureimshow(a2,)for i=1:256for j=1:256 d1(i,j)=3*j-384; d2(i,j)=50+3*j+40*sin(2*pi*j/(256); x1(i,j)=10*(50/(d2(i,j)-d1(i,j)+1); endendfigureimshow(x1,)figuremesh(x1)figuremesh(x1(1:8:256,1:8:256)figuresurf(x1(1:8:256,1:8:256)成都信息工程學(xué)院學(xué)位論文第