基于雙目視覺的圖像匹配算法研究論文

1、沈陽理工大學碩士學位論文摘要雙目視覺中的一個重點和難點就是圖像匹配，圖像匹配也是計算機視覺和圖像處理領(lǐng)域的一個非常重要的研究方向。本文針對圖像匹配方法進行了深入的研究，并提出了一種高效的圖像匹配算法。特征點提取之后，首先用相關(guān)法進行初始匹配，匹配集合中會出現(xiàn)很多有歧義的匹配點，其中含有大量的誤匹配點，這樣的匹配點對集合不利于對基本矩陣進行有效估計。提出一種消除匹配歧義的算法，求一個稱為匹配支持強度的函數(shù)值，這個函數(shù)描述的是一個匹配點對被附近其他匹配點對支持的程度，然后用某種策略，將匹配支持強度適當?shù)钠ヅ潼c對提取出來放入一個集合，以達到消除匹配歧義的目的。消除歧義以后，以 8 點算法和最小中值區(qū)

2、域算法為基礎(chǔ)來估計基本矩陣。最后應用得到的精確的基本矩陣即外極幾何來重新引導匹配。實驗證明，本文的算法較好地解決了雙目視覺中的圖像匹配問題。關(guān)鍵詞：雙目視覺；特征點提??；特征點匹配；外極幾何沈陽理工大學碩士學位論文abstractan important and main part of binary vision is image matching. it is also an importantresearch topic in the fields of computer vision and image processing. this paper has donea great wo

3、rk to research image matching algorithms deeply and a highly effective andimage matching algorithm has been developed.after corner detection, correlation method is used for initial matching. after that,many ambiguous matching points will be in the matching set. and a large amount ofoutliers will be

4、taken into account. this kind of feature points set can not be used forestimating the fundamental matrix. a disambiguating algorithm has been proposed using aso-called strength of matching function which describes the extent of one pair of featurepoints being supported by other pairs nearby. after t

5、hat, a strategy will be used to extractpairs of feature points with the proper value of strength of match in order to disambiguate.after disambiguating, we use 8-points algorithm and least-median-of-squaresalgorithm to estimate the fundamental matrix. at last, we can solve image matchingproblem with

6、 the help of the precise fundamental matrix which we have got just now.it has been proved by experiment that the algorithm in this paper has solved imagematching in binary vision well.key words：binary vision; corner detection; matching of feature points; epipolar geometry沈陽理工大學碩士學位論文原創(chuàng)性聲明本人鄭重聲明:本論文的

7、所有工作，是在導師的指導下，由作者本人獨立完成的。有關(guān)觀點、方法、數(shù)據(jù)和文獻的引用已在文中指出，并與參考文獻相對應。除文中已注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)公開發(fā)表的作品成果。對本文的研究做出重要貢獻的個人和集體，均己在文中以明確方式標明。本人完全意識到本聲明的法律結(jié)果由本人承擔。作者（簽字）：日期：年月日學位論文版權(quán)使用授權(quán)書本學位論文作者完全了解沈陽理工大學有關(guān)保留、使用學位論文的規(guī)定，即：沈陽理工大學有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交學位論文的復印件和磁盤，允許論文被查閱和借閱。本人授權(quán)沈陽理工大學可以將學位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮

8、印或其它復制手段保存、匯編學位論文。（保密的學位論文在解密后適用本授權(quán)書）學位論文作者簽名：指導教師簽名：日期：日期：第 1 章第 1 章緒論緒論1.1 課題來源與研究背景本課題來源于沈陽市科學技術(shù)計劃項目“基于視覺的產(chǎn)品設(shè)計三維建模技術(shù)”。該項目將計算機視覺技術(shù)和 cad 反求工程結(jié)合，以機械設(shè)計為背景，研究大型產(chǎn)品設(shè)計的三維建模技術(shù)，根據(jù)已有的實物模型，通過立體視覺的方法獲得數(shù)據(jù)，然后重建實物的 cad 模型。主要內(nèi)容包括建立立體數(shù)字相機系統(tǒng)，圖像獲取，相機標定，特征點提取，立體匹配及三維重建等。隨著計算機技術(shù)的飛速發(fā)展， 計算機輔助設(shè)計 cad1技術(shù)已經(jīng)成為制造業(yè)企業(yè)產(chǎn)品設(shè)計時非常重要的

9、工具。計算機輔助設(shè)計 cad 是一種技術(shù)，其中人與計算機結(jié)合為一個問題求解組，緊密配合，發(fā)揮各自所長，從而使其工作優(yōu)于每一方，并為應用多學科方法的綜合性協(xié)作提供了可能。計算機輔助設(shè)計 cad 技術(shù)綜合應用計算機的硬、軟件系統(tǒng)來輔助人們對產(chǎn)品或者工程問題進行設(shè)計的方法和技術(shù)，廣泛應用于機械、電子、土木、建筑、航空、航天、輕工、紡織等行業(yè)。應用 cad技術(shù)在產(chǎn)品設(shè)計中的應用大大減輕了手工繪圖設(shè)計的工作量，極大地提高了設(shè)計效率，縮短了科研和新產(chǎn)品的開發(fā)周期，從而大幅度提高了勞動生產(chǎn)率及產(chǎn)品的競爭力。在機械領(lǐng)域中，cad 反求工程是指在沒有設(shè)計圖紙或者設(shè)計圖紙不完整的情況下，按照現(xiàn)有零件實物或模型（產(chǎn)

10、品原型或油泥模型），利用各種數(shù)字化技術(shù)重構(gòu)原形 cad 模型的過程，進而克隆或創(chuàng)新實物產(chǎn)品。隨著科學技術(shù)的發(fā)展，工業(yè)產(chǎn)品越來越趨向多品種、小批量、高精度和復雜的幾何形狀。加入 wto 后，全球制造業(yè)正以垂直整合的模式向亞太及我國轉(zhuǎn)移，我國將成為世界制造業(yè)的重要基地，我國的企業(yè)面臨的市場競爭也越來越激烈。縱觀日本、韓國等國家，我國裝配制造技術(shù)發(fā)展的歷程必然是引進、吸收、消化、創(chuàng)新，因此研究 cad 反求工程是非常必要的。計算機視覺（computer vision）是在圖象處理的基礎(chǔ)上發(fā)展起來的一門交叉學1沈陽理工大學碩士學位論文科2，從信息處理的層次研究視覺信息的認知過程，研究視覺信息處理的計算

11、理論、表達與計算方法，試圖通過對一幅或多幅二維圖像的分析，感知三維環(huán)境的幾何信息。計算機視覺既是工程領(lǐng)域，也是科學領(lǐng)域中的一個富有挑戰(zhàn)性重要研究領(lǐng)域。計算機視覺是一門綜合性的學科，它已經(jīng)吸引了來自各個學科的研究者參加到對它的研究之中。其中包括計算機科學和工程、信號處理、物理學、應用數(shù)學和統(tǒng)計學，神經(jīng)生理學和認知科學等。計算機視覺是各個應用領(lǐng)域，如制造業(yè)、檢驗、文檔分析、醫(yī)療診斷，和軍事等領(lǐng)域中各種智能系統(tǒng)中不可分割的一部分。由于它的重要性，一些先進國家，例如美國把對計算機視覺的研究列為對經(jīng)濟和科學有廣泛影響的科學和工程中的重大基本問題，即所謂的重大挑戰(zhàn)（grand challenge）。計算機

12、視覺的挑戰(zhàn)是要為計算機和機器人開發(fā)具有與人類水平相當?shù)囊曈X能力。機器視覺需要圖像信號，紋理和顏色建模，幾何處理和推理，以及物體建模。一個有能力的視覺系統(tǒng)應該把所有這些處理都緊密地集成在一起。作為一門學科，計算機視覺開始于 60 年代初，但在計算機視覺的基本研究中的許多重要進展是在 80 年代取得的?，F(xiàn)在計算機視覺已成為一門不同于人工智能、圖象處理、模式識別等相關(guān)領(lǐng)域的成熟學科。計算機視覺的研究內(nèi)容涉及圖象處理、模式識別或圖象識別、景物分析、圖像理解等。其中，圖像匹配是計算機視覺領(lǐng)域中的一個非常重要的熱點問題，也是圖像處理的一項關(guān)鍵技術(shù)，可廣泛應用于目標識別與跟蹤、立體視覺、變化檢測、運動分析以

13、及測繪等領(lǐng)域。近年來，隨著計算機硬件不斷發(fā)展，速度更快，價格更低的處理芯片不斷問世，這些新的硬件使圖像匹配的速度大大提高，從而使圖像匹配技術(shù)可以被應用于越來越多的領(lǐng)域中。1.2 研究意義圖像匹配是計算機視覺理論和應用的基礎(chǔ)，同時也是在近幾十年來也一直是人們研究的熱點和難點。許多重要的計算機視覺理論與應用都是在假設(shè)匹配問題已解決的前提下展開的3。因此，對圖像匹配做進一步的研究具有重要意義。圖像匹配的研究要涉及到許多計算機圖形圖像相關(guān)的知識領(lǐng)域，例如圖像預處理、圖像采樣、圖像分割、特征提取等4。很多圖像匹配算法將計算機視覺、多維2第 1 章緒論信號處理和數(shù)值計算等緊密結(jié)合在一起。圖像匹配技術(shù)與圖像

14、融合、圖像匹配等研究方向密切相關(guān)，是圖像理解和圖像復原等領(lǐng)域的研究基礎(chǔ)。圖像匹配技術(shù)在諸多領(lǐng)域內(nèi)有著廣泛的應用6-9，其中主要的應用領(lǐng)域有:飛機導航，武器投射系統(tǒng)的末制導，光學和雷達的圖像模板跟蹤，導彈的地形和地圖匹配，工業(yè)儀表的自動監(jiān)控，工業(yè)流水線的自動監(jiān)控，醫(yī)療診斷，資源分析，氣象預報，文字識別以及景物分析中的變化檢測等等4。圖像匹配技術(shù)在遙感信號處理領(lǐng)域中被廣泛應用于目標定位及不同電磁波段的圖像融合（如微波、紅外、可見光或多光譜圖像），建筑、道路、交通工具和蔬菜類型的劃分、礦物尋找、特定區(qū)域搜索、農(nóng)作物估產(chǎn)、森林和水源保護、臺風追蹤和預報、天氣預報等方面。圖像匹配由于在醫(yī)學界具有很重要的

15、臨床應用價值已經(jīng)成為醫(yī)學圖像研究領(lǐng)域的熱門專題之一。對各種使用不同或相同的成像手段所獲取的醫(yī)學圖像進行匹配不僅可以用于醫(yī)療診斷，還可用于手術(shù)計劃的制定、放射治療計劃的制定、病理變化的跟蹤和治療效果的評價等各個方面。例如，在制定放射治療計劃時，需要用x-ct 片進行放射劑量分布的計算，而病灶區(qū)域的輪廓通常在 mri（磁共振成像）中能很好的體現(xiàn)出來。在核醫(yī)學中，把功能圖像（pet-正電子發(fā)射圖像或 spect-單光子發(fā)射圖像）和形態(tài)學圖像（mri 磁共振圖像或 x-ct 圖像）結(jié)合起來可以使得機能障礙區(qū)的解剖定位和功能結(jié)構(gòu)的關(guān)系研究變得更為方便5。在工業(yè)檢測領(lǐng)域中，圖像匹配技術(shù)被廣泛應用于表面缺陷

16、檢測、工業(yè)測量、產(chǎn)品質(zhì)量評估等部門，對工業(yè)自動化、提高產(chǎn)品質(zhì)量、提高生產(chǎn)率及節(jié)約成本有很高的價值。在機器視覺領(lǐng)域中圖像匹配技術(shù)是目標跟蹤、運動分析、對象識別、自動視覺檢測等研究方向的研究基礎(chǔ)?？梢灶A見，隨著計算機技術(shù)的發(fā)展和數(shù)字圖像處理技術(shù)應用的日益廣泛，圖像匹配技術(shù)必將在社會生活和工業(yè)生產(chǎn)中發(fā)揮越來越重要的作用。1.3 研究現(xiàn)狀及存在問題匹配同一個場景的不同圖片仍然是計算機視覺的一個瓶頸。15 年來人們做了大量的工作，但是結(jié)果仍然不能令人滿意。我們所知的同一場景的兩幅圖片唯一幾何3沈陽理工大學碩士學位論文約束是外極線約束3,11。然而，當這兩張圖片之間的位移未知時，外極幾何也不知道。文獻中提

17、供的方法都是應用了一種或兩種形式的一些啟發(fā)式的方法，例如，密度相似性，這樣的方法在大部分場合下都應用不了。這個困難可以通過應用短間隔的長序列圖片來部分地忽略。事實上，因為時間間隔很小并且物體速度被物理定律所束縛，物體的幀間位移是受限的，也就是，后來拍攝的圖像中的物體相應必須在第一個附近。然而，在許多情況下，例如一對未校準的立體圖像，這個技術(shù)無法應用。如此，開發(fā)一種健壯的匹配技術(shù)就非常重要了。在研究的最初階段很多圖像匹配算法被開發(fā)出來，在 zhengyou zhang 的論文10中把這些匹配算法粗略的分成兩類：第一類是模板匹配，這一類算法先把圖片分成一些小塊模板，然后對這些模板中的灰度進行匹配。

18、這種算法對有微小差異的圖像對有效，但是當圖像中相似區(qū)域較多或者兩個圖像之間差異比較大時，這種算法難以得到足夠準確的匹配結(jié)果。第二類是特征匹配，這種算法首先從圖像中提取初始特征點，例如邊緣片段和輪廓，然后在兩張圖片中對這些特征點進行匹配。提取了特征點的圖像就變成了一個定義了結(jié)點的圖。就可以應用一些對圖進行操作的算法進行匹配。傳統(tǒng)的技術(shù)是樹搜索，松弛法等。這種算法實現(xiàn)比較復雜，匹配準確率也常常無法得到要求。隨著技術(shù)的發(fā)展，越來越多的新思路被應用到圖像匹配的算法中。這些算法主要從減少圖像匹配過程中的誤匹配著手，兼顧提升效率。圖像匹配過程中造成誤匹配的原因除了算法本身的原因外，攝像機成像中存在的多種誤

19、差因素也是重要原因之一12，如噪聲13、亮度差異14、遮擋15-16、透視失真以及由采樣效應17引起的像素灰度不相似等，它們引起圖像對之間的對應點存在差異。對于一幅圖像中的一個特定的特征或者窗口，通常在另一幅圖像中會有幾個候選點存在，因此必須增加額外的信息或者約束條件來幫助獲得正確的匹配，通常采用的約束有18-19：相似性約束、平滑性約束、唯一性約束、外極線約束等。根據(jù)約束方式的不同，應用新思路的匹配算法又可以分為兩種，一種是對像素周圍小區(qū)域進行約束的局部匹配方法；另一種是對整個圖像進行約束的全局匹配方法。局部匹配方法的優(yōu)點是計算量小，速度快，易于硬件實現(xiàn)和加速，許多立體視覺系統(tǒng)都采用了局部匹

20、配方法。但是由于局部尋優(yōu)，對遮擋區(qū)、無紋理區(qū)比較敏感，4第 1 章緒論和全局匹配方法相比其視差圖的誤匹配率比較高；全局匹配方法的優(yōu)點是匹配準確性較高，但是往往計算量大，耗時比較久，不易于硬件實現(xiàn)。局部匹配方法和全局匹配方法兩種匹配算法在計算視差的方法上各有側(cè)重點，但是都需要定義匹配測度函數(shù)，如今廣泛應用的測度函數(shù)有20-21：平方差(ssd)、絕對差(sad)、歸一化互相關(guān)(ncc)以及一些其它的相似性測度。選擇良好的匹配測度函數(shù)不僅有利于計算速度的提高，并且對于計算準確性也有一定的影響。本文將在隨后的章節(jié)中詳細的討論各種約束條件的意義和應用，以及匹配測度函數(shù)的選擇。圖像匹配的解并不具有唯一性

21、，而且對噪聲和量化誤差極其敏感，所以本身存在一定的病態(tài)性（ill-posed）。如今，針對立體匹配的研究主要集中在兩個方面：計算速度和計算準確度。圖像匹配問題實質(zhì)上是對應點的搜索問題，因此對于計算速度的提高主要表現(xiàn)為搜索范圍的縮小、搜索策略的改進和硬件設(shè)備性能的提高上12。極線約束把二維搜索問題降到一維；采用算法優(yōu)化來降低計算復雜度，如盒式濾波（box filter）技術(shù)22、整數(shù)圖像（integral image）23-24等。計算準確度的提高在硬件方面主要是采用三目或多目攝像機122526-27來解決通過算法無法解決的遮擋問題等。在軟件方面主要集中在新算法的引入和對原有算法的改進方面12。

22、譬如，神經(jīng)網(wǎng)絡28、圖切29、遺傳算法30-31、圖像分割32算法等的引入。盡管有很多新方法被應用到圖像匹配問題中，但是這些方法都有各自的缺點，很難判斷哪種適用于本工程。對于雙目立體視覺系統(tǒng)，必須有針對性地開發(fā)出一種直接有效果的方法十分必要。1.4 本文的主要工作1.4.1 本文的圖像匹配方法這篇論文的研究目標是應用極幾何約束，也就是外極線約束，對同用同一相機拍攝出的兩幅圖像進行匹配。由于同一攝像機對同一場景拍攝的兩幅圖像的特征點之間存在極幾何約束，即5沈陽理工大學碩士學位論文其中一幅圖像在另一幅圖像上的匹配點一定在外極線上，所以，可以恢復外極線，并用外極線引導進行圖像匹配。用同一攝像機從兩個

23、不同視點獲得的來自同一場景的兩幅圖像之間存在著一定的約束關(guān)系,即外極幾何關(guān)系。這一幾何關(guān)系是可以從匹配點對中獲得的唯一信息。外極幾何與具體場景無關(guān),只依賴攝像機的內(nèi)部參數(shù)和位置。外極幾何可以用一個3階的秩2 矩陣，即基本矩陣(fundamental matrix)來描述，可以用估計基本矩陣的方式來恢復外極幾何。常用的恢復外極幾何的方法是8點法，可以選取8個匹配點對，然后解一個線性方程組來計算基本矩陣。但是，無論用人工選取的方式，還是用程序來選取，都有可能選到誤匹配點對，這會嚴重影響基本矩陣的估計精度。實際上，無論是國外還是國內(nèi)的研究成果都無法保證基本矩陣的估計精度。本篇文章中提出的圖像匹配方法

24、，是應用唯一的極幾何約束，也就是，外極線約束，在同一個場景的兩張圖像之間建立健壯的聯(lián)系。首先提取兩個圖像中高曲率的特征點，然后使用模板匹配的方法進行初試匹配，初始匹配結(jié)束以后，由于得到的匹配集合中有很多一對多或多對一匹配的情況，這種情況在有重復場景的圖像對中出現(xiàn)的特別多。為了消除匹配歧義以得到一個相對正確率較高的一對一的匹配點對集合，本文通過應用一個新提出松弛算法來消除歧義，然后用得到的一對一匹配點對集合來恢復外極線，最后用得到的外極線來引導匹配。簡單的說，本文的算法由四個步驟組成：（1） 提取特征點；（2） 用模板匹配的方式進行初始匹配；（3） 用松弛方法消除歧義；（4） 估計外極幾何，并用

25、估計出的外極幾何重新引導匹配。1.4.2 本文的結(jié)構(gòu)第一章 緒論。系統(tǒng)地介紹了課題來源，cad 反求工程以及計算機視覺的概念、研究領(lǐng)域、研究意義與重要性。在介紹了課題的大背景以后，介紹了圖像匹配在cad 反求工程以及計算機視覺研究中的重要地位以及研究意義。介紹了圖像匹配研究現(xiàn)狀并提出了現(xiàn)今在圖像匹配研究中存在的問題，合理規(guī)劃了論文的主要工作。第二章 基本原理及理論基礎(chǔ)。主要介紹本文的理論基礎(chǔ)，包括攝像機透視投6第 1 章緒論影模型，外極幾何的概念，極線的概念，在未知攝像機參數(shù)時外極線約束的重要性以及基本矩陣的概念和公式推導等。第三章 特征點提取。在實驗室環(huán)境中采用二臺 vc 智能相機搭建雙目立

26、體視覺系統(tǒng)，對同一標定模板采集主體圖像對。采集得到的圖像對首先要進行特征點提取。詳細介紹了本實驗中所用到的各種特征點提取算法以及圖像預處理算法及程序設(shè)計，其中 harris 算法是本實驗所用到的最主要的特征點提取算法。第四章 特征點匹配。由同一場景拍攝的兩張圖像提取出的特征點進行特征點匹配，首先要得到一個正確率較高的一對一匹配的特征點對集合。用模板匹配的方式進行初始匹配，得到多對多的特征點對集合。提出一種消除匹配歧義的算法，求一個稱為匹配支持強度的函數(shù)值，這個函數(shù)描述的是一個匹配點對被附近其他匹配點對支持的程度，然后用某種策略，將匹配支持強度最高的匹配點對提取出來放入一個集合，以達到消除匹配歧

27、義的目的。應用得到的無歧義的匹配點對集合，用估計基本矩陣的 8 點算法以及最小中值區(qū)域（lmeds）算法估計基本矩陣。然后用估計出的矩陣引導匹配。設(shè)計整個特征點匹配部分的數(shù)據(jù)結(jié)構(gòu)并畫出各主要函數(shù)的程序流程圖。第五章 實驗過程及結(jié)果分析。介紹項目的流程包括圖像獲取及相機標定及三維重建，給出程序的界面及各部分結(jié)果展示。給出特征點提取及特征點匹配步驟中各個實驗數(shù)據(jù)并進行分析數(shù)據(jù)分析。結(jié)論部分。在總結(jié)了本課題的實際工作和相關(guān)結(jié)論的基礎(chǔ)上，謹慎地提出了特征點匹配部分的算法缺陷，提出有待進一步完善的規(guī)劃，以及未來發(fā)展的預計目標。1.4.3 設(shè)計環(huán)境及開發(fā)工具本工程以 windows 為平臺，采用 visu

28、al c+ 6.0 為編程工具，依賴 opengl 程序庫做支持，實現(xiàn)雙視場三維建模的系統(tǒng)。c+是貝爾實驗室的 stroustrup（sy186）開發(fā)的面向?qū)ο蟮某绦蛟O(shè)計語言。c+有許多特點是對 c 語言的修飾，但是更重要的是它提供了面向?qū)ο蟮某绦蛟O(shè)計能力。面向?qū)ο蠹夹g(shù)以其獨特的封裝性、繼承性和多態(tài)性為軟件工程帶來了一場變革，對象實際上是模擬真實世界特點的可重用軟件組件，同傳統(tǒng)的軟件開發(fā)方法相比，面向?qū)ο蠹夹g(shù)可以更直觀地進行對現(xiàn)實世界的抽象，更符合軟件開發(fā)的規(guī)律，使軟7沈陽理工大學碩士學位論文件開發(fā)更加規(guī)范化，大大提高了軟件開發(fā)的生產(chǎn)率，提高了軟件的可繼承性、可靠性、可維護性和可擴充性。vis

29、ual c+是 microsoft 公司推出的基于 windows9x 和windows nt 的優(yōu)秀集成開發(fā)環(huán)境。它用來在 windows 環(huán)境下開發(fā)應用程序，該開發(fā)環(huán)境為用戶提供了良好的可視化編程環(huán)境，程序員可以利用該開發(fā)環(huán)境輕松地訪問 c+源代碼編輯器、資源編輯器和使用內(nèi)部調(diào)試器，并且可以創(chuàng)建項目文件，是一種功能強大、行之有效的可視化編程工具。visual c+以可視化技術(shù)為基礎(chǔ)，以c+語言為藍本，以眾多的集成開發(fā)工具為骨架，在計算機領(lǐng)域的諸多方面都發(fā)揮著重要的作用。opengl 是目前用于開發(fā)可移植的、可交互的 2d 和 3d 圖形應用程序的首選環(huán)境，也是目前應用最廣泛的計算機圖形標準

30、。opengl 是 sgi 公司開發(fā)的一套的計算機圖形處理系統(tǒng)，是圖形硬件的軟件接口。opengl 具有可移植性，任何一個opengl 應用程序無須考慮其運行環(huán)境所在平臺與操作系統(tǒng)，在任何一個遵循opengl 標準的環(huán)境下都會產(chǎn)生相同的可視效果。 由于具有體系結(jié)構(gòu)簡單合理、使用方便、與操作平臺無關(guān)等優(yōu)點，opengl 已經(jīng)成為一種 3d 圖形接口的工業(yè)標準，并能夠在各種平臺上實現(xiàn)。8第 2 章基本原理及理論基礎(chǔ)第 2 章 基本原理及理論基礎(chǔ)2.1 攝像機透視投影模型攝像機通過透鏡將三維場景投影到攝像機二維像平面上，這個投影可用成像變換描述，即攝像機成像模型。攝像機成像模型有不同描述方式，先介紹

31、機器視覺中常用的坐標系，然后介紹攝像機的線型模型和非線型模型。2.1.1 圖像坐標系、攝像機坐標系與世界坐標系攝像機采集的圖像以標準電視信號的形式經(jīng)高速圖像采集系統(tǒng)變換為數(shù)字圖象，并輸入計算機。每幅數(shù)字圖象在計算機內(nèi)為 mn 數(shù)組，m 行 n 列的圖像中的每個元素的數(shù)值即是圖像點的亮度（或稱灰度）。如圖所示，在圖像上定義直角坐標系 u、v，每一象素的坐標(u,v)分別是該象素在數(shù)組中的列數(shù)和行數(shù)。所以，(u,v)是以象素為單位的圖像坐標系坐標。由于(u,v)只表示象素位于數(shù)組中的列數(shù)和行數(shù)，并沒有用物理單位表示出該象素在圖像中的位置。因此，需要再建立以物理單位（如毫米）表示的圖像坐標系。該坐標

32、系以圖像內(nèi)某一點 o1 為原點，x 軸與 y軸分別與 u、v 軸平行，如圖所示：圖 2.1 圖像坐標系示意圖其中，(u,v)表示以象素為單位的圖像坐標系的坐標，(x,y)表示以毫米為單位的圖像坐標系的坐標。在 x、y 坐標系中，原點 o1 定義在攝像機光軸與圖像平面的交點，該點一般位于圖像中心處，但由于某些原因，會有些偏離，若 o1 在 u、v 坐標9沈陽理工大學碩士學位論文系中坐標為(u0,v0)，每一個象素在 x 軸與 y 軸方向上的物理尺寸為 dx、dy，則圖像中任意一個象素在兩個坐標系下的坐標有如下關(guān)系：用齊次坐標與矩陣形式表示為： x dyy(2-1) 1 001dy0u0 v0 y

33、 1 1 (2-2)逆關(guān)系可寫成： x dx 1 00dy0 u0dx u v0dy v 1 1(2-3)攝像機成像幾何關(guān)系可如圖所示。其中 o 點稱為攝像機光心，x 軸和 y 軸與圖像的 x 軸和 y 軸平行，z 軸為攝像機光軸，它與圖像平面垂直。光軸與圖像平面的交點，即為圖像坐標系的原點，由點 o 與 x、y、z 軸組成的直角坐標系稱為攝像機坐標系。oo1 為攝像機焦距。ywzwxwpo1xp(x,y,z)zoyyx圖 2.2 三個坐標系示意圖攝像機可安放在環(huán)境中的任何位置，在環(huán)境中選擇一個基準坐標系來描述攝像10u = dx + u0 v =+ v0u dxv = 0 1 x y = 0

34、 第 2 章基本原理及理論基礎(chǔ)機的位置，并用它描述環(huán)境中的任何物體的位置，該坐標系稱為世界坐標系。它由xw、yw、zw 軸組成。攝像機坐標系與世界坐標系之間的關(guān)系可以用旋轉(zhuǎn)矩陣 r與平移向量 t 來描述?？臻g中某一點 p 在世界坐標系與攝像機坐標系下的齊次坐標如果分別為 xw=(xw,yw,zw,1)t 與 x=(x,y,z,1)t，則存在如下關(guān)系： x y z 0t x w x w t w w (2-4)其中，r 為 33 正交單位矩陣；t 為三維平移向量；0=(0,0,0)t；m2 為 44 矩陣。2.1.2 針孔成像模型針孔成像模型又稱為線型攝像機模型?？臻g任何一點 p 在圖像中的成像位

35、置可以用針孔成像模型來近似表示，即任何點 p 在圖像中的投影位置 p，為光心 o 與 p點連線與圖像平面的交點。由比例關(guān)系有如下關(guān)系式：y =fxzfyz(2-5)其中，(x,y)為 p 點的圖像坐標；(x,y,z)為空間點 p 在攝像機坐標系下的坐標，f為 xy 平面與圖像平面的距離，一般稱為攝像機焦距。用齊次坐標和矩陣表示上述透視投影關(guān)系 x fs 1 00f0 x x 0 0 y z z (2-6)其中，s 為一比例因子，p 為透視投影矩陣。將式(2-2)和式(2-4)代入式(2-6)，得到以世界坐標系表示 p 點坐標與其投影點 p 的坐標(u,v)的關(guān)系。11 = r1 y y z =

36、 m 2 z 1 w w1 1 x = y = 0 y0 0 = p 1 0 1 1 沈陽理工大學碩士學位論文 1 001dy0u0 v0 01 00f00 0 r0 x w t yw (2-7)ax= 0 00a y0u0v010 r0 x w t yw = m 1m 2 x w = mx w其中，ax=f/dx 為 u 軸上尺度因子，或稱為 u 軸上歸一化焦距；ay=f/dy，為 v 軸上尺度因子；m 為 33 矩陣，稱為投影矩陣；m1 由 ax,ay,u0,v0 決定，稱為攝像機內(nèi)部參數(shù)；m2 由攝像機對于世界坐標系的方位決定，稱為攝像機外部參數(shù)。2.1.3 非線性模型由于實際的鏡頭并不

37、是理想的透鏡成像，而是帶有不同程度的畸變，使得空間點所成的像并不在線型模型所描述的位置(x,y)，而是在受到鏡頭失真影響而偏移的實際像平面坐標(x,y)： x = x + x(2-8)其中， x 和 y 是非線性畸變值，它與圖象點在圖象中的位置有關(guān)。理論上鏡頭會同時存在徑向畸變和切向畸變，一般切向畸變比較小。對一般機器視覺，一階徑向畸變已足夠描述非線性畸變，可寫成： 22(2-9)線性模型參數(shù) ax、ay、u0、v0 與非線性畸變參數(shù) k1 和 k2 一起構(gòu)成了攝像機非線性模型的內(nèi)參數(shù)。12u dxs v = 01 f0 0 t1 0 1 z w 1 0 t0 1 z w 1 y = y +

38、y x = ( x u0 )k1r y = (y v0 )k1r第 2 章基本原理及理論基礎(chǔ)2.2 外極幾何外極幾何是研究兩幅圖像之間存在關(guān)系的幾何，它和場景結(jié)構(gòu)無關(guān)，只依賴于攝像機的內(nèi)外參數(shù)。研究這種幾何可以用在圖像匹配、三維重建方面。介紹外極幾何之前首先要介紹雙目立體視覺的原理。2.2.1 雙目立體視覺基本原理由圖可見，對于空間物體表面任意一點p，如果用攝像機c1觀察，看到它在c1攝像機的圖像點位于點p1，但無法由p1得知p的三維位置。事實上，在op1 (o1為攝像機c1的光心)連線上的任意一點p的圖像點都是p1，因此，依據(jù)p1 點的位置，人們只知道空間點位于o1p1連線上的某一位置(或者

39、說，無法知道p點的深度)。但是，如果用c1與c2兩個攝像機同時觀察p點，并且如果能確定，在攝像機c1圖像上的點p1與在c2攝像機圖像上的點p2是空間同一點p的圖像點，因此p點是o1p1與o1p2兩條直線的交點，即它的三維位置是唯一確定的。這就是立體視覺的基本原理。ppp1p2o1c1圖 2.3用雙攝像機觀察空間點c2o22.2.2 外極幾何原理考慮圖2.4所示的兩個攝像機的情況10，圖中c1和c2是第一和第二個攝像機各自的光心。在第一張圖片上給出一點m1，它在第二張圖片上的對應點被限制在一條稱作m1的外極線的直線上，記作l m1。極線l m1是平面ii與第二張圖片平面i2的交線，平面ii由m1

40、, c1和c2定義（稱作外極平面）。這是因為圖像中的點m1可能與射線c1m（m13沈陽理工大學碩士學位論文可能在無窮遠處）上的任一點對應，并且c1m在i2上的投影是線l m1。更進一步說，在第一張圖片這個觀察點中，所有點的外極線經(jīng)過一個定點e2，稱為極點。e2是直線c1c2與平面i2的交點。這點可以很容易的理解為：在第一張圖片i1上的任一點m1k，它的在i2上的外極線是平面iik與圖像平面i2的交點，iik是由m1k, c1和c2定義的。所有外極平面iik形成了一個包含直線c1c2的平面簇，它們與i2交在一個定點e2。從圖中可以很容易的看到外極幾何的對稱。在lm1k上的每一點m2k在第一張圖片

41、上的對應點一定在外極線lm2k上，這條線是相同的平面iik與第一個圖像平面i1的交線。所有的外極線組成的一簇平面都通過極點e1, e1是直線c1c2與圖像平面i1的交點。在外極幾何中，這種對稱可以得到如下的觀察結(jié)果：如果m1(i1上一點)和m2（i2上一點）對應空間中一個物理點，那么m1, m2, c1和c2一定在同一平面上。這就是眾所周知的同平面限制或稱為外極幾何約束。當相機內(nèi)在參數(shù)未知時，這種約束可以用來解決有關(guān)雙目視覺的很多問題，本文所用的圖像匹配算法就是用這種約束來引導匹配的。圖 2.4外極幾何極線約束在立體匹配中占有很重要的地位，此約束規(guī)定了在立體匹配過程中只14第 2 章基本原理及

42、理論基礎(chǔ)需要沿著極線進行匹配搜索，從而大大減少了匹配時間，提高了匹配效率。其中對于平行式立體視覺系統(tǒng)來說，兩個攝像機的極點 e1 和 e2 位于無窮遠處，即所有的極線互相平行。并且在該系統(tǒng)中光心連線 c1c2 與圖像平面的軸互相平行，所有的極線都將與平面的軸平行。2.3 基本矩陣給定一對圖像，在圖 2.4 中已經(jīng)看到了對于其中一幅圖像的任意一點 m1，在另一幅圖像中必存在一條對應的極線 l m1。在第二幅圖像上，任何與該點 m1 匹配的點m2 必然在極線 l m1 上。該極線是過點 m1 和第一個攝像機光心 c1 的射線在第二幅圖像上的投影。因此，存在一個從一幅圖像上的點到另一幅圖像上與之對應

43、的極線的映射 m1 lm1 。兩幅圖像的外極幾何約束可以用圖像間的基本矩陣 f3來用公式表示如下：t(2-10)其中 f 為基本矩陣，m1 和 m2 是兩幅圖像上的一對匹配點?；揪仃?f 具有下述基本性質(zhì)233：（1） f 是一個秩為 2 的 3 3 矩陣，其自由度為 7；（2） l m1=fm1 是對應于 m1 的極線；l m2=ftm2 是對應于 m2 的極線；（3） 極點 e1 滿足 f e1=0，極點 e2 滿足 f e2=0；（4） f 在相差一個非零常數(shù)因子的情況下是唯一的?；揪仃囀怯嬎銠C視覺中的一個核心概念，它包含了兩幅圖像對應匹配點中所有的攝像機內(nèi)外參數(shù)信息，因此能否正確并

44、準確地計算機基本矩陣是實現(xiàn)攝像機標定及三維重建的關(guān)鍵。求解基本矩陣 f 的方法很多，常用的線性算法有 8 點算法及7 點算法。2.3.1 8 點算法由(2-10)式可用匹配點計算未知的基本矩陣 f。記 m1=(x1,y1,1)t 和 m2=(x2,y2,1)t每一組匹配點提供關(guān)于 f 的未知元素的一個線性方程。其系數(shù)可以很容易的用已知點 m1 和 m2 的坐標來表示。對于一對點(x1,y1,1)t 和(x2,y2,1)t，(2-10)式可改寫為一個矢量的內(nèi)積1033：15m2 1 = 0fm沈陽理工大學碩士學位論文(x2 x1 ,x2 y1 ,x2 ,y2 x1 ,y2 y1 ,y2 ,x1

45、,y1 ,1)f =0(2-11)其中矢量 f 表示由 f 的元素組成并按優(yōu)先順序排列的維矢量，fij 表示 f 的第 i行第 j 列元素：f =(f11 ,f12 ,f13 ,f21 ,f22 ,f23 ,f31 ,f32 ,f33 )(2-12)挑選 8 組匹配點的集合，設(shè)第 n 組中 x 和 y 坐標第一個下標為 n，得到如下線性方程組： x12 x11 22 21 x32 x31x x x62 x61 72 71 x82 x81x12 y11x22 y21x32 y31x42 y41x52 y51x62 y61x72 y71x82 y81x12x22x32x42x52x62x72x82

46、y12 x11y22 x21y32 x31y42 x41y52 x51y62 x61y72 x71y82 x81y12 y11y22 y21y32 y31y42 y41y52 y51y62 y61y72 y71y82 y81y12y22y32y42y52y62y72y82x11x21x31x41x51x61x71x81y11 1y21 1y31 1y61 1y81 1f = 0(2-13)這是一個齊次方程組，即 f 可以被確定到只差一個常數(shù)因子。如果存在一個解，矩陣 a 的秩必然最多為 8，如果秩正好為 8，則解是唯一的（只差常數(shù)因子），而且可以用線性算法求解。如果因為點的坐標有噪聲而導致數(shù)據(jù)不準確，則矩陣 a 的秩可能大于 8（事實上等于 9，因為 a 有 9 個列向量），此時要求最小二乘解。關(guān)于 f 的最小二乘解是對應于 a 的最小特征值的單位特征向量，即是 a 的 svd 分解 a=udvt 中矩陣 v 的最后一列矢量。用這種方法得到的解矢量 f 是在條件 f =1 下 af 的最小值。以上描述的算法是計算機基本矩陣的基本方法，稱為 8 點算法36。2.3.1 7 點算法方程 m2tfm1=0 給出形式如 af=0 的方程組。如果 a 的秩為 8，則可以在相差常數(shù)因子下求解 f。