三維信息提取中攝像機(jī)標(biāo)定技術(shù)的研究

1、南京航空航天大學(xué)碩士學(xué)位論文摘要攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺中的一個(gè)重要研究方向，它在機(jī)器人視覺導(dǎo)航、軍事科學(xué)、機(jī)械制造、虛擬現(xiàn)實(shí)等領(lǐng)域得到了廣泛的應(yīng)用。本文以 marr 視覺理論為基礎(chǔ)，重點(diǎn)研究了攝像機(jī)標(biāo)定問題，并成功構(gòu)造了基于雙目立體視覺的三維信息提取系統(tǒng)，進(jìn)而得到了特征點(diǎn)的三維坐標(biāo)。本文的主要工作如下：提出了一種新的基于消失點(diǎn)的攝像機(jī)標(biāo)定方法。充分利用了射影幾何中交比和調(diào)和共軛的知識(shí)以及正方形模板對(duì)角線相互垂直的性質(zhì)，根據(jù)一幅模板圖像可以得到兩組相互正交的消失點(diǎn)連線，在至少三個(gè)不同方向拍攝的圖像上線性求解出攝像機(jī)的所有內(nèi)部參數(shù)。該方法無須圖像匹配，避免了邊緣檢測(cè)和直線擬合帶來的誤差，降低了計(jì)算

2、復(fù)雜度，同時(shí)大大提高了標(biāo)定精度。提出了一種改進(jìn)的基于圓環(huán)點(diǎn)的攝像機(jī)自標(biāo)定方法。利用模板圖像的harris 角點(diǎn)分別計(jì)算四條直徑方向上的消失點(diǎn)，再根據(jù)消失點(diǎn)和圓環(huán)點(diǎn)之間的約束關(guān)系求取圓環(huán)點(diǎn)的圖像坐標(biāo)，最后高精度地求解出攝像機(jī)的所有內(nèi)部參數(shù)。該算法的優(yōu)點(diǎn)是不需要擬合橢圓和直徑，也不需要利用橢圓和消失線繁瑣地求取圓環(huán)點(diǎn)坐標(biāo)。在左右圖像特征點(diǎn)匹配完成的基礎(chǔ)上，將攝像機(jī)標(biāo)定技術(shù)應(yīng)用于三維信息提取，成功地獲得了特征點(diǎn)的三維坐標(biāo)。計(jì)算出的特征點(diǎn)三維坐標(biāo)和標(biāo)準(zhǔn)值之間誤差很小，三維信息提取系統(tǒng)取得了很好的效果。實(shí)驗(yàn)結(jié)果表明，本文采取的算法魯棒性強(qiáng)。關(guān)鍵詞：攝像機(jī)標(biāo)定，自標(biāo)定，射影幾何，消失點(diǎn)，基本矩陣，三維信息

3、提取i三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究abstractcamera calibration is a significant field of computer vision and it has beenwidely applied in many fields, such as robot vision navigation, militaryapplication, mechanical manufacture, virtual reality and so on. by the theory ofmarr vision, research on camera calibration

4、is emphasized. a system of 3dinformation extraction based on binocular stereo vision is designed successfully toextract 3d coordinates of feature points. the main job of the thesis can bedescribed as follows:a new approach for camera calibration based on vanishing points is proposed.two pairs of van

5、ishing points of orthogonal directions from each image areobtained by using the concept of cross ratio and harmonic conjugate in projectivegeometry and the orthogonal property of the two diagonals on a square. allintrinsic parameters are calculated linearly after capturing the template from atleast

6、three shooting angles. errors of edge detection and line fitting are avoidedbecause the method does not require image matching. thus the proposed methodcan reduce the calculation complexity and improve the precision of calibrationgreatly.an improved method for camera calibration based on circular po

7、ints is alsoproposed. the vanishing points on four diametric directions are determined viaharris corners on the template images. the image coordinates of circular pointsare calculated by the special relation between vanishing points and circular points.all the intrinsic parameters can be calculated

8、accurately by constraints of circularpoints and intrinsic parameter matrix. the advantages of this method are not onlyno extraction of the ellipse and four diameters, but also no complicatedcalculation of circular points via the ellipse and the vanishing lines.based on feature points matching betwee

9、n a pair of stereo images, one of thecamera calibration methods proposed above is then applied into the system of 3dinformation extraction. 3d coordinates of feature points are obtained successfully.there are few errors between 3d coordinates of feature points obtained and theirii南京航空航天大學(xué)碩士學(xué)位論文stand

10、ard values. experimental results have shown that the method proposed in thepaper is robust and the system of 3d information extraction has a good result.key words: camera calibration, self-calibration, projective geometry, vanishingpoints, fundamental matrix, 3d information extractioniii承諾書本人鄭重聲明：所呈

11、交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人享有著作權(quán)的內(nèi)容。對(duì)本論文所涉及的研究工作做出貢獻(xiàn)的其他個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人授權(quán)南京航空航天大學(xué)可以有權(quán)保留送交論文的復(fù)印件，允許論文被查閱和借閱，可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或其他復(fù)制手段保存論文。（保密的學(xué)位論文在解密后適用本承諾書）作者簽名：日期：南京航空航天大學(xué)碩士學(xué)位論文第一章緒論11課題的研究背景視覺是人類從自然界獲取信息的最主要、最直接的手段，人類通過視覺來感知周圍世界中的色彩、

12、形狀和運(yùn)動(dòng)。人類從外界獲得的信息約有 80%來自視覺系統(tǒng)1，這表明視覺含有巨大的信息量，也說明人類對(duì)視覺信息有較高的利用率。當(dāng)人們的眼睛從周圍環(huán)境中獲取信息并傳入大腦后，大腦會(huì)根據(jù)已有的知識(shí)和經(jīng)驗(yàn)，對(duì)獲取的信息進(jìn)行加工、推理和分析，最終得到有用的三維信息?，F(xiàn)實(shí)世界中的物體是三維的，人眼獲得的景物圖像都是二維的，人類的視覺系統(tǒng)能夠很容易地從二維圖像中感知三維世界，獲得三維世界的信息。計(jì)算機(jī)視覺的研究目標(biāo)就是使計(jì)算機(jī)具有通過一幅或多幅圖像認(rèn)知周圍環(huán)境信息的能力。計(jì)算機(jī)視覺是一門新興學(xué)科，自從 marr 的視覺計(jì)算理論框架形成以來1,2,3，雖然經(jīng)過了二十多年的迅速發(fā)展，但是還遠(yuǎn)不能滿足工程應(yīng)用和日

13、常生活等多方面的需要。隨著計(jì)算機(jī)視覺理論的不斷發(fā)展，其應(yīng)用領(lǐng)域也在迅速拓寬，已經(jīng)廣泛應(yīng)用于交通導(dǎo)航、現(xiàn)場(chǎng)勘測(cè)、自動(dòng)化生產(chǎn)、虛擬現(xiàn)實(shí)等領(lǐng)域。目前，獲取三維信息的方法有很多，一般來講，常用的三維信息提取方法大體可以分為接觸式測(cè)量方法 4、光學(xué)主動(dòng)式方法5和雙目立體視覺方法6。不同的方法由于在精度、尺寸以及系統(tǒng)價(jià)位等方面的差異，適用于不同的應(yīng)用領(lǐng)域。雙目立體視覺方法也稱為被動(dòng)信息提取方法，是目前研究最多、應(yīng)用最廣泛的一種距離感知技術(shù)。雙目立體視覺方法就是用兩個(gè)攝像機(jī)模擬人類雙眼處理景物的方式，從兩個(gè)視點(diǎn)觀察同一場(chǎng)景，獲得不同視角下的一組圖像，然后通過左右圖像間的匹配點(diǎn)，推斷出場(chǎng)景中目標(biāo)物體的幾何形狀

14、和位置等三維信息。它不需要人為的設(shè)置輻射源，只利用場(chǎng)景在自然光照條件下的二維圖像即可重建景物的三維信息，具有適應(yīng)性強(qiáng)、實(shí)現(xiàn)手段靈活、造價(jià)低等優(yōu)點(diǎn)，因此具有廣闊的應(yīng)用前景。目前，該三維信息提取技術(shù)已成為計(jì)算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)之一。從二維圖像中恢復(fù)物體的三維信息，必須要知道空間坐標(biāo)系中的物體點(diǎn)1三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究同它在圖像平面上像點(diǎn)之間的對(duì)應(yīng)關(guān)系，而這個(gè)對(duì)應(yīng)關(guān)系是由攝像機(jī)的成像幾何模型所決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)情況下這些參數(shù)必須通過實(shí)驗(yàn)才能得到，這個(gè)過程被稱為攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定就是確定攝像機(jī)內(nèi)部幾何和光學(xué)特性（內(nèi)部參數(shù)）以及攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)

15、系的三維位置和方向（外部參數(shù)）的過程。攝像機(jī)標(biāo)定實(shí)質(zhì)上也就是確定空間坐標(biāo)系到圖像坐標(biāo)系的變換矩陣。攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺必不可少的一步，是進(jìn)行雙目立體視覺研究的重要組成部分，也是基于雙目立體視覺的三維信息提取的前提和基礎(chǔ)。隨著計(jì)算機(jī)視覺的不斷發(fā)展，攝像機(jī)標(biāo)定技術(shù)廣泛應(yīng)用于視覺導(dǎo)航、現(xiàn)場(chǎng)勘測(cè)、反求工程等領(lǐng)域。因此，對(duì)攝像機(jī)標(biāo)定技術(shù)的研究不僅具有重要的理論意義，而且具有重要的實(shí)用價(jià)值。本課題的研究重點(diǎn)就是攝像機(jī)標(biāo)定技術(shù)及其在三維信息提取中的應(yīng)用。12marr 的計(jì)算機(jī)視覺理論框架立體視覺的開創(chuàng)性工作是從 20 世紀(jì) 60 年代中期開始的。美國(guó) mit 的robert 完成了三維景物分析工作，把過去

16、的二維圖像分析推廣到了三維景物，這標(biāo)志著立體視覺技術(shù)的誕生，在隨后的 20 年中它迅速發(fā)展成為一門新興的學(xué)科。80 年代初，david marr 教授首次從信息處理的角度綜合了人工智能、神經(jīng)生理學(xué)、模式識(shí)別、圖像處理等領(lǐng)域取得的一些成果，提出了早期最為完善的視覺理論框架。雖然這個(gè)理論存在大量不完備的方面，但是該理論仍然是研究的主流，它對(duì)立體視覺的發(fā)展產(chǎn)生了巨大的影響，當(dāng)今的視覺理論5121視覺系統(tǒng)研究的三個(gè)層次marr 指出計(jì)算機(jī)視覺系統(tǒng)只是信息處理系統(tǒng)的一個(gè)例子，可以在三個(gè)層次上來理解1： 計(jì)算理論（computation theory）：該層次要回答系統(tǒng)各個(gè)部分的計(jì)算目的與計(jì)算策略，即各部

17、分的輸入輸出是什么，之間的關(guān)系是什么或者具有什么約束。marr 對(duì)視覺系統(tǒng)總的輸入輸出關(guān)系規(guī)定了一個(gè)總目標(biāo)，即輸入是二維圖像，輸出是由二維圖像“重建”出來的三維物體的位置與形狀。 表達(dá)與算法（representation and algorithm）：該層次應(yīng)進(jìn)一步回答系統(tǒng)2框架基本上都是對(duì) marr 視覺理論框架的補(bǔ)充和發(fā)展 。南京航空航天大學(xué)碩士學(xué)位論文各部分如何表示輸入和輸出信息，如何實(shí)現(xiàn)計(jì)算理論所對(duì)應(yīng)的功能和算法，特別應(yīng)包含信息表達(dá)以及處理這些表達(dá)的算法。 實(shí)現(xiàn)（implementation）：算法的物理實(shí)現(xiàn)，包括特定的程序和硬件。從信息處理的觀點(diǎn)來看，這三層有其聯(lián)系的一面，也有其區(qū)別

18、和獨(dú)立的方面，其中至關(guān)重要的是計(jì)算理論層次，因?yàn)樗菢?gòu)成視覺基礎(chǔ)計(jì)算的本質(zhì)。只有依據(jù)正確計(jì)算理論的指導(dǎo)才能用程序和硬件很好的解決問題。目前計(jì)算機(jī)視覺的研究工作主要集中在前面兩個(gè)層次上。122視覺系統(tǒng)研究的三個(gè)階段marr 從視覺計(jì)算理論出發(fā)，將系統(tǒng)分為自下而上的三個(gè)階段，即視覺信息從最初的原始數(shù)據(jù)到最終對(duì)三維環(huán)境的表達(dá)經(jīng)歷了三個(gè)階段的處理。第一階段（也稱為早期階段）是將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為要素圖或基元圖（primitive sketch）；第二階段（中期階段）是指在以觀測(cè)者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場(chǎng)景可

19、見部分的深度、法線方向、輪廓等信息。此時(shí)只能觀察到物體的一部分，而物體的背面或被其他物體遮擋部分的信息卻得不到，這是一種不完整的、部分的三維信息描述，所以稱為 2.5維圖（2.5 dimensional sketch）；2.5 維圖的描述是不全面的，必須進(jìn)一步處理以得到物體完整的三維描述，即 3d 表達(dá)（3d representation）。在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、2.5 維圖來恢復(fù)、表示和識(shí)別三維物體的過程稱為視覺的第三階段（后期階段）。marr 的視覺計(jì)算理論是計(jì)算機(jī)視覺研究領(lǐng)域劃時(shí)代的成就，但是該理論并不是十分完善的，在一些細(xì)節(jié)方面還存在一些不足和爭(zhēng)議。比如，該理論

20、所建立的整個(gè)框架中信息加工過程基本上是自下向上的單向流動(dòng)，缺乏反饋。此外，該理論框架沒有足夠的重視知識(shí)的應(yīng)用，缺乏高層知識(shí)的指導(dǎo)。盡管有不足，但是 marr 理論仍然是廣大計(jì)算機(jī)視覺研究者接受的基本框架，本文的計(jì)算機(jī)視覺理論就是以 marr 視覺計(jì)算理論為基礎(chǔ)的。13攝像機(jī)標(biāo)定技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀攝像機(jī)標(biāo)定就是求取攝像機(jī)的屬性、位置等內(nèi)外參數(shù)的過程。目前而言，攝像機(jī)標(biāo)定技術(shù)大致可以歸結(jié)為傳統(tǒng)的攝像機(jī)標(biāo)定方法717和攝像機(jī)自標(biāo)定3三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究方法兩類。所謂傳統(tǒng)的攝像機(jī)標(biāo)定方法是指用一個(gè)結(jié)構(gòu)已知、加工精度很高的標(biāo)定塊作為空間參照物，通過空間點(diǎn)和圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系建立攝像機(jī)模

21、型參數(shù)的約束，然后通過非線性優(yōu)化算法來求取這些參數(shù)。傳統(tǒng)的攝像機(jī)標(biāo)定方法的典型代表有直接線性變換方法（dlt 方法）18，tsai 的兩步法19和 zhang 的平面標(biāo)定法 20。傳統(tǒng)的攝像機(jī)標(biāo)定方法的優(yōu)點(diǎn)在于可以獲得很高的精度，但它是一種靜止的標(biāo)定方法且需要精心制作的三維標(biāo)定塊，而實(shí)際應(yīng)用中很多情況下無法使用標(biāo)定塊，比如空間機(jī)器人、在危險(xiǎn)惡劣環(huán)境下工作的機(jī)器人等，因此該方法在使用時(shí)有很大的局限性。在應(yīng)用場(chǎng)合精度要求很高且攝像機(jī)的內(nèi)參數(shù)無明顯變化的情況下，傳統(tǒng)的標(biāo)定方法是最佳選擇。本文第二章將詳細(xì)介紹幾種經(jīng)典的傳統(tǒng)攝像機(jī)標(biāo)定方法。攝像機(jī)自標(biāo)定技術(shù)是 20 世紀(jì) 90 年代初在計(jì)算機(jī)視覺領(lǐng)域興起

22、的最重要的研究方向之一2130，自標(biāo)定方法是指不需要標(biāo)定參照物，僅僅依靠未標(biāo)定的兩幅或多幅圖像確定攝像機(jī)參數(shù)的過程。從本質(zhì)上說，所有的自標(biāo)定方法都只是利用了攝像機(jī)內(nèi)參數(shù)自身存在的約束，這些約束與場(chǎng)景和攝像機(jī)的運(yùn)動(dòng)無關(guān)，這也是自標(biāo)定方法靈活的原因。1992 年 faugeras 從射影幾何的角度出發(fā)利用絕對(duì)二次曲線的不變性推導(dǎo)出關(guān)于攝像機(jī)內(nèi)參數(shù)的 kruppa 方程，通過直接求解 kruppa 方程組可以解出內(nèi)參數(shù) 22。這種方法的提出受到了很大的重視，但它計(jì)算復(fù)雜，對(duì)噪聲敏感。鑒于直接求解 kruppa 方程的困難，hartley 等人提出了分層逐步標(biāo)定的思想，即首先對(duì)圖像序列做射影重建，在此

23、基礎(chǔ)上再進(jìn)行仿射標(biāo)定和歐氏標(biāo)定。分層逐步標(biāo)定方法以 hartley 的 qr 分解法 23、triggs 的絕對(duì)二次曲面法等為代表。自標(biāo)定方法涉及比較多的矩陣求解，所以計(jì)算也比較復(fù)雜，此外，不論以何種形式出現(xiàn)，自標(biāo)定方法基本都需要求解多元非線性方程，因此自標(biāo)定方法的魯棒性比較差。攝像機(jī)自標(biāo)定方法絕大多數(shù)是基于絕對(duì)二次曲線 24或絕對(duì)二次曲面的 25，但也有一些利用本質(zhì)矩陣和基本矩陣的攝像機(jī)自標(biāo)定方法 26,27，以及基于主動(dòng)視覺的攝像機(jī)自標(biāo)定方法 28。基于主動(dòng)視覺的攝像機(jī)標(biāo)定方法2930也稱為運(yùn)動(dòng)參數(shù)約束下的攝像機(jī)自標(biāo)定，即通過控制攝像機(jī)作特定運(yùn)動(dòng)，在運(yùn)動(dòng)參數(shù)已知或部分已知的情況下求取攝像機(jī)

24、內(nèi)參數(shù)的方法。攝像機(jī)自標(biāo)定技術(shù)的研究也受到國(guó)內(nèi)研究者們的高度關(guān)注和廣泛重視。近年來，中國(guó)科學(xué)院自動(dòng)化所的馬頌德、胡占義和吳福朝等學(xué)者對(duì)攝像機(jī)自標(biāo)定技術(shù)進(jìn)行了不少先驅(qū)性的研究43143，他們對(duì)推動(dòng)攝像機(jī)標(biāo)定技術(shù)的研究南京航空航天大學(xué)碩士學(xué)位論文和應(yīng)用起到了突出的作用。雖說國(guó)內(nèi)在應(yīng)用領(lǐng)域大部分研究成果還沒有轉(zhuǎn)化為生產(chǎn)力，但已具備了開展計(jì)算機(jī)視覺研究的人才儲(chǔ)備和技術(shù)條件。中國(guó)科學(xué)院模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室、清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室、天津大學(xué)精密測(cè)試技術(shù)與儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室、安徽大學(xué)計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室等在攝像機(jī)標(biāo)定和三維重建領(lǐng)域處于領(lǐng)先地位。攝像機(jī)標(biāo)定方法現(xiàn)在有很多，但這并不

25、意味著對(duì)攝像機(jī)標(biāo)定技術(shù)的研究到了盡頭，因?yàn)槲覀兛偸切枰\(yùn)算更快精度更高使用更靈活方便的標(biāo)定方法，這就意味著在運(yùn)算瓶頸、病態(tài)方程、冗余參數(shù)、模型表達(dá)等方面都需要更好的解決，這也是攝像機(jī)標(biāo)定技術(shù)研究的重要內(nèi)容和需要繼續(xù)提高的地方。14141本課題研究的選題依據(jù)、研究思路和主要?jiǎng)?chuàng)新點(diǎn)本課題的選題依據(jù)本文的選題主要基于下述兩方面的考慮： 人們生活和工作在三維幾何空間中，對(duì)外界的感性認(rèn)識(shí)首先是各種三維物體的形體，而圖像采集系統(tǒng)獲取的卻是物體的二維圖像，在成像時(shí)丟失了很多信息，因此必須要進(jìn)行三維信息提取。三維幾何與深度信息獲取是人類生活中最基本也是最重要的信息處理內(nèi)容。計(jì)算機(jī)視覺是指用計(jì)算機(jī)模擬人眼并實(shí)現(xiàn)

26、人的視覺功能對(duì)客觀世界三維場(chǎng)景的感知、識(shí)別和理解，使得計(jì)算機(jī)具有通過一幅或者多幅圖像感知和恢復(fù)三維環(huán)境中物體的幾何性質(zhì)、姿態(tài)結(jié)構(gòu)、運(yùn)動(dòng)、位置等信息的功能。隨著計(jì)算機(jī)技術(shù)、圖像處理技術(shù)和計(jì)算機(jī)視覺理論的發(fā)展，人們?cè)絹碓较Ｍ軌蚩焖俸?jiǎn)便地獲取物體的三維信息，并且將物體在計(jì)算機(jī)上重建顯示出來。 雙目立體視覺系統(tǒng)中輸入的只是二維圖像，為了從圖像中恢復(fù)出物體的三維信息，必須要知道空間坐標(biāo)系中的物體點(diǎn)和它在圖像平面上的圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系，確定這個(gè)關(guān)系的過程就是攝像機(jī)標(biāo)定。建立一個(gè)有效的攝像機(jī)模型，不僅可以精確地恢復(fù)物體的三維信息，還有利于解決雙目立體視覺的匹配問題。攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺的第一步，也是三

27、維信息提取的基礎(chǔ)。通過標(biāo)定可以得到攝像機(jī)的內(nèi)部參數(shù)以及它相對(duì)于世界坐標(biāo)系的外部參數(shù)，進(jìn)而可以得到兩個(gè)攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系和平移關(guān)系，這就為后面的三維坐標(biāo)計(jì)算提供了技術(shù)支持。為了很好地提取物體的三維信息，必須5三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究高精度地進(jìn)行攝像機(jī)標(biāo)定。如今，攝像機(jī)變得越來越便宜并且隨處可見，交通導(dǎo)航、現(xiàn)場(chǎng)勘測(cè)、自動(dòng)化生產(chǎn)、虛擬現(xiàn)實(shí)等很多領(lǐng)域競(jìng)相使用普通便攜相機(jī)成像條件下的計(jì)算機(jī)視覺技術(shù)，并對(duì)己有的攝像機(jī)標(biāo)定方法提出了更高的要求，如提高標(biāo)定精度、擴(kuò)大標(biāo)定的應(yīng)用范圍、簡(jiǎn)化操作過程等。攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺的基本問題，是實(shí)現(xiàn)三維信息提取的首要問題，也是本論文的研究重點(diǎn)。在隨后的章

28、節(jié)中，本文將對(duì)攝像機(jī)標(biāo)定技術(shù)進(jìn)行詳細(xì)、深入的研究。142本課題的研究思路本課題的主要內(nèi)容是深入地研究攝像機(jī)標(biāo)定技術(shù)，并設(shè)計(jì)一個(gè)基于雙目立體視覺的三維信息提取系統(tǒng)。雙目立體視覺的三維信息提取系統(tǒng)主要由圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體圖像匹配和三維坐標(biāo)計(jì)算五個(gè)部分組成。本論文的重點(diǎn)是攝像機(jī)標(biāo)定和三維坐標(biāo)計(jì)算，為了保證文章的連續(xù)性，也簡(jiǎn)單介紹了計(jì)算機(jī)視覺中的立體圖像匹配等內(nèi)容。具體工作包括以下幾個(gè)方面： 在深入研究已有攝像機(jī)標(biāo)定算法的基礎(chǔ)上提出了新的標(biāo)定方法，并編寫相應(yīng)的程序，驗(yàn)證了算法的可行性和精確性。 簡(jiǎn)單介紹雙目立體圖像匹配算法，在圖像匹配完成的情況下，高精度地計(jì)算出基本矩陣，進(jìn)而得到兩個(gè)

29、攝像機(jī)之間相對(duì)的外部參數(shù)。 根據(jù)攝像機(jī)的內(nèi)外參數(shù)得到兩個(gè)攝像機(jī)的投影矩陣，進(jìn)而精確地計(jì)算出特征點(diǎn)的三維空間坐標(biāo)。143本課題的主要?jiǎng)?chuàng)新點(diǎn)本文對(duì)攝像機(jī)標(biāo)定技術(shù)進(jìn)行了全面、深入地研究和總結(jié)，在已有理論的基礎(chǔ)上，提出了一些新的算法，主要的創(chuàng)新點(diǎn)如下： 提出了一種新的基于消失點(diǎn)的攝像機(jī)標(biāo)定方法。首先要求攝像機(jī)至少從三個(gè)不同的方向?qū)φ叫文０暹M(jìn)行拍攝，根據(jù)射影幾何中交比和調(diào)和共軛的性質(zhì)，計(jì)算出正方形中平行邊方向和對(duì)角線方向的兩對(duì)消失點(diǎn)。然后利用消失點(diǎn)與光心的連線平行于該組平行直線的性質(zhì)線性求解出攝像機(jī)的所有內(nèi)參數(shù)。該方法由于充分利用了正方形對(duì)角線相互垂直的性質(zhì)，因此最少只要3 幅圖像就可完成標(biāo)定，克服了

30、已有方法要求拍攝 6 幅以上圖片的不足。此6南京航空航天大學(xué)碩士學(xué)位論文外，還避免了邊緣檢測(cè)和直線擬合帶來的誤差，因此標(biāo)定精度很高。 改進(jìn)了一種基于圓環(huán)點(diǎn)的攝像機(jī)自標(biāo)定方法。首先對(duì)模板圖像進(jìn)行harris 角點(diǎn)檢測(cè)，然后結(jié)合射影幾何中的交比和調(diào)和共軛的性質(zhì)，利用 harris角點(diǎn)分別計(jì)算出四條直徑方向上的消失點(diǎn)，再由拉蓋爾定理的知識(shí)求取圓環(huán)點(diǎn)的圖像坐標(biāo)，最后利用圓環(huán)點(diǎn)和攝像機(jī)內(nèi)參數(shù)的約束即可線性求解出攝像機(jī)的所有內(nèi)部參數(shù)。與改進(jìn)前方法相比，本算法采用 harris 角點(diǎn)檢測(cè)方法提取直線和圓的交點(diǎn)，不需要擬合任何橢圓和直線，也不需要對(duì)圓心進(jìn)行精確定位，降低了計(jì)算復(fù)雜度。該算法還因?yàn)椴簧婕皥D像匹配

31、，無須知道圓的大小和位置等幾何信息而具有較好的實(shí)用性。7三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究第二章攝像機(jī)標(biāo)定原理及方法本章首先介紹標(biāo)定所用的參考坐標(biāo)系和攝像機(jī)的成像模型等基礎(chǔ)知識(shí)，然后在成像模型的基礎(chǔ)上介紹一些常用的、經(jīng)典的傳統(tǒng)攝像機(jī)標(biāo)定方法。21攝像機(jī)標(biāo)定的基本原理攝像機(jī)標(biāo)定是為了得到攝像機(jī)的屬性、位置等內(nèi)外參數(shù)，以便于確定空間坐標(biāo)系中物點(diǎn)與它在圖像平面上像點(diǎn)之間的對(duì)應(yīng)關(guān)系。攝像機(jī)模型是對(duì)真實(shí)攝像機(jī)的幾何抽象，其成像過程是對(duì)空間點(diǎn)的射影變換。攝像機(jī)參數(shù)決定了變換的具體方式，只要知道了這些參數(shù)和空間點(diǎn)的坐標(biāo)就能夠計(jì)算出相應(yīng)的像點(diǎn)坐標(biāo)。攝像機(jī)標(biāo)定也可以確定兩個(gè)或多個(gè)不同視角攝像機(jī)之間的關(guān)系，這對(duì)立

32、體視覺的研究尤為重要。下面簡(jiǎn)單介紹攝像機(jī)標(biāo)定的基本知識(shí)。211參考坐標(biāo)系為了定量描述攝像機(jī)的成像過程，首先定義以下四個(gè)參考坐標(biāo)系1：1. 計(jì)算機(jī)圖像坐標(biāo)系(pixel coordinate system)攝像機(jī)采集的圖像以標(biāo)準(zhǔn)電視信號(hào)的形式輸入計(jì)算機(jī)，經(jīng)數(shù)模轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字圖像。每幅數(shù)字圖像在計(jì)算機(jī)內(nèi)以數(shù)組形式存儲(chǔ)，數(shù)組的每一個(gè)元素(像素)的值就是圖像點(diǎn)的亮度(或稱為灰度。若為彩色圖像，則圖像的像素亮度將由紅、綠、藍(lán)三種顏色的亮度表示)。如圖 2.1 所示，在圖像上定義直角坐標(biāo)系 o0 uv ，原點(diǎn) o0 位于圖像平面的左上角，每一像素的坐標(biāo) (u, v) 分別表示該像素在數(shù)組中的列數(shù)和行數(shù)。

33、所以，(u, v) 是以像素為單位的圖像坐標(biāo)系坐標(biāo)。2. 成像平面坐標(biāo)系(retinal coordinate system)由于圖像坐標(biāo)系只表示像素位于數(shù)組中的列數(shù)和行數(shù)，并沒有用物理單位表示出該像素在圖像中的位置，因此還需要建立以物理單位(如毫米)表示的圖像坐標(biāo)系 o1 xy ，我們稱它為成像平面坐標(biāo)系，如圖 2.1 所示。在 o1 xy坐標(biāo)系中，原點(diǎn) o1（圖像主點(diǎn)坐標(biāo)）位于攝像機(jī)光軸與圖像平面的交點(diǎn)，x, y軸分別平行于 u, v 軸。在本論文的以后章節(jié)中，如不加特別說明， (u, v) 表示以像素為單位的計(jì)算機(jī)圖像坐標(biāo)系坐標(biāo)，( x, y) 表示以毫米為單位的成像平面坐標(biāo)系坐標(biāo)。 d

34、x, dy 分別表示圖像平面上單位像素間的距離，若 o1 在圖像坐8南京航空航天大學(xué)碩士學(xué)位論文標(biāo)系中的像素坐標(biāo)為 (u0 , v0 ) ，則兩個(gè)坐標(biāo)系間的關(guān)系可表示為：u 1/ dx s1 u0 x 0 1 0 0 1 1 (21)其中， s1 表示攝像機(jī)像平面上坐標(biāo)軸相互不正交而引起的傾斜因子，它和兩個(gè)坐標(biāo)軸之間的夾角有關(guān)。圖 2.1 圖像坐標(biāo)系3. 攝像機(jī)坐標(biāo)系(camera coordinate system)攝像機(jī)坐標(biāo)系 oc x cyz c 如圖 2.2 表示，其中 oc 點(diǎn)為攝像機(jī)的光心，x c軸和 yc 軸分別與成像平面坐標(biāo)系的 x 軸和 y 軸平行， z c 軸與攝像機(jī)的光軸

35、重合，它與圖像平面垂直。光心到圖像平面的距離就是攝像機(jī)的有效焦距 f 。4. 世界坐標(biāo)系(world coordinate system)由于攝像機(jī)和物體可以安放在環(huán)境中的任何位置，因此還需要在環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系來描述攝像機(jī)的位置，并用它來描述環(huán)境中任何物體的位置，這個(gè)坐標(biāo)系就叫做世界坐標(biāo)系 o x wyz w 。這是一個(gè)假想的坐標(biāo)系，僅用作一般的參考，坐標(biāo)原點(diǎn)可人為設(shè)定，根據(jù)具體情況來選擇。在計(jì)算機(jī)視覺中通常以所觀測(cè)物體的中心三維坐標(biāo)系或攝像機(jī)坐標(biāo)系來定義世界坐標(biāo)系。世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的關(guān)系可用旋轉(zhuǎn)矩陣 r 和平移向量 t 來描述。設(shè)空間中某點(diǎn) p 在世界坐標(biāo)系和攝像機(jī)坐標(biāo)系

36、下的齊次坐標(biāo)分別為( x w , yw , z w ,1)t 與 ( x c ,yc , z c ,1)t ，則它們之間存在如下關(guān)系：9v = 0 1/ dy v y cw三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究 x c 1 z c 0t x w x w t yw = m1 yw 1 1 (22)t, t ,m1 是 4 4 矩陣，表示兩個(gè)坐標(biāo)系之間的關(guān)系。圖 2.2 世界坐標(biāo)系與攝像機(jī)坐標(biāo)系上面所述的四個(gè)坐標(biāo)系中，坐標(biāo)軸的定義都是根據(jù)右手法則進(jìn)行的。其中前兩個(gè)坐標(biāo)系是二維的，且計(jì)算機(jī)圖像坐標(biāo)系是確定已知的，后兩個(gè)坐標(biāo)系是三維的。如果已知物體的尺寸并以物體為基準(zhǔn)選取世界坐標(biāo)系，則世界坐標(biāo)系也是已知的

37、。這些坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，尤其是世界坐標(biāo)系，攝像機(jī)坐標(biāo)系與計(jì)算機(jī)圖像坐標(biāo)系三者之間的轉(zhuǎn)換關(guān)系就是攝像機(jī)標(biāo)定問題。212攝像機(jī)模型在計(jì)算機(jī)視覺中，攝像機(jī)模型解決的是三維場(chǎng)景中的點(diǎn)與圖像平面上的點(diǎn)對(duì)應(yīng)的問題。相機(jī)模型是光學(xué)成像幾何關(guān)系的簡(jiǎn)化，最簡(jiǎn)單最常用的相機(jī)模型是針孔相機(jī)模型(pinhole camera model)，如圖 2.3 所示。針孔相機(jī)模型是根據(jù)透鏡成像原理推導(dǎo)出來的，它是線性的，因此也稱為攝像機(jī)線性模型。針孔相機(jī)模型不考慮鏡頭畸變，卻能給出實(shí)際攝像機(jī)一個(gè)很好的近似，很多攝像機(jī)標(biāo)定方法的研究都是建立在針孔相機(jī)模型的基礎(chǔ)之上。10 y r c = 1 z w z w 其中， r 是

38、3 3正交矩陣， t = tx y zt 是三維平移向量， 0 = (0, 0, 0)t ，南京航空航天大學(xué)碩士學(xué)位論文圖 2.3 針孔相機(jī)模型設(shè) p 是空間一點(diǎn)， ( x c , yc , z c ) 是該點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)， ( x, y) 是其像點(diǎn) m 在圖像平面上的坐標(biāo)， f 為攝像機(jī)的焦距，根據(jù)透視投影關(guān)系有： x c c z cyc(23)令 ( x, y) 和 ( x c ,yc , z c ) 分別用齊次坐標(biāo)表示為 ( x, y,1) 和 ( x c , yc , z c ,1) ，則上式可以寫成下面的矩陣形式： x yf 0 0 1 將式(21)和(22)帶入上式，則有

39、：u 0 0 0 r0 f00 1 fu s u0 0 fv v0 0 1 2 1 1 (24)(25)其中，(u0 , v0 ) 稱為主點(diǎn)坐標(biāo)， fu = f / dx ， fv = f / dy 分別表示 u 軸和 v 軸11 x = f z y = f x f0 0 0 c z c c y = 0 z 1 0 0 1 0 c u 1/ dx s1 0 f x w t yw v = 0 1/ dy v 00 0 t1 z w z c 1 0 1 0 0 1 0 x w x w r t yw yw = m m = t 00 1 z w w z 0 0 1 0 三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研

40、究的尺度因子， s = f * s1 表示攝像機(jī)的傾斜因子。(25)式也可表示成：u v = k r t yw = mz w1 1 x w w z w 1 (26)其中， 是一個(gè)比例因子，r, t 分別表示旋轉(zhuǎn)矩陣和平移向量。矩陣 k 是內(nèi)參數(shù)矩陣，通常表示為五參數(shù)模型。 m = k r t 為攝像機(jī)的投影矩陣。213攝像機(jī)的非線性模型在計(jì)算機(jī)視覺的研究與應(yīng)用中，將三維空間場(chǎng)景轉(zhuǎn)換為二維圖像所用的儀器或設(shè)備一般都是由透鏡組成的光學(xué)鏡頭，如膠片相機(jī)、數(shù)碼相機(jī)、攝像機(jī)等，本文將它們統(tǒng)稱為攝像機(jī)。攝像機(jī)理想的成像模型是針孔模型，它是一個(gè)線性模型，但在實(shí)際應(yīng)用中透鏡并不完全滿足這個(gè)條件。攝像機(jī)的光學(xué)成

41、像系統(tǒng)與理論模型之間會(huì)有一些差異，使得二維圖像有著不同程度的非線性變形。通常把這種非線性變形稱為光學(xué)畸變誤差 44，畸變主要有下面幾種： 徑向畸變徑向畸變是由于透鏡形狀不滿足理論要求而造成的。存在徑向畸變時(shí)像點(diǎn)相對(duì)于理想位置會(huì)沿徑向偏移，像面上過光軸的直線仍然是直線，只不過變長(zhǎng)或變短了。這種畸變主要是由于同軸透鏡系統(tǒng)存在缺陷引起的。一個(gè)像點(diǎn)沿徑向內(nèi)縮叫做負(fù)向畸變，或桶形畸變；沿徑向外延叫做正向畸變，或枕形畸變 45。徑向畸變相對(duì)于光軸嚴(yán)格對(duì)稱，它是畸變的主要分量。圖 2.4 直觀的解釋了該種畸變。在忽略高階項(xiàng)的情況下，徑向畸變可用下式表示： xr = k1x( x2 + y 2 ) yr =

42、k2 y( x2 + y 2 )(27)其中， k1, k2 為徑向畸變系數(shù)。 偏心畸變光學(xué)系統(tǒng)存在不同程度的偏心，即透鏡組的光學(xué)中心不是完全在一條直線上，這個(gè)缺陷造成了所謂的偏心畸變。偏心畸變包括徑向和切向兩個(gè)分量，它可以通過使用變焦距鏡頭準(zhǔn)確估算光心的方法來克服。忽略高階項(xiàng)后切向畸變的數(shù)學(xué)模型為：12 x w y 南京航空航天大學(xué)碩士學(xué)位論文 xd = p1 (3x 2 + y 2 ) + 2 p2 xy yd = p2 (3x 2 + y 2 ) + 2 p1xy(28)其中， p1, p2 為偏心畸變系數(shù)。圖 2.4 徑向畸變的效果圖（注：實(shí)線表示沒有徑向畸變的情況，虛線表示有徑向畸變

43、的情況，a為桶形畸變，b為枕形畸變） 薄棱鏡畸變薄棱鏡畸變是由于鏡頭設(shè)計(jì)制造缺陷和加工安裝誤差所造成的，如鏡頭與像面間很小的傾角等。這類畸變相當(dāng)于在光學(xué)系統(tǒng)中附加了一個(gè)薄棱鏡，它不僅會(huì)引起徑向偏差，還會(huì)引起切向誤差。忽略高階項(xiàng)后薄棱鏡畸變可以用下面的公式表示： xp = s1 ( x 2 + y 2 ) yp = s2 ( x 2 + y 2 )(29)其中， s1, s2 為薄棱鏡畸變系數(shù)。綜合考慮上面三種畸變，則攝像機(jī)的非線性模型可以用下列公式來表示：xu = x + x ( x, y)yu = y + y ( x, y)(210)其中，(xu , yu ) 為由針孔線性模型計(jì)算出來的圖像

44、點(diǎn)的理想坐標(biāo)，( x, y) 是實(shí)際的圖像點(diǎn)坐標(biāo)。 x ( x, y), y ( x, y) 是非線性畸變值，它與像點(diǎn)在圖像平面上的位置有關(guān)，可用下面公式來表示 46：2 2 2 2 2 2 y ( x, y) = k2 y( x 2 + y 2 ) + ( p2 (3x 2 + y 2 ) + 2 p1xy) + s2 ( x 2 + y 2 )(211)其中 k1, k2, p , p2 , p3, s1, s2稱為非線性畸變系數(shù)。一般情況下，上述非線性模型的第一項(xiàng)即徑向畸變已經(jīng)能足夠描述非線131三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究性畸變。tsai 曾經(jīng)指出19，在對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)如果考

45、慮過多的非線性畸變因素就會(huì)添加過多的非線性參數(shù)，比如偏心畸變和薄棱鏡畸變，這時(shí)攝像機(jī)標(biāo)定就需要使用非線性優(yōu)化算法，引入過多的畸變系數(shù)往往不僅不能提高標(biāo)定精度，反而會(huì)引起解的不穩(wěn)定。在工業(yè)視覺中，一般只需要對(duì)徑向畸變進(jìn)行修正。但是也有研究表明 47,48，在使用廣角鏡頭時(shí)引入上式中第二項(xiàng)與第三項(xiàng)能提高模型的求解精度。如果只考慮徑向畸變，(210)式則可表示成：xu = x(1 + k1r 2 )yu = y(1 + k2r 2 )(212)其中 r 2 = x 2 + y 2 。上式表明， x 方向與 y 方向的畸變相對(duì)值 ( x / x, y / y)與徑向半徑的平方成正比，即在圖像邊緣處的徑

46、向畸變較大。214需要標(biāo)定的參數(shù)1. 外部參數(shù)由前面可知，攝像機(jī)的外部參數(shù)用來描述攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系，它表明了攝像機(jī)處在世界坐標(biāo)系中的位置和方位，可用旋轉(zhuǎn)矩陣 r和平移向量 t 來表示，如式(22)所示。 r 有 9 個(gè)元素，但是因?yàn)?r 是單位正交矩陣，滿足 6 個(gè)正交約束關(guān)系，所以實(shí)際上旋轉(zhuǎn)矩陣 r 只有 3 個(gè)獨(dú)立的參數(shù)。有多種用 3 個(gè)獨(dú)立參數(shù)表示旋轉(zhuǎn)矩陣的方法三個(gè)歐拉角來表示。 r r2 r3 r4 r5 r6 r7 r8 r9 49,50,51，最常用的方法是用(213)其中， r1 = cos cos ， r2 = sin cos ， r3 = sin r4 =

47、sin cos + cos sin sin ， r5 = cos cos + sin sin sin r6 = cos sin ， r7 = sin sin + cos sin cosr8 = cos sin + sin sin cos ， r9 = cos cos , , 分別表示攝像機(jī)光軸繞世界坐標(biāo)系 x w ,yw , z w 坐標(biāo)軸的旋轉(zhuǎn)角。r 有三個(gè)獨(dú)立參數(shù)，加上平移向量 t 的三個(gè)參數(shù)，一共有 6 個(gè)獨(dú)立的外部參數(shù)。2. 內(nèi)部參數(shù)內(nèi)部參數(shù)只與攝像機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)，而與攝像機(jī)位置參數(shù)無關(guān)，它主14r = 1 南京航空航天大學(xué)碩士學(xué)位論文要包括圖像主點(diǎn)坐標(biāo) (u0 , v0 ) ， u

48、 軸和 v 軸的尺度因子 fu , fv 以及透鏡的傾斜因子 s 。攝像機(jī)的內(nèi)部參數(shù)也可以從制造商提供的說明書中查尋，但是其精確度不能滿足要求，實(shí)際應(yīng)用中需要對(duì)它們進(jìn)行精確求解。主點(diǎn)坐標(biāo) (u0 , v0 ) ：理論上主點(diǎn)一般位于圖像的中心處，但實(shí)際上由于攝像機(jī)制作和使用（攝像機(jī)的鏡頭可轉(zhuǎn)動(dòng)和更換）等原因，ccd 面陣安裝時(shí)并不能保證以透鏡的光軸為中心，且圖像采集數(shù)字化窗口的中心不一定與光學(xué)中心重合，這就使得主點(diǎn)不一定與圖像中心重合52，所以需要標(biāo)定。u 軸和 v 軸的尺度因子 fu , fv ：它們分別表示圖像平面上 u 軸和 v 軸方向上的焦距，它和透鏡焦距 f 以及圖像平面在 x, y 方向上單位像素間的距離dx, dy 有關(guān)。 d y 不需要標(biāo)定，可由制造商提供的說明書得到。但是 d x 由于采樣誤差、時(shí)序以及掃描頻率等因素的影響，實(shí)際值和標(biāo)準(zhǔn)值相差會(huì)比較大，因此需要標(biāo)定。透鏡的傾斜因子 s ：攝像機(jī)成像平面坐標(biāo)軸相互不正交引起的傾斜因子，它和兩個(gè)坐標(biāo)軸之間的夾角以及焦距 f 有關(guān)