機(jī)器視覺原理及應(yīng)用 課件 第1、2章 緒論、相機(jī)成像與標(biāo)定

機(jī)器視覺原理及應(yīng)用TianGongUniversity《機(jī)器視覺原理及應(yīng)用》第1章緒論1.1機(jī)器視覺1.2機(jī)器視覺研究的任務(wù)、基本內(nèi)容、應(yīng)用領(lǐng)域與困難1.3馬爾視覺理論1.4機(jī)器視覺與計算成像視覺是人類強(qiáng)大的感知方式，它為人們提供了關(guān)于周圍環(huán)境的大量信息，使得人們能有效地與周圍環(huán)境進(jìn)行交互。據(jù)統(tǒng)計，人類從外界接收的各種信息中80%以上是通過視覺獲得的，人類有50%的大腦皮層參與視覺功能運(yùn)轉(zhuǎn)。關(guān)于視覺有很多有趣的發(fā)現(xiàn)，比如螳螂蝦的眼睛能探測到偏振光。人眼以及普通相機(jī)只能感受到光的強(qiáng)度信息而不能探測到光的偏振信息。澳大利亞昆士蘭大學(xué)的研究人員發(fā)現(xiàn)，螳螂蝦的復(fù)眼能探測到偏振光。根據(jù)生物醫(yī)學(xué)及光學(xué)方面的理論知識，生物組織特性與偏振信息有關(guān)，所以螳螂蝦的眼睛是能夠“診斷”出生物組織的病變的。此外，蜻蜓等昆蟲具有復(fù)眼結(jié)構(gòu)，蜘蛛有很多只眼睛，青蛙的眼睛只能看到動態(tài)場景，狗對色彩信息的分辨能力極低。1.1機(jī)器視覺1.1機(jī)器視覺那么，介紹完生物的視覺功能之后，什么是機(jī)器視覺呢？機(jī)器視覺是機(jī)器(通常指數(shù)字計算機(jī))對圖像進(jìn)行自動處理并報告“圖像是什么”的過程，也就是說它用于識別圖像中的內(nèi)容，比如自動目標(biāo)識別。計算機(jī)視覺一般以計算機(jī)為中心，主要由視覺傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊組成。根據(jù)DavidA.Forsyth和JeanPonce的定義，計算機(jī)視覺是借助于幾何、物理和學(xué)習(xí)理論來建立模型，從而使用統(tǒng)計方法來處理數(shù)據(jù)的工作。它是指在透徹理解攝像機(jī)性能與物理成像過程的基礎(chǔ)上，通過對每個像素值進(jìn)行簡單的推理，將多幅圖像中可能得到的信息綜合成相互關(guān)聯(lián)的整體，確定像素之間的聯(lián)系以便將他們彼此分割開，或推斷一些形狀信息，進(jìn)而使用幾何信息或概率統(tǒng)計計數(shù)來識別物體。1.1.1機(jī)器視覺的發(fā)展圖為20世紀(jì)70年代至今機(jī)器視覺發(fā)展過程中的部分主題，包括機(jī)器視覺發(fā)展初期（20世紀(jì)70年代）的數(shù)字圖像處理和積木世界，20世紀(jì)80年代的卡爾曼濾波、正則化，20世紀(jì)90年代的圖像分割、基于統(tǒng)計學(xué)的圖像處理以及21世紀(jì)計算攝像學(xué)與機(jī)器視覺中的深度學(xué)習(xí)等。1.1.2機(jī)器視覺與其它領(lǐng)域的關(guān)系

機(jī)器視覺屬于交叉學(xué)科，它與眾多領(lǐng)域都有關(guān)聯(lián)。尤其是機(jī)器視覺與計算機(jī)視覺之間的關(guān)系，有的學(xué)者認(rèn)為二者一樣，有的則認(rèn)為二者存在差別，下方圖顯示了機(jī)器視覺與其他領(lǐng)域的關(guān)系圖，包括計算機(jī)視覺、圖像處理、人工智能、機(jī)器人控制、信號處理、成像等。人工智能、機(jī)器人控制等概念在相關(guān)學(xué)科中都有比較明確的定義。成像是表示或重構(gòu)客觀物體形狀及相關(guān)信息的學(xué)科。1.2機(jī)器視覺研究的任務(wù)、基本內(nèi)容、應(yīng)用領(lǐng)域與困難機(jī)器視覺系統(tǒng)被用于分析圖像和生成對被成像物體的描述。這些描述必須包含關(guān)于被成像物體的某些信息。用于完成某些特殊的任務(wù)。機(jī)器視覺系統(tǒng)可以看作一個與周圍環(huán)境進(jìn)行交互的部分。它是關(guān)于場景的反饋回路中的一個單元，而其它單元則被用于決策與執(zhí)行決策。機(jī)器視覺研究的內(nèi)容非常廣泛，比如以下幾個方面：●相機(jī)標(biāo)定與圖像形成?！穸祱D像分析、邊緣檢測與圖像濾波等低水平圖像處理問題?！駡D像分割，紋理描述與分割?！馭hapeFromX三維視覺?！窳Ⅲw視覺?！窆饬髋c運(yùn)動分析?！衲繕?biāo)匹配，檢測與識別。●3D傳感，形狀描述、目標(biāo)跟蹤?！褚曈X人機(jī)交互與虛擬現(xiàn)實與增強(qiáng)現(xiàn)實?！裼嬎愠上?。1.2.3應(yīng)用領(lǐng)域機(jī)器視覺在很多領(lǐng)域已經(jīng)得到了廣泛應(yīng)用。1）工業(yè)自動化生產(chǎn)線：將圖像和視覺技術(shù)用于工業(yè)自動化，可以提高生產(chǎn)效率和生產(chǎn)質(zhì)量，同時還可以避免人的疲勞、注意力不集中等帶來的誤判。具體例子有工業(yè)探傷、自動流水線和裝配、自動焊接、PCB檢查以及各種危險場合工作的機(jī)器人等。2）視覺導(dǎo)航：用于無人駕駛飛機(jī)、無人駕駛汽車、移動機(jī)器人、精確制導(dǎo)及自動巡航裝備捕獲目標(biāo)和確定距離，既可以避免人的參與及由此帶來的危險，也可提高精度和速度。3）光學(xué)字符識別:閱讀信上的手寫郵政編碼和自動號碼牌識別。4）機(jī)器檢驗：快速檢驗部件質(zhì)量，用立體視覺在專用的光照環(huán)境下測量飛機(jī)機(jī)翼或汽車車身配件的容差。5）零售業(yè)：針對自動結(jié)賬通道的物體識別及基于人臉識別的支付功能。6）醫(yī)學(xué)成像：配準(zhǔn)手術(shù)前和手術(shù)中的成像，或關(guān)于人類老化過程中大腦形態(tài)的長期研究。7）人機(jī)交互：讓計算機(jī)借助人的手勢、嘴唇動作、軀干運(yùn)動、表情等了解人的要求而執(zhí)行指令，這既符合人類的互動習(xí)慣，也可增加交互便捷性和臨場感。8）虛擬現(xiàn)實：飛機(jī)駕駛員訓(xùn)練、手術(shù)模擬、場景建模、戰(zhàn)場環(huán)境仿真等。1.2.4困難使機(jī)器具有看的能力不是一件容易的事情。那么，機(jī)器視覺的研究有哪些困難？對于這個問題，可從以個方面理解。1）在3D向2D轉(zhuǎn)換過程中損失信息。在相機(jī)或者人眼圖像獲取過程中，會出現(xiàn)3D向2D轉(zhuǎn)換過程中的信息損失。2）解釋。人類可以自然而然地對圖像進(jìn)行解釋，而這一任務(wù)卻是機(jī)器視覺要解決的難題之一。3）噪聲。真實世界中的測量都含有噪聲，這就需要使用相應(yīng)數(shù)學(xué)工具和方法對含有噪聲的視覺感知結(jié)果進(jìn)行分析與處理，從而較好地復(fù)原真實視覺數(shù)據(jù)。4）大數(shù)據(jù)。圖像數(shù)據(jù)是巨大的，視頻數(shù)據(jù)相應(yīng)地會更大。雖然技術(shù)上的進(jìn)步使得處理器和內(nèi)存不足已經(jīng)不是問題，但是，數(shù)據(jù)處理的效率仍然是一個重要的問題。5）亮度測量。在成像傳感時，用圖像亮度近似表示輻射率。輻射率依賴于輻照度（輻照度與光源類型、強(qiáng)度和位置有關(guān)）、觀察者位置、表面的局部幾何性質(zhì)和表面的反射特效等。其逆任務(wù)是病態(tài)的，比如由亮度變化重建局部表面方向。通常病態(tài)問題的求解是極其困難的。6）局部窗口和對全局視圖的需要。通常，圖像分析與處理的是其中的局部像素，也就是說通過小孔來看圖像。通過小孔看世界很難實現(xiàn)全局上下文的理解。1.2.5機(jī)器視覺與人的視覺關(guān)系機(jī)器視覺是研究如何能讓計算機(jī)像人類那樣通過視覺實現(xiàn)“see”的學(xué)科。視覺實際上包含兩個方面：“視”和“覺”，也就是說機(jī)器視覺不僅要捕獲場景信息還需要理解場景信息。具體來講，它是利用相機(jī)和計算機(jī)代替人眼，使得機(jī)器擁有類似于人類的對目標(biāo)進(jìn)行分割、分類、識別、跟蹤、判別和決策的功能。對人類來說非常簡單的視覺任務(wù)對于機(jī)器卻可能異常復(fù)雜。在很多方面，機(jī)器視覺的能力還遠(yuǎn)遠(yuǎn)不如人類視覺，原因在于人類經(jīng)過大量的學(xué)習(xí)、認(rèn)識和了解，已經(jīng)對現(xiàn)實世界中存在的各種事物有了準(zhǔn)確、完善的分類歸納能力，而計算機(jī)則缺少相應(yīng)的過程，就像一個嬰兒很難分清不同的人，很難辨別物體的形狀和外觀、人的表情等，但經(jīng)過與外界的交互、學(xué)習(xí)就能逐漸掌握對事物和場景的識別和理解能力。讓計算機(jī)達(dá)到人類的視覺能力需要一個完善的學(xué)習(xí)過程。此外，生物的眼睛經(jīng)歷了５億多年的進(jìn)化，視覺系統(tǒng)不斷完善，而相機(jī)的出現(xiàn)才短短一百多年。在圖像理解等高級機(jī)器視覺問題上，計算機(jī)的視覺能力通常低于人類。人類及其他生物的眼睛具有的強(qiáng)大功能，所以機(jī)器視覺研究過程中借鑒了生物視覺的功能原理，比如Gabor濾波器的頻率和方向表達(dá)同人類視覺系統(tǒng)類似，卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建參考了人類大腦提取視覺信息的方式。1.3馬爾視覺理論Marr首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床神經(jīng)病學(xué)等方面已取得的重要研究成果，在1982年出版的《視覺》（Vision）一書提出了視覺理論框架，使得計算機(jī)視覺有了一個比較明確的體系。該框架既全面又精煉，是使視覺信息理解的研究變得嚴(yán)密，并把視覺研究從描述的水平提高到數(shù)理科學(xué)水平的關(guān)鍵。Marr的理論指出，要先理解視覺的目的，再去理解其中的細(xì)節(jié)。這對各種信息處理任務(wù)都是合適的。下面簡要介紹Marr視覺理論的基本思想及理論框架。1.3.1視覺是一個復(fù)雜的信息加工過程馬爾從信息處理系統(tǒng)的角度出發(fā)，認(rèn)為對視覺系統(tǒng)的研究應(yīng)分為三個層次，即計算理論層次、表達(dá)與算法層次和硬件實現(xiàn)層次。計算理論層次主要回答視覺系統(tǒng)的計算目的與計算策略是什么，或視覺系統(tǒng)的輸入輸出是什么，如何由系統(tǒng)的輸入求系統(tǒng)的輸出。在這個層次上，視覺系統(tǒng)輸入是二維圖像，輸出則是三維物體的形狀、位置和姿態(tài)。視覺系統(tǒng)的任務(wù)是研究如何建立輸入輸出之間的關(guān)系和約束，如何由灰度圖像恢復(fù)物體的三維信息。表達(dá)與算法層次是要進(jìn)一步回答如何表達(dá)輸入和輸出信息，如何實現(xiàn)計算理論所對應(yīng)功能的算法，以及如何由一種表示變換成另一種表示。一般來說，使用不同的表達(dá)方式完成同一計算的算法會不同，但表達(dá)與算法是比計算理論低一層次的問題，不同的表達(dá)與算法，在計算理論層次上可以是相同的。最后一個硬件實現(xiàn)層次解決如何用硬件實現(xiàn)上述表達(dá)和算法的問題，比如計算機(jī)體系結(jié)構(gòu)和具體的計算裝置及其細(xì)節(jié)。1.3.3視覺系統(tǒng)處理的三個階段馬爾從視覺計算理論出發(fā)，將系統(tǒng)分為自下而上的三個階段，即視覺信息從最初的原始數(shù)據(jù)（二維圖像數(shù)據(jù)）到最終對三維環(huán)境的表達(dá)經(jīng)歷了三個階段的處理，如圖所示。第一階段（早期視覺處理階段）構(gòu)成所謂“要素圖”或“基元圖”，基元圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成。對第二階段（中期視覺處理階段），馬爾稱為對環(huán)境的2.5維描述。1.3.3視覺系統(tǒng)處理的三個階段馬爾的視覺計算理論是視覺研究中第一個影響較大的理論，它推動了這一領(lǐng)域的發(fā)展，對圖像理解和機(jī)器視覺的研究具有重要作用。但是馬爾的理論也有不足之處，比如下面四個有關(guān)整體框架的問題。１）框架中的輸入是被動的，輸入什么圖像，系統(tǒng)就加工什么圖像。２）框架中的目的不變，總是恢復(fù)場景中物體的位置和形狀。３）框架缺乏或者說沒有足夠重視高層知識的指導(dǎo)作用。４）整個框架中的信息加工過程基本自下而上，單向流動，沒有反饋。針對上述問題，人們提出了一系列改進(jìn)思路，具體如圖所示1.4機(jī)器視覺與計算成像計算攝像學(xué)或計算成像（computationalphotography）是綜合了機(jī)器視覺、計算機(jī)圖形學(xué)、人工智能、信號處理等技術(shù)的新興領(lǐng)域。在計算成像中通常會在傳感數(shù)據(jù)采用圖像分析與處理算法獲得超越傳統(tǒng)成像系統(tǒng)能力的圖像。傳統(tǒng)成像通常輸出的為圖像，而計算成像輸出數(shù)據(jù)需要進(jìn)一步計算獲得最終的圖像數(shù)據(jù)。計算成像綜合了以前端光學(xué)和后端信號處理一體化設(shè)計為代表的聯(lián)合處理方式，并將其命名為“ComputationalPhotography”，標(biāo)志著計算光學(xué)成像的誕生。計算成像發(fā)展迅速，其中以單光子成像、單像素成像、非視覺成像、偏振成像、光場成像、事件相機(jī)成像、多光譜成像、Fourier疊層成像、散射介質(zhì)成像等為代表的計算成像技術(shù)極大克服了傳統(tǒng)成像的局限性，在越來越多的領(lǐng)域得到廣泛的應(yīng)用。1.4.1單光子成像單光子成像是面向極低光照成像條件下的高靈敏成像。單光子成像是固態(tài)成像技術(shù)的拓展，光電探測過程的靈敏度可以通過系統(tǒng)設(shè)計得到提高，直到最終能探測單個光子到達(dá)的光子。中國科技大學(xué)徐飛虎教授等提出了高效的少光子計算成像算法，首次實現(xiàn)每個像素只探測一個光子的超低光、高靈敏三維成像。單光子成像技術(shù)通過脈沖激光照射目標(biāo)，在回波光子數(shù)極少的情況下，采用大口徑光學(xué)鏡頭進(jìn)行收集，通過單光子探測器記錄光子到達(dá)時間，并由光子計數(shù)器記錄信號個數(shù)，并基于泊松統(tǒng)計的方法，通過增大重復(fù)次數(shù)，可累積出目標(biāo)光強(qiáng)信息與距離信息，從而實現(xiàn)對目標(biāo)的灰度成像及三維成像。2019年打破了單光子三維成像的最遠(yuǎn)距離記錄，能夠以每像素1光子的靈敏度對45公里遠(yuǎn)的物體成像。中國科學(xué)技術(shù)大學(xué)潘建偉院士、徐飛虎教授等實現(xiàn)超過200公里的遠(yuǎn)距離單光子三維成像，首次將成像距離從十公里突破到百公里量級，為遠(yuǎn)距離目標(biāo)識別、對地觀測等領(lǐng)域應(yīng)用開辟新道路。1.4.2單像素成像單像素成像是近年來被廣泛研究的一種新型成像技術(shù)。單像素相機(jī)在照明端采取結(jié)構(gòu)光照明，在探測端采用單像素光強(qiáng)探測器收集信號。當(dāng)照明結(jié)構(gòu)發(fā)生變化時，相應(yīng)的物光光強(qiáng)的變化反映出照明結(jié)構(gòu)與物體空間信息之間的關(guān)聯(lián)程度。通過不斷變化照明結(jié)構(gòu)并累積關(guān)聯(lián)信息，最終實現(xiàn)對物體的成像。由于單像素相機(jī)在探測端只需要光強(qiáng)探測，它對探測器的要求遠(yuǎn)遠(yuǎn)低于普通成像中的面陣探測器。如圖所示，光源發(fā)出的光經(jīng)過成像物體反射通過透鏡會聚到空間光調(diào)制器（DMD），被單像素探測獲取。然后通過空間光調(diào)制器的圖案和單像素探測器的信號進(jìn)行運(yùn)算可重構(gòu)出物體的圖像。照明光電探測器成像透鏡背向散射1.4.3偏振成像偏振成像相機(jī)通過在傳統(tǒng)相機(jī)成像芯片前放置多向偏振光學(xué)元件過濾其他偏振方向的光，保存偏振光方向的光線，得到傳感器偏振強(qiáng)度。圖為分焦面成像原理圖，多向偏振元件使得進(jìn)入每個相機(jī)光感器芯片像元的光為單一偏振方向，實現(xiàn)相機(jī)傳感器每個像素點(diǎn)的光強(qiáng)信息為單一偏振方向。通常，商業(yè)上所用的偏光傳感器芯片搭載了4向偏光元件，單次采集可獲取0度、45度、90度和135度方向偏振光數(shù)據(jù)。與傳統(tǒng)成像相比，偏振成像可提供偏振度、偏振角、斯托克斯等參數(shù)，在偏振去霧成像、偏振導(dǎo)航、生物醫(yī)學(xué)成像、工業(yè)視覺反光去除方面具有巨大的潛力。此外，通過偏振成像實現(xiàn)三維重建也是計算機(jī)三維視覺中的重要的三維重建方式。通過偏振參數(shù)計算物體表面法向量，可進(jìn)而重建物體深度信息。目前，單獨(dú)使用偏振信息重建三維表面存在方位角歧義、天頂角偏差等問題，影響重建結(jié)果準(zhǔn)確性。光電探測器偏振器片上透鏡1.4.4光場成像1936年，Gershun初次定義了光場的早期模型，提出了一個光矢量的計算方法。對于由一組點(diǎn)源產(chǎn)生的光場，在某點(diǎn)的合成光矢量定義為每個光源的光矢量的和，每一個分量向量都沿著從光源到該點(diǎn)的射線方向，可知它的向量長度等于光源產(chǎn)生的正常照度。而因為空間照度是法向照度的標(biāo)量和，光矢量是法向照度的向量和，那么光矢量是由已知的亮度分布實體計算出來的。相機(jī)陣列和微透鏡陣列成像是光場相機(jī)成像的代表。圖中左邊為相機(jī)陣列光場成像，右邊是微透鏡光場。微透鏡陣列相機(jī)分辨率是目前光場成像性能的主要瓶頸之一，光場成像超分辨是光場成像研究的主要內(nèi)容之一。1.4.5事件相機(jī)傳統(tǒng)數(shù)碼相機(jī)以圖像和視頻為表達(dá)形式。傳統(tǒng)相機(jī)無法記錄曝光時間內(nèi)的光學(xué)變化過程。幾十Hz的相機(jī)無法拍攝高速場景，而使用拍攝場景高速相機(jī)成本較高。生理學(xué)家發(fā)現(xiàn)生物視網(wǎng)膜中存在對運(yùn)動敏感的神經(jīng)元。在生物視覺系統(tǒng)中，不存在圖像序列。生物視覺領(lǐng)域研究生物眼睛并非像照相機(jī)向大腦傳送幀的圖像，而是采用異步脈沖序列方式向大腦報告光學(xué)變化。事件相機(jī)源于生物視覺這一特性。事件相機(jī)感光單元僅在亮度變化超過閾值時才會產(chǎn)生事件。如圖所示，傳統(tǒng)相機(jī)以幀率輸出圖像信號，而事件相機(jī)根據(jù)亮度變化以事件流的方式在時間尺度上以微秒級別單位異步輸出變化信號。TheEnd機(jī)器視覺原理及應(yīng)用《機(jī)器視覺原理及應(yīng)用》第2章相機(jī)成像與標(biāo)定2.1攝影幾何和幾何變換2.2相機(jī)標(biāo)定基礎(chǔ)2.3相機(jī)標(biāo)定方法2.4相機(jī)標(biāo)定的matlab和opencv實現(xiàn)2.5圓形板標(biāo)定方法2.6單相機(jī)與光源系統(tǒng)標(biāo)定2.7案例-機(jī)器人手眼標(biāo)定射影幾何是研究圖形的射影性質(zhì)，即它們經(jīng)過射影變換后，依然保持不變的圖形性質(zhì)的幾何學(xué)分支學(xué)科。計算機(jī)視覺中常涉及歐式幾何（EuclideanGeometry）、仿射幾何（AffineGeometry）、射影幾何（ProjectiveGeometry）、微分幾何（DifferentialGeometry）。射影變換保持直線，直線與點(diǎn)的接合性及直線上點(diǎn)列的交比不變。仿射變換除具有以上不變性外，還保持直線與直線的平行性、直線上點(diǎn)列的簡比不變。歐式變換除具有仿射的不變性外，還保持兩條相交直線的夾角不變，任意兩點(diǎn)的距離不變。2.1攝影幾何和幾何變換2.1攝影幾何和幾何變換空間幾何變換縮放平移3D變換平移變換2D變換常用的空間幾何變換有：剛體變換、空間相似變換（含平移、旋轉(zhuǎn)、相似變換）、仿射變換、投影變換（透視變換）與非線性變換等。仿射變換為射影變換特例，在射影幾何中已證明，如果射影變換使無窮點(diǎn)仍變換為無窮遠(yuǎn)點(diǎn)，則變換為仿射變換。經(jīng)仿射變換后，線段間保持其平行性，但不保持其垂直性。平面仿射變換的實質(zhì)是平面與平面之間的平行投影。平面透視變換的實質(zhì)是平面與平面之間的中心投影。旋轉(zhuǎn)+平移變換仿射變換投影變換平移變換旋轉(zhuǎn)+平移變換縮放平移仿射變換投影變換原圖像仿射變化后投影變化后2.1.2三維到二維投影2.1攝影幾何和幾何變換

投影變換將3D空間坐標(biāo)中的點(diǎn)映射到2D平面中，即空間中點(diǎn)的3D信息投影后變成圖像亮度信息，丟失了圖像的3D信息，投影后就不可能恢復(fù)該點(diǎn)到圖像的距離了，因此2D傳感器沒有辦法測量到表面點(diǎn)的距離。整個三維空間的投影透視示意圖yz平面的投影透視示意圖2.2相機(jī)標(biāo)定基礎(chǔ)

2.2.1線性模型攝像機(jī)針孔成像模型2.2相機(jī)標(biāo)定基礎(chǔ)2.2.2非線性模型實際的成像過程中，由于攝像機(jī)鏡頭的加工誤差、裝備誤差等原因會產(chǎn)生攝像機(jī)畸變，使成像點(diǎn)會偏離原來應(yīng)成像的位置，所以線性模型不能準(zhǔn)確地描述攝像機(jī)的成像幾何關(guān)系。非線性模型可用式來描述。

2.2相機(jī)標(biāo)定基礎(chǔ)2.2.3空間坐標(biāo)系及變換

在對相機(jī)進(jìn)行標(biāo)定前，為確定空間物體表面上點(diǎn)的三維幾何位置與其在二維圖像中對應(yīng)點(diǎn)之間的相互關(guān)系，首先需要對相機(jī)成像模型進(jìn)行分析。在機(jī)器視覺中，相機(jī)模型是通過一定的坐標(biāo)映射關(guān)系，將二維圖像上的點(diǎn)映射到三維空間。相機(jī)成像模型中涉及世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像像素坐標(biāo)系及圖像物理坐標(biāo)系四個坐標(biāo)系間的轉(zhuǎn)換世界坐標(biāo)系又叫真實坐標(biāo)系，是在真實環(huán)境中選擇一個參考坐標(biāo)系來描述物體和相機(jī)的位置。相機(jī)坐標(biāo)系是以相機(jī)的光心為坐標(biāo)原點(diǎn)，z軸與光軸重合、與成像平面垂直，x軸與y軸分別與圖像物理坐標(biāo)系的x軸和y軸平行的坐標(biāo)系。圖像像素坐標(biāo)系為建立在圖像的平面直角坐標(biāo)系，單位為像素，用來表示各像素點(diǎn)在像平面上的位置，其原點(diǎn)位于圖像的左上角。圖像物理坐標(biāo)系原點(diǎn)是成像平面與光軸的交點(diǎn)，x軸和y軸分別與相機(jī)坐標(biāo)系x軸與y軸平行，通常單位為mm，圖像的像素位置用物理單位來表示。2.2相機(jī)標(biāo)定基礎(chǔ)

世界坐標(biāo)系與相機(jī)坐標(biāo)系轉(zhuǎn)換示意圖2.2相機(jī)標(biāo)定基礎(chǔ)如圖1所示，成像平面所在的平面坐標(biāo)系就是圖像物相機(jī)坐標(biāo)系與圖像物理坐標(biāo)系的轉(zhuǎn)換示意圖理坐標(biāo)系。圖1相機(jī)坐標(biāo)系與圖像物理坐標(biāo)系的轉(zhuǎn)換示意圖圖2圖像像素坐標(biāo)系與圖像物理坐標(biāo)系

2.3相機(jī)標(biāo)定方法2.3.1Tsai相機(jī)標(biāo)定直接線性變換方法或者透視變換矩陣方法利用線性方法來求取相機(jī)參數(shù)，其缺點(diǎn)是沒有考慮鏡頭的非線性畸變。如果利用直接線性變換方法或透視變換矩陣方法求得相機(jī)參數(shù)，可以將求得的參數(shù)作為下一步的初始值，考慮畸變因素，利用最優(yōu)化算法進(jìn)一步提高標(biāo)定精度，這樣就形成了所謂的兩步法。兩步法的第一步是解線性方程，得到部分外參的精確解。第二步再將其余外參與畸變修正系數(shù)進(jìn)行迭代求解。較為典型的兩步法是Tsai提出的基于徑向約束的兩步法?；趶较蚣s束的相機(jī)標(biāo)定方法標(biāo)定過程快捷、準(zhǔn)確，但是只考慮了徑向畸變，沒有考慮其它畸變。該方法所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性。標(biāo)定過程是先忽略鏡頭的誤差，利用中間變量將標(biāo)定方程化為線性方程求解出相機(jī)的外參；然后根據(jù)外參利用非線性優(yōu)化的方法求取徑向畸變系數(shù)k、有效焦距f、以及平移分量Tz2.3相機(jī)標(biāo)定方法2.3.1DLT相機(jī)標(biāo)定

已知一組3D點(diǎn)的位置，以及它們在相機(jī)中的投影位置，直接根據(jù)相機(jī)線性模型計算出相機(jī)的內(nèi)外參數(shù)是較為常用的方法。攝像機(jī)的線性模型為：

將s消去2.3相機(jī)標(biāo)定方法

2.3相機(jī)標(biāo)定方法2.3.3張正友標(biāo)定1998年，張正友提出了基于二維平面靶標(biāo)的標(biāo)定方法，使用相機(jī)在不同角度下拍攝多幅平面靶標(biāo)的圖像，比如棋盤格的圖像。然后通過對棋盤格的角點(diǎn)進(jìn)行計算分析來求解相機(jī)的內(nèi)外參數(shù)提取角點(diǎn)加載圖像2.3相機(jī)標(biāo)定方法2.3.4PNP標(biāo)定

對內(nèi)參數(shù)，直接使用長焦距鏡頭和圖像傳感器的標(biāo)稱值計算。對于外參數(shù)，使用AP3P算法來估計左、右相機(jī)的位姿。物體左相機(jī)坐標(biāo)系右相機(jī)坐標(biāo)系左圖右圖()1iq()2iq世界坐標(biāo)系u1v1u2v2Z1X1Y1X2Y2Z2XwZwYw標(biāo)定板

X

(i)XwAP3P算法是透視三點(diǎn)定位(PerspectiveThreePoints，P3P)問題的一種代數(shù)解法。具體步驟分為三步：2.3相機(jī)標(biāo)定方法

OQ1Q2Q3q1q3q23D擴(kuò)展圖像坐標(biāo)cC世界坐標(biāo)系uvYXZw2.5圓形板標(biāo)定方法2.5.1單目相機(jī)標(biāo)定

如下圖所示，獲得5張不同姿態(tài)的標(biāo)定板圖像，然后取出每個圓圈上的點(diǎn)，計算其中心位置，最后對得到的中心點(diǎn)進(jìn)行排序。將這些提取出的中心點(diǎn)作為參考點(diǎn)，利用張正友標(biāo)定法進(jìn)行標(biāo)定，計算出旋轉(zhuǎn)矩陣R和平移矩陣T。2.5圓形板標(biāo)定方法2.5.2雙目相機(jī)標(biāo)定

本節(jié)采用兩個分辨率均為1280×1024的高速相機(jī)對圓形標(biāo)定板進(jìn)行5次不同角度的拍攝，拍攝期間保證圖像每次都落在兩個相機(jī)的圖像平面內(nèi)Prewit算子邊緣提取Sobel算子邊緣提取Roberts算子邊緣提取Canny算子邊緣提取

可以看出，四種算子在邊緣提取的結(jié)果上并無太大的差異，但是Canny算子自身是根據(jù)雙閾值來對圖像邊緣進(jìn)行提取的，其首先根據(jù)強(qiáng)閾值進(jìn)行邊緣點(diǎn)初定位，然后使用弱閾值按照初定位邊緣點(diǎn)進(jìn)行逐個像素點(diǎn)跟蹤，所以能將一個連續(xù)的邊緣完整的提取出來。Canny算子對噪聲、光照等影響因素具有較好的抗干擾能力，因此，為了使標(biāo)定方法在多種環(huán)境下均具有較好的適用性，選用Canny算子對圓形標(biāo)定板進(jìn)行邊緣提取。經(jīng)過多次試驗，設(shè)置合理的Canny算子的髙閾值和低閾值，即可完整地保留圖像邊緣，又可有效濾除噪聲等干擾信息。2.5圓形板標(biāo)定方法

對獲得的邊緣圖像進(jìn)行橢圓擬合，而后得到99個圓的圓心坐標(biāo)。為了確保每幅圖像的99個圓心坐標(biāo)均按照一定的順序排列，本節(jié)將在拍攝過程中經(jīng)過旋轉(zhuǎn)和平移對獲得的圖像進(jìn)行逆操作，逆操作的依據(jù)為每個圖像坐標(biāo)系的旋轉(zhuǎn)和平移參數(shù)，依照這些參數(shù)將每幅圖像都矯正為設(shè)定的角度，而后再對圓心坐標(biāo)進(jìn)行排序，排序以5個大的方位圓為依據(jù)。由于圓心個數(shù)較多，此處不再羅列圓心的具體坐標(biāo)值。標(biāo)定圖像的排序結(jié)果2.6單相機(jī)與光源系統(tǒng)標(biāo)定2.6.1背景三維重建方法已廣泛應(yīng)用于工業(yè)檢測、逆向工程、人體掃描、文物保護(hù)、服裝鞋帽等多個領(lǐng)域，對自由曲面的檢測具有速度快、精度高的優(yōu)勢。在主動三維測量技術(shù)中，結(jié)構(gòu)光三維測量技術(shù)發(fā)展最為迅速，尤其是相位測量輪廓術(shù)（PhaseMeasuringProfilometry,PMP）。PMP也被稱為相移測量輪廓術(shù)（PhaseShiftingProfilometry,PSP），是目前三維測量產(chǎn)品中常用的測量方法。相位測量方法是向被測物體上投射固定周期的按照三角函數(shù)（正弦或者余弦）規(guī)律變化的光亮度圖像，此圖像經(jīng)過大于3步的均勻相移（最好為4-6步），向物體投射4-6次光亮度圖像，最終完成一個周期的相位移動。清華大學(xué)機(jī)械工程系先進(jìn)成形制造教育部重點(diǎn)實驗室韋爭亮等給出了一種單相機(jī)單投影儀三維測量系統(tǒng)標(biāo)定技術(shù)，該方法依靠具有黑底白色圓點(diǎn)圖案的單平面標(biāo)定塊,采用Tsai兩步法及非線性優(yōu)化完成相機(jī)標(biāo)定。華中科技大學(xué)李中偉博士在博士論文《基于數(shù)字光柵投影的結(jié)構(gòu)光三維測量技術(shù)與系統(tǒng)研究》中也給出一種相機(jī)和投影光源的標(biāo)定方法，該方法首先對相機(jī)的參數(shù)進(jìn)行標(biāo)定，然后再通過投影光