機(jī)器視覺技術(shù)與應(yīng)用實(shí)戰(zhàn)-3D感知與目標(biāo)識別

3D感知與目標(biāo)識別我們處在一個(gè)三維世界里面，對3D圖像進(jìn)行獲取和分析一定具有大量的應(yīng)用需求，3D視覺當(dāng)前也受到開發(fā)人員和投資機(jī)構(gòu)越來越多的關(guān)注。3D圖像的采集設(shè)備也不斷成熟，進(jìn)入實(shí)用階段，本節(jié)介紹了通過單目相機(jī)進(jìn)行3D定位的理論基礎(chǔ)，包括2D圖像的3D信息。因?yàn)樗捎玫膸缀蹙褪且惶?D視覺的硬件，成本很低，大量的應(yīng)用問題可以被一個(gè)單目3D系統(tǒng)解決。不過，它也有一定的局限性，比較適合的是扁平的物體，或稱之為2.5D視覺。本節(jié)主要介紹以下幾個(gè)方面的內(nèi)容：從2D圖像中得倒3D信息，采用單目相機(jī)獲取深度信息。3D感知的手段，3D仿射變換、攝像機(jī)模型、雙目相機(jī)標(biāo)定、3D目標(biāo)重建作為3D匹配的基礎(chǔ)。3D模型和匹配，包含模型表示，和常見的匹配方法，重點(diǎn)介紹幾何模型比對。2.7.1從2D圖像中得到3D信息圖像是實(shí)際世界的2D投影。2D圖像中存在很多線索，可用于3D解釋。人類能夠根據(jù)照片、視頻等2D的視覺輸入感知和分析3D世界的結(jié)構(gòu)信息。（一）2D圖像中的3D線索在下圖2.65中可以看到一些深度線索。左邊的第一輛汽車擋住了部分后面的汽車，這些汽車又擋住了部分電線桿和后面的樹和大海。右邊的汽車擋住了房子，房子又擋住了大海和天空。右側(cè)的地上紋理表明地是平面，紋理逐漸縮短表明地面逐漸遠(yuǎn)離觀察者……這說明在2D圖像中包含3D信息，比如空間前后，距離遠(yuǎn)近等。（二）透視縮放的定義透視縮放（perspectivescaling）是指，目標(biāo)的距離與它在圖像中的大小成反比?？s放這個(gè)術(shù)語專門用來比較與圖像面平行的目標(biāo)大小。目標(biāo)在圖像中的大小可用來計(jì)算該目標(biāo)的3D深度。在與目標(biāo)軸成銳角的方向觀察目標(biāo)時(shí)，圖像中的目標(biāo)會出現(xiàn)透視縮短（foreshortening）現(xiàn)象。圖中提供了另一個(gè)明顯的線索，反映了2D視圖與3D目標(biāo)之間的關(guān)系。觀察上圖：2D圖像中的3D線索，當(dāng)馬路中間的標(biāo)志線逐漸遠(yuǎn)離時(shí)，標(biāo)志線在圖像中逐漸縮小。如果觀察者的視線與馬路的標(biāo)示線垂直，這個(gè)縮短現(xiàn)象是不會出現(xiàn)的。圖中的汽車也是如此。（三）調(diào)焦測距單個(gè)攝像機(jī)和人類的眼睛一樣，可用來計(jì)算與像素點(diǎn)對應(yīng)的表面點(diǎn)的深度。睫狀肌改變形狀起到調(diào)焦作用，使眼睛能看清目標(biāo)。傳感器通過調(diào)焦使目標(biāo)或目標(biāo)邊緣進(jìn)入注視范圍內(nèi)，以此得到目標(biāo)的深度信息。人類已根據(jù)這個(gè)原理制造出攝像設(shè)備。其中包含自動(dòng)聚焦控制功能。為了敘述簡單，可以設(shè)想攝像機(jī)的焦距在某個(gè)范圍內(nèi)平穩(wěn)變化。對應(yīng)每個(gè)f值，得到的圖像進(jìn)行邊緣檢測。對于每個(gè)像素，保存產(chǎn)生清晰邊緣的f值，并利用f值確定該像素對應(yīng)的3D表面點(diǎn)的深度。很多圖像點(diǎn)不是由3D中的反差鄰域產(chǎn)生的，因此不會產(chǎn)生可用的清晰邊緣值。短焦距鏡頭，如f＜8mm，具有很好的景深（depthoffield），這意味著目標(biāo)與攝像機(jī)的距離可以有較大的變化范圍，在這個(gè)范圍內(nèi)都能夠產(chǎn)生較好的聚焦效果。短焦距不利于確定到焦點(diǎn)的準(zhǔn)確距離，而此時(shí)采用長焦距比較有利。這種方法雖然也只是采用了單只相機(jī)，但要求調(diào)焦機(jī)構(gòu)和光學(xué)的配合，結(jié)構(gòu)復(fù)雜；測距過程需要拍攝多幅圖片，很耗時(shí)間，因此具有較大的局限性，只在特定的場景使用。2.7.33D感知和匹配的理論基礎(chǔ)（一）一般體視結(jié)構(gòu)右圖是常見的立體視覺系統(tǒng)，兩個(gè)攝像機(jī)同時(shí)觀察同一個(gè)工作區(qū)。在機(jī)器視覺圖形學(xué)中，常常采用右手坐標(biāo)系統(tǒng)，z軸的負(fù)方向由攝像機(jī)向外，這樣距離攝像機(jī)較遠(yuǎn)的點(diǎn)，其深度坐標(biāo)的負(fù)值就較大。如圖所示，兩攝像機(jī)C1和C2觀測相同的3D工作區(qū)。工件上的點(diǎn)P在第一幅圖中的投影為1P，在第二幅圖中的投影為2P。為了進(jìn)行上圖2.75所示的立體視覺計(jì)算，需要已知下列條件：首先要知道攝像機(jī)C1在工作區(qū)W中的位置，以及攝像機(jī)的一些內(nèi)部參數(shù)，同樣要知道攝像機(jī)C2在工作區(qū)W中的位置以及它的內(nèi)部參數(shù)，也就是需要它的攝像機(jī)矩陣。要找出3D點(diǎn)與兩個(gè)2D圖像點(diǎn)

之間的對應(yīng)關(guān)系。要有公式來計(jì)算兩條投影線

和

的交點(diǎn)（二）相機(jī)標(biāo)定技術(shù)空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)，為了得到這些參數(shù)而進(jìn)行的實(shí)驗(yàn)與計(jì)算的過程稱為攝像機(jī)標(biāo)定。標(biāo)定技術(shù)對機(jī)器視覺的重要性就如同刻度對于標(biāo)尺的重要性一般，因而隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，標(biāo)定技術(shù)的研究也被越來越多的人重視。它也從最初的對標(biāo)定結(jié)果的低精度要求，對標(biāo)定參照物的高精度要求發(fā)展到現(xiàn)在對標(biāo)定結(jié)果的較高精度要求和對參照物的相對低精度要求。（三）3D數(shù)據(jù)獲取和標(biāo)定深度數(shù)據(jù)必須根據(jù)一系列物體表面的視圖得到，一般8-10個(gè)視圖就可以了，但對于復(fù)雜物體或者是精度要求嚴(yán)格的情況下，還必須要有更多的視圖。但視圖越多計(jì)算量越大，因此并非越多越好。深度數(shù)據(jù)可以采用3D相機(jī)獲取，也可以用兩臺或以上的普通工業(yè)相機(jī)，構(gòu)成一個(gè)雙目2.7.43D模板和匹配本節(jié)介紹如何建立3D標(biāo)準(zhǔn)模板（Model），并用它進(jìn)行3D匹配。對于機(jī)器視覺來說，目標(biāo)表示必須符合目標(biāo)識別的要求，這意味著目標(biāo)表示和從圖像中抽取的特征之間必須有一定的對應(yīng)關(guān)系。3D目標(biāo)識別中有幾種常見的圖像類型，如灰度圖像、彩色圖像和深度圖像。經(jīng)常需要把灰度圖像或彩色圖像配準(zhǔn)到深度數(shù)據(jù)，這樣可以給識別算法提供更豐富的特征集。下面先介紹3D目標(biāo)（或模板）表示的最常用方法，線框模型，然后介紹目標(biāo)識別算法中常見的3D-3D特征比對。更多的模型表示方法和匹配算法，讀者可參考相關(guān)教材。(一)模板表示計(jì)算機(jī)視覺開始于Robert在1965年進(jìn)行多面體積識別工作，其中使用了簡單的線框模型，以及與從圖像中的直線段進(jìn)行匹配?；诰€段的模型今天仍然很流行，但也有其他一些模型能更精確地表示曲面甚至任意表曲的目標(biāo)數(shù)據(jù)。本節(jié)我們只介紹網(wǎng)格模型、表面-邊-頂點(diǎn)模型，其他如體素和八叉樹模型、廣義圓柱體模型、超二次曲面模型以及可變形模型、等，請讀者進(jìn)階學(xué)習(xí)。3D網(wǎng)格模型3D網(wǎng)絡(luò)是一種簡單的幾何表示，通過相連的頂點(diǎn)和邊構(gòu)成3D空間多邊形來描述目標(biāo)。任意多邊形可構(gòu)成任意結(jié)構(gòu)的網(wǎng)格。由類型相同的多邊形構(gòu)成的網(wǎng)格是規(guī)則網(wǎng)格（regularmesh)，常用的三角形網(wǎng)格（triangularmesh)全部由三角形組成。網(wǎng)格可以用不同的分辨率表示目標(biāo)物體，從粗略估算到很高的細(xì)節(jié)分辨均可。如圖顯示同一條狗不同分辨率的三個(gè)網(wǎng)格模型。它們可用于圖形繪制或者利用深度數(shù)據(jù)進(jìn)行目標(biāo)識別。圖2.76不同分辨率的小狗網(wǎng)格模型線框模型線框模型廣泛應(yīng)用于計(jì)算機(jī)視覺中，它的一個(gè)推廣形式是表面-邊-頂點(diǎn)模型。這是一個(gè)數(shù)據(jù)結(jié)構(gòu)，表示包括目標(biāo)的頂點(diǎn)、表面和邊，通常還包括一些拓?fù)潢P(guān)系，說明表面在邊哪一側(cè)，以及頂點(diǎn)在邊的哪一端。當(dāng)目標(biāo)是多邊形的時(shí)，表面是平面，邊是直線段。這個(gè)模型也可以推廣到包含曲邊和曲面。3D匹配當(dāng)用于識別時(shí)，要定義特征抽取算子，目的是從用于匹配的深度數(shù)據(jù)中抽取特征。本節(jié)我們只討論幾何模型比對匹配中的3D-3D比對。關(guān)于其他匹配的方法，如3D-2D比對，關(guān)系模型匹配，功能模型匹配等，讀者可延伸閱讀。3D目標(biāo)比對識別與2D匹配的原理相同。確定圖像數(shù)據(jù)點(diǎn)集是否與3D目標(biāo)模型匹配：在模型點(diǎn)集和圖像數(shù)據(jù)點(diǎn)集之間假設(shè)一個(gè)對應(yīng)關(guān)系；利用這個(gè)對應(yīng)關(guān)系求模型到數(shù)據(jù)的變換；這個(gè)變換應(yīng)用到模型點(diǎn)上，產(chǎn)生變換后的模型點(diǎn)集；對變換后的模型點(diǎn)集和數(shù)據(jù)點(diǎn)集和進(jìn)行比較，以證實(shí)假設(shè)的正確性。3D-3D比對假設(shè)3D模型是3D模型點(diǎn)特征的集合，或者3D模型可以轉(zhuǎn)化為3D模型點(diǎn)特征的集合。如果是深度數(shù)據(jù)，那么匹配就需要相應(yīng)的3D數(shù)據(jù)點(diǎn)特征。比對過程是尋找從三個(gè)選定模型點(diǎn)特征到三個(gè)對應(yīng)數(shù)據(jù)點(diǎn)特征之間的對應(yīng)關(guān)系。這個(gè)對應(yīng)關(guān)系決定了包括3D旋轉(zhuǎn)和3D平移的3D變換，把這個(gè)變換應(yīng)用到前述的三個(gè)模型點(diǎn)就會得到對應(yīng)的三個(gè)數(shù)據(jù)點(diǎn)。如果點(diǎn)的對應(yīng)關(guān)系正確并且沒有噪聲，那么可以通過這三對匹配點(diǎn)找到正確的3D變換。一般用十組對應(yīng)點(diǎn)以得到更穩(wěn)健的結(jié)果。任何情況下，一旦算出可能的變換，就把這個(gè)變換應(yīng)用到所有的模型點(diǎn)，產(chǎn)生變換后的模型點(diǎn)集合，可以直接用這個(gè)集合與數(shù)據(jù)點(diǎn)集合做比較。和2D中的情況一樣，用驗(yàn)證程序確定變換過的模型點(diǎn)多大程度上與數(shù)據(jù)點(diǎn)對齊，并以此斷言匹配成功或嘗試另一個(gè)可能的對應(yīng)關(guān)系。和2D中的情況一樣，存在一些智能算法