計算機視覺三維測量與建模 課件 【ch05】雙目立體視覺

第五章計算機視覺三維測量與建模雙目立體視覺南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01標(biāo)準(zhǔn)形式的雙目系統(tǒng)】9如果已知一對攝影機的內(nèi)參數(shù)，就可以通過畸變校正算法，去除影像的幾何畸變影響。然后利用對極幾何關(guān)系，對兩幅影像進行極線校正，得到標(biāo)準(zhǔn)形式的二視圖關(guān)系，即極線方向與影像的行掃描線方向平行。接下來就能夠用立體匹配算法進行密集像素匹配，標(biāo)準(zhǔn)立體匹配流程圖如圖5.1所示。標(biāo)準(zhǔn)形式的雙目系統(tǒng)02匹配基礎(chǔ)給定兩幅影像，本章分別約定為參考影像（左影像）工和目標(biāo)影像（右影像），立體匹配的目標(biāo)是找到工，中的像素在中的同名點對應(yīng)。極線校正的一種簡單表示方法是將兩個像空間坐標(biāo)系旋轉(zhuǎn)，使它們的光軸平行，且垂直于光心連線，如圖5.3所示。極線校正之后，兩幅影像上的視差只發(fā)生在x方向上，在y方向上沒有視差。由此將兩幅影像的同名點匹配搜索過程從二維像空間縮減到了一維空間上，從而提高匹配的準(zhǔn)確性和計算速度。匹配基礎(chǔ)常用的立體影像極線校正的方法是采用的Bouguet算法，該算法已經(jīng)被集成到OpenCV庫中，可以方便地調(diào)用它來完成二視圖的極線校正。Bouguet算法是將求解出來的旋轉(zhuǎn)矩陣R分解成左、右攝像機各旋轉(zhuǎn)一半的旋轉(zhuǎn)矩陣。分解的原則是使得左、右影像重投影造成的畸變最小，左、右視圖的共同面積最大，主要步驟如下。將右影像平面相對于左影像平面的旋轉(zhuǎn)矩陣分解成兩個矩陣民和R，叫作左、右攝像機的合成旋轉(zhuǎn)矩陣。匹配基礎(chǔ)將左、右攝像機各旋轉(zhuǎn)一半，使得左、右攝像機的光軸平行。此時左、右攝像機的成像面平行，但是基線與像平面不平行。構(gòu)造變換矩陣Rrect使得基線與像平面平行。構(gòu)造的方法是通過右攝像機相對于左攝像機的偏移矩陣t來完成的。匹配基礎(chǔ)通過合成旋轉(zhuǎn)矩陣與變換矩陣相乘獲得左、右攝像機的整體旋轉(zhuǎn)矩陣。左、右攝像機坐標(biāo)系乘以各自的整體旋轉(zhuǎn)矩陣就可使得左、右攝像機的主光軸平行，且像平面與基線平行。通過上述的兩個整體旋轉(zhuǎn)矩陣，就能夠得到理想的平行配置的雙目立體影像。校正后根據(jù)需要對影像進行裁剪，需重新選擇一個影像中心和影像邊緣，從而讓左、右疊加部分最大。匹配基礎(chǔ)通常影像數(shù)據(jù)在采集時刻會存在高頻噪聲的影晌，通過一個高斯卷積可以明顯改善噪聲的影響。因此在匹配之前進行匹配預(yù)處理十分必要。設(shè)一幀二維影像為f0(x,y)，預(yù)處理過程就是為獲得新的影像匹配基礎(chǔ)視差圖（DisparityMap）和深度圖（DepthMap）是在立體匹配基礎(chǔ)上得到的一組反眏空間二維和三維對應(yīng)關(guān)系的二維圖像。如圖5.6所示，影像上像素位置的視差值對應(yīng)著空間結(jié)構(gòu)到成像光心連線（沿垂直于像平面的方向）的距離，即深度（Depih）。在極線校正后的影像上，每個目標(biāo)像素點對應(yīng)深度的計算公式為匹配基礎(chǔ)03傳統(tǒng)立體匹配算法】9BM算法首先構(gòu)造一個小窗口，類似于卷積核。窗口的大小可以為3×3~21×21，通常情況下窗口的寬度是奇數(shù)確定窗口大小后，以待匹配的像素為中心，用窗口框選參考影像的區(qū)域內(nèi)的所有像素點，同樣用相同窗口框選目標(biāo)影像并選出像素點。用兩個窗口范圍內(nèi)的對應(yīng)像素計算匹配代價函數(shù)。傳統(tǒng)立體匹配算法對于紋理缺三的影像區(qū)域，極易出現(xiàn)誤匹配或無法匹配的情況。01但是，該類以窗口匹配為基礎(chǔ)的算法存在以下不足：02對由光照條件的變化所引起的紋理畸變較為敏感。03對攝像機的位置和姿態(tài)變化及場景深度變化所引起的紋理畸變比較敏感。傳統(tǒng)立體匹配算法在紋理重復(fù)的區(qū)域中，可能會出現(xiàn)多個相關(guān)的峰值，這會導(dǎo)致誤匹配的產(chǎn)生。04但是，該類以窗口匹配為基礎(chǔ)的算法存在以下不足：05對遮擋情況沒有很好的處理機制。傳統(tǒng)立體匹配算法匹配算法都需要對像素進行匹配代價函數(shù)設(shè)計，不同的代價函數(shù)會對應(yīng)形成不同的匹配代價度量。在眾多匹配代價度量的算法中，圍繞方差和相關(guān)性展開設(shè)計較為普遍。方差匹配的直觀理解就是兩幅影像的“距離”，也就是它們之間差別大小的量化概念；相關(guān)性則以模板與檢測影像各個像素值相乘后得到的相關(guān)度為基礎(chǔ)。傳統(tǒng)立體匹配算法傳統(tǒng)立體匹配算法代價聚合的目的是讓代價度量的值可以較為精確地反映像素之間的相關(guān)性，單純的代價匹配計算只考志單一路徑以及局部區(qū)共的相關(guān)性。同時，在視差不連續(xù)的區(qū)域與紋理偏弱或重復(fù)紋理的區(qū)域，代價值很有可能無法反映左、右像素點的相關(guān)性，最直接的表現(xiàn)就是自動匹配的同名像點的代價并不是視差搜索范團內(nèi)最優(yōu)的值。傳統(tǒng)立體匹配算法01唯一性檢測傳統(tǒng)立體匹配算法02左右一致性檢測傳統(tǒng)立體匹配算法連通域檢測八點算法最小化的誤差是一個代數(shù)錯誤，然而理想的最小化目標(biāo)函數(shù)是一個幾何意義上的標(biāo)量?？梢圆扇〉恼`差測量是點與外極線之間的距離D(m，l)。假設(shè)每個特征點上的噪聲都是獨立的零均值高斯，所有點的標(biāo)準(zhǔn)差都相同，則以下形式的最小化會產(chǎn)生最大似然解。03傳統(tǒng)立體匹配算法】9動態(tài)規(guī)劃（DynamicPrograrnming，DP）算法應(yīng)用在立體匹配中，是一種比較高效的全局匹配優(yōu)化算法，整體精度相對可革。20世紀(jì)50年代初美國數(shù)學(xué)家R.E.Bellman等人在研究多階段決策過程（MultistepDecisionProcess）的優(yōu)化問題時，提出了著名的最優(yōu)性原理。同時，Bellman把多階段過程轉(zhuǎn)化為一系列單階段問題，利用各階段之間的關(guān)系逐個求解，創(chuàng)立了解決多階段決策問題的優(yōu)化方法——動態(tài)規(guī)劃法。傳統(tǒng)立體匹配算法傳統(tǒng)立體匹配算法04圖割優(yōu)化匹配算法圖割優(yōu)化匹配法圖割優(yōu)化匹配法】9圖割優(yōu)化匹配法】9圖割優(yōu)化匹配法本節(jié)介紹一種簡單線性迭代聚類（SimpleLinearIterativeClustering,SLIC）算法來進行超像索分割操作，它是在區(qū)均值聚類分割（K-means）算法的基礎(chǔ)上進行的優(yōu)化算法。下面介紹算法的具體實施步驟。進行分割中心初始化，利用規(guī)則化的格網(wǎng)將影像像素區(qū)間進行原始劃分，格網(wǎng)的尺寸根據(jù)

計算獲得。采樣中心初始化在各個格網(wǎng)的中心，然后在3x3的格網(wǎng)鄰域區(qū)間內(nèi)移動尋找影像梯度變化最小的位置，這樣做可以避免分割中心落在梯度大的邊緣位置。圖割優(yōu)化匹配法對每個像素找到其所屬的初始分割區(qū)間。每個像素僅與最鄰近的聚類中心聯(lián)系在一起，每個聚類中心聯(lián)系的像素范圍為2S×2S，僅當(dāng)像素落在一個聚類中心的覆蓋區(qū)域內(nèi)時才與該中心進行分析。

迭代更新直至殘差收斂。SLIC分割算法是一種改化的K-Means分類方法，它具有以下兩大特點：（1）通過約束與超像素尺才成正比的搜索空間大小，優(yōu)化過程的距離測度計算涉及的像素被大大減少，因此計算復(fù)雜度是與像素個數(shù)N成正比的線性復(fù)雜度O(N)；（2）加權(quán)相似性測度西數(shù)是一個包含顏色和位置屬性的函數(shù)，它可以控制超像素分割后的各像素塊的尺度和緊湊度。圖割優(yōu)化匹配法圖割優(yōu)化匹配法Middlebury發(fā)布的第二版本測試數(shù)據(jù)包括tsukuba、venus、teddy三組立體影像，三組圖像的最大視差的取值范圍分別為16像素、32像素、64像素，所以具有較好的代表性，圖5.16列出了三組影像的標(biāo)準(zhǔn)數(shù)據(jù)集圖像（上）以及對應(yīng)的真實視差圖（下）。圖割優(yōu)化匹配法05結(jié)構(gòu)光三維掃描如圖5.18所示，空間變化的二維結(jié)構(gòu)照射由特殊投影儀或由空問光調(diào)制器控制的光源產(chǎn)生。一個任意目標(biāo)的三維表面被結(jié)構(gòu)光投射圖案所照射，該例的結(jié)構(gòu)光的模式圖案是空問變化的。成像傳感器獲取目標(biāo)在結(jié)構(gòu)光照射下的表面影像。改變?nèi)S曲面的幾何形狀，成像傳感器捕獲的影像也會發(fā)生相應(yīng)的變化。結(jié)構(gòu)光三維掃描結(jié)構(gòu)光三維掃描使用連續(xù)變化的結(jié)構(gòu)光圖案的技術(shù)。01進一步可以將單點拍攝技術(shù)分為三大類：02使用一維編碼方案的技術(shù)（條帶索引)。03使用二維編碼方案（網(wǎng)格索引）的技術(shù)。結(jié)構(gòu)光三維掃描二進制編碼使用黑白條帶形成一系列投影圖案，使得每個點都有唯一的二進制代碼，該代碼不同于其他任何不同點的代碼。結(jié)構(gòu)光三維掃描相移法是一種著名的三維表面成像的條帶投影方法，它投射一組正弦圖家到物體表面（圖5.23），在相鄰光平面之間插值，每幅影像的像素獲得亞像素級別的條帶值。投影三個相移正弦模式，三個投影條帶圖的每個像素(x,y)的強度都可以描述為：結(jié)構(gòu)光三維掃描相移技術(shù)主要存在的問題是相位展開方法只提供相對展開，而不能求解絕對相位。如果兩個表面的不連續(xù)性大于2元，則基于相位展開的任何方法都無法正確地展開這兩個互相關(guān)聯(lián)的表面之間的關(guān)系。這些通常被稱為“整周期模糊度”的問題，可以通過結(jié)合使用灰度碼投影技術(shù)和相移技術(shù)來解決。結(jié)構(gòu)光三維掃描12光度立體法它從同一視點拍攝，通過改變光照射的方向，使用目標(biāo)表面的影像序列來估計局部表面方向。它通過使用多幅影像解決了傳統(tǒng)的SFS方法中的不適定問題。彩虹三維攝像機圖5.28展示了利用彩虹帶模式的三維攝像機的基本概念，前提假設(shè)是場景不會改變投影儀打出的光顏色。相比于必須從一對立體影像中提取相應(yīng)特征以計算深度值的傳統(tǒng)立體視覺，彩虹三維攝像機可將空間變化的波長照射投影到物體表面。結(jié)構(gòu)光三維掃描34偽隨機二進制陣列一種網(wǎng)格索引的方法，是在網(wǎng)格位置上使用的隨二進制陣列（Pseudo-Random

BinaryArray,PRBA），產(chǎn)生點或其他圖案標(biāo)記，使任何子窗口的編碼圖案是唯一的。DeBruiin編碼DeBruijn編碼是應(yīng)用了DeBruijn序列的結(jié)構(gòu)光編碼方法。n個字母m階的序列是一個長度為n的圓形字符串，其中長度為m的各子串出現(xiàn)一次。結(jié)構(gòu)光三維掃描】9結(jié)構(gòu)光三維掃描06立體視覺標(biāo)定】9攝像機標(biāo)定過程建立了二維影像上的像素與物體點所在的三維空間中的攝影關(guān)系，并且考慮了鏡頭的喂變失真。在大多數(shù)應(yīng)用中，標(biāo)定技術(shù)可以使用簡化的攝像機模型和一組內(nèi)參數(shù)來表示這個關(guān)系。有幾種方法和相應(yīng)的工具箱可用，這些過程需要不同角度拍攝的照片和已知的標(biāo)定對象的尺度信息。平面棋盤格是一種常用的標(biāo)定對象，因為它的制作非常簡單，可以用標(biāo)準(zhǔn)的打印機打印出來，并且有很容易被檢測到的明顯的角點。具體的原理和實現(xiàn)可以參見第2章中的技術(shù)方法。立體視覺標(biāo)定02投影儀的強度標(biāo)定此逆模型使得將二維影像上的像素與三維空間中的直線坐標(biāo)的關(guān)聯(lián)問題變得困難。尋找方法建立這種關(guān)聯(lián)對應(yīng)關(guān)系，就可以使用攝像機標(biāo)定算法對投影儀進行標(biāo)定。為了提高對比度，投影儀的強度曲線通常隨著伽馬變換而改變。當(dāng)在三維成像系統(tǒng)中作為主動光源使用時，標(biāo)定的目標(biāo)是恢復(fù)照射強度的線性度。投影儀的幾何標(biāo)定立體視覺標(biāo)定式中，d是視差的標(biāo)準(zhǔn)偏差。該方程表明，深度不確定度隨深度呈二次暴增長。因此，標(biāo)注雙目立體視