計算機視覺立體匹配問題研究

1、計算機視覺立體匹配問題研究本文是計算機論文，本文在前人的研究基礎(chǔ)上，對立體匹配的相關(guān)問題進行深入研究與探索，提出了新的解決方法，使得性能得到了進一步提升。本文的工作總結(jié)如下：（1）其次，本文證明了本質(zhì)矩陣有兩個相等的非0奇異值、而第3個奇異值為0的結(jié)論。依據(jù)此結(jié)論，對本質(zhì)矩陣實施奇異值分解，以及通過分析左右攝像機潛在的幾何約束來消除奇異值分解的二義性，并求得左右攝像機之間的相對位姿。通過對奇異值分解得到的正交矩陣實施相應(yīng)的變換，即可得到使左右攝像機的光軸變?yōu)橄嗷テ叫星掖怪庇诨€的旋轉(zhuǎn)變換。在此基礎(chǔ)上，將繞基線的旋轉(zhuǎn)角度變?yōu)?，以便減少傾斜畸變，而且將左右攝像機內(nèi)參數(shù)的均值作為新的內(nèi)參數(shù)矩陣，以

2、便使校正后的立體圖像對應(yīng)極線共線于同一水平線，從而可求解出校正變換的解析解，所以，本文校正方法不涉及任何優(yōu)化搜索過程。.1緒論由于任何一對立體圖像的成像不僅受攝像機影響，而且與場景特性密切相關(guān)，因此，它們之間的內(nèi)在聯(lián)系以及差異是由多種綜合因素導(dǎo)致的，這些因素除了攝像機參數(shù)設(shè)置以外，還包括場景的光照條件、物體表面特性以及景物上下文關(guān)系等。傳統(tǒng)非學(xué)習(xí)方法不能將所有引起成像差異的因素綜合起來建模，而且也無法建立特定場景下立體圖像之間的內(nèi)在聯(lián)系，因此，對于一些來自復(fù)雜場景的立體圖像，非學(xué)習(xí)的匹配方法通常表現(xiàn)出較差的性能。為此，本文提出一種端到端的分組距離網(wǎng)絡(luò)，通過將其在某個特定場景的數(shù)據(jù)集進行訓(xùn)練學(xué)習(xí)

3、，即可利用它來預(yù)測該場景下立體圖像的視差。本文分組距離網(wǎng)絡(luò)采用多個殘差模塊提取出每個像素的深度特征，隨后將左右視圖中對應(yīng)像素之間的特征向量進行分組并計算它們之間的分組距離向量，由此構(gòu)建出一個四維代價體，緊接著采用級聯(lián)的三維沙漏網(wǎng)絡(luò)對其進行卷積，最后通過視差回歸生成視差圖。通過將分組距離網(wǎng)絡(luò)在某個場景數(shù)據(jù)集上進行端到端的訓(xùn)練，并可直接學(xué)習(xí)出從立體圖像到其最終視差圖的映射。本文的內(nèi)容分成七個章節(jié)進行描述，具體安排如下：第1章首先闡述了課題的研究背景及研究意義。其次，綜述了極線校正和立體匹配的研究現(xiàn)狀及進展，詳細描述了各類代表性的算法，并分析了它們的優(yōu)缺點。最后，介紹了本文的研究內(nèi)容及創(chuàng)新點，并給出

4、了論文的總體結(jié)構(gòu)。.2基本原理2.1攝像機成像模型計算機立體視覺的主要任務(wù)是通過從不同視點拍攝同一場景所得到的一對立體圖像來恢復(fù)場景的三維信息。攝像機在拍攝圖像的過程中，通過其內(nèi)部的透鏡將現(xiàn)實中的三維場景投影到攝像機的二維成像平面上。攝像機成像模型確定了三維空間點與投影到二維圖像平面上的像點之間的對應(yīng)關(guān)系。立體視覺則是從二維立體圖像逆向地求解場景三維信息，主要是先通過立體匹配算法計算立體圖像之間對應(yīng)像素的位置偏差（即視差），然后根據(jù)三角測量原理求出場景的三維信息。本章主要介紹立體視覺中的一些基本概念和基本原理，主要包括攝像機成像模型、兩視圖之間的對極幾何關(guān)系、立體視覺原理、極線校正以及立體匹配

5、原理等，從而為后續(xù)章節(jié)的算法研究奠定理論基礎(chǔ)。攝像機成像過程本質(zhì)上是現(xiàn)實三維世界到攝像機圖像平面的透視投影過程，而任意一個三維空間點到其對應(yīng)的圖像像素點的映射是由攝像機成像模型唯一確定的。下面將通過建立相應(yīng)的參考坐標(biāo)系并根據(jù)攝像機透視投影過程推導(dǎo)出攝像機成像模型。2.2兩視圖幾何模型當(dāng)使用兩個攝像機同時從不同視點或者使用單個攝像機先后以不同視點采集兩幅來自同一場景的圖像時，這兩幅圖像之間存在著內(nèi)在的約束關(guān)系，通常稱之為對極幾何關(guān)系，它不僅對立體視覺中立體圖像的稠密匹配起著重要作用，而且在基于圖像序列的三維重構(gòu)和運動分析中也有著廣泛的應(yīng)用?；A(chǔ)矩陣在兩視圖幾何中占據(jù)非常重要的角色，因為利用基礎(chǔ)矩

6、陣不僅可以對兩視圖所包含的場景進行射影重構(gòu)，而且還可以從含有錯誤匹配的對應(yīng)點集中剔除大部分外點。另外，基礎(chǔ)矩陣可以進一步地引導(dǎo)匹配，即通過縮小搜索范圍進而搜尋出更多滿足極線約束的匹配點對。因此，精確地估計基礎(chǔ)矩陣對于兩視圖幾何的研究是非常重要的，盡管基礎(chǔ)矩陣獨立于景物結(jié)構(gòu)，但它可以僅依據(jù)景物的特征點之間對應(yīng)關(guān)系計算得到。上述標(biāo)準(zhǔn)立體視覺系統(tǒng)是在理想情況下才有的配置，然而在實際應(yīng)用過程中，由于攝像機的畸變以及安裝的偏差等原因，立體視覺系統(tǒng)的兩個攝像機光軸通常并不平行，基線也難以與圖像的水平軸平行，因此，需要通過極線校正對立體視覺系統(tǒng)拍攝的立體圖像進行變換，使其符合理想情況下標(biāo)準(zhǔn)立體視覺系統(tǒng)特有的

7、對極幾何約束。因此，極線校正是立體匹配的前提必要步驟。.3基于本質(zhì)矩陣奇異值分解的極線校正方法.373.1問題描述.373.2本質(zhì)矩陣.383.3本質(zhì)矩陣的奇異值分解.413.4校正變換.433.5實驗結(jié)果分析.464基于Census特征的抗輻射變化立體匹配方法.554.1問題描述.554.2基于Census特征的匹配代價計算.564.3基于融合自適應(yīng)支持權(quán)重的代價體濾波.604.4視差計算與精確化.654.5實驗結(jié)果分析.665用于消除匹配歧義的定向線性樹代價聚合方法.755.1問題描述.755.2定向線性樹結(jié)構(gòu).765.3在定向線性樹上的代價聚合.775.4一維路徑上的代價聚合.78.6基

8、于分組距離網(wǎng)絡(luò)的視差預(yù)測方法6.1問題描述當(dāng)用攝像機拍攝某一場景的圖像時，場景在圖像平面上的成像結(jié)果不僅直接受拍攝視角和攝像機參數(shù)設(shè)置的控制，而且與場景的特性密切相關(guān)，并受到場景的光照條件、物體表面的光反射特性、景物之間的遮擋關(guān)系等諸多因素的影響。相應(yīng)地，同一場景立體圖像之間的潛在差異與內(nèi)在聯(lián)系也是由這些綜合因素導(dǎo)致的。特別是對于一些較為復(fù)雜的場景，傳統(tǒng)非學(xué)習(xí)的匹配方法不能學(xué)習(xí)出場景特有的屬性，無法刻畫立體圖像之間的內(nèi)在聯(lián)系以及像素之間的對應(yīng)關(guān)系。盡管一些二值特征或梯度特征，在一定程度上能夠應(yīng)對輻射變化的影響，但是這些人工設(shè)計的淺顯特征并不能綜合考慮所有導(dǎo)致成像差異的因素影響。例如，對于一些由

9、自動駕駛汽車在真實交通狀況下拍攝的立體圖像，如圖6-1(a)所示，經(jīng)常會受到太陽光暈、傾斜道路表面與擋風(fēng)玻璃的光反射、車輛行駛過程中帶來的運動模糊等多種因素的影響，而人工提取的特征通常并不能充分表征場景中的像素特征，即使采用代價聚合或全局能量優(yōu)化，也不能有效地描述道路交通場景特有的屬性，進而無法構(gòu)建該場景下立體圖像之間的深層內(nèi)在聯(lián)系，這樣使得在一些嚴重退化區(qū)域容易產(chǎn)生錯誤匹配，如圖6-1(b)所示，反光的柏油路面上出現(xiàn)大量的誤匹配。6.2卷積神經(jīng)網(wǎng)絡(luò)基本層本文所提出的分組距離網(wǎng)絡(luò)(GDNet)是一個端到端的全卷積網(wǎng)絡(luò)，通過對該網(wǎng)絡(luò)進行端到端的訓(xùn)練學(xué)習(xí)后，并可利用它直接從輸入的立體圖像中預(yù)測出亞

10、像素精度的視差圖。GDNet網(wǎng)絡(luò)的模型包含四個部分，分別是特征提取、代價體構(gòu)建、代價體濾波和視差回歸，該網(wǎng)絡(luò)模型的總體結(jié)構(gòu)如圖6-5所示，而表6-1給出了GDNet網(wǎng)絡(luò)架構(gòu)詳細信息。為了獲得每個像素魯棒的深度特征，這里主要采用類似于殘差網(wǎng)絡(luò)(ResNet)183,184的模型進行提取，殘差網(wǎng)絡(luò)通過學(xué)習(xí)輸入與輸出之間的殘差，有效避免在增加網(wǎng)絡(luò)層深度過程中出現(xiàn)誤差不降反升的退化問題。殘差的學(xué)習(xí)則通過簡單的跳躍連接(skipconnection)來實現(xiàn)，具體地，對于每個由少量層組成的殘差塊，將其輸入與最后層的輸出進行相加后得到的結(jié)果作為殘差塊的輸出結(jié)果，如圖6-6所示。相應(yīng)地，殘差網(wǎng)絡(luò)則是由許多殘差

11、塊級聯(lián)而成，通過這些跳躍連接，前向信息與后向信息可以在不同殘差塊之間進行傳遞，從而可以有效抑制梯度消失問題。在本文GDN網(wǎng)絡(luò)的特征提取模塊中，如表6-1所示，首先級聯(lián)三個濾波器大小為33的卷積層對輸入圖像進行預(yù)處理，每個卷積層后面依次緊跟批歸一化(BatchNormlization)處理185和ReLU激活層，其中第一個卷積層的步長為2，即將輸出特征圖像的大小變?yōu)檩斎雸D像的1/2，以便降低網(wǎng)絡(luò)復(fù)雜度，增加感受野大小。.總結(jié)與展望立體匹配實際上是透視成像的逆過程，該問題的解本身具有不確定性，另外，在匹配過程中又面臨著諸多挑戰(zhàn)，包括極線校正引入的畸變、光照變化與噪聲引起的誤匹配、弱紋理或重復(fù)紋理區(qū)

12、域中的匹配歧義、遮擋與深度不連續(xù)處的匹配問題等，這些挑戰(zhàn)使得立體匹配一直是計算機視覺領(lǐng)域中的難點問題和熱點問題。對比實驗結(jié)果表明本文校正方法在校正精度與效率方面都有所提升。（2）針對立體圖像之間經(jīng)常出現(xiàn)由輻射變化導(dǎo)致的成像差異問題，提出了基于Census特征的抗輻射變化立體匹配方法?？紤]到如果只在灰度圖像上對每個像素實施Census變換，那么同一個二進制字符串可以用來描述許多不同的像素。為了提高像素特征的表征能力和區(qū)分度，本文將原始圖像的水平梯度圖像和垂直梯度圖像作為其額外的通道，分別在灰度圖像和兩個梯度圖像上對每個像素實施Census變換，然后將生成的三個二進制字符串拼接起來，進而為每個像素構(gòu)建出一個輕量級的二值特征向量。相應(yīng)地，通過計算對應(yīng)像素特征向量的漢明距離來度量其相似度或匹配代價。為了提升視差圖的信噪比，應(yīng)對物體邊界區(qū)域的視差膨脹效應(yīng)，提出了一種利用融合自適應(yīng)支持權(quán)重對代價體進行濾波的策略，其對應(yīng)的融