計算機視覺20 第十章 立體視覺深度獲取

1、第十章第十章 基于立體視覺的深度估計基于立體視覺的深度估計立體視覺立體視覺 立體成象立體成象 n我們將場景中同一點在兩個不同圖像中的投我們將場景中同一點在兩個不同圖像中的投影點稱為共軛對影點稱為共軛對n其中的一個投影點是另一個投影點的對應(yīng)其中的一個投影點是另一個投影點的對應(yīng)(correspondence)(correspondence)n兩幅圖像重疊時的共軛對點的位置之差兩幅圖像重疊時的共軛對點的位置之差( (共軛共軛對點之間的距離對點之間的距離) )稱為視差稱為視差(disparity)(disparity)n通過兩個攝象機中心并且通過場景特征點的通過兩個攝象機中心并且通過場景特征點的平面稱

2、為外極平面稱為外極(epipolar)(epipolar)平面平面n外極平面與圖像平面的交線稱為外極線外極平面與圖像平面的交線稱為外極線 立體成象立體成象 立體成象立體成象 FxzxlFxzBxrrlxxBFz由相似三角形可得由相似三角形可得合并兩項，可得合并兩項，可得F F是焦距，是焦距，B B是基線距離是基線距離 立體成象立體成象 n因此，各種場景點的深度恢復(fù)可以通過計算視差來因此，各種場景點的深度恢復(fù)可以通過計算視差來實現(xiàn)實現(xiàn)n大角度立體方法大角度立體方法 提高場景點深度計算精度的有提高場景點深度計算精度的有效途徑效途徑 主要的問題有：主要的問題有： 隨著基線距離的增加，兩個攝象機的共同

3、的可視隨著基線距離的增加，兩個攝象機的共同的可視范圍減小范圍減小 場景點對應(yīng)的視差值增大，則搜索對應(yīng)點的范圍場景點對應(yīng)的視差值增大，則搜索對應(yīng)點的范圍增大，出現(xiàn)多義性的機會就增大增大，出現(xiàn)多義性的機會就增大 由透視投影引起的變形導(dǎo)致兩個攝象機獲取的兩由透視投影引起的變形導(dǎo)致兩個攝象機獲取的兩幅圖像中不完全相同，這就給確定共軛對帶來困幅圖像中不完全相同，這就給確定共軛對帶來困難難立體成像的一般情況立體成像的一般情況n在實際中，兩條外極線不一定完全在一條直在實際中，兩條外極線不一定完全在一條直線上，即垂直視差不為零線上，即垂直視差不為零n兩個攝像機的光軸不平行兩個攝像機的光軸不平行 立體圖像校正立

4、體圖像校正立體圖像對重新取樣，使外極線對應(yīng)于立體圖像對重新取樣，使外極線對應(yīng)于圖像陣列的行圖像陣列的行立體圖像校正立體圖像校正 將兩圖像投影到一個平面上就能得到理想的極線將兩圖像投影到一個平面上就能得到理想的極線幾何左幾何左( (右右) )攝象機中的每一個像素點分別對應(yīng)于攝象機中的每一個像素點分別對應(yīng)于左左( (右右) )攝象機坐標系統(tǒng)中的一條射線。攝象機坐標系統(tǒng)中的一條射線。 設(shè)設(shè)T Tl l和和T Tr r分別表示將左、右攝象機的射線變換到公分別表示將左、右攝象機的射線變換到公共平面坐標系的剛體變換，確定每個圖像的頂點在共平面坐標系的剛體變換，確定每個圖像的頂點在公共平面上的位置，創(chuàng)建新的

5、左、右圖像網(wǎng)格，將公共平面上的位置，創(chuàng)建新的左、右圖像網(wǎng)格，將每一個網(wǎng)格點變換回原來的圖像上使用雙變量線每一個網(wǎng)格點變換回原來的圖像上使用雙變量線性內(nèi)插方法內(nèi)插像素值可確定公共平面上新的左、性內(nèi)插方法內(nèi)插像素值可確定公共平面上新的左、右圖像中的像素點。右圖像中的像素點。平行光軸立體視覺系統(tǒng)平行光軸立體視覺系統(tǒng)Z Zw w=0 =0 左攝象機左攝象機左圖像左圖像: :參考參考右圖像右圖像: :目標目標右攝像機右攝像機高度高度 Z Zw w視差視差景深景深 Z Z基線基線視差公式視差公式P(X,Y,Z)P(X,Y,Z)p pl l(x(xl l,y,yl l) )光心光心 O Ol lf = f

6、= 焦距焦距像平面像平面左攝像機左攝像機B = B = 基線基線景深景深平行光軸立平行光軸立體視覺系統(tǒng)體視覺系統(tǒng)f = f = 焦距焦距光心光心 O Or rp pr r(x(xr r,y,yr r) )像平面像平面右攝像機右攝像機dxBfDZ視差視差: : dx = xdx = xr r - x - xl l 立體匹配立體匹配n求解對應(yīng)問題是立體成象系統(tǒng)的核心內(nèi)容求解對應(yīng)問題是立體成象系統(tǒng)的核心內(nèi)容n求解對應(yīng)問題極富有挑戰(zhàn)性，可以說是立體視求解對應(yīng)問題極富有挑戰(zhàn)性，可以說是立體視覺最困難的一步覺最困難的一步 n方法方法q基于特征（點、線）的匹配基于特征（點、線）的匹配( (稀疏匹配稀疏匹配)

7、 )q基于區(qū)域的匹配基于區(qū)域的匹配( (稠密匹配稠密匹配) )立體匹配的困難立體匹配的困難n場景投影到兩幅圖像中并不總是一致的場景投影到兩幅圖像中并不總是一致的q攝像機相關(guān)攝像機相關(guān)n圖像噪聲、不同增益、不同對比度等等圖像噪聲、不同增益、不同對比度等等.q視點相關(guān)視點相關(guān)n透視畸變透視畸變n遮擋遮擋n鏡面反射鏡面反射n復(fù)雜場景因素復(fù)雜場景因素n重復(fù)場景重復(fù)場景n無紋理區(qū)域無紋理區(qū)域引入約束，減少搜索范圍引入約束，減少搜索范圍外極線約束外極線約束 n一幅圖像上的特征一幅圖像上的特征點一定位于另一幅點一定位于另一幅圖像上對應(yīng)的外極圖像上對應(yīng)的外極線上線上 n將二維搜索轉(zhuǎn)會為將二維搜索轉(zhuǎn)會為一維搜索

8、問題一維搜索問題n在外極線的一個小在外極線的一個小鄰域內(nèi)進行搜索鄰域內(nèi)進行搜索 一致性約束一致性約束 n對圖像進行規(guī)范化處理對圖像進行規(guī)范化處理(Normalization) (Normalization) 設(shè)參考攝象機和其它攝象機的圖像函數(shù)分別為設(shè)參考攝象機和其它攝象機的圖像函數(shù)分別為jif,0jifk,和，則圖像窗內(nèi)規(guī)范化圖像函數(shù)為：，則圖像窗內(nèi)規(guī)范化圖像函數(shù)為： njmijifmn1122),(1是圖像窗內(nèi)光強的平均值是圖像窗內(nèi)光強的平均值, , 是光強分布參數(shù)是光強分布參數(shù): : nimjkkjifjif110),(),(相似估價函數(shù)為差值絕對值之和相似估價函數(shù)為差值絕對值之和 順序約

9、束順序約束n如果在參考圖像中點如果在參考圖像中點A A在在點點B B的左邊的左邊= = 在目標圖在目標圖像中點像中點A A的匹配點也在點的匹配點也在點B B的匹配點的左邊的匹配點的左邊n對細小物體不成立對細小物體不成立Image from Sun et al. CVPR05Image from Sun et al. CVPR05其它約束其它約束n唯一性約束唯一性約束 一幅圖像一幅圖像( (左或右左或右) )上的每一個特征點只能上的每一個特征點只能與另一幅圖像上的唯一一個特征對應(yīng)與另一幅圖像上的唯一一個特征對應(yīng) n連續(xù)性約束連續(xù)性約束 物體表面一般都是光滑的，因此物體表面物體表面一般都是光滑的，

10、因此物體表面上各點在圖像上的投影也是連續(xù)的，它們的上各點在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的視差也是連續(xù)的 在物體邊界處，連續(xù)性約束不能成立在物體邊界處，連續(xù)性約束不能成立特征匹配特征匹配稀疏稀疏n在立體圖像對中識別興趣點在立體圖像對中識別興趣點(interesting point)(interesting point)，而后在兩幅圖像中匹配相對應(yīng)的點而后在兩幅圖像中匹配相對應(yīng)的點n識別興趣點識別興趣點(interesting point)(interesting point) 在圖像中具有很大變化的區(qū)域內(nèi)尋找興趣點在圖像中具有很大變化的區(qū)域內(nèi)尋找興趣點 在以某一點為中心的窗函數(shù)中，

11、計算其在不同方向在以某一點為中心的窗函數(shù)中，計算其在不同方向上的變化量上的變化量 為避免將多個相鄰點選為同一個特征對應(yīng)的興趣點，為避免將多個相鄰點選為同一個特征對應(yīng)的興趣點，將特征點選在興趣測度函數(shù)具有局部最大值的地方將特征點選在興趣測度函數(shù)具有局部最大值的地方 特征匹配特征匹配n對于左圖像中的每一個特征對于左圖像中的每一個特征左圖像左圖像角點角點線線結(jié)構(gòu)結(jié)構(gòu)特征匹配特征匹配n在右圖像中尋找在右圖像中尋找 當相似度達到最大時的偏移量就是當相似度達到最大時的偏移量就是視差視差右圖像右圖像角點角點線線結(jié)構(gòu)結(jié)構(gòu)特征匹配特征匹配稀疏稀疏n基于特征的立體匹配算法產(chǎn)生對應(yīng)于圖像特征基于特征的立體匹配算法產(chǎn)

12、生對應(yīng)于圖像特征點的場景稀疏深度圖點的場景稀疏深度圖 n僅僅能恢復(fù)用于求解共軛對的像素子集對應(yīng)的僅僅能恢復(fù)用于求解共軛對的像素子集對應(yīng)的特征點深度特征點深度 n要想得到其它點的深度值，必須通過使用有關(guān)要想得到其它點的深度值，必須通過使用有關(guān)計算方法來估算，如內(nèi)插值技術(shù)計算方法來估算，如內(nèi)插值技術(shù)基于區(qū)域相關(guān)性的立體匹配基于區(qū)域相關(guān)性的立體匹配( (稠密稠密) )n計算一幅圖像的一個小窗函數(shù)內(nèi)的像素與另一幅計算一幅圖像的一個小窗函數(shù)內(nèi)的像素與另一幅圖像中具有同樣的潛在對應(yīng)特征的小窗函數(shù)的像圖像中具有同樣的潛在對應(yīng)特征的小窗函數(shù)的像素之間的相關(guān)值具有最大相關(guān)值的小窗區(qū)域就素之間的相關(guān)值具有最大相關(guān)

13、值的小窗區(qū)域就是對應(yīng)區(qū)域是對應(yīng)區(qū)域n只有滿足外極線約束的區(qū)域才能是匹配區(qū)域考只有滿足外極線約束的區(qū)域才能是匹配區(qū)域考慮到垂直視差的存在，應(yīng)將外極線鄰近的像素點慮到垂直視差的存在，應(yīng)將外極線鄰近的像素點也包括在潛在的匹配特征集中也包括在潛在的匹配特征集中立體匹配評價函數(shù)立體匹配評價函數(shù)立體匹配評價函數(shù)立體匹配評價函數(shù)稠密匹配稠密匹配n對參考圖像中每一點找到對應(yīng)于場景中同一對參考圖像中每一點找到對應(yīng)于場景中同一點的匹配像素，得到稠密的視差圖點的匹配像素，得到稠密的視差圖算法評估算法評估n以真實視差場為參照，對計算得到的視差場進以真實視差場為參照，對計算得到的視差場進行評估，統(tǒng)計視差場的準確度，以此

14、反映匹配行評估，統(tǒng)計視差場的準確度，以此反映匹配方法的性能方法的性能 n/stereo稠密匹配的研究現(xiàn)狀稠密匹配的研究現(xiàn)狀 n生長法生長法 n松弛法松弛法n相關(guān)窗法相關(guān)窗法n動態(tài)規(guī)劃法動態(tài)規(guī)劃法 n馬爾科夫隨機場馬爾科夫隨機場 n基于分割區(qū)域的算法基于分割區(qū)域的算法 生長法生長法n算法思想起源于人工智能中的算法思想起源于人工智能中的“最小化承諾原最小化承諾原則則”，即不可靠的決策應(yīng)該直到獲得足夠信息，即不可靠的決策應(yīng)該直到獲得足夠信息后才做出最終決定后才做出最終決定 q種子點生長種子點生長 q種子區(qū)域生長種子區(qū)域生長 n優(yōu)點優(yōu)點q快速快速q

15、不需要完整的三維代價矩陣不需要完整的三維代價矩陣n缺點缺點q不能修正錯誤種子不能修正錯誤種子q對遮擋區(qū)域和無紋理區(qū)域效果不理想對遮擋區(qū)域和無紋理區(qū)域效果不理想生長法生長法經(jīng)典相關(guān)窗法經(jīng)典相關(guān)窗法n對參考圖像中每個點對參考圖像中每個點 (x (xl l, y, yl l) )定義以它為中心的窗口定義以它為中心的窗口(x(xl l, , y yl l) )左圖像左圖像n在目標圖像中一定范圍搜索匹配點在目標圖像中一定范圍搜索匹配點(x(xl l, , y yl l) )右圖像右圖像經(jīng)典相關(guān)窗法經(jīng)典相關(guān)窗法n視差就是當相關(guān)值達到最大時的偏移量視差就是當相關(guān)值達到最大時的偏移量(x(xl l, , y

16、yl l) )dxdx(x(xr r, , y yr r) )右圖像右圖像經(jīng)典相關(guān)窗法經(jīng)典相關(guān)窗法n優(yōu)點優(yōu)點q容易實現(xiàn)容易實現(xiàn)q速度快速度快n缺點缺點q紋理稠密圖像效果較好紋理稠密圖像效果較好q匹配窗口內(nèi)的視差可能差別較大匹配窗口內(nèi)的視差可能差別較大q被遮擋區(qū)域不能正確估計視差被遮擋區(qū)域不能正確估計視差經(jīng)典相關(guān)窗法經(jīng)典相關(guān)窗法經(jīng)典相關(guān)窗法結(jié)果經(jīng)典相關(guān)窗法結(jié)果 自適應(yīng)支持權(quán)值法自適應(yīng)支持權(quán)值法n格式塔心理學(xué)格式塔心理學(xué)q相似性準則相似性準則q接近性準則接近性準則n根據(jù)相似性和接近性設(shè)計鄰近像素對匹配根據(jù)相似性和接近性設(shè)計鄰近像素對匹配窗中心像素的權(quán)值窗中心像素的權(quán)值Yoon CVPR05Yoon

17、 CVPR05n在CIE Lab顏色空間的相似性:n接近性:歐氏空間距離nWeights: n n 匹配代價累積公式 自適應(yīng)支持權(quán)值法自適應(yīng)支持權(quán)值法0,( , ) (,)( ,)( ,)( , ) (,)ppdppddddq Nq Ndddq Nq Nw p q w pqe q qE p pw p q w pq( , )exp( ()pqpqcpcgw p qk222()()()pqpqpqpqcLLaabb自適應(yīng)支持權(quán)值法結(jié)果自適應(yīng)支持權(quán)值法結(jié)果自適應(yīng)支持權(quán)值法結(jié)果自適應(yīng)支持權(quán)值法結(jié)果基于分割區(qū)域的自適應(yīng)窗口加權(quán)法基于分割區(qū)域的自適應(yīng)窗口加權(quán)法 n對參考圖像進行分割對參考圖像進行分割n對每

18、個分割區(qū)域記錄其在運行對每個分割區(qū)域記錄其在運行過程中的平均值過程中的平均值n求匹配窗中心像素的累積代價求匹配窗中心像素的累積代價 時，只需要看它屬于哪個區(qū)域，時，只需要看它屬于哪個區(qū)域，找到相應(yīng)區(qū)域的均值找到相應(yīng)區(qū)域的均值 n進行正常的均值移動運算以累進行正常的均值移動運算以累積窗口內(nèi)總的匹配代價積窗口內(nèi)總的匹配代價 sTrAsAsArA-自適應(yīng)窗口加權(quán)法結(jié)果自適應(yīng)窗口加權(quán)法結(jié)果 松弛法松弛法n利用簡單的匹配準則求得初始匹配利用簡單的匹配準則求得初始匹配n根據(jù)匹配特征間的約束根據(jù)匹配特征間的約束, ,利用迭代技術(shù)增強初始匹配利用迭代技術(shù)增強初始匹配結(jié)果結(jié)果, ,提高匹配的正確概率提高匹配的正

19、確概率, ,從而達到解決解的歧義性從而達到解決解的歧義性的目的的目的 n優(yōu)點優(yōu)點q效果相對較好效果相對較好n缺點缺點q計算代價大計算代價大q依賴于初始估計依賴于初始估計動態(tài)規(guī)劃動態(tài)規(guī)劃左圖像左圖像右圖像右圖像leftSrightSp pp+p+ d dp pleftSrightSp pq qt ts s動態(tài)規(guī)劃結(jié)果動態(tài)規(guī)劃結(jié)果無順序約束的動態(tài)規(guī)劃無順序約束的動態(tài)規(guī)劃nTwo-PassTwo-Pass動態(tài)規(guī)劃動態(tài)規(guī)劃Kim CVPR05Kim CVPR05q延掃描行正交方向（即列方向）作第二次動延掃描行正交方向（即列方向）作第二次動態(tài)規(guī)劃態(tài)規(guī)劃n“貼標簽貼標簽”，標簽就是視差，標簽就是視差n給特

20、定像素分配一個標簽有分配代價給特定像素分配一個標簽有分配代價n給臨近像素分配一對標簽有分離代價給臨近像素分配一對標簽有分離代價n找到總的分配代價和分離代價之和最小找到總的分配代價和分離代價之和最小q圖割算法圖割算法q置信傳播算法置信傳播算法馬爾科夫隨機場馬爾科夫隨機場圖割算法圖割算法n通過計算賦權(quán)圖的最小割集求能量最小化通過計算賦權(quán)圖的最小割集求能量最小化q以割代價為能量，求得的割集就是標簽以割代價為能量，求得的割集就是標簽, ,q通過最大流算法使能量迅速減少通過最大流算法使能量迅速減少n運行時間與像素數(shù)和標簽數(shù)成線性關(guān)系運行時間與像素數(shù)和標簽數(shù)成線性關(guān)系q近似地說近似地說, , 低維多項式低

21、維多項式stcutL(p)p“cut”xy標簽xy視差標簽圖割算法圖割算法圖割算法結(jié)果圖割算法結(jié)果n在能量中包括遮擋項在能量中包括遮擋項Kolmogorov ICCV01Kolmogorov ICCV01置信傳播算法置信傳播算法n在馬爾可夫網(wǎng)絡(luò)上傳播消息的迭在馬爾可夫網(wǎng)絡(luò)上傳播消息的迭代推導(dǎo)算法代推導(dǎo)算法q消息消息: :反映鄰近站點變量取值對該反映鄰近站點變量取值對該站點變量取值的影響站點變量取值的影響 n對樹結(jié)構(gòu)有精確解，對有環(huán)圖有對樹結(jié)構(gòu)有精確解，對有環(huán)圖有較好的近似解較好的近似解D DD DD DD DV VV VV VV VD D對稱置信傳播算法結(jié)果對稱置信傳播算法結(jié)果Middlebu

22、ryMiddlebury評估網(wǎng)站排名第一評估網(wǎng)站排名第一(June 2005)(June 2005)MiddleburyMiddlebury評估網(wǎng)站排名第三評估網(wǎng)站排名第三(June 2005)(June 2005)對稱置信傳播算法結(jié)果對稱置信傳播算法結(jié)果Middlebury評估網(wǎng)站排名第一(June 2005)Middlebury評估網(wǎng)站排名第一(June 2005)對稱置信傳播算法結(jié)果對稱置信傳播算法結(jié)果基于分割區(qū)域的算法基于分割區(qū)域的算法 n隱含假設(shè)隱含假設(shè)q顏色平滑的區(qū)域內(nèi)部視差能夠用平滑的視差模顏色平滑的區(qū)域內(nèi)部視差能夠用平滑的視差模型（常數(shù)、平面等等）代替型（常數(shù)、平面等等）代替

23、q視差不連續(xù)處與分割區(qū)域邊緣相一致視差不連續(xù)處與分割區(qū)域邊緣相一致n通常步驟通常步驟q圖像分割圖像分割q初始視差計算初始視差計算 q根據(jù)初始視差估計每個視差平面參數(shù)根據(jù)初始視差估計每個視差平面參數(shù)q根據(jù)定義能量以分割區(qū)域為整體采用合適算法根據(jù)定義能量以分割區(qū)域為整體采用合適算法優(yōu)化優(yōu)化基于分割區(qū)域的算法基于分割區(qū)域的算法 n優(yōu)點優(yōu)點q區(qū)域內(nèi)的平滑是被強制執(zhí)行的區(qū)域內(nèi)的平滑是被強制執(zhí)行的 q單眼線索所獲得的視差邊界在很多時候比單純單眼線索所獲得的視差邊界在很多時候比單純由視差估計的邊界更為準確由視差估計的邊界更為準確 q對遮擋區(qū)域匹配的魯棒性也得到改善對遮擋區(qū)域匹配的魯棒性也得到改善 q效率更高

24、效率更高 n缺點缺點q基于分割區(qū)域的方法的分割假設(shè)并不一定總是基于分割區(qū)域的方法的分割假設(shè)并不一定總是正確的正確的 q視差模型可能并不能表示區(qū)域真正的視差視差模型可能并不能表示區(qū)域真正的視差基于區(qū)域間協(xié)同優(yōu)化的立體匹配算法基于區(qū)域間協(xié)同優(yōu)化的立體匹配算法 均值偏移均值偏移(Mean Shift)(Mean Shift)圖像分割算法圖像分割算法 通過求通過求Mean ShiftMean Shift矢量的方向來得到梯度矢量的方向來得到梯度的方向的方向, ,進而通過對其跟蹤進而通過對其跟蹤, ,得到密度最大得到密度最大的點的點, ,即聚類算法中的所謂模式點即聚類算法中的所謂模式點 不同帶寬對立體匹配

25、的影響不同帶寬對立體匹配的影響不同帶寬對立體匹配的影響不同帶寬對立體匹配的影響魯棒的視差平面擬合算法魯棒的視差平面擬合算法nRANSACRANSACq隨機地從數(shù)據(jù)集隨機地從數(shù)據(jù)集S S中選擇中選擇s s個數(shù)據(jù)點組個數(shù)據(jù)點組成一個樣本作為模型的一個例示成一個樣本作為模型的一個例示 q確定在模型距離閾值確定在模型距離閾值t t內(nèi)的數(shù)據(jù)點集內(nèi)的數(shù)據(jù)點集為一致集為一致集q經(jīng)過經(jīng)過N N次試驗，選擇最大一致集，并次試驗，選擇最大一致集，并用的所有點重估模型用的所有點重估模型 經(jīng)過經(jīng)過RANSACRANSAC平面擬合后的視差圖平面擬合后的視差圖 基于投票的魯棒視差平面擬合算法基于投票的魯棒視差平面擬合算法

26、 n通過對同一行的一對點計算通過對同一行的一對點計算 ，可以得到平面參數(shù)，可以得到平面參數(shù)a a的一個的一個估計估計 n將所有同一行的估計值在一維的將所有同一行的估計值在一維的a a參數(shù)空間進行投票，并對投票參數(shù)空間進行投票，并對投票結(jié)果進行高斯平滑后從中選出得票最多的值作為參數(shù)結(jié)果進行高斯平滑后從中選出得票最多的值作為參數(shù)a a的最終估的最終估計計 n對同一列的點通過計算對同一列的點通過計算 ，可以得到參數(shù)，可以得到參數(shù)b b的估計的估計n由上式可算出由上式可算出c c，采用類似的投票方法可確定參數(shù)，采用類似的投票方法可確定參數(shù)c c cybxayxd),(xd/yd/RANSACRANSA

27、C方法和投票方法平面擬合結(jié)果的比較。其中，方法和投票方法平面擬合結(jié)果的比較。其中，紅色橫線表示投票方法的擬合錯誤率，藍色折線表示紅色橫線表示投票方法的擬合錯誤率，藍色折線表示RANSACRANSAC方法的擬合錯誤率方法的擬合錯誤率 經(jīng)過投票平面擬合后的視差圖經(jīng)過投票平面擬合后的視差圖 采用基于投票的平面擬合法得到的視差圖采用基于投票的平面擬合法得到的視差圖 協(xié)同優(yōu)化算法的基本原理協(xié)同優(yōu)化算法的基本原理 R1R2R3R4R5R6R8R7R9R10)()()()(2211mmxExExExE協(xié)同優(yōu)化算法的基本原理協(xié)同優(yōu)化算法的基本原理 i為了使各子目標函數(shù)之間的優(yōu)化結(jié)果能夠保為了使各子目標函數(shù)之間

28、的優(yōu)化結(jié)果能夠保持一致，協(xié)同優(yōu)化算法在優(yōu)化每一子目標函持一致，協(xié)同優(yōu)化算法在優(yōu)化每一子目標函數(shù)的時候，考慮與之相關(guān)聯(lián)的其它子目標函數(shù)的時候，考慮與之相關(guān)聯(lián)的其它子目標函數(shù)的優(yōu)化結(jié)果對其的影響。數(shù)的優(yōu)化結(jié)果對其的影響。)(min)()1 (xEwxEjijxijiiii其中，其中， 表示合作強度，而表示合作強度，而 則用則用于刻畫傳播的力度。于刻畫傳播的力度。ijw協(xié)同優(yōu)化算法的基本原理協(xié)同優(yōu)化算法的基本原理 ,)()()1 (min)()1()()1()()(xEwxExEkjijijkikikiki協(xié)同優(yōu)化算法的迭代方程協(xié)同優(yōu)化算法的迭代方程迭代過程不斷進行直至算法收斂或執(zhí)行完規(guī)定迭代過程不

29、斷進行直至算法收斂或執(zhí)行完規(guī)定的迭代次數(shù)。由于對每一個區(qū)域的優(yōu)化結(jié)果會的迭代次數(shù)。由于對每一個區(qū)域的優(yōu)化結(jié)果會在下一次迭代中向周邊傳播，經(jīng)過若干次迭代在下一次迭代中向周邊傳播，經(jīng)過若干次迭代后每一個優(yōu)化變量在相關(guān)子目標函數(shù)中的最終后每一個優(yōu)化變量在相關(guān)子目標函數(shù)中的最終取值將會取得一致。取值將會取得一致。 mi.2 , 1for 基于區(qū)域間協(xié)同優(yōu)化的立體匹配基于區(qū)域間協(xié)同優(yōu)化的立體匹配 n每個區(qū)域能量項定義每個區(qū)域能量項定義n其中，第其中，第1 1項是數(shù)據(jù)能量，第項是數(shù)據(jù)能量，第2 2項是遮擋能量，項是遮擋能量，而第而第3 3項是平滑能量。項是平滑能量。idataoccludesmoothEE

30、EE基于區(qū)域間協(xié)同優(yōu)化的立體匹配基于區(qū)域間協(xié)同優(yōu)化的立體匹配 lrand qmax( ( )( ) , ( )( ) , ( )( )datap VVEr pr qg pg qb pb q其中，其中，V Vl l和和V Vr r分別表示當前區(qū)域在左右圖像上分別表示當前區(qū)域在左右圖像上的可見像素集，的可見像素集，p p、q q為左右圖像上相匹配的兩為左右圖像上相匹配的兩個對應(yīng)像素，個對應(yīng)像素，r r、g g、b b表示相應(yīng)像素的表示相應(yīng)像素的RGBRGB值。值。 基于區(qū)域間協(xié)同優(yōu)化的立體匹配基于區(qū)域間協(xié)同優(yōu)化的立體匹配 cB ( )( )1 0 dispsmoothpd pd qE如果 其它這里，這里，BcBc表示參考圖像上當前區(qū)域的邊界點集，表示參考圖像上當前區(qū)域的邊界點集，N N表示和表示和BcBc近鄰的其它區(qū)域上的邊界點集，近鄰的其它區(qū)域上的邊界點集，BcBc中的中的p p 、N N中的中的q q為四連通意義上的兩個近鄰像為四連通意義上的兩個近