CHAPTER影像匹配

1、Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004第五章第五章 影像匹配基礎(chǔ)理論與算法影像匹配基礎(chǔ)理論與算法1S2S1X1Y1Z2X2Y2Z1a2aXBoOXO)Z,Y,X(A問題的提出：?jiǎn)栴}的提出：攝影測(cè)量中立體像對(duì)（雙像）的量測(cè)是提取攝影測(cè)量中立體像對(duì)（雙像）的量測(cè)是提取物體三維信息的基礎(chǔ)。在數(shù)字?jǐn)z影測(cè)量中是以影像匹配來物體三維信息的基礎(chǔ)。在數(shù)字?jǐn)z影測(cè)量中是以影像匹配來代替?zhèn)鹘y(tǒng)的人工觀測(cè)，來達(dá)到自動(dòng)確定同名像點(diǎn)的目的。代替?zhèn)?/p>

2、統(tǒng)的人工觀測(cè)，來達(dá)到自動(dòng)確定同名像點(diǎn)的目的。Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004攝影測(cè)量學(xué)中影像匹配的應(yīng)用場(chǎng)合和方法攝影測(cè)量學(xué)中影像匹配的應(yīng)用場(chǎng)合和方法:（1）相對(duì)定向（解析空中三角測(cè)量）階段：首先在影像中提取特征點(diǎn)，然后再匹配。（2）DEM提取階段：基于核線的約束匹配。利用影像匹配獲得的同名點(diǎn)進(jìn)行相對(duì)定向利用影像匹配獲得的同名點(diǎn)進(jìn)行相對(duì)定向Photogrammetry & Remote Sensing-S

3、urveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004利用影像匹配獲得的同名點(diǎn)進(jìn)行解析空三利用影像匹配獲得的同名點(diǎn)進(jìn)行解析空三以獲得各影像的外方位元素和加密點(diǎn)坐標(biāo)以獲得各影像的外方位元素和加密點(diǎn)坐標(biāo)利用影像匹配獲得的同名點(diǎn)進(jìn)行相對(duì)定向利用影像匹配獲得的同名點(diǎn)進(jìn)行相對(duì)定向Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004n 相關(guān)系數(shù)匹配的基本

4、原理相關(guān)系數(shù)匹配的基本原理n 核線幾何關(guān)系解析核線幾何關(guān)系解析n 最小二乘法影像匹配的原理最小二乘法影像匹配的原理 n 單點(diǎn)最小二乘法影像匹配單點(diǎn)最小二乘法影像匹配n 最小二乘法影像匹配精度最小二乘法影像匹配精度主要內(nèi)容：主要內(nèi)容： Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004 目標(biāo)區(qū)目標(biāo)區(qū)：二維相關(guān)時(shí)一般在左影像上先確定一個(gè)待定點(diǎn)，：二維相關(guān)時(shí)一般在左影像上先確定一個(gè)待定點(diǎn)，這個(gè)點(diǎn)稱為目標(biāo)點(diǎn)。以此待定點(diǎn)為中心選取這個(gè)點(diǎn)稱

5、為目標(biāo)點(diǎn)。以此待定點(diǎn)為中心選取 個(gè)像素的個(gè)像素的灰度陣列，作為目標(biāo)區(qū)域（或稱目標(biāo)窗口）。灰度陣列，作為目標(biāo)區(qū)域（或稱目標(biāo)窗口）。 搜索區(qū)搜索區(qū)：為了在右影像上搜索同名點(diǎn)，必須估計(jì)出該同名：為了在右影像上搜索同名點(diǎn)，必須估計(jì)出該同名點(diǎn)可能存在的范圍，為此，建立一個(gè)點(diǎn)可能存在的范圍，為此，建立一個(gè) 個(gè)個(gè) 像像素的灰度陣列作為搜索區(qū)。素的灰度陣列作為搜索區(qū)。 nm ),(nlmklk 1a2anm ),(nlmklk 目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)1、 影像相關(guān)（匹配）原理影像相關(guān)（匹配）原理Photogrammetry & Remote Sensing-Surveying & Mappi

6、ng EngineeringPhotogrammetry,2004Photogrammetry,2004目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004匹配測(cè)度（評(píng)

7、價(jià)兩塊影像的相似程度）匹配測(cè)度（評(píng)價(jià)兩塊影像的相似程度）（1）相關(guān)系數(shù)）相關(guān)系數(shù)（2）差平方和）差平方和min)(.)()(222221122 NNyxyxyxYXS wwmwwnmnwwmwwnmnwwmwwnmnmnWWWW2222112221)()()()(WWWW366538436目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)3664273361250083027328481100.920.560.38(450,450)(300,300)(340,260)(358,346)366538436目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)366427336125008302732848110444(450,450)(300,300

8、)(340,260)(358,346)Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004 目標(biāo)區(qū)域的確定（左影像中）目標(biāo)區(qū)域的確定（左影像中）要選擇一個(gè)特征點(diǎn)，如道路交叉口、房屋的拐角、地面要選擇一個(gè)特征點(diǎn)，如道路交叉口、房屋的拐角、地面上大型實(shí)體的某一個(gè)部位。上大型實(shí)體的某一個(gè)部位。目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)Photogrammetry & Remote Sensing-Surveying & Mapping E

9、ngineeringPhotogrammetry,2004Photogrammetry,2004ffHfBPHfBPxx/ 搜索區(qū)域（位置和大小）的確定搜索區(qū)域（位置和大?。┑拇_定Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004xyxy2465246524642464245001324500012464142246402624500012465015244908724490872465015245001324641422464

10、026同名點(diǎn)號(hào)同名點(diǎn)號(hào)x1y1x2y2左右視差左右視差(x1-x2)上下視差上下視差(y1-y2)2464026-2.477-71.002-92.907-69.07890.430-1.92424641429.39286.902-77.10388.20386.495-1.301245001320.77322.672-67.19324.19587.966-1.523xyxy245001324500012464142246402624500012465015244908724490872465015245001324641422464026同名點(diǎn)號(hào)同名點(diǎn)號(hào)x1y1x2y2左右視差左右視差(x1-x2

11、)上下視差上下視差(y1-y2)24640265314.0001973.0001004.4092062.3004309.591-89.30024641425875.0009493.0001752.2789553.1674122.722-60.16724500136418.7316434.5002226.1926505.1004192.539-70.600 xyxyff目標(biāo)區(qū)目標(biāo)區(qū)搜索區(qū)搜索區(qū)),(11yx),(11yx),(rryx),(rryx),(11yxyrxxryyPxx 11HfBPHfBPxx/ 要以要以 為中為中心進(jìn)行二維搜索心進(jìn)行二維搜索),(rryx366538436目標(biāo)區(qū)目

12、標(biāo)區(qū)搜索區(qū)搜索區(qū)366427336125008302732848110444(450,450)(300,300)(340,260)(358,346)245001324500012464142246402624500012465015244908724490872465015245001324641422464026同名點(diǎn)號(hào)同名點(diǎn)號(hào)x1y1x2y2左右視差左右視差(x1-x2)上下視差上下視差(y1-y2)24640265314.0001973.0001004.4092062.3004309.591-89.30024641425875.0009493.0001752.2789553.167412

13、2.722-60.16724500136418.7316434.5002226.1926505.1004192.539-70.600 xyxy三、三、 最小二乘影像匹配最小二乘影像匹配Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004Aa1a2S1S2問題的提出問題的提出：在前述的影：在前述的影像匹配方法中沒有考慮到像匹配方法中沒有考慮到影像灰度的系統(tǒng)變形情況，影像灰度的系統(tǒng)變形情況，LSM就是在影像匹配的數(shù)就是在影像匹配的數(shù)字

14、模型中引入系統(tǒng)變形參字模型中引入系統(tǒng)變形參數(shù)，按最小二乘原則解求數(shù)，按最小二乘原則解求變形參數(shù)。變形參數(shù)。充分利用了影充分利用了影像窗口內(nèi)的信息進(jìn)行平差像窗口內(nèi)的信息進(jìn)行平差計(jì)算，使影像匹配可以達(dá)計(jì)算，使影像匹配可以達(dá)到到1/10甚至甚至1/100像素的高像素的高精度。（也稱為高精度影精度。（也稱為高精度影像匹配或高精度影像相關(guān)）像匹配或高精度影像相關(guān)）Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004最小二乘影像匹配最小二乘影

15、像匹配n德國(guó)Ackermann教授提出了一種新的影像匹配方法最小二乘影像匹配（Least Squares Image Matching）n影像匹配可以達(dá)到1/10甚至1/100像素的高精度優(yōu)點(diǎn)如下優(yōu)點(diǎn)如下Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004n最小二乘影像匹配中可以非常靈活地引入各種已知參數(shù)和條件，從而可以進(jìn)行整體平差。 n同時(shí)解決“多點(diǎn)”影像匹配或“多片”影像匹配 n引入“粗差檢測(cè)”，從而大大地提高影像匹配的可靠性

16、 Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,20041、最小二乘影像匹配原理、最小二乘影像匹配原理 影像灰度的系統(tǒng)變形：影像灰度的系統(tǒng)變形：產(chǎn)生影像灰度分布之間的差異產(chǎn)生影像灰度分布之間的差異。（1）輻射畸變輻射畸變：大氣輻射的影響及影像數(shù)字：大氣輻射的影響及影像數(shù)字化誤差等?；`差等。（2）幾何畸變幾何畸變：影像的各種畸變及地形高差：影像的各種畸變及地形高差的影響等。的影響等。Photogrammetry & Remo

17、te Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,20

18、04Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004n“灰度差的平方和最小灰度差的平方和最小” minvv),(),(2211yxgnyxgnn僅僅認(rèn)為影像灰度只存在偶然誤差僅僅認(rèn)為影像灰度只存在偶然誤差 ),(),(21yxgyxgvmin)(.)()(222221122 NNyxyxyxYXS最小二乘影像匹配的數(shù)學(xué)模型最小二乘影像匹配的數(shù)學(xué)模型Photogrammetry & Remote Sensing-Surv

19、eying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004 按按 vvmin原則原則進(jìn)行影像匹配的進(jìn)行影像匹配的數(shù)字模型。若在此系統(tǒng)中引入系統(tǒng)數(shù)字模型。若在此系統(tǒng)中引入系統(tǒng)變形的參數(shù)變形的參數(shù)，按，按 vvmin的原則，的原則，解求變形參數(shù)，就構(gòu)成了最小二乘解求變形參數(shù)，就構(gòu)成了最小二乘影像匹配系統(tǒng)。影像匹配系統(tǒng)。靈活靈活, ,可靠和高精度可靠和高精度是優(yōu)點(diǎn)是優(yōu)點(diǎn), , 缺點(diǎn)缺點(diǎn)是是，如當(dāng)，如當(dāng)初始值不太準(zhǔn)時(shí)初始值不太準(zhǔn)時(shí)，系統(tǒng)的，系統(tǒng)的收斂性等問題有待解決。收斂性等問題有待解決。Photogrammetry &a

20、mp; Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004 影像灰度的系統(tǒng)變形：產(chǎn)生影像灰度分布之間的差異影像灰度的系統(tǒng)變形：產(chǎn)生影像灰度分布之間的差異。 輻射畸變輻射畸變： 幾何畸變幾何畸變： ybxbbyyaxaax21022102)y,x(ghh22210 Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,

21、2004; 1:.1;0;0;0; 1;0; 1;0:,:),(),(),(),(:.22228.12227.02226.22225.12224.02223221210210102817062514031201221021021011yyyxxxgybyygcgxbyygcgbyygcgyaxxgcgxaxxgcgaxxgcgccgbbbaaahhgdbcdbcdbcdacdacdacdhcdhcvyxnybxbbyaxaaghhyxnyxg 誤誤差差方方程程式式的的系系數(shù)數(shù)為為是是相相應(yīng)應(yīng)像像素素的的灰灰度度差差觀觀測(cè)測(cè)值值初初值值分分別別為為的的改改正正值值式式中中未未知知數(shù)數(shù)是是待待定定

22、參參數(shù)數(shù)為為線線性性化化后后得得誤誤差差方方程程式式幾幾何何畸畸變變的的影影響響可可得得同同時(shí)時(shí)考考慮慮到到輻輻射射畸畸變變和和 Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004gdbcdbcdbcdacdacdacdhcdhcv 2817062514031201gdbdbdbdadadadhdhCCCCCCCCCV 21021010989291282221181211.; 1876543221yyyxxxgycgxcgcgy

23、cgxcgcgccPhotogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,200400002046800201000246000040 x1y182111554789401970255403782x2y2yxyxxa1=80，ya1=2190；xa2=83，ya2=1020（單位：pixel）。; 1876543221yyyxxxgycgxcgcgycgxcgcgcc初次迭代初始值: h0=0,h1=1,a0=0,a1=1,a2=0，b0=0

24、,b1=0,b2=100002046800201000246000040 x1y18211155 4 7 894 0 1 970 2 5 5403782y2yxyxx28211155 4.02 6.57 8.1294 1.64 0.67 9.8470 2.03 4.81 5.56403782y2yxx200002046800201000246000040 x1y1yx第1次迭代結(jié)果: h0=0.6,h1=0.3,a0=0.4,a1=0.3,a2=0.1，b0=-0.2,b1=0.3,b2=0.28211155 4.02 6.57 8.1294 1.64 0.67 9.8470 2.03 4.8

25、1 5.56403782y2yxx200002046800201000246000040 x1y1yx最終迭代結(jié)果: h0=0.6,h1=0.3,a0=0.4,a1=0.3,a2=0.1，b0=-0.2,b1=0.3,b2=0.22222/yyixxiggyyggxxybxbbyyaxaax21022102xa1=80，ya1=2190；xa2=83，ya2=1020（單位：pixel）。Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry

26、,2004),(jif)1,( jif),(yxf), 1(jif )1, 1( jify x ) 1, 1(), 1()1 () 1,()1 (),()1)(1 (),(jifyxjifyxjifyxjifyxyxfPhotogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004h0=0.032,h1=1.08, a0=-0.21, a1=1.13, a2=-0.06，b0=-0.31, b1=-0.16, b2=0.94。=0.945Ph

27、otogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004最小二乘影像匹配的具體計(jì)算過程最小二乘影像匹配的具體計(jì)算過程n幾何變形改正。根據(jù)幾何變形改正參數(shù)a0, a1, a2,b0, b1, b2將左方影像窗口的影像坐標(biāo)變換至右方影像陣列：n重采樣。由于換算所得之坐標(biāo)x2，y2一般不可能是右方影像陣列中的整數(shù)行列號(hào)，因此重采樣是必須的。ybxbbyyaxaax21022102Photogrammetry & Remote Sensi

28、ng-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004n輻射畸變改正輻射畸變改正。利用由最小二乘影。利用由最小二乘影像匹配所求得輻射畸變改正參數(shù)像匹配所求得輻射畸變改正參數(shù)h0, h1；對(duì)上述重采樣的結(jié)果作輻射改正；對(duì)上述重采樣的結(jié)果作輻射改正n若若相關(guān)系數(shù)相關(guān)系數(shù)小于前一次迭代后所求小于前一次迭代后所求得的相關(guān)系數(shù)，則可認(rèn)為迭代結(jié)束得的相關(guān)系數(shù)，則可認(rèn)為迭代結(jié)束.也可以根據(jù)幾何變形參數(shù)是否小于某也可以根據(jù)幾何變形參數(shù)是否小于某個(gè)預(yù)定的閾值。個(gè)預(yù)定的閾值。 Photogrammetry &

29、 Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004n計(jì)算最佳匹配的點(diǎn)位計(jì)算最佳匹配的點(diǎn)位 .可用梯度的平方為權(quán)，可用梯度的平方為權(quán)，在左方影像窗口內(nèi)對(duì)坐標(biāo)作加權(quán)平均：在左方影像窗口內(nèi)對(duì)坐標(biāo)作加權(quán)平均：2222/yyixxiggyyggxxybxbbyyaxaax21022102匹配精度取決于影像灰度的梯度匹配精度取決于影像灰度的梯度 Photogrammetry & Remote Sensing-Surveying & Mapping EngineeringPhotogrammetry,2004Photogrammetry,2004為了進(jìn)一步提高其可靠性與精度，例如，附帶共線條件的最小二乘相關(guān)以及與VLL法結(jié)合的最小二乘影像匹配方法都得了廣泛的研究 Photogrammetry &