數(shù)字影像相關(guān)

數(shù)字影像相關(guān)第一頁，共四十八頁，編輯于2023年，星期三核點(diǎn)：基線延長(zhǎng)線與左、右像片的交點(diǎn)稱為核點(diǎn)。AS1S2l1a1a2l2§9-1核線影像一、基本概念核面：通過攝影基線與地面所作的平面稱為核面。核線：核面與像片面的交線稱為核線。第二頁，共四十八頁，編輯于2023年，星期三AS1S2l1a1a2l2§9-1核線影像沿核線方向，將航片的灰度重新排列，所形成的影像稱為核線影像。同名核線：同一核面與兩像片面的交線稱為同名核線。通過像主點(diǎn)的核面稱為主核面，通常左主核面與右主核面不重合。同名像點(diǎn)必然位于同名核線上。第三頁，共四十八頁，編輯于2023年，星期三§9-1核線影像二、同名核線的確定同名核線的確定歸結(jié)于取得同名核線上的像點(diǎn)坐標(biāo)，然后把左、右像片的同名核線上的諸點(diǎn)的灰度值按核線方向排列，形成核線影像。確定同名核線有兩種方法：（一）根據(jù)共面條件這種方法從核線定義出發(fā)，直接在傾斜像片上獲取同名核線。核線是一條直線。在左片上取一個(gè)像點(diǎn)a(xa，ya)，要確定過a的核線l，需再確定其上的另一點(diǎn)b。要確定右片上l的同名核線l′，需要確定l′上的兩個(gè)點(diǎn)a′、b′。這里a、a′或b、b′不要求是同名像點(diǎn)。第四頁，共四十八頁，編輯于2023年，星期三§9-1核線影像如右圖，在左片上選定一像點(diǎn)a，現(xiàn)要確定過a的核線l和右片上的同名核線l′。設(shè)b點(diǎn)為l上的任一點(diǎn)，由圖知，SS′

、Sa、Sb三線共面：若采用單獨(dú)像對(duì)基線系，有：第五頁，共四十八頁，編輯于2023年，星期三§9-1核線影像像空輔坐標(biāo)與像空間坐標(biāo)之間的轉(zhuǎn)換關(guān)系為：將共面條件式展開，有：而：第六頁，共四十八頁，編輯于2023年，星期三§9-1核線影像則有：當(dāng)給定xb，由上式就可求得yb。當(dāng)有了a、b兩點(diǎn)坐標(biāo)，就可得到過a點(diǎn)的左核線了。第七頁，共四十八頁，編輯于2023年，星期三§9-1核線影像同理，a和a′應(yīng)位于同一核面內(nèi)，則有：最后得到a′的直線方程為：這樣就可得到a′的坐標(biāo)，再可求得b′的坐標(biāo)。這樣l′也可得到。第八頁，共四十八頁，編輯于2023年，星期三§9-1核線影像（二）基于數(shù)字影像幾何糾正的核線關(guān)系傾斜航片上的核線相交于核點(diǎn)，當(dāng)航片對(duì)平行于基線的平面投影時(shí)，水平像片上的核線相互平行，且平行于x軸。第九頁，共四十八頁，編輯于2023年，星期三§9-1核線影像則傾斜像片上像點(diǎn)(x,y)與水平像片上像點(diǎn)(xt,yt)的關(guān)系為：式中ai、bi、ci為傾斜像片P相對(duì)于攝影基線的方位元素的函數(shù)。在水平像片上同名核線上的點(diǎn)的yt坐標(biāo)為常數(shù)，將yt=c帶入上式，有：第十頁，共四十八頁，編輯于2023年，星期三§9-1核線影像在水平像片上取一些等間隔點(diǎn)，帶入x、y的公式中，就可得到一些列的像點(diǎn)坐標(biāo)(x,y)，這些點(diǎn)就位于傾斜影像的核線上，將這些點(diǎn)的灰度直接賦給水平影像上的相應(yīng)像點(diǎn)，就可獲得水平影像上的核線。由于水平影像對(duì)上，同名核線的v坐標(biāo)相等，因此將v′=c帶入右影像共線方程中，就可獲得右影像上的同名核線。此方法的實(shí)質(zhì)就是數(shù)字糾正，將傾斜影像上的核線投影到水平像片上，求得水平影像上的同名核線。第十一頁，共四十八頁，編輯于2023年，星期三§9-1核線影像三、生成核線影像1、直接在傾斜影像上獲取核線影像在求出了核線后，就可得到核線的斜率K，在核線上根據(jù)一個(gè)起點(diǎn)即K，就能確定核線在傾斜影像上的位置，這樣就能獲得沿核線方向排列的影像。第十二頁，共四十八頁，編輯于2023年，星期三§9-1核線影像2、在“水平”影像上獲取核線影像從水平核線影像上，根據(jù)公式獲取傾斜影像上對(duì)應(yīng)核線上的點(diǎn)的坐標(biāo)，由于所求得的像點(diǎn)不一定恰好位于原始采樣像元中心，如圖，這時(shí)可通過重采樣來獲取灰度值，再把像元的灰度值填回“水平”影像。第十三頁，共四十八頁，編輯于2023年，星期三攝影測(cè)量中立體像對(duì)的量測(cè)是提取地物三維信息的基礎(chǔ)。在數(shù)字?jǐn)z影測(cè)量中，是以影像匹配代替?zhèn)鹘y(tǒng)的人工觀測(cè)，來達(dá)到自動(dòng)確定同名像點(diǎn)的目的的。最初的影像匹配采用了相關(guān)技術(shù)，因而也稱影像匹配為影像相關(guān)，實(shí)際上影像相關(guān)只是影像匹配方法的一種。影像相關(guān)是利用相關(guān)函數(shù)，評(píng)價(jià)兩塊影像的相似性以確定同名點(diǎn)。即先取出以待定點(diǎn)為中心的小區(qū)域中的影像信號(hào)，然后取出另一影像中相應(yīng)區(qū)域的影像信號(hào)，計(jì)算兩者的相關(guān)函數(shù)，以相關(guān)函數(shù)最大值的相應(yīng)區(qū)域的中心點(diǎn)作為同名像點(diǎn)?！?-2影像相關(guān)原理第十四頁，共四十八頁，編輯于2023年，星期三一、二維影像相關(guān)二維相關(guān)時(shí)，一般在左影像上先確定一個(gè)待定點(diǎn)，作為目標(biāo)點(diǎn)，以待定點(diǎn)為中心，選取m×n個(gè)像素的灰度矩陣作為目標(biāo)區(qū)域。為了在右影像上搜索同名點(diǎn)，必須估計(jì)出該同名點(diǎn)可能存在的范圍，建立一個(gè)k×l（k>m,l>n）個(gè)像素的灰度矩陣作為搜索區(qū)，相關(guān)的過程就是依次在搜索區(qū)中取出m×n個(gè)像素灰度矩陣，計(jì)算其與目標(biāo)區(qū)的相似性測(cè)度，當(dāng)相似性測(cè)度取得最大值時(shí)，該搜索窗口的中心像素被認(rèn)為是同名點(diǎn)?！?-2影像相關(guān)原理第十五頁，共四十八頁，編輯于2023年，星期三二、一維相關(guān)一維相關(guān)是在核線影像山進(jìn)行的。由于同名像點(diǎn)必然位于同名核線上，那么就可以沿著同名核線搜索同名像點(diǎn)。這樣就將二維相關(guān)變成一維相關(guān)，大量節(jié)省搜索時(shí)間。理論上目標(biāo)區(qū)域和搜索區(qū)域均可以是一維窗口，但是為了保證相關(guān)結(jié)果的可靠性，應(yīng)有較多的樣本進(jìn)行估計(jì)，因而目標(biāo)窗口中的像素不應(yīng)太少。因此一維相關(guān)目標(biāo)區(qū)選以待定點(diǎn)為中心的m×n個(gè)像素的窗口，此時(shí)搜索區(qū)為m×l（l>n）個(gè)像素的灰度陣列，搜索工作只在一個(gè)方向上進(jìn)行?！?-2影像相關(guān)原理第十六頁，共四十八頁，編輯于2023年，星期三同名點(diǎn)的確定是以匹配測(cè)度為基礎(chǔ)的，因而如何定義匹配測(cè)度，則是影像匹配最首要的任務(wù)。在各種實(shí)現(xiàn)算法中，基于統(tǒng)計(jì)理論的一些基本方法得到了較廣泛的應(yīng)用?！?-3數(shù)字影像匹配的基本算法若影像匹配的目標(biāo)窗口灰度矩陣為G(gi,j)(i=1,2,…,m,j=1,2,…,n)，m和n是G的行列數(shù)。與G相應(yīng)的灰度函數(shù)為g(x,y)，(x,y)∈D，將G中元素排成一行，構(gòu)成一個(gè)N=m·n的目標(biāo)向量X=(x1,x2,…,xN)。搜索區(qū)灰度矩陣為G'(g'i,j)(i=1,2,…,k,j=1,2,…,l)，與G'相對(duì)應(yīng)的灰度函數(shù)為g'(x',y')，G'中任意一個(gè)N=m·n的子塊構(gòu)成搜索向量，記為Y=(x1,x2,…,xN)。第十七頁，共四十八頁，編輯于2023年，星期三1、相關(guān)函數(shù)（矢量數(shù)積）對(duì)于離散灰度數(shù)據(jù)來說，g(x,y)與g'(x',y')的相關(guān)函數(shù)定義為：§9-3數(shù)字影像匹配的基本算法式中，r、c為目標(biāo)區(qū)中心像素的行列號(hào)。若R(c0,r0)>R(c,r)，則c0,r0為搜索區(qū)影像相對(duì)于目標(biāo)區(qū)影像的位移行、列參數(shù)。第十八頁，共四十八頁，編輯于2023年，星期三相關(guān)函數(shù)的估計(jì)值就是矢量X與Y的數(shù)積：§9-3數(shù)字影像匹配的基本算法在N維空間{y1,y2,…,yN}中，R=(x·Y)是y1,y2,…,yN的線性函數(shù)，第十九頁，共四十八頁，編輯于2023年，星期三當(dāng)N=2時(shí)，R=x1y1+x2y2是二維平面上垂直于X的一條直線。設(shè)X、Y的模為|X|、|Y|，夾角為θ，則§9-3數(shù)字影像匹配的基本算法因目標(biāo)向量X為已知常數(shù)，故相關(guān)函數(shù)最大等價(jià)于Y在X上的投影最大。第二十頁，共四十八頁，編輯于2023年，星期三2、協(xié)方差函數(shù)（矢量投影）協(xié)方差函數(shù)是中性化的相關(guān)函數(shù)，g(x,y)與g‘(x’,y‘)的協(xié)方差函數(shù)定義為：§9-3數(shù)字影像匹配的基本算法若C(c0,r0)>C(c,r)，則c0,r0為搜索區(qū)影像相對(duì)于目標(biāo)區(qū)影像的位移行、列參數(shù)。第二十一頁，共四十八頁，編輯于2023年，星期三設(shè)，，令§9-3數(shù)字影像匹配的基本算法,矢量是X在矢量E上的投影，X，與X’構(gòu)成直角三角形，X是斜邊。同理，Y，與Y’也具有相同的關(guān)系。第二十二頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法協(xié)方差函數(shù)的估計(jì)值即X’與Y’的數(shù)積：由于C是Y’在X’的投影與X’的長(zhǎng)之積，因而協(xié)方差測(cè)度等價(jià)于Y’在X’的投影最大，而在二維空間中是平行于或E的一條直線。第二十三頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法3、相關(guān)系數(shù)（矢量夾角）相關(guān)系數(shù)是標(biāo)準(zhǔn)化的協(xié)方差函數(shù)，協(xié)方差函數(shù)除以兩信號(hào)的方差，既得相關(guān)系數(shù)：第二十四頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法相關(guān)系數(shù)的估值最大，等價(jià)于矢量X’與Y’的夾角最小。第二十五頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法4、差平方和（差矢量模）差平方和的計(jì)算公式為：若S2(c0,r0)>S2(c,r)，則c0，r0為搜索區(qū)影像相對(duì)于目標(biāo)區(qū)影像的位移行、列參數(shù)。第二十六頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法兩影像窗口灰度差平方和即灰度向量X與Y的差矢量X-Y的模的平方和。它是N維空間點(diǎn)Y與點(diǎn)X之間距離的平方。故差平方和最小等于N維空間點(diǎn)Y與點(diǎn)X的距離最小。當(dāng)N=2時(shí)，S2=(x1-x2)2+(y1-y2)2=min是二維平面上的一個(gè)圓。第二十七頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法5、差絕對(duì)值和（差矢量分量絕對(duì)值和）g(x,y)與g’(x’,y’)的差絕對(duì)值和為：兩影像窗口灰度差絕對(duì)值和即矢量X與Y之差矢量X-Y之分量的絕對(duì)值之和。第二十八頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法當(dāng)N=2時(shí)，S=|x1-y1|+|x2-y2|=min是二維平面上以(x1,y1)為中心，邊長(zhǎng)為21/2S、對(duì)角線與坐標(biāo)軸平行的一個(gè)正方形。第二十九頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配最小二乘影像匹配(LSM)由德國(guó)Ackermann教授提出的。該方法充分利用了影像窗口內(nèi)的信息進(jìn)行平差計(jì)算，使影像匹配可以達(dá)到1/10甚至1/100像素的高精度，即影像精度可達(dá)子像素等級(jí)。LSM可以非常靈活領(lǐng)入各種已知參數(shù)和條件，從而可以進(jìn)行整體平差。它不僅可以解決“單點(diǎn)”的影像匹配問題，以求其“視差”；也可以直接解求其空間坐標(biāo)；而且可以同時(shí)解求待定點(diǎn)的坐標(biāo)與影像的外方位元素；還可以同時(shí)解決“多點(diǎn)”影像匹配或“多片”影像匹配。另外，在LSM系統(tǒng)中可以很方便地引入“粗差檢測(cè)”，從而大大提高影像匹配的可靠性。第三十頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配一、最小二乘影像匹配原理上節(jié)我們學(xué)過的判斷相似性測(cè)度中，差平方和最小。將灰度差記為v，則上述判斷為：這種思想與最小二乘法的原則是一致的，但它僅僅認(rèn)為影像灰度只存在偶然誤差（隨即噪聲），沒有考慮影像灰度中存在著系統(tǒng)誤差。即：第三十一頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配這就是一般的按照差平方和最小原則進(jìn)行影像匹配的數(shù)學(xué)模型，若在此系統(tǒng)中引入系統(tǒng)變形的參數(shù)，就構(gòu)成了最小二乘影像匹配系統(tǒng)。影像灰度的系統(tǒng)變形可分為輻射畸變和幾何畸變。產(chǎn)生輻射變形的原因有照明及被攝物體輻射面的方向、大氣與攝影機(jī)物鏡所產(chǎn)生的衰減、攝影處理?xiàng)l件的差異以及影像數(shù)字化過程中所產(chǎn)生的誤差。產(chǎn)生幾何變形的原因主要有攝影機(jī)方位不同所產(chǎn)生的影像的透視畸變、影像的各種畸變以及由于地形坡度所產(chǎn)生的影像畸變。在近似豎直攝影下，地形高差是幾何畸變的主要因素，因此，陡峭的山區(qū)的影像匹配要比平坦地區(qū)影像匹配困難。第三十二頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配1、僅考慮輻射的線性畸變的最小二乘匹配（相關(guān)系數(shù)法）假定灰度分布g2相對(duì)于另一灰度分布g1存在著線性畸變，則它們之間的表達(dá)式為：其中，h0，h1為畸變參數(shù)，ni為隨即噪聲，按上式可列出最小二乘匹配的數(shù)學(xué)模型為：第三十三頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配上式在的條件下可得法方程式為：解法方程可得：第三十四頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配假定對(duì)g1，g2作過中心化處理，即：則：則在消除了兩個(gè)灰度分布系統(tǒng)的輻射畸變后，其殘余灰度差平方和為：第三十五頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配因?yàn)橄嚓P(guān)系數(shù)的平方為：則有：其中是噪聲的功率，是信號(hào)的功率，則信噪比為：由此可知，以相關(guān)系數(shù)最大作為影像匹配搜索同名點(diǎn)的準(zhǔn)則，其實(shí)質(zhì)是搜索信噪比為最大的灰度序列。第三十六頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配2、僅考慮影像相對(duì)位移餓一維最小二乘匹配上面的方法僅僅考慮輻射畸變，而影像匹配的主要目的是確定影像的相對(duì)位移，尋找同名點(diǎn)。因此在最小二乘影像匹配中，可引入幾何變形參數(shù)，直接解算影像位移。假設(shè)兩個(gè)一維灰度函數(shù)g1(x)，g2(x)，除隨即噪聲n1和n2外，g2還相對(duì)于g1存在零次幾何變形，兩者的關(guān)系為：將Δx作為未知數(shù)，對(duì)上式列誤差方程式為：第三十七頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配對(duì)于離散的數(shù)字影像而言，灰度函數(shù)的導(dǎo)數(shù)可表示為：按最小二乘原理，解得影像的相對(duì)位移為：此方法中，在取得初匹配結(jié)果后，解算Δx，加到初始值上，反復(fù)迭代。第三十八頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配二、單點(diǎn)最小二乘影像匹配兩個(gè)二維影像之間的幾何變形不僅存在著相對(duì)移位，還存在著圖形變形。在立體像對(duì)中，左影像上為矩形的影像窗口，在右影像上可能是個(gè)任意四邊形。因此只有充分考慮影像的幾何變形，才能獲得最佳的影像匹配。由于影像匹配窗口的尺寸很小，一般只考慮一次畸變：第三十九頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配若同時(shí)考慮到右影像相對(duì)于左影像的線性灰度畸變，則有：將上式線性化，得到最小二乘影像匹配的誤差方程式為：第四十頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配觀測(cè)值Δg是相應(yīng)像素的灰度值，誤差方程式的系數(shù)為：上式中，dh0,dh1,…,db2等8個(gè)是待定參數(shù)的改正數(shù)，是未知數(shù)，它們的初值分別為：第四十一頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配按上式逐個(gè)像元建立誤差方程式，矩陣表示為：V=CX-L，未知數(shù)為：將上式線性化，得到最小二乘影像匹配的誤差方程式為：由誤差方程式可建立法方程：第四十二頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配最小二乘影像匹配的迭代過程為：1、幾何變形改正。根據(jù)幾何變形改正參數(shù)ai、bi的初始值，將左影像窗口的影像坐標(biāo)變換