計(jì)算機(jī)視覺126基于特征的圖像對(duì)準(zhǔn)

1、第六章第六章 基于特征的圖像對(duì)準(zhǔn)基于特征的圖像對(duì)準(zhǔn)主要內(nèi)容主要內(nèi)容 圖像對(duì)準(zhǔn)圖像對(duì)準(zhǔn)(image alignment) 位姿估計(jì)位姿估計(jì)-增強(qiáng)現(xiàn)實(shí)（增強(qiáng)現(xiàn)實(shí)（augmented reality） 攝像機(jī)標(biāo)定（攝像機(jī)標(biāo)定（camera calibration）2021-10-31cv:calibration2圖像對(duì)準(zhǔn)-image alignmenta look into the pasthttp:/ look into the past leningrad during the blockadehttp:/komen- streetside imageshttp:/ panorama stitc

2、hing目標(biāo)識(shí)別目標(biāo)識(shí)別圖像拼接的困難小區(qū)域重疊小區(qū)域重疊遮擋遮擋,混亂混亂亮度變化亮度變化圖像對(duì)準(zhǔn) 兩大類方法: 直接對(duì)準(zhǔn)(基于像素) 以大多數(shù)像素匹配為準(zhǔn)則對(duì)準(zhǔn) 基于特征的對(duì)準(zhǔn) 以提取的特征匹配為準(zhǔn)則對(duì)準(zhǔn) 可以通過基于像素的方法進(jìn)行驗(yàn)證基于擬合的對(duì)準(zhǔn) 之前章節(jié)之前章節(jié): 在單幅圖像內(nèi)對(duì)提取的特征在單幅圖像內(nèi)對(duì)提取的特征(點(diǎn)、點(diǎn)、邊緣段等邊緣段等)進(jìn)行擬合，得到輪廓模型進(jìn)行擬合，得到輪廓模型iimx),(residualfind model m that minimizesmxi基于擬合的對(duì)準(zhǔn) 之前章節(jié)之前章節(jié): 在單幅圖像內(nèi)對(duì)提取的特征在單幅圖像內(nèi)對(duì)提取的特征(點(diǎn)、點(diǎn)、邊緣段等邊緣段等)進(jìn)

3、行擬合，得到輪廓模型進(jìn)行擬合，得到輪廓模型iimx),(residualfind model m that minimizesmxi對(duì)準(zhǔn)對(duì)準(zhǔn): 對(duì)于兩幅圖像特征對(duì)間的變換關(guān)系進(jìn)對(duì)于兩幅圖像特征對(duì)間的變換關(guān)系進(jìn)行數(shù)據(jù)擬合行數(shù)據(jù)擬合iiixxt),(residualfind transformation t that minimizestxixi2d 轉(zhuǎn)換模型 similarity(translation, scale, rotation) affine projective(homography)從仿射變換開始從仿射變換開始 簡(jiǎn)單的數(shù)據(jù)擬合程序簡(jiǎn)單的數(shù)據(jù)擬合程序(線性最小二乘法線性最小二乘法)

4、對(duì)于近似平面表面的物體和近似正交的相對(duì)于近似平面表面的物體和近似正交的相機(jī)可以近似看作是視點(diǎn)變化機(jī)可以近似看作是視點(diǎn)變化 可以作為更復(fù)雜模型的初始擬合結(jié)果可以作為更復(fù)雜模型的初始擬合結(jié)果擬合仿射變換 假如已知對(duì)應(yīng)關(guān)系，怎樣得到轉(zhuǎn)換模型？假如已知對(duì)應(yīng)關(guān)系，怎樣得到轉(zhuǎn)換模型？),(iiyx),(iiyx214321ttyxmmmmyxiiiiiiiiiiyxttmmmmyxyx21432110000100 6個(gè)未知數(shù)的線性方程組個(gè)未知數(shù)的線性方程組 每一對(duì)匹配的特征點(diǎn)能夠建立兩個(gè)獨(dú)立每一對(duì)匹配的特征點(diǎn)能夠建立兩個(gè)獨(dú)立的線性方程的線性方程:這樣就至少需要三對(duì)匹配的這樣就至少需要三對(duì)匹配的特征點(diǎn)解出全

5、部參數(shù)特征點(diǎn)解出全部參數(shù)iiiiiiyxttmmmmyxyx21432110000100擬合仿射變換基于特征的圖像對(duì)準(zhǔn)的過程 提取特征基于特征的圖像對(duì)準(zhǔn)的過程 提取特征 特征匹配基于特征的圖像對(duì)準(zhǔn)的過程 提取特征 特征匹配 迭代: 選擇三個(gè)特征點(diǎn)對(duì)，得到初始變換t基于特征的圖像對(duì)準(zhǔn)的過程 提取特征 特征匹配 迭代: 選擇三個(gè)特征點(diǎn)對(duì)，得到初始變換t 利用其它特征點(diǎn)對(duì)，驗(yàn)證變換t基于特征的圖像對(duì)準(zhǔn)的過程 提取特征 特征匹配 迭代: 選擇三個(gè)特征點(diǎn)對(duì)，得到初始變換t 利用其它特征點(diǎn)對(duì)，驗(yàn)證變換t基于特征的圖像對(duì)準(zhǔn)的過程建立特征點(diǎn)對(duì)建立特征點(diǎn)對(duì)? 對(duì)比興趣點(diǎn)鄰域范圍的圖像塊的特征描述子( )( )=

6、?featuredescriptorfeaturedescriptor?建立特征點(diǎn)對(duì)建立特征點(diǎn)對(duì)特征描述子 假設(shè)每個(gè)圖像塊已經(jīng)被歸一化，怎樣描述各個(gè)圖像塊的相似性? 特征描述需要具有對(duì)光照變化，噪聲，圖像模式的不變性 最簡(jiǎn)單的描述子：圖像灰度向量 怎樣比較兩個(gè)向量的相似性? sum of squared differences (ssd) 不具有光照不變性 normalized correlation 具有光照仿射不變性iiivuvu2),ssd(jjjjiiivvuuvvuuvu22)()()(),(特征描述子特征描述子 直接將圖像塊作為描述子的不足: 小的改變就會(huì)影響匹配結(jié)果 解決辦法:

7、直方圖02p 描述子計(jì)算過程: 將每個(gè)圖像塊分成4x4個(gè)子塊 在每個(gè)子塊內(nèi)計(jì)算方向梯度直方圖 (8個(gè)參考方向) 最終生成的描述子: 4x4x8 = 128 維david g. lowe. distinctive image features from scale-invariant keypoints.” ijcv 60 (2), pp. 91-110, 2004. 特征描述子:sift 描述子計(jì)算過程: 將每個(gè)圖像塊分成4x4個(gè)子塊 在每個(gè)子塊內(nèi)計(jì)算方向梯度直方圖 (8個(gè)參考方向) 最終生成的描述子: 4x4x8 = 128 維 與直接用像素值相比的優(yōu)勢(shì) 梯度對(duì)于光照變化不敏感 實(shí)現(xiàn)了對(duì)于小

8、變化的魯棒性, 仍然保留了空間信息david g. lowe. distinctive image features from scale-invariant keypoints.” ijcv 60 (2), pp. 91-110, 2004. 特征描述子:sift特征匹配? 生成特征點(diǎn)對(duì): 對(duì)于圖像中每個(gè)子塊，在其它圖像中找到和它相似的一系列候選匹配塊特征空間內(nèi)外點(diǎn)的排除 怎樣判斷哪些特征點(diǎn)對(duì)是可靠的？ 啟發(fā)式: 比較特征空間內(nèi)最近鄰的距離和次近鄰的距離 對(duì)于那些不太明確的特征隊(duì)而言，最近鄰的距離和次近鄰的距離的比值通常會(huì)比較大david g. lowe. distinctive image

9、 features from scale-invariant keypoints.” ijcv 60 (2), pp. 91-110, 2004. threshold of 0.8 provides good separation外點(diǎn)的處理 幾何擬合方法: ransac hough transformransacransac loop:1. randomly select a seed group of matches2. compute transformation from seed group3. find inliers to this transformation 4. if the

10、 number of inliers is sufficiently large, re-compute least-squares estimate of transformation on all of the inlierskeep the transformation with the largest number of inliersransac example: translationputative matchesselect one match, count inliersransac example: translationselect one match, count in

11、liersransac example: translationselect translation with the most inliersransac example: translationransac的問題 在許多實(shí)際應(yīng)用中，外點(diǎn)所占的比例很高 (90% 以上) 另一種改進(jìn)方法: hough transformhough transform recall: generalized hough transformb. leibe, a. leonardis, and b. schiele, combined object categorization and segmentation

12、with an implicit shape model, eccv workshop on statistical learning in computer vision 2004 modelvisual codeword withdisplacement vectorstest imagehough transform假如提取的特征具有尺度和旋轉(zhuǎn)不變性 這樣單個(gè)特征匹配就能提供一種可能的對(duì)準(zhǔn) (translation, scale, orientation)david g. lowe. distinctive image features from scale-invariant keyp

13、oints.” ijcv 60 (2), pp. 91-110, 2004. model假如提取的特征具有尺度和旋轉(zhuǎn)不變性 這樣單個(gè)特征匹配就能提供一種可能的對(duì)準(zhǔn) (translation, scale, orientation) 當(dāng)然這種對(duì)準(zhǔn)是不可靠的 解決辦法: 將各種可能的對(duì)準(zhǔn)映射到hough 空間中投票，選擇得分最高的david g. lowe. distinctive image features from scale-invariant keypoints.” ijcv 60 (2), pp. 91-110, 2004. modelhough transform基于幾何不變量的標(biāo)注

14、基于不變量描述子的匹配能夠生成一個(gè)可能的變換關(guān)系基于不變量描述子的匹配能夠生成一個(gè)可能的變換關(guān)系modelindex基于幾何不變量的標(biāo)注modeltest imageindex基于不變量描述子的匹配能夠生成一個(gè)可能的變換關(guān)系基于不變量描述子的匹配能夠生成一個(gè)可能的變換關(guān)系仿射變換的處理 單應(yīng)性單應(yīng)性-homography: 平面射影變換 (使得一個(gè)四邊形變成另一個(gè)任意的四邊形)單應(yīng)性-homography 單相機(jī)不同視角 不同相機(jī)同一場(chǎng)景應(yīng)用: 全景拼接單應(yīng)性擬合 齊次坐標(biāo)converting to homogenenousimage coordinatesconverting from ho

15、mogenenousimage coordinates11333231232221131211yxhhhhhhhhhyx單應(yīng)性擬合 齊次坐標(biāo)converting to homogenenousimage coordinatesconverting from homogenenousimage coordinates 單應(yīng)性方程 單應(yīng)性方程iixhx 11333231232221131211iiiiyxhhhhhhhhhyx0iixhxitiitiitiitititiitititiiyxxyyxxhxhxhxhxhxhxhxhxh32112312310000321hhhxxxxxxttiitii

16、tiittitiititxyxy3 equations, only 2 linearly independent單應(yīng)性擬合直接線性變換 h 有8個(gè)自由度 (9 個(gè)參數(shù), 但尺度是任意的) 一個(gè)匹配特征對(duì)能夠建立兩個(gè)獨(dú)立方程 最少要4個(gè) 匹配特征對(duì) 一般需要多于4個(gè)點(diǎn)對(duì): 通過最小二乘擬合得到最優(yōu)解00000321111111hhhxxxxxxxxtnnttntnntntttttttxyxy0haexample: recognising panoramasm. brown and d. lowe, university of british columbiawhy “recognising pa

17、noramas”?why “recognising panoramas”? 1d rotations (q) ordering matching imageswhy “recognising panoramas”? 1d rotations (q) ordering matching imageswhy “recognising panoramas”? 1d rotations (q) ordering matching imageswhy “recognising panoramas”?2d rotations (q, f) ordering matching images 1d rotat

18、ions (q) ordering matching imageswhy “recognising panoramas”? 1d rotations (q) ordering matching images2d rotations (q, f) ordering matching imageswhy “recognising panoramas”? 1d rotations (q) ordering matching images2d rotations (q, f) ordering matching imageswhy “recognising panoramas”?overview fe

19、ature matching image matching bundle adjustment multi-band blending results conclusionsransac for homographyransac for homographyransac for homographyprobabilistic model for verificationfinding the panoramasfinding the panoramasfinding the panoramasfinding the panoramas parameterise each camera by rotation and focal length this gives pairwise homographieshomography for rotationbundle adjustment new images initialised with ro