圖像處理軟件及驅(qū)動(dòng)課件lecture5ii

1、與圖像處理技術(shù)及其應(yīng)用南京理工大學(xué)自動(dòng)化學(xué)院41-1 411 411自動(dòng)化學(xué)4院11房4間11 4房11間房間Lecture5檢測與識別n 3.點(diǎn)特征檢測 點(diǎn)特征檢測子：Harris角點(diǎn)、SUSAN、SIFT 特征描述子（descriptor） *區(qū)域特征：MSER 特征匹配：RANSAC方法 *應(yīng)用舉例：圖像拼接具有不變性的局部特征（InvariantFeatures）Localn 在圖像中尋找局部特征，這些特征對平移、旋轉(zhuǎn)、尺度伸縮等具有不變性SIFT Features局部特征的優(yōu)點(diǎn)n 局部性：由于特征具有局部性，因此對遮擋或混雜環(huán)境具有穩(wěn)健性（因?yàn)椴恍?/p>

2、要進(jìn)行分割）n 唯一性：具有唯一性的特征可用于在大的目標(biāo)數(shù)據(jù)庫中進(jìn)行匹配n 數(shù)量：許多特征即使在小目標(biāo)上也能提取獲得n 有效性：接近實(shí)時(shí)提取n 可擴(kuò)充性：可輕易地?cái)U(kuò)展到許多不同類型的特征，且這些特征都能保持穩(wěn)健性（robustness）局部特征的廣泛應(yīng)用n 局部特征點(diǎn)可以用于： 圖像配準(zhǔn)（registration） 三維重構(gòu)（3D reconstruction） 運(yùn)動(dòng)追蹤（Motion tracking） 目標(biāo)識別（Object recognition） 檢索（Indexing and database retrieval）人導(dǎo)航（Robot navigation） 全景拼接 += 三維重構(gòu)D

3、ebevec, Taylor, and Malik, SIGGRAPH 1996Harris角點(diǎn)檢測角點(diǎn)（corner）檢測的信息 角點(diǎn)包含比如，當(dāng)做特征點(diǎn)匹配的時(shí)候，線上的點(diǎn)很難做匹配角點(diǎn)包含的信息n 而對角點(diǎn)則容易得多在角點(diǎn)處，梯度不好定義（ill defined）；接近角點(diǎn)，梯度有 兩個(gè)不同的值尋找角點(diǎn)的基本想法n 觀察一個(gè)小窗口所包含的區(qū)域：在角點(diǎn)附近向任何方向移動(dòng)窗口，在灰度值上都會(huì)有大的變化尋找角點(diǎn)的方法“平坦”區(qū)域:在任何方向灰度值都沒有變化“邊緣”:沿著邊緣方向灰度值無變化“角點(diǎn)”:在多個(gè)灰度值都有變化Harris角點(diǎn)檢測在平移u,v下的灰度變化為：窗函數(shù)平移的灰度值(x,y)

4、點(diǎn)灰度值窗函數(shù) w(x,y) =或1 in window, 0 outsideGaussianE(u, v) = w(x, y)I (x + u, y + v) - I (x, y)2x, yHarris角點(diǎn)檢測假設(shè)(u,v)很小22 I 2I I uI (x + u, y + v) - I (x, y) I u + I v= u, vxxy xyI II 2 vxyy I (x + u, y + v) - I (x, y) I u + I v = I u + I vxyxyI (x + u, y + v) = I (x, y) + I u + I v + O(x2 , y2 )xyHarri

5、s角點(diǎn)檢測對小平移u,v我們可以采線性（bilinear）函數(shù)近似：uE(u, v) u, vMv M是一個(gè)22矩陣由圖像的導(dǎo)數(shù)得來： I 2I I M = w(x, y) xxy I II 2x, y xyyHarris角點(diǎn)檢測平移窗口中的灰度變化： 特征值分析l1, l2 M的特征值變化最快的方向橢圓 E(u,v) = const變化最慢的方向(lmax)-1/2(lmin)-1/2E(u, v) u, v Muv Harris角點(diǎn)檢測l2采用 M的特征值來區(qū)分點(diǎn)的類型l1 和l2 都很小；E 在所有方向乎為常數(shù)l1 l2l1region“Edge”l2 l1“Corner”l1 和l2都

6、很大,l1 l2;E 在所有方向都增大“Flat”“Edge”Harris角點(diǎn)檢測計(jì)算特征值計(jì)算量較大，可以采用角點(diǎn)響應(yīng)函數(shù)來檢測角點(diǎn)：(k 經(jīng)驗(yàn)常數(shù), k = 0.04-0.06)det M = l1l2trace M = l1 + l2R = det M - k (trace M )2Harris角點(diǎn)檢測l2 R 依賴于M的特征值 R 較大時(shí)，為角點(diǎn) R 值較大且為負(fù)時(shí)，為邊緣 |R| 較小，為平坦區(qū)域l1“Edge”“Corner”R 0“Flat”“Edge”|R| smallR 閾值) 尋找局部極大值的R的點(diǎn)Harris角點(diǎn)檢測流程Harris角點(diǎn)檢測流程計(jì)算角點(diǎn)響應(yīng)函數(shù) RHarr

7、is角點(diǎn)檢測流程尋找大的角點(diǎn)響應(yīng)函數(shù)的點(diǎn)： R閾值Harris角點(diǎn)檢測流程只取R具有局部極大值的那些點(diǎn)Harris角點(diǎn)檢測流程Harris角點(diǎn)檢測：總結(jié)n 在u,v的平均灰度變化可采線性形式表達(dá)：n 用M的特征值來描述每一個(gè)點(diǎn)：角點(diǎn)響應(yīng)函數(shù)定義為：都具有大的灰度變化，也就是：R應(yīng)該n 一個(gè)角點(diǎn)應(yīng)該在各個(gè)為一個(gè)大的正值R = l l - k (l + l )21212E(u, v) u, v Mu v Harris角點(diǎn)的性質(zhì)n 旋轉(zhuǎn)不變性橢圓旋轉(zhuǎn)其形狀（對應(yīng)特征值）保持不變角點(diǎn)響應(yīng)函數(shù) R對旋轉(zhuǎn)保持不變Harris角點(diǎn)的性質(zhì)n 部分的仿射不變特性 由于只用到導(dǎo)數(shù) =亮度平移不變性I I + b

8、亮度尺度的伸縮： I a IRthresholdRx (image coordinate)x (image coordinate)Harris角點(diǎn)的性質(zhì)n 但是不具有尺度的不變性所有的點(diǎn)都被檢測為邊緣點(diǎn)角點(diǎn)！SUSAN算子檢測邊緣與角點(diǎn)SUSAN邊緣檢測n SUSAN算子是一種很有特色的檢測算子，不僅可以檢測圖像中的目標(biāo)邊界點(diǎn)還能較魯棒的檢測目標(biāo)的角點(diǎn)SUSAN邊緣檢測原理USAN: Univalue Segment Assimilating Nucleus(核同值區(qū))核同值區(qū)：相對于模板的核，模板中有一定的區(qū)域與它有相同/相似的灰度USAN原理 USAN的面積攜帶了關(guān)于圖象中核象素處結(jié)構(gòu)的主

9、要信息 當(dāng)核象素處在圖象中的灰度一致區(qū)域， USAN的面積會(huì)達(dá)到最大。該面積當(dāng)核處在直邊緣處約為最大值的一半， 而當(dāng)核處在角點(diǎn)處則為最大值的1/4 使用USAN面積作為特征起到了增強(qiáng)邊緣和角點(diǎn) 的效果 (不需要微分計(jì)算，對噪聲不敏感)SUSAN邊緣檢測SUSAN：最?。⊿mallest） 核同值區(qū)檢測模板：37個(gè)象素, 半徑為3.4象素ct0-27271如果 f (x0, y0) - f (x, y) T C(x0, y0; x, y) = 0如果 f (x0, y0) - f (x, y) TSUSAN邊緣檢測 檢測對模板中的每個(gè)象素進(jìn)行得到輸出的游程和（running total） 邊緣響

10、應(yīng)幾何閾值G = 3Smax/4，其中Smax是S所能取的最大值對于37個(gè)像素的模板最大值為36G - S( x0 , y0 )如果 S( x0 , y0 ) I0 提取連通區(qū)域(“Extremal Regions”) 尋找使得“extremalregion”為“ally Stable”時(shí)的閾值,也就是：相對面積增長最小時(shí)的區(qū)域 用橢圓來逼近找到的小的區(qū)域。J.Matas. “Distinguished Regions for Wide-baseline Stereo”. Research Report of CMP, 2001.特征匹配RANSAC方法-特征匹配問題?特征匹配問題n 窮舉搜索

11、 對圖像中的每個(gè)特征，尋找另一幅圖像中所有可能的特征與之匹配n 散列（Hashing） 從每一個(gè)特征向量計(jì)算一個(gè)短的描述子，或者計(jì)算長的描述子的Hash值（隨機(jī)值）n 最近鄰技術(shù)（Nearest k-trees及其變種neighbortechniques）如何處理野點(diǎn)（outlier）？n 我們能從兩幅圖像相應(yīng)的嗎？ 不，仍然還有很多野點(diǎn)！點(diǎn)中計(jì)算出變換陣H如何處理野點(diǎn)（outlier）？ 如何處理“壞”匹配?RAndomSAmpleConsensus隨機(jī)采樣，一致檢驗(yàn)：選擇一個(gè)認(rèn)為“好”的匹配，記符合的點(diǎn)數(shù)RAndomSAmpleConsensus隨機(jī)采樣，一致檢驗(yàn)：選擇一個(gè)認(rèn)為“好”的匹配

12、，記符合的點(diǎn)數(shù)RAndomSAmpleConsensus對符合點(diǎn)集，用最小二乘法尋找“平均”變換向量RANSAC用于估計(jì)陣（homography）RANSACloop: 1. 隨機(jī)選擇組特征點(diǎn)對2. 準(zhǔn)確計(jì)算陣H3. 計(jì)算所有符合點(diǎn)（inliers）的SSD(pi, H pi） 4. 選擇符合點(diǎn)最多的5. 用所有符合點(diǎn)重新計(jì)算H（最小二乘法算）RANSACreading參考閱讀：1 C. Harris, and M. A. Stephens. combined corner and edge detector. Proceedings Fourth Alvey Vision Conferenc

13、e, Manchester, UK, 1988: 147-151.2 M. Stephen, and J. Michael. SUSAN - a new approach to low-level image processing. International Journal of Computer Vision, 1997, 23(1): 45-78.3 H. P. Moravec. Obstacle avoidance and navigation in the real world by a seeing robot rover. CMU-RI-TR3, 1980.4 T. Lindeb

14、erg. Feature Detection with Automatic Scale Selection. International Journal of Computer Vision. 1998, 30(2): 79-116.5 Lowe, D. G. Distinctive International Journal of6 C. Schmid, R. Mohr, and detectors. InternationalImage features from scale-invariant key-points. Computer Vision. 2004, 60(2): 91-11

15、0.C. Bauckhage. Evaluation of interest point Journal of Computer Vision. 2000, 37(2): 151-172.7 J. Matasa,uma, M.Urbana, and T. Pajdla. Robust wide-baselinestereo fromally stable extremal regions. Image and Vision Computing,2004, 22: 761-767.8 M. Aschler, and R. C. Bolles. Random Sample Consensus: A paradigmfor mfitting with apphcatlons to image analysis and automatedcartography. Communications of the ACM. 1981, 24(6): 381-395.Acknowledgem