角點及邊緣混合檢測器

角點及邊緣混合檢測器對于使用圖像特征跟蹤算法進行圖像時序的3D譯碼來說，圖像邊緣濾波器的一致性是非常重要的。為了致力于對含有組織及離散特征點的圖像區(qū)域進行研究，一種基于本地自相關函數的混合角點及邊緣檢測器已經投入使用，并且實際表明針對于自然圖像其具有良好的一致性。簡介阿爾維項目MMI149中，我們重點探討的問題是:如何使用計算機視覺去闡述自然3D世界。該3D世界中的場景一般都包含了太多種類的特征以致于上下識別技術無法湊效。例如，我們想要獲得一個自然場景的原理，其包含有道路、建筑、樹木、灌木叢等等，正如圖1中所描述的來自于同一時間序列的兩幅圖。解決我們所遇到問題的方案是：使用計算機視覺系統(tǒng)，該系統(tǒng)基于移動數碼中單眼圖像序列的運動分析。通過圖像特征的引進與跟蹤，所需場景的3D模擬再現便可以被構建。圖1.來自于戶外鏡頭的一組圖像為了清晰展現圖像特征的跟蹤，圖像特征必須是離散的，不能來于像組織、邊緣等連續(xù)體。鑒于此，我們早期的工作便集中于圖像特征點或角點的提取與跟蹤，因為他們是離散的、可靠的且信息量豐富。然而，在我們獲得高級別描述體的工作中，如表面或物體，特征點關聯性的缺失是主要限制點。我們需要來自于邊緣的更豐富的信息。邊緣跟蹤問題因為已知的對極相機幾何構造，逐一像素基礎上邊緣圖像的配準是工作于立體的。然而，針對于相機運動未知的運動問題，光圈問題使我們難以進行明顯的邊緣線配準，這些可以通過事先解決運動問題來克服。然而我們還是面臨跟蹤單一邊緣相素和估測3D定位的任務，如運用KalmanFiltering進行3D定位。但該方法與下述方法相比是不夠吸引力的:將邊緣線整合成邊緣部分，并將其作為特征去跟蹤這些部分?，F在我們需要考慮的自然圖像包含了邊緣曲線和不同規(guī)模的組織。以一系列直線部分形式再現邊緣并將他們作為我們的離散特征是不合適的，因為曲線和組織邊緣可以被理解為每個鏡頭圖像上的不同框架，所以是無法跟蹤的。因為病態(tài)，參數化曲線的使用是無法提供解決方案的，尤其是真實圖像。當發(fā)現以上所述解決3D邊緣理解問題的方案存在錯誤時，我們自然想到解決這個問題的必要性。一項心理視覺實驗，觀看旋轉的彎曲掛衣架產生視覺歧義，該實驗表明曲線邊緣的3D譯碼問題可能是無法有效解決的。該問題在現實生活中很少出現，因為作為跟蹤特征點的邊緣會存在一定的缺陷和印跡。盡管可能無法獲得邊緣曲線的精確、清晰的3D形式，但是它所提供的關聯性對于一些目的是很重要的，實際上邊緣關聯性可能要比清晰的3D測量更重要。跟蹤邊緣關聯性，結合角點及交點的3D定位，可以提供線框的結構形式，且為那些用于假設3D表面的圖形區(qū)域定界。這就留給我們一個展示可靠性邊緣濾波器的問題。如五所述的邊緣濾波器，設計出來并不是用來解決交點和角點問題的，也難以提供邊緣關聯性。針對Canny邊緣處理器，這些已在圖2中進行闡述，圖中上限閾值及下限閾值邊緣線分別以黑色和灰色的形式展示。注意到在灌木中有些邊緣，并不是所有邊緣，可以被眼睛清晰觀測到。對遲滯化進行處理后，接著去掉刺激和短的邊緣，交點完成算法的應用導出的邊緣和交點情況見圖3.其中邊緣有灰色表示，交點用黑色表示。在灌木中，只有很少的邊緣可以清晰可見。問題出現在與域值靠近處的邊緣：在邊緣強度或點素化上的微小變動會導致邊緣拓撲結構的很大變化。使用邊緣去描述灌木的方法是不可靠的，也許使用特征點的形式進行描述更好一些。圖2.戶外圖像無關聯Candy邊緣圖圖3.戶外圖相相關聯Candy邊緣圖解決該問題的方法是嘗試探測圖形的邊緣和角點，交點包括在角點處聚合的邊緣。為了達到這個方法，我們需要從Moravec’s角點探測算法。再談MORAVECMORAVEC角點探測是通過在圖形中設置窗口，并且在不同的方向上進行少量的窗口轉化，最終計算由此導致的圖形亮度的平均變化來實現的。以下三種方案需要考慮：如果窗口內圖形是平的（或者在亮度上近似為常數），那么所有的轉換只會導致很小的變化；如果窗口橫跨一個邊緣，那么沿著邊緣的轉變會導致很小的變化，但是在垂直邊緣方向上的轉變會導致很大的變化；如果窗口內是一個角點或離散點，那么所有方向上的轉變都會引起很大變化。因此當發(fā)現任何形式的轉變引起的最小變化很大的時候，就可以確定角點。接下來我們給出上述闡述詳細的數學表達。用I表示圖像強度，由變化（x,y）引起的變化E表述如下：Ex,y=其中w表示指定圖像窗口：它是在一個統(tǒng)一指定的別處是零的矩形區(qū)域。位移（x，y），被認為是包括（（1,0），（1,1），（0,1），（-1,1））。因此，莫拉維克的角落探測器很簡單：尋找高于一些閾值的最?。‥）的局部極大值。自相關探測器MORAVEC角點探測器用于測試圖像之后的結果如圖4a所示；為了比較，同時也展示出Beaudet和Kitchen&Rosenfeld算子的運算結果（圖4b和4c分別所示）。MORAVEC處理器存在一些問題，它們將分別展示如下，并提供合適的校正措施。圖4.測試圖形上的角點探測響應是各向異性的，因為每隔45度僅有一個離散轉變集被考慮-通過關于轉換源的解析性拓展，所有小的轉換都可以被覆蓋。Ex,y==其中第一個梯度近似為X=IY=I因此，對小的位移，E可以寫E(x,y)=Ax2+2Cxy+By2其中A=X2wB=Y2wC=(XY)w2．響應是帶有噪音的，因為窗口是雙邊且是矩形的-使用圓滑的圓形窗口，如高斯。Wu,v=對于邊緣，算子響應過于明顯-再規(guī)化角點測量，以利用隨著轉變方向而改變的E的變化。對于E的這一微小變化可以表述為：E(x,y)=(x,y)M(x,y)T其中的2x2M是對稱矩陣M=注意到，E與本地自相關函數很相近，同時M描述了源處的形狀（很明顯，用Taylor展開的形式）。設，是M的特征值，和與局部自相關函數的主曲率成正比，形成旋轉不變的M的描述。和前面一樣，有三種方案可考慮：A.如果兩個都是小曲率，使局部自相關函數是平滑的，那么窗口圖像區(qū)域近似是恒定強度的（例如圖像斑塊的任意位移造成E的微小變化）;B.如果一個曲率高，而其它低，使局部自相關函數成為脊形，則只有沿脊位移（即沿邊緣）E的變化才不大：說明這是一個邊緣;C.如果兩個曲率很高，使局部的自相關函數急劇達到高峰，則在任何方向的位移將使E增加：說明這是一個角點。分析（α，β）空間圖形。理想的邊緣是α很大，β為0；然而實際上，因為噪音、點素化影響、強度等量化等影響，β僅僅比α小一些。α和β都大表示是一個角點，α和β都小表示一個平面圖像區(qū)域。由于圖像對比度系數P增加和α和β按P2的比例增加對比，那么，對于P為正數，（α，β）被認為是邊緣區(qū)域，那么（αP2，βP2）也應該是。類似的情況也適用于角點。因此，（α，β圖5.自相關主曲率大空間行給予的角點/邊緣/平面的分類，細紋都是同響應等高線角點/邊緣響應函數我們不僅需要確定角點及邊緣分類區(qū)域，還需要對角點及邊緣的質量或響應進行測量。響應的大小會被用來選擇離散角點像素且用于降低邊緣像素。讓我們首先考慮角點響應的措施，由于旋轉不變的原因，R是我們需要的一個只包括和的函數。在公式中，使用Tr（M）和Det（M）是可行的，因為這會明確的避免M的特征值分解，從而TrDet考慮下面的角點響應激勵方程R=Det圖5所顯示的細紋就是常數R的等高線。R在角點區(qū)域是正的，在邊緣區(qū)域是負的，在平滑區(qū)域是很小的。注意到增加對比度（即徑向移動遠離原點）在任何情況下提高了幅值響應。該單位指定區(qū)域Tr低于一些選定的閾值。如果角點區(qū)域像素（其響應為正）的響應在八個方向上都是區(qū)域最大化，則其將會被選擇作為指定的角點像素：在測試圖形中如此探測到的角點如4d所示。如果邊緣區(qū)域像素是負的，且在x,y方向上區(qū)域最小，則不管兩個方向上第一梯度的幅值是否大，其都會被認為是邊緣像素。這就會導致細的邊緣。這種新的角點邊緣分類結果見圖6，其中黑色表明角點區(qū)域，灰色指代細邊緣。圖6邊緣/戶外圖像的角點分類（灰=角點區(qū)域，白色=薄邊）。通過使用低閾值及高閾值，邊緣滯后就可以進行，且可以強化邊緣的連續(xù)性。該種分類導致5級圖像其中包括：背景，兩個角類和兩個邊類。進一步處理（類似于結點的完成）將刪除邊緣骨刺、孤立的邊緣和邊緣連續(xù)區(qū)域的小斷裂。這導致在一般終止角點區(qū)域出現連續(xù)薄邊。在角點區(qū)域中，邊緣終端與角點像素相互聯系，形成連接邊頂點圖，如圖7所示。注意：在叢林中許多的角點與邊緣無關，因為它們所在區(qū)域在本質上是紋理區(qū)域。雖然在圖中不是顯而易見，但很多角點和邊緣是直接可以匹配的。進一步的工作是作關于連接點的完成算法，目前相當簡陋，并在自適應閾值區(qū)域。圖7已完成的戶外圖像邊緣（白=角點，黑色=邊緣）致謝作者們非常感激使用JSherlockofRSRE提供的的RSRE圖像（角點算子的比較，圖4）和根據國防部的合同取得的結果。在本文中使用的灰色圖像出自以下版權：版權所有?1988年英國倫敦控制器文書局參考文獻1.Harris,CG&JMPike,3DPositionalIntegrationfromImageSequences,ProceedingsthirdAlveyVisionConference(AVC87),pp.233-236,1987;reproducedinImageandVisionComputing,vol6,no2,pp.87-90,May1988.2.Charnley,D&RJBlissett,SurfaceReconstructionfromOutdoorImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.3.Stephens,MJ&CGHarris,3DWire-FrameIntegrationfromImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.4.Ayache,N&FLustman,FastandReliablePassiveTrinocularStereovision,ProceedingsfirstICCV,1987.5.Canny,JF,FindingEdgesandLinesinImages,MITtechnicalreportAI-TR-720,1983.6.Moravec,H,ObstacleAvoidanceandNavigationintheRealWorldbyaSeeingRobotRover,TechReportCMU-RI-TR-3,Carnegie-MellonUniversity,RoboticsInstitute,September1980.7.Beaudet,PR,RotationallyInvariantImageOperators,InternationalJointConferenceonPatternRecognition,pp.579-583