角點(diǎn)及邊緣混合檢測(cè)器

角點(diǎn)及邊緣混合檢測(cè)器對(duì)于使用圖像特征跟蹤算法進(jìn)行圖像時(shí)序的3D譯碼來(lái)說(shuō)，圖像邊緣濾波器的一致性是非常重要的。為了致力于對(duì)含有組織及離散特征點(diǎn)的圖像區(qū)域進(jìn)行研究，一種基于本地自相關(guān)函數(shù)的混合角點(diǎn)及邊緣檢測(cè)器已經(jīng)投入使用，并且實(shí)際表明針對(duì)于自然圖像其具有良好的一致性。簡(jiǎn)介阿爾維項(xiàng)目MMI149中，我們重點(diǎn)探討的問(wèn)題是:如何使用計(jì)算機(jī)視覺(jué)去闡述自然3D世界。該3D世界中的場(chǎng)景一般都包含了太多種類的特征以致于上下識(shí)別技術(shù)無(wú)法湊效。例如，我們想要獲得一個(gè)自然場(chǎng)景的原理，其包含有道路、建筑、樹(shù)木、灌木叢等等，正如圖1中所描述的來(lái)自于同一時(shí)間序列的兩幅圖。解決我們所遇到問(wèn)題的方案是：使用計(jì)算機(jī)視覺(jué)系統(tǒng)，該系統(tǒng)基于移動(dòng)數(shù)碼中單眼圖像序列的運(yùn)動(dòng)分析。通過(guò)圖像特征的引進(jìn)與跟蹤，所需場(chǎng)景的3D模擬再現(xiàn)便可以被構(gòu)建。圖1.來(lái)自于戶外鏡頭的一組圖像為了清晰展現(xiàn)圖像特征的跟蹤，圖像特征必須是離散的，不能來(lái)于像組織、邊緣等連續(xù)體。鑒于此，我們?cè)缙诘墓ぷ鞅慵杏趫D像特征點(diǎn)或角點(diǎn)的提取與跟蹤，因?yàn)樗麄兪请x散的、可靠的且信息量豐富。然而，在我們獲得高級(jí)別描述體的工作中，如表面或物體，特征點(diǎn)關(guān)聯(lián)性的缺失是主要限制點(diǎn)。我們需要來(lái)自于邊緣的更豐富的信息。邊緣跟蹤問(wèn)題因?yàn)橐阎膶?duì)極相機(jī)幾何構(gòu)造，逐一像素基礎(chǔ)上邊緣圖像的配準(zhǔn)是工作于立體的。然而，針對(duì)于相機(jī)運(yùn)動(dòng)未知的運(yùn)動(dòng)問(wèn)題，光圈問(wèn)題使我們難以進(jìn)行明顯的邊緣線配準(zhǔn)，這些可以通過(guò)事先解決運(yùn)動(dòng)問(wèn)題來(lái)克服。然而我們還是面臨跟蹤單一邊緣相素和估測(cè)3D定位的任務(wù)，如運(yùn)用KalmanFiltering進(jìn)行3D定位。但該方法與下述方法相比是不夠吸引力的:將邊緣線整合成邊緣部分，并將其作為特征去跟蹤這些部分?，F(xiàn)在我們需要考慮的自然圖像包含了邊緣曲線和不同規(guī)模的組織。以一系列直線部分形式再現(xiàn)邊緣并將他們作為我們的離散特征是不合適的，因?yàn)榍€和組織邊緣可以被理解為每個(gè)鏡頭圖像上的不同框架，所以是無(wú)法跟蹤的。因?yàn)椴B(tài)，參數(shù)化曲線的使用是無(wú)法提供解決方案的，尤其是真實(shí)圖像。當(dāng)發(fā)現(xiàn)以上所述解決3D邊緣理解問(wèn)題的方案存在錯(cuò)誤時(shí)，我們自然想到解決這個(gè)問(wèn)題的必要性。一項(xiàng)心理視覺(jué)實(shí)驗(yàn)，觀看旋轉(zhuǎn)的彎曲掛衣架產(chǎn)生視覺(jué)歧義，該實(shí)驗(yàn)表明曲線邊緣的3D譯碼問(wèn)題可能是無(wú)法有效解決的。該問(wèn)題在現(xiàn)實(shí)生活中很少出現(xiàn)，因?yàn)樽鳛楦櫶卣鼽c(diǎn)的邊緣會(huì)存在一定的缺陷和印跡。盡管可能無(wú)法獲得邊緣曲線的精確、清晰的3D形式，但是它所提供的關(guān)聯(lián)性對(duì)于一些目的是很重要的，實(shí)際上邊緣關(guān)聯(lián)性可能要比清晰的3D測(cè)量更重要。跟蹤邊緣關(guān)聯(lián)性，結(jié)合角點(diǎn)及交點(diǎn)的3D定位，可以提供線框的結(jié)構(gòu)形式，且為那些用于假設(shè)3D表面的圖形區(qū)域定界。這就留給我們一個(gè)展示可靠性邊緣濾波器的問(wèn)題。如五所述的邊緣濾波器，設(shè)計(jì)出來(lái)并不是用來(lái)解決交點(diǎn)和角點(diǎn)問(wèn)題的，也難以提供邊緣關(guān)聯(lián)性。針對(duì)Canny邊緣處理器，這些已在圖2中進(jìn)行闡述，圖中上限閾值及下限閾值邊緣線分別以黑色和灰色的形式展示。注意到在灌木中有些邊緣，并不是所有邊緣，可以被眼睛清晰觀測(cè)到。對(duì)遲滯化進(jìn)行處理后，接著去掉刺激和短的邊緣，交點(diǎn)完成算法的應(yīng)用導(dǎo)出的邊緣和交點(diǎn)情況見(jiàn)圖3.其中邊緣有灰色表示，交點(diǎn)用黑色表示。在灌木中，只有很少的邊緣可以清晰可見(jiàn)。問(wèn)題出現(xiàn)在與域值靠近處的邊緣：在邊緣強(qiáng)度或點(diǎn)素化上的微小變動(dòng)會(huì)導(dǎo)致邊緣拓?fù)浣Y(jié)構(gòu)的很大變化。使用邊緣去描述灌木的方法是不可靠的，也許使用特征點(diǎn)的形式進(jìn)行描述更好一些。圖2.戶外圖像無(wú)關(guān)聯(lián)Candy邊緣圖圖3.戶外圖相相關(guān)聯(lián)Candy邊緣圖解決該問(wèn)題的方法是嘗試探測(cè)圖形的邊緣和角點(diǎn)，交點(diǎn)包括在角點(diǎn)處聚合的邊緣。為了達(dá)到這個(gè)方法，我們需要從Moravec’s角點(diǎn)探測(cè)算法。再談MORAVECMORAVEC角點(diǎn)探測(cè)是通過(guò)在圖形中設(shè)置窗口，并且在不同的方向上進(jìn)行少量的窗口轉(zhuǎn)化，最終計(jì)算由此導(dǎo)致的圖形亮度的平均變化來(lái)實(shí)現(xiàn)的。以下三種方案需要考慮：如果窗口內(nèi)圖形是平的（或者在亮度上近似為常數(shù)），那么所有的轉(zhuǎn)換只會(huì)導(dǎo)致很小的變化；如果窗口橫跨一個(gè)邊緣，那么沿著邊緣的轉(zhuǎn)變會(huì)導(dǎo)致很小的變化，但是在垂直邊緣方向上的轉(zhuǎn)變會(huì)導(dǎo)致很大的變化；如果窗口內(nèi)是一個(gè)角點(diǎn)或離散點(diǎn)，那么所有方向上的轉(zhuǎn)變都會(huì)引起很大變化。因此當(dāng)發(fā)現(xiàn)任何形式的轉(zhuǎn)變引起的最小變化很大的時(shí)候，就可以確定角點(diǎn)。接下來(lái)我們給出上述闡述詳細(xì)的數(shù)學(xué)表達(dá)。用I表示圖像強(qiáng)度，由變化（x,y）引起的變化E表述如下：Ex,y=其中w表示指定圖像窗口：它是在一個(gè)統(tǒng)一指定的別處是零的矩形區(qū)域。位移（x，y），被認(rèn)為是包括（（1,0），（1,1），（0,1），（-1,1））。因此，莫拉維克的角落探測(cè)器很簡(jiǎn)單：尋找高于一些閾值的最?。‥）的局部極大值。自相關(guān)探測(cè)器MORAVEC角點(diǎn)探測(cè)器用于測(cè)試圖像之后的結(jié)果如圖4a所示；為了比較，同時(shí)也展示出Beaudet和Kitchen&Rosenfeld算子的運(yùn)算結(jié)果（圖4b和4c分別所示）。MORAVEC處理器存在一些問(wèn)題，它們將分別展示如下，并提供合適的校正措施。圖4.測(cè)試圖形上的角點(diǎn)探測(cè)響應(yīng)是各向異性的，因?yàn)槊扛?5度僅有一個(gè)離散轉(zhuǎn)變集被考慮-通過(guò)關(guān)于轉(zhuǎn)換源的解析性拓展，所有小的轉(zhuǎn)換都可以被覆蓋。Ex,y==其中第一個(gè)梯度近似為X=IY=I因此，對(duì)小的位移，E可以寫E(x,y)=Ax2+2Cxy+By2其中A=X2wB=Y2wC=(XY)w2．響應(yīng)是帶有噪音的，因?yàn)榇翱谑请p邊且是矩形的-使用圓滑的圓形窗口，如高斯。Wu,v=對(duì)于邊緣，算子響應(yīng)過(guò)于明顯-再規(guī)化角點(diǎn)測(cè)量，以利用隨著轉(zhuǎn)變方向而改變的E的變化。對(duì)于E的這一微小變化可以表述為：E(x,y)=(x,y)M(x,y)T其中的2x2M是對(duì)稱矩陣M=注意到，E與本地自相關(guān)函數(shù)很相近，同時(shí)M描述了源處的形狀（很明顯，用Taylor展開(kāi)的形式）。設(shè)，是M的特征值，和與局部自相關(guān)函數(shù)的主曲率成正比，形成旋轉(zhuǎn)不變的M的描述。和前面一樣，有三種方案可考慮：A.如果兩個(gè)都是小曲率，使局部自相關(guān)函數(shù)是平滑的，那么窗口圖像區(qū)域近似是恒定強(qiáng)度的（例如圖像斑塊的任意位移造成E的微小變化）;B.如果一個(gè)曲率高，而其它低，使局部自相關(guān)函數(shù)成為脊形，則只有沿脊位移（即沿邊緣）E的變化才不大：說(shuō)明這是一個(gè)邊緣;C.如果兩個(gè)曲率很高，使局部的自相關(guān)函數(shù)急劇達(dá)到高峰，則在任何方向的位移將使E增加：說(shuō)明這是一個(gè)角點(diǎn)。分析（α，β）空間圖形。理想的邊緣是α很大，β為0；然而實(shí)際上，因?yàn)樵胍?、點(diǎn)素化影響、強(qiáng)度等量化等影響，β僅僅比α小一些。α和β都大表示是一個(gè)角點(diǎn)，α和β都小表示一個(gè)平面圖像區(qū)域。由于圖像對(duì)比度系數(shù)P增加和α和β按P2的比例增加對(duì)比，那么，對(duì)于P為正數(shù)，（α，β）被認(rèn)為是邊緣區(qū)域，那么（αP2，βP2）也應(yīng)該是。類似的情況也適用于角點(diǎn)。因此，（α，β圖5.自相關(guān)主曲率大空間行給予的角點(diǎn)/邊緣/平面的分類，細(xì)紋都是同響應(yīng)等高線角點(diǎn)/邊緣響應(yīng)函數(shù)我們不僅需要確定角點(diǎn)及邊緣分類區(qū)域，還需要對(duì)角點(diǎn)及邊緣的質(zhì)量或響應(yīng)進(jìn)行測(cè)量。響應(yīng)的大小會(huì)被用來(lái)選擇離散角點(diǎn)像素且用于降低邊緣像素。讓我們首先考慮角點(diǎn)響應(yīng)的措施，由于旋轉(zhuǎn)不變的原因，R是我們需要的一個(gè)只包括和的函數(shù)。在公式中，使用Tr（M）和Det（M）是可行的，因?yàn)檫@會(huì)明確的避免M的特征值分解，從而TrDet考慮下面的角點(diǎn)響應(yīng)激勵(lì)方程R=Det圖5所顯示的細(xì)紋就是常數(shù)R的等高線。R在角點(diǎn)區(qū)域是正的，在邊緣區(qū)域是負(fù)的，在平滑區(qū)域是很小的。注意到增加對(duì)比度（即徑向移動(dòng)遠(yuǎn)離原點(diǎn)）在任何情況下提高了幅值響應(yīng)。該單位指定區(qū)域Tr低于一些選定的閾值。如果角點(diǎn)區(qū)域像素（其響應(yīng)為正）的響應(yīng)在八個(gè)方向上都是區(qū)域最大化，則其將會(huì)被選擇作為指定的角點(diǎn)像素：在測(cè)試圖形中如此探測(cè)到的角點(diǎn)如4d所示。如果邊緣區(qū)域像素是負(fù)的，且在x,y方向上區(qū)域最小，則不管兩個(gè)方向上第一梯度的幅值是否大，其都會(huì)被認(rèn)為是邊緣像素。這就會(huì)導(dǎo)致細(xì)的邊緣。這種新的角點(diǎn)邊緣分類結(jié)果見(jiàn)圖6，其中黑色表明角點(diǎn)區(qū)域，灰色指代細(xì)邊緣。圖6邊緣/戶外圖像的角點(diǎn)分類（灰=角點(diǎn)區(qū)域，白色=薄邊）。通過(guò)使用低閾值及高閾值，邊緣滯后就可以進(jìn)行，且可以強(qiáng)化邊緣的連續(xù)性。該種分類導(dǎo)致5級(jí)圖像其中包括：背景，兩個(gè)角類和兩個(gè)邊類。進(jìn)一步處理（類似于結(jié)點(diǎn)的完成）將刪除邊緣骨刺、孤立的邊緣和邊緣連續(xù)區(qū)域的小斷裂。這導(dǎo)致在一般終止角點(diǎn)區(qū)域出現(xiàn)連續(xù)薄邊。在角點(diǎn)區(qū)域中，邊緣終端與角點(diǎn)像素相互聯(lián)系，形成連接邊頂點(diǎn)圖，如圖7所示。注意：在叢林中許多的角點(diǎn)與邊緣無(wú)關(guān)，因?yàn)樗鼈兯趨^(qū)域在本質(zhì)上是紋理區(qū)域。雖然在圖中不是顯而易見(jiàn)，但很多角點(diǎn)和邊緣是直接可以匹配的。進(jìn)一步的工作是作關(guān)于連接點(diǎn)的完成算法，目前相當(dāng)簡(jiǎn)陋，并在自適應(yīng)閾值區(qū)域。圖7已完成的戶外圖像邊緣（白=角點(diǎn)，黑色=邊緣）致謝作者們非常感激使用JSherlockofRSRE提供的的RSRE圖像（角點(diǎn)算子的比較，圖4）和根據(jù)國(guó)防部的合同取得的結(jié)果。在本文中使用的灰色圖像出自以下版權(quán)：版權(quán)所有?1988年英國(guó)倫敦控制器文書(shū)局參考文獻(xiàn)1.Harris,CG&JMPike,3DPositionalIntegrationfromImageSequences,ProceedingsthirdAlveyVisionConference(AVC87),pp.233-236,1987;reproducedinImageandVisionComputing,vol6,no2,pp.87-90,May1988.2.Charnley,D&RJBlissett,SurfaceReconstructionfromOutdoorImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.3.Stephens,MJ&CGHarris,3DWire-FrameIntegrationfromImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.4.Ayache,N&FLustman,FastandReliablePassiveTrinocularStereovision,ProceedingsfirstICCV,1987.5.Canny,JF,FindingEdgesandLinesinImages,MITtechnicalreportAI-TR-720,1983.6.Moravec,H,ObstacleAvoidanceandNavigationintheRealWorldbyaSeeingRobotRover,TechReportCMU-RI-TR-3,Carnegie-MellonUniversity,RoboticsInstitute,September1980.7.Beaudet,PR,RotationallyInvariantImageOperators,InternationalJointConferenceonPatternRecognition,pp.579-583