HALCON形狀匹配總結(jié)

1、HALCON形狀匹配總結(jié)Halcon有三種模板匹配方法：即Component-Based、Gray-Value-Based、Shaped_based,分別是基于組件（或成分、元素）的匹配，基于灰度值的匹配和基于形狀的匹配，此外還有變形匹配和三維模型匹配也是分屬于前面的大類本文只對形狀匹配做簡要說明和補充：Shape_Based匹配方法：上圖介紹的是形狀匹配做法的一般流程及模板制作的兩種方法。先要補充點知識：形狀匹配常見的有四種情況一般形狀匹配模板shape_model、線性變形匹配模板planar_deformable_model、局部可變形模板local_deformable_model、和

2、比例縮放模板Scale_model第一種是不支持投影變形的模板匹配，但是速度是最高的，第二種和第四種是支持投影變形的匹配，第三種則是支持局部變形的匹配。一般形狀匹配模板是最常用的，模板的形狀和大小一經(jīng)制作完畢便不再改變，在查找模板的過程中，只會改變模板的方向和位置等來匹配目標圖像中的圖像。這個方法查找速度很快，但是當目標圖像中與模板對應(yīng)的圖像存在比例放大縮小或是投影變形如傾斜等，均會影響查找結(jié)果。涉及到的算子通常為create_shape_model和find_shape_model線性變形匹配模板planar_deformable_model是指模板在行列方向上可以進行適當?shù)目s放。行列方向上

3、可以分別獨立的進行一個適當?shù)目s放變形來匹配。主要參數(shù)有行列方向查找縮放比例、圖像金字塔、行列方向匹配分數(shù)（指可接受的匹配分數(shù)，大于這個值就接受，小于它就舍棄）、設(shè)置超找的角度、已經(jīng)超找結(jié)果后得到的位置和匹配分數(shù)線性變形匹配又分為兩種：帶標定的可變形模板匹配和不帶標定的可變形模板匹配。涉及到的算子有：不帶標定的模板：創(chuàng)建和查找模板算子create_planar_uncalib_deformable_model和find_planar_uncalib_deformable_model帶標定模板的匹配：先讀入攝像機內(nèi)參和外參read_cam_par和read_pose創(chuàng)建和查找模板算子create_

4、planar_calib_deformable_model和find_planar_calib_deformable_model局部變形模板是指在一張圖上查找模板的時候，可以改變模板的尺寸，來查找圖像上具有局部變形的模板。例如包裝紙袋上圖案查找。參數(shù)和線性變形額差不多算子如下：create_local_deformable_model和find_local_deformable_model比例縮放末班匹配是介于一般形狀匹配和線性變形匹配之間的一種方法。它可以匹配放大或是縮小的模板，但是僅限于模板大小的縮放，即行列縮放因子一樣。這也是它和線性縮放最大的不同。涉及到的算子如下：create_sca

5、le_shape_model和find_scale_shape_modelHALCON形狀匹配LIntExportHerrorcreate_shape_model(constHobject&Template,/reduce_domain后的模板圖像HlongNumLevels,/金字塔的層數(shù)，可設(shè)為“auto”或010的整數(shù)DoubleAngleStart,/模板旋轉(zhuǎn)的起始角度DoubleAngleExtent,/模板旋轉(zhuǎn)角度范圍,>=0DoubleAngleStep,/旋轉(zhuǎn)角度的步長，>=0and<=pi/16constchar*Op

6、timization,/設(shè)置模板優(yōu)化和模板創(chuàng)建方法constchar*Metric,/匹配方法設(shè)置HlongContrast,/設(shè)置對比度HlongMinContrast,/設(shè)置最小對比度Hlong*ModelID）/輸出模板句柄進一步分析：NumLevels越大，找到匹配使用的時間就越小。另外必須保證最高層的圖像具有足夠的信息（至少四個點）。可以通過inspect_shape_model函數(shù)查看設(shè)置的結(jié)果。如果最高層金字塔的消息太少，算法內(nèi)部會自動減少金字塔層數(shù)，如果最底層金字塔的信息太少，函數(shù)就會報錯。如果設(shè)為auto，算法會自動計算金字塔的層數(shù)，我們可以通過get_shape_model

7、_params函數(shù)查看金字塔的層數(shù)。如果金字塔的層數(shù)太大，模板不容易識別出來，這是需要將find_shape_model函數(shù)中MinScore和Greediness參數(shù)設(shè)置的低一些。如果金字塔層數(shù)太少找到模板的時間會增加?？梢韵仁褂胕nspect_shape_model函數(shù)的輸出結(jié)果來選擇一個較好的金字塔層數(shù)。參數(shù)AngleStart、AngleExtent定義了模板可能發(fā)生旋轉(zhuǎn)的范圍。注意模板在find_shape_model函數(shù)中只能找到這個范圍內(nèi)的匹配。參數(shù)AngleStep定義了旋轉(zhuǎn)角度范圍內(nèi)的步長。如果在find_shape_model函數(shù)中沒有指定亞像素精度這個參數(shù)指定的精度是可以

8、實現(xiàn)find_shape_mode函數(shù)中的角度的。參數(shù)AngleStep的選擇是基于目標的大小的，如果模板圖像太小不能產(chǎn)生許多不同離散角度的圖像，因此對于較小的模板圖像AngleStep應(yīng)該設(shè)置的比較大。如果AngleExtent不是AngleStep的整數(shù)倍，將會相應(yīng)的修改AngleStep。如果選擇completepregeneration，不同角度的模板圖像將會產(chǎn)生并保存在內(nèi)存中。用來存儲模板的內(nèi)存與旋轉(zhuǎn)角度的數(shù)目和模板圖像的的點數(shù)是成正比的。因此，如果AngleStep太小或是AngleExtent太大，將會出現(xiàn)該模型不再適合（虛擬）內(nèi)存的情況。在任何情況下，模型是完全適合主存儲器的，

9、因為這避免了操作系統(tǒng)的內(nèi)存分頁，使得尋找匹配模板的時間變短。由于find_shape_model函數(shù)中的角度可以使用亞像素精度，一個直徑小于200像素的模板可以選擇AngleStep>=1.如果選擇AngleStep='auto'（or0向后兼容）,create_shape_model將會基于模板的大小自動定義一個合適的角度步長.自動計算出來的AngleStep可以使用get_shape_model_params函數(shù)查看。如果沒有選擇completepregeneration,該模型會在每一層金字塔上建立在一個參考的位置。這樣在find_shape_model函數(shù)

10、運行時，該模型必須轉(zhuǎn)化為不同的角度和尺度在運行時在。正因為如此，匹配該模型可能需要更多的時間。對于特別大的模板圖像，將參數(shù)Optimization設(shè)置為不同于none'的其他數(shù)值是非常有用的。如果0ptimization=none',所有的模型點將要存儲。在其他情況下,按照Optimization的數(shù)值會將模型的點數(shù)減少.如果模型點數(shù)變少了，必須在find_shape_model函數(shù)中將參數(shù)Greediness設(shè)為一個比較小的值,比如：0.7、0.8。對于比較小的模型,減少模型點數(shù)并不能提高搜索速度，因為這種情況下通常顯著更多的潛在情況的模型必須進行檢查。如果Optimizat

11、ion設(shè)置為'auto'，create_shape_model自動確定模型的點數(shù)。Optimization的第二個值定義了模型是否進行預(yù)處理(pregeneratedcompletely)，是通過選擇'pregeneration'或者'no_pregeneration'來設(shè)置的。如果不使用第二個值(例如：僅僅設(shè)置了第一個值),默認的是系統(tǒng)中的設(shè)置，是通過set_system(pregenerate_shape_models',)來設(shè)置的，對于默認值是(pregenerate_shape_models'=false'),模型

12、沒有進行預(yù)處理.模型的預(yù)處理設(shè)置通常會導致比較低的運行時間，因為模型不需要在運行時間時轉(zhuǎn)換。然而在這種情況下,內(nèi)存的要求和創(chuàng)建模板所需要的時間是比較高的。還應(yīng)該指出，不能指望這兩個模式返回完全相同的結(jié)果，因為在運行時變換一定會導致變換模型和預(yù)處理變換模型之間不同的內(nèi)部數(shù)據(jù)。比如，如果模型沒有completelypregenerated，在find_shape_model函數(shù)中通常返回一個較低的scores，這可能需要將MinScore設(shè)置成一個較低的值。此外，在兩個模型中插值法獲得的位置可能略有不同。如果希望是最高精確度，應(yīng)該使用最小二乘調(diào)整得到模型位置。參數(shù)Contras決定著模型點的對比度

13、。對比度是用來測量目標與背景之間和目標不同部分之間局部的灰度值差異。Contrast的選擇應(yīng)該確保模板中的主要特征用于模型中。Contrast也可以是兩個數(shù)值，這時模板使用近似edges_image函數(shù)中滯后閾值的算法進行分割。這里第一個數(shù)值是比較低的閾值，第二個數(shù)值是比較高的閾值。Contrast也可以包含第三個，這個數(shù)值是在基于組件尺寸選擇重要模型組件時所設(shè)置的閾值，比如，比指定的最小尺寸的點數(shù)還少的組件將被抑制。這個最小尺寸的閾值會在每相鄰的金字塔層之間除以2。如果一個小的模型組件被抑制，但是不使用滯后閾值，然而在Contrast中必須指定三個數(shù)值，在這種情況下前兩個數(shù)值設(shè)置成相同的數(shù)值

14、。這個參數(shù)的設(shè)置可以在inspect_shape_model函數(shù)中查看效果。如果Contrast設(shè)置為'auto'，create_shape_model將會自動確定三個上面描述的數(shù)值?；蛘邇H僅自動設(shè)置對比度(auto_contrast')，滯后閾值(auto_contrast_hyst')或是最小尺寸(auto_min_size')中一個。其他沒有自動設(shè)置的數(shù)值可以按照上面的格式再進行設(shè)置?？梢栽试S各種組合，例如：如果設(shè)置auto_contrast','auto_min_size',對比度和最小尺寸自動確定；如果設(shè)置auto_mi

15、n_size',20,30,最小尺寸會自動設(shè)定，而滯后閾值被設(shè)為20和30。有時候可能對比度閾值自動設(shè)置的結(jié)果是不滿意的，例如，由于一些具體應(yīng)用的原因當某一個模型組件是被包含或是被抑制時，或是目標包含幾種不同的對比度時，手動設(shè)置這些參數(shù)效果會更好。因此對比度閾值可以使用determine_shape_model_params函數(shù)自動確定，也可以在調(diào)用create_shape_model之前使用inspect_shape_mode函數(shù)檢查效果。MinContrast用來確定在執(zhí)行find_shape_model函數(shù)進行識別時模型的哪一個對比度必須存在，也就是說，這個參數(shù)將模型從噪聲圖像中

16、分離出來。因此一個好的選擇應(yīng)該是在圖像中噪聲所引起的灰度變化范圍。例如，如果灰度浮動在10個灰度級內(nèi)，MinContrast應(yīng)該設(shè)置成10。如果模板和搜索圖像是多通道圖像，Metric參數(shù)設(shè)置成'ignore_color_polarity'，在一個通道中的噪聲必須乘以通道個數(shù)的平方根再去設(shè)置MinContrast。例如，如果灰度值在一個通道的浮動范圍是10個灰度級，圖像是三通道的，那么MinContrast應(yīng)該設(shè)置為17。很顯然，MinContrast必須小于Contrast。如果要在對比度較低的圖像中識別模板，MinContrast必須設(shè)置為一個相對較小的數(shù)值。如果要是模板即

17、使嚴重遮擋（occluded）也能識別出來，MinContrast應(yīng)該設(shè)置成一個比噪聲引起的灰度浮動范圍略大的數(shù)值，這樣才能確保在find_shape_model函數(shù)中提取出模板準確的位置和旋轉(zhuǎn)角度。如果MinContrast設(shè)置為'auto'，最小對比度會基于模板圖像中的噪聲自動定義。因此自動設(shè)定僅僅在搜索圖像和模板圖像噪聲近似時才可以使用。此外，在某些情況下為了遮擋的魯棒性，采用自動設(shè)定數(shù)值是比較好的。使用get_shape_model_params函數(shù)可以查詢自動計算的最小對比度。參數(shù)Metric定義了在圖像中匹配模板的條件。如果Metric二use_polarity&#

18、39;，圖像中的目標必須和模型具有一樣的對比度。例如，如果模型是一個亮的目標在一個暗的背景上，那么僅僅那些比背景亮的目標可以找到。如果Metric=ignore_global_polarity；在兩者對比度完全相反時也能找到目標。在上面的例子中，如果目標是比背景暗的也能將目標找到°find_shape_model函數(shù)的運行時間在這種情況下將會略微增加。如果Metric=ignore_local_polarity',即使局部對比度改變也能找到模型。例如，當目標包含一部分中等灰度，并且其中部分比較亮部分比較暗時，這種模式是非常有用的。由于這種模式下find_shape_model

19、函數(shù)的運行時間顯著增加，最好的方法是使用create_shape_model創(chuàng)建幾個反映目標可能的對比度變化的模型，同時使用find_shape_models去匹配他們。上面三個metrics僅僅適用于單通道圖像。如果是多通道圖像作為模板圖像或搜索圖像，僅僅第一個通道被使用。如果Metric='ignore_color_polarity',即使顏色對比度局部變化也能找到模型。例如，當目標的部分區(qū)域顏色發(fā)生變化（e.g.從紅到綠）的情況。如果不能提前知道目標在哪一個通道是可見的這種模式是非常有用的。在這種情況下find_shape_model函數(shù)的運行時間也會急劇增加。'

20、ignore_color_polarity'可以使用于具有任意通道數(shù)目的圖像中。如果使用于單通道圖像，他的效果和'ignoreocal_polarity'是完全相同的。當Metric=ignore_color_polarity'時，create_shape_model創(chuàng)建的模板通道數(shù)目和find_shape_model中的圖像通道數(shù)目可以是不同的。例如，可以使用綜合生成的單通道圖像創(chuàng)建模型。另外，這些通道不需要是經(jīng)過光譜細分（像RGB圖像）的。這些通道還可以包括具有在不同方向照亮同一個目標所獲得的圖像。模型圖像Template的domain區(qū)域的重心是模板的初始

21、位置，可以在set_shape_model_origin函數(shù)中設(shè)置不同的初始位置。LIntExportHerrorfind_shape_model(constHobject&Image,/搜索圖像HlongModelID,/模板句柄DoubleAngleStart,/搜索時的起始角度DoubleAngleExtent,/搜索時的角度范圍，必須與創(chuàng)建模板時的有交集。DoubleMinScore,/輸出的匹配的質(zhì)量系數(shù)Score都得大于該值HlongNumMatches,/定義要輸出的匹配的最大個數(shù)DoubleMaxOverlap,/當找到的目標存在重疊時，且重疊大于該值時選/擇一

22、個好的輸出constchar*SubPixel,/計算精度的設(shè)置，五種模式，多選2，3HlongNumLevels,/搜索時金字塔的層數(shù)DoubleGreediness,/貪婪度，搜索啟發(fā)式，一般都設(shè)為0.9，越高速度快/容易出現(xiàn)找不到的情況Halcon:HTuple*Row,/輸出匹配位置的行坐標Halcon:HTuple*Column,/輸出匹配位置的列坐標Halcon:HTuple*Angle,/輸出匹配角度Halcon:HTuple*進一步分析：Score)/輸出匹配質(zhì)量注意Row、Column的坐標并不是模板在搜索圖像中的精確位置，因此不能直接使用他們。這些數(shù)值是為了創(chuàng)建變換矩陣被優(yōu)

23、化后的，你可以用這個矩陣的匹配結(jié)果完成各種任務(wù)，比如調(diào)整后續(xù)步驟的ROI。Score是一個0到1之間的數(shù)，是模板在搜索圖像中可見比例的近似測量。如果模板的一半被遮擋，該值就不能超過0.5。Image的domain定義了模型參考點的搜索區(qū)域，模型參考點是在create_shape_model中用來創(chuàng)建模型的圖像的domain區(qū)域的重心。不考慮使用函數(shù)set_shape_model_origin設(shè)置不同的初始位置。在圖像domain區(qū)域的這些點內(nèi)搜索模型，其中模型完全屬于這幅圖像。這意味著如果模型超出圖像邊界，即使獲得的質(zhì)量系數(shù)(SCOre)大于MinScore也不能找到模型。這種性能可以通過se

24、t_system(border_shape_models','true')改變，這樣那些超出圖像邊界，質(zhì)量系數(shù)大于MinScore的模型也能找到。這時那些在圖像外面的點看作是被遮擋了，可以降低質(zhì)量系數(shù)。在這種模式下搜索的時間將要增加。參數(shù)AngleStart和AngleExtent確定了模型搜索的旋轉(zhuǎn)角度，如果有必要，旋轉(zhuǎn)的范圍會被截取成為create_shape_model函數(shù)中給定的旋轉(zhuǎn)范圍。這意味著創(chuàng)建模型和搜索時的角度范圍必須真正的重疊。在搜索時的角度范圍不會改變?yōu)槟?*pi的。為了簡化介紹，在該段落剩下的部分所有角度都用度來表示，而在find_shape_mo

25、del函數(shù)中使用弧度來設(shè)置的。因此，如果創(chuàng)建模板時，AngleStart=-20°、AngleExtent=40°,在搜索模板函數(shù)find_shape_model中設(shè)置AngleStart=350°、AngleExtent=20°,盡管角度模360后是重疊的，還是會找不到模板的。為了找到模板，在這個例子中必須將AngleStart=350°改為AngleStart=-10°。參數(shù)MinScore定義模板匹配時至少有個什么樣的質(zhì)量系數(shù)才算是在圖像中找到模板。MinScore設(shè)置的越大，搜索的就越快。如果模板在圖像中沒有被遮擋，MinSc

26、ore可以設(shè)置為0.8這么高甚至0.9。NumMatches定義了在圖像上找到模板的最大的個數(shù)。如果匹配時的質(zhì)量系數(shù)大于MinScore的目標個數(shù)多于NumMatches，僅僅返回質(zhì)量系數(shù)最好的NumMatches個目標位置。如果找的匹配目標不足NumMatches，那么就只返回找到的這幾個。參數(shù)MinScore優(yōu)于NumMatches。如果模型具有對稱性，會在搜索圖像的同一位置和不同角度上找到多個與目標匹配的區(qū)域。參數(shù)MaxOverlap是0到1之間的，定義了找到的兩個目標區(qū)域最多重疊的系數(shù)，以便于把他們作為兩個不同的目標區(qū)域分別返回。如果找到的兩個目標區(qū)域彼此重疊并且大于MaxOverla

27、p，僅僅返回效果最好的一個。重疊的計算方法是基于找到的目標區(qū)域的任意方向的最小外接矩形（看smallest_rectangle2）。如果MaxOverlap=0,找到的目標區(qū)域不能存在重疊,如果MaxOverlap=1,所有找到的目標區(qū)域都要返回。SubPixel確定找到的目標是否使用亞像素精度提取。如果SubPixel設(shè)置為'none'（或者'false'背景兼容），模型的位置僅僅是一個像素精度和在create_shape_model中定義的角度分辨率。如果SubPixel設(shè)置為'interpolation'（或'true'），位置和角度都是亞像素精度的。在這種模式下模型的位置是在質(zhì)量系數(shù)函數(shù)中插