圖像分割與邊緣檢測

關(guān)于圖像分割與邊緣檢測第5章圖像分割與邊緣檢測圖像分割邊緣檢測輪廓跟蹤與提取圖像匹配投影法與差影法第2頁,共63頁，2024年2月25日，星期天1、圖像分割圖像分割是將圖像劃分成若干個互不相交的小區(qū)域的過程,小區(qū)域是某種意義下具有共同屬性的像素的連通集合。如不同目標物件所占的圖像區(qū)域、前景所占的圖像區(qū)域等。連通是指集合中任意兩個點之間都存在著完全屬于該集合的連通路徑，對于離散圖像而言，連通有4連通和8連通之分。第3頁,共63頁，2024年2月25日，星期天1、圖像分割4連通指的是從區(qū)域上一點出發(fā)，可通過4個方向，即上、下、左、右移動的組合，在不越出區(qū)域的前提下，到達區(qū)域內(nèi)的任意像素；8連通方法指的是從區(qū)域上一點出發(fā)，可通過左、右、上、下、左上、右上、左下、右下這8個方向的移動組合來到達區(qū)域內(nèi)的任意像素。圖像分割有三種不同的途徑：其一是將各像素劃歸到相應(yīng)物體或區(qū)域的像素聚類方法,即區(qū)域法；其二是通過直接確定區(qū)域間的邊界來實現(xiàn)分割的邊界方法；其三是首先檢測邊緣像素，再將邊緣像素連接起來構(gòu)成邊界形成分割。在圖像分割技術(shù)中，最常用的是利用閾值化處理進行的圖像分割。第4頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割常用的圖像分割方法是把圖像灰度分成不同的等級，然后用設(shè)置灰度門限（閾值）的方法確定有意義的區(qū)域或分割物體的邊界。常用的閾值化處理就是圖像的二值化處理，即選擇一閾值，將圖像轉(zhuǎn)換為黑白二值圖像，用于圖像分割及邊緣跟蹤等預(yù)處理。圖像閾值化處理的變換函數(shù)表達式為：第5頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割圖像閾值化處理其實質(zhì)是一種圖像灰度級的非線形運算，它的功能是由用戶指定一個閾值，如果圖像中某個像素的灰度值小于該閾值，則將該像素的灰度值置為0，否則將其灰度值置為255。其變換函數(shù)的曲線為：第6頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割在圖像的閾值化處理過程中，選用不同的閾值其處理結(jié)果差異很大。如下圖所示,閾值過大，會提取多余的部分；而閾值過小，又會丟失所需的部分（注意：當前背景為黑色，對象為白色時剛好相反）。因此，閾值的選取非常重要。分析圖(a)原始圖像的直方圖可知，該直方圖具有雙峰特性，圖像中的目標（細胞）分布在較暗的灰度級上形成一個波峰，圖像中的背景分布在較亮的灰度級上形成另一個波峰。此時，用其雙峰之間的谷低處灰度值作為閾值T進行圖像的閾值化處理，便可將目標和背景分割開來。第7頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割不同閾值對閾值化結(jié)果的影響(a)原始圖像；(b)閾值T=91；(c)閾值T=130；(d)閾值T=43(a)(b)(c)(d)圖(a)的直方圖第8頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割當圖像中的目標部分和背景之間亮度差較小，即灰度直方圖的雙峰特性不明顯時，直接用直方圖就不太容易確定一個合適的閾值。此時，可用以下幾種方法來確定閾值：（1）判別分析法

（2）p尾法第9頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割-判別分析法判別分析法確定最佳閾值的準則，是使進行閾值處理后分離的像素類之間的類間方差最大。判別分析法只需計算直方圖的0階矩和1階矩，是圖像閾值化處理中常用的自動確定閾值的方法。設(shè)圖像總像素數(shù)為N，灰度值為i的像素數(shù)為Ni，則至灰度級K的灰度分布的0階矩及1階矩分別定義為：

0階矩：

1階矩：第10頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割-判別分析法

當K=L-1時，ω(L-1)=1；μ(L-1)＝μT，μT稱為圖像的平均灰度。設(shè)有M-1個閾值：0≤k1＜k2＜…＜KM-1≤L-1。將圖像分割成M個灰度值的類Cj（Cj∈［kj-1+1,…,kj］;j=1,2,…,M;k0=0,kM=L），則各類Cj的發(fā)生概率ωj和平均值μj為第11頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割-判別分析法由此可得各類的類間方差為：將使上式的σ2值為最大的閾值組(k1,k2，…,kM－1)，作為M值化的最佳閾值組。若取M為2，即分割成2類，則可用上述方法求出二值化的閾值。第12頁,共63頁，2024年2月25日，星期天1.1灰度閾值法分割-p尾法p尾法僅適用于事先已知目標所占全圖像百分比的場合。若一幅圖像由亮背景和黑目標組成，已知目標占圖像的(100－p)%面積，則使得至少(100－p)%的像素閾值化后匹配為目標的最高灰度，將選作用于二值化處理的閾值。第13頁,共63頁，2024年2月25日，星期天1.2區(qū)域生長分割區(qū)域的一種方法叫區(qū)域生長或區(qū)域生成假定區(qū)域的數(shù)目以及在每個區(qū)域中單個點的位置已知，則從一個點開始，加上與已知點相似的鄰近點形成一個區(qū)域。相似性準則可以是灰度級、彩色、組織、梯度或其他特性，相似性的測度可以由所確定的閾值來判定。方法是從滿足檢測準則的點開始，在各個方向上生長區(qū)域，當其鄰近點滿足檢測準則就并入小塊區(qū)域中。當新的點被合并后再用新的區(qū)域重復這一過程，直到?jīng)]有可接受的鄰近點時生成過程終止。第14頁,共63頁，2024年2月25日，星期天1.2區(qū)域生長在實際應(yīng)用區(qū)域生長法時需要解決3個問題：

1.選擇或確定一組能正確代表所需區(qū)域的種子像素

2.確定在生長過程中能將相鄰像素包括進來的準則

3.制定讓生長停止的條件或規(guī)則

種子像素的選取?？山柚唧w問題的特點。例如：在軍用紅外圖像中檢測目標時，由于一般情況下目標輻射較大，所以可選用圖中最亮的像素作為種子像素。如果對具體問題沒有先驗知識，則?？山柚L所用準則對每個像素進行相應(yīng)計算。第15頁,共63頁，2024年2月25日，星期天1.2區(qū)域生長下圖給出一個簡單的例子。此例的相似性準則是鄰近點的灰度級與物體的平均灰度級的差小于2。圖中被接受的點和起始點均用下劃線標出，其中（a）圖是輸入圖像；（b）圖是第一步接受的鄰近點；（c）圖是第二步接受的鄰近點；（d）圖是從6開始生成的結(jié)果。第16頁,共63頁，2024年2月25日，星期天1.3區(qū)域聚合區(qū)域聚合可直接用于圖像分割，它要求聚合中的各個點必須在平面上相鄰接而且特性相似。區(qū)域聚合的步驟是：（1）首先檢查圖像的測度集，以確定在測度空間中聚合的位置和數(shù)目；（2）然后把這些聚合的定義用于圖像，以得到區(qū)域聚合。第17頁,共63頁，2024年2月25日，星期天1.3區(qū)域聚合首先，在圖片上定義某個等價關(guān)系。例如，最簡單的等價關(guān)系可定義為p(i,j)＝p(k,l)。也就是說，如果p(i,j)＝p(k,l)，就說明p(i,j)與p(k,l)等價。任何在點的格子上的等價關(guān)系又可劃分為等價類。例如，p(i,j)的取值范圍為0到63，就可以產(chǎn)生64個等價類的模板。如果關(guān)系滿足，它的值等于1，否則為0。利用等價模板可分成最大的連接區(qū)域，然后，這些最大的連接區(qū)域又可以像搭積木一樣形成有意義的分割。第18頁,共63頁，2024年2月25日，星期天1.3區(qū)域聚合1970年布萊斯和芬尼瑪提出一種分割方法，如下圖所示。圖（a）是具有灰度級的3×3的G陣列，圖（b）是對G的分割結(jié)果。其中，圖像格子為G，它是大格子S的子格子。G為n×m的格子，S是（2n＋1）×（2m＋1）的大格子。在大格子中，G(i,j)點位于S的(2i+1,2j+1)點上。G中的點與S中的點相對應(yīng)，其中每一下標都是奇數(shù)，其余的點用來代表區(qū)域的邊界。以這種形式表現(xiàn)的區(qū)域，產(chǎn)生一種尋找最大連接區(qū)域的方法。G中的點與它上邊和右邊的點相比較，灰度級相同就合并，灰度級不同就插入邊界線。把圖像中的每個點都處理過之后，整個圖像就被分割成區(qū)域。在這個例子中，由于采用了4連通等價關(guān)系，因此，由圖可見，在對角線方向上的等灰度級產(chǎn)生了隔開的區(qū)域。第19頁,共63頁，2024年2月25日，星期天1.3區(qū)域聚合布萊斯和芬尼瑪分割方法第20頁,共63頁，2024年2月25日，星期天2、邊緣檢測在Marr的視覺計算理論框架中，抽取二維圖像上的邊緣、角點、紋理等基本特征，是整個系統(tǒng)框架中的第一步。這些特征所組成的圖稱為基元圖。下圖畫出了一幅圖像中的邊緣點，僅僅根據(jù)這些邊緣點，就能識別出三維物體，可見邊緣點確實包含了圖像中的大量信息。第21頁,共63頁，2024年2月25日，星期天2、邊緣檢測圖像上的邊緣點可能對應(yīng)不同的物理意義，上圖中圖像上的邊緣點可能對應(yīng)以下一種情況:

（1）空間曲面上的不連續(xù)點。如標為A的邊緣線，這些邊緣線為兩個不同曲面的或平面的交線，該點處物體表面的法線方向不連續(xù)，在A類邊緣線的兩邊，圖像的灰度值有明顯的不同。（2）B類邊緣線。B類邊緣線是由不同材料或相同材料不同顏色產(chǎn)生的。圖中桌面由兩種不同材料組成，由于它們對光的反射系數(shù)不同，使B邊緣線的兩側(cè)灰度有明顯不同。第22頁,共63頁，2024年2月25日，星期天2、邊緣檢測

（3）C類邊緣線。C類邊緣線是物體與背景的分界線。如圖中圓柱上有兩條C類邊緣線，這類邊緣線一般稱為外輪廓線。在C類邊緣點上，三維物體表面的法線方向是連續(xù)的，出現(xiàn)邊緣點是由于從一定視角看物體時，C類邊界點是物體與背景的交界處。（4）D邊緣。D是陰影引起的邊緣。由于物體表面某一部分被另一物體遮擋，使它得不到光源的照射，從而引起邊緣點兩側(cè)灰度值有較大的差異。第23頁,共63頁，2024年2月25日，星期天2.1邊緣檢測與微分運算前面說邊緣點是信號“變化劇烈”的地方，但這么說并不準確，需要定義一個準確的邊緣數(shù)學模型。以一維信號為例，下圖（a）是一種階躍信號，我們當然認為A點處為邊緣點。在實際情況中，物理信號不可能有理想的突變，而是如圖（b）所示的逐漸增大的信號，對圖（b）中所示A、B、C三點，一般稱B點為邊緣點。在圖（c）和（d）中，如果臺階比較窄，即可以認為B點為邊緣點，也可以認為該信號有兩個邊緣點A與C。第24頁,共63頁，2024年2月25日，星期天2.1邊緣檢測與微分運算

不同的邊緣信號第25頁,共63頁，2024年2月25日，星期天2.1邊緣檢測與微分運算圖像中不同類型的邊界（a）邊界；（b）線；（c）折線變化；（d）緩慢的平滑變化(a)(b)(d)(c)第26頁,共63頁，2024年2月25日，星期天2.1邊緣檢測與微分運算用Prewitt算子進行邊緣檢測的結(jié)果圖5-10第27頁,共63頁，2024年2月25日，星期天2.2高斯-拉普拉斯(LOG)算子

噪聲點對邊緣檢測有較大的影響，效果更好的邊緣檢測器是高斯-拉普拉斯(LOG)算子。它把高斯平滑濾波器和拉普拉斯銳化濾波器結(jié)合起來，先平滑掉噪聲，再進行邊緣檢測，所以效果更好。常用的LOG算子是5×5的模板：第28頁,共63頁，2024年2月25日，星期天2.2高斯-拉普拉斯(LOG)算子

LOG算子中心點的距離與位置加權(quán)系數(shù)的關(guān)系若將上圖繞y軸作旋轉(zhuǎn)一周后，LOG算子很像一頂墨西哥草帽，所以，LOG又叫墨西哥草帽濾波器。第29頁,共63頁，2024年2月25日，星期天2.3其它邊緣檢測方法Wallis算子過零點檢測（Marr-Hildreth算子）Canny邊緣檢測方法SUSAN（SmallestUnivalueSegmentAssimilatingNucleus）邊緣檢測第30頁,共63頁，2024年2月25日，星期天3、輪廓跟蹤與提取輪廓跟蹤與輪廓提取的目的都是為了獲得圖像的外部輪廓特征，為圖像的形狀分析做準備。輪廓跟蹤輪廓提取第31頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤在識別圖像中的目標時，往往需要對目標邊緣作跟蹤處理，也叫輪廓跟蹤。顧名思義，輪廓跟蹤就是通過順序找出邊緣點來跟蹤邊界的。若圖像是二值圖像或圖像中不同區(qū)域具有不同的像素值，但每個區(qū)域內(nèi)的像素值是相同的，則通過一些算法可完成基于4連通或8連通區(qū)域的輪廓跟蹤。第32頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤步驟1：首先按從上到下，從左到右的順序掃描圖像，尋找沒有標記跟蹤結(jié)束記號的第一個邊界起始點A0，A0是具有最小行和列值的邊界點。定義一個掃描方向變量dir，該變量用于記錄上一步中沿著前一個邊界點到當前邊界點的移動方向，其初始化取值為：

(1)對4連通區(qū)域取dir=3，如下圖(a)所示；

(2)對8連通區(qū)域取dir=7，如下圖(b)所示。第33頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤方向變量的初始化第34頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤步驟2：按逆時針方向搜索當前像素的3×3鄰域，其起始搜索方向設(shè)定如下：

(1)對4連通區(qū)域取(dir+3)mod4，如下圖(a)所示；

(2)對8連通區(qū)域若dir為奇數(shù)取(dir+7)mod8，如下圖(b)所示；若dir為偶數(shù)取(dir+6)mod8，如下圖(c)所示。第35頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤3×3鄰域起始搜索方向第36頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤

在3×3鄰域中搜索到的第一個與當前像素值相同的像素便為新的邊界點An，同時更新變量dir為新的方向值。步驟3：如果An等于第二個邊界點A1且前一個邊界點An-1等于第一個邊界點A0，則停止搜索，結(jié)束跟蹤，否則重復步驟2繼續(xù)搜索。步驟4：由邊界點A0、A1、A2、…、An-2構(gòu)成的邊界便為要跟蹤的邊界。算法中步驟1中所采用的準則稱為“探測準則”，其作用是找出第一個邊界點；步驟3中所采用的準則稱為“跟蹤準則”，其作用是找出所有邊界點。第37頁,共63頁，2024年2月25日，星期天3.1輪廓跟蹤輪廓跟蹤示例第38頁,共63頁，2024年2月25日，星期天3.2輪廓提取二值圖像輪廓提取的算法非常簡單，就是掏空內(nèi)部點：如果原圖像中有一點為黑，且它的8個鄰點都是黑色時，說明該點是內(nèi)部點，將該點刪除（置為白色像素值255）。對圖像中所有像素點執(zhí)行該操作便可完成圖像輪廓的提取。第39頁,共63頁，2024年2月25日，星期天4、圖像匹配在機器識別過程中，常需把不同傳感器或通一傳感器在不同時間、不同成像條件下對同一景物獲取的兩幅或多幅圖像在空間上對準，或根據(jù)已知模式到另一幅圖中尋找相對應(yīng)的模式，這就叫圖像匹配。第40頁,共63頁，2024年2月25日，星期天4.1模板匹配模板匹配是指用一個較小的圖像，即模板與源圖像進行比較，以確定在源圖像中是否存在與該模板相同或相似的區(qū)域，若該區(qū)域存在，還可確定其位置并提取該區(qū)域。模板匹配常用的一種測度為模板與原圖像對應(yīng)區(qū)域的誤差平方和。設(shè)f(x,y)為M×N的原圖像，t(j,k)為J×K(J≤M，K≤N)的模板圖像，則誤差平方和測度定義為：第41頁,共63頁，2024年2月25日，星期天4.1模板匹配將上式展開可得：令：第42頁,共63頁，2024年2月25日，星期天4.1模板匹配DS(x,y)稱為原圖像中與模板對應(yīng)區(qū)域的能量，它與像素位置(x,y)有關(guān)，但隨像素位置(x,y)的變化，DS(x,y)變化緩慢。DST(x,y)稱為模板與原圖像對應(yīng)區(qū)域的互相關(guān)，它隨像素位置(x,y)的變化而變化，當模板t(j,k)和原圖像中對應(yīng)區(qū)域相匹配時取得最大值。DT(x,y)稱為模板的能量，它與圖像像素位置(x,y)無關(guān)，只用一次計算便可。顯然，用展開式計算誤差平方和測度可以減少計算量。第43頁,共63頁，2024年2月25日，星期天4.1模板匹配基于上述分析，若設(shè)DS(x,y)也為常數(shù)，則用DST(x,y)便可進行圖像匹配，當DST(x,y)取最大值時，便可認為模板與圖像是匹配的。但假設(shè)DS(x,y)為常數(shù)會產(chǎn)生誤差，嚴重時將無法正確地完成匹配，因此可用歸一化互相關(guān)作為誤差平方和測度，其定義為：第44頁,共63頁，2024年2月25日，星期天4.1模板匹配下圖給出了模板匹配的示意圖，其中假設(shè)原圖像f(x,y)和模板圖像t(k,l)的原點都在左上角。對任何一個f(x,y)中的(x,y)，根據(jù)歸一化式都可以算得一個R(x,y)值。當x和y變化時，t(j,k)在原圖像區(qū)域中移動并得出R(x,y)所有值。R(x,y)的最大值便指出了與t(j,k)匹配的最佳位置，若從該位置開始在原圖像中取出與模板大小相同的一個區(qū)域，便可得到匹配圖像。第45頁,共63頁，2024年2月25日，星期天4.1模板匹配模板匹配示意圖第46頁,共63頁，2024年2月25日，星期天4.1模板匹配模板匹配的主要局限性在于它只能進行平行移動，如原圖像中要匹配的目標發(fā)生旋轉(zhuǎn)或大小變化，該算法無效。另外，如原圖像中要匹配的目標只有部分可見，該算法也無法完成匹配。第47頁,共63頁，2024年2月25日，星期天4.2直方圖匹配顏色是描述圖像內(nèi)容的一個重要特征。人們已經(jīng)提出了多種借助顏色特征對圖像進行檢索的方法。常用的顏色空間有R、G、B和H、S、I。實際上，利用H、S、I顏色空間進行檢索的效果更好一些，但以下討論主要以R、G、B空間為例。為利用圖像的顏色特征描述圖像，可借助圖像特征的統(tǒng)計直方圖。利用直方圖進行圖像的匹配，這便是直方圖匹配。第48頁,共63頁，2024年2月25日，星期天4.2直方圖匹配--直方圖相交法設(shè)HQ(k)和HD(k)分別為查詢圖像Q和數(shù)據(jù)庫圖像D的特征統(tǒng)計直方圖，則兩圖像之間的匹配值d(Q,D)為第49頁,共63頁，2024年2月25日，星期天4.2直方圖匹配--歐幾里得距離法為減少計算量，可采用直方圖的均值來粗略地表達顏色信息，對圖像的R、G、B三個分量，匹配的特征矢量f是：式中,μR、μG、μB分別是R、G、B三個分量直方圖的0階距。此時查詢圖像Q和數(shù)據(jù)庫圖像D之間的匹配值為：第50頁,共63頁，2024年2月25日，星期天4.2直方圖匹配--中心矩法對直方圖來說，均值為0階矩，更高階的矩也可使用。設(shè)用 分別表示查詢圖像Q的R、G、B三個分量直方圖的i(i≤3)階中心矩；用 分別表示數(shù)據(jù)庫圖像D的R、G、B三個分量直方圖的i(i≤3)階中心矩。它們之間的匹配值為：式中，WR，WG，WB為加權(quán)系數(shù)。第51頁,共63頁，2024年2月25日，星期天4.2直方圖匹配—參考顏色法歐幾里得距離法太粗糙，直方圖相交法計算量太大，一種折衷的方法是將圖像顏色用一組參考色表示，這組參考色應(yīng)能覆蓋視覺上可感受到的各種顏色。參考色的數(shù)量要比原圖像少，這樣可計算簡化的直方圖，所以匹配的特征矢量是：

f=［r1,r2…rN］T

式中：ri是第i種顏色出現(xiàn)的頻率，N是參考顏色表的尺寸。加權(quán)后的查詢圖像Q和數(shù)據(jù)庫圖像D之間的匹配值為：第52頁,共63頁，2024年2月25日，星期天4.2直方圖匹配—其它方法

（1）閿可夫斯基距離法（2）X2直方圖匹配第53頁,共63頁，2024年2月25日，星期天4.3形狀匹配形狀也是描述圖像內(nèi)容的一個重要特征，利用形狀進行匹配需要考慮三個問題：首先，形狀常與目標聯(lián)系在一起，所以相對于顏色，形狀特征可以看作是更高層次的圖像特征。要獲得有關(guān)目標的形狀參數(shù)，常常要先對圖像進行分割，所以形狀特征會受圖像分割效果的影響。其次，目標形狀的描述是一個非常復雜的問題，至今還沒有找到能與人的感覺相一致的圖像形狀的確切數(shù)學定義。最后，從不同視角獲取的圖像中目標形狀可能會有很大差別，為準確進行形狀匹配，需要解決平移、尺度、旋轉(zhuǎn)變換不變性的問題。第54頁,共63頁，2024年2月25日，星期天4.3形狀匹配目前常用的形狀匹配方法：幾何參數(shù)法特