圖象分割與邊緣檢測ppt課件

1、第五章 圖像分割與邊緣檢測 第五章第五章 圖像分割與邊緣檢測圖像分割與邊緣檢測 5.1 圖像分割圖像分割 5.2 邊緣檢測邊緣檢測 5.3 輪廓跟蹤與提取輪廓跟蹤與提取 5.4 圖像匹配圖像匹配 5.5 投影法與差影法投影法與差影法 5.6 應(yīng)用實例應(yīng)用實例 第五章 圖像分割與邊緣檢測 5.1 圖圖 像像 分分 割割 5.1.1 概述概述 圖像分割是將圖像劃分成若干個互不相交的小區(qū)域的過程，圖像分割是將圖像劃分成若干個互不相交的小區(qū)域的過程， 小區(qū)域是某種意義下具有共同屬性的像素的連通集合。如不同小區(qū)域是某種意義下具有共同屬性的像素的連通集合。如不同目標(biāo)物體所占的圖像區(qū)域、目標(biāo)物體所占的圖像區(qū)

2、域、 前景所占的圖像區(qū)域等。連通是指前景所占的圖像區(qū)域等。連通是指集合中任意兩個點(diǎn)之間都存在著完全屬于該集合的連通路徑。集合中任意兩個點(diǎn)之間都存在著完全屬于該集合的連通路徑。對于離散圖像而言，連通有對于離散圖像而言，連通有4連通和連通和8連通之分，如圖連通之分，如圖5-1所示。所示。 第五章 圖像分割與邊緣檢測 圖5-1 4連通和8連通 (a)(b)第五章 圖像分割與邊緣檢測 4連通指的是從區(qū)域上一點(diǎn)出發(fā)，可通過4個方向，即上、 下、左、右移動的組合，在不越出區(qū)域的前提下，到達(dá)區(qū)域內(nèi)的任意像素； 8連通方法指的是從區(qū)域上一點(diǎn)出發(fā)，可通過左、 右、上、下、左上、右上、左下、右下這8個方向的移動組

3、合來到達(dá)區(qū)域內(nèi)的任意像素。 圖像分割有三種不同的途徑：其一是將各像素劃歸到相應(yīng)物體或區(qū)域的像素聚類方法, 即區(qū)域法；其二是通過直接確定區(qū)域間的邊界來實現(xiàn)分割的邊界方法；其三是首先檢測邊緣像素， 再將邊緣像素連接起來構(gòu)成邊界形成分割。在圖像分割技術(shù)中， 最常用的是利用閾值化處理進(jìn)行的圖像分割。 第五章 圖像分割與邊緣檢測 5.1.2 灰度閾值法分割灰度閾值法分割 常用的圖像分割方法是把圖像灰度分成不同的等級，常用的圖像分割方法是把圖像灰度分成不同的等級， 然后然后用設(shè)置灰度門限閾值的方法確定有意義的區(qū)域或分割物體用設(shè)置灰度門限閾值的方法確定有意義的區(qū)域或分割物體的邊界。常用的閾值化處理就是圖像的

4、二值化處理，的邊界。常用的閾值化處理就是圖像的二值化處理， 即選擇一即選擇一閾值，將圖像轉(zhuǎn)換為黑白二值圖像，閾值，將圖像轉(zhuǎn)換為黑白二值圖像， 用于圖像分割及邊緣跟蹤用于圖像分割及邊緣跟蹤等預(yù)處理。等預(yù)處理。 圖像閾值化處理的變換函數(shù)表達(dá)式為圖像閾值化處理的變換函數(shù)表達(dá)式為 TyxfTyxfyxg),(255),(0),(5-1) 第五章 圖像分割與邊緣檢測 圖5-2 閾值變換曲線 2550T255gf第五章 圖像分割與邊緣檢測 在圖像的閾值化處理過程中， 選用不同的閾值其處理結(jié)果差異很大。如圖5-3所示, 閾值過大， 會提取多余的部分； 而閾值過小，又會丟失所需的部分留意： 當(dāng)前背景為黑色，

5、對象為白色時剛好相反）。因此，閾值的選取非常重要。 圖5-3(a)原始圖像的直方圖如圖5-4所示。分析該直方圖可知， 該直方圖具有雙峰特性，圖像中的目標(biāo)細(xì)胞分布在較暗的灰度級上形成一個波峰，圖像中的背景分布在較亮的灰度級上形成另一個波峰。此時，用其雙峰之間的谷低處灰度值作為閾值T進(jìn)行圖像的閾值化處理，便可將目標(biāo)和背景分割開來。 第五章 圖像分割與邊緣檢測 圖5-3 不同閾值對閾值化結(jié)果的影響(a) 原始圖像； (b) 閾值T=91； (c) 閾值T=130； (d) 閾值T=43(a)(b)(c)(d)第五章 圖像分割與邊緣檢測 圖5-4 圖5-3(a)所示圖像的直方圖 第五章 圖像分割與邊緣

6、檢測 1. 判別分析法確定最佳閾值 判別分析法確定最佳閾值的準(zhǔn)則， 是使進(jìn)行閾值處理后分離的像素類之間的類間方差最大。判別分析法只需計算直方圖的0階矩和1階矩，是圖像閾值化處理中常用的自動確定閾值的方法。 設(shè)圖像總像素數(shù)為N，灰度值為i的像素數(shù)為Ni，則至灰度級K的灰度分布的0階矩及1階矩分別定義為 0階矩： KiiNNk0)(5-2)第五章 圖像分割與邊緣檢測 1階矩： KiiNNik0)(5-3) 當(dāng)K=L-1時，(L-1)=1；(L-1)T，T稱為圖像的平均灰度。 設(shè)有M-1個閾值：0k1k2KM-1L-1。 將圖像分割成M個灰度值的類CjCjkj-1+1, , kj; j=1, 2,

7、, M ; k0=0, kM=L），則各類Cj的發(fā)生概率j和平均值j為 )()()()()()(111jjjjjjjjkkkkkk(5-4)(5-5)式中, (0)=0，(0)=0。 第五章 圖像分割與邊緣檢測 由此可得各類的類間方差為 MjrjjMkkk121212)(),( 將使上式的2值為最大的閾值組(k1, k2， , kM1)， 作為M值化的最佳閾值組。若取M為2，即分割成2類，則可用上述方法求出二值化的閾值。 (5-6)第五章 圖像分割與邊緣檢測 2. p尾法確定閾值 p尾法僅適用于事先已知目標(biāo)所占全圖像百分比的場合。若一幅圖像由亮背景和黑目標(biāo)組成，已知目標(biāo)占圖像的(100p)%面

8、積，則使得至少(100p)%的像素閾值化后匹配為目標(biāo)的最高灰度， 將選作用于二值化處理的閾值。 第五章 圖像分割與邊緣檢測 5.1.3 區(qū)域生長區(qū)域生長 分割的目的是把一幅圖像劃分成一些區(qū)域，分割的目的是把一幅圖像劃分成一些區(qū)域， 最直接的方法就最直接的方法就是把一幅圖像分成滿足某種判據(jù)的區(qū)域，也就是說，是把一幅圖像分成滿足某種判據(jù)的區(qū)域，也就是說， 把點(diǎn)組成區(qū)把點(diǎn)組成區(qū)域。為了實現(xiàn)分組，域。為了實現(xiàn)分組， 首先要確定區(qū)域的數(shù)目，首先要確定區(qū)域的數(shù)目， 其次要確定一個其次要確定一個區(qū)域與其他區(qū)域相區(qū)別的特征，區(qū)域與其他區(qū)域相區(qū)別的特征， 最后還要產(chǎn)生有意義分割的相似最后還要產(chǎn)生有意義分割的相似

9、性判據(jù)。性判據(jù)。 第五章 圖像分割與邊緣檢測 分割區(qū)域的一種方法叫區(qū)域生長或區(qū)域生成。假定區(qū)域的數(shù)目以及在每個區(qū)域中單個點(diǎn)的位置已知，則從一個已知點(diǎn)開始， 加上與已知點(diǎn)相似的鄰近點(diǎn)形成一個區(qū)域。相似性準(zhǔn)則可以是灰度級、 彩色、 組織、 梯度或其他特性， 相似性的測度可以由所確定的閾值來判定。方法是從滿足檢測準(zhǔn)則的點(diǎn)開始， 在各個方向上生長區(qū)域，當(dāng)其鄰近點(diǎn)滿足檢測準(zhǔn)則就并入小塊區(qū)域中。當(dāng)新的點(diǎn)被合并后再用新的區(qū)域重復(fù)這一過程， 直到?jīng)]有可接受的鄰近點(diǎn)時生成過程終止。 第五章 圖像分割與邊緣檢測 圖5-5給出一個簡單的例子。此例的相似性準(zhǔn)則是鄰近點(diǎn)的灰度級與物體的平均灰度級的差小于2。圖中被接受的

10、點(diǎn)和起始點(diǎn)均用下劃線標(biāo)出， 其中a圖是輸入圖像；（b圖是第一步接受的鄰近點(diǎn)； （c圖是第二步接受的鄰近點(diǎn)； （d圖是從6開始生成的結(jié)果。 第五章 圖像分割與邊緣檢測 圖5-5 區(qū)域生長示例 第五章 圖像分割與邊緣檢測 當(dāng)生成任意物體時，接收準(zhǔn)則可以結(jié)構(gòu)為基礎(chǔ)， 而不是以灰度級或?qū)Ρ榷葹榛A(chǔ)。為了把候選的小群點(diǎn)包含在物體中， 可以檢測這些小群點(diǎn)，而不是檢測單個點(diǎn)， 如果它們的結(jié)構(gòu)與物體的結(jié)構(gòu)足夠相似時就接受它們。 第五章 圖像分割與邊緣檢測 5.1.4 區(qū)域聚合區(qū)域聚合 區(qū)域聚合可直接用于圖像分割，它要求聚合中的各個點(diǎn)必區(qū)域聚合可直接用于圖像分割，它要求聚合中的各個點(diǎn)必須在平面上相鄰接而且特性相

11、似。區(qū)域聚合的步驟是首先檢查須在平面上相鄰接而且特性相似。區(qū)域聚合的步驟是首先檢查圖像的測度集，圖像的測度集， 以確定在測度空間中聚合的位置和數(shù)目，然后以確定在測度空間中聚合的位置和數(shù)目，然后把這些聚合的定義用于圖像，把這些聚合的定義用于圖像， 以得到區(qū)域聚合。區(qū)域聚合技術(shù)以得到區(qū)域聚合。區(qū)域聚合技術(shù)可以說明如下?？梢哉f明如下。 首先，在圖片上定義某個等價關(guān)系。例如，首先，在圖片上定義某個等價關(guān)系。例如， 最簡單的等價最簡單的等價關(guān)系可定義為關(guān)系可定義為p(i, j)p(k, l)。也就是說，如果。也就是說，如果p(i, j)p(k, l)， 就說明就說明p(i, j)與與p(k, l)等價。

12、任何在點(diǎn)的格子上的等價關(guān)系又可等價。任何在點(diǎn)的格子上的等價關(guān)系又可劃分為等價類。例如，劃分為等價類。例如，p(i, j)的取值范圍為的取值范圍為0到到63，就可以產(chǎn)生，就可以產(chǎn)生64個等價類的模板。如果關(guān)系滿足，個等價類的模板。如果關(guān)系滿足， 它的值等于它的值等于1，否則為，否則為0。 第五章 圖像分割與邊緣檢測 模板的圖像是兩兩不相交的，那么64個模板就會充滿整個格子。這些等價的類又可進(jìn)一步分為最大連接的子集連接分量）。連接性可以用點(diǎn)(i , j)的鄰點(diǎn)來定義，如4連通鄰點(diǎn)、8連通鄰點(diǎn)等等。假如R是屬于格子的子集，在R中存在一個點(diǎn)序列， 第一個點(diǎn)是p1，最后一個點(diǎn)是p2，屬于格子的子集R的兩

13、個點(diǎn)p1和p2是被連接起來的，這樣，相繼的各點(diǎn)是4連接相鄰的。通過這樣的連接關(guān)系可以定義一個屬于R的子集，這個子集形成一個區(qū)域，在這個區(qū)域中，任何點(diǎn)都與R有關(guān)。利用等價模板可分成最大的連接區(qū)域，然后，這些最大的連接區(qū)域又可以像搭積木一樣形成有意義的分割。 第五章 圖像分割與邊緣檢測 1970年布萊斯和芬尼瑪提出一種分割方法，如圖5-6所示。圖a是具有灰度級的33的G陣列，圖b是對G的分割結(jié)果。其中，圖像格子為G，它是大格子S的子格子。G為nm的格子， S是2n1）（2m1的大格子。在大格子中，G(i, j)點(diǎn)位于S的(2i+1, 2j+1)點(diǎn)上。G中的點(diǎn)與S中的點(diǎn)相對應(yīng)，其中每一下標(biāo)都是奇數(shù)，

14、 其余的點(diǎn)用來代表區(qū)域的邊界。以這種形式表現(xiàn)的區(qū)域，產(chǎn)生一種尋找最大連接區(qū)域的方法。G中的點(diǎn)與它上邊和右邊的點(diǎn)相比較，灰度級相同就合并，灰度級不同就插入邊界線。把圖像中的每個點(diǎn)都處理過之后，整個圖像就被分割成區(qū)域。在這個例子中，由于采用了4連通等價關(guān)系，因此，由圖可見，在對角線方向上的等灰度級產(chǎn)生了隔開的區(qū)域。 第五章 圖像分割與邊緣檢測 圖5-6 布萊斯和芬尼瑪分割方法 544254125544214552(a)(b)第五章 圖像分割與邊緣檢測 5.2 邊邊 緣緣 檢檢 測測 在Marr的視覺計算理論框架中，抽取二維圖像上的邊緣、 角點(diǎn)、紋理等基本特征，是整個系統(tǒng)框架中的第一步。這些特征所組

15、成的圖稱為基元圖。Yuille等指出， 在不同“尺度意義下的邊緣點(diǎn)，在一定條件下包含了原圖像的全部信息。圖5-7畫出了一幅圖像中的邊緣點(diǎn)，僅僅根據(jù)這些邊緣點(diǎn)，就能識別出三維物體， 可見邊緣點(diǎn)確實包含了圖像中的大量信息。 第五章 圖像分割與邊緣檢測 圖5-7 圖像中的邊緣點(diǎn) ACCACBDCC第五章 圖像分割與邊緣檢測 （1） 空間曲面上的不連續(xù)點(diǎn)。如標(biāo)為A的邊緣線，這些邊緣線為兩個不同曲面的或平面的交線，該點(diǎn)處物體表面的法線方向不連續(xù)，在A類邊緣線的兩邊， 圖像的灰度值有明顯的不同。 （2B類邊緣線。B類邊緣線是由不同材料或相同材料不同顏色產(chǎn)生的。圖中桌面由兩種不同材料組成，由于它們對光的反射

16、系數(shù)不同， 使B邊緣線的兩側(cè)灰度有明顯不同。 第五章 圖像分割與邊緣檢測 （3C類邊緣線。C類邊緣線是物體與背景的分界線。如圖中圓柱上有兩條C類邊緣線，這類邊緣線一般稱為外輪廓線。在C類邊緣點(diǎn)上，三維物體表面的法線方向是連續(xù)的，出現(xiàn)邊緣點(diǎn)是由于從一定視角看物體時，C類邊界點(diǎn)是物體與背景的交界處。由于物體與背景在光照條件與材料反射系數(shù)等方面差異很大， 因此在C類邊緣兩側(cè)， 圖像的灰度也有很大差異。圖中標(biāo)以C的邊緣，即是物體與背景的交界處， 也是物體上表面法線的不連續(xù)處，但引起它兩側(cè)灰度躍變的原因是前者。 （4D邊緣。D是陰影引起的邊緣。由于物體表面某一部分被另一物體遮擋，使它得不到光源的照射，從

17、而引起邊緣點(diǎn)兩側(cè)灰度值有較大的差異。 第五章 圖像分割與邊緣檢測 5.2.1 邊緣檢測與微分運(yùn)算邊緣檢測與微分運(yùn)算 如前所述，邊緣點(diǎn)是信號如前所述，邊緣點(diǎn)是信號“變化劇烈的地方，但這么說并變化劇烈的地方，但這么說并不準(zhǔn)確，需要定義一個準(zhǔn)確的邊緣數(shù)學(xué)模型。以一維信號為例，不準(zhǔn)確，需要定義一個準(zhǔn)確的邊緣數(shù)學(xué)模型。以一維信號為例， 圖圖5-8a是一種階躍信號，我們當(dāng)然認(rèn)為是一種階躍信號，我們當(dāng)然認(rèn)為A點(diǎn)處為邊緣點(diǎn)。在點(diǎn)處為邊緣點(diǎn)。在實際情況中，物理信號不可能有理想的突變，實際情況中，物理信號不可能有理想的突變， 而是如圖而是如圖5-8b所示的逐漸增大的信號，對圖所示的逐漸增大的信號，對圖5-8b中所

18、示中所示A、B、C三點(diǎn)，三點(diǎn)， 一般稱一般稱B點(diǎn)為邊緣點(diǎn)。在圖點(diǎn)為邊緣點(diǎn)。在圖5-8c和和5-8d中，如果臺階中，如果臺階比較窄，即可以認(rèn)為比較窄，即可以認(rèn)為B點(diǎn)為邊緣點(diǎn)，也可以認(rèn)為該信號有兩個邊點(diǎn)為邊緣點(diǎn)，也可以認(rèn)為該信號有兩個邊緣點(diǎn)緣點(diǎn)A與與C。 第五章 圖像分割與邊緣檢測 圖5-8 不同的邊緣信號 ABCABCABC(b)(c)(d)第五章 圖像分割與邊緣檢測 圖5-9 圖像中不同類型的邊界（a） 邊境； （b） 線； （c） 折線變化； （d） 緩慢的平滑變化 (a)(b)(d)(c)第五章 圖像分割與邊緣檢測 圖5-10 用Prewitt算子進(jìn)行邊緣檢測的結(jié)果 圖5-10第五章 圖像

19、分割與邊緣檢測 5.2.2 高斯高斯-拉普拉斯拉普拉斯(LOG)算子算子 噪聲點(diǎn)對邊緣檢測有較大的影響，噪聲點(diǎn)對邊緣檢測有較大的影響， 效果更好的邊緣檢測器是高效果更好的邊緣檢測器是高斯斯-拉普拉斯拉普拉斯(LOG)算子。它把高斯平滑濾波器和拉普拉斯銳化濾算子。它把高斯平滑濾波器和拉普拉斯銳化濾波器結(jié)合起來，先平滑掉噪聲，再進(jìn)行邊緣檢測，所以效果更好。波器結(jié)合起來，先平滑掉噪聲，再進(jìn)行邊緣檢測，所以效果更好。 常用的常用的LOG算子是算子是55的模板：的模板： 244424080448*24844080424442第五章 圖像分割與邊緣檢測 圖5-11 LOG算子中心點(diǎn)的距離與位置加權(quán)系數(shù)的關(guān)

20、系Oxy第五章 圖像分割與邊緣檢測 若將圖5-11繞y軸作旋轉(zhuǎn)一周后，LOG算子很像一頂墨西哥草帽， 所以，LOG又叫墨西哥草帽濾波器。 在圖像邊緣檢測中， 還有Wallis算子、 過零點(diǎn)檢測Marr-Hildreth算子）、 Canny邊緣檢測方法、 SUSANSmallest Univalue Segment Assimilating Nucleus邊緣檢測等。 第五章 圖像分割與邊緣檢測 5.3 輪廓跟蹤與提取輪廓跟蹤與提取5.3.1 輪廓跟蹤輪廓跟蹤 在識別圖像中的目標(biāo)時，往往需要對目標(biāo)邊緣作跟蹤處理，在識別圖像中的目標(biāo)時，往往需要對目標(biāo)邊緣作跟蹤處理， 也叫輪廓跟蹤。顧名思義，輪廓跟

21、蹤就是通過順序找出邊緣點(diǎn)來也叫輪廓跟蹤。顧名思義，輪廓跟蹤就是通過順序找出邊緣點(diǎn)來跟蹤邊界的。若圖像是二值圖像或圖像中不同區(qū)域具有不同的像跟蹤邊界的。若圖像是二值圖像或圖像中不同區(qū)域具有不同的像素值，但每個區(qū)域內(nèi)的像素值是相同的，則如下算法可完成基于素值，但每個區(qū)域內(nèi)的像素值是相同的，則如下算法可完成基于4連通或連通或8連通區(qū)域的輪廓跟蹤。連通區(qū)域的輪廓跟蹤。 第五章 圖像分割與邊緣檢測 步驟1： 首先按從上到下， 從左到右的順序掃描圖像， 尋找沒有標(biāo)記跟蹤結(jié)束記號的第一個邊界起始點(diǎn)A0， A0是具有最小行和列值的邊界點(diǎn)。定義一個掃描方向變量dir， 該變量用于記錄上一步中沿著前一個邊界點(diǎn)到當(dāng)

22、前邊界點(diǎn)的移動方向， 其初始化取值為 (1) 對4連通區(qū)域取dir = 3， 如圖5-12(a)所示； (2) 對8連通區(qū)域取dir = 7， 如圖5-12(b)所示。 第五章 圖像分割與邊緣檢測 圖5-12 方向變量的初始化 123024603175(a)(b)第五章 圖像分割與邊緣檢測 步驟2： 按逆時針方向搜索當(dāng)前像素的33鄰域， 其起始搜索方向設(shè)定如下： (1) 對4連通區(qū)域取(dir + 3)mod 4， 如圖5-13(a)所示； (2) 對8連通區(qū)域， 若dir為奇數(shù)取(dir + 7)mod 8， 如圖5-13(b)所示； 若dir為偶數(shù)取(dir + 6) mod 8， 如圖5

23、-13(c)所示。 第五章 圖像分割與邊緣檢測 圖5-13 33鄰域起始搜索方向 (a)(b)(c)第五章 圖像分割與邊緣檢測 在33鄰域中搜索到的第一個與當(dāng)前像素值相同的像素便為新的邊界點(diǎn)An，同時更新變量dir為新的方向值。 步驟3：如果An等于第二個邊界點(diǎn)A1且前一個邊界點(diǎn)An-1等于第一個邊界點(diǎn)A0，則停止搜索，結(jié)束跟蹤，否則重復(fù)步驟2繼續(xù)搜索。 步驟4：由邊界點(diǎn)A0、A1、A2、An-2構(gòu)成的邊界便為要跟蹤的邊界。 算法中步驟1中所采用的準(zhǔn)則稱為“探測準(zhǔn)則”， 其作用是找出第一個邊界點(diǎn)；步驟3中所采用的準(zhǔn)則稱為“跟蹤準(zhǔn)則”，其作用是找出所有邊界點(diǎn)。 第五章 圖像分割與邊緣檢測 圖5-

24、14 輪廓跟蹤示例第五章 圖像分割與邊緣檢測 5.3.2 輪廓提取輪廓提取 二值圖像輪廓提取的算法非常簡單， 就是掏空內(nèi)部點(diǎn)： 如果原圖像中有一點(diǎn)為黑，且它的8個鄰點(diǎn)都是黑色時，說明該點(diǎn)是內(nèi)部點(diǎn)， 將該點(diǎn)刪除置為白色像素值255）。對圖像中所有像素點(diǎn)執(zhí)行該操作便可完成圖像輪廓的提取。在此不對其作過多說明，請讀者參考配套光盤的源程序。 第五章 圖像分割與邊緣檢測 5.4 圖圖 像像 匹匹 配配 5.4.1 模板匹配模板匹配 模板匹配是指用一個較小的圖像，即模板與源圖像進(jìn)行比較，模板匹配是指用一個較小的圖像，即模板與源圖像進(jìn)行比較， 以確定在源圖像中是否存在與該模板相同或相似的區(qū)域，以確定在源圖像

25、中是否存在與該模板相同或相似的區(qū)域， 若該區(qū)若該區(qū)域存在，域存在， 還可確定其位置并提取該區(qū)域。還可確定其位置并提取該區(qū)域。 模板匹配常用的一種測度為模板與原圖像對應(yīng)區(qū)域的誤差平模板匹配常用的一種測度為模板與原圖像對應(yīng)區(qū)域的誤差平方和。設(shè)方和。設(shè)f(x, y)為為MN的原圖像，的原圖像，t(j,k)為為JK(JM，KN)的模的模板圖像，則誤差平方和測度定義為板圖像，則誤差平方和測度定義為 10102),(),(),(JjKkkjtkyjxfyxD（5-7） 第五章 圖像分割與邊緣檢測 將式5-7展開可得 10102101010102),(),(),(2),(),(JjKkJjKkJjKkkjt

26、kyjxfkjtkyjxfyxD(5-8) 第五章 圖像分割與邊緣檢測 令 10102101010102),(),(),(),(2),(),(),(JjKkJjKkJjKkkjtyxDTkyjxfkjtyxDSTkyjxfyxDS第五章 圖像分割與邊緣檢測 DS(x, y)稱為原圖像中與模板對應(yīng)區(qū)域的能量，它與像素位置(x, y)有關(guān)， 但隨像素位置(x, y)的變化， DS(x, y)變化緩慢。DST(x, y)稱為模板與原圖像對應(yīng)區(qū)域的互相關(guān)，它隨像素位置(x, y)的變化而變化，當(dāng)模板t(j, k)和原圖像中對應(yīng)區(qū)域相匹配時取得最大值。DT(x, y)稱為模板的能量，它與圖像像素位置(x

27、, y)無關(guān)，只用一次計算便可。顯然，用式(5-8)計算誤差平方和測度可以減少計算量。 第五章 圖像分割與邊緣檢測 基于上述分析，若設(shè)DS(x, y)也為常數(shù)，則用DST(x, y)便可進(jìn)行圖像匹配，當(dāng)DST(x, y)取最大值時，便可認(rèn)為模板與圖像是匹配的。但假設(shè)DS(x, y)為常數(shù)會產(chǎn)生誤差， 嚴(yán)重時將無法正確地完成匹配，因此可用歸一化互相關(guān)作為誤差平方和測度， 其定義為 10210102101010),(),(),(),(),(KkJjKkJjKkJjkjtkyjxfkyjxfkjtyxR(5-9) 第五章 圖像分割與邊緣檢測 圖5-15給出了模板匹配的示意圖，其中假設(shè)原圖像f(x,

28、y)和模板圖像t(k, l)的原點(diǎn)都在左上角。對任何一個f(x, y)中的(x, y)， 根據(jù)式5-9都可以算得一個R(x, y)值。當(dāng)x和y變化時，t(j, k)在原圖像區(qū)域中移動并得出R(x, y)所有值。R(x, y)的最大值便指出了與t(j, k)匹配的最佳位置，若從該位置開始在原圖像中取出與模板大小相同的一個區(qū)域， 便可得到匹配圖像。 第五章 圖像分割與邊緣檢測 圖5-15 模板匹配示意圖 Oyiyi kixijixijikikJKjNMyx第五章 圖像分割與邊緣檢測 用歸一化互相關(guān)求匹配的計算工作量非常大，因為模板要在(MJ1)(NK1)個參考位置上做相關(guān)計算，其中，除最佳匹配點(diǎn)外

29、， 其余做的都是無效運(yùn)算， 所以有必要對其進(jìn)行改進(jìn)， 以提高運(yùn)算速度。常用的方法有序貫相似性檢測算法、幅度排序相關(guān)算法、FFT相關(guān)算法、分層搜索序貫判決算法等。 模板匹配的主要局限性在于它只能進(jìn)行平行移動，如原圖像中要匹配的目標(biāo)發(fā)生旋轉(zhuǎn)或大小變化，該算法無效。另外，如原圖像中要匹配的目標(biāo)只有部分可見，該算法也無法完成匹配。 第五章 圖像分割與邊緣檢測 模板匹配程序的核心代碼如下： /*/函數(shù)名稱： BOOL TemplateMatch()/基本功能： 本函數(shù)對傳入的CDibObject圖像對象進(jìn)行圖像匹配運(yùn)算/參數(shù)說明： CDibObject *pTemplate 模板圖像數(shù)據(jù)指針/ CDib

30、Object *pDibObject 圖像對象指針/返回值： BOOL 成功時返回TRUE， 失敗時返回FALSE/*BOOL CAreaPro: TemplateMatch(CDibObject *pTemplate, CDibObject *pDibObject) 第五章 圖像分割與邊緣檢測 /其他變量定義、 獲取圖像數(shù)據(jù)區(qū)及開辟臨時內(nèi)存等代碼 /循環(huán)變量 int i, j, m, n; /中間結(jié)果 double dSigmaST; double dSigmaS; double dSigmaT; /相關(guān)性測度 double R; /最大相關(guān)性測度 double MaxR; /最大相關(guān)性出現(xiàn)

31、位置 int nMaxWidth, nMaxHeight; 第五章 圖像分割與邊緣檢測 /計算dSigmaT dSigmaT = 0; /計算模板能量 for (n = 0; n nTempHeight; n+) for(m = 0; m nTempWidth; m+) pTemplateTemp = pTempBits + nTempWidthBytes * n + m; templatepixel = *pTemplateTemp; dSigmaT += (double)templatepixel * templatepixel; 第五章 圖像分割與邊緣檢測 /找到圖像中最大相關(guān)性的出現(xiàn)位

32、置 MaxR = 0.0; for (j = 0; j nHeight - nTempHeight + 1; j+) for(i = 0; i nWidth - nTempWidth + 1; i+) dSigmaST = 0; dSigmaS = 0; /計算源圖像中與模板對應(yīng)區(qū)域的能量及其與模板的互相關(guān) for (n = 0; n nTempHeight; n+) for(m = 0; m MaxR) MaxR = R; nMaxWidth = i; nMaxHeight = j; /將最大相關(guān)性出現(xiàn)區(qū)域部分復(fù)制到目標(biāo)圖像 for (n = 0; n nTempHeight; n+) 第五

33、章 圖像分割與邊緣檢測 for(m = 0; m nTempWidth; m+) pTemplateTemp = pTempBits + nTempWidthBytes * n + m; pNewTemp= pNewBits + nWidthBytes * (n+nMaxHeight) + (m+nMaxWidth); *pNewTemp = *pTemplateTemp; /釋放內(nèi)存等代碼 return(TRUE); 第五章 圖像分割與邊緣檢測 圖5-16 模板匹配示例(a) 原圖像與匹配結(jié)果； (b) 模板；（c） 鄰居City Block距離法顏色匹配的結(jié)果 第五章 圖像分割與邊緣檢測

34、5.4.2 直方圖匹配直方圖匹配 顏色是描述圖像內(nèi)容的一個重要特征。人們已經(jīng)提出了多顏色是描述圖像內(nèi)容的一個重要特征。人們已經(jīng)提出了多種借助顏色特征對圖像進(jìn)行檢索的方法。常用的顏色空間有種借助顏色特征對圖像進(jìn)行檢索的方法。常用的顏色空間有R、 G、B和和H、S、I。實際上，利用。實際上，利用H、S、I顏色空間進(jìn)行檢索的顏色空間進(jìn)行檢索的效果更好一些，但以下討論主要以效果更好一些，但以下討論主要以R、G、B空間為例。為利用空間為例。為利用圖像的顏色特征描述圖像，可借助圖像特征的統(tǒng)計直方圖。利圖像的顏色特征描述圖像，可借助圖像特征的統(tǒng)計直方圖。利用直方圖進(jìn)行圖像的匹配，這便是直方圖匹配。由于篇幅所

35、限，用直方圖進(jìn)行圖像的匹配，這便是直方圖匹配。由于篇幅所限， 在此只給出常用直方圖匹配的數(shù)學(xué)原理公式，有關(guān)算法請讀者在此只給出常用直方圖匹配的數(shù)學(xué)原理公式，有關(guān)算法請讀者自行設(shè)計完成。自行設(shè)計完成。 第五章 圖像分割與邊緣檢測 1. 直方圖相交法直方圖相交法 設(shè)設(shè)HQ(k)和和HD(k)分別為查詢圖像分別為查詢圖像Q和數(shù)據(jù)庫圖像和數(shù)據(jù)庫圖像D的特征統(tǒng)的特征統(tǒng)計直方圖，則兩圖像之間的匹配值計直方圖，則兩圖像之間的匹配值d(Q, D)為為 1010)()(),(min),(LkQLkDQkHkHkHDQd(5-10) 第五章 圖像分割與邊緣檢測 2. 歐幾里得距離法 為減少計算量，可采用直方圖的均

36、值來粗略地表達(dá)顏色信息，對圖像的R、G、 B三個分量，匹配的特征矢量f是 TBGRf(5-11) 式中, R、G、B分別是R、G、B三個分量直方圖的0階距。 此時查詢圖像Q和數(shù)據(jù)庫圖像D之間的匹配值為 2,2)()(),(DQBGRDQffDQd(5-12) 第五章 圖像分割與邊緣檢測 3. 中心矩法中心矩法 對直方圖來說，均值為對直方圖來說，均值為0階矩，更高階的矩也可使用。設(shè)用階矩，更高階的矩也可使用。設(shè)用分別表示查詢圖像分別表示查詢圖像Q的的R、G、B三個分量三個分量直方圖的直方圖的i(i3)階中心矩；用階中心矩；用 分別表示分別表示數(shù)據(jù)庫圖像數(shù)據(jù)庫圖像D的的R、G、B三個分量直方圖的三

37、個分量直方圖的i(i3)階中心矩，則階中心矩，則它們之間的匹配值為它們之間的匹配值為 iQBiQGiQRMMM,iQBiQGiQRMMM,31313122)()()(),(iiiiDBiQBBiDGiQGGiDRiQRRMMWMMWMMWDQd式中，WR，WG，WB為加權(quán)系數(shù)。 第五章 圖像分割與邊緣檢測 4. 參考顏色法 歐幾里得距離法太粗糙，直方圖相交法計算量太大，一種折衷的方法是將圖像顏色用一組參考色表示，這組參考色應(yīng)能覆蓋視覺上可感受到的各種顏色。參考色的數(shù)量要比原圖像少， 這樣可計算簡化的直方圖， 所以匹配的特征矢量是f=r1, r2rNT (5-14)式中：ri是第i種顏色出現(xiàn)的頻

38、率，N是參考顏色表的尺寸。加權(quán)后的查詢圖像Q和數(shù)據(jù)庫圖像D之間的匹配值為 NiiDiQirrWDQd12)(),(5-15)第五章 圖像分割與邊緣檢測 式中： 00,100,iDiQiDiQiQirrrrrW或如果或如果 前面4種方法中，后3種主要是從減少計算量的角度對第1種方法進(jìn)行簡化， 但直方圖相交法還有另外一個問題。當(dāng)圖像中的特征并不能取遍所有的可取值時，統(tǒng)計直方圖中會出現(xiàn)一些零值。這些零值的出現(xiàn)會給直方圖的相交帶來影響，從而使得由式(5-10)求得的匹配值并不能正確反映兩圖間的顏色差別。 第五章 圖像分割與邊緣檢測 5. 閔可夫斯基距離法 若兩幅圖像Q和D的直方圖分別為HQ和HK，則顏

39、色直方圖匹配的計算方法可以利用度量空間的閔可夫斯基 (=1, 也叫“鄰居”（City Block間隔)， 按如下方法進(jìn)行匹配 1)|(),(iiyxd10| )()(|),(LkDQkHkHDQd(5-16) 第五章 圖像分割與邊緣檢測 R、G、B圖像顏色是由不同亮度的紅、綠、藍(lán)三基色組成， 因此式(5-16)可以改寫成： 10|)()(| )()(| )()(|),(LkbDbQgDgQrDrQRGBkHkHkHkHkHkHDQd(5-17) 式(5-17)在具體實施時，必須從所讀取的各像素顏色值中分離出R、G、B三基色的亮度值。這種方法進(jìn)行顏色匹配的例子如圖5-16c所示。 第五章 圖像分

40、割與邊緣檢測 如前所述，由于直方圖丟失了顏色的位置信息， 因此兩幅圖像可能內(nèi)容完全不同，但直方圖相似。所以，僅用簡單的顏色直方圖匹配也容易造成誤識別。一種改進(jìn)的方法是將圖像劃分成若干子塊，分別對各子塊進(jìn)行匹配。1991年，A.Nagasaka和Y.Tanaka提出了一種將視頻幀或圖像分割成44相同大小的子塊并比較相應(yīng)子塊的方法。這種方法對兩幅視頻幀或圖像的相應(yīng)子塊進(jìn)行比較， 廢棄差別最大的一對，其余的比較結(jié)果參與最后的識別。B.Shahraray也曾提出類似的方法：將視頻幀或圖像分割成子塊并進(jìn)行塊匹配， 對所有子塊匹配的結(jié)果采用一種非線性的統(tǒng)計算法進(jìn)行綜合評價。由于子塊的位置固定， 各子塊的直

41、方圖在一定程度上反映了顏色的位置特征，因此子塊劃分與匹配的方法可以對物體運(yùn)動、攝像機(jī)運(yùn)動、鏡頭縮放等情況有更好的適應(yīng)性。 第五章 圖像分割與邊緣檢測 6. X2直方圖匹配直方圖匹配X2直方圖匹配的計算公式如下：直方圖匹配的計算公式如下： 102)()()(),(LkDDQkHkHkHDQd(5-18) 對于R、G、B圖像，X2直方圖匹配的計算公式又可以變?yōu)?10222)()()()()()()()()(),(LkbDbDbQgDgDgQrDrDrQkHkHkHkHkHkHkHkHkHDQd(5-19) 第五章 圖像分割與邊緣檢測 X2直方圖匹配與模板匹配或顏色直方圖匹配相比具有更好的識別率，識

42、別鏡頭切換(Abrupt Scene Change)上效果良好。 A.Nagasaka和Y.Tanaka通過對灰度和、灰度模板匹配、灰度直方圖匹配、 彩色模板匹配、 顏色直方圖匹配和X2直方圖匹配六種匹配方法進(jìn)行了實驗比較。結(jié)果表明，采用圖像分塊加上X2直方圖匹配在鏡頭切換識別上具有很好的效果，但對鏡頭漸變識別效果不好。 第五章 圖像分割與邊緣檢測 5.4.3 形狀匹配形狀匹配 形狀也是描述圖像內(nèi)容的一個重要特征，形狀也是描述圖像內(nèi)容的一個重要特征， 利用形狀進(jìn)行匹利用形狀進(jìn)行匹配需要考慮三個問題。首先，形狀常與目標(biāo)聯(lián)系在一起，所以配需要考慮三個問題。首先，形狀常與目標(biāo)聯(lián)系在一起，所以相對于顏

43、色，相對于顏色， 形狀特征可以看作是更高層次的圖像特征。要獲形狀特征可以看作是更高層次的圖像特征。要獲得有關(guān)目標(biāo)的形狀參數(shù)，常常要先對圖像進(jìn)行分割，得有關(guān)目標(biāo)的形狀參數(shù)，常常要先對圖像進(jìn)行分割， 所以形狀所以形狀特征會受圖像分割效果的影響。其次，目標(biāo)形狀的描述是一個特征會受圖像分割效果的影響。其次，目標(biāo)形狀的描述是一個非常復(fù)雜的問題，至今還沒有找到能與人的感覺相一致的圖像非常復(fù)雜的問題，至今還沒有找到能與人的感覺相一致的圖像形狀的確切數(shù)學(xué)定義。最后，從不同視角獲取的圖像中目標(biāo)形形狀的確切數(shù)學(xué)定義。最后，從不同視角獲取的圖像中目標(biāo)形狀可能會有很大差別，為準(zhǔn)確進(jìn)行形狀匹配，需要解決平移、狀可能會有

44、很大差別，為準(zhǔn)確進(jìn)行形狀匹配，需要解決平移、 尺度、尺度、 旋轉(zhuǎn)變換不變性的問題。旋轉(zhuǎn)變換不變性的問題。 第五章 圖像分割與邊緣檢測 目前，常用的形狀匹配方法主要有幾何參數(shù)法Niblack， 1993）、（Scassellati， 1994）、特征模表示法Pentland， Picard and Sclaroff， 2019）、不變矩法Mehtre， 2019）、 邊界方向直方圖法Jain，2019）、小波重要系數(shù)法Jacobs， 2019）、 小波輪廓表示法楊翔英、 章毓晉， 2019等。 第五章 圖像分割與邊緣檢測 目標(biāo)的形狀常?？梢杂媚繕?biāo)的輪廓來表示，而輪廓是由一系列邊界點(diǎn)所組成的。一般

45、認(rèn)為，在較大尺度下常常能較可靠地消除誤檢并檢測到真正的邊界點(diǎn)， 但在大尺度下對邊界的定位不易準(zhǔn)確。相反，在較小尺度下對真正邊界點(diǎn)的定位常比較準(zhǔn)確，但在小尺度下誤檢的比例會增加。所以，可考慮先在較大尺度下檢測出真正的邊界點(diǎn)，再在較小尺度下對真正邊界點(diǎn)進(jìn)行較精確的定位。小波變換和分析作為一種多尺度、 多通道分析工具，比較適合對圖像進(jìn)行多尺度的邊界檢測，可參考有關(guān)文獻(xiàn)。 第五章 圖像分割與邊緣檢測 5.5 投影法與差影法投影法與差影法 5.5.1 投影法投影法 顧名思義，投影法就是把圖像在某一方向常用的是水平方顧名思義，投影法就是把圖像在某一方向常用的是水平方向和垂直方向上進(jìn)行投影。在投影圖上便可反

46、映出圖像中目標(biāo)向和垂直方向上進(jìn)行投影。在投影圖上便可反映出圖像中目標(biāo)對象的位置、尺寸等信息。圖對象的位置、尺寸等信息。圖5-17是一幅圖像分別在水平方向和是一幅圖像分別在水平方向和垂直方向上的投影。垂直方向上的投影。 可以看出投影法是一種很自然的方法，有點(diǎn)像灰度直方圖。可以看出投影法是一種很自然的方法，有點(diǎn)像灰度直方圖。為了得到更好的效果，投影法經(jīng)常和閾值化一起使用。由于噪聲為了得到更好的效果，投影法經(jīng)常和閾值化一起使用。由于噪聲點(diǎn)對投影有一定的影響，所以處理前最好先做一次平滑，去除噪點(diǎn)對投影有一定的影響，所以處理前最好先做一次平滑，去除噪聲，然后進(jìn)行閾值化處理，再對閾值化后的二值圖像在某個方

47、向聲，然后進(jìn)行閾值化處理，再對閾值化后的二值圖像在某個方向上進(jìn)行投影運(yùn)算。上進(jìn)行投影運(yùn)算。 第五章 圖像分割與邊緣檢測 圖5-17 投影法第五章 圖像分割與邊緣檢測 圖5-18 華盛頓紀(jì)念碑圖 第五章 圖像分割與邊緣檢測 圖5-19 閾值化后的華盛頓紀(jì)念碑 第五章 圖像分割與邊緣檢測 圖5-20 垂直方向投影 第五章 圖像分割與邊緣檢測 5.5.2 差影法差影法 1. 圖像的代數(shù)運(yùn)算圖像的代數(shù)運(yùn)算 圖像的代數(shù)運(yùn)算是指對兩幅輸入圖像進(jìn)行點(diǎn)對點(diǎn)的加、減、圖像的代數(shù)運(yùn)算是指對兩幅輸入圖像進(jìn)行點(diǎn)對點(diǎn)的加、減、 乘、乘、 除四則運(yùn)算而得到輸出圖像的運(yùn)算。如果記輸入圖像為除四則運(yùn)算而得到輸出圖像的運(yùn)算。如

48、果記輸入圖像為A(x, y)和和B(x, y)，輸出圖像為，輸出圖像為C(x, y)，則四種圖像代數(shù)運(yùn)算的表，則四種圖像代數(shù)運(yùn)算的表達(dá)式如下：達(dá)式如下：C(x, y)A(x, y)B(x, y)C(x, y)A(x, y)B(x, y)C(x, y)A(x, y)B(x, y)C(x, y)A(x, y)B(x, y) 第五章 圖像分割與邊緣檢測 另外， 還可通過適當(dāng)?shù)慕M合， 形成涉及幾幅圖像的復(fù)合代數(shù)運(yùn)算方程。 圖像相加一般用于對同一場景的多幅圖像求平均，以便有效地降低加性噪聲。通常，圖像采集系統(tǒng)中采集圖像時有這樣的參數(shù)可供選擇。其實，直接采集的圖像品質(zhì)較好，不需要這樣的處理， 但是對于經(jīng)過

49、長距離模擬通信方式傳送的圖像如太空航天器傳回的星際圖像這種處理是不可缺少的。但利用求平均法降低噪聲信號，提高信噪比的方法，只有當(dāng)噪聲可以用同一個獨(dú)立分布的隨機(jī)模型描述時才會有效。 第五章 圖像分割與邊緣檢測 圖像相減常用于檢測變化及運(yùn)動物體，圖像相減運(yùn)算又稱為圖像差分運(yùn)算。差分方法可以分為控制環(huán)境下的簡單差分方法和基于背景模型的差分方法。在控制環(huán)境下， 或者在很短的時間間隔內(nèi)， 可以認(rèn)為背景是固定不變的， 可以直接使用差分運(yùn)算檢測變化及運(yùn)動的物體。這種方法與閾值化處理結(jié)合往往是建立機(jī)器視覺系統(tǒng)最有效的方法之一。在相對穩(wěn)定的環(huán)境下， 可以假設(shè)背景變化緩慢，且符合一定的分布規(guī)律，通過建立背景模型，

50、 實施差分方法來檢測運(yùn)動物體， 也可獲得很好的效果。 第五章 圖像分割與邊緣檢測 乘法運(yùn)算可以用來實現(xiàn)掩模處理，即屏蔽掉圖像的某些部分。此外由于時域的卷積和相關(guān)運(yùn)算與頻域的乘積運(yùn)算對應(yīng)， 因此乘法運(yùn)算有時也作為一種技巧來實現(xiàn)卷積或相關(guān)處理。 除法運(yùn)算可用于校正成像設(shè)備的非線性影響，在特殊形態(tài)的圖像如CT等醫(yī)學(xué)圖像處理中用到。 第五章 圖像分割與邊緣檢測 2. 差影法差影法 所謂差影法，實際上就是圖像的相減運(yùn)算(又稱減影技術(shù))， 是指把同一景物在不同時間拍攝的圖像或同一景物在不同波段的圖像相減。差值圖像提供了圖像間的差異信息，能用以指導(dǎo)動態(tài)監(jiān)測、運(yùn)動目標(biāo)檢測和跟蹤、圖像背景消除及目標(biāo)識別等。其算

51、法流程圖如圖5-21所示。 第五章 圖像分割與邊緣檢測 圖5-21 差影法檢測變化目標(biāo)流程圖 固定背景圖像 或背景模型圖像 或前一幅圖像當(dāng)前圖像差影運(yùn)算及閾值化處理閾值化差影運(yùn)算結(jié)果圖像分割、匹配、投影等處理獲取目標(biāo)第五章 圖像分割與邊緣檢測 差影法是非常有用的，比如說可以用在監(jiān)控系統(tǒng)中。在銀行金庫內(nèi)，攝像頭每隔一小段時間拍攝一幅圖像，并與上一幅圖像做差影，如果圖像差別超過了預(yù)先設(shè)置的閾值，說明有異常情況發(fā)生，這時就應(yīng)該拉響警報。在利用遙感圖像進(jìn)行動態(tài)監(jiān)測時，用差值圖像可以發(fā)現(xiàn)森林火災(zāi)、洪水泛濫，監(jiān)測災(zāi)情變化及估計損失等；也能用來監(jiān)測河口、海岸的泥沙淤積及監(jiān)視江河、湖泊、海岸等的污染。利用差值

52、圖像還能鑒別出耕地及不同的作物覆蓋情況。 第五章 圖像分割與邊緣檢測 利用差影技術(shù)消除圖像背景也有很明顯的效果。例如，在血管造影技術(shù)中，腎動脈造影術(shù)對診斷腎臟疾病就有獨(dú)特效果。為了減少誤診，人們希望提供反映游離血管的清晰圖像。通常的腎動脈造影在造影劑注入后，雖然能夠看出腎動脈血管的形狀及分布，但由于腎臟周圍血管受到脊椎及其他組織影像的重疊，難以得到理想的游離血管圖像。對此，可攝制出腎動脈造影前后的兩幅圖像，相減后就能把脊椎及其他組織的影像去掉， 而僅保留血管圖像。類似的技術(shù)也可用于診斷印刷線路板及集成電路掩模的缺陷。電影特技中應(yīng)用的“藍(lán)幕技術(shù)，其實也包含差影法的原理。 第五章 圖像分割與邊緣檢測 圖像