圖像分割與特征提取

1、第八章 圖像分割、特征提取與描述主要內(nèi)容n8.1 引言n8.2 圖像分割n8.3 圖像的特征n8.4 圖像的描述8.1 引言n圖像分割是將圖像劃分為若干互不相交的小區(qū)域的過程。小區(qū)域是某種意義下具有共同屬性的象素的連通集合，如物體所占的圖像區(qū)域、天空區(qū)域等。n連通的概念是指集合中任意兩個點之間都存在著完全屬于該集合的連通路徑。對于離散圖像而言，連通有4連通和8連通之分 4連通8連通8.1 引言n圖像分割是圖像理解的基礎(chǔ)，而在理論上圖像分割又依賴圖像理解，彼此是緊密關(guān)聯(lián)的。圖像分割在一般意義下是十分困難的問題，目前的圖像分割一般作為圖像的前期處理階段，是針對分割對象的技術(shù)，是與問題相關(guān)的，如最常

2、用到的利用閾值化處理進行的圖像分割。 8.1 引言n圖像分割有二種不同的途徑：1.區(qū)域法：將各象素劃歸到相應(yīng)物體或區(qū)域的象素聚類方法2.邊界方法：通過直接確定區(qū)域間的邊界來實現(xiàn)分割8.2 圖像的分割8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù)8.2.2、串行區(qū)域技術(shù)8.2.3、并行邊界技術(shù)基于邊界的圖像分割8.2 圖像的分割8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù)8.2.2、串行區(qū)域技術(shù)8.2.3、并行邊界技術(shù)基于邊界的圖像分割8.2.1并行區(qū)域技術(shù)基于閾值 取閾值是最常見的并行的直接檢測區(qū)域的分割方法。閾值是在分割時作為區(qū)分物體與背景象素的門限，大于或等于閾值的象素屬于物體，而其它屬

3、于背景。這種方法對于在物體與背景之間存在明顯差別（對比）的景物分割十分有效。實際上，在任何實際應(yīng)用的圖像處理系統(tǒng)中，都要用到閾值化技術(shù)。為了有效地分割物體與背景，人們發(fā)展了各種各樣的閾值處理技術(shù)，包括全局閾值、自適應(yīng)閾值、最佳閾值、局部閾值等。 8.2.1并行區(qū)域技術(shù)基于閾值n單閾值分割只用一個閾值分割。 n多閾值分割 用多個閾值分割。在一般的多閾值情況下，多閾值分割取為：kkTyxfTkyxg),(),(1如TyxfTyxfyxg),(),(01),(如如8.2.1并行區(qū)域技術(shù)基于閾值 （1）極小值點閾值 對于雙峰直方圖，選取兩個峰之間的谷對應(yīng)的灰度值作為閾值。 將直方圖的包絡(luò)看作一條曲線，

4、求直方圖包絡(luò)線的極小值點對應(yīng)的灰度值作為閾值。8.2.1并行區(qū)域技術(shù)基于閾值 在閾值化處理之后，可以通過直接跟蹤物體邊界的方法將物體區(qū)域分割出來，得到其輪廓并進一步分析其幾何形狀特征。 8.2.1并行區(qū)域技術(shù)基于閾值 8.2.1并行區(qū)域技術(shù)基于閾值（2）最佳閾值 有時目標(biāo)和背景的灰度值有部分交錯，用1個全局閾值不能將它們絕然分開。希望減小誤分割的概率，選取一個最佳閾值。閾值的選擇需要根據(jù)具體問題來確定，一般通過實驗來確定。8.2.1并行區(qū)域技術(shù)基于閾值（3）直方圖變換利用象素鄰域的局部性質(zhì)變換原來的直方圖得到一個新的直方圖。新的直方圖或者谷更深或者谷變成峰，更容易檢測。常用的方法是用象素的梯度

5、值。8.2.1并行區(qū)域技術(shù)基于閾值（4）灰度和灰度平均圖 物體與背景各自的灰度都較均勻二者相差不大時，分割時可以這樣處理：橫軸取象素的灰度r，縱軸取r的鄰域的平均 。直方圖 為坐標(biāo)點上的象素數(shù)目。邊界上的點將遠離對角線，因此選遠離對角線的點的灰度作為分割的灰度門限將獲得較好的分割效果。r),rr（8.2.1并行區(qū)域技術(shù)基于閾值（5）灰度值和梯度值散射圖 做直方圖（r，g）橫軸取象素的灰度r，縱軸取r的梯度g。直方圖（r，g）為具有某個灰度和梯度值的象素數(shù)目。8.2 圖像的分割8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù)8.2.2、串行區(qū)域技術(shù)8.2.3、并行邊界技術(shù)基于邊界的圖像分割8.2.

6、2 串行區(qū)域技術(shù)一、區(qū)域生長二、分裂合并一、區(qū)域生長區(qū)域生長方法是根據(jù)同一物體區(qū)域內(nèi)象素的相似性質(zhì)來聚集象素點的方法，從初始區(qū)域（如小鄰域或甚至于每個象素）開始，將相鄰的具有同樣性質(zhì)的象素或其它區(qū)域歸并到目前的區(qū)域中從而逐步增長區(qū)域，直至沒有可以歸并的點或其它小區(qū)域為止。區(qū)域內(nèi)象素的相似性度量可以包括平均灰度值、紋理、顏色等信息。關(guān)鍵是相似性度量準(zhǔn)則以及初始區(qū)域或象素的確定。8.2.2 串行區(qū)域技術(shù)8.2.2 串行區(qū)域技術(shù)n圖像：5 5 8 6 取跟蹤門限T2 5 5 8 6 4 8 9 7 4 8 9 72 2 8 3 2 2 8 33 3 3 3 3 3 3 3n生長準(zhǔn)則：生長準(zhǔn)則：區(qū)域任

7、一象素與其鄰點灰度差區(qū)域任一象素與其鄰點灰度差TT結(jié)果與起始點選擇和門限選擇有關(guān)8.2.2 串行區(qū)域技術(shù)n圖像：5 5 8 6 5 5 8 6 5 5 8 64 8 9 7 4 8 9 7 4 8 9 72 2 8 3 2 2 8 3 2 2 8 33 3 3 3 3 3 3 3 3 3 3 3n生長準(zhǔn)則：生長準(zhǔn)則：待檢測象素的灰度與已檢測的區(qū)域的平待檢測象素的灰度與已檢測的區(qū)域的平均灰度差均灰度差T T 例：例：取跟蹤門限T2 結(jié)果與起始點選擇(如選6)和門限選擇有關(guān)8.2.2 串行區(qū)域技術(shù)n二、區(qū)域分裂與合并 從整個圖像開始不斷分裂得到各個區(qū)域。實際中常常先把圖像分成任意大小且不重疊的區(qū)域

8、，然后再合并或分裂這些區(qū)域以滿足要求。8.2.2 串行區(qū)域技術(shù)n確定均勻性準(zhǔn)則。例如以一個區(qū)對某種特征（如灰度、彩色或紋理）的均勻性為準(zhǔn)則，通常用門限T來約束。n對滿足均勻性準(zhǔn)則的小區(qū)則合并，不滿足均勻性準(zhǔn)則的小區(qū)則采用四叉樹的方式將此區(qū)等分為四個小區(qū)。8.2.2 串行區(qū)域技術(shù)100087771111888800007888000178874433781033448810871111118711110110008777111188880000788800017887443378103344881087111111871111018.2.2 串行區(qū)域技術(shù) 10008777111188880000

9、7888000178874433781033448810871111118711110110008777111188880000788800017887443378103344881087111111871111018.2 圖像的分割8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù)8.2.2、串行區(qū)域技術(shù)8.2.3、并行邊界技術(shù)基于邊界的圖像分割8.2.3 并行邊界技術(shù)基于邊界的圖像分割n邊緣檢測是所有基于邊界的分割方法的第一步。視覺系統(tǒng)對圖像的邊緣更敏感，而不是根據(jù)點的灰度區(qū)分出物體，人對邊界的識別機理也不是設(shè)置一個灰度門限T來分割物體的。n圖像增強討論了用梯度、拉普拉斯算子以及高通濾波增強圖

10、像邊緣輪廓的方法，實際上，對增強后的圖像邊緣輪廓進行門限化處理，就可以用于邊緣檢測。8.2.3 并行邊界技術(shù)基于邊界的圖像分割n一、梯度邊緣檢測 當(dāng)物體與背景有明顯對比度時，物體的邊界處于圖像梯度最高的點上，通過跟蹤圖像中具有最高梯度的點的方式獲得物體的邊界，可以實現(xiàn)圖像分割。這種方法容易受到噪聲的影響而偏離物體邊界，通常需要在跟蹤前對梯度圖像進行平滑等處理，再采用邊界搜索跟蹤算法來實現(xiàn)。8.2.3 并行邊界技術(shù)基于邊界的圖像分割 梯度圖像 閾值化梯度圖像8.2.3 并行邊界技術(shù)基于邊界的圖像分割n二、邊界提取與輪廓跟蹤邊界提取與輪廓跟蹤 為了獲得圖像的邊緣人們提出了多種邊緣檢測方法。在邊緣圖

11、像的基礎(chǔ)上，需要通過平滑等處理去除噪聲點、毛刺、空洞等不需要的部分，再通過細化、邊緣連接和跟蹤等方法獲得物體的輪廓邊界。 例：采用光柵跟蹤（順序跟蹤）的方法例：采用光柵跟蹤（順序跟蹤）的方法8.2.3 并行邊界技術(shù)基于邊界的圖像分割n步驟：1）先用高閾值Th（檢測閾值）檢出圖像軌跡曲線的初選點。2）從第一行的初選點開始用較低閾值Tl（跟蹤閾值）對初選點的下三個點進行判斷。在閾值范圍之內(nèi)的接收，反之去除。3）對應(yīng)于某個檢出點，如果下一行無可接收的對象，則這條曲線跟蹤即可結(jié)束。8.2.3 并行邊界技術(shù)基于邊界的圖像分割n步驟：4）對應(yīng)于某個檢出點，如果下一行有多個可接收的對象，則這條曲線發(fā)生分支。

12、跟蹤對各個分支同時進行。5）對于不在第一行的其他初選出來的象素，從該點開始，重新使用跟蹤閾值進行跟蹤，以檢出不是從第一行開始的其他曲線。8.2.3 并行邊界技術(shù)基于邊界的圖像分割 原圖像 用閾值T7處理的結(jié)果9000800047125332228017210532600987017160211180703265921841073031987879877879878.2.3 并行邊界技術(shù)基于邊界的圖像分割 用閾值T4處理的結(jié)果 用檢測閾值Th7和跟蹤閾值 Tl4處理的結(jié)果987587569877687659847900080000712533222801721053260098701716021

13、11807032659218410701318.2.3 并行邊界技術(shù)基于邊界的圖像分割n檢測與跟蹤時的準(zhǔn)則不一定是灰度，也可以是梯度等反映局部性質(zhì)的量。n光柵順序跟蹤跟光掃描方向有關(guān)，最好用其他方向再跟蹤一次，例如逆序向上，兩種方法綜合起來能得到更好的效果。n若邊緣和掃描方向平行時效果不好，最好在垂直方向跟蹤一次。8.2.3 并行邊界技術(shù)基于邊界的圖像分割n三、三、 HOUGHHOUGH變換變換 HOUGH變換是利用圖像全局特性而將邊緣象素連接起來組成區(qū)域封閉邊界的一種方法。在預(yù)先知道區(qū)域形狀的情況下，用哈夫變換可以很方便的得到邊界曲線而將不連續(xù)的邊緣象素點連接起來。哈夫變換的主要優(yōu)點：受噪聲

14、和曲線間斷的影響較小。利用哈夫變換可以檢測圖像中某些符合參數(shù)模型的主導(dǎo)特征，如直線、圓、橢圓等，可以通過對其參數(shù)進行聚類的方法，抽取相應(yīng)的特征。適用于二值圖像。適用于二值圖像。8.2.3 并行邊界技術(shù)基于邊界的圖像分割n哈夫變換的基本思想是：點線對偶性。在圖像空間XY中，所有過點的直線滿足直線方程： p為斜率，q為截距 所以： 可以認(rèn)為該式是參數(shù)空間PQ中過點(p,q)的一條直線。qpxyypxqYX0QPjjyx ,iiyx ,qpiiypxqjjypxq這條直線上所有點的這條直線上所有點的p p，q q相同相同8.2.3 并行邊界技術(shù)基于邊界的圖像分割n顯然，XY空間中的共線的點對應(yīng)PQ空

15、間中一組相交的線，這組線的交點就是p，q。反過來，在參數(shù)空間相交于同一個點的所有直線在圖像空間中都有共線的點與之對應(yīng)。這就是點線對偶性。哈夫變換就是根據(jù)這些關(guān)系把圖像空間中的檢測問題轉(zhuǎn)換到了參數(shù)空間中，通過在參數(shù)空間中進行簡單的累加統(tǒng)計完成檢測任務(wù)。 8.2.3 并行邊界技術(shù)基于邊界的圖像分割n具體實現(xiàn)時，考慮p、q的可能取值范圍，從大到小進行累加。 1) 初始化A(p,q)=0 2) 對XY空間中的每一點，P取遍所有可能值 3）算出對應(yīng)的q，給A(p,q)單元加1 4）根據(jù)maxA(p,q)，求出直線8.2.3 并行邊界技術(shù)基于邊界的圖像分割n問題：p、q的取值較大時，計算量增加，可以采用極

16、坐標(biāo)系形式。 直線在極坐標(biāo)系下具有如下的參數(shù)方程形式： 這條直線在極坐標(biāo)下表示為一個點sincosyx),(8.2.3 并行邊界技術(shù)基于邊界的圖像分割 8.3 圖像的特征n圖像特征是圖像的重要屬性，它一般應(yīng)具備4個特點：可區(qū)分性、可靠性、獨立性、數(shù)量少n圖像的特征主要有： 1) 顏色（灰度）特征 2) 形狀特征 3) 紋理特征 4) 空間關(guān)系特征8.4 圖像的描述n邊界描述n區(qū)域或閉合邊界的描述 8.4.1 圖像的邊界描述n一、像元之間的連通和鄰接（略）n二、距離（略）8.4.1 圖像的邊界描述n三、周長和邊長L 周長的定義通常有3種： 1）把區(qū)域像元看為正方形，邊界只有水平和垂直兩種線，相當(dāng)

17、于 像元小方格的四個邊的四鄰碼 2）把像元看做一個點，可用弧長的8鄰碼計算 3）用邊界所占面積8.4.1 圖像的邊界描述n方法1：L25d；d為小正方 形的邊長n方法2：n方法3：18,其中為小正方 形的面積dL)2414(8.4.1 圖像的邊界描述n四、邊界鏈碼 鏈碼是從物體邊界上的任意一個點（x, y）出發(fā)，而后只記錄下一個邊界點的方向碼，直至回到出發(fā)點為止的編碼序列。在采用邊界跟蹤方法獲取物體邊界輪廓時，可以直接得到邊界鏈碼。8.4.1 圖像的邊界描述n8方向鏈碼1 12 23 34 45 56 67 70 08.4.1 圖像的邊界描述n下面的圖像用鏈碼表示為： 20206644 這個結(jié)

18、果與起點有關(guān)，為 了避免這個問題，用循環(huán) 碼（歸一化）表示： 02066442 具體方法為：首尾相連循 環(huán)形成的自然數(shù)最小 2 22 24 44 40 06 66 60 08.4.1 圖像的邊界描述n圖像平移鏈碼不變，但旋轉(zhuǎn)時鏈碼會發(fā)生變化，為此可用差分碼表示n原鏈碼(4)20206644 原鏈碼(3)17175533 n差分碼 66266060（模8、反向） 差分碼 662660602 22 24 44 40 06 66 60 01 11 13 33 37 75 55 57 78.4.1 圖像的邊界描述n五、線條的描述 若圖中相繼相鄰的點集能擬合與某些曲線函數(shù)，那么這些曲線函數(shù)的少量參數(shù)就可

19、做為該點集的一種描述。 如：常用B樣條曲線來擬合，用于從邊界識別零件等場合。n能用少量數(shù)據(jù)描述物體特征叫做描述子。n區(qū)域的描述子應(yīng)滿足四點要求： 1）能精確地描述特征 2）對大小變化不敏感 3）對描述的起點不敏感 4）對平移旋轉(zhuǎn)不敏感8.4.1 圖像的邊界描述8.4.1 圖像的邊界描述n六、傅立葉描述子 從任一點開始的一個N點的閉合邊界序列（xk,yk）(k=0,N)可以認(rèn)為是一個周期為N的周期函數(shù)，把 它放到復(fù)平面上， 就形成了一個1維 的復(fù)數(shù)序列uk+jvk（xk,yk） uk+jvkX X U UY VY V8.4.1 圖像的邊界描述n對這個復(fù)數(shù)序列 進行傅立葉變換 10)()()( N

20、kkjvkuks1.0/2exp)(110NwNwkjksNNkk8.4.1 圖像的邊界描述n我們只利用s(w)的前M個系數(shù)，其余系數(shù)置0，反變換就得到s(k)的一個近似n傅立葉變換的低頻信息對應(yīng)總體形狀而高頻信息對應(yīng)一些細節(jié)，這樣我們可用對應(yīng)低頻分量的傅立葉系數(shù)（個數(shù)M遠N）來近似描述邊界的形狀。（P231圖）10/2exp)()(10 NkNwkjwsksNw8.4.2 區(qū)域的描述n一、矩描述子 對數(shù)字圖像f(x,y)，如果它分段連續(xù)且在XY平面上只有有限個點不為零，可證明其各階矩存在，f(x,y)的pq階矩定義為： xyqppqyxfyxm),(8.4.2 區(qū)域的描述n可以證明f(x,y

21、)與mpq是一一對應(yīng)的。n區(qū)域的矩是用所有區(qū)域的點計算出來的，抗干擾性能較好。nf(x,y)的pq階中心矩定義為：n其中：xyqppqyxfyyxxu),()()(00010010/mmymmx8.4.2 區(qū)域的描述n三階以下的中心矩：u00、u01 u10、u11 、u20、u02、u30、u12、 u21、 u03nf(x,y)的歸一化中心矩可表示為： 其中rpqpquu00/ 3 , 22qpqpr8.4.2 區(qū)域的描述n可以導(dǎo)出具有平移、旋轉(zhuǎn)和尺度變換不變性的7個不變矩：P241圖022012112022024)(20321212303)3()3(20321212304)()()()(

22、3)(3)(3)()(3(2032121230032103212032121230123012305)(4)()(0321123011203212123002206)()(3)(3)(3)()(3(20321212300321032120321212301230301278.4.2 區(qū)域的描述n二、區(qū)域面積通常面積的計算可以直接對分割出的物體內(nèi)像元計數(shù)即可。從閉合邊界來計算面積有類似計算周長的4連通和8連通的問題用不同方法描述的邊界計算面積時有很大差異。 8.4.2 區(qū)域的描述nA31（每一小塊面積認(rèn)為是1）8.4.2 區(qū)域的描述n第一層有1個白小塊(標(biāo)記為1的)，面積4m-1=43-1=16

23、n第二層有2個白小塊，面積24m-2=243-2=8n第三層有11個白小塊，面積114m-3=1143-3=11n總面積16811350000000000100000000001001111111011111110111111101111110011111100n用四叉樹描述區(qū)域時，只需將葉節(jié)點的面積相加即可。n葉節(jié)點面積為4ml，l為葉節(jié)點所在層數(shù)，m為圖像層數(shù)，N2m8.4.2 區(qū)域的描述n三、區(qū)域重心重心是一種全局描述符，區(qū)域重心的坐標(biāo)是根據(jù)所有屬于區(qū)域的點計算出來的。在區(qū)域本身尺寸與各區(qū)域間的距離相對很小時，可將區(qū)域用其重心坐標(biāo)的質(zhì)點來代替RyxxAx),(1RyxyAy),(18.4

24、.2 區(qū)域的描述n四、區(qū)域的拓撲結(jié)構(gòu)拓撲學(xué)是研究圖形不受畸變變形影響性質(zhì)的。歐拉數(shù)EC（連通組元個數(shù)）H（孔） E=1-2=-1 E=1-1=0 B BA A8.4.2 區(qū)域的描述n五、區(qū)域的紋理紋理是物體表面結(jié)構(gòu)的模式，如木材、水泥、沙子、玻璃等等，對圖像分析和理解十分重要。紋理可以看做許多基本紋理小單元的重復(fù)，這些小單元可稱作紋理元，紋理元常包含多個象素。常用的紋理描述方法分為統(tǒng)計法和結(jié)構(gòu)法。統(tǒng)計法用于分析木紋、沙地等不規(guī)則的紋理；結(jié)構(gòu)法常用于分析印刷圖案等規(guī)則的紋理。8.4.2 區(qū)域的描述n1、統(tǒng)計法1）灰度直方圖2）共生矩陣 8.4.2 區(qū)域的描述1）灰度直方圖特征 最簡單的統(tǒng)計法借助于灰度直方圖的矩來描述紋理。 設(shè)灰度為r，灰度量化級別為N，定義直方圖對原點的P