數(shù)字視頻圖像技術(shù) 第7章 形態(tài)學(xué)圖像處理 圖像分割 表示與描述

形態(tài)學(xué)圖像處理

概述

集合論基礎(chǔ)知識

膨脹和腐蝕：產(chǎn)生濾波器作用

開操作和閉操作：產(chǎn)生濾波器作用

擊中或擊不中變換

形態(tài)學(xué)的主要應(yīng)用：邊界提取、區(qū)域填充、連通分量的提取、凸殼、細(xì)化、粗化等

概述

形態(tài)學(xué)一般指生物學(xué)中研究動物和植物結(jié)構(gòu)的一個分支

用數(shù)學(xué)形態(tài)學(xué)（也稱圖像代數(shù)）表示以形態(tài)為基礎(chǔ)對圖像進(jìn)行分析的數(shù)學(xué)工具

基本思想是用具有一定形態(tài)的結(jié)構(gòu)元素去度量和提取圖像中的對應(yīng)形狀以達(dá)到對圖像分析和識別的目的

形態(tài)學(xué)圖像處理的數(shù)學(xué)基礎(chǔ)和所用語言是集合論形態(tài)學(xué)圖像處理

概述（續(xù)）

形態(tài)學(xué)圖像處理的應(yīng)用可以簡化圖像數(shù)據(jù)，保持它們基本的形狀特性，并除去不相干的結(jié)構(gòu)

形態(tài)學(xué)圖像處理的基本運(yùn)算有4個：膨脹、腐蝕、開操作和閉操作形態(tài)學(xué)圖像處理

集合論基礎(chǔ)知識

復(fù)習(xí)集合的并、交、補(bǔ)、差形態(tài)學(xué)圖像處理

即關(guān)于原集合原點對稱

集合A平移到點z=(z1,z2),表示為(A)z，定義為形態(tài)學(xué)圖像處理

集合論基礎(chǔ)知識^集合B的反射B ，定義為B

w|w

b,b

B

^平移

A

z

c|c

a

z,a

A

反射

膨脹和腐蝕

膨脹：使圖像擴(kuò)大A和B是兩個集合，A被B膨脹定義為：

上式表示：B的反射進(jìn)行平移與A的交集不為空

B的反射：相對于自身原點的映象

B的平移：對B的反射進(jìn)行位移形態(tài)學(xué)圖像處理

z

^

A

B

|

B

A

z

膨脹和腐蝕

膨脹的另一個定義

上式表示：B的反射進(jìn)行平移與A的交集是A的子集形態(tài)學(xué)圖像處理

A

z

^

A

B

|

B

A

z

膨脹舉例集合B關(guān)于原點對稱保證B的反射的平移與A的交集不為空膨脹應(yīng)用舉例

橋接文字裂縫優(yōu)點：在一幅二值圖像中直接得到結(jié)果，對比低通濾波方法膨脹的結(jié)構(gòu)元素B形態(tài)學(xué)圖像處理

膨脹和腐蝕

腐蝕：使圖像縮小A和B是兩個集合，A被B腐蝕定義為：A

B

z|

B

z

A

腐蝕舉例A被B腐蝕的結(jié)果腐蝕應(yīng)用舉例

使用腐蝕消除圖像的細(xì)節(jié)部分，產(chǎn)生濾波器的作用包含邊長為1,3,5,7,9和15像素正方形的二值圖像使用13×13像素大小的結(jié)構(gòu)元素腐蝕原圖像的結(jié)果使用13×13像素大小的結(jié)構(gòu)元素膨脹圖b，恢復(fù)原來15×15尺寸的正方形圖a圖b圖c義為：

形態(tài)學(xué)圖像處理

開操作和閉操作

開操作：使圖像的輪廓變得光滑，斷開狹窄的間斷和消除細(xì)的突出物

使用結(jié)構(gòu)元素B對集合A進(jìn)行開操作，定A

B

A

B

B

含義：先用B對A腐蝕，然后用B對結(jié)果膨脹另一個定義A

B

B

z|

B

z

A

開操作和閉操作

閉操作：同樣使圖像的輪廓變得光滑，但與開操作相反，它能消除狹窄的間斷和長細(xì)的鴻溝，消除小的孔洞，并填補(bǔ)輪廓線中的裂痕

使用結(jié)構(gòu)元素B對集合A進(jìn)行閉操作，定義為：

含義：先用B對A膨脹，然后用B對結(jié)果腐蝕形態(tài)學(xué)圖像處理A

B

A

B

B開操作的幾何解釋

A

B的邊界通過B中的點完成

B在A的邊界內(nèi)轉(zhuǎn)動時，B中的點所能到達(dá)的A的邊界的的最遠(yuǎn)點閉操作的幾何解釋

A

B的邊界通過B中的點完成

B在A的邊界外部轉(zhuǎn)動

形態(tài)學(xué)圖像處理

開操作的3條性質(zhì)

A

B是A的子集合

如果C是D的子集，則C

B是D

B的子集

A

B

B

A

B

閉操作的3條性質(zhì)

A是A

B的子集合

如果C是D的子集，則C

B是D

B的子集

A

B

B

A

B開操作和閉操作應(yīng)用舉例

說明：先開操作再閉操作，構(gòu)成噪聲濾波器

a圖是受噪聲污染的指紋二值圖像，噪聲為黑色背景上的亮元素和亮指紋部分的暗元素

b圖是使用的結(jié)構(gòu)元素

c圖是使用結(jié)構(gòu)元素對圖a腐蝕的結(jié)果：黑色背景噪聲消除了，指紋中的噪聲尺寸增加

d圖是使用結(jié)構(gòu)元素對圖c膨脹的結(jié)果：包含于指紋中的噪聲分量的尺寸被減小或被完全消除，帶來的問題是：在指紋紋路間產(chǎn)生了新的間斷開操作和閉操作應(yīng)用舉例

說明（續(xù)）

e圖是對圖d膨脹的結(jié)果，圖d的大部分間斷被恢復(fù)，但指紋的線路變粗了

f圖是對圖e腐蝕的結(jié)果，即對圖d中開操作的閉操作。最后結(jié)果消除了噪聲斑點

缺點：指紋線路還是有缺點，可以通過加入限制性條件解決擊中或擊不中變換舉例—是形狀檢測的基本工具設(shè)X被包圍在一個小窗口W中，與W有關(guān)的X的局部背景定義為W-XX對A腐蝕的結(jié)果W-X對A的補(bǔ)集腐蝕的結(jié)果它們的交集，得到X的原點位置。在該位置，X找到了在A中的匹配（擊中）擊中或擊不中變換

三個相關(guān)公式A中對B進(jìn)行的匹配（擊中）表示為：AA B=B1是由與一個對象相聯(lián)系的B元素構(gòu)成的集合，B2是與相應(yīng)背景有關(guān)的B元素的集合AB=

A

X

[Ac

W

X

]c1 2

A

B

B

B1,B2

,B1

X,B2

W

X

A

B

^B=

A

B1

[A

B2]形態(tài)學(xué)的主要應(yīng)用

邊界提取

邊界提取定義為

A

A

A

B

上式表示：先用B對A腐蝕，然后用A減去腐蝕得到，B是結(jié)構(gòu)元素

1表示為白色，0表示為黑色結(jié)構(gòu)元素B原點X0=p，如果Xk=Xk-1，則算法在迭代的第k步結(jié)束。Xk和A的并集包含被填充的集合和它的邊界

條件膨脹：如果對上述公式的左部不加限制，則上述公式的膨脹將填充整個區(qū)域。利用Ac的交集將結(jié)果限制在感興趣區(qū)域內(nèi)，實現(xiàn)條件膨脹形態(tài)學(xué)的主要應(yīng)用k

1,2,3,...

區(qū)域填充

區(qū)域填充定義為Xk

Xk

1

B

Ac

連通分量的提取

令Y表示一個包含于集合A中的連通分量，并假設(shè)Y中的一個點p是已知的。用下列迭代式生成Y的所有元素：x0=p,如果Xk=Xk-1，算法收斂，令Y=Xk形態(tài)學(xué)的主要應(yīng)用k

1,2,3,...Xk

Xk

1

B

A連通分量提取說明第一次迭代的結(jié)果第二次迭代的結(jié)果最終結(jié)果8連通的結(jié)構(gòu)元素連通分量提取的應(yīng)用舉例含有碎骨的雞胸X光圖像使用閾值將骨頭從背景中提取出來消除細(xì)節(jié)，對閾值處理后的圖像進(jìn)行腐蝕，保留大尺寸物體提取連通分量，識別大尺寸對象，其中4個具有最大尺寸

凸殼

如果連接集合A內(nèi)任意兩個點的直線段都在A的內(nèi)部，則A是凸形的

集合S的凸殼H是包含S的最小凸集合

H-S稱為S的凸缺

求取集合A的凸殼C(A)的簡單形態(tài)學(xué)算法：令Bi表示4個結(jié)構(gòu)元素,i=1,2,3,4,,conv表示在收斂，則形態(tài)學(xué)的主要應(yīng)用i

1,2,3,4 k

1,2,3,4,...Xik

Xk

1 Bi

AXi

A令0i iXk

Xk

1Di

Xiconv

凸殼

形態(tài)學(xué)的主要應(yīng)用4i

1

先對A用B1運(yùn)用擊中或擊不中變換，反復(fù)使用，當(dāng)不再發(fā)生變化時，執(zhí)行與A的并集運(yùn)算，用D1表示結(jié)果

上述過程用B2重復(fù)，直到不發(fā)生變化。

最后得到的4個D的并集組成了A的凸殼C

A

Di計算凸殼舉例圖a圖b圖c圖d圖e圖f圖g圖h顯示4個結(jié)構(gòu)元素的屬性圖c-f是用圖a中的結(jié)構(gòu)元素得到的收斂結(jié)果計算凸殼舉例（續(xù)）

上述過程的一個明顯缺點是：凸殼可能超出確保凸性所需的最小尺寸

解決辦法：限制水平和垂直方向上的尺寸大小，如下圖所示。

也可限制水平、垂直和對角線方向上的最大尺寸。缺點是增加了算法的復(fù)雜性形態(tài)學(xué)的主要應(yīng)用

細(xì)化

細(xì)化過程根據(jù)擊中或擊不中變換定義A

B

A

A B

A

A B

c

定義結(jié)構(gòu)元素序列為

B

B1,B2,B3,...,Bn

Bi是Bi-1旋轉(zhuǎn)后的形式，如在B4中旋轉(zhuǎn)900

用結(jié)構(gòu)元素序列定義細(xì)化為A

B

...

A

B1

B2

...

Bn

即連續(xù)使用B1，B2，…，Bn對A細(xì)化形態(tài)學(xué)的主要應(yīng)用

粗化

粗化和細(xì)化在形態(tài)學(xué)上是對偶過程，定義為A B

A

A B

用結(jié)構(gòu)元素序列定義粗化為A

B

...

A B1

B2

...

Bn

即連續(xù)使用B1，B2，…，Bn對A粗化

粗化可以通過細(xì)化算法求補(bǔ)集實現(xiàn)：先對所討論集合的背景進(jìn)行細(xì)化，然后對結(jié)果求補(bǔ)集，即

粗化

粗化可以通過細(xì)化算法求補(bǔ)集實現(xiàn)：為了對集合A進(jìn)行粗化，先令C=Ac，然后對C進(jìn)行細(xì)化，最后形成Cc形態(tài)學(xué)的主要應(yīng)用集合AAcAc細(xì)化的結(jié)果，形成一條邊界對Ac細(xì)化結(jié)果求補(bǔ)后處理：消除斷點圖像分割

概述

間斷檢測

邊緣連接和邊界檢測

閾值處理

基于區(qū)域的分割

分割中運(yùn)動的應(yīng)用圖像分割

分割的目的：將圖像劃分為不同區(qū)域

三大類方法

根據(jù)區(qū)域間灰度不連續(xù)搜尋區(qū)域之間的邊界，在間斷檢測、邊緣連接和邊界檢測介紹

以像素性質(zhì)的分布進(jìn)行閾值處理，在閾值處理介紹

直接搜尋區(qū)域進(jìn)行分割，在基于區(qū)域的分割中介紹圖像分割

概述

在對圖像的研究和應(yīng)用中，人們往往僅對圖像中的某些部分感興趣，這些部分一般稱為目標(biāo)或前景

為了辨識和分析目標(biāo)，需要將有關(guān)區(qū)域分離提取出來，在此基礎(chǔ)上對目標(biāo)進(jìn)一步利用，如進(jìn)行特征提取和測量

圖像分割就是指把圖像分成各具特性的區(qū)域并提取出感興趣目標(biāo)的技術(shù)和過程圖像分割

概述（續(xù)）

特性可以是灰度、顏色、紋理等，目標(biāo)可以對應(yīng)單個區(qū)域，也可以對應(yīng)多個區(qū)域

圖像分割算法是基于亮度值的不連續(xù)性和相似性

不連續(xù)性是基于亮度的不連續(xù)變化分割圖像，如圖像的邊緣

根據(jù)制定的準(zhǔn)則將圖像分割為相似的區(qū)域，如閾值處理、區(qū)域生長、區(qū)域分離和聚合圖像分割

概述

間斷檢測

邊緣連接和邊界檢測

閾值處理

基于區(qū)域的分割

分割中運(yùn)動的應(yīng)用圖像分割

間斷檢測

點檢測

線檢測

邊緣檢測

尋找間斷的一般方法：模板檢測R

1z1

2z2

...

9z99

izii

1間斷檢測，則在模其中，T是閾值，R是模板計算值

基本思想：如果一個孤立點與它周圍的點不同，則可以使用上述模板進(jìn)行檢測。

注意：如果模板響應(yīng)為0，則表示在灰度級為常數(shù)的區(qū)域

點檢測使用如圖所示的模板，如果R

T板中心位置檢測到一個點點檢測例子孔中嵌有一個黑點應(yīng)用檢測模板的結(jié)果使用圖b中像素最高值的90%作為閾值圖a 圖b 圖c結(jié)論：孤立點可以通過檢測模板并設(shè)置閾值進(jìn)行檢測間斷檢測

線檢測

4個線檢測模板

第一個模板對水平線有最大響應(yīng)

第二個模板對45o方向線有最大響應(yīng)

第三個模板對垂直線有最大響應(yīng)

第四個模板對-45o方向線有最大響應(yīng)間斷檢測

線檢測

用R1,R2,R3和R4分別代表水平、45o、垂直和-45o方向線的模板響應(yīng)，在圖像中心的點，如果則此點被認(rèn)為與在模板i方向上的線更相關(guān)則該點與水平線有更大的關(guān)聯(lián)

在灰度恒定的區(qū)域，上述4個模板的響應(yīng)為零Ri

Rj,j

i

例：如果R1

Rj,j

2,3,4線檢測例子二值電路接線模板，尋找方向為-45o的線條使用-45o模板，得到結(jié)果的絕對值使用閾值方法，閾值等于圖像中最大值得到的結(jié)果，一些孤立點使用點模板檢測刪除，或用形態(tài)學(xué)腐蝕法刪除間斷檢測

邊緣檢測

什么是邊緣？一組相連的像素集合，這些像素位于兩個區(qū)域的邊界上

一階導(dǎo)數(shù)和二階導(dǎo)數(shù)在識別圖像邊緣中的應(yīng)用數(shù)字邊緣模型理想數(shù)字邊緣模型斜坡數(shù)字邊緣模型斜坡的產(chǎn)生是由光學(xué)系統(tǒng)、取樣和圖像采集系統(tǒng)的不完善帶來的邊緣模糊造成的間斷檢測邊緣在邊緣斜面上，一階導(dǎo)數(shù)為正，其它區(qū)域為零在邊緣與黑色交界處，二階導(dǎo)數(shù)為正在邊緣與亮色交界處，二階導(dǎo)數(shù)為負(fù)沿著斜坡和灰度為常數(shù)的區(qū)域為零間斷檢測

結(jié)論

一階導(dǎo)數(shù)可用于檢測圖像中的一個點是否在邊緣上

二階導(dǎo)數(shù)可以判斷一個邊緣像素是在邊緣亮的一邊還是暗的一邊

一條連接二階導(dǎo)數(shù)正值和負(fù)值的虛構(gòu)直線將在邊緣中點附近穿過零點

一階導(dǎo)數(shù)使用梯度算子，二階導(dǎo)數(shù)使用拉普拉斯算子邊緣檢測

梯度算子

圖像f(x,y)在位置(x,y)的梯度定義為下列向量

y

f

x

f

F

Gy

Gx

212y2xG

f

mag

F

G

Gx

Gy

x,y

arctan

Roberts交叉梯度算子

f

|Gx|+|Gy|＝|z9 -z5|

+

|z8– z6|

梯度計算由兩個模板組成，第一個求得梯度的第一項，第二個求得梯度的第二項，然后求和，得到梯度。

兩個模板稱為Roberts交叉梯度算子85z z9z z6z1 z2 z3z7z4邊緣檢測-10010-110

Prewitt梯度算子——3x3的梯度模板

f

|Gx|+|Gy|邊緣檢測=|(z7+z8+z9)-(z1+z2+z3)|+|(z3+z6+z9)-(z1+z4+z7)|z1z2z3z4z5z6z7z8z9-1-1-1000111-101-101-101

Sobel梯度算子——3x3的梯度模板權(quán)值2用于通過增加中心點的重要性而實現(xiàn)某種程度的平滑效果

f

|Gx|+|Gy|邊緣檢測=|(z7+2z8+z9)-(z1+2z2+z3)|+|(z3+2z6+z9)-(z1+2z4+z7)|z1z2z3z4z5z6z7z8z9-1-2-1000121-101-202-101

結(jié)論

Prewitt和Sobel算子是計算數(shù)字梯度時最常用的算子Prewitt模板比Sobel模板簡單，但Sobel模板能夠有效抑制噪聲邊緣檢測拉普拉斯算子

圖像函數(shù)的拉普拉斯變換定義為2 2f

f

x2

y2

2f

5 2 4 6 8

2f

4z

z

z

z

z

2f

8z5

z1

z2

z3

z4

z6

z7

z8

z9

z1z2z3z4z5z6z7z8z9拉普拉斯算子

拉普拉斯算子總結(jié)

缺點：

拉普拉斯算子對噪聲具有敏感性

拉普拉斯算子的幅值產(chǎn)生雙邊緣

拉普拉斯算子不能檢測邊緣的方向

優(yōu)點：

可以利用零交叉的性質(zhì)進(jìn)行邊緣定位

可以確定一個像素是在邊緣暗的一邊還是亮的一邊拉普拉斯算子上式稱為高斯型的拉普拉斯算子LoG

是標(biāo)準(zhǔn)差

拉普拉斯算子與平滑過程一起利用零交叉找到邊緣r2r2

x2

y2h

r

e2

2222222

4re

r

h

r

拉普拉斯算子三維曲線圖像：白色是正值區(qū)域，黑色是負(fù)值區(qū)域，灰色是零值區(qū)域橫截面近似的5×5模板：一個正的中心項，周圍是一個相鄰的負(fù)值區(qū)域，并被一個零值的外部區(qū)域包圍。系數(shù)的總和為零拉普拉斯算子

高斯型拉普拉斯算子總結(jié)

高斯型函數(shù)的目的是對圖像進(jìn)行平滑處理

拉普拉斯算子的目的是提供一幅用零交叉確定邊緣位置的圖像

平滑處理減少了噪聲的影響例：通過零交叉檢測邊緣原圖Sobel算子檢測結(jié)果空間高斯型平滑函數(shù)拉普拉斯算子模板LoG檢測結(jié)果對LoG圖像設(shè)置閾值的結(jié)果，所有正值區(qū)域為白色，所有負(fù)值區(qū)域為黑色檢測邊緣：尋找零交叉點，檢測黑色和白色區(qū)域之間的過渡點拉普拉斯算子

結(jié)論（對比二階拉普拉斯算子和一階Sobel梯度算子）

缺點

邊緣由許多閉合環(huán)的零交叉點決定

零交叉點的計算比較復(fù)雜

優(yōu)點

零交叉點圖像中的邊緣比梯度邊緣細(xì)

抑制噪聲的能力和反干擾性能

結(jié)論：梯度算子具有更多的應(yīng)用圖像分割

概述

間斷檢測

邊緣連接和邊界檢測

閾值處理

基于區(qū)域的分割

分割中運(yùn)動的應(yīng)用圖像分割

邊緣連接和邊界檢測

為什么需要邊緣連接？

局部處理

整體處理之霍夫變換圖像分割

為什么需要邊緣連接？

由于噪聲、照明等產(chǎn)生邊緣間斷，使得一組像素難以完整形成邊緣

因此，在邊緣檢測算法后，使用連接過程將間斷的邊緣像素組合成完整邊緣圖像分割

局部處理

分析圖像中每個邊緣點(x,y)的一個鄰域內(nèi)的像素，根據(jù)某種準(zhǔn)則將相似點進(jìn)行連接，由滿足該準(zhǔn)則的像素連接形成邊緣

如何確定邊緣像素的相似性

邊緣像素梯度算子的響應(yīng)強(qiáng)度

邊緣像素梯度算子的方向則(x,y)鄰域內(nèi)坐標(biāo)為(x0,y0)的邊緣像素，在角度上相似于(x,y)的像素圖像分割

邊緣像素梯度算子的響應(yīng)強(qiáng)度如果

f

x,y

f

x0,y0

E則(x,y)鄰域內(nèi)坐標(biāo)為(x0,y0)的邊緣像素，在幅度上相似于(x,y)的像素

邊緣像素梯度算子的方向

Gx

Gy

x,y

arctan

如果

x,y

x0,y0

A,通過Hough變換進(jìn)行整體處理Hough變換

問題的提出

Hough變換的基本思想

算法實現(xiàn)Hough變換的擴(kuò)展通過Hough變換進(jìn)行整體處理

Hough變換問題的提出

在找出邊界點集之后，需要連接，形成完整的邊界圖形描述

Hough變換的基本思想

對于邊界上的n個點的點集，找出共線的點集和直線方程。

對于任意兩點的直線方程：y=ax+b，構(gòu)造一個參數(shù)a，b的平面，從而有如下結(jié)論：ab通過Hough變換進(jìn)行整體處理

Hough變換的基本思想

xy平面上的任意一條直線y=ax+b，對應(yīng)在參數(shù)ab平面上都有一個點ab

過xy平面一個點(x,y)的所有直線，構(gòu)成參數(shù)ab平面上的一條直線ab通過Hough變換進(jìn)行整體處理

Hough變換的基本思想

如果點(x1,y1)與點(x2,y2)共線，那么這兩點在參數(shù)ab平面上的直線將有一個交點,具有相同的a和b

在參數(shù)ab平面上相交直線最多的點，對應(yīng)的xy平面上的直線就是我們的解by ax1 1(x,y)(x2,y2)a’b’通過Hough變換進(jìn)行整體處理

Hough變換的基本思想abA通過Hough變換進(jìn)行整體處理

Hough變換算法實現(xiàn)

由于垂直直線a為無窮大，我們改用極坐標(biāo)形式：xcos

+ysin

=

參數(shù)平面為

,

，對應(yīng)不是直線而是正弦曲線

使用交點累加器，或交點統(tǒng)計直方圖，找出相交線段最多的參數(shù)空間的點

然后找出該點對應(yīng)的xy平面的直線線段通過Hough變換進(jìn)行整體處理Hough變換的擴(kuò)展

Hough變換不只對直線，也可以用于圓：（x– c1）2 +(y-c2)2 =c32

這時需要三個參數(shù)的參數(shù)空間通過Hough變換進(jìn)行整體處理圖像分割

概述

間斷檢測

邊緣連接和邊界檢測

閾值處理

基于區(qū)域的分割

分割中運(yùn)動的應(yīng)用圖像分割

閾值處理

基礎(chǔ)

基本全局閾值

基本自適應(yīng)閾值

最佳全局和自適應(yīng)閾值

通過邊界特性選擇閾值

基于不同變量的閾值閾值處理

基礎(chǔ)暗的背景：f(x,y)≤T亮的對象：f(x,y)>T暗的背景：f(x,y)≤T1亮的一個對象：T1<f(x,y)≤T2亮的另一個對象：f(x,y)>T2

基礎(chǔ)

閾值處理操作T

T

x,y,p

x,y

,f

x,y

f(x,y)是點(x,y)的灰度級，p(x,y)表示該點的局部性質(zhì)，如以(x,y)為中心的鄰域的平均灰度級

閾值處理后的圖像g(x,y)定義為

1 f

x,y

T

0 f

x,y

Tg

x,y

閾值處理

基礎(chǔ)

標(biāo)記為1的像素對應(yīng)于對象，標(biāo)記為0的像素對應(yīng)于背景

當(dāng)T僅取決于f(x,y)，閾值稱為全局的

當(dāng)T取決于f(x,y)和p(x,y)，閾值是局部的

當(dāng)T取決于空間坐標(biāo)x和y，閾值就是動態(tài)的或自適應(yīng)的

1 f

x,y

T

0 f

x,y

Tg

x,y

閾值處理圖像分割5. 重復(fù)步驟2到4，直到逐次迭代所得的T值之差小于事先定義的參數(shù)T02

計算基本全局閾值算法1. 選擇一個T的初始估計值2. 用T分割圖像，生成兩組像素：G1由所有灰度值大于T的像素組成，而G2由所有灰度值小于或等于T的像素組成3. 對區(qū)域G1和G2中的所有像素計算平均灰度值μ1和μ21

1

2

4. 計算新的閾值T利用基本全局閾值算法的例子原圖原圖的直方圖波谷作為閾值基本全局閾值算法處理的結(jié)果T0=0，3次迭代得到值為125.4最后確定T=125圖像分割

基本自適應(yīng)閾值

單一全局閾值存在的問題

不均勻亮度圖像無法有效分割

方法

將圖像進(jìn)一步細(xì)分為子圖像，并對不同的子圖像使用不同的閾值處理

解決的關(guān)鍵問題：如何將圖像進(jìn)行細(xì)分和如何為得到的子圖像估計閾值

自適應(yīng)閾值：取決于像素在子圖像中的位置圖像分割

最佳全局和自適應(yīng)閾值

假設(shè)一幅圖像僅包含兩個主要的灰度級區(qū)域。令z表示灰度級值，則兩個灰度區(qū)域的直方圖可以看作它們概率密度函數(shù)(PDF)的估計p(z)

p(z)是兩個密度的和或混合。一個是圖像中亮區(qū)域的密度，另一個是暗區(qū)域的密度

如果p(z)已知或假設(shè)，則它能夠確定一個最佳閾值（具有最低的誤差）將圖像分割為兩個可區(qū)分的區(qū)域最佳全局和自適應(yīng)閾值

假設(shè)2個PDF中較大的一個對應(yīng)背景的灰度級，較小的一個描述了圖像中對象的灰度級，則混合PDF是p

z

P1p1

z

P2p2

z

P1是屬于對象像素的概率，P2是屬于背景像素的概率，假設(shè)圖像只包括對象和背景，則P1

P2

1背景對象最佳全局和自適應(yīng)閾值

在區(qū)間[a,b]內(nèi)取值的隨機(jī)變量的概率是它的概率密度函數(shù)從a到b的積分，即在這兩個上下限之間PDF曲線圍住的面積，因此，將一個背景點當(dāng)作對象點進(jìn)行分類時，錯誤發(fā)生的概率為：這是在曲線p1(z)下方位于閾值右邊區(qū)域的面積TE1

T

p2

z

dz這是在曲線p2(z)下方位于閾值左邊區(qū)域的面積

將一個對象點當(dāng)作背景點進(jìn)行分類錯誤發(fā)生的概率為

21Tp zdz

E T

最佳全局和自適應(yīng)閾值

出錯率的整體概率是E

T

P2E1

T

P1E2

T

為了找到出錯最少的閾值，使用萊布尼茲法則把E(T)對T求微分并令結(jié)果等于0，得到P2p1

T

P1p2

T

上式解出T，即為最佳閾值

如果P1=P2，則最佳閾值位于曲線p1(z)和p2(z)的交點處最佳全局和自適應(yīng)閾值

高斯密度可以用兩個參數(shù)均值和方差描述

出錯最少的閾值T的解222

22

12

22

1

2

1

z

2

z

2eP2eP1p

z

22 121 22 22ln

2P1/

1P2

C

2

2

2

2

2

2

21 2 2 1 1 2

B

2

A

1

2AT

BT

C

0最佳全局和自適應(yīng)閾值

如果P1=P2，最佳閾值是均值的平均數(shù)ln

2

P1

P

T

1 2

2

1

2

2

21

如果方差相等

2

2

2，則得到單一的閾值

通過邊界特性選擇閾值

基本思想：

如果直方圖的各個波峰很高、很窄、對稱，且被很深的波谷分開時，有利于選擇閾值

為了改善直方圖的波峰形狀，我們只把區(qū)域邊緣的像素繪入直方圖，而不考慮區(qū)域中間的像素

用微分算子，處理圖像，使圖像只剩下邊界中心兩邊的值圖像分割

通過邊界特性選擇閾值

這種方法有以下優(yōu)點：1)在前景和背景所占區(qū)域面積差別很大時，不會造成一個灰度級的波峰過高，而另一個過低2)邊緣上的點在區(qū)域內(nèi)還是區(qū)域外的概率是相等的，因此可以增加波峰的對稱性3)基于梯度和拉普拉斯算子選擇的像素，可以增加波峰的高度圖像分割

通過邊界特性選擇閾值

算法的實現(xiàn)：1）對圖像進(jìn)行梯度計算，得到梯度圖像。2）得到梯度值最大的那一部分（比如10%）的像素直方圖3）通過直方圖的谷底，得到閾值T

如果用拉普拉斯算子，不通過直方圖，直接得到閾值，方法是使用拉普拉斯算子過濾圖像，將0跨越點對應(yīng)的灰度值為閾值T圖像分割圖像分割

基于不同變量的閾值

在某些情況下，傳感器可以產(chǎn)生不止一個在圖像中描述每一個像素的可利用的變量，因此，允許進(jìn)行多譜段閾值處理

例如一幅有3個變量的圖像(RGB分量)，每個像素有16種可能的灰度級，構(gòu)成16×16×16種灰度級（網(wǎng)格，立方體）

閾值處理就是在三維空間內(nèi)尋找點的聚簇的過程。如在直方圖中找到有效點簇K，可以對RGB分量值接近某一個簇的像素賦予一個任意值(如白色的值)，對其它像素賦予另一個值（如黑色的值）

彩色圖像處理中的色調(diào)和飽和度易于圖像分割基于不同變量閾值的處理彩色照片的單色圖像

原彩色圖是由16位RGB圖像組成的

圍巾是鮮紅色，頭發(fā)和臉部的顏色很淺對應(yīng)于臉部色調(diào)的一個簇進(jìn)行閾值處理得到對應(yīng)于紅色軸的一個簇進(jìn)行閾值處理得到，紅色的圍巾和花出現(xiàn)在分割結(jié)果中圖像分割

概述

間斷檢測

邊緣連接和邊界檢測

閾值處理

基于區(qū)域的分割

分割中運(yùn)動的應(yīng)用圖像分割

基于區(qū)域的分割

基本公式

區(qū)域生長

區(qū)域分離與合并

基本概念

目標(biāo)：將區(qū)域R劃分為若干個子區(qū)域R1,R2,…,Rn，這些子區(qū)域滿足5個條件：1)完備性：n

Rii

12)連通性：每個Ri都是一個連通區(qū)域3)獨立性：對于任意i≠j，Ri∩Rj=Ф

R圖像分割圖像分割

基本概念4)單一性：每個區(qū)域內(nèi)的灰度級相等，P（Ri）=TRUE，i=1,2,…,n5)互斥性：任兩個區(qū)域的灰度級不等，P（Ri∪Rj）=FALSE，i≠j

區(qū)域增長的算法實現(xiàn)：1）根據(jù)圖像的不同應(yīng)用選擇一個或一組種子，它或者是最亮或最暗的點，或者是位于點簇中心的點2）選擇一個描述符（條件）3）從該種子開始向外擴(kuò)張，首先把種子像素加入結(jié)果集合，然后不斷將與集合中各個像素連通、且滿足描述符的像素加入集合4）上一過程進(jìn)行到不再有滿足條件的新結(jié)點加入集合為止圖像分割

通過像素集合的區(qū)域增長

算法實現(xiàn)：區(qū)域A區(qū)域B種子像素種子像素圖像分割

區(qū)域分裂與合并

算法實現(xiàn)：1）對圖像中灰度級不同的區(qū)域，均分為四個子區(qū)域圖像分割

區(qū)域分裂與合并

算法實現(xiàn)：2）如果相鄰的子區(qū)域所有像素的灰度級相同，則將其合并3）反復(fù)進(jìn)行上兩步操作，直至不再有新的分裂與合并為止圖像分割圖像分割

區(qū)域分裂與合并

算法實現(xiàn)：

區(qū)域分裂與合并

算法實現(xiàn)：實際應(yīng)用中還可作以下修改：P(Ri)的定義為：1）區(qū)域內(nèi)多于80%的像素滿足不等式|zj-mi|<=2σi，其中：zj是區(qū)域Ri中第j個點的灰度級，mi是該區(qū)域的平均灰度級，σi是區(qū)域的灰度級的標(biāo)準(zhǔn)方差。2）當(dāng)P(Ri)=TRUE時，將區(qū)域內(nèi)所有像素的灰度級置為mi圖像分割圖像分割

概述

間斷檢測

邊緣連接和邊界檢測

閾值處理

基于區(qū)域的分割

分割中運(yùn)動的應(yīng)用分割中運(yùn)動的應(yīng)用

空間技術(shù)

使用兩幀圖像f(x,y,ti)和f(x,y,tj)相減的辦法，形成差值圖像

在動態(tài)圖像處理過程中，dij中值為1的像素被認(rèn)為是對象運(yùn)動的結(jié)果

考慮圖像幀序列f(x,y,t1),f(x,y,t2),…,f(x,y,tn),并令f(x,y,t1)為基本圖像，一幅累積差異圖像(ADI)由基準(zhǔn)圖像和圖像序列的后續(xù)圖像對比得到

0d

x,y

1ijf

x,y,ti

f

x,y,tj

T其它

空間技術(shù)（續(xù)）

令R(x,y)表示基準(zhǔn)圖像，絕對ADI，正ADI和負(fù)ADI定義如下：

k

1kk

1kk

1k

Nk

1

x,y

N

x,y

1N

x,y

Pk

1

x,y

P

x,y

1P

x,y

Ak

1

x,y

A

x,y

1A

x,y

R

x,y

f

x,y,k

T其它

R

x,y

f

x,y,k

T其它

R

x,y

f

x,y,k

T其它分割中運(yùn)動的應(yīng)用

空間技術(shù)舉例向東南方向運(yùn)動的矩形目標(biāo)的ADI絕對ADI 正ADI負(fù)ADI分割中運(yùn)動的應(yīng)用表示與描述

概述

表示方法

邊界描述子

關(guān)系描述子

概述

圖像分割結(jié)果是得到了區(qū)域內(nèi)的像素集合，或位于區(qū)域邊界上的像素集合，這兩個集合是互補(bǔ)的

與分割類似，圖像中的區(qū)域可用其內(nèi)部(如組成區(qū)域的像素集合)表示，也可用其外部（如組成區(qū)域邊界的像素集合）表示

一般來說，如果關(guān)心的是區(qū)域的反射性質(zhì)，如灰度、顏色、紋理等，常用內(nèi)部表示法；如果關(guān)心的是區(qū)域形狀，則選用外部表示法

表示是直接具體地表示目標(biāo)，好的表示方法應(yīng)具有節(jié)省存儲空間、易于特征計算等優(yōu)點表示與描述

概述

描述是較抽象地表示目標(biāo)。好的描述應(yīng)在盡可能區(qū)別不同目標(biāo)的基礎(chǔ)上對目標(biāo)的尺度、平移、旋轉(zhuǎn)等不敏感，這樣的描述比較通用

描述可分為對邊界的描述和對區(qū)域的描述。此外，邊界和邊界或區(qū)域和區(qū)域之間的關(guān)系也常需要進(jìn)行描述

表示和描述是密切聯(lián)系的。表示的方法對描述很重要，因為它限定了描述的精確性；而通過對目標(biāo)的描述，各種表示方法才有實際意義

表示和描述又有區(qū)別，表示側(cè)重于數(shù)據(jù)結(jié)構(gòu)，而描述側(cè)重于區(qū)域特性以及不同區(qū)域間的聯(lián)系和差別表示與描述

概述

對目標(biāo)特征的測量是要利用分割結(jié)果進(jìn)一步從圖像中獲取有用信息，為達(dá)到這個目的需要解決兩個關(guān)鍵問題：

選用什么特征來描述目標(biāo)

如何精確地測量這些特征

常見的目標(biāo)特征分為灰度（顏色）、紋理和幾何形狀特征等。其中，灰度和紋理屬于內(nèi)部特征，幾何形狀屬于外部特征表示與描述表示與描述

概述

表示方法

邊界描述子

關(guān)系描述子表示與描述

表示方法

鏈碼

多邊形近似

外形特征

邊界分段

區(qū)域骨架表示與描述

鏈碼

鏈碼用于表示由順序連接的具有指定長度和方向的直線段組成的邊界線

這種表示方法基于線段的4或8連接

每一段的方向使用數(shù)字編號方法進(jìn)行編碼4鏈碼 8鏈碼4-鏈碼：000033333322222211110011表示與描述

鏈碼舉例：表示與描述

鏈碼

算法：

給每一個線段邊界一個方向編碼

有4鏈碼和8鏈碼兩種編碼方法

從起點開始，沿邊界編碼，至起點被重新碰到，結(jié)束一個對象的編碼表示與描述

鏈碼

問題1：1）鏈碼相當(dāng)長2）噪音會產(chǎn)生不必要的鏈碼

改進(jìn)1：1）加大網(wǎng)格空間2）依據(jù)原始邊界與結(jié)果的接近程度，來確定新點的位置

鏈碼舉例：4-鏈碼：003332221101表示與描述表示與描述

鏈碼

問題2：1）由于起點的不同，造成編碼的不同2）由于角度的不同，造成編碼的不同

改進(jìn)2：1）從固定位置作為起點(最左最上)開始編碼2）通過使用鏈碼的差分代替碼字本身的方式

鏈碼

循環(huán)差分鏈碼：用相鄰鏈碼的差代替鏈碼例如：4-鏈碼循環(huán)差分為：1010332233133030表示與描述循環(huán)差分：1-2=-1(3)3-0=30-1=-1(3)3-3=01-0=12-3=-1(3)0-1=-1(3)2-2=0表示與描述

多邊形近似

基本思想：用最少的多邊形線段，獲取邊界形狀的本質(zhì)

尋找最小基本多邊形的方法一般有兩種：1）點合成法2）邊分裂法

點合成算法：1）沿著邊界選兩個相鄰的點對，計算首尾連接直線段與原始折線段的誤差R。2）如果誤差R小于預(yù)先設(shè)置的閾值T。去掉中間點，選新點對與下一相鄰點對，重復(fù)1）；否則，存儲線段的參數(shù)，置誤差為0，選被存儲線段的終點為起點，重復(fù)1）2）。3）當(dāng)程序的第一個起點被遇到，算法結(jié)束。

多邊形近似RR < T表示與描述

多邊形近似

點合成算法思想舉例：RR < T表示與描述

多邊形近似

點合成算法的問題：

頂點一般不對應(yīng)于邊界的拐點（如拐角）。因為新的線段直到超過誤差的閾值才開始畫例如：如果沿著一條長的直線追蹤，而它出現(xiàn)了一個拐角，在超過閾值之前，拐角上的一些點會被丟棄

下面講到的分裂法可用于緩解這個問題表示與描述

多邊形近似

分裂邊算法：（1）連接邊界線段的兩個端點（如果是封閉邊界，連接最遠(yuǎn)點）；（2）如果最大正交距離大于閾值，將邊界分為兩段，最大值點定位一個頂點。重復(fù)（1）；（3）如果沒有超過閾值的正交距離，結(jié)束。表示與描述

多邊形近似

邊分裂算法思想舉例：表示與描述使用直線ab長度的0.25倍作為閾值的拆分過程結(jié)果。由于在新的邊界線段上沒有超過閾值的垂直距離的點，分割過程終止表示與描述

外形特征

基本思想：外形特征是一種用一維函數(shù)表達(dá)邊界的方法。基本思想是把邊界的表示降到一維函數(shù)A

r

外形特征

函數(shù)定義——質(zhì)心角函數(shù)：邊上的點到質(zhì)心的距離r，作為夾角

的函數(shù)r(

)r(

)2

A表示與描述

外形特征

問題：函數(shù)依賴于旋轉(zhuǎn)和比例縮放變換

改進(jìn)：

對于旋轉(zhuǎn)——兩種改進(jìn)：a.選擇離質(zhì)心最遠(yuǎn)的點作為起點b.選擇從質(zhì)心到主軸最遠(yuǎn)的點作為起點

對于比例變換：對函數(shù)進(jìn)行正則化，使函數(shù)值總是分布在相同的值域里，比如說[0，1]表示與描述

邊界分段

基本概念：

一個任意集合S（區(qū)域）的凸起外緣H是：包含S的最小凸起的集合

H-S的差的集合被稱為集合S的凸起補(bǔ)集DSSDS+D=H表示與描述

邊界分段

分段算法：

給進(jìn)入和離開凸起補(bǔ)集D的變換點打標(biāo)記來劃分邊界段。

優(yōu)點：不依賴于方向和比例的變化S表示與描述

邊界分段舉例表示與描述區(qū)域S和它的凸起補(bǔ)集D被分割的邊界表示與描述

邊界分段

問題：噪音的影響，導(dǎo)致出現(xiàn)零碎的劃分。

解決的方法：先平滑邊界，或用多邊形逼近邊界,然后再分段

區(qū)域骨架

基本思想

表示一個平面區(qū)域結(jié)構(gòu)形狀的重要方法是把它削減成圖形。這種削減可以通過細(xì)化（也稱為抽骨架）算法，獲取區(qū)域的骨架來實現(xiàn)

Blum的中軸變換方法（MAT）設(shè):R是一個區(qū)域，B為R的邊界點，對于R中的點p，找p在B上“最近”的鄰居。如果p有多于一個的鄰居，稱它屬于R的中軸（骨架）表示與描述

區(qū)域骨架（續(xù)）

問題：計算量大包括計算區(qū)域的每個內(nèi)部點到其邊界點的距離pBR表示與描述表示與描述

區(qū)域骨架

算法改進(jìn)思想在保證產(chǎn)生正確骨架的同時，改進(jìn)算法的效率。比較典型的是一類細(xì)化算法，它們不斷刪除區(qū)域邊界點，但保證刪除滿足：（1）不刪除端點（2）不破壞連通性（3）不造成對區(qū)域的過度腐蝕表示與描述

區(qū)域骨架

一種細(xì)化二值區(qū)域的算法

假設(shè)區(qū)域內(nèi)的點值為1，背景值為0

這個方法由對給定區(qū)域的邊界點連續(xù)進(jìn)行兩個基本操作構(gòu)成

這里邊界點是指任何值為1且至少有一個8鄰域上的點為0的像素

區(qū)域骨架

基本操作1對于滿足以下四個條件的邊界點打標(biāo)記準(zhǔn)備刪除：(a)2

N(p1)

6其中N(p1)是點p1的鄰域中1的個數(shù)，即：N(p1)=p2+p3+…+p9(b) S(p1)=1其中S(p1)是按p2,p3,…,p9順序，0-1轉(zhuǎn)換的個數(shù)(c) p2.p4.p6=0(d) p4.p6.p8=0（p2,p4,p6至少有一個0）（p4,p6,p8至少有一個0）p9 p2 p3p8 p1 p4p7 p6 p5表示與描述p9p2p3p8p1p4p7p6p5p9p2p3p8p1p4p7p6p5

區(qū)域骨架所有條件都滿足，才打刪除標(biāo)記。刪除并不立即進(jìn)行，而是等到對所有邊界點都打完標(biāo)記后，再把作了標(biāo)記的點一起刪除

舉例:N(p1)=4S(p1)=3p2.p4.p6 =0p4.p6.p8 =0第2個條件沒滿足不打標(biāo)記0 0 11 p1 01 0 1表示與描述p9p2p3p8p1p4p7p6p5p9p2p3p8p1p4p7p6p5

區(qū)域骨架

基本操作2條件(a)、(b)與操作1相同條件(c)、(d)改為：表示與描述c’)p2.p4.p8=0d’)p2.p6