光電信息圖像分割PPT課件

1、3.4 數(shù)字圖像處理技術(shù)3.4.3圖像增強(qiáng)3.4.4圖像分割3.4.5特征提取3.4.6識別與解釋第1頁/共90頁3.4.4圖像分割3.4.4.1 圖像分割引言3.4.4.2 邊界分割法3.4.4.3 邊緣連接分割法3.4.4.4 閾值分割法3.4.4.5 面向區(qū)域的分割3.4.4.6 數(shù)學(xué)形態(tài)學(xué)圖像處理第2頁/共90頁3.4.4.1 圖像分割引言引言 圖像分析系統(tǒng)的基本構(gòu)成 圖像分割的概念 圖像分割的基本思路 圖像分割的基本策略第3頁/共90頁知識庫表示與描述預(yù)處理分割低級處理低級處理高級處理高級處理中級處理中級處理識別與解釋結(jié)果結(jié)果圖像獲取問題問題圖像分析系統(tǒng)的基本構(gòu)成第4頁/共90頁圖像

2、分割的概念 把圖像分解成構(gòu)成它的部件和對象的過程 有選擇性地定位感興趣對象在圖像中的位置和范圍第5頁/共90頁圖像分割的基本思路1.從簡到難，逐級分割2.控制背景環(huán)境，降低分割難度3.把焦點(diǎn)放在增強(qiáng)感興趣對象，縮小不相干圖像成分的干擾上第6頁/共90頁1.從簡到難，逐級分割1.從簡到難，逐級分割分割矩形區(qū)域定位牌照定位文字第7頁/共90頁2.控制背景環(huán)境，降低分割難度背景環(huán)境:路面、天空第8頁/共90頁3.把焦點(diǎn)放在增強(qiáng)感興趣對象3.把焦點(diǎn)放在增強(qiáng)感興趣對象，縮小不相干圖像成分的干擾上感興趣的對象：汽車牌照不相干圖像成分：非矩形區(qū)域第9頁/共90頁圖像分割的基本策略-不連續(xù)性不連續(xù)性基于灰度值

3、的兩個基本特性：1.不連續(xù)性區(qū)域之間2.相似性區(qū)域內(nèi)部根據(jù)圖像像素灰度值的不連續(xù)性先找到點(diǎn)、線（寬度為1）、邊（不定寬度）再確定區(qū)域第10頁/共90頁圖像分割的基本策略-相似性相似性 根據(jù)圖像像素灰度值的相似性 通過選擇閾值，找到灰度值相似的區(qū)域 區(qū)域的外輪廓就是對象的邊第11頁/共90頁圖像分割引言-規(guī)類 不連續(xù)性 3.4.4.2 邊界分割法 3.4.4.3 邊緣連接分割法 相似性 3.4.4.4 閾值分割法 3.4.4.5 面向區(qū)域的分割 3.4.4.6 數(shù)學(xué)形態(tài)學(xué)圖像處理第12頁/共90頁邊界分割法 點(diǎn)的檢測 線的檢測 邊的檢測3.4.4.2 邊界分割法第13頁/共90頁 用空域的高通濾

4、波器來檢測孤立點(diǎn)例： R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 106設(shè) ：閾值：T = 64 R T88881288888圖像圖像-1-1-1-18-1-1-1-1模板模板點(diǎn)的檢測第14頁/共90頁點(diǎn)的檢測算法描述 設(shè)定閾值 T，如T = 32、64、128等,并計算高通濾波值R 如果R值等于0，說明當(dāng)前檢測點(diǎn)與的灰度值與周圍點(diǎn)的相同 當(dāng)R的值足夠大時，說明該點(diǎn)的值與周圍的點(diǎn)非常不同，是孤立點(diǎn)。通過閾值T來判斷 |R| T 檢測到一個孤立點(diǎn)第15頁/共90頁線的檢測 通過比較典型模板的計算值，確定一個點(diǎn)是否在某個方向

5、的線上-1-1-1222-1-1-1水平模板水平模板-1-12-12-12-1-14545度模板度模板-12-1-12-1-12-1垂直模板垂直模板2-1-1-12-1-1-12135135度模板度模板第16頁/共90頁線的檢測2 線的檢測用4種模板分別計算R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 0111555111111555111111555111例：例：圖像圖像第17頁/共90頁線的檢測算法描述 線的檢測算法描述 依次計算4個方向的典型檢測模板，得到Ri i=1,2,3,4 如

6、|Ri| |Rj| 對于所有的j = i，那么這個點(diǎn)被稱為在方向上更接近模板i 所代表的線 設(shè)計任意方向的檢測模板 可能大于3x3 模板系數(shù)和為0 感興趣的方向的系數(shù)大。 第18頁/共90頁邊的檢測邊界的定義 邊界的定義：是兩個具有相對不同灰度值特性的區(qū)域的邊界線 適用于：假定問題中的區(qū)域是非常類似的，兩個區(qū)域之間的過渡，僅僅根據(jù)灰度的不連續(xù)性便可確定 不適用于：當(dāng)假定不成立時，閾值分割技術(shù)一般來說比邊緣檢測更加實(shí)用。第19頁/共90頁邊的檢測舉例分割對象區(qū)域分割對象區(qū)域第20頁/共90頁邊的檢測基本思想 計算局部微分算子截面圖邊界圖像第21頁/共90頁邊的檢測基本思想一階微分一階微分 一階微

7、分：用梯度算子來計算 特點(diǎn)：對于亮的邊，邊的變化起點(diǎn)是正的，結(jié)束是負(fù)的。對于暗邊，結(jié)論相反。常數(shù)部分為零。 用途：用于檢測圖像中邊的存在第22頁/共90頁邊的檢測基本思想二階微分二階微分 二階微分：通過拉普拉斯來計算 特點(diǎn)：二階微分在亮的一邊是正的，在暗的一邊是負(fù)的。常數(shù)部分為零。第23頁/共90頁邊的檢測基本思想二階微分二階微分2 二階微分：通過拉普拉斯來計算 用途：1）二次導(dǎo)數(shù)的符號，用于確定邊上的像素是在亮的一邊，還是暗的一邊。2）0跨越，確定邊的準(zhǔn)確位置第24頁/共90頁邊的檢測基本思想梯度算子梯度算子 梯度算子函數(shù)f(x,y)在(x,y)處的梯度為一個向量： f = f / x ,

8、f / y計算這個向量的大小為：f = mag(f ) = (f / x)2 +(f / y)21/2近似為: f |x| + |y|z2z8z5z3z9z6z1z7z4第25頁/共90頁邊的檢測基本思想梯度算子梯度算子2 梯度的方向角為： (x,y) = tan(y / x)Sobel算子為： x = (z7 + 2z8 + z9) - (z1 + 2z2 + z3) y = (z3 + 2z6 + z9) - (z1 + 2z4 + z7)梯度值： f |x| + |y|-220-110-110 x000-1-1-2112 y第26頁/共90頁邊的檢測 Sobel梯度算子的使用 Sobel

9、梯度算子的使用與分析1. 直接計算y、x可以檢測到邊的存在， 以及從暗到亮，從亮到暗的變化 2. 僅計算|x|，產(chǎn)生最強(qiáng)的響應(yīng)是正交 于x軸的邊； |y|則是正交于y軸的邊。 3. Soleb算子具有平滑效果，由于微分增強(qiáng)了噪音，這一點(diǎn)是特別引人注意的特性第27頁/共90頁邊界分割法圖示1第28頁/共90頁邊界分割法圖示2第29頁/共90頁邊的檢測拉普拉斯 拉普拉斯 二維函數(shù)f(x,y)的拉普拉斯是一個二階的微分定義為： 2f = 2f / x2 , 2f / y2 可以用多種方式被表示為數(shù)字形式。對于一個33的區(qū)域，經(jīng)驗(yàn)上被推薦最多的形式是：2f = 4z5 (z2 + z4 + z6 +

10、z8)z2z8z5z3z9z6z1z7z4第30頁/共90頁邊的檢測拉普拉斯2拉普拉斯 定義數(shù)字形式的拉普拉斯的基本要求是：1.作用于中心像素的系數(shù)是一個正數(shù)2.而且其周圍像素的系數(shù)為負(fù)數(shù)3.系數(shù)之和必為0-1-1400-100-1第31頁/共90頁邊的檢測拉普拉斯圖示第32頁/共90頁邊的檢測拉普拉斯算子的分析 缺點(diǎn)：對噪音的敏感；會產(chǎn)生雙邊效果； 不能檢測出邊的方向 應(yīng)用：拉普拉斯算子不直接用于邊的檢測，通常只起輔助的角色； 檢測一個像素是在邊的亮的一邊還是暗的一邊 利用零跨越，確定邊的位置第33頁/共90頁3.4.4.3 邊緣連接分割法邊緣連接法的意義局部處理法Hough變換第34頁/共

11、90頁邊緣連接的意義 邊緣連接的意義邊檢測算法的后處理 由于噪音的原因，邊界的特征很少能夠被完整地描述，在亮度不一致的地方會中斷 因此典型的邊檢測算法后面總要跟隨著連接過程和其它邊界檢測過程，用來歸整邊像素，成為有意義的邊第35頁/共90頁局部連接處理連接處理的時機(jī)和目的連接處理的原理局部連接算法描述第36頁/共90頁連接處理的時機(jī)和目的連接處理的時機(jī)和目的： 時機(jī)：對做過邊界檢測的圖像進(jìn)行 目的：連接間斷的邊第37頁/共90頁連接處理的原理 對做過邊檢測的圖象的每個點(diǎn)(x,y)的特性進(jìn)行分析 分析在一個小的鄰域（33或55）中進(jìn)行 所有相似的點(diǎn)被連接，形成一個享有共同特性象素的邊界 用比較梯

12、度算子的響應(yīng)強(qiáng)度和梯度方向確定兩個點(diǎn)是否同屬一條邊點(diǎn)點(diǎn)(x(x,y,y) )點(diǎn)點(diǎn) (x,y)(x,y)第38頁/共90頁連接處理的原理2 通過比較梯度，確定兩個點(diǎn)的連接性： 對于點(diǎn)(x,y)，判斷其是否與鄰域內(nèi)的點(diǎn) (x,y)相似，當(dāng)： |f (x,y) f (x,y)| T其中T是一個非負(fù)的閾值第39頁/共90頁連接處理的原理3 比較梯度向量的方向角 對于點(diǎn)(x,y)，判斷其是否與鄰域內(nèi)的點(diǎn) (x,y)的方向角相似，當(dāng)： | (x,y) (x,y)| A其中A是一個角度閾值第40頁/共90頁連接處理的原理4 局部連接處理 連接處理的原理： 當(dāng)梯度值和方向角都是相似的，則點(diǎn)(x,y)，與邊點(diǎn)界

13、(x,y)是連接的點(diǎn)點(diǎn)(x(x,y,y) )點(diǎn)點(diǎn) (x,y)(x,y)第41頁/共90頁局部連接算法描述1）設(shè)定A、T的閾值大小，確定鄰域的大小2）對圖像上每一個像素的鄰域點(diǎn)進(jìn)行分析， 判斷是否需要連接。3）記錄像素連接的情況，另開一個空間， 給不同的邊以不同的標(biāo)記。4）最后，刪除孤立線段，連接斷開的線段。第42頁/共90頁Hough變換Hough變換 問題的提出 Hough變換的基本思想 算法實(shí)現(xiàn) Hough變換的擴(kuò)展第43頁/共90頁Hough變換問題的提出 在找出邊界點(diǎn)集之后，需要連接，形成完整的邊界圖形描述第44頁/共90頁Hough變換的基本思想 對于邊界上的n個點(diǎn)的點(diǎn)集，找出共線的

14、點(diǎn)集和直線方程。 對于任意兩點(diǎn)的直線方程：y = ax + b，構(gòu)造一個參數(shù)a，b的平面，從而有如下結(jié)論：a ab b第45頁/共90頁Hough變換的基本思想2 xy平面上的任意一條直線y = ax + b ，對應(yīng)在參數(shù)ab平面上都有一個點(diǎn) 過xy平面一個點(diǎn)(x,y)的所有直線，構(gòu)成參數(shù)ab平面上的一條直線。a ab ba ab b第46頁/共90頁Hough變換的基本思想3 如果點(diǎn)(x1,y1)與點(diǎn)(x2,y2)共線，那么這兩點(diǎn)在參數(shù)ab平面上的直線將有一個交點(diǎn) 在參數(shù)ab平面上相交直線最多的點(diǎn)，對應(yīng)的xy平面上的直線就是我們的解y yx x(x1,y1)(x2,y2)a ab ba ab

15、 b第47頁/共90頁Hough變換的基本思想4a ab bA A第48頁/共90頁Hough變換算法實(shí)現(xiàn) 由于垂直直線a,為無窮大，我們改用極坐標(biāo)形式：xcos + ysin = 參數(shù)平面為, ，對應(yīng)不是直線而是正弦曲線 使用交點(diǎn)累加器，或交點(diǎn)統(tǒng)計直方圖，找出相交線段最多的參數(shù)空間的點(diǎn) 然后找出該點(diǎn)對應(yīng)的xy平面的直線線段第49頁/共90頁Hough變換的擴(kuò)展 Hough變換不只對直線，也可以用于圓： （x c1）2 + (y - c2)2 = c32 這時需要三個參數(shù)的參數(shù)空間。第50頁/共90頁3.4.4.4 閾值分割法 閾值分割法 通過交互方式得到閾值 通過直方圖得到閾值 通過邊界特性

16、選擇閾值 簡單全局閾值分割 分割連通區(qū)域 基于多個變量的閾值第51頁/共90頁閾值分割法的基本思想 確定一個合適的閾值T（閾值選定的好壞是此方法成敗的關(guān)鍵）。 將大于等于閾值的像素作為物體或背景，生成一個二值圖像。If f(x,y) T set 255Else set 0 在四鄰域中有背景的像素，既是邊界像素。025525502550255255255第52頁/共90頁閾值分割法的特點(diǎn) 適用于物體與背景有較強(qiáng)對比的情況，重要的是背景或物體的灰度比較單一。（可通過先求背景，然后求反得到物體） 這種方法總可以得到封閉且連通區(qū)域的邊界?；叶戎祷叶戎礷(xf(x0 0,y,y0 0) )T T第53頁

17、/共90頁通過交互方式得到閾值 基本思想： 在通過交互方式下，得到對象（或背景 ）的灰度值，比得到閾值T容易得多。 假設(shè)：對象的灰度值(也稱樣點(diǎn)值)為f(x0,y0),且： T = f(x0,y0) R 有：f(x,y) Tf(x,y) f(x0,y0) R|f(x,y) f(x0,y0)| R 其中R 是容忍度，可通過試探獲得。第54頁/共90頁通過交互方式得到閾值-實(shí)施方法（1）通過光標(biāo)獲得樣點(diǎn)值f(x0,y0)（2）選取容忍度R（3）if |f(x,y)f(x0,y0)| R set 255 else set 0第55頁/共90頁通過直方圖得到閾值 基本思想邊界上的點(diǎn)的灰度值出現(xiàn)次數(shù)較少

18、T第56頁/共90頁通過直方圖得到閾值-取值的方法 取直方圖谷底(最小值)的灰度值為閾值T 缺點(diǎn)：會受到噪音的干擾，最小值不是預(yù)期的閾值，而偏離期望的值； 改進(jìn)：1）取兩個峰值之間某個固定位置，如中間位置上。由于峰值代表的是區(qū)域內(nèi)外的典型值，一般情況下，比選谷底更可靠，可排除噪音的干擾第57頁/共90頁通過直方圖得到閾值-改進(jìn)1T第58頁/共90頁通過直方圖得到閾值-改進(jìn)22）對噪音的處理對直方圖進(jìn)行平滑處理，如最小二乘法，等不過點(diǎn)插值。第59頁/共90頁通過邊界特性選擇閾值-基本思想 如果直方圖的各個波峰很高、很窄、對稱，且被很深的波谷分開時，有利于選擇閾值。 為了改善直方圖的波峰形狀，我們

19、只把區(qū)域邊緣的像素繪入直方圖，而不考慮區(qū)域中間的像素。 用微分算子，處理圖像，使圖像只剩下邊界中心兩邊的值。第60頁/共90頁通過邊界特性選擇閾值-基本思想2第61頁/共90頁通過邊界特性選擇閾值-優(yōu)點(diǎn)1)在前景和背景所占區(qū)域面積差別很大時，不會造一個灰度級的波峰過高，而另一個過低2)邊緣上的點(diǎn)在區(qū)域內(nèi)還是區(qū)域外的概率是相等的，因此可以增加波峰的對稱性3)基于梯度和拉普拉斯算子選擇的像素，可以增加波峰的高度第62頁/共90頁通過邊界特性選擇閾值-算法 算法的實(shí)現(xiàn)：1）對圖像進(jìn)行梯度計算，得到梯度圖像。2）得到梯度值最大的那一部分（比如10%） 的像素直方圖3）通過直方圖的谷底，得到閾值T 如果

20、用拉普拉斯算子，不通過直方圖，直接得到閾值，方法是使用拉普拉斯算子過濾圖像，將0跨越點(diǎn)對應(yīng)的灰度值為閾值T第63頁/共90頁簡單全局閾值分割-基本思想 用前述方法獲得閾值T，并產(chǎn)生一個二值圖，區(qū)分出前景對象和背景 算法實(shí)現(xiàn)： 規(guī)定一個閾值T，逐行掃描圖像。 凡灰度級大于T的，顏色置為255；凡灰度級小于T的，顏色置為0 適用場合：明度圖像是可以控制的情況，例如用于工業(yè)監(jiān)測系統(tǒng)中第64頁/共90頁分割連通區(qū)域-基本思想 用前述方法獲得閾值T，并產(chǎn)生一個二值圖，區(qū)分出單獨(dú)的連通前景對象和背景區(qū)域 算法實(shí)現(xiàn)： 規(guī)定一個閾值T，上下左右4個方向進(jìn)行逐行掃描圖像 凡灰度級大于T的，顏色置為255；凡灰度

21、級小于T的，顏色置為0第65頁/共90頁分割連通區(qū)域-適用場合 分割連通區(qū)域 適用場合：印前等。先左后右，先上半部分、后下半部分第66頁/共90頁基于多個變量的閾值-基本思想 把前面的方法擴(kuò)展到多維空間，則尋找波谷的過程，變?yōu)閷ふ尹c(diǎn)簇的過程。 算法實(shí)現(xiàn)： 各維分量波谷之間進(jìn)行邏輯與運(yùn)算，從波谷重合的點(diǎn)，得到實(shí)際的閾值T。 應(yīng)用場合：有多個分量的顏色模型，如RGB模型、CMYK模型、HSI模型第67頁/共90頁面向區(qū)域的分割 基本概念 像素集合的區(qū)域增長 區(qū)域分裂與合并3.4.4.5 面向區(qū)域的分割第68頁/共90頁 目標(biāo)：將區(qū)域R劃分為若干個子區(qū)域R1,R2,Rn，這些子區(qū)域滿足5個條件：1)

22、完備性：2)連通性：每個Ri都是一個連通區(qū)域3)獨(dú)立性：對于任意ij，RiRj= niiRR1面向區(qū)域的分割-基本概念第69頁/共90頁4)單一性：每個區(qū)域內(nèi)的灰度級相等，P（Ri）= TRUE，i = 1,2,n5)互斥性：任兩個區(qū)域的灰度級不等，P（RiRj）= FALSE，ij面向區(qū)域的分割-基本概念2第70頁/共90頁 算法實(shí)現(xiàn)：1）根據(jù)圖像的不同應(yīng)用選擇一個或一組種子，它或者是最亮或最暗的點(diǎn)，或者是位于點(diǎn)簇中心的點(diǎn)2）選擇一個描述符（條件）3）從該種子開始向外擴(kuò)張，首先把種子像素加入結(jié)果集合，然后不斷將與集合中各個像素連通、且滿足描述符的像素加入集合4）上一過程進(jìn)行到不再有滿足條件的

23、新結(jié)點(diǎn)加入集合為止像素集合的區(qū)域增長-算法第71頁/共90頁 通過像素集合的區(qū)域增長 算法實(shí)現(xiàn)： 區(qū)域區(qū)域B B 區(qū)域區(qū)域A A 種子像素種子像素 種子像素種子像素通像素集合的區(qū)域增長算法2第72頁/共90頁 算法實(shí)現(xiàn)：1）對圖像中灰度級不同的區(qū)域，均分為四個子區(qū)域區(qū)域分裂與合并-算法實(shí)現(xiàn)第73頁/共90頁 算法實(shí)現(xiàn)：2）如果相鄰的子區(qū)域所有像素的灰度級相同，則將其合并3）反復(fù)進(jìn)行上兩步操作，直至不再有新的分裂與合并為止區(qū)域分裂與合并-算法實(shí)現(xiàn)2第74頁/共90頁區(qū)域分裂與合并-算法實(shí)現(xiàn)3第75頁/共90頁 實(shí)際應(yīng)用中還可作以下修改：P(Ri)的定義為：1）區(qū)域內(nèi)多于80%的像素滿足不等式|z

24、j-mi|=2i，其中：zj是區(qū)域Ri中第j個點(diǎn)的灰度級， mi是該區(qū)域的平均灰度級， i是區(qū)域的灰度級的標(biāo)準(zhǔn)方差。2）當(dāng)P(Ri)=TRUE時，將區(qū)域內(nèi)所有像素的灰度級置為mi。區(qū)域分裂與合并-算法改進(jìn)第76頁/共90頁 基本概念 腐蝕與膨脹 開-閉運(yùn)算 變體3.4.4.6 數(shù)學(xué)形態(tài)學(xué)圖像處理第77頁/共90頁 數(shù)學(xué)形態(tài)學(xué)圖像處理 結(jié)構(gòu)元素與二值圖像進(jìn)行邏輯運(yùn)算，產(chǎn)生新的圖像的圖像處理方法 集合概念上的二值圖像B二值圖像B是定義在笛卡兒網(wǎng)格上的集合，網(wǎng)格中值為1的點(diǎn)是集合的元素 結(jié)構(gòu)元素S是集合概念上的二值圖像 為簡單起見，結(jié)構(gòu)元素為33，且全都為1 當(dāng)結(jié)構(gòu)元素的原點(diǎn)移到點(diǎn)(x,y)時，記為Sxy形態(tài)學(xué)圖像處理-基本概念第78頁/共90頁結(jié)構(gòu)元素S111111111111111111 111100111011011101結(jié)構(gòu)元素結(jié)構(gòu)元素Sxy圖像圖像B形態(tài)學(xué)圖像處理-基本概念2第79頁/共90頁膨脹后膨脹后腐蝕后腐蝕后原圖原圖腐蝕與膨脹第80頁/共90頁1) 腐蝕 定義：E = B S = x,y | SxyB 結(jié)果：使二值圖像減小一圈 算法： 用3