《數(shù)字圖像處理教程（OPENCV版）》 課件 Ch09 形態(tài)學(xué)處理、Ch10 圖像分割

數(shù)字圖像處理教程第9章形態(tài)學(xué)處理用具有一定形態(tài)的結(jié)構(gòu)元素對圖像處理，以提取那些在描述圖像區(qū)域形狀中非常有用的特征在圖像分割、特征識別、圖像描述等應(yīng)用中常用簡化圖像特征、保持圖像基本特征、去除無關(guān)細(xì)節(jié)等目的，是圖像增強的有效手段非線性圖像處理，可用于二值圖像和灰度圖像9.1預(yù)備知識9.1預(yù)備知識

9.1預(yù)備知識

9.1預(yù)備知識

9.1預(yù)備知識

9.2.腐蝕與膨脹二值圖像中通常用像素值1表示屬于目標(biāo)（又稱前景）的像素、0表示該像素屬于非目標(biāo)（又稱背景）腐蝕和膨脹都是針對目標(biāo)進行的處理9.2.1腐蝕

9.2.1腐蝕腐蝕結(jié)果與目標(biāo)和結(jié)構(gòu)元形狀、尺寸、結(jié)構(gòu)元原點位置有關(guān)消除細(xì)小的噪聲，選擇大小形狀適當(dāng)?shù)慕Y(jié)構(gòu)元可以濾掉不能完全包含結(jié)構(gòu)元的噪聲利用腐蝕濾除噪聲的同時，對圖像中目標(biāo)的形狀也有影響9.2.2膨脹

9.2.2膨脹膨脹填充圖像中背景尺寸比結(jié)構(gòu)元小的區(qū)域可用于連接相鄰間隔很小的目標(biāo)區(qū)域、填充小孔和狹窄的縫隙膨脹結(jié)果與結(jié)構(gòu)元大小、形狀及中心點位置有關(guān)9.2.3對偶性

9.3開運算和閉運算9.3.1開運算

9.3.2閉運算

開、閉運算、腐蝕和膨脹比較

9.4擊中與擊不中變換9.4擊中與擊不中變換

找內(nèi)部形狀找外部邊緣形狀9.4擊中與擊不中變換9.5一些基本形態(tài)學(xué)算法9.5.1邊界提取

9.5.2種子填充

9.5.3提取連通分量

9.5.4凸包

9.5.4凸包

9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化骨架化（1）骨架化是一種極致的細(xì)化，將目標(biāo)細(xì)化為寬度1個像素，細(xì)化后細(xì)線連通保持輸入對象的尺寸，骨架的端點一直延伸至目標(biāo)的邊界骨架位于目標(biāo)中心線位置不改變目標(biāo)基本結(jié)構(gòu)9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化

開運算9.5.5細(xì)化、骨架化和粗化骨架化（4）距離變換實現(xiàn)骨架化對二值圖像進行距離變換，得到距離圖像目標(biāo)中心在距離圖像最亮，根據(jù)距離變換結(jié)果的奇異性（中心最亮處曲率變化最大）提取中心軸線，得到目標(biāo)的骨架9.5.5細(xì)化、骨架化和粗化

9.5.5細(xì)化、骨架化和粗化

9.5.6形態(tài)學(xué)重建涉及兩幅圖像和一個結(jié)構(gòu)元一幅圖像為標(biāo)記(marker)或標(biāo)記圖像，包含變換的起始點另一幅圖像稱為模板(mask)，用于對變換進行約束結(jié)構(gòu)元用于定義連接性形態(tài)學(xué)重建的基本運算是測地膨脹和測地腐蝕9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建

9.5.6形態(tài)學(xué)重建形態(tài)學(xué)重建應(yīng)用9.5.6形態(tài)學(xué)重建形態(tài)學(xué)重建應(yīng)用9.6灰度圖像的形態(tài)學(xué)處理9.6灰度圖像的形態(tài)學(xué)處理一般用于圖像分割、圖像二值化等之前的預(yù)處理階段提高區(qū)域灰度趨同性、強調(diào)灰度差異、突出某些特征等9.6灰度圖像的形態(tài)學(xué)處理不平坦結(jié)構(gòu)元平坦結(jié)構(gòu)元通?；叶葓D級形態(tài)學(xué)處理的結(jié)構(gòu)元關(guān)于原點對稱一般采用平坦結(jié)構(gòu)元9.6.1腐蝕和膨脹

9.6.1腐蝕和膨脹

9.6.1腐蝕和膨脹

9.6.1腐蝕和膨脹腐蝕降低圖像整體亮度膨脹增加圖像整體亮度9.6.2開運算和閉運算

9.6.2開運算和閉運算

9.6.2開運算和閉運算9.6.2開運算和閉運算多次形態(tài)學(xué)處理使亮度趨于一致9.6.3頂帽變換和底帽變換

9.6.3頂帽變換和底帽變換

9.6.3頂帽變換和底帽變換頂帽變換和底帽變換可用于對比度增強處理將原圖與頂帽變換結(jié)果相加，可以使局部亮處更亮原圖減去底帽變換使得局部暗處更暗9.6.4形態(tài)學(xué)濾波開運算抑制小于結(jié)構(gòu)元的亮細(xì)節(jié)，閉運算則抑制暗細(xì)節(jié)二個操作可以聯(lián)合使用，先進行開運算再進行閉運算，去除局部最亮和最暗細(xì)節(jié)或噪聲先開后閉的聯(lián)合運算或者先閉后開的聯(lián)合運算稱為形態(tài)學(xué)濾波，又稱形態(tài)學(xué)平滑9.6.4形態(tài)學(xué)濾波形態(tài)學(xué)濾波衍生出類似的形態(tài)學(xué)平滑方法還有諸如：將圖像腐蝕結(jié)果與膨脹結(jié)果求平均、將圖像開運算結(jié)果與閉運算結(jié)果求平均等等9.6.5形態(tài)學(xué)梯度圖像中各區(qū)域邊緣處灰度發(fā)生明顯變化，梯度強調(diào)了這種變化通常在梯度計算前對圖像進行平滑以抑制噪聲基本的形態(tài)學(xué)梯度：布徹梯度圖像膨脹結(jié)果減去圖像腐蝕結(jié)果反映了在結(jié)構(gòu)元形狀確定的區(qū)域范圍內(nèi)灰度的最大變化9.6.5形態(tài)學(xué)梯度當(dāng)邊緣為階躍型時，形態(tài)學(xué)梯度得到的邊緣寬度為2個像素可以采用半梯度計算獲得寬度為1的邊緣半梯度分二種內(nèi)部梯度：原圖減去其腐蝕結(jié)果外部梯度：圖像膨脹結(jié)果減去原圖9.6.5形態(tài)學(xué)梯度

數(shù)字圖像處理教程第10章圖像分割

10.1邊緣檢測10.1.1邊緣檢測基礎(chǔ)邊緣是圖像不同區(qū)域的分界處，是圖像分割的重要依據(jù)邊緣表現(xiàn)為局部特征不連續(xù)10.1.1邊緣檢測基礎(chǔ)邊緣檢測方法有很多，例如空間域微分算子、擬合曲面檢測、小波多尺度邊緣檢測、基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測、基于形變模型等，其中空間域微分算子是經(jīng)典的邊緣檢測方式灰度值灰度值一階導(dǎo)數(shù)灰度值二階導(dǎo)數(shù)10.1.1邊緣檢測基礎(chǔ)噪聲對邊緣檢測的影響10.1.1邊緣檢測基礎(chǔ)邊緣檢測的基本步驟：圖像平滑以抑制噪聲。檢測邊緣點：進行局部檢測提取出潛在的邊緣點。邊緣定位：將間斷的邊緣連接成有意義的完整邊緣，同時去除假邊緣10.1.2一階邊緣檢測算子

10.1.2一階邊緣檢測算子

10.1.2一階邊緣檢測算子

10.1.3Marr-Hildreth邊緣檢測

10.1.3Marr-Hildreth邊緣檢測

10.1.3Marr-Hildreth邊緣檢測Marr-Hildreth邊緣檢測示例10.1.4Canny邊緣檢測Canny邊緣檢測的三個目標(biāo)低錯誤率，所有真實邊緣都應(yīng)被找出，并且應(yīng)該沒有偽邊緣，邊緣檢測結(jié)果盡可能與真實邊緣符合精確定位邊緣點，檢測出的邊緣點與真實邊緣點之間的距離應(yīng)盡可能小單個邊緣點輸出,對應(yīng)每個真實邊緣點，檢測器應(yīng)只輸出一個檢測到的邊緣點10.1.4Canny邊緣檢測Canny邊緣檢測步驟：對圖像進行高斯低通濾波，抑制噪聲用一階邊緣檢測算子求圖像梯度計算梯度方向和幅值對梯度幅值圖像采用非極大值抑制用雙閾值處理和連接分析檢測并連接邊緣10.1.4Canny邊緣檢測

10.1.4Canny邊緣檢測

10.1.4Canny邊緣檢測10.1.5Hough變換由于噪聲、非均勻照明等因素干擾，檢測到的邊緣間斷、虛假邊緣點或線段Hough變換是一個重要的檢測間斷點邊界形狀的方法將圖像從笛卡爾直角坐標(biāo)空間變換到參數(shù)空間，實現(xiàn)直線或曲線的檢測與擬合10.1.5Hough變換

10.1.5Hough變換

10.1.5Hough變換

10.1.5Hough變換漸進概率Hough變換檢測直線標(biāo)準(zhǔn)Hough變換能檢測出直線，但無法確定直線在圖像中的端點，檢測到的直線無限長。漸進概率Hough變換（progressiveprobabilityHoughTransform,PPHT）則可以檢測出端點10.1.5Hough變換

10.1.5Hough變換

10.2基于閾值的圖像分割10.2.1閾值分割基礎(chǔ)知識

10.2.1閾值分割基礎(chǔ)知識閾值分割效果的影響因素直方圖：直方圖二個相鄰波峰之間的波谷越寬，二個波峰間隔越遠(yuǎn)，波峰與波谷比值越大，則分割效果越好噪聲光照和反射的均勻性目標(biāo)與背景的相對尺寸等10.2.1閾值分割基礎(chǔ)知識非均勻光照對全局閾值分割的影響10.2.1閾值分割基礎(chǔ)知識噪聲對全局閾值分割的影響10.2.1閾值分割基礎(chǔ)知識為減弱噪聲對全局閾值分割的影響，通常在分割前要平滑圖像10.2.2全局閾值分割全局閾值分割對圖像所有像素采用同一閾值進行處理，計算量小，處理速度快。多種方法，最經(jīng)典的是Otsu全局閾值分割法10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割Otsu全局閾值分割如果圖像有不止二類，則可以采用改進的多閾值Otsu算法多閾值Otsu算法計算量大，用得少10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.2全局閾值分割

10.2.3局部閾值根據(jù)圖像位置、局部特點等因素變化的閾值，稱為局部閾值基本局部閾值方法圖像分成若干個子圖像（子圖像可以相互重疊也可不重疊）；對每個子圖像分別計算其直方圖；如果一個子圖像的直方圖有雙峰，則以雙峰之間的波谷作為該子圖像閾值，轉(zhuǎn)至步驟5，如果子圖像直方圖沒有雙峰則轉(zhuǎn)至步驟4；對直方圖沒有雙峰的當(dāng)前子圖像，根據(jù)與其相鄰的、并且有明確閾值的子圖像閾值，內(nèi)插得到當(dāng)前子圖像的閾值；如果分割的各子圖像互不重疊，則對每個子圖像分別用它們在步驟3或4的得到的閾值進行分割；若子圖像有重疊部分，則在重疊部分用相應(yīng)重疊子圖像閾值的平均值做為分割閾值，無重疊部分則用所屬子圖像的閾值進行分割10.2.3局部閾值可用滑動窗進行設(shè)置10.3基于區(qū)域的圖像分割10.3基于區(qū)域的圖像分割區(qū)域生長法區(qū)域分裂合并法10.3.1區(qū)域生長法按照某種預(yù)定義的相似性準(zhǔn)則，將像素合并成組或?qū)⒆訁^(qū)域合并成更大區(qū)域從圖像中的一組“種子”出發(fā)，若與種子相鄰的像素符合預(yù)定義的相似性準(zhǔn)則，則將它們與種子合并組成更大的區(qū)域相似性：相鄰像素灰度、RGB色彩、紋理特征等10.3.2區(qū)域分裂合并法

10.3.2區(qū)域分裂合并法區(qū)域分裂合并示例10.4基于聚類的圖像分割聚類(Cluster)是將相似的數(shù)據(jù)分在一組并標(biāo)記為同一類的過程圖像分割可以看做一個聚類問題，即將圖像像素分配到各個聚類（又稱簇）中，每個聚類的像素具有相同的特征10.4.1Kmeans圖像分割

10.4.1Kmeans圖像分割

10.4.1Kmeans圖像分割

10.4.1Kmeans圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割EM圖像分割算法采用迭代逼近的方法，在逐步逼近最優(yōu)高斯混合模型的同時對特征向量進行聚類算法分為二步：E-step和M-step，每步假設(shè)上述二個問題中一個問題已經(jīng)解決，只專注解決另一個問題。E-step(Expectationstep)假設(shè)每個聚類的高斯分布參數(shù)已知，該步實現(xiàn)對各特征向量的軟聚類M-step(Maximizationstep)則在已知每個特征向量屬于哪類的條件下，用最大似然估計求各聚類的高斯模型參數(shù)10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割

10.4.2基于高斯混合模型的圖像分割Kmeans分割與基于GMM分割的比較Kmeans聚類結(jié)果中同類特征向量在特征空間是呈圓形分布，GMM呈橢圓分布當(dāng)各類樣本數(shù)量不均衡時，Kmenas分類誤差大10.5基于圖論的圖像分割10.5.1圖論的基本概念有向圖與無向圖邊流量源點與匯點割10.5.2Graphcut圖像分割

10.5.2Graphcut圖像分割

10.5.2Graphcut圖像分割

10.5.3Grabcut圖像分割Grabcut是對Graphcut性能的改進Graphcut在分割時用圖像灰度值，而Grabcut則在RGB空間同時考慮三個色彩分量分割前只要求手動在圖像中選擇一個區(qū)域，區(qū)域內(nèi)完整包含目標(biāo)即可，矩形外區(qū)域就當(dāng)作背景Grabcut對目標(biāo)、背景分別進行GMM建模10.6形態(tài)學(xué)分水嶺分割10.6.1分水嶺分割分水嶺（watershed）分割是基于拓?fù)涞男螒B(tài)學(xué)分割方法將圖像表示為三維地貌拓?fù)鋱D，像素灰度值用海拔高度表示拓?fù)鋱D中有三類點集盆地：拓?fù)鋱D中各區(qū)域海拔最低點，對應(yīng)圖像各區(qū)域的最小值集合集水盆：如果一滴水落在這類點上，則水一定會滑向一個確定的盆地，在圖像中對應(yīng)那些屬于一個區(qū)域、像素值高于區(qū)域內(nèi)最小值的點集分水嶺：又稱分水嶺脊線、脊線，如果一滴水落在這類點上，水以相同概率滑向多個盆地，顯然分水嶺將各區(qū)域分隔，在圖像中對應(yīng)各區(qū)域分割線、邊緣實際中通常先計算圖像的梯度圖，然后對梯度圖進行分水嶺分割10.6.1分水嶺分割10.6.2基于標(biāo)記的分水嶺分割直接分水嶺分割往往會出現(xiàn)過渡分割的現(xiàn)象基于標(biāo)記的分水嶺解決過度分割的問題分水嶺分割前需要額外提供一個標(biāo)記圖像做參考只有標(biāo)記圖像中指定的區(qū)域才能做為盆地，分水嶺分割時灌水從標(biāo)記處開始其它位置只能是集水盆或分水嶺10.6.2基于標(biāo)記的分水嶺分割Vincent-soille算法獲得前景目標(biāo)的標(biāo)記圖像。標(biāo)記圖像是二值圖像。根據(jù)圖像特點找出確定屬于前景目標(biāo)的某些區(qū)域獲得背景標(biāo)