《數(shù)字圖像處理教程（OPENCV版）》 課件 Ch11 目標(biāo)的表示與描述、Ch12 目標(biāo)識別

數(shù)字圖像處理教程第11章目標(biāo)的表示與描述11.1表示11.1.1邊界追蹤

11.1.1邊界追蹤

11.1.2鏈碼將輪廓用一系列具有特定長度和方向的相連的直線段表示用線段的起點加上各線段方向編號所構(gòu)成的數(shù)列每個線段的長度固定方向數(shù)目有限，每個線段的方向使用一個數(shù)字編號11.1.2鏈碼前述鏈碼不實用太長輕微干擾造成鏈碼結(jié)果劇烈變化增加采樣間隔可以提高抗干擾能力11.1.2鏈碼鏈碼歸一化處理前述編碼結(jié)果與起點有關(guān)歸一化處理方法將邊界分別以不同起點、相同順/逆時針進(jìn)行鏈碼編碼，分別對各編碼數(shù)列中所有數(shù)求和，將具有最小和的那個數(shù)列做為鏈碼編碼，確保起點相同11.1.2鏈碼前述鏈碼編碼不具有旋轉(zhuǎn)不變性，邊界旋轉(zhuǎn)后鏈碼發(fā)生變化鏈碼的差分編碼鏈碼編碼看成一個循環(huán)數(shù)列，最后一個編碼與第一個編碼首尾相接差分編碼為相鄰二個鏈碼編碼數(shù)之差，如果二者之差為負(fù)數(shù)則對該值取模（模為4或8，取決于連通性）差分鏈碼具有旋轉(zhuǎn)不變性第一個差分0-3=-3，由于采用4向編碼故對-3進(jìn)行模4運算得到1，第2個差分碼是0-0仍為0，…，最后一個編碼與第一個編碼首尾相接，最終得到的循環(huán)差分碼為：11031101311311.1.2鏈碼歸一化的差分鏈碼既具有唯一性，也具有平移和旋轉(zhuǎn)不變性歸一化的差分鏈碼稱為邊界的形狀數(shù)形狀數(shù)序列的長度被稱為形狀數(shù)的階11.1.3多邊形近似邊界曲線可以用任意精度的多邊形近似多邊形近似的目的是用盡量少的線段擬合邊界的基本形狀多邊形近似有很多算法11.1.3多邊形近似多邊形近似有很多算法聚合近似從邊界中任選一點做為出發(fā)點，將該點順時針或逆時針方向依次與曲線上點連接成線段，并計算每條線段與線段二端點間實際曲線的誤差，如果誤差恰好大于閾值，則用這條線段代替該段實際邊界曲線。然后以線段末端點為起點，重復(fù)上述過程，直到環(huán)繞一周為止。拆分近似選擇邊界上距離最遠(yuǎn)的二個點做為頂點連接成線段，分別在線段二側(cè)的邊界上各找到一個距離該線段最遠(yuǎn)的點。如果找到的點到線段的距離大于閾值則將該點做為新頂點，將所有當(dāng)前頂點順序連接，重復(fù)上述過程，直到找不出新頂點為止11.2邊界描述子11.2.1一些基本描述子

11.2.1一些基本描述子偏心率：基本矩形的主軸與副軸之比邊界周長邊界凸包邊界輪廓是否是凸的11.2.2傅里葉描述子

11.2.2傅里葉描述子

11.3區(qū)域描述子11.3.1一些基本描述子

11.3.1一些基本描述子

11.3.2區(qū)域矩與不變矩

11.3.2區(qū)域矩與不變矩

11.3.2區(qū)域矩與不變矩

11.3.2區(qū)域矩與不變矩

11.3.2區(qū)域矩與不變矩

11.3.2區(qū)域矩與不變矩Zernike矩重建圖像11.4紋理描述11.4.1灰度直方圖統(tǒng)計矩

11.4.1灰度直方圖統(tǒng)計矩

11.4.2LBP特征局部二值模式，用于描述局部紋理特征對亮度變化不敏感比較一個像素與其鄰域像素值，若鄰域值大則鄰域記為1，反之記為0。以左上角鄰點為起點，順時針方向?qū)⒏鞅忍亟M成一個序列對應(yīng)一個10進(jìn)制數(shù)值，每個值稱為一個LBP模式。以該數(shù)值做為LBP圖對應(yīng)位置的像素值11.4.2LBP特征LBP值隨圖像旋轉(zhuǎn)而變化對LBP增加選擇不變性對每個像素素LBP二值序列進(jìn)行循環(huán)移位，比較每次移位后對應(yīng)的十進(jìn)制數(shù)值，選擇最小的一個數(shù)值做為該像素的LBP模式LBP特征一般與支持向量機SVM聯(lián)合使用11.4.3共生矩陣

11.4.3共生矩陣共生矩陣關(guān)于對角線對稱本質(zhì)上相當(dāng)于像素對的聯(lián)合直方圖細(xì)紋理圖像共生矩陣中數(shù)值較為分散規(guī)則粗紋理圖像的共生矩陣中數(shù)值集中于主對角線附件實際中一般不直接用共生矩陣進(jìn)行紋理描述，而是對其計算14個統(tǒng)計量，稱為Haralick特征量，用這組統(tǒng)計量構(gòu)成的特征向量描述紋理11.4.4方向梯度直方圖在目標(biāo)識別中邊緣和轉(zhuǎn)角包含的信息比平坦區(qū)域多，而邊緣和轉(zhuǎn)角處梯度的幅度遠(yuǎn)大于其它區(qū)域，因此可利用梯度描述目標(biāo)方向梯度直方圖（HOG）又稱梯度直方圖，或HOG描述子HOG將圖像分割為多個矩形區(qū)域，每個區(qū)域的梯度統(tǒng)計特征拼接起來作為HOG特征向量HOG對局部變形、光照變化具有魯棒性，常與支持向量機SVM聯(lián)合使用，主要用于目標(biāo)檢測11.4.4方向梯度直方圖

塊單元格11.4.4方向梯度直方圖

11.4.4方向梯度直方圖

11.5主成分分析用于特征降維11.5主成分分析用于特征降維

11.5主成分分析用于特征降維

11.5主成分分析用于特征降維

11.5主成分分析用于特征降維

11.5主成分分析用于特征降維

11.6特征點檢測與描述特征點指那些在含有相同目標(biāo)場景的不同圖像中以相似形式表示的點，可以憑借這些點在不同圖像中找出相同的目標(biāo)場景。特征點描述廣泛用于目標(biāo)識別、檢測、跟蹤等應(yīng)用中11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測角點角點是特征點中非常典型的一類一般指圖像中各方向灰度均劇烈變化的點或者邊緣線上曲率極大值點11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測Harris角點檢測具有旋轉(zhuǎn)不變性對亮度、對比度變化不敏感Harris角點不具有尺度不變性，檢測窗口大小相同時檢測結(jié)果隨圖像尺度而異11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測

11.6.1Harris角點、Shi-Tomashi角點和FAST角點檢測FAST角點FAST角點檢測速度比其它角點快對噪聲敏感，檢測前最好中值濾波平滑圖像FAST角點不具有旋轉(zhuǎn)不變性不具有尺度不變性11.6.2SIFT特征點檢測與描述尺度不變特征變換(SIFT)檢測SIFT特征點、提供對特征點的描述即SIFT描述子SIFT特征具有尺度不變性和旋轉(zhuǎn)不變性，光線變化時保持不變，對視角變化、仿射、噪聲和模糊具有魯棒性，廣泛應(yīng)用于目標(biāo)匹配SIFT基本步驟：①對圖像建立尺度空間高斯金字塔以及對應(yīng)的高斯差分金字塔、②在尺度空間高斯差分金字塔中進(jìn)行極值點檢測、③對關(guān)鍵點精確定位、④確定關(guān)鍵點方向、⑤SIFT描述子計算11.6.2SIFT特征點檢測與描述

11.6.2SIFT特征點檢測與描述1、SIFT尺度空間構(gòu)建尺度空間的目的是檢測出在各種尺度下存在的特征點，而LoG檢測特征點效果好用不同尺度高斯圖像相減得到對應(yīng)的DoG圖像，減少計算量11.6.2SIFT特征點檢測與描述SIFT尺度空間11.6.2SIFT特征點檢測與描述

11.6.2SIFT特征點檢測與描述3、關(guān)鍵點定位

包含2個操作關(guān)鍵點精確定位尺度可以看成是對原始圖像的采樣，采樣后檢測到的極值點并不是真正意義上的極值點。通過對尺度空間DoG函數(shù)進(jìn)行曲線擬合找到真正的極值點刪除不穩(wěn)定的關(guān)鍵點低對比度點：若關(guān)鍵點DoG響應(yīng)值低于0.03則被判為低對比度點邊緣點11.6.2SIFT特征點檢測與描述

11.6.2SIFT特征點檢測與描述

11.6.2SIFT特征點檢測與描述11.6.2SIFT特征點檢測與描述5、SIFT描述子每個特征點建立一個描述子（續(xù)1）對128維向量進(jìn)行歸一化處理為了消除光照變化對描述子的影響，對128維向量的每個分量均除以相同系數(shù)，該系數(shù)為128個分量之和，處理后所有分量之和為1，這樣特征點周圍局部光照變化不改變SIFT描述子為防止局部高對比度對SIFT描述符的過度影響，若階段a)處理后128個分量中存在數(shù)值超過0.2的，將其數(shù)值修改為0.2，然后再次進(jìn)行階段a)的歸一化11.6.3SURF特征點檢測與描述加速穩(wěn)健特征(SURF)是對SIFT的改進(jìn)SURF比SIFT計算復(fù)雜度低、檢測速度快SURF基本過程分為建立尺度空間、關(guān)鍵點定位、為關(guān)鍵點分配方向得到SURF特征點、計算特征點的SURF描述子11.6.3SURF特征點檢測與描述

11.6.3SURF特征點檢測與描述

11.6.3SURF特征點檢測與描述

11.6.3SURF特征點檢測與描述

11.6.3SURF特征點檢測與描述

11.6.3SURF特征點檢測與描述

11.6.3SURF特征點檢測與描述11.6.4BRIEF描述子BRIEF描述子對已檢測到的特征點用二進(jìn)制碼串進(jìn)行描述BRIRF僅提供對特征點的描述，不包含特征點的檢測BRIEF描述子不具備尺度不變性和旋轉(zhuǎn)不變性11.6.4BRIEF描述子

11.6.4BRIEF描述子BRIEF描述子占用的存儲空間少由于采用二進(jìn)制編碼，可以用漢明距離度量二個BRIEF描述子的相似度計算BRIEF描述子耗時遠(yuǎn)小于SURF、SIFT描述子，實時處理的應(yīng)用中常用BRIEF描述子像素對如何選擇影響B(tài)RIEF描述子的有效性，選擇的像素對彼此相關(guān)性越小越好，BRIEF提供了五種隨機選擇像素點對的方法11.6.5ORB特征點檢測與描述ORB(OrientedFASTandRotatedBRIEF)是一種快速特征點檢測和描述的算法特征點檢測由FAST算法改進(jìn)得到特征點描述是對BRIEF描述子的改進(jìn)ORB具有尺度不變性和旋轉(zhuǎn)不變性，處理速度遠(yuǎn)比SIFT和SURF快11.6.5ORB特征點檢測與描述

11.6.5ORB特征點檢測與描述

數(shù)字圖像處理教程第12章目標(biāo)識別目標(biāo)識別對特定目標(biāo)進(jìn)行有效描述，該描述能將目標(biāo)與圖像中其它區(qū)域通過某種方式區(qū)分目標(biāo)可以用模式來表示。模式指對事物特征或?qū)傩缘亩炕蚨ㄐ悦枋瞿Ｊ筋愔妇哂心承┕残缘囊唤M模式常用的模式表示方法有用于定量描述的向量、用于定性描述的串和樹12.1基于決策理論的模式識別12.1基于決策理論的模式識別

12.1.1基于匹配的決策

12.1.1基于匹配的決策

12.1.1基于匹配的決策模板匹配模板匹配，用于在圖像中發(fā)現(xiàn)與給定模板相似的區(qū)域、確定圖像中目標(biāo)位置以及與模板相似度等，進(jìn)而在圖像中識別出目標(biāo)計算量小處理速度快，適合對大小固定、方向固定目標(biāo)進(jìn)行識別12.1.1基于匹配的決策

12.1.1基于匹配的決策相關(guān)匹配最匹配區(qū)域的左上角12.1.1基于匹配的決策模板匹配不能檢測到目標(biāo)的大小變化和角度旋轉(zhuǎn)。對于大小和方向存在變化的目標(biāo)，模板匹配不是一個高效的識別方法。12.1.2統(tǒng)計分類器

12.1.2統(tǒng)計分類器

12.1.2統(tǒng)計分類器

12.1.2統(tǒng)計分類器

12.1.2統(tǒng)計分類器

12.1.2統(tǒng)計分類器

12.1.2統(tǒng)計分類器

12.1.3神經(jīng)網(wǎng)絡(luò)采用非線性計算，通過對訓(xùn)練集中已知所屬模式類的各模式進(jìn)行學(xué)習(xí)計算，得到誤差較小的輸入與輸出之間復(fù)雜關(guān)系并根據(jù)訓(xùn)練得到的決策對未知模式判決其所屬類別12.1.3神經(jīng)網(wǎng)絡(luò)

12.1.3神經(jīng)網(wǎng)絡(luò)神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本單元，接收來自外部的不同刺激，在神經(jīng)元細(xì)胞內(nèi)對不同刺激產(chǎn)生不同強度反應(yīng)，綜合為一個輸出權(quán)重影響神經(jīng)元對輸入信息敏感程度，通過控制權(quán)重形成識別偏好偏置某種程度上代表對信息敏感度激活函數(shù)一般采用非線性，目的是在決策中加入非線性因素以應(yīng)對線性計算無法解決的問題12.1.3神經(jīng)網(wǎng)絡(luò)隱藏層用于提取特征，將輸入信息映射到特征空間不同網(wǎng)絡(luò)隱藏層結(jié)構(gòu)不同隱藏層基本組成包含卷積層和池化層12.1.3神經(jīng)網(wǎng)絡(luò)

12.1.3神經(jīng)網(wǎng)絡(luò)池化層不改變輸入矩陣的深度，僅用于縮小矩陣，達(dá)到提取大尺度特征的目的池化層減少后續(xù)網(wǎng)絡(luò)節(jié)點個數(shù)，加快處理速度用得最多的池化處理是最大值池化，此外還有平均池化12.1.3神經(jīng)網(wǎng)絡(luò)輸出層將前面學(xué)到各種特征映射到樣本標(biāo)記空間，輸出分類信息輸出層的第一個卷積層也稱為平坦(flatten)層，把隱藏層輸出的多維信息通過卷積一維化數(shù)據(jù)一維化后各層神經(jīng)元全連接(fullyconnected)，對特征進(jìn)行重新擬合，減少特征信息的丟失12.2特征點匹配所有特征點用相同類型的描述子描述特征匹配包括二個方面不同圖像中特征點相互匹配組成匹配對從上述點對中選出真實的匹配對，剔除虛假匹配對12.2.1特征點匹配基礎(chǔ)

12.2.1特征點匹配基礎(chǔ)

12.2.1特征點匹配基礎(chǔ)

12.2.2匹配一致性RANSAC算法最小二乘法容易受到錯誤匹配的干擾隨機抽樣一致性（randomsampleconsensus,RANSAC）算法對匹配對進(jìn)行篩選，通過迭代運算剔除不符合最優(yōu)模型的匹配對（外點，outliners）12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性RANSAC算法RANSAC方法簡單通用，對噪聲干擾魯棒性好能夠廣泛應(yīng)用于多種模型，相比同樣采用投票機制的Hough變換，RANSAC能夠同時求解更多參數(shù)當(dāng)外點占比較小時只需幾次迭代就可以找出真正的模型參數(shù)，當(dāng)外點占比較高時需要的迭代次數(shù)急劇增加12.2.2匹配一致性

錯誤的匹配周邊沒有支撐正確的匹配周邊有很多類似的匹配（支撐）12.2.2匹配一致性GMS算法基本步驟將二幅圖像分別分為互不重疊的網(wǎng)格區(qū)域?qū)D1中每個網(wǎng)格，在圖2中找到與其匹配最多的網(wǎng)格在這二個網(wǎng)格周圍，檢查支撐匹配對數(shù)量，大于閾值說明上步的匹配是真實的網(wǎng)格網(wǎng)格及其鄰域匹配網(wǎng)格12.2.2匹配一致性

12.3運動目標(biāo)跟蹤12.3.1光流法通過光流估計檢測和跟蹤運動目標(biāo)光流是目標(biāo)在連續(xù)二幀間的顯著運動模式，是關(guān)于像素點的瞬時運動速度的二維向量光流中的每一維表示連續(xù)二幀間圖像亮度在一個方向上的變化，可以看成具有某亮度值的像素由于運動而產(chǎn)生的瞬時速度場12.3.1光流法光流估計利用時間上相鄰的兩幀圖像得到點的運動，估計可基于梯度、基于匹配、基于能量、基于相位等進(jìn)行依據(jù)估計中所用點的疏密程度，光流估計分為稀疏估計和稠密估計稀疏估計需要指定一組特征點進(jìn)行跟蹤稠密估計對整幅圖像或圖像某一區(qū)域進(jìn)行逐點匹配的圖像配準(zhǔn)方法，計算所有點的偏移量，從而形成一個稠密的光流場12.3.1光流法

12.3.1光流法

光流方程12.3.1光流法

光流方程12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1