特征提取算子

關(guān)于特征提取算子第1頁，課件共26頁，創(chuàng)作于2023年2月目錄基本概念及所需知識Harris算子程序設(shè)計及實驗結(jié)果圖像變化特征點的作用角點基本思想數(shù)學(xué)表達(dá)改進(jìn)的Harris算子第2頁，課件共26頁，創(chuàng)作于2023年2月基本概念及所需知識

——圖像變化的類型幾何變化旋轉(zhuǎn)相似(旋轉(zhuǎn)+各向相同的尺度縮放)

仿射(非各向相同的尺度縮放)

適用于:物體局部為平面灰度變化仿射灰度變化(Ia

I+b)第3頁，課件共26頁，創(chuàng)作于2023年2月基本概念及所需知識

——提取特征點的作用圖像的點特征是許多計算機視覺算法的基礎(chǔ)：使用特征點來代表圖像的內(nèi)容運動目標(biāo)跟蹤物體識別圖像配準(zhǔn)全景圖像拼接三維重建第4頁，課件共26頁，創(chuàng)作于2023年2月基本概念及所需知識

——特征點（角點）特征點在許多文獻(xiàn)中又被稱為興趣點(interestpoint)、角點(cornerpoint),對特征點目前還沒有統(tǒng)一的定義,一般認(rèn)為特征點產(chǎn)生于兩條或多條相對直線交叉的區(qū)域。不同的檢測方法對特征點有不同的定義。角點（cornerpoints）：局部窗口沿各方向移動，均產(chǎn)生明顯變化的點圖像局部曲率突變的點典型的角點檢測算法：Harris角點檢測CSS角點檢測第5頁，課件共26頁，創(chuàng)作于2023年2月一種好的局部特征應(yīng)該具有以下性質(zhì):(1)可重復(fù)性:同一個物體或場景在不同的條件下(如視角、尺度發(fā)生變化),兩幅圖像中對應(yīng)的特征越多越好。(2)獨特性:特征的幅值模式需要呈現(xiàn)多樣性,這樣的特征才能被區(qū)分和匹配。(3)局部性:特征應(yīng)該是局部的,從而減少被遮擋的可能性,并且允許用簡單的模型來近似兩幅圖像間的幾何和成像變形。(4)數(shù)量性:一般來說,檢測到的特征數(shù)目一定要多,但是在圖像檢索中,特征太多,又會對檢索的實時性造成一定影響。理想情況是檢測到的特征數(shù)量在一個比較大的范圍內(nèi),然后可以通過一個簡單的預(yù)知就可以調(diào)整。而這個閾值的調(diào)整可以通過在檢索系統(tǒng)中的實驗得以確定。基本概念及所需知識

——特征點（角點）第6頁，課件共26頁，創(chuàng)作于2023年2月(5)準(zhǔn)確性:得到的特征應(yīng)該能夠被精確定位,包括圖像空間和尺度空間上的精確定位。(6)高效性:檢測和描述的時間越短越好,以便用于后續(xù)的實時應(yīng)用。這6條性質(zhì)中,最重要的是可重復(fù)性。Moravec[44]于1977年提出Moravec角點算法,是最早提出的角點檢測算法之一。該方法中,角點被定義為在各個方向(垂直、水平、對角線)都存在劇烈灰度變化的點基本概念及所需知識

——特征點（角點）第7頁，課件共26頁，創(chuàng)作于2023年2月不同類型的角點第8頁，課件共26頁，創(chuàng)作于2023年2月Harris角點檢測基本思想從圖像局部的小窗口觀察圖像特征角點定義窗口向任意方向的移動都導(dǎo)致圖像灰度的明顯變化第9頁，課件共26頁，創(chuàng)作于2023年2月Harris角點檢測基本思想平坦區(qū)域：

任意方向移動，無灰度變化邊緣：沿著邊緣方向移動，無灰度變化角點：沿任意方向移動，明顯灰度變化第10頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：數(shù)學(xué)表達(dá)圖像灰度平移后的圖像灰度窗口函數(shù)將圖像窗口平移[u,v]產(chǎn)生灰度變化E(u,v)或窗口函數(shù)w(x,y)=Gaussian1inwindow,0outside第11頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：數(shù)學(xué)表達(dá)寫成矩陣形式：式中，Ix為x方向的差分，Iy為y方向的差分，w(x,y)為高斯函數(shù)第12頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：數(shù)學(xué)表達(dá)窗口移動導(dǎo)致的圖像變化：實對稱矩陣M的特征值分析max,minM的特征值緩慢變化的方向快速變化的方向(max)-1/2(min)-1/2E(u,v)的橢圓形式第13頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：數(shù)學(xué)表達(dá)12“Corner”

1

和2

都較大且數(shù)值相當(dāng)1~2;

圖像窗口在所有方向上移動都產(chǎn)生明顯灰度變化如果1

和2

都很小，圖像窗口在所有方向上移動都無明顯灰度變化“Edge”

1>>2“Edge”

2>>1“Flat”region通過M的兩個特征值的大小對圖像點進(jìn)行分類:第14頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：數(shù)學(xué)表達(dá)定義：角點響應(yīng)函數(shù)R(k–empiricalconstant,k=0.04-0.06)第15頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：數(shù)學(xué)表達(dá)12“Corner”“Edge”“Edge”“Flat”

R

只與M的特征值有關(guān)角點：R

為大數(shù)值正數(shù)

邊緣：R為大數(shù)值負(fù)數(shù)

平坦區(qū)：R為小數(shù)值R>0R<0R<0|R|small第16頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：算法優(yōu)化用

Harris

算法進(jìn)行檢測，有三點不足：（1

）該算法不具有尺度不變性；（2

）該算法提取的角點是像素級的；（3

）該算法檢測時間不是很令人滿意?；谝陨险J(rèn)識，主要針對第（3

）點對Harris

角點檢測算法提出了改進(jìn)。

第17頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：算法優(yōu)化Harris

角點檢測是基于圖像像素灰度值變化梯度的，

灰度值圖像的角點附近，是其像素灰度值變化非常大的區(qū)域，其梯度也非常大。換句話說，在非角點位置鄰域里，各點的像素值變化不大，甚至幾乎相等，其梯度相對也比較小。從這個角度著眼，提出了圖像區(qū)域像素的相似度的概念，它是指檢測窗口中心點灰度值與其周圍n

鄰域內(nèi)其他像素點灰度值的相似程度，這種相似程度是用其灰度值之差來描述的。如果鄰域內(nèi)點的灰度值與中心點Image

(i,j)

的灰度值之差的絕對值在一個閾值t范圍內(nèi)，那就認(rèn)為這個點與中心點是相似的。與此同時，屬于該Image

(i,j)

點的相似點計數(shù)器nlike(i,j)

也隨之加一。在

Image

(i,j)

點的n

鄰域

全部被遍歷一邊之后，就能得到

在這個鄰域范圍內(nèi)與中心點相似的點個數(shù)的統(tǒng)計值nlike(i,j)

。根據(jù)nlike(i,j)

的大小，就可以判斷這個中心點是否可能為角點。第18頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：算法優(yōu)化由于我選擇3*3

的檢測窗口，所以，

對于中心像素點

,

在下面的討論中只考慮其8

鄰域內(nèi)像素點的相似度。

計算該范圍的像素點與中心像素點的灰度值之差的絕對值

(

記為

Δ

)

,

如果該值小于等于設(shè)定的閾值

(

記為

t)

,

則認(rèn)為該像素點與目標(biāo)像素點相似

。

nlike(i,j)=sum(R(i+x,j+y))從定義中可以看出

:0

≤

nlike(i,j)

≤

8

。

現(xiàn)在討論

nlike(i,j)

值的含義

。(1)

nlike(i,j)=8,

表示當(dāng)前中心像素點的

8

鄰域范圍內(nèi)都是與之相似的像素點

,

所以該像素點鄰域范圍內(nèi)的梯度不會很大

,

因此角點檢測時

,

應(yīng)該排除此類像素點，不將其作為角點的候選點。(2)

nlike(i,j)=0,

表示當(dāng)前中心像素點的

8

鄰域范圍內(nèi)沒有與之相似的像素點

,

所以該像素點為孤立像素點或者是噪聲點

,

因此角點檢測時

,

也應(yīng)該排除此類像素點

。第19頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：算法優(yōu)化(3)

nlike(i,j)=7,

可以歸結(jié)為以下的兩者情況

,

其他情形都可以通過旋轉(zhuǎn)來得到

(

圖中黑色區(qū)域僅表示與中心像素相似

,

而兩個黑色區(qū)域像素可能是相似的

,

也可能不相似

)

。

對于圖

1

(a)中

,

可能的角點應(yīng)該是中心像素點的正上方的那個像素點

,

1(b)

圖中可能的角點應(yīng)該是中心像素點右上方的那個像素點

,

故這種情況下

,

中心像素點不應(yīng)該作為角點的候選點

。圖1（a）圖1（b）第20頁，課件共26頁，創(chuàng)作于2023年2月Harris檢測：算法優(yōu)化(4)

nlike(i,j)=1,

可以歸結(jié)為圖

2

中的兩種情況

(

圖中白色區(qū)域僅表示與中心像素不相似,

而兩個白色區(qū)域像素可能是相似的

,

也可能不相似

),

在這兩種情況下

,

中心像素點也不可能為角點

。圖2（a）圖2（b）(5)

2

≤

nlike(i,j)

≤

6,

情況比較復(fù)雜

,

無法確認(rèn)像素點準(zhǔn)確的性質(zhì)。我采取的方法是先將其列入候選角點之列，對其進(jìn)行計算CRF

等后續(xù)操作。第21頁，課件共26頁，創(chuàng)作于2023年2月Harris角點的性質(zhì)旋轉(zhuǎn)不變性：橢圓轉(zhuǎn)過一定角度但是其形狀保持不變（特征值保持不變）角點響應(yīng)函數(shù)

R

對于圖像的旋轉(zhuǎn)具有不變性第22頁，課件共26頁，創(chuàng)作于2023年2月Harris角點的性質(zhì)對于圖像灰度的仿射變化具有部分的不變性

只使用了圖像導(dǎo)數(shù)=>對于灰度平移變化不變

I

I+b

對于圖像灰度的尺度變化:Ia

IRx

(imagecoordinate)閾值Rx

(imagecoordinate)第23頁，課件共26頁，創(chuàng)作于2023年2月Harris角點的性質(zhì)隨幾何尺度變化，Harris角點檢測的性能下降Repeatabilityrate