計(jì)算機(jī)視覺學(xué)習(xí)初識(shí)SIFT算法

計(jì)算機(jī)視覺學(xué)習(xí)初識(shí)SIFT算法SIFT（Scale-invariantfeaturetransform），尺度不變特征。實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點(diǎn)的檢測(cè)關(guān)鍵點(diǎn)的定位關(guān)鍵點(diǎn)方向的分配關(guān)鍵點(diǎn)描述符算法思想尺度空間極值點(diǎn)的檢測(cè)高斯模糊尺度空間理論高斯金字塔的構(gòu)建檢測(cè)DOG尺度空間極值點(diǎn)尺度空間極值點(diǎn)的檢測(cè)：通過對(duì)原始圖像進(jìn)行高斯濾波形，建立高斯金字塔，通過高斯差分來(lái)找到那些感興趣的點(diǎn)，也就是在以后的圖像匹配中可能發(fā)揮作用的特征點(diǎn)。尺度空間極值點(diǎn)的檢測(cè)高斯模糊SIFT算法是在不同的尺度空間上查找關(guān)鍵點(diǎn)，而尺度空間的獲取需要使用高斯模糊來(lái)實(shí)現(xiàn)，Lindeberg等人已證明高斯卷積核是實(shí)現(xiàn)尺度變換的唯一變換核，并且是唯一的線性核。高斯模糊是一種圖像濾波器，它使用正態(tài)分布(高斯函數(shù))計(jì)算模糊模板，并使用該模板與原圖像做卷積運(yùn)算，達(dá)到模糊圖像的目的。N維空間正態(tài)分布函數(shù)：

是正態(tài)分布的標(biāo)準(zhǔn)差。值越大，圖像越模糊(平滑)。r為模糊半徑，模糊半徑是指模板元素到模板中心的距離。高斯模糊如二維模板大小為m*n，則模板上的元素(x，y)對(duì)應(yīng)的高斯計(jì)算公式為：分布不為零的像素組成的卷積矩陣與原始圖像做變換。每個(gè)像素的值都是周圍相鄰像素值的加權(quán)平均。原始像素的值有最大的高斯分布值，所以有最大的權(quán)重，相鄰像素隨著距離原始像素越來(lái)越遠(yuǎn)，其權(quán)重也越來(lái)越小。這樣進(jìn)行模糊處理比其它的均衡模糊濾波器更高地保留了邊緣效果。高斯模糊在實(shí)際應(yīng)用中，3之外的像素忽略不計(jì)。故一般計(jì)算的矩陣。

為了確保模板矩陣中的元素在[0,1]之間，需將模板矩陣歸一化。分離高斯模糊因?yàn)槎S模版的關(guān)系，造成邊緣圖像的缺失

越大缺失像素越多，越大，計(jì)算量越大。分離高斯模糊，將二維高斯變換分為在x軸和y軸上的兩次一維高斯變換。分離高斯模糊

對(duì)用模板矩陣超出邊界的部分——虛線框，將不做卷積計(jì)算。如圖2.4中x方向的第一個(gè)模板1*5，將退化成1*3的模板，只在圖像之內(nèi)的部分做卷積。兩次一維的高斯卷積將消除二維高斯矩陣所產(chǎn)生的邊緣。計(jì)算復(fù)雜度兩次一維矩陣：二維不可分矩陣：尺度空間理論尺度空間理論的基本思想是：在圖像信息處理模型中引入一個(gè)被視為尺度的參數(shù)，通過連續(xù)變化尺度參數(shù)獲得多尺度下的尺度空間表示序列，對(duì)這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣、角點(diǎn)檢測(cè)和不同分辨率上的特征提取等。一個(gè)圖像的尺度空間定義為一個(gè)變化尺度的高斯函數(shù)與原圖像的卷積。是尺度空間因子，值越小，表示被平滑的就越少，相應(yīng)的尺度也就越小。大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征。高斯金字塔的構(gòu)建圖像的金字塔模型是指，將原始圖像不斷降階采樣（長(zhǎng)，寬各減去一半），得到一系列大小不一的圖像，由大到小，從下到上構(gòu)成的塔狀模型。高斯金字塔的構(gòu)建分為兩部分：對(duì)圖像作不同程度的高斯模糊。對(duì)圖像做降采樣。高斯金字塔的構(gòu)建金字塔的層數(shù)根據(jù)圖像的原始大小和塔頂圖像的大小共同決定，其計(jì)算公式如下：其中M，N為原圖像的大小,t為塔頂圖像的最小維數(shù)的對(duì)數(shù)值。高斯金字塔的構(gòu)建將圖像金字塔每層的一張圖像使用不同參數(shù)做高斯模糊，使得金字塔的每層含有多張高斯模糊圖像，將金字塔每層多張圖像合稱為一組(Octave)，金字塔每層只有一組圖像，組數(shù)和金字塔層數(shù)相等。每組含有多張(也叫層Interval)圖像。尺度空間的所有取值，i為octave，即組數(shù)，s為每組層數(shù)：高斯金字塔的構(gòu)建降采樣時(shí)，高斯金字塔上一組圖像的初始圖像(底層圖像)是由前一組圖像的倒數(shù)第三張圖像隔點(diǎn)采樣得到的。第0組：0，1，2，3，4，5第1組：6，7，8，9，10，11第二組：則第二組第一張圖片就是是由9降采樣得到，其他類似。檢測(cè)DOG尺度空間極值點(diǎn)DifferenceofGaussian(DOG)是高斯函數(shù)的差分，是灰色圖像增強(qiáng)和角點(diǎn)檢測(cè)的方法，利用不同的高斯差分核與原圖像卷積。下圖所示不同σ下圖像尺度空間：檢測(cè)DOG尺度空間極值點(diǎn)一個(gè)點(diǎn)如果在DOG尺度空間本層以及上下兩層的26個(gè)領(lǐng)域中是最大或最小值時(shí)，就認(rèn)為該點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn),如圖所示。

在極值比較的過程中，每一組圖像的首末兩層是無(wú)法進(jìn)行極值比較的，為了滿足尺度變化的連續(xù)性，我們?cè)诿恳唤M圖像的頂層繼續(xù)用高斯模糊生成了

3幅圖像，高斯金字塔有每組S+3層圖像。DOG金字塔每組有S+2層圖像.（s為每組層數(shù)）檢測(cè)DOG尺度空間極值點(diǎn)s=3的情況假設(shè)s=3

這樣在，GaussSpace里，有s+3項(xiàng)。在DOGSpace里，有s+2項(xiàng)。

尺度連續(xù)變化。檢測(cè)DOG尺度空間極值點(diǎn)在

Lowe的論文中，將第0層的初始尺度定為1.6（最模糊），圖片的初始尺度定為0.5（最清晰）.在檢測(cè)極值點(diǎn)前對(duì)原始圖像的高斯平滑以致圖像丟失高頻信息，所以Lowe建議在建立尺度空間前首先對(duì)原始圖像長(zhǎng)寬擴(kuò)展一倍（生成第-1層），以保留原始圖像信息，增加特征點(diǎn)數(shù)量。

尺度越大圖像越模糊。

SIFT（Scale-invariantfeaturetransform），尺度不變特征。實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點(diǎn)的檢測(cè)關(guān)鍵點(diǎn)的定位關(guān)鍵點(diǎn)方向的分配關(guān)鍵點(diǎn)描述符算法思想關(guān)鍵點(diǎn)的定位在上一步中找到的點(diǎn)，需要經(jīng)過穩(wěn)定的篩選才能成為真正的關(guān)鍵點(diǎn)，分為兩步：濾除對(duì)比度低的點(diǎn)濾除候選特征中對(duì)比度較低的點(diǎn)，這些點(diǎn)對(duì)于圖像噪聲比較敏感，不能用來(lái)作為穩(wěn)定的特征點(diǎn)。去除邊緣響應(yīng)去除位于邊緣的候選特征點(diǎn)，因?yàn)檫吘壧幍奶卣鼽c(diǎn)變換較大，也不適合作為穩(wěn)定的特征點(diǎn)。濾除對(duì)比度低的點(diǎn)離散空間的極值點(diǎn)并不是真正的極值點(diǎn)，利用已知的離散空間點(diǎn)插值得到的連續(xù)空間極值點(diǎn)的方法叫做子像素插值。需要對(duì)尺度空間DoG函數(shù)進(jìn)行曲線擬合。利用DoG函數(shù)在某極值點(diǎn)A對(duì)D（x，y，σ）的Taylor展開式(擬合函數(shù))為：濾除對(duì)比度低的點(diǎn)擬合函數(shù)：其中，表示到點(diǎn)A的偏移，上式對(duì)X求導(dǎo)，當(dāng)?shù)箶?shù)為零時(shí)得到局部極值點(diǎn)①②將②代人①中則有：如果大于0.5也就意味著這個(gè)極值點(diǎn)和另一個(gè)采樣點(diǎn)（圖像中的另一個(gè)像素）隔著較近。采用插值法求得極值點(diǎn)位置的估計(jì)值。濾除對(duì)比度低的點(diǎn)可以利用去除對(duì)比度低的點(diǎn)：在Low的論文中，這個(gè)閥值為0.03，及||<0.03的點(diǎn)而被剔除。去除邊緣響應(yīng)DOG函數(shù)有著較強(qiáng)的邊緣響應(yīng)，如果關(guān)鍵點(diǎn)被定位在邊緣，那么這個(gè)關(guān)鍵點(diǎn)很有可能是不穩(wěn)定的，尤其容易受到噪聲的影響，即使是少量的噪聲也會(huì)影響匹配的穩(wěn)定性。實(shí)踐發(fā)現(xiàn)邊緣處有較大的主曲率，而且在垂直方向有較小的主曲率的極值，通常都不是一個(gè)好的高斯差分算子極值點(diǎn)。根據(jù)這個(gè)特性，我們可以去除邊緣響應(yīng).主曲率的值可以通過計(jì)算

2×2維的Hessian矩陣H而得到，Tr求的是矩陣的跡，Det求的是矩陣轉(zhuǎn)為行列式后的值。去除邊緣響應(yīng)設(shè)α和β為H的兩個(gè)特征值，且令α=rβ，r≥1則：當(dāng)兩個(gè)特征值相等，即r=1，取得最小值。隨著r的增大，比例不斷增大。此時(shí)如果需要檢測(cè)兩個(gè)特征值低于某一閥值R，只需要判斷：在Lowe的文章中，R=10，高于這一值則去除。SIFT（Scale-invariantfeaturetransform），尺度不變特征。實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點(diǎn)的檢測(cè)關(guān)鍵點(diǎn)的定位關(guān)鍵點(diǎn)方向的分配關(guān)鍵點(diǎn)描述符算法思想關(guān)鍵點(diǎn)方向的分配上一步中確定了每幅圖中的特征點(diǎn)，為每個(gè)特征點(diǎn)計(jì)算一個(gè)方向，依照這個(gè)方向做進(jìn)一步的計(jì)算，

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

假設(shè)L（x，y）表示一幅圖像，則圖像中的任意一像素點(diǎn)的梯度值為m（x，y）和方向，可由下公示表示：其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度。至此，圖像的關(guān)鍵點(diǎn)已經(jīng)檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置，所處尺度、方向，由此可以確定一個(gè)SIFT特征區(qū)域。關(guān)鍵點(diǎn)方向的分配按Lowe的建議，梯度的模值m(x,y)按

分布加成，按采樣尺度的原則，臨域窗口半徑為3*梯度直方圖將0~360度的方向范圍分為36個(gè)柱(bins)，其中每柱10度。關(guān)鍵點(diǎn)方向的分配直方圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向。直方圖中的峰值就是主方向，其他的達(dá)到最大值80%的方向可作為輔助方向。SIFT（Scale-invariantfeaturetransform），尺度不變特征。實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。這些特征具有旋轉(zhuǎn)和不變性，而且能夠克服光照和視角的變化。SIFT算法思想尺度空間極值點(diǎn)的檢測(cè)關(guān)鍵點(diǎn)的定位關(guān)鍵點(diǎn)方向的分配關(guān)鍵點(diǎn)描述符算法思想關(guān)鍵點(diǎn)描述符SIFT描述子是關(guān)鍵點(diǎn)鄰域高斯圖像梯度統(tǒng)計(jì)結(jié)果的一種表示。通過對(duì)關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個(gè)向量是該區(qū)域圖像信息的一種抽象，具有唯一性。Lowe建議描述子使用在關(guān)鍵點(diǎn)尺度空間內(nèi)4*4的窗口中計(jì)算的8個(gè)方向的梯度信息，共4*4*8=128維向量表征。關(guān)鍵點(diǎn)描述符1.將坐標(biāo)軸旋轉(zhuǎn)到特征點(diǎn)的主方向，以保證旋轉(zhuǎn)點(diǎn)具備旋轉(zhuǎn)不變性。假設(shè)旋轉(zhuǎn)旋轉(zhuǎn)后鄰域內(nèi)采樣點(diǎn)的新坐標(biāo)為：關(guān)鍵點(diǎn)描述符2.在旋轉(zhuǎn)后的圖像中，以特征點(diǎn)為中心取16×16的鄰域窗口，如圖所示。每個(gè)小格代表特征點(diǎn)鄰域窗口中的一個(gè)像素，箭頭的長(zhǎng)度為像素梯度的模值，指向?yàn)橄袼靥荻鹊姆较?，此處所謂的方向是指旋轉(zhuǎn)后的像素梯度的方向，即此為8*8的鄰域，最后得到4個(gè)種子關(guān)鍵點(diǎn)描述3.圓圈代表高斯加權(quán)的范圍，在8*8鄰域（實(shí)際應(yīng)用是16*16）中，每個(gè)關(guān)鍵點(diǎn)有4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向的信息（0，45°，90°，135°，180，等等），實(shí)際中則為4*4*8=128維。關(guān)鍵點(diǎn)描述

SIFT算法的特點(diǎn)1.

SIFT特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪