圖像相似度計(jì)算

1、圖像相似度計(jì)算圖像相似度計(jì)算主要用于對(duì)于兩幅圖像之間內(nèi)容的相似程度進(jìn)行打分，根據(jù)分?jǐn)?shù)的高低來判斷圖像內(nèi)容的相近程度。    可以用于計(jì)算機(jī)視覺中的檢測(cè)跟蹤中目標(biāo)位置的獲取，根據(jù)已有模板在圖像中找到一個(gè)與之最接近的區(qū)域。然后一直跟著。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子濾波等等也都是需要這方面的理論去支撐。   還有一方面就是基于圖像內(nèi)容的圖像檢索，也就是通常說的以圖檢圖。比如給你某一個(gè)人在海量的圖像數(shù)據(jù)庫中羅列出與之最匹配的一些圖像，當(dāng)然這項(xiàng)技術(shù)可能也會(huì)這樣做，將圖像抽象為幾

2、個(gè)特征值，比如Trace變換，圖像哈?；蛘逽ift特征向量等等，來根據(jù)數(shù)據(jù)庫中存得這些特征匹配再返回相應(yīng)的圖像來提高效率。   下面就一些自己看到過的算法進(jìn)行一些算法原理和效果上的介紹。    (1)直方圖匹配。       比如有圖像A和圖像B，分別計(jì)算兩幅圖像的直方圖，HistA，HistB，然后計(jì)算兩個(gè)直方圖的歸一化相關(guān)系數(shù)（巴氏距離，直方圖相交距離）等等。       這種思想是

3、基于簡(jiǎn)單的數(shù)學(xué)上的向量之間的差異來進(jìn)行圖像相似程度的度量，這種方法是目前用的比較多的一種方法，第一，直方圖能夠很好的歸一化，比如通常的256個(gè)bin條的。那么兩幅分辨率不同的圖像可以直接通過計(jì)算直方圖來計(jì)算相似度很方便。而且計(jì)算量比較小。       這種方法的缺點(diǎn):          1、直方圖反映的是圖像像素灰度值的概率分布，比如灰度值為200的像素有多少個(gè)，但是對(duì)于這些像素原來的位置在直方圖中并沒有體現(xiàn)，所以圖像的骨架，

4、也就是圖像內(nèi)部到底存在什么樣的物體，形狀是什么，每一塊的灰度分布式什么樣的這些在直方圖信息中是被省略掉得。那么造成的一個(gè)問題就是，比如一個(gè)上黑下白的圖像和上白下黑的圖像其直方圖分布是一模一樣的，其相似度為100%。          2、兩幅圖像之間的距離度量，采用的是巴氏距離或者歸一化相關(guān)系數(shù)，這種用分析數(shù)學(xué)向量的方法去分析圖像本身就是一個(gè)很不好的辦法。          3、就信息量的道理來說

5、，采用一個(gè)數(shù)值來判斷兩幅圖像的相似程度本身就是一個(gè)信息壓縮的過程，那么兩個(gè)256個(gè)元素的向量（假定直方圖有256個(gè)bin條）的距離用一個(gè)數(shù)值表示那么肯定就會(huì)存在不準(zhǔn)確性。    下面是一個(gè)基于直方圖距離的圖像相似度計(jì)算的Matlab Demo和實(shí)驗(yàn)結(jié)果.%計(jì)算圖像直方圖距離%巴氏系數(shù)計(jì)算法M=imread('1.jpg');N=imread('2.jpg');I=rgb2gray(M);J=rgb2gray(N);Count1,x=imhist(I);Count2,x=imhist(J);Sum1=sum(Count1);

6、Sum2=sum(Count2);Sumup = sqrt(Count1.*Count2);SumDown = sqrt(Sum1*Sum2);Sumup = sum(Sumup);figure(1);subplot(2,2,1);imshow(I);subplot(2,2,2);imshow(J);subplot(2,2,3);imhist(I);subplot(2,2,4);imhist(J);HistDist=1-sqrt(1-Sumup/SumDown)       通過上圖可以看到這種計(jì)算圖像相似度的方法確實(shí)存在很

7、大的弊端。然而很多人也對(duì)于這種方法進(jìn)行了修改，比如FragTrack算法，具體可以參見這篇論文。其中對(duì)圖像分成橫縱的小塊，然后對(duì)于每一個(gè)分塊搜索與之最匹配的直方圖。來計(jì)算兩幅圖像的相似度，融入了直方圖對(duì)應(yīng)位置的信息。但是計(jì)算效率上很慢。  還有一種是計(jì)算一個(gè)圖像外包多邊形，一般得到跟蹤圖像的前景圖后計(jì)算其外包多邊形，根據(jù)外包多邊形做Delauny三角形分解，然后計(jì)算每個(gè)三角形內(nèi)部的直方圖，對(duì)于這兩個(gè)直方圖組進(jìn)行相似距離計(jì)算。這樣就融入了直方圖的位置信息。 (2)數(shù)學(xué)上的矩陣分解   圖像本身就是一個(gè)矩陣，可以依靠數(shù)學(xué)上矩陣分解的一些知

8、識(shí)來獲取矩陣中一些代表這個(gè)矩陣元素值和分布的一些魯棒性特征來對(duì)圖像的相似度進(jìn)行計(jì)算。    最常用的一般是SVD分解和NMF分解。   下面簡(jiǎn)單介紹下SVD分解的一些性質(zhì)，如果需要探究的更深入一點(diǎn)網(wǎng)上有一些相關(guān)文獻(xiàn)，讀者可以去探究的更清楚： <1> 奇異值的穩(wěn)定性 <2> 奇異值的比例不變性 <3> 奇異值的旋轉(zhuǎn)不變性 <4> 奇異值的壓縮性     

9、0;      綜上所述，可以看出奇異值分解是基于整體的表示。圖像奇異值特征向量不但具有正交變換、旋轉(zhuǎn)、位移、鏡像映射等代數(shù)和幾何上的不變性,而且具有良好的穩(wěn)定性和抗噪性，廣泛應(yīng)用于模式識(shí)別與圖像分析中。對(duì)圖像進(jìn)行奇異值分解的目的是：得到唯一、穩(wěn)定的特征描述；降低特征空間的維數(shù)；提高抵抗干擾和噪聲的能力。但是由于奇異值分解得到的奇異矢量中有負(fù)數(shù)存在所以不能很好的解釋其物理意義。  非負(fù)矩陣分解(NMF):    NMF的主要思想是將非負(fù)矩陣分解為可以體現(xiàn)圖像主要信息的基矩陣與

10、系數(shù)矩陣，并且可以對(duì)基矩陣賦予很好的解釋，比如對(duì)人臉的分割，得到的基向量正是人的“眼睛”，“鼻子”等主要概念特征，源圖像表示為這些特征的加權(quán)組合。所以NMF算法也在人臉識(shí)別等場(chǎng)合中發(fā)揮著巨大的作用。   下面一個(gè)實(shí)驗(yàn)說明了SVD+NMF數(shù)學(xué)上的這些分解在圖像相似度判定方面的應(yīng)用，這個(gè)跟我目前的課題有關(guān)細(xì)節(jié)方面就不再透露更多了。當(dāng)然基于數(shù)學(xué)上的矩陣特征值計(jì)算的還有很多方法比如Trace變換，不變矩計(jì)算等等，當(dāng)然如果有需要這方面資料的同學(xué)可以找我，我可以進(jìn)行相關(guān)的幫助。（3）基于特征點(diǎn)的圖像相似度計(jì)算    每一幅圖像都有自己的

11、特征點(diǎn)，這些特征點(diǎn)表征圖像中比較重要的一些位置，比較類似函數(shù)的拐點(diǎn)那種，通常比較常用的有Harris角點(diǎn)和Sift特征點(diǎn)。那么將得到的圖像角點(diǎn)進(jìn)行比較，如果相似的角點(diǎn)數(shù)目較多，那么可以認(rèn)為這兩幅圖像的相似程度較高。這里主要介紹基于Sift算子。   對(duì)于Sift的原理和代碼可以參見David Lower的網(wǎng)站。David G Lowe Sift網(wǎng)站   那么我們就可以通過找到匹配點(diǎn)的個(gè)數(shù)來判斷兩幅圖像是否一致，這個(gè)算法的好處是對(duì)于一個(gè)物體，兩個(gè)不同角度下得到的照片依然可以找到很多的匹配點(diǎn)，我也一直認(rèn)為是一個(gè)綜合來說結(jié)果相對(duì)較為準(zhǔn)確的方法，但是由于每個(gè)特征點(diǎn)需要計(jì)算一個(gè)長(zhǎng)度不小的特征值，也造成了該算法的時(shí)間消耗比較大。所以不常用于實(shí)時(shí)的視頻處理。這個(gè)算法還有一個(gè)好處就是可以通過找到的匹配特征點(diǎn)進(jìn)行圖像校正。關(guān)于使用Sift做圖像校正請(qǐng)參見我的另外一篇博文。   我當(dāng)時(shí)對(duì)于比如左邊圖像，找到50個(gè)特征點(diǎn)，如果其中有6