圖像相似度計算

1、圖像相似度計算圖像相似度計算主要用于對于兩幅圖像之間內(nèi)容的相似程度進行打分，根據(jù)分數(shù)的高低來判斷圖像內(nèi)容的相近程度?？梢杂糜谟嬎銠C視覺中的檢測跟蹤中目標位置的獲取，根據(jù)已有模板在圖像中找到一個與之最接近的區(qū)域。然后一直跟著。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子濾波等等也都是需要這方面的理論去支撐。還有一方面就是基于圖像內(nèi)容的圖像檢索，也就是通常說的以圖檢圖。比如給你某一個人在海量的圖像數(shù)據(jù)庫中羅列出與之最匹配的一些圖像，當然這項技術(shù)可能也會這樣做，將圖像抽象為幾個特征值，比如Trace變換，圖像哈?；蛘逽ift特征向量等等，來根據(jù)數(shù)據(jù)庫中存得這

2、些特征匹配再返回相應的圖像來提高效率。下面就一些自己看到過的算法進行一些算法原理和效果上的介紹。(1)直方圖匹配。比如有圖像A和圖像B，分別計算兩幅圖像的直方圖，HistA，HistB，然后計算兩個直方圖的歸一化相關系數(shù)（巴氏距離，直方圖相交距離）等等。這種思想是基于簡單的數(shù)學上的向量之間的差異來進行圖像相似程度的度量，這種方法是目前用的比較多的一種方法，第一，直方圖能夠很好的歸一化，比如通常的256個bin條的。那么兩幅分辨率不同的圖像可以直接通過計算直方圖來計算相似度很方便。而且計算量比較小。這種方法的缺點:1、直方圖反映的是圖像像素灰度值的概率分布，比如灰度值為200的像素有多少個，但是

3、對于這些像素原來的位置在直方圖中并沒有體現(xiàn)，所以圖像的骨架，也就是圖像內(nèi)部到底存在什么樣的物體，形狀是什么，每一塊的灰度分布式什么樣的這些在直方圖信息中是被省略掉得。那么造成的一個問題就是，比如一個上黑下白的圖像和上白下黑的圖像其直方圖分布是一模一樣的，其相似度為100%。2、兩幅圖像之間的距離度量，采用的是巴氏距離或者歸一化相關系數(shù)，這種用分析數(shù)學向量的方法去分析圖像本身就是一個很不好的辦法。3、就信息量的道理來說，采用一個數(shù)值來判斷兩幅圖像的相似程度本身就是一個信息壓縮的過程，那么兩個256個元素的向量（假定直方圖有256個bin條）的距離用一個數(shù)值表示那么肯定就會存在不準確性。下面是一個

4、基于直方圖距離的圖像相似度計算的Matlab Demo和實驗結(jié)果.%計算圖像直方圖距離%巴氏系數(shù)計算法M=imread(1.jpg);N=imread(2.jpg);I=rgb2gray(M);J=rgb2gray(N);Count1,x=imhist(I);Count2,x=imhist(J);Sum1=sum(Count1);Sum2=sum(Count2);Sumup = sqrt(Count1.*Count2);SumDown = sqrt(Sum1*Sum2);Sumup = sum(Sumup);figure(1);subplot(2,2,1);imshow(I);subplot(

5、2,2,2);imshow(J);subplot(2,2,3);imhist(I);subplot(2,2,4);imhist(J);HistDist=1-sqrt(1-Sumup/SumDown)通過上圖可以看到這種計算圖像相似度的方法確實存在很大的弊端。然而很多人也對于這種方法進行了修改，比如FragTrack算法，具體可以參見這篇論文。其中對圖像分成橫縱的小塊，然后對于每一個分塊搜索與之最匹配的直方圖。來計算兩幅圖像的相似度，融入了直方圖對應位置的信息。但是計算效率上很慢。還有一種是計算一個圖像外包多邊形，一般得到跟蹤圖像的前景圖后計算其外包多邊形，根據(jù)外包多邊形做Delauny三角形分

6、解，然后計算每個三角形內(nèi)部的直方圖，對于這兩個直方圖組進行相似距離計算。這樣就融入了直方圖的位置信息。(2)數(shù)學上的矩陣分解圖像本身就是一個矩陣，可以依靠數(shù)學上矩陣分解的一些知識來獲取矩陣中一些代表這個矩陣元素值和分布的一些魯棒性特征來對圖像的相似度進行計算。最常用的一般是SVD分解和NMF分解。下面簡單介紹下SVD分解的一些性質(zhì)，如果需要探究的更深入一點網(wǎng)上有一些相關文獻，讀者可以去探究的更清楚：奇異值的穩(wěn)定性 奇異值的比例不變性奇異值的旋轉(zhuǎn)不變性奇異值的壓縮性綜上所述，可以看出奇異值分解是基于整體的表示。圖像奇異值特征向量不但具有正交變換、旋轉(zhuǎn)、位移、鏡像映射等代數(shù)和幾何上的不變性,而且具

7、有良好的穩(wěn)定性和抗噪性，廣泛應用于模式識別與圖像分析中。對圖像進行奇異值分解的目的是：得到唯一、穩(wěn)定的特征描述；降低特征空間的維數(shù)；提高抵抗干擾和噪聲的能力。但是由于奇異值分解得到的奇異矢量中有負數(shù)存在所以不能很好的解釋其物理意義。非負矩陣分解(NMF):NMF的主要思想是將非負矩陣分解為可以體現(xiàn)圖像主要信息的基矩陣與系數(shù)矩陣，并且可以對基矩陣賦予很好的解釋，比如對人臉的分割，得到的基向量正是人的“眼睛”，“鼻子”等主要概念特征，源圖像表示為這些特征的加權(quán)組合。所以NMF算法也在人臉識別等場合中發(fā)揮著巨大的作用。下面一個實驗說明了SVD+NMF數(shù)學上的這些分解在圖像相似度判定方面的應用，這個跟

8、我目前的課題有關細節(jié)方面就不再透露更多了。當然基于數(shù)學上的矩陣特征值計算的還有很多方法比如Trace變換，不變矩計算等等，當然如果有需要這方面資料的同學可以找我，我可以進行相關的幫助。（3）基于特征點的圖像相似度計算每一幅圖像都有自己的特征點，這些特征點表征圖像中比較重要的一些位置，比較類似函數(shù)的拐點那種，通常比較常用的有Harris角點和Sift特征點。那么將得到的圖像角點進行比較，如果相似的角點數(shù)目較多，那么可以認為這兩幅圖像的相似程度較高。這里主要介紹基于Sift算子。對于Sift的原理和代碼可以參見David Lower的網(wǎng)站。David G Lowe Sift網(wǎng)站那么我們就可以通過找到匹配點的個數(shù)來判斷兩幅圖像是否一致，這個算法的好處是對于一個物體，兩個不同角度下得到的照片依然可以找到很多的匹配點，我也一直認為是一個綜合來說結(jié)果相對較為準確的方法，但是由于每個特征點需要計算一個長度不小的特征值，也造成了該算法的時間消耗比較大。所以不常用于實時的視頻處理。這個算法還有一個好處就是可以通過找到的匹配特征點進行圖像校正。關于使用Sift做圖像校正請參見我的另外一篇博文。我當時對于比如左邊圖像，找到50個特征點，如果其中有60%以上的與右邊的匹配上了，認為兩幅圖像是相似圖像。上圖使用Sift找到的匹配對應