基于內(nèi)容的圖像檢索技術(shù)綜述

1、收稿日期:2004-12-18基金項(xiàng)目:華東交大科學(xué)基金項(xiàng)目(基于內(nèi)容的圖像檢索技術(shù)研究作者簡(jiǎn)介:范自柱(1975-,男,安徽廬江人,講師.文章編號(hào):1005-0523(200505-0147-04基于內(nèi)容的圖像檢索技術(shù)綜述范自柱(華東交通大學(xué)基礎(chǔ)科學(xué)學(xué)院,江西南昌330013摘要:近年來,隨著多媒體和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,基于內(nèi)容的圖像檢索技術(shù)(C BIR :C ontent -Based Image Retrieval 成為一個(gè)研究熱點(diǎn).本文介紹C BIR 研究中的一些關(guān)鍵問題,并對(duì)其主要方法如基于顏色、形狀、紋理等圖像檢索技術(shù)進(jìn)行了討論.關(guān)鍵詞:基于內(nèi)容的圖像檢索;顏色空間;多媒體技術(shù)中圖

2、分類號(hào):TP391.4文獻(xiàn)標(biāo)識(shí)碼:A1引言傳統(tǒng)的圖像數(shù)據(jù)庫(kù)檢索采用基于關(guān)鍵詞或描述性文本的檢索方式,查詢時(shí)需要指明文本特征,要求用戶對(duì)文本特征的描述具有一定的準(zhǔn)確性和規(guī)范性.由于圖像內(nèi)容的豐富內(nèi)涵以及人們對(duì)圖像內(nèi)容進(jìn)行抽象時(shí)的主觀性,使得這種方法往往不能滿足人們的需要.基于內(nèi)容的檢索(C ontent -Based Image Re 2trieval ,C BIR 不同于傳統(tǒng)的檢索手段,它用于檢索的是反映圖像內(nèi)容并與圖像存儲(chǔ)在一起的各種量化特征,使用的是基于相似性度量的示例查詢(Query By Exam ple 方法.目前,國(guó)外許多機(jī)構(gòu)都在進(jìn)行相關(guān)的研究,并推出了以I BM 的QBIC 1和

3、MIT 的PhotoBook 2為代表的一系列成功的產(chǎn)品.2基于內(nèi)容的圖像檢索的主要索引技術(shù)書庫(kù)中查找到.而基于圖像的檢索就目前計(jì)算機(jī)和人工智能發(fā)展的水平來講,完全是一種基于相似性的度量.雖然查詢者的要求千差萬別,但是查找的層次基本可以分為三層25:基于原始數(shù)據(jù)的查找、基于特征的查找和基于語(yǔ)義的查找.第22卷第5期2005年10月華東交通大學(xué)學(xué)報(bào)Journal of East China Jiaotong University V ol.22N o.5Oct.,2005用顏色特征進(jìn)行圖像檢索可以追溯到S wain和Ballard3提出的顏色直方圖的方法.主要可以分為兩類24:全局顏色特征檢索和

4、局部顏色特征檢索.1全局色彩特征檢索全局色彩特征檢索方法目前采用最多的是色彩直方圖的方法,S wain的主要思想是根據(jù)色彩直方圖統(tǒng)計(jì)每種色彩在圖像中出現(xiàn)的概率,然后采用色彩直方圖的交來度量?jī)煞鶊D像色彩的相似性,其最大的缺點(diǎn)是完全丟失了圖像色彩的空間信息. Pass4等人提出以圖像的色彩聚合矢量CC V(color coherence vector來作為圖像的索引,它是圖像直方圖的一種演變,聚合矢量中的聚合信息在某種程度上保留了圖像色彩的空間信息.Stricker和Oreng o5提出了累計(jì)色彩直方圖方法,并且提出了色彩矩的方法,認(rèn)為色彩信息集中在圖像色彩的低階矩中.他們主要對(duì)每種色彩分量的一階

5、、二階和三階矩進(jìn)行統(tǒng)計(jì).2局部色彩特征檢索由于全局色彩特征檢索捕獲了整幅圖像色彩分布的信息,丟失了許多局部的色彩空間信息.目前從劃分局部區(qū)域的角度來說可分為:基于固定塊的圖像分割、基于手工的區(qū)域分割、采用交互的半自動(dòng)的區(qū)域分割以及一些自動(dòng)的色彩分割方法.局部區(qū)域中的色彩信息可以表示為平均色彩、主色彩、色彩直方圖和二進(jìn)制色彩集.H su6等人試圖結(jié)合圖像的色彩信息和圖像色彩的部分空間信息對(duì)色彩的直方圖進(jìn)行檢索.Smith和Chang7采用色彩的自動(dòng)分割方法,形成一個(gè)二進(jìn)制的色彩索引集,在圖像匹配中,比較這些圖像色彩集的距離和色彩區(qū)域的空間信息.色彩的空間關(guān)系主要有色彩區(qū)域的分離、包含、交,每種關(guān)

6、系對(duì)應(yīng)一定的評(píng)分,查詢的空間距離是所有這些色彩區(qū)域所對(duì)應(yīng)的空間關(guān)系的評(píng)分和.關(guān)于圖像色彩直方圖之間的距離,目前主要有直方圖的交、直方圖的絕對(duì)值距離,Niblack和Bar2 ber8等人采用直方圖的歐幾里德距離的度量方法, Hafner9等人提出了色彩直方圖之間的加權(quán)距離作為直方圖之間的度量方法.綜上所述,人們對(duì)色彩索引方法的研究已經(jīng)相當(dāng)多,它們都分別從不同的方面對(duì)色彩檢索問題進(jìn)行了研究.但目前主要存在的問題是色彩空間選擇并不完全統(tǒng)一,有人使用RG B色彩空間,更多的人采用HS V,MUSHE LL等視覺意義上的色彩空間等,而且這些方法之間關(guān)于色彩之間的度量方法也不統(tǒng)一,給各種方法檢索效果的評(píng)

7、價(jià)帶來了一定的難度.色彩檢索方法僅僅是基于內(nèi)容檢索的一種方法,在實(shí)際應(yīng)用中和其它檢索方法相結(jié)合,效果可能更佳.2.2形狀檢索形狀描述是通過一些方法生成數(shù)值的描述子來描述形狀,描述子應(yīng)在盡可能區(qū)別不同目標(biāo)的基礎(chǔ)上對(duì)目標(biāo)的平移、旋轉(zhuǎn)和尺度變化不敏感.它的具體實(shí)現(xiàn)方法可以分為兩類:基于輪廓和基于區(qū)域方法.多邊形逼近是用多邊形線段來近似形狀邊緣,即是以最小誤差、最小多邊形周長(zhǎng)、最小多邊形內(nèi)部面積,或最小多邊形外部面積作為近似準(zhǔn)則.這類方法中最常用的是分裂和合并法,在這個(gè)方法中,曲線分裂由幾個(gè)線段來表示直到誤差達(dá)到可以接受.同時(shí)分裂的線段又有可能融合,如果融合后的線段同原始曲線的誤差在允許的最大誤差范圍

8、內(nèi),線段即融合.Wu和Leou提出了另一種不同的準(zhǔn)則來獲取多邊形逼近,他們使用的多邊形逼近準(zhǔn)則是最大內(nèi)部面積、最小外部面積、最小面積偏差. Bengtss on和Eklundh13提出了一種層次化的多邊形逼近方法.分裂合并方法經(jīng)常用于多邊形逼近,尺度空間的方法則常常用于跟蹤曲線上的特征點(diǎn). Chung14等人開發(fā)了一種基于H opfield神經(jīng)網(wǎng)絡(luò)的形狀多邊形逼近方法.這種方法是將多邊形逼近定義為對(duì)神經(jīng)網(wǎng)絡(luò)能量函數(shù)的最小化問題,就是最小化曲線和多邊形的弧與弦之間的偏差.對(duì)于形狀的區(qū)域特征主要有形狀的無關(guān)矩、區(qū)域的面積、形狀的縱橫比、主軸方向、凹凸面積22等,這些特征得到了廣泛的應(yīng)用15.Fli

9、cker等人在I BM的QBIC圖像檢索系統(tǒng)中采用了形狀面積、圓841華東交通大學(xué)學(xué)報(bào)2005年度、離心率、主軸慣量以及高階無關(guān)矩,取得了滿意的效果.2.3紋理檢索紋理是圖像的又一重要特征,雖然尚無精確的定義,但卻受到廣泛研究.一般認(rèn)為紋理就是紋理元素有規(guī)律的排列組合,而把具有重復(fù)性、形狀簡(jiǎn)單、強(qiáng)度一致的區(qū)域看作紋理元素23.視覺紋理特性主要有:粗糙度、對(duì)比度、方向度、粗略度等,圖像檢索用到的紋理特征表示方法主要有16:T amura法(反映了粗糙度、對(duì)比度、方向度等、MRS AR(multi -res olution simultaneous auto-regressive m odel、C

10、an2 ny角直方圖法、G abor變換.T amura法是對(duì)整幅圖像進(jìn)行處理,效果較差,改進(jìn)方法是采用直方圖.和其他方法(紋理的主分量分析、小波變換特征等的比較17可知,MRS AR18區(qū)分不同紋理模式的能力較強(qiáng),但計(jì)算開銷也較大.MRS AR與G abor方法雖然性能較好,但其復(fù)雜度較高、處理時(shí)間也較長(zhǎng),在圖像檢索中使用基于T WT、PWT的方法比較合適.3基于內(nèi)容圖像檢索技術(shù)發(fā)展趨勢(shì)目前的基于內(nèi)容圖像檢索技術(shù)主要是采用前一節(jié)所述的一種或多種方法,若采用多種方法,則給每種方法賦以一定的權(quán)值,再結(jié)合用戶檢索時(shí)的反饋信息19,20,21,不斷調(diào)整這些參數(shù)以達(dá)到最優(yōu)效果.但是無論是使用顏色,形狀

11、還是紋理特征,每種特征都有各自的不足之處.僅用顏色會(huì)使圖像的空間信息損失,形狀特征的提取本身就是一個(gè)難題,紋理又有其局限性,一個(gè)紋理特征集一般只對(duì)某個(gè)圖像數(shù)據(jù)庫(kù)可行,而對(duì)其他圖像庫(kù)不用定有效.比較可取的方法是把這三種特征綜合起來使用,但仍不能從根本上解決問題,因?yàn)檫@些都是圖像的低層特征,它們和人眼的主觀視覺特征存在著不一致的地方.綜上所述,未來的圖像檢索技術(shù)發(fā)展趨勢(shì)主要有以下幾個(gè)方面:1圖像檢索的快速算法.目前流行的大多算法,不論是基于那種特征都有計(jì)算量大這一缺點(diǎn),圖像自身數(shù)據(jù)量大是其一個(gè)原因.但是,若能夠采用更簡(jiǎn)潔而又精確的方法來描述圖像,其計(jì)算復(fù)雜度就會(huì)降低.因此,在未來相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)

12、,圖像的快速檢索仍是一個(gè)重要的研究課題,這也是圖像檢索技術(shù)實(shí)用化的必然要求.2圖像的智能檢索.現(xiàn)今的很多圖像檢索技術(shù)或多或少的采用了智能方法,但還遠(yuǎn)沒有達(dá)到人們的要求.當(dāng)然,模式識(shí)別和人工智能等領(lǐng)域的理論技術(shù)還有待突破,但這并不妨礙我們借鑒這些領(lǐng)域的理論,如數(shù)據(jù)挖掘、神經(jīng)網(wǎng)絡(luò)、智能搜索以及蟻群算法、人工免疫等優(yōu)化方法.3圖像數(shù)據(jù)庫(kù)模型的建立.傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)模型在處理圖像時(shí)會(huì)遇到很多問題,例如,怎樣快速的讀寫圖像數(shù)據(jù),查詢優(yōu)化,抽取和存儲(chǔ)圖像特征,相似度計(jì)算等等.這些問題的較好解決方法是建立面向?qū)ο髷?shù)據(jù)庫(kù),但也有不少問題,如面向?qū)ο髷?shù)據(jù)庫(kù)技術(shù)還需要完善.即使完善了,面向?qū)ο髷?shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)還

13、會(huì)共存,它們之間相互存取操作問題還得解決.所以,這也是今后一個(gè)重要的研究方向.4反饋技術(shù).圖像檢索的效果很大程度上需要由用戶來評(píng)價(jià),因此,用戶的反饋信息在檢索計(jì)算中不可忽視,它可以提高檢索的效率和效果.當(dāng)前的很多檢索算法也用到反饋技術(shù),但大部分算法都是將其作為輔助手段,這樣,反饋技術(shù)就不能很好地優(yōu)化檢索算法.怎樣設(shè)計(jì)用戶的反饋方式和充分利用反饋信息是一個(gè)值得關(guān)注的課題.4總結(jié)本文闡述了基于內(nèi)容的圖像檢索技術(shù)原理方法,圖像檢索綜合了圖像處理、模式識(shí)別、數(shù)據(jù)庫(kù)和人的認(rèn)知心理等多種技術(shù).它是計(jì)算機(jī)領(lǐng)域又一前沿技術(shù),并越來越受到人們的關(guān)注,它的發(fā)展也越來越快,本文只對(duì)其發(fā)展作了概括介紹.可以預(yù)見,在不

14、久的將來圖像檢索技術(shù)將會(huì)取得更大成果.參考文獻(xiàn):1Flickner M et al.Query by image and video contentJ.TheQBIC System.IEEE C om puter,1995,28(9:23-32.2Pentland A P,Picard R,Sclaroff S.Photobook:C ontent-based manipulation of image databasesJ.International Jour2 nal of C om puter Vis oon,1996,18(3:233-254.3S wain M,Ballard D.C

15、 olor indexingJ.International journalof C om puter Vision,1991,7(1:11-32.4G,Z abih R,M iller J.C om paring images using color coher2ence vectors.In:P roc of AC M Intern C on f Multimedia.Boston,M A,1996.5S trickerM A,O reng oM.S imilarity of co lo r images.In:Proc of SP IE:S torage and Retrieval for

16、 Image and Video Databases III.San Jose,C A,1995,2420:381392.941第5期范自柱:基于內(nèi)容的圖像檢索技術(shù)綜述6H su W,Chua T S,Pung H K.An integrated color-spatialapp roach to content-based image retrieval.In:P roc AC M M ultimedia95C on ference.San F rancisco,1995.305313.7Sm ith J R,Chang S F.T ools and techniques for co lo

17、 r imageretrieval.In:Proc of SPIE:S torage and Retrieval fo r Image and Video Database.San Jose,C A,1996,2670:426437.8Niblack W,Barber R et al.The QBIC project:Querying im2ages by content using color,texture and shape.In:P roc of SPIE:S torage and Retrieval for Image and Video Database.San Jose,C A,

18、1994.9Hafner J,Sawhney H,Equitz W et al.E fficient color his2togram indexing for quadratic form distance function.IEEE T rans on Pattern Analysis and Machine Intelligence,1995,17(7:129256.10C ohenFS,ZhuangZY ang.Invariant matching and identifica2tion of curves using B2splines curve representation.IE

19、EE T rans.Image Processing,1995,4(1:110.11Saint2Marc Philippe,R om Hillel,Medioni G erard.B2splinecontour representation and symmetry dectection.IEEE T rans.PAMI,1993,15(11:119111973.12Olkkonen Hannu.Discrete binomial splines.G MIP,1995,57(2:101106.13Bengtss onA,Eklundh J.Shape representation by mul

20、tiscalecontour approximation.IEEE T rans.PAMI,1991,13(1:85 944.14ChungP,TsaiC,ChenE,SunY.P olyg onal approximation us2ing com petitive H opfield neural netw ork.Pattern Recognition, 1994,27:15051512.15AngY H,LiZhao,OngSH.Image retrieval based on multidi2mensional feature properties.SPIE,1995,2420:47

21、57. 16Ma Weiying,Zhang H ongjiang.Bench marking of image fea2tures for content2based retrievalA.The Thirty2Second Asilomar C on ference on S ignals,System&C om putersC, California,US A:1998,1:253-257.17B S Manjunath,W Y Ma.T exture features for browsing andretrieval of image dataJ.IEEE T2PAMI,19

22、96,18(8:837 -842.18J Mao,A KJain.T exture classification and segmentation us2ing multires olution simultaneous autoregressive m odelsJ.Patter Recognition,1992,25(2:173-188.19H G reenspan,GDvir,and Y Rubner.Region correspondencefor image matching via E M D flow.In C VPR2000W orkshop on C ontent2Based Access of Image and Video Libraries,2000, pp.27-31.20-,Support vector machines for region2based image re2trieval.in Proc,IEEE Int.C on f.Multimedia&Expo,2003.21Feng Jing,M ingjing Li,etc.An E fficient and E ffective Re2gion2Based Image Retrieval Framew orkJ.IEEE T ransac2 tions o