基于形狀的圖像檢索技術(shù)研究

1、2021-12-261基于形狀的圖像檢索技術(shù)研究2021-12-262前言 信息量膨脹-圖像數(shù)量呈指數(shù)快速增長(zhǎng) 如何在海量圖像中有效獲取人們感興趣的圖像 現(xiàn)有的基于文本的圖像檢索技術(shù)存在局限；例如，百度搜索引擎中的圖片檢索 基于內(nèi)容的圖像檢索技術(shù)：利用圖像的顏色、紋理、形狀、空間關(guān)系特征 形狀具有一定語(yǔ)義，常與目標(biāo)聯(lián)系在一起研究日趨活躍，需要迫切，有實(shí)用價(jià)值2021-12-263 圖像的預(yù)處理，形狀特征提取，數(shù)據(jù)庫(kù)系統(tǒng)，查詢接口，檢索引擎，索引/過(guò)濾器 本論文主要對(duì)形狀特征提取方法進(jìn)行研究2021-12-264形狀的表達(dá)與描述 基于邊界和基于區(qū)域的形狀特征，在具體的應(yīng)用中各有特點(diǎn)和適應(yīng)的場(chǎng)合，

2、不能互相替代2021-12-265作者在本論文中的工作 EGS-改進(jìn)了基于幾何標(biāo)記(GS)的形狀特征提取方法 NWSS-改進(jìn)了基于小波尺度空間(WSS)的形狀特征提取方法 結(jié)合MATLAB和ACCESS實(shí)現(xiàn)了一個(gè)基于圖像檢索實(shí)驗(yàn)系統(tǒng) 根據(jù)MPEG-7標(biāo)準(zhǔn)建立了檢索性能評(píng)價(jià)方案，根據(jù)8種形狀特征進(jìn)行形狀檢索，利用3種檢索性能評(píng)價(jià)方法進(jìn)行評(píng)價(jià)2021-12-266幾何標(biāo)記(GS) 基本思想是：計(jì)算將形狀分解到一個(gè)預(yù)先定義圓上的能量，該能量與目標(biāo)邊界到圓的距離成正比。1) 令 代表外接圓上的點(diǎn)， 代表目標(biāo)邊界上的點(diǎn)。對(duì)于一個(gè)外接圓采樣m個(gè)點(diǎn)，每個(gè)點(diǎn)可以表達(dá)為：(i)2(i-0.5)(,)(, R )

3、mPR, 1im(,)PR(,)orO2021-12-267 2) 對(duì)一個(gè)邊界計(jì)算幾何標(biāo)記D (i)D :Dm(i)(i )(i )(i )123D:D D D(i)(i)1:m in (|(,)|)oODPRo(i)(,)(i)2(i)():#rGRrDG(i)2(i)(,)(i)3(i)():#rGrmDG2021-12-268 幾何標(biāo)記(GS)特征提取方法的 優(yōu)點(diǎn) ： 易于實(shí)現(xiàn)特征矢量長(zhǎng)度的統(tǒng)一化； 可以描述有凹陷的形狀。 缺點(diǎn)： 對(duì)于尺度和旋轉(zhuǎn)變化不具不變性 。 2021-12-269 改進(jìn)幾何標(biāo)記(EGS) 尺度歸一化 根據(jù)目標(biāo)形狀的主軸長(zhǎng)度，計(jì)算縮放因子，縮放到統(tǒng)一的尺度 旋轉(zhuǎn)歸一

4、化 分別以距離重心較遠(yuǎn)的主軸端點(diǎn)和距離重心較近的主軸端點(diǎn)作為標(biāo)記起始點(diǎn)，求取Da和Db 。 構(gòu)造新的特征向量 scale_factor=m ajorlen/m ajorA xisLengthabDDD2021-12-2610 兩幅相似圖像以不同的主軸端點(diǎn)作為起始點(diǎn)的旋轉(zhuǎn)結(jié)果不同image1image2 10 20 30 403021060240902701203001503301800its catr2pol after rotation and convert theta into tange 02pi startpoint1 10 20 30 40302106024090270120300

5、1503301800its catr2pol after rotation and convert theta into tange 02pi startpoint1 10 20 30 403021060240902701203001503301800its catr2pol after rotation and convert theta into tange 02pi startpoint2 10 20 30 403021060240902701203001503301800its catr2pol after rotation and convert theta into tange 0

6、2pi startpoint22021-12-2611特征相似性度量 key = key_Da key_Db database = database_Da database_Db計(jì)算四個(gè)距離： distance( key_Da, database_Da) distance( key_Da, database_Db) distance( key_Db, database_Da) distance( key_Db, database_Db) 選擇最小的距離作為兩幅圖像的相似性度量2021-12-2612基本的特征相似性度量方法 x=(x1,x2,xk)，y=(y1,y2,yk), (k=1,2,K

7、) 兩個(gè)特征向量間的距離F歐式距離F城區(qū)距離FMinkowsky距離21 / 21,21()| KEkkkds sxy1,21()|KCkkkds sxy1 /1,21()| KqqMkkkds sxy2021-12-2613小波尺度空間(WSS) 基本思想是：對(duì)形狀邊界序列x(t), y(t) 分別進(jìn)行小波分解，形成由粗到細(xì)、層級(jí)表示的小波尺度空間。0( )( )( )( )( )( )MmMadMmmMmadx txtxty tytyt尺度M下的近似系數(shù)尺度m下的細(xì)節(jié)系數(shù)10( )( )MMnnax tt10( )( )MMnncy tt10( )( )mmnnrx tt10( )( )m

8、mnndy tt2021-12-2614小波系數(shù)從笛卡爾坐標(biāo)系轉(zhuǎn)換為極坐標(biāo)系arctan()MMnnMnca22()()MMMnnnAacarctan()mmnnmndr22()()mmmnnnAdrF尺度歸一化：相位系數(shù)對(duì)于尺度變換具有不變性 F旋轉(zhuǎn)歸一化：幅值系數(shù)對(duì)于旋轉(zhuǎn)變換具有不變性 /MMnnaAAA,21Mann mAAN/mmnndAAA,31mdnn mAANMMnna,41Mann mNmmnnd,51mdnn mN2021-12-2615 小波尺度空間(WSS)特征提取方法 優(yōu)點(diǎn) ： 構(gòu)成一個(gè)多個(gè)尺度空間，與人類視覺(jué)系統(tǒng)由粗到細(xì)地感受圖像相一致； 與曲率尺度空間(CSS)相比

9、，不會(huì)造成形狀邊界的收縮。 缺點(diǎn)： 不能對(duì)邊界的起始點(diǎn)進(jìn)行歸一化。2021-12-2616 0.5 1 1.5 23021060240902701203001503301800經(jīng) 過(guò) 尺 度 和 旋 轉(zhuǎn) 歸 一 化 后 的 近 似 系 數(shù) 產(chǎn) 生 的 圖 像 0.5 1 1.5 23021060240902701203001503301800經(jīng) 過(guò) 尺 度 和 旋 轉(zhuǎn) 歸 一 化 后 的 近 似 系 數(shù) 產(chǎn) 生 的 圖 像F小波尺度空間(WSS) :僅旋轉(zhuǎn)歸一化，但沒(méi)起始點(diǎn)歸一化2021-12-2617 改進(jìn)小波尺度空間(NWSS)F改進(jìn)方法的基本思路： 仿照對(duì)幾何標(biāo)記方法進(jìn)行改進(jìn)的思路，重新

10、構(gòu)造特征向量。F特征匹配方法也作相應(yīng)的改進(jìn)。2021-12-2618小波-傅立葉特征(WFD) 基本思想是：首先對(duì)形狀邊界在多個(gè)尺度下做一維連續(xù)小波變換，其次對(duì)不同尺度下一維連續(xù)小波變換的結(jié)果做傅立葉變換。F坐標(biāo)序列的復(fù)數(shù)形式F在尺度a、位置b處的一維連續(xù)小波變換系數(shù) ( )( )( )s tx tjy t1()( )()|aRtbCbs tdkaa2021-12-2619(/ 21)(1)(2)(/ 2).(1)(1)(1)(1)aaaaaaaaaFLFFFLxFFFFF尺度a下的傅立葉系數(shù) F利用傅立葉變換性質(zhì)歸一化特征向量F構(gòu)造新的特征向量312,aaaXxxx12/01()( )Naj

11、nbNabFnCb eN2021-12-2620 小波-傅立葉特征的 優(yōu)點(diǎn)： 借助傅立葉變換系數(shù)受邊界平移、旋轉(zhuǎn)、尺度、起點(diǎn)變化的影響的性質(zhì)，易于歸一化。 缺點(diǎn)： 一維連續(xù)小波變換的尺度是固定的，對(duì)于存在較大尺度變化的形狀描述不夠精確。 2021-12-2621圖像檢索實(shí)驗(yàn)系統(tǒng) 結(jié)合MATLAB和ACCESS建立了圖像檢索系統(tǒng)，對(duì)4個(gè)圖像測(cè)試集(包括Part A1、A2、B、D)中的圖像閉合形狀邊界提取出8種特征(包括CDFD, CCFD, GS, EGS, WSS, NWSS, WFD, SM特征) 2021-12-2622根據(jù)MPEG-7建立檢索性能評(píng)價(jià)方案 源圖像庫(kù)F來(lái)自于MPEG-7所

12、給的測(cè)試集，分別含有99個(gè)和216個(gè)形狀，2021-12-2623測(cè)試分類Part A1Part A2Part BPart D測(cè)試項(xiàng)目尺度不變性旋轉(zhuǎn)不變性相似性檢索效率綜合檢索效率源圖像庫(kù)及數(shù)目包含99幅圖像的99shapes圖像庫(kù)包含99幅圖像的99shapes圖像庫(kù)包含216幅圖像的216shapes圖像庫(kù)(共分13類，每類12幅圖像)包含216幅圖像的216shapes圖像庫(kù)(共分18類，每類12幅圖像)測(cè)試圖像集生成對(duì)源圖像庫(kù)進(jìn)行尺度因子為2, 0.3, 0.25, 0.2 和0.1的尺度變化對(duì)源圖像庫(kù)進(jìn)行旋轉(zhuǎn)角度為9,36,45,90和150度的逆時(shí)針旋轉(zhuǎn)變化對(duì)源圖像庫(kù)進(jìn)行尺度因子為

13、2, 0.3, 0.25, 0.2 和0.1的尺度變化以及旋轉(zhuǎn)角度為9,36,45,90和150度的逆時(shí)針旋轉(zhuǎn)變化測(cè)試圖像集總圖像數(shù)594幅594幅216幅2376幅F測(cè)試圖像庫(kù)選取與設(shè)計(jì) 2021-12-26248種形狀特征的參數(shù)選擇如下：CDFD：取傅立葉系數(shù)的前10項(xiàng)作為特征向量；CCFD：取傅立葉系數(shù)的前10項(xiàng)作為特征向量；GS：投影外接圓直徑R=60，采樣點(diǎn)數(shù)m=15；EGS：投影外接圓直徑R=60，采樣點(diǎn)數(shù)m=15；WSS：形狀邊界重新采樣為長(zhǎng)度為256的序列，小波分解級(jí)數(shù)J=4，選擇了Haar、Db2 、Db5 、Db7小波；NWSS：形狀邊界重新采樣為長(zhǎng)度為256的序列，小波分

14、解級(jí)數(shù)J=4，選擇了Haar、Db2 、Db5 、Db7小波；WFD：對(duì)于一維連續(xù)小波變換選擇了三個(gè)尺度A=a1,a2,a3=50,80,110，取傅立葉系數(shù)的前10項(xiàng)作為特征向量；SM：計(jì)算質(zhì)心距離標(biāo)記的7階矩。 2021-12-26253種不同方法進(jìn)行檢索性能評(píng)價(jià)1.查全率、準(zhǔn)確度、F-測(cè)度： Part B 不同特征的查全率、準(zhǔn)確度、F-測(cè)度統(tǒng)計(jì)形狀特征查全率recall精確度precisionF測(cè)度f(wàn)-measureCDFD81.289%65.031%72.252%CCFD66.011%52.809%58.676%GS74.498%59.599%66.221%EGS68.094%54.4

15、75%60.528%WSSHaar76.196%60.957%67.73%WSSDb276.119%60.895%67.661%WSSDb576.003%60.802%67.558%WSSDb775.849%60.679%67.421%NWSSHaar83.796%67.037%74.486%NWSSDb284.182%67.346%74.829%NWSSDb584.414%67.531%75.034%NWSSDb783.793%67.037%74.486%WFD77.662%62.13%69.033%2021-12-26263種不同方法進(jìn)行檢索性能評(píng)價(jià)1.查全率、準(zhǔn)確度、F-測(cè)度： Part

16、 D 不同特征的查全率、準(zhǔn)確度、F-測(cè)度統(tǒng)計(jì) 形狀特征查全率recall精確度precisionF測(cè)度f(wàn)-measureCDFD77.957%68.602%72.981%CCFD36.846%32.425%34.493%GS21.651%19.053%20.269%EGS66.085%58.155%61.867%WSSHaar22.46%19.765%21.026%WSSDb222.31%19.633%20.866%WSSDb521.905%19.276%20.506%WSSDb721.757%19.146%20.368%NWSSHaar80.925%71.214%75.76%NWSSDb28

17、1.61%71.817%76.401%NWSSDb581.944%72.111%76.714%NWSSDb781.23%71.482%76.045%WFD30.052%26.446%28.134%2021-12-2627查全率、準(zhǔn)確度、F-測(cè)度的數(shù)據(jù)說(shuō)明： FNWSS的效果最好；CDFD次之；EGS、CCFD較前兩者差些，但EGS優(yōu)于CCFD；WFD、SM、WSS則表現(xiàn)較差。FEGS和NWSS明顯優(yōu)于未改進(jìn)的原型算法，它們對(duì)于尺度變化和旋轉(zhuǎn)變化的形狀具有更好的描述能力。F使用不同小波基進(jìn)行分解對(duì)WSS和NWSS方法的檢索效果影響不大。F使用NWSS、CDFD、EGS、CCFD進(jìn)行圖像檢索事都能

18、較好的區(qū)分語(yǔ)義上屬于不同類別的圖像，和人的視覺(jué)感受相符。2021-12-2628 對(duì)Part B的查全率、準(zhǔn)確度、F-測(cè)度分類統(tǒng)計(jì)： 對(duì)于Part B的以上4種形狀特征的檢索結(jié)果統(tǒng)計(jì)顯示，對(duì)有些類別的檢索查全率甚至可以達(dá)到100%。2021-12-26293種不同方法進(jìn)行檢索性能評(píng)價(jià) 2.檢索效率 ：Part A1、A2、B、D 不同特征的檢索效率統(tǒng)計(jì) 不同特征檢索效率Part A1Part A2Part BPart DN6612132T6624264檢索效率n/3564n/3564n/2592n/313632CDFD69.22%(2467/3564)78.648%(2803/3564)81.

19、289%(2107/2592)77.957%(244500/313632)CCFD67.733%(2414/3564)33.277%(1186/3564)66.011%(1711/2592)36.843%(115560/313632)GS34.905%(1244/3564)23.036%(821/3564)74.498%(1931/2592)21.651%(67905/313632)EGS74.355%(2650/3564)82.127%(2927/3564)68.094%(/17652592)66.085%(207260/313632)WSSHaar38.44%(1370/3564)24.3

20、83%(869/3564)76.196%(1975/2592)22.46%(70441/313632)WSSDb238.636%(1377/3564)24.27%(865/3564)76.119%(1973/2592)22.31%(69971/313632)WSSDb537.823%(1384/3564)24.018%(856/3564)76.003%(1970/2592)21.905%(68700/313632)WSSDb737.823%(1348/3564)23.878%(851/3564)75.849%(1966/2592)21.757%(68236/313632)NWSSHaar73.

21、232%(2610/3564)79.63%(2838/3564)83.8% (2172/2592)80.925%(253810/313632)NWSSDb273.26%(2611/3564)79.854%(2846/3564)84.18%(2182/2592)81.61%(255960/313632)2021-12-2630檢索效率的統(tǒng)計(jì)數(shù)據(jù)說(shuō)明： F檢索效率的統(tǒng)計(jì)結(jié)果與檢索查全率的結(jié)果類似FPartA1、A2檢索結(jié)果的統(tǒng)計(jì)顯示： EGS甚至優(yōu)于CDFD的表現(xiàn)，僅次于NWSS的表現(xiàn)； WFD的對(duì)于尺度變化的形狀描述能力較差。2021-12-26313種不同方法進(jìn)行檢索性能評(píng)價(jià)3.有效性 ：F從

22、圖像測(cè)試集B中選出8幅圖像作為系統(tǒng)查詢圖像，統(tǒng)計(jì)圖像的檢索有效性；F由于只找到4個(gè)人進(jìn)行主觀評(píng)判，S1(2)最大值取4 2021-12-26323種不同方法進(jìn)行檢索性能評(píng)價(jià) 3.有效性 ：不同形狀特征的S1(2)鳥(niǎo)bird駱駝camel大象elephant叉子fork杯子Glas錘子hammer心Heart鑰匙keyCDFD34434404CCFD04334404GS00334444EGS00014444WSSHaar04334444WSSDb201434144WSSDb500434044WSSDb700434044NWSSHaar34024444NWSSDb234024424NWSSDb53

23、1024424NWSSDb730014424WFD04234404SM004310002021-12-2633 本例統(tǒng)計(jì)結(jié)果顯示了利用這幾種形狀特征都能夠在一定程度上描述形狀。 NWSS和CDFD的有效性較好； EGS在本例圖像中效果一般。 但應(yīng)注意到該表的統(tǒng)計(jì)結(jié)果僅僅基于一幅查詢圖像和一幅實(shí)驗(yàn)圖像的有效性統(tǒng)計(jì)結(jié)果，不能全面說(shuō)明整個(gè)圖像庫(kù)的查詢結(jié)果的有效性 有效性的統(tǒng)計(jì)數(shù)據(jù)說(shuō)明： 2021-12-2634檢索結(jié)果示例 利用EGS和CCFD特征檢索的示例 顯然EGS與人的視覺(jué)感受更符合 2021-12-2635小結(jié) 圖像檢索的性能結(jié)果顯示，本文所改進(jìn)的EGS和NWSS在檢索中都有較好的表現(xiàn)，具有

24、平移、旋轉(zhuǎn)、尺度變化不變性，比目前表現(xiàn)較好的FD對(duì)形狀的描述效果好，且更符合人的視覺(jué)感受。 應(yīng)注意到，這些改進(jìn)都是以適當(dāng)?shù)纳釛壭螤蠲枋龅木o湊性為代價(jià)來(lái)提高形狀描述的精確性的，但是計(jì)算的時(shí)間復(fù)雜度仍然可接受。 可以進(jìn)一步研究的方向 2021-12-2636部分參考文獻(xiàn)1Yong Rui and Thomas S. Huang. Image Retrieval: Current Techniques, Promising Directions, and Open Issues. J. of Visual Communication and Image Representation. 1999,10

25、,3962. 2章毓晉. 基于內(nèi)容的視覺(jué)信息檢索. 北京. 科學(xué)出版社. 2003 3Dengsheng Zhang，Guojun Lu. Review of Shape Representation and Description Techniques. Pattern Recognition. 2004. vol. 37, 1-194George Leifman Ron Meir and Ayellet Tal. Semantic-Oriented 3d Shape Retrieval Using Relevance Feedback. Visual Comput. 2005. DOI 1

26、0.1007/s00371-005-0341-z. Springer-Verlag 20055Gene C.-H. Chuang and C.-C. Jay Kuo. Wavelet Descriptor of Planar Curves: Theory and Applications. IEEE Transactions On Image Processing. Jan. 1996. Vol. 5, No. 1 6Iivari kunttu , Leena Lepisto, Juhanni Rauhamaa and Ari Visa. Multiscale Fourier Descript

27、or for Shape-based Retrieval. IEEE Proceedings of the 17th International Conference on Pattern Recognition (ICPR0) 7Miroslaw Bober, Wayne Price and Jim Atkinson. The Contour Shape Descriptor for MPEG-7 and its Applications. IEEE. 2000. 0-7803-6301-9/00 8韋娜，耿國(guó)華，周明全. 基于內(nèi)容的圖像檢索系統(tǒng)性能評(píng)價(jià). 中國(guó)圖像圖形學(xué)報(bào). 2004/11. 第9卷第11期 2021-12-2637致 謝 本論文是在導(dǎo)師彭進(jìn)業(yè)教授的悉心指導(dǎo)下完成的。在此謹(jǐn)對(duì)彭老師在學(xué)習(xí)、生活和工作上給予我的教誨和幫助表示衷心的感謝！ 其次，感謝西北大學(xué)信息學(xué)院對(duì)我的培養(yǎng)，感謝在校期間各位老師給予我的大量幫助，也感謝各位互相幫助、共同進(jìn)步的同學(xué)！ 2021-12-2638歡迎各位老師提出寶貴的意見(jiàn)和建議2021-12-2639