基于內(nèi)容的圖像檢索局部特征提取算法的研究

1、 基于內(nèi)容的圖像檢索局部特征提取算法的研究 摘要：基于內(nèi)容的圖像檢索離不開特征提取，而局部特征提取是當(dāng)前研究熱點(diǎn)之一，由于局部特征之間的獨(dú)立性和高語(yǔ)義性，此種方法在基于內(nèi)容的圖像檢索領(lǐng)域有著良好的表現(xiàn)1。為了進(jìn)一步提高局部特征的語(yǔ)義性、提升特征提取模型的表現(xiàn)力，本文引入視覺注意力機(jī)制與分組卷積思想對(duì)當(dāng)前的局部特征提取模型進(jìn)行優(yōu)化，經(jīng)實(shí)驗(yàn)證實(shí)，優(yōu)化后的模型提取出的局部特征在oxford數(shù)據(jù)集以及paris數(shù)據(jù)集有著更好的檢索效果。1.簡(jiǎn)介信息技術(shù)日益發(fā)展的今天，圖像檢索方法是計(jì)算機(jī)視覺領(lǐng)域的重要研究分支，各種計(jì)算機(jī)視覺任務(wù)催生了對(duì)海量圖像檢索分析的需求，從海量圖像數(shù)據(jù)中快速檢索和匹配到需要的目標(biāo)

2、是當(dāng)前研究的熱點(diǎn)，即基于內(nèi)容的圖像檢索cbir 2。近年來(lái)，深度學(xué)習(xí)在各種計(jì)算機(jī)視覺任務(wù)上都取得了重大的突破由于深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性表示能力，能夠理解圖像更深層次的信息，它在目標(biāo)檢測(cè)、圖像分類和圖像分割等方面都表現(xiàn)出了良好的性能3。而在圖像檢索領(lǐng)域，基于機(jī)器學(xué)習(xí)的局部特征提取技術(shù)也成為了研究熱點(diǎn)之一，以delf（deep local feature）模型為例，通過(guò)使用卷積網(wǎng)絡(luò)模型，提取待檢索圖像與索引庫(kù)圖像的局部特征，經(jīng)試驗(yàn)證實(shí)，該方法在oxford數(shù)據(jù)集和paris數(shù)據(jù)集均取得了良好的實(shí)驗(yàn)效果4。delf模型通過(guò)引入一種視覺注意力機(jī)制，即關(guān)鍵點(diǎn)注意力機(jī)制，實(shí)現(xiàn)對(duì)局部特征的重標(biāo)定，增強(qiáng)

3、對(duì)任務(wù)作用較大的特征權(quán)重，降低或抑制對(duì)任務(wù)作用較小的權(quán)重，來(lái)提升特征提取模型的表達(dá)能力5。雖然delf模型在圖像檢索領(lǐng)域具有良好的表現(xiàn)，但delf模型僅僅引入一種注意力機(jī)制，而實(shí)驗(yàn)證明，引入多種注意力機(jī)制相結(jié)合的特征提取模型往往優(yōu)于單一注意力機(jī)制模型6，故該模型仍有一定的優(yōu)化潛力。2 相關(guān)工作本文通過(guò)引入第二種注意力機(jī)制，即通道域注意力機(jī)制，實(shí)現(xiàn)對(duì)特征提取過(guò)程中的不同通道特征進(jìn)行重標(biāo)定，增強(qiáng)對(duì)檢索任務(wù)重要的通道權(quán)重，抑制無(wú)用通道的權(quán)重，提升局部特征提取模型的表現(xiàn)力。結(jié)合分組卷積思想，對(duì)delf模型的密集局部特征提取階段的網(wǎng)絡(luò)進(jìn)行優(yōu)化，通過(guò)引入更為稀疏的網(wǎng)絡(luò)結(jié)構(gòu)，增大模型的參數(shù)利用率，使得模型在

4、擁有相同參數(shù)的同時(shí)，具備更好的提取能力。3.1 delf模型delf模型是圖像檢索領(lǐng)域中表現(xiàn)良好的局部特征提取模型7，如下圖所示：delf模型的密集局部特征提取網(wǎng)絡(luò)采用resnet-50網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，并將最后兩層全連接層換成卷積層，構(gòu)建fcn網(wǎng)絡(luò)提取出特征熱圖，再使用關(guān)鍵點(diǎn)注意力模塊為若干關(guān)鍵點(diǎn)進(jìn)行打分加權(quán)，最終提取的特征稱之為delf特征。3.2 基于通道域注意力優(yōu)化密集特征提取通過(guò)引入通道域注意力，實(shí)現(xiàn)兩種視覺注意力機(jī)制相結(jié)合，提取出具有更高語(yǔ)義信息的特征，提升模型表現(xiàn)能力，通道域注意力機(jī)制如下圖所示：通道域注意力機(jī)制的實(shí)現(xiàn)通常包括三個(gè)?？?，壓縮操作、激勵(lì)操作、重標(biāo)定操作8。引入通道域

5、注意力機(jī)制的模型本文暫稱為delf-cda模型。將該機(jī)制引入到密集局部特征提取網(wǎng)絡(luò)?？?，具體如下所示：4.實(shí)驗(yàn)及分析為了作為對(duì)照，本文將初始delf模型與結(jié)合了不同優(yōu)化思想的模型作為對(duì)照，在oxford數(shù)據(jù)集9與paris數(shù)據(jù)集10進(jìn)行相關(guān)實(shí)驗(yàn)，結(jié)果如下：表4.1 兩種不同模型的在不同數(shù)據(jù)集的map表現(xiàn)delfdelf-cdadelf-gcdelf-gc-cdaoxfordparis84.9680.6086.0181.5085.3381.3287.3582.1從實(shí)驗(yàn)結(jié)果不難發(fā)現(xiàn)，delf模型同時(shí)結(jié)合了兩種不同域的視覺注意力后，具有更好的檢索效果，為了進(jìn)一步評(píng)測(cè)模型的復(fù)雜度與參數(shù)量，本文做出相關(guān)

6、實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下所示：表4.2 兩種不同模型的params和flops模型params （m）flops （g）delfdelf-cda12.1312.638.028.67通過(guò)實(shí)驗(yàn)結(jié)果不難看出，引入兩種視覺注意力，并沒(méi)有犧牲模型復(fù)雜度，且模型參數(shù)量并無(wú)太大變化，實(shí)現(xiàn)了以極小的計(jì)算量和參數(shù)代價(jià)提升了模型的檢索能力的目的。5 總結(jié)通過(guò)對(duì)當(dāng)前應(yīng)用于圖像檢索領(lǐng)域的局部特征提取模型進(jìn)行分析，發(fā)現(xiàn)存在一定的優(yōu)化潛力，本文通過(guò)引入多種注意力機(jī)制相結(jié)合的思想，提取出更具有語(yǔ)義化的特征，提升模型在圖像檢索任務(wù)的表達(dá)效果。參考文獻(xiàn)：1. 胡勝達(dá). 基于內(nèi)容的圖像檢索技術(shù)研究d. 北方工業(yè)大學(xué), 2019.2.

7、cai p , jianfeng y e . cbir method based on improved cnn and bilinear model. computer engineering and applications, 2019.3. noh h , araujo a , sim j , et al. large-scale image retrieval with attentive deep local featuresc/ 2017 ieee international conference on computer vision (iccv). ieee, 2017.4. n

8、oh h , araujo a , sim j , et al. image retrieval with deep local features and attention-based keypoints. 2016.5. vinay a , garg h , anand a , et al. aggregation of deep local features using vlad and classification using r2 forest - sciencedirectj. procedia computer science, 2018, 143:998-1006.高云龍（1996） 男 漢族 安徽省宿州市 研究