2 圖像檢索技術(shù)綜述.ppt

1、圖像檢索技術(shù)綜述,本文主要內(nèi)容,圖像檢索技術(shù)的發(fā)展歷史 當(dāng)前主流的圖像檢索技術(shù)介紹 一個圖像搜索引擎的系統(tǒng)模型,20世紀(jì)70年代： TBIR (Text-based Image Retrieval） 基于文本的圖像檢索技術(shù) 沿用了傳統(tǒng)文本檢索技術(shù)，利用文本描述的方式表示圖像的特征。,早期的TBIR： 手工對圖像進(jìn)行注釋，工作量相當(dāng)大，不可避免地會帶來主觀性和不精確性 Internet環(huán)境下的TBIR： 網(wǎng)頁信息的自動采集和標(biāo)引技術(shù) 索引方式：全文索引和關(guān)鍵詞索引 Google，Yahoo和百度等搜索引擎所提供的圖像檢索服務(wù)，它們采用的都是TBIR技術(shù),TBIR的優(yōu)點：使用成熟的文本檢索和搜索引

2、擎技術(shù)，符合人們的檢索習(xí)慣，實現(xiàn)簡單,TBIR的缺點：標(biāo)注的準(zhǔn)確性差，也不能滿足用戶對圖像原始特征信息的檢索,MPEG-7 國際標(biāo)準(zhǔn)化組織ISOIEC 制定的MPEG-7國際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的正式名稱為“多媒體內(nèi)容描述接口”（Multimedia Content Description Interface），為各類多媒體信息提供一種標(biāo)準(zhǔn)化的描述，并將該描述與所描述的內(nèi)容相關(guān)聯(lián)，極大地促進(jìn)了對各種多媒體信息的快速查詢和訪問。 該標(biāo)準(zhǔn)于1998年10月提出，于2001年最終完成并公布。,MPEG-7標(biāo)準(zhǔn)化的范圍包括： 一系列的描述子（描述子是特征的表示法，一個描述子就是定義特征的語法和語義學(xué)）； 一系

3、列的描述結(jié)構(gòu)（詳細(xì)說明成員之間的結(jié)構(gòu)和語義）； 一種詳細(xì)說明描述結(jié)構(gòu)的語言、描述定義語言（DDL）； 一種或多種編碼描述方法。,90年代以來： CBIR (Content-based Image Retrieval） 基于內(nèi)容的圖像檢索 對圖像的視覺內(nèi)容，如圖像的顏色、紋理、形狀等進(jìn)行分析和檢索圖像。 其特點是圖像本身包含的客觀視覺特性，不需要人為干預(yù)和解釋，能夠通過計算機(jī)自動實現(xiàn)對圖像特征的提取和存儲。,CBIR進(jìn)行檢索時利用的是第2層的特征。特征提取是CBIR系統(tǒng)最基礎(chǔ)的部分，在很大程度上決定了CBIR系統(tǒng)的成敗 1,特征提取,1 基于顏色特征的檢索,實踐表明，基于顏色的CBIR系統(tǒng)具有較

4、好的性能，而且實現(xiàn)相對容易最常用的表達(dá)顏色特征的方法是顏色直方圖。 其他常用的顏色特征表示方法還有顏色矩和顏色相關(guān)圖。 2,2 基于紋理特征的檢索,紋理是一種不依賴于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺特征，對圖像灰度變化的特征進(jìn)行量化,與對象的位置、走向、大小、形狀有關(guān),與平均灰度級無關(guān)。 圖像檢索中用到的紋理特征表示方法主要有：Tamura法、小波變換和自回歸紋理模型。 3,3 基于形狀特征的檢索,形狀特征常與目標(biāo)聯(lián)系在一起，需提取目標(biāo)的輪廓或描述目標(biāo)輪廓所包圍的區(qū)域的性質(zhì)。因此形狀比顏色和紋理的語義性更強(qiáng)。 基于邊界的表示：代表方法是傅里葉描述子。其基本思想是用對圖像進(jìn)行傅里葉變換得到的

5、邊界作為形狀描述. 其中一個優(yōu)點就是把二維問題簡化為一維問題。 基于區(qū)域的表示：代表方法是不變矩法。,CBIR系統(tǒng)向用戶提供的查詢方式,示例查詢就是由用戶提交一個或幾個例子圖像，然后由系統(tǒng)檢索出特征與之相似的圖像這里的“相似”，指的是上述的顏色、紋理和形狀等幾個視覺特征上的相似。 草圖查詢：用戶可以簡單地畫一幅草圖，由系統(tǒng)檢索出視覺特征上與之相似的圖像。,目前基于內(nèi)容圖像檢索技術(shù)已經(jīng)取得了不少的成就，一些著名的圖像檢索系統(tǒng)相繼被推出，有IBM的 QBIC 系統(tǒng)，哥倫比亞大學(xué)開發(fā)的 Visual-SEEK，MIT多媒體實驗室開發(fā)的 Photo-Book，U C Berkeley開發(fā)的 Chabo

6、t 系統(tǒng)等。,CBIR利用圖像本身固有的物理信息，能夠?qū)D像的顏色、紋理和形狀等特征進(jìn)行比較，在指紋識別、商標(biāo)檢索和醫(yī)學(xué)圖像檢索等特定領(lǐng)域得到了廣泛應(yīng)用，因為這些領(lǐng)域的圖像在某些特征上容易識別，比如同一個手指的指紋其紋理是一樣的。 然而，Internet上的圖像來自不同的領(lǐng)域，根本無法捕獲其共同點，用基于內(nèi)容的方法對這些圖像進(jìn)行檢索，其效果遠(yuǎn)不能令人滿意,基于語義的圖像檢索,基于語義的圖像檢索的目的，就是要使計算機(jī)檢索圖像的能力達(dá)到人的理解水平。 在圖1所示的圖像內(nèi)容層次模型中，語義位于最高層：第3層。第2層和第3層之間的差別被許多學(xué)者稱為“語義鴻溝” (semantic gap)?？s小語義鴻

7、溝的辦法有2種：由高層語義導(dǎo)出低層特征和由低層特征向高層語義的轉(zhuǎn)換。,在原有檢索系統(tǒng)中加入高級語義到低層特征的轉(zhuǎn)化，可以在不改變現(xiàn)有的圖像特征庫和匹配方式的情況下，實現(xiàn)基于語義的圖像檢索，其基本框圖見圖2. 圖像語義的提前過程是由低層特征向高層語義轉(zhuǎn)化的過程。在獲取語義和有效地表達(dá)語義的基礎(chǔ)上，可以建立語義索引，提取圖像語義的模型見圖3。,基于反饋的圖像檢索,相關(guān)反饋方法的基本思想是在檢索過程中，允許用戶對檢索結(jié)果進(jìn)行評價和標(biāo)記，指出結(jié)果中哪些是用戶希望得到的查詢圖像，哪些是不相關(guān)的，然后將用戶標(biāo)記的相關(guān)信息作為訓(xùn)練樣本反饋給系統(tǒng)進(jìn)行學(xué)習(xí)，指導(dǎo)下一輪檢索，從而使得檢索結(jié)果更符合用戶的需要。,基

8、于知識的圖像檢索,將人工智能領(lǐng)域的基于知識的處理方法引入到圖像處理領(lǐng)域，通過對圖像理解、知識表達(dá)、機(jī)器學(xué)習(xí)，并結(jié)合專家和用戶的先驗知識，建立圖像知識庫實現(xiàn)對圖像數(shù)據(jù)庫的智能檢索。主要涉及到自然語言理解、專家系統(tǒng)、知識表達(dá)和機(jī)器學(xué)習(xí)等人工智能的主要研究領(lǐng)域。,一個圖像搜索引擎的系統(tǒng)模型,SeekImg系統(tǒng)是華中科技大學(xué)圖像識別與人工智能研究所開發(fā)的，一個www上的圖像搜索引擎的原型系統(tǒng)。4 該系統(tǒng)采用Internet搜索技術(shù)、圖像自動識別技術(shù)和基于內(nèi)容的圖像檢索技術(shù)，基于C1ientServer 架構(gòu)和 Microsoft SQL ServerNT 平臺研制開發(fā)。,SeekImg由四部分組成：爬

9、蟲部分、圖像處理、圖像數(shù)據(jù)庫和查詢服務(wù)器。,爬蟲又稱為“www圖片自動搜尋和下載模塊”，主要完成從www網(wǎng)站上尋找圖片并下載到系統(tǒng)的服務(wù)器上；圖像處理部分是SeekImg的核心模塊，主要完成下載的圖像的自動分析和特征信息的自動提??；數(shù)據(jù)庫部分在服務(wù)器端完成SeekImg的圖像信息組織，在客戶端接受用戶的例子圖像，通過基于內(nèi)容的圖像檢索算法，完成對服務(wù)器端圖像信息的檢索，并將結(jié)果輸出給用戶。5,用戶可采用的三種查詢方式： 當(dāng)用戶采用傳統(tǒng)的關(guān)鍵字檢索方式時，利用圖像數(shù)據(jù)庫中的關(guān)鍵字字段進(jìn)行檢索。 當(dāng)用戶提供了示例圖像時，先對示例圖像產(chǎn)生索引向量，采用某種距離度量算法，算出示例圖像和圖像數(shù)據(jù)庫中圖片

10、的索引向量之間的距離，得到距離最近的若干幅圖片。 用戶也可以指定圖像特征，例如，紅色30，黃色50。服務(wù)器將構(gòu)造出索引向量，然后找出距離最近的若干幅圖片。,參考文獻(xiàn),1賀玲, 吳玲達(dá), 蔡益朝 CBIR 中的索引技術(shù)綜述J.小型微型計算機(jī)系統(tǒng).2006，vol.27：141-145 2劉忠偉，章毓晉十種基于顏色特征的圖像檢索算法的比較和分析J信號處理，2OOO，16(1)：79-84 3MA W Y，ZHANG H JBenchmarking of Image Features for Content-based RetrievalCThe 32nd Asilomar Conference on Signals，Systems Computers