基于內(nèi)容的視覺信息檢索譯文

1、基于內(nèi)容的視覺信息檢索Oge Marques , Borko FurhtFlorida Atlantic University, USA本章主要對視覺信息檢索（Visual Information Retrieval，簡寫為 VIR）系統(tǒng)特別是基于內(nèi)容的視覺信息檢索（Content-Based Visual Information Retrieval， 簡寫為CBVIR）系統(tǒng)領(lǐng)域作了一個綜述。本章闡述了該領(lǐng)域的一些主要概念以及系統(tǒng)設(shè)計時所面臨的主要問題，并回顧評價了當前已有的一些系統(tǒng)原型以及商業(yè)上的解決方案，同時指出了該領(lǐng)域中比較有前途的研究方向。緒論近年來，數(shù)字化格式的視聽信息量成指數(shù)級增長

2、，每天都會有成G字節(jié)級的新的圖像、聲音和視頻產(chǎn)生和存儲，這些構(gòu)成了一個巨大的、分布式的、未組織的多媒體信息庫，其中的大部分信息可以通過互聯(lián)網(wǎng)訪問到。多媒體信息的數(shù)字化、壓縮和存儲已經(jīng)變得很普及、很簡單，而且成本也大大降低了，這些都可以通過現(xiàn)存的大量的硬件和軟件來完成，但是如果以后要對這些信息進行高效率的檢索則需要進行大量的額外工作。對多媒體庫中多媒體數(shù)據(jù)的檢索主要有三種方法：1、自由瀏覽（Free browsing）：用戶順序瀏覽圖像、聲音和視頻文件集，當發(fā)現(xiàn)所想要的信息時便停止瀏覽。2、基于文本的檢索（Text-based retrieval）：在編目階段（cataloguing stage

3、）給視聽文件加上文本信息（元數(shù)據(jù)），在檢索階段，這些附加的文本信息被用來引導常規(guī)的基于文本的搜索引擎查找所需要的數(shù)據(jù)。3、基于內(nèi)容的檢索（Content-based retrieval）：用戶搜索多媒體庫中有關(guān)圖像、聲音或者視頻片斷的實際內(nèi)容的信息?；趦?nèi)容的搜索引擎將這些信息按照某種方式進行轉(zhuǎn)換以便對數(shù)據(jù)庫進行查詢，檢索出能盡量滿足用戶要求的結(jié)果。 前兩種方法都有嚴重的局限性和可擴展性問題。自由瀏覽只適用于臨時用戶使用，而不適用于那些經(jīng)常要獲取具體的多媒體信息以進行專業(yè)應用的用戶。這是一個冗長、效率低下而且耗時的過程，對大型的數(shù)據(jù)庫而言，這是完全不實用的。 基于文本的檢索在編目階段存在著兩個

4、重大的問題： a）需要花費相當多的時間和精力手工對每一幅獨立的圖像或者視頻片斷進行標注； b）對內(nèi)容進行標注時由于人的主觀性而帶來了不精確性。這兩個問題隨著多媒體信息的搜集量的增大而更加嚴重，很可能會使得后期的檢索出現(xiàn)錯誤?；谖谋镜臋z索需要前期對多媒體數(shù)據(jù)進行標注，這樣導致它的效率低下且具有很大的局限性，為了解決這些問題，來自于圖像處理和計算機視覺方向的研究人員開始研究更可行的多媒體信息（特別是圖像和視頻片斷）檢索方法基于內(nèi)容的檢索方法，即圖像和視頻將根據(jù)它們的視覺內(nèi)容(如：顏色、紋理、對象的形狀和運動，等等)建立索引，而不是手工用關(guān)鍵字進行標注?；趦?nèi)容的視覺信息檢索（CBVIR）的研究始

5、于上個世紀九十年代早期，而且很有可能在二十一世紀的最初十年里持續(xù)下去。目前，許多大學和大公司的研究小組都在這個領(lǐng)域積極地進行研究，許多系統(tǒng)原型和商業(yè)產(chǎn)品也已經(jīng)研制成功，但是目前的解決方案與視覺信息檢索的最終目標，即使用戶以快速、高效、語義上有意義的（semantically meaningful）、友好的且位置相對獨立（location-independent）的方式從海量的視覺信息中檢索出圖像或者視頻片斷，仍有很大的差距。 本章下面的內(nèi)容組織如下：在第二節(jié)我們將回顧CBVIR系統(tǒng)的基本原理；第三節(jié)將討論設(shè)計一個CBVIR系統(tǒng)的主要問題；第四節(jié)概述現(xiàn)存的（包括商業(yè)性的和研究性的在內(nèi)）一些CBV

6、IR系統(tǒng)；第五節(jié)敘述在這一領(lǐng)域出現(xiàn)的的一些open研究問題（open research problems）；第六節(jié)描述了作者們開發(fā)的一個CBVIR系統(tǒng)MUSE的主要特征；最后，第七節(jié)是對本章的總結(jié)評論。CBVIR系統(tǒng)基本原理預備知識視覺信息檢索（VIR）是計算機科學與工程學科中一個相對比較新的研究領(lǐng)域。與傳統(tǒng)的信息檢索類似，VIR系統(tǒng)的主要目標是檢索出所有的與用戶的查詢相關(guān)的圖像（或圖像序列），同時在檢索的結(jié)果中應盡可能的去掉不相關(guān)的圖像。對信息的檢索與對數(shù)據(jù)的檢索的著重點恰恰相反。視覺信息檢索系統(tǒng)必須能夠解釋文檔（圖像）的內(nèi)容并將它們按照與用戶查詢的相關(guān)程度進行排列。這個解釋過程包括從文檔（

7、圖像）里抽?。ㄕZ義）信息并用這些信息與用戶要求進行匹配。視覺信息檢索研究的發(fā)展得到了多個研究領(lǐng)域的支持（如圖1所示），尤其是：基于文本的信息檢索，圖像處理和計算機視覺，模式識別，多媒體數(shù)據(jù)庫組織，多維索引（multidimensional indexing），psychological modeling of user behavior，人機交互，等等。圖1 視覺信息檢索結(jié)合了許多研究方向VIR系統(tǒng)根據(jù)用于查詢檢索圖像或視頻文件的屬性的不同可以大體上可以分為兩代(Del Bimbo ,1999)： 第一代VIR系統(tǒng)：使用文本進行查詢，例如查詢“紅色的法拉利”或者“凡高的作品”。它們非常依賴于元

8、數(shù)據(jù)（字符串，關(guān)鍵字，或者完整的腳本full scripts） 第二代（CB）VIR系統(tǒng)：支持基于內(nèi)容的查詢，對圖像而言，其中內(nèi)容的概念包含：感覺屬性（例如：顏色、形狀、紋理），語義上的基本要素（例如：對象、角色、場景），還有主觀的屬性（例如：印象、情緒和與感覺屬性相關(guān)的意圖）。許多的第二代系統(tǒng)都將基于內(nèi)容的技術(shù)作為一個補充，而不是選擇代替基于文本的方法。一個典型CBVIR系統(tǒng)的體系結(jié)構(gòu)圖二顯示了一般CBVIR系統(tǒng)的結(jié)構(gòu)圖，系統(tǒng)的主要組成部分有： 用戶界面（User interface）:友好的圖形化用戶界面，用于向數(shù)據(jù)庫提出查詢，瀏覽結(jié)果，查看選中的圖像或者視頻片斷； 查詢/搜索引擎（Que

9、ry / search engine）:負責根據(jù)用戶提交的參數(shù)在數(shù)據(jù)庫中進行搜索； 數(shù)字圖像和視頻存儲器（Digital image and video archive）:數(shù)字化、壓縮的圖像和視頻片斷的存儲庫； 視覺信息摘要（Visual summaries）:圖像和視頻內(nèi)容的簡單表示，例如圖像的索引圖像或視頻的關(guān)鍵幀； 索引（Indexes）:圖像或視頻片斷的指針； 數(shù)字化和壓縮（Digitization and compression）:將圖像和視頻片斷轉(zhuǎn)化為壓縮的數(shù)字化格式的硬件和軟件； 編目（Cataloguing）:從原始圖像和視頻中抽取特征建立相應的索引。圖2：CBVIR系統(tǒng)結(jié)構(gòu)圖

10、由于大量現(xiàn)成的硬件和軟件的存在，數(shù)字化和壓縮過程已經(jīng)變得相當簡單。許多情況下，圖像和視頻的生成和存儲都直接使用壓縮的數(shù)字化格式。編目階段的工作主要是從圖像和視頻片段的視覺內(nèi)容中抽取特征。特別的，在處理視頻的情況下，原始的視頻片斷被分成若干塊，這些塊被成為場景（scenes），它們還可以被進一步細分為鏡頭（shots）。每一個有意義的視頻單位都被編上索引，同時系統(tǒng)存儲一個相對應的視覺信息摘要，代表性的為一個關(guān)鍵幀（keyframe）。在處理圖像的情況下，相對應的過程為對象的分割過程，該過程已在少數(shù)系統(tǒng)中得到實現(xiàn)。在兩種情況下，元數(shù)據(jù)都是在編目階段中被加入到視覺內(nèi)容中?；谖谋镜囊曈X信息檢索系統(tǒng)必

11、須要用手工給圖像和視頻文件添加元語言，而CBVIR系統(tǒng)則最低限度或者根本不使用元語言。數(shù)字化、壓縮和編目一般而言都是離線完成的。一旦這三個步驟完成，數(shù)據(jù)庫中不但包含了這些圖像和視頻文件本身，還可能包含這些文件或片段的簡化表示以及用作相應圖像或視頻的指針的索引集。用戶與CBVIR系統(tǒng)的在線交互如圖2的上半部分所示。用戶通過圖形用戶界面（GUI）提出查詢，系統(tǒng)根據(jù)用戶所提交的查詢由搜索引擎查找與所需圖像或視頻文件相對應的索引，最終的結(jié)果將通過一種易于瀏覽查看的方式返回給用戶，同時還應當可以根據(jù)部分返回結(jié)果來改進查詢。用戶觀點（Perspective）用戶接口是CBVIR系統(tǒng)的一個極為重要的組成部分

12、。理想的用戶接口應當是簡單的、容易的、友好的、功能的（functional）并且是可定制的。它應當以一種清楚直覺的方式提供用戶瀏覽、查看、搜索和檢索的能力。這種集成是非常重要的，因為用戶不會一直只是由查詢搜索引擎得到最佳匹配，有時用戶需要檢查最初少數(shù)的最佳匹配，瀏覽它們，查看它們的內(nèi)容，改進查詢，最終檢索到所要的圖像或視頻片斷。大多數(shù)VIR系統(tǒng)允許使用如下所述的多種不同的方式中的一種或多種對視覺信息數(shù)據(jù)庫進行搜索： 交互式瀏覽（Interactive browsing）:方便那些對要搜索的圖像或視頻沒什么了解的用戶使用。聚類技術(shù)可以用來將視覺上相似的圖像組織成組，同時可以最小化顯示給用戶的圖像

13、中非用戶要求的圖像數(shù)量。 Navigation with customized categories：(leisure users often find it very convenient to navigate through a subject hierarchy to get to the target subject and then browse or search that limited subset of images.)使用戶方便地對主題層次進行導航以找到目標主題，然后瀏覽或搜索這個圖像的子集。 使用X進行查詢（Query by X）其中X可能為： 一幅實例圖像（an im

14、age example）：許多系統(tǒng)允許用戶指定一幅圖像作為實例并且搜索與它最相似的圖像，按照相似度評分的遞減順序進行排列； 一幅草圖（a visual sketch）：一些系統(tǒng)提供用戶一系列的工具，用戶可以將頭腦中的圖像或視頻片斷用草圖畫出來； 視覺特征的詳細說明（specification of visual features）：視覺特征的詳細說明都直接給出，這樣可能會吸引到更多有機數(shù)的用戶； 一個關(guān)鍵字或者完整的文本（a keyword or complete text）：第一代VIR系統(tǒng)依賴于用戶輸入的關(guān)鍵字，用戶查找那些事先用關(guān)鍵字標注過的視覺信息。我們希望查詢操作應該盡可能的簡單、直

15、觀而且盡量接近與人對相似性的感知。用戶會更喜歡系統(tǒng)提供像“顯示更多與此圖像相似的圖像”這樣的功能選項，而不是提供一個復雜的交互工具來編輯圖像的顏色直方圖并執(zhí)行新的搜索。后一種方式可能會有利于有經(jīng)驗且有圖像處理方面知識的用戶，但它并不適合一般用戶所以具有一定的局限性。我們認為，理想的CBVIR系統(tǒng)查詢應當對用戶隱藏復雜的查詢處理技術(shù)內(nèi)幕。對視覺媒體的搜索應當像“當我看到它時，我便知道它”那樣具有不精確性（A search through visual media should be as imprecise as “I know it when I see it.”）。設(shè)計者的觀點設(shè)計一個CBV

16、IR系統(tǒng)的一些主要方面有：特征的抽取和表示，降低維數(shù)處理（dimension reduction）和多維索引的建立，圖像語義的抽取，以及用戶相關(guān)反饋機制的設(shè)計。下面的章節(jié)將會對這些要點進行更為詳細的研究。特征的抽取和表示CBVIR系統(tǒng)應該能夠自動地抽取用于描述圖像或視頻內(nèi)容的視覺特征。這些特征包括顏色、紋理、大小、形狀和運動信息。在特定的上下文中，特征的抽取過程可以被擴展，以發(fā)現(xiàn)其它專門的屬性，例如：人臉或者對象。由于感知的主觀性，已知的特征并不存在著最好的表示方法。舉個例子說，顏色信息可以用不同的顏色模型（如：RGB、 HSV、 YcbCr）和數(shù)學結(jié)構(gòu)（如顏色直方圖、顏色矩color mom

17、ents、color sets或者顏色相關(guān)曲線圖color correlograms）來表示。與此類似的，紋理可以使用共生矩陣、Tamura紋理特征或者小波（Wavelets）來表示。降低維數(shù)處理(Dimension Reduction) 和多維索引的建立抽取出的特征聚合成某種合適的數(shù)據(jù)結(jié)構(gòu)或者數(shù)學結(jié)構(gòu)（例如：標準化特征向量），另外選擇合適的度量標準（例如：歐幾里德距離）來度量一幅圖像與任何其它圖像之間的相似度。在這個階段，主要的問題有：特征向量的維數(shù)比較高；歐幾里德距離度量具有局限性，雖然它在數(shù)學方面是比較完美的，但是它不能有效地模擬人的視覺感知。高維索引的解決方案包括：降低特征向量的維數(shù)以

18、及使用高效的多維索引技術(shù)。降低維數(shù)一般而言或者用Karhunen-Loeve轉(zhuǎn)換或者使用聚類技術(shù)。多維索引技術(shù)的實例包括使用專門的數(shù)據(jù)結(jié)構(gòu)（例如：k-d樹、R-樹和它們的變形）。為了解決歐幾里德相似度量的局限性，研究人員提出了使用聚類和神經(jīng)網(wǎng)絡(luò)的方法。圖像語義的抽取人對視覺內(nèi)容的感知很大程度上依賴于場景的高層語義信息。如今的計算機視覺技術(shù)只是低層次的（單個象素級的）研究?；诘蛯犹卣鞯腃BVIR系統(tǒng)只能提供如下的一些查詢：查詢所有的含有30的紅色、10的橙色以及60的白色象素點的圖像，其中橙色的RGB定義為：R255，G130，B0。查詢所有的圖像，特征為藍藍的天空下一片綠色的草地。查詢所有的

19、圖像，它們是某特定圖像的旋轉(zhuǎn)樣式。在通常情況下，用戶都試圖尋找所需圖像的高層語義特征，例如：“一個漂亮的玫瑰花園”，“一個擊球手打中一個棒球”或者“一輛貴重的賽車”。在低層特征與高層語義之間并不存在一個簡單直接的映射。這兩者之間的距離通常被稱作“語義鴻溝”。如今有兩種方法可以用來最大程度的縮小語義鴻溝。第一種是給圖像加入盡可能多的元語言，這種方法早已被討論過而且被認為是很不現(xiàn)實的；第二種是結(jié)合學習算法使用用戶相關(guān)反饋技術(shù)進行大量的用戶交互，使得系統(tǒng)能夠?qū)W習理解查詢操作的語義上下文。相關(guān)反饋早期在CBVIR領(lǐng)域努力要實現(xiàn)的主要目標是開發(fā)全自動、開放循環(huán)（open-loop）的系統(tǒng)。研究者們希望當

20、前的計算機視覺和圖像處理技術(shù)能足夠應付圖像的查詢和檢索。這些系統(tǒng)的成功率也鼓舞了研究者們開始嘗試另一種不同的途徑，即強調(diào)交互性以及比較明確地將用戶考慮到處理循環(huán)中。這種改變的例子可以從MIT多媒體實驗室研究人員在該領(lǐng)域的研究工作中看出，他們從對“自動的” Photobook的研究轉(zhuǎn)入到對“交互式的”FourEyes的研究?！跋嚓P(guān)反饋”主要指的是這樣的一個過程：系統(tǒng)從用戶那里搜集關(guān)于特征、圖像、圖像區(qū)域或者局部的返回結(jié)果的相關(guān)性信息。這種反饋可以用許多種方法來實現(xiàn)，每一種系統(tǒng)都可以按某種特定的方式使用反饋來提高系統(tǒng)的性能。相關(guān)反饋的作用在于將查詢向相關(guān)圖像的方向“轉(zhuǎn)移”，避開不相關(guān)的圖像(Gev

21、ers ，Smeulders ,1999)。相關(guān)反饋機制已經(jīng)在當前的CBVIR系統(tǒng)中得到應用，例如：MIT的FourEyes系統(tǒng)，UIUC的MARS系統(tǒng)和NEC的PicHunter系統(tǒng)，等等。在支持相關(guān)反饋的CBVIR系統(tǒng)中，一個典型的搜索包括查詢以及后續(xù)重復進行的用戶反饋。相關(guān)反饋的使用使得用戶與系統(tǒng)的交互更加簡單，更加自然。通過選擇圖像、圖像區(qū)域或者圖像特征，用戶可以用這樣那樣的方式告訴系統(tǒng)他的要求，而沒有使用草圖或者關(guān)鍵字等方式來描述用戶要求時系統(tǒng)所承受的負擔。如何使用用戶交互得到的信息以及如何提煉CBVIR系統(tǒng)要返回的結(jié)果有許多種方法。有一種途徑著重于查詢階段，試圖使用相關(guān)反饋得到的信

22、息來改進查詢；另一種選擇是使用相關(guān)反饋來修改特征的權(quán)重，例如MARS中使用的方案；第三種思路是使用相關(guān)反饋來構(gòu)造新的特征；第四種可能性是使用相關(guān)反饋信息來更新數(shù)據(jù)庫中的每幅圖像就是目標圖像的概率，也就是通過用戶與系統(tǒng)進行交互來預測目標圖像。后一種方案已經(jīng)在PicHunter系統(tǒng)中得到采用。系統(tǒng)設(shè)計要點CBVIR系統(tǒng)的設(shè)計過程中出現(xiàn)了很多問題和挑戰(zhàn)，其中的一些已經(jīng)得到了總結(jié)(Marques ，F(xiàn)urht ,1999)?；谖覀冮_發(fā)MUSE系統(tǒng)的經(jīng)驗，我們總結(jié)了CBVIR系統(tǒng)設(shè)計者在開始實現(xiàn)CBVIR原型之前所必須要解決的一系列的問題。系統(tǒng)將要使用哪些特征以及如何引入？特征抽取階段是這個難題中相當

23、重要的一塊。好的特征抽取算法單方面并不能保證CBVIR系統(tǒng)完全成功。但是，一個系統(tǒng)中如果關(guān)于圖像的低層內(nèi)容的知識不足以建立圖像之間視覺相似性的概念，那么該系統(tǒng)也不會表現(xiàn)出很好的性能。（However, no system will exhibit a good performance if its knowledge about the images low-level contents is less than the minimum required to establish the notion of visual similarity between images.）大多數(shù)系統(tǒng)會抽取顏

24、色和紋理信息進行編碼，有的系統(tǒng)也會抽取頻率相關(guān)的信息，例如使用數(shù)學變換。特殊的應用往往需要專門的特征和算法，例如人臉識別。抽取出的特征信息往往被組織成特征向量的形式，圖像之間的相似度由距離度量標準來表示，距離越大，相似度越小。系統(tǒng)如何知道使用可哪些特征以及如何給某個特殊的查詢優(yōu)先權(quán)？如果系統(tǒng)工作在一個無約束的圖像庫下，那么找出哪些特征應當被考慮到以及根據(jù)這些特征的重要程度來為每個特征分配特定的權(quán)重將不是一件很簡單的事。在某一個查詢中很重要的到了下一個查詢中可能會毫不相關(guān)。處理這個問題由兩種方法：（a）在提交查詢前讓用戶明確指出哪些特征是重要的；（b）基于用戶交互和相關(guān)反饋，使用機器學習技術(shù)來推

25、斷每個特征的重要性。QBIC使用了前一種方法，MARS則使用了后一種方法。選擇什么樣的相似度量方法？最廣泛采用的相似性模型是度量，假定人的相似性感知可以被近似的通過度量特征向量之間的距離（代表性的使用歐幾里德距離）估計出。非歐幾里德的度量方法尚未進行深入研究(Rui, Huang, Chang ,1999)，更好的相似模型正在研究中。降維和索引過程應該使用什么技術(shù)？Karhunen-Loeve變換（KLT）是對特征向量進行降維處理的較為完善的技術(shù)，同時研究人員正在尋找一種最佳的多維索引技術(shù)，近些年一種新的基于樹的方法被提出來。在Rui、 Huang 和 Chang (Rui,，Huang， C

26、hang ，1999)所作的調(diào)查中包含了許多特殊的算法。系統(tǒng)應該支持什么樣的查詢？決定選用什么樣的查詢方式應該考慮到用戶的需要以及實現(xiàn)每種模式的復雜度的折衷。例如支持基于文本的搜索，需要花費額外的精力對每幅進入數(shù)據(jù)庫的圖像進行注釋，同時支持基于實例的查詢（QBE）操作需要更復雜的圖像相似度度量。一些研究者們提出根據(jù)類別的導航與基于內(nèi)容的檢索之間可以著到一個有意義的平衡。當用戶提交了一個視覺信息查詢時，圖像的子集已經(jīng)被限定到以個特定的類別中去，這樣作可以提高速度（需要考慮的圖像變少了）而且還可以加入關(guān)于查詢的語義信息（層次樹中的類別和它的父類會告知用戶關(guān)注的主題）。如何評價結(jié)果的質(zhì)量？Bench

27、marking視覺信息檢索解決方案是an open problem，研究人員仍然在爭論如何為這個目的找出一套圖像、一個查詢集以及評價標準。用標準化的方法比較兩種解決方案之間的差別仍然是不可行的，每一個系統(tǒng)都具有它本身的數(shù)量上的和質(zhì)量上的度量標準。 .圖像文件應該存放到哪里？圖像文件實際存放位置的不同（在本地硬盤上還是在互聯(lián)網(wǎng)上）會給系統(tǒng)的設(shè)計帶來很大的差異。當圖像文件不是存放在本地時，設(shè)計者應該考慮到眾多的問題，我們指出其中的一些如下：需要在本地存儲遠程數(shù)據(jù)庫中圖像的索引圖或者鏡像副本；實際圖象可能會變得不可用（臨時地或永久地）；網(wǎng)絡(luò)擁塞可能會帶來性能的下降；根據(jù)圖像庫的變動使用不同的策略更新

28、索引。用戶怎樣提出相關(guān)反饋以及與之對應系統(tǒng)應該完成什么工作？CBVIR系統(tǒng)要支持用戶相關(guān)反饋存在著許多重要問題。第一個就是于用戶的接口問題以及系統(tǒng)要求用戶如何與之交互，如何使用例子來表達他們對圖形的看法，使用哪些特征來度量相似度以及部分的返回結(jié)果。 一些系統(tǒng)只需要最低限度的用戶操作（例如用戶評價結(jié)果時好的、壞的或者都不對），其它的系統(tǒng)需要用戶對結(jié)果的質(zhì)量給出一個具體的數(shù)值。第二個問題關(guān)于復雜的數(shù)學計算，主要是由下面的情況所帶來：用戶相關(guān)反饋信息以及根據(jù)它來調(diào)整查詢，計算每個特征的重要性，計算每幅圖像是目標圖像的概率，等等。 如果需要的話，系統(tǒng)應該具有哪些學習能力？CBVIR系統(tǒng)有許多的理由使用

29、無人管理的學習算法：學習特征向量如何于圖像的自然組相關(guān)聯(lián)，如何標注這些組；找出要將圖像歸為特定的類中時有用的特征；根據(jù)一系列的先驗概率以及計算對每幅圖像是所需要的圖像的概率進行修正，同時還要考慮到相關(guān)反饋的信息。在CBVIR系統(tǒng)中貝葉斯學習和聚類技術(shù)是最常用的學習技術(shù)之一。系統(tǒng)中還要包括哪些支持工具？一系列的支持工具的引入可以增強CBVIR系統(tǒng)的性能。一組基礎(chǔ)的圖像處理函數(shù)即使這種工具的一個例子，這些函數(shù)允許基于實例查詢系統(tǒng)的用戶在提交查詢前對樣本圖象進行簡單的編輯（如：裁剪等等）。CBVIR系統(tǒng)實例近年來，不管在商業(yè)上還是在研究領(lǐng)域，都出現(xiàn)了大量的CBVIR系統(tǒng)。下面會對現(xiàn)存的一些CBVIR

30、系統(tǒng)作一個簡要的介紹，具體細節(jié)可以從文中所給出的互聯(lián)網(wǎng)站點和文獻目錄中獲取。QBICQBIC (Query By Image Content 基于圖像內(nèi)容查詢) 系統(tǒng)是由國際商用機器公司（IBM）研制成功的。該系統(tǒng)的設(shè)計框架和采用的技術(shù)對后來的圖像系統(tǒng)產(chǎn)生了深刻的影響。QBIC系統(tǒng)基于例子圖像的查詢方式，也支持通過由用戶構(gòu)造的草圖、輪廓和選定的色彩和紋理樣式的查找方式。在QBIC的最新版系統(tǒng)中，基于文本的關(guān)鍵字查找方式與基于內(nèi)容的相似性查找方式相結(jié)合，共同完成查找功能。QBIC演示程序可以在如下的網(wǎng)址中找到：。PhotobookPhotobook是美國麻省理工大學的多媒體實驗室所開發(fā)的用于圖像

31、查詢和瀏覽的交互式工具。它由三個子系統(tǒng)組成，分別負責提取形狀、紋理、人臉特征。這樣一來，用戶可以分別在這三個子系統(tǒng)中根據(jù)相應的特征來進行查找。另外的關(guān)于Photobook的資料可以在下面的網(wǎng)址中找到:。FourEyesFourEyes相當于是Photobook的一個改良版本，它包括了相關(guān)反饋機制。通過給出一組正的和負的例子，系統(tǒng)決定使用哪個模型或者幾個模型的組合并學習哪個組合能最好的解決特殊類別的問題。當系統(tǒng)遇到一個與它以前所解決的問題類似的新問題時，F(xiàn)ourEyes能在比第一次更快的時間內(nèi)解決問題。更多的關(guān)于系統(tǒng)的細節(jié)可以從如下的網(wǎng)址獲?。?NetraNetra系統(tǒng)是在UCSB大學的Alex

32、andria數(shù)字化圖書館（Alexandria Digital Library 縮寫為ADL ）項目中。它從分割后的圖像區(qū)域中提取顏色、形狀、紋理和空間位置信息，并依靠這些信息從數(shù)據(jù)庫中查找相似的區(qū)域。在線演示網(wǎng)址為：。Netra的新版本Netra2著重于組最后處理的顏色圖像區(qū)域和本地的顏色特征，演示網(wǎng)址為：.。MARSMARS (Multimedia Analysis and Retrieval System，多媒體分析和檢索系統(tǒng))是伊利諾斯大學Urbana-Champaign分校開發(fā)的。MARS系統(tǒng)的重點不在于找到所謂“最好”的圖像特征，而在于根據(jù)實際的應用環(huán)境和用戶需要在檢索框架中動態(tài)地

33、組合調(diào)整各種不同的圖像特征。MARS在圖像檢索領(lǐng)域正式提出了相關(guān)反饋的體系結(jié)構(gòu)。相關(guān)反饋的技術(shù)在各種層次上融合到檢索的過程中，包括查詢向量的優(yōu)化，相似度算法的自動選擇，以及圖像特征權(quán)重的調(diào)整。MARS系統(tǒng)的更多信息可以在下面的網(wǎng)址找到：。PicToSeekPicToSeek是由阿姆斯特但大學開發(fā)的一個圖像搜索引擎。PicToSeek使用autonomous Web crawlers從互聯(lián)網(wǎng)搜集圖像。然后系統(tǒng)對搜集的圖像自動地進行編目并按照預先定義的類別進行分類，系統(tǒng)還抽取這些圖像的相關(guān)特征。用戶可以使用多種方法對PicToSeek系統(tǒng)進行查詢，可以使用圖像特征、實例圖像或者簡單地瀏覽預計算的圖

34、像目錄。PicToSeek的演示版可在如下的網(wǎng)址找到： isis/zomax/ 。VisualSEEkVisualSEEk是由哥倫比亞大學開發(fā)的一系列CBVIR系統(tǒng)中的一部分。它同時支持基于視覺特征的查詢和基于空間關(guān)系的查詢。它的在線演示程序可以在下面的網(wǎng)址中找到：k/ 。PicHunterPicHunter是由NEC新澤西研究所開發(fā)的一個CBVIR系統(tǒng)。PicHunter使用了相關(guān)反饋和貝葉斯準則來預測目標圖像。ImageRoverImageRover是由波士頓大學開發(fā)的一個CBVIR系統(tǒng)。這是一個基于Web的工具，它通過一系列的自動化儀器搜集關(guān)于HTML頁面的信息。這些儀器使用向量的格式收

35、集、處理和存儲圖像元數(shù)據(jù)，用戶對系統(tǒng)進行查詢時搜索這些向量格式的元數(shù)據(jù)，然后系統(tǒng)以索引圖像的形式向用戶返回相關(guān)反饋的結(jié)果，用戶選擇與他們搜索要求相關(guān)的圖像，這樣便可以利用系統(tǒng)的基于內(nèi)容的搜索能力直到用戶找到所需的圖像。更多的細節(jié)內(nèi)容可以從如下的網(wǎng)址找到：。WebSEEkWebSEEk在通過Web robots對 HTML進行收集處理上與ImageRover類似，雖然它也有視頻搜索和收集的優(yōu)點。它是由哥倫比亞大學開發(fā)的，相應演示程序的站點為：。VirageVirage是由Virage有限公司開發(fā)的商業(yè)化的基于內(nèi)容的圖像檢索引擎。Virage支持基于顏色、顏色布局、紋理和結(jié)構(gòu)特征（對象邊緣）的查詢

36、功能，而且還支持以上四種基本查詢的任意組合的查詢方式。用戶還可以根據(jù)需要來調(diào)整基本圖像特征的權(quán)重。更多的關(guān)于Virage產(chǎn)品的信息可以在如下的網(wǎng)址找到：。Visual RetrievalWareVisual RetrievalWare是由Excalibur Technologies Corp開發(fā)的CBVIR系統(tǒng)。與Virage類似，它支持多種視覺查詢特征的組合，這些特征的權(quán)重由用戶設(shè)定。在2000年底，Excalibur改名為Convera.。Convera公司的產(chǎn)品信息可以在如下網(wǎng)址找到：。AMOREAmore (Advanced Multimedia Oriented Retrieval

37、Engine，高級面向多媒體檢索引擎)是由NEC USA的一個分支機構(gòu)C & C Research Laboratories (CCRL)開發(fā)的具有圖像檢索能力的一個搜索引擎。它并不能夠通過自動儀器對整個Web進行搜索，但是它有一個自動儀器（他們叫它harvest gatherer）用來對來自用戶給定的URL的圖像進行scour和分類。系統(tǒng)使用Harvest Information Discovery and Access System進行文本編目（indexing）和搜索，使用面向內(nèi)容的圖象檢索（COIR）對圖像進行標引（index）并對這些圖像進行檢索。COIR使用基于區(qū)域的方式，

38、使用顏色、紋理和位置進行indexing。對用戶而言，除了URL地址，所有的事都是自動完成。關(guān)于AMORE的更多信息可以在如下網(wǎng)址找到：BlobworldBlobworld是由U.C. Berkeley開發(fā)的CBVIR系統(tǒng)。程序自動地將圖像分割為不同的區(qū)域，這些區(qū)域大體上與對象或?qū)ο蟮囊徊糠窒鄬?，系統(tǒng)支持用戶基于照片或圖像所包含的對象的查詢。他們在查找特定對象方面的做法是有效的，不足之處是，正如大多數(shù)的系統(tǒng)一樣，改系統(tǒng)只關(guān)注于“低層”特征而很少關(guān)心這些特征的空間組織關(guān)系。Blobworld系統(tǒng)同時支持基于文本和基于內(nèi)容的搜索。該系統(tǒng)在對用戶相關(guān)反饋的支持方面也是很有效的，因為它展示了提交圖像

39、的內(nèi)部表示以及查詢的結(jié)果。因此，與其它的一些考慮顏色直方圖相似度量的系統(tǒng)有所不同的是，該系統(tǒng)能夠幫助用戶理解為什么他們得到了某個結(jié)果。其他的公司和產(chǎn)品在過去的一些年里許多公司進入了視覺搜索解決方案的這片新開辟的市場。這些公司包括：Ereo ()， Cobion ()， LookThatU，和 ImageLock ()。OPEN研究問題以及未來發(fā)展方向視覺信息檢索是一個比較活躍的研究領(lǐng)域，許多open問題仍然處于研究階段，其中的一些最突出的技術(shù)挑戰(zhàn)和研究機遇包括：用戶與系統(tǒng)之間更好的協(xié)作大家公認CBVIR系統(tǒng)如果在處理循環(huán)中允許用戶的介入且允許他們提供相關(guān)反饋信息，則系統(tǒng)將只會達到可接受的性能。

40、研究人員仍在研究用戶如何給出相關(guān)反饋的信息以及系統(tǒng)如何進行相應的處理的細節(jié)。最小化圖像低層特征與人對圖象內(nèi)容的解釋之間的語義鴻溝視覺信息查詢的高層的概念與使用計算機視覺技術(shù)從圖像中抽取的低層的特征之間的區(qū)別用文字表述為“語義鴻溝”。最小化這個語義鴻溝的最有希望的方法是結(jié)合聯(lián)機的相關(guān)反饋信息使用脫機學習算法。使系統(tǒng)面向Web基于Web的搜索時使用的基于文本的搜索引擎還沒有相應的能力完成對視覺信息的搜索。元數(shù)據(jù)的表示還沒有一個標準，縮短系統(tǒng)的最大可承受的響應時間，是目前需要克服的兩大困難。 高維索引目前，對高效的支持非歐幾里德的相似度度量方法的高維索引技術(shù)以及相似性函數(shù)功能運行時它們自適應進行改動

41、的研究很活躍，但還沒有找到最終的解決方案。性能評價的標準化以及標準化基準套件和實驗臺的創(chuàng)造人們一致公認需要一系列標準化的的圖像、查詢和性能度量方法來對不同的解決方案之間進行比較。國際模式識別聯(lián)合會（IAPR）的一個技術(shù)委員會（TC）正試圖解決這個問題，到目前位置還未有一個最終的結(jié)果。人對圖像內(nèi)容的感知對人的視覺感知的心理物理特征(psychophysical aspects of human visual perception)的深入研究能夠使得我們對人如何進行視覺相似性判斷有進一步的了解，同時也會幫助提高CBVIR系統(tǒng)的性能help improve the performance of CB

42、VIR systems without precluding the inclusion of the human user in the loop。 訪問圖像視頻數(shù)據(jù)庫的新的visual interfaces查詢、瀏覽以及視覺信息圖像庫的定位方法都需要進行改進，尤其是視頻信息引入后。計算機視覺與其他學科和媒體相集合圖像數(shù)據(jù)庫系統(tǒng)的成功離不開計算機視覺領(lǐng)域、數(shù)據(jù)庫領(lǐng)域以及其它一些研究領(lǐng)域研究人員的通力協(xié)作。MUSE：具有相關(guān)反饋機制的基于內(nèi)容的圖象檢索系統(tǒng)相關(guān)背景過去的兩年中作者一直在研究MUSE，這是一個具有相關(guān)反饋機制和學習能力的CBVIR系統(tǒng)。這個項目的目的是建立一個從大型的庫中檢索視覺

43、信息的智能化系統(tǒng)。其中的一些目標包括：圖3：MUSE：結(jié)構(gòu)示意圖 簡潔、簡單、友好的用戶接口 從用戶交互學習的能力 用戶透明度：對用戶隱藏檢索引擎復雜的低層細節(jié) 對其他媒體種類的可擴展性，尤其是視頻系統(tǒng)綜述圖3顯示了MUSE的主要組成部分。部分的系統(tǒng)操作是脫機狀態(tài)下完成的，還有一些操作是聯(lián)機執(zhí)行的。脫機階段的工作包括：特征抽取、圖像的表示以及庫中每幅圖像的組織。聯(lián)機交互由用戶通過GUI命令執(zhí)行。系統(tǒng)抽取用戶選出的相關(guān)圖像的特征并與所有其它的圖像特征相比較。根據(jù)相似度比較的結(jié)果來更新圖像是目標圖像的概率并進行排列。根據(jù)這些，系統(tǒng)存儲學習信息并決定下一步將顯示哪一張候選圖像。經(jīng)過一系列的循環(huán)重復，

44、目標圖像將會在屏幕上顯示出來。用戶的觀點MUSE的用戶接口比較簡單、簡潔，而且還很直觀（如圖4）。它包括一個菜單，兩個工具條和一個工作區(qū)，工作區(qū)被分為兩個部分：左邊包括一個選定的圖像（可選的）；右邊作為一個瀏覽器，它的具體細節(jié)依賴于操作模式。MUSE支持四種操作模式：自由瀏覽，隨機瀏覽，根據(jù)實例查詢以及相關(guān)反饋（不需要實例圖像）。在自由瀏覽模式下（如圖5），瀏覽器顯示當前用戶所選擇的目錄下圖像的索引圖像。隨機模式下（如圖6），在顯示索引圖像之前打亂了目錄的內(nèi)容，working as a baseline against which the fourth mode (relevance feed

45、back) can be compared?；趯嵗牟樵兡Ｊ剑ㄈ鐖D7）已經(jīng)被實現(xiàn)用于當做特征抽取和相似度度量階段的實驗臺。使用一個圖像（左邊）作為例子，最好的匹配顯示在瀏覽器。最后，相關(guān)反饋模式起始于一個隨機的圖像的子集，基于用戶的輸入（指定每幅圖像是好的、壞的或者兩者都不是）系統(tǒng)來理解哪幅圖像是目標圖像。在一個典型的使用相關(guān)反饋模式的交互中，用戶最初會在瀏覽器部分看見一個圖像的子集（如圖8）。圖4 MUSE：用戶界面根據(jù)每幅圖像與目標圖像（例如：加拿大國旗）的相似與相異程度，在點擊GO按鈕之前，用戶可以不選或者選擇多個當前顯示的圖像標上“好”（good）或者“壞”（bad）標記。與每幅圖像

46、相對應的選擇按鈕會相應的變?yōu)榫G色（該圖被認為是好的例子）或者紅色（該圖被認為是壞的例子）。在系統(tǒng)使用中，用戶所要做的也僅僅是選擇圖像和點擊GO按鈕這兩件事。一旦檢測到用戶已經(jīng)點擊了GO按鈕，系統(tǒng)首先檢驗是否有圖像被選中。如果有如象被選中，系統(tǒng)重新計算每幅圖像就是目標圖像的概率，并顯示一個新的更接近與目標圖像的圖像子集（如圖9）。如果用戶開始并沒有選擇任何的圖像，系統(tǒng)會顯示四張新的隨機選擇的圖像。經(jīng)過一系列的重復操作，系統(tǒng)最終會得到目標圖像（在本例中只需要進行一次重復工作）。圖5 MUSE：自由瀏覽模式圖6 MUSE：隨機瀏覽模式圖7 MUSE：實例查詢模式圖8 MUSE：相關(guān)反饋模式：初始屏幕

47、圖9 MUSE：相關(guān)反饋模式：最優(yōu)結(jié)果BEHIND THE SCENES目前的MUSE原型僅僅支持基于顏色特征的檢索，將來MUSE的最終版預期將支持顏色相關(guān)特征組、紋理相關(guān)特征組和形狀相關(guān)特征組的檢索。顏色信息使用顏色相關(guān)曲線圖（color correlograms）進行抽取，兩幅圖像的顏色相關(guān)曲線圖之間的比較使用L1距離度量方法。作為結(jié)果的特征向量使用PAM算法的一種變形組織成為組(clusters)。MUSE使用的是基于圖像相似性的信息檢索的一種概率模型。在這種模型下，給每幅圖像賦一個概率值，即這幅圖像是目標圖像的概率。在用戶每次根據(jù)圖像間相似度選擇標注圖像后系統(tǒng)重新計算這些概率值。在每次

48、迭代的最后，數(shù)據(jù)庫中的每幅圖像的概率值都被校正過，系統(tǒng)將根據(jù)這些概率值顯示那些最佳的圖像。MUSE支持兩種方式的學習。在會話（session）中修改圖像概率的過程從本質(zhì)上來講是一種學習理解用戶參數(shù)選擇以及相應回答的方法。這種學習我們叫它“會話內(nèi)學習”（intra-session learning）。MUSE系統(tǒng)已經(jīng)擴展到支持“會話內(nèi)學習”方法，也就是，使用對在某次會話過程中的用戶交互進行學習所得到的信息，來提高系統(tǒng)在以后的會話中遇到類似情況時的性能。允許用戶保存恢復profiles就是完成這個目標的一種方法。每次用戶登錄系統(tǒng)時，用戶可以選擇檢索已經(jīng)存在的登錄profiles，或者建立一個新的p

49、rofile，或者也可以忽略所有的profiles。Profiles的例子可以是多樣的，如：“賽車愛好者”，“莎朗斯通的影迷”或者“世界上的旗幟”。通過存儲profiles用戶可以花費最小的額外代價間接地向系統(tǒng)提供語義層次的信息，即在每次的會話中保存或者恢復一次profile。MUSE使用貝葉斯網(wǎng)絡(luò)模型來估計assess用戶的要求和基于用戶與系統(tǒng)的交互的profiles?？赡艿膽迷诒鞠到y(tǒng)中所提出的絕大多數(shù)思想都能夠滿足任意其它的視覺信息檢索系統(tǒng)的需要。在MUSE系統(tǒng)開發(fā)過程中，系統(tǒng)使用了通用的圖像文件和專門的圖象庫進行測試。由于掃描儀和數(shù)碼相機的普及以及相應價格的降低，家庭照片也越來越多的以

50、數(shù)字格式進行存儲，為了能夠使得家庭用戶能夠簡單、智能化的管理這些照片并對這些照片進行編目，家庭照片管理可以成為本項目結(jié)果的一個具體應用，在這方面潛在著一個很大的市場。Such a system would help minimizing the well-known phenomenon of pictures that are never retrieved, organized, and therefore enjoyed, ending up in a shoe box, or its digital equivalent, a folder in the home PCs hard d

51、isk.如何提高系統(tǒng)處理家庭照片相關(guān)處理的能力，如人臉識別，室內(nèi)與室外的分類，等等，這可能是我們在以后的MUSE版本中所要考慮的研究方向。結(jié)束語本章中我們對基于內(nèi)容的圖像檢索系統(tǒng)進行了回顧和評價。我們介紹了一個CBVIR系統(tǒng)的體系結(jié)構(gòu)，列出了設(shè)計開發(fā)這些系統(tǒng)的open問題。CBVIR領(lǐng)域的潛在市場已經(jīng)吸引了許多公司和大學的關(guān)注，也出現(xiàn)了一些商業(yè)性和研究性的系統(tǒng)原型。有興趣的讀者可以從本章中所提供的地址找到更多的信息。在本章的最后我們詳細介紹了由作者開發(fā)的一個CBVIR系統(tǒng)原型。參考： 畢 業(yè) 論 文論文題目學 院專 業(yè)年 級姓 名指導教師職 稱（200 年 月）教務(wù)處制畢業(yè)設(shè)計說明書與畢業(yè)論文

52、撰寫的規(guī)范化要求一篇完整的畢業(yè)設(shè)計說明書或畢業(yè)論文有題目、摘要及關(guān)鍵詞、目錄、引言（前言）、正文、結(jié)論、謝辭、參考文獻、附錄等幾部分構(gòu)成。要求理工科專業(yè)不少于4000字，文科專業(yè)不少于6000字。一、畢業(yè)設(shè)計說明書撰寫的主要內(nèi)容與基本要求一份完整的畢業(yè)設(shè)計說明書應包括如下主要內(nèi)容：1題目設(shè)計課題名稱，要求簡潔、確切、鮮明。2中外文摘要及關(guān)鍵詞應扼要敘述本設(shè)計的主要內(nèi)容、特點，文字要簡練。中文摘要約300字左右；外文摘要約250個實詞左右。關(guān)鍵詞35個。3目錄主要內(nèi)容的目錄。4前言應說明本設(shè)計的目的、意義、范圍及應達到的技術(shù)要求；簡述本課題在國內(nèi)（外）的發(fā)展概況及存在的問題；本設(shè)計的指導思想；闡

53、述本設(shè)計應解決的主要問題。 5正文（1）設(shè)計方案論證：應說明設(shè)計原理并進行方案選擇。應說明為什么要選擇這個方案（包括各種方案的分析、比較）；還應闡述所采用方案的特點（如采用了何種新技術(shù)、新措施、提高了什么性能等）。（2）設(shè)計及計算部分：這是設(shè)計說明書的重要組成部分，應詳細寫明設(shè)計結(jié)果及計算結(jié)果。（3）樣機或試件的各種實驗及測試情況：包括實驗方法、線路及數(shù)據(jù)處理等。（4）方案的校驗：說明所設(shè)計的系統(tǒng)是否滿足各項性能指標的要求，能否達到預期效果。校驗的方法可以是理論分析（即反推算），包括系統(tǒng)分析；也可以是實驗測試及計算機的上機運算等。6結(jié)論概括說明本設(shè)計的情況和價值 ，分析其優(yōu)點、特色，有何創(chuàng)新，

54、性能達到何水平，并指出其中存在的問題和今后的改進方向。7謝辭簡述自己通過本設(shè)計的體會，并對指導老師和協(xié)助完成設(shè)計的有關(guān)人員表示謝意。8參考文獻應列出主要參考文獻。9附錄將各種篇幅較大的圖紙、數(shù)據(jù)表格、計算機程序等作為附錄附于說明書之后。二、畢業(yè)論文撰寫的主要內(nèi)容與基本要求1題目題目應該簡短、明確，要有概括性，讓人看后能大致了解文章的確切內(nèi)容、專業(yè)的特點和學科的范疇。題目的字數(shù)要適當，一般不宜超過20字。字體為2中外文摘要及關(guān)鍵詞摘要也稱內(nèi)容提要，應當以濃縮的形式概括研究課題的主要內(nèi)容、方法和觀點，以及取得的主要成果和結(jié)論，應反映整個論文的精華。中文摘要約300字左右為宜，同時要求寫出250個實

55、詞左右的外文摘要。關(guān)鍵詞3-5個。摘要應寫得扼要、準確，一般在畢業(yè)論文全文完成后再寫摘要。在寫作中要注意以下幾點：（1）用精練、概括的語言表達，每項內(nèi)容均不宜展開論證。（2）要客觀陳述，不宜加主觀評價。（3）成果和結(jié)論性意見是摘要的重點內(nèi)容，在文字上用量較多，以加深讀者的印象。（4）要獨立成文，選詞用語要避免與全文尤其是前言和結(jié)論雷同。（5）既要寫得簡短扼要，又要行文活潑，在詞語潤色、表達方法和章法結(jié)構(gòu)上要盡可能寫得有文采，以喚起讀者對全文的閱讀的興趣。3目錄（必要時）論文編寫完成后，為了醒目和便于讀者閱讀，可為論文編寫一個目錄。目錄可分章節(jié)，每一章節(jié)之后應編寫頁碼。4前言前言是全篇論文的開場白，它包括：（1）選題的緣由。（2）對本課題已有研究情況的評述。（3）說明所要解決的問題和采用的手段、方法。（4）概括成果及意義。作為摘要和前言，雖然所定的內(nèi)容大體相同，但仍有很大的區(qū)別。區(qū)別主要在于：摘要一般要寫得高度概括、簡略，前言則可以稍微具體些；摘要的某些內(nèi)容，如結(jié)論意見，可以作為籠統(tǒng)的表達，而前言中所有的內(nèi)容則必須明確表達；摘要不寫選題的緣由，前言則明確反映；在文字量上前言一般多于摘要。5正文正文是作者對自己研究工作的詳細表述。它占全文的較多篇幅。主要內(nèi)容包括研究工作的基本前提、假設(shè)