第五章多媒體信息檢索2

圖像檢索視頻檢索音頻檢索第五章多媒體信息檢索第1節(jié)基于內(nèi)容的多媒體檢索1概念：Content-basedRetrieval,簡(jiǎn)稱CBR，主要指根據(jù)多媒體對(duì)象的聽覺、視覺特征及其中蘊(yùn)含的內(nèi)容和語(yǔ)義特征進(jìn)行識(shí)別，并希望能夠借助于模式識(shí)別、語(yǔ)音識(shí)別、圖像理解等相關(guān)領(lǐng)域的研究成果，對(duì)多媒體信息的特征進(jìn)行自動(dòng)分析、表達(dá)和組織。2多媒體信息檢索系統(tǒng)框架

教材132①用戶提交查詢,利用系統(tǒng)提供的查詢方式形成查詢條件；②將查詢特征與數(shù)據(jù)庫(kù)中的特征按照一定的匹配算法進(jìn)行匹配；③滿足一定相似性的一組候選結(jié)果按相似度大小排列返回給用戶；④對(duì)系統(tǒng)返回的一組初始特征的查詢結(jié)果,用戶可以通過遍歷(瀏覽)挑選出滿意的結(jié)果,也可以從候選結(jié)果中選擇一個(gè)示例進(jìn)行特征調(diào)整,形成一個(gè)新的查詢,這個(gè)過程可以多次進(jìn)行,直到用戶對(duì)查詢結(jié)果滿意。整個(gè)過程是是一個(gè)逐步逼近和相關(guān)反饋的過程。第2節(jié)圖像檢索WhyisImageIRimportant?“apictureiswortha1000words”AlternativeformofcommunicationNoteverythingcanbedescribedintext;NoteverythingcanbedescribedinimagesPopularmediumofinformationontheInternet1.圖像的構(gòu)成AnImageComponentTextDescriptor

(animal,instrument,etc.)ContentDescriptionThecontentofanimagecanberepresentedasasetofnumericfeatures:

ComponentCF1F2FMText2圖像檢索的發(fā)展階段主要經(jīng)歷了兩個(gè)發(fā)展階段text-basedretrieval:基于語(yǔ)詞的檢索Content-basedretrieval:基于內(nèi)容的檢索利用圖像自身的特征，如顏色、紋理、形狀等特征來進(jìn)行檢索Theimagesaredownloadedfromaspeciallydesigneddatabasesystem,usingcolour,textureandshapeasthekeyforthesearch…..圖像檢索系統(tǒng)的結(jié)構(gòu)圖3圖像檢索系統(tǒng)的建立

3.1圖像的獲?。?）首先，根據(jù)目前一些流行的搜索引擎的分類，建立相應(yīng)的圖像分類的層次結(jié)構(gòu)；然后針對(duì)每個(gè)類別選擇一些熱門的、具有代表性的站點(diǎn)作為候選。TraversalSpider–

“assembleslistsofcandidateWebdocumentsthatmayincludeimages,videos,orhyperlinkstothem”（2）然后，設(shè)計(jì)一個(gè)高效率的軟件工具（Crawler），針對(duì)選定的代表性站點(diǎn)自動(dòng)進(jìn)行圖像的收集。站點(diǎn)內(nèi)所有的頁(yè)面都將送給頁(yè)面分析器進(jìn)行分析，頁(yè)面內(nèi)所有的圖像都將以鏈接的方式存儲(chǔ)到相應(yīng)的數(shù)據(jù)庫(kù)中。HyperlinkParser–

“whichextractstheWebaddressesofimagesandvideos”DataCollectionProcess3.2圖像特征的抽取及索引

圖像的特征分為兩種，一種是圖像的低層特征，如圖像的顏色、紋理及其形狀等。另外一類特征則是圖像的語(yǔ)義特征。圖像的低層特征，主要采用的是圖像的顏色、紋理及其形狀等特征。3.2.1圖像的低層特征顏色特征：和圖像的大小、方向無關(guān)，而且對(duì)圖像的背景顏色不敏感，因此顏色特征被廣泛應(yīng)用于圖像檢索。顏色特征中包括顏色直方圖、顏色相關(guān)圖、顏色矩等。紋理特征：代表了物體的視覺模式，它包含了物體表面的組織結(jié)構(gòu)以及與周圍環(huán)境之間的關(guān)系。常用的方法有相關(guān)矩陣法，粗糙度、對(duì)比度等紋理表示方法，以及小波變換等。形狀特征：一種是基于邊界的形狀特征，另外一種則是基于區(qū)域的形狀特征。最成功的表示方法有傅利葉變換和不變矩等空間關(guān)系特征3.2.2圖像的語(yǔ)義特征圖像的文件名及其網(wǎng)址。如redflower.jpg、/images/animals/anim_birds.jpg圖像的替代文字（AlternateText）替代文字在網(wǎng)頁(yè)中通常用來表示圖像的語(yǔ)義信息，而且也是最為準(zhǔn)確的一個(gè)特征。圖像周圍的文字（SurroundingText）在網(wǎng)頁(yè)中圖像周圍的文字是最可能表達(dá)圖像所有包含的內(nèi)容的，雖然有些文字可能與圖像并不相關(guān)，不過這些文字在一定程度上還是表達(dá)了圖像的語(yǔ)義信息圖像所在頁(yè)面的標(biāo)題（title)有些圖像用來加強(qiáng)作者的意圖，因此有些圖像的內(nèi)容同頁(yè)面的標(biāo)題內(nèi)容直接相關(guān)。頁(yè)面的標(biāo)題也就成為語(yǔ)義特征之一。圖像的超鏈接（Hyperlink）圖像的超鏈接信息在一定程度上與圖像的內(nèi)容相關(guān)。因此一些語(yǔ)義特征可以通過對(duì)超鏈接的分析計(jì)算得到。所有這些特征，都將通過頁(yè)面分析器從網(wǎng)頁(yè)中自動(dòng)抽取出來，并被賦予不同的重要性,并按照傳統(tǒng)的文本信息檢索技術(shù)建庫(kù)。SubjectClassificationProcessTermextractionExtractedfromURLs,alttags,hyperlinktextbyremovingnon-alphacharactersFkey(URL)=Fchop(“animals/domestic-beasts1/dog37”)=“animals,”

“domestic,”

“beasts,”

“dog.”DictionarynameextractionFdir(URL)=“animals/domestic-beasts.”Key-termdictionaryTermsandDictionarynamesareusedtocreatet*ktermst*ktermsidentifiedsemanticallyrelatedtosubjectclassessmMkm:t*k

sm3.2.3生成壓縮圖采用壓縮方式生成功用戶瀏覽和顯示檢索結(jié)果的壓縮圖“generatesanicon,ormotionicon,whichsufficientlycompactsandrepresentsthevisualinformationtobeusedforbrowsinganddisplayingqueryresults”Compressionalgorithms3.3圖像的檢索提交的查詢將首先轉(zhuǎn)換成為一個(gè)由低層特征和高層特征結(jié)合的向量，然后分別與數(shù)據(jù)庫(kù)中圖像的向量計(jì)算相似度。相似度的計(jì)算分類兩步完成：一是計(jì)算低層特征的相似度二是計(jì)算高層語(yǔ)義特征的相似度，然后采用線性組合的方法得到最后的相似度。相似度高的圖像成為檢索的結(jié)果。SearchandRetrievalProcessSearchresultslistmanipulationA=Query(Term=“sunset”)ReturnsQueryAresultsSelectQueryBfromQueryAresultsB=Query(Term=“nature”)C=A∩B=Query(Term=“sunset”andTerm=“nature”)SearchandRetrievalProcessSearchandRetrievalProcessContent-basedTechniquesColorhistogramsdissimilarity“determinesthecolordissimilaritybetweenaqueryimageandatargetimage.”IndexesimagesbyglobalcolorIntegratedspatialandcolorquery“userscangraphicallyconstructaquerybyplacingcolorregionsonaquerygrid”Analyzes“sizes,spatiallocations,andrelationshipsofcolorregionswithintheimages”SearchandRetrievalProcess例子：Webseek“WebSEEKisaContent-BasedImageandVideoSearchandCatalogToolfortheWeb.Searchthroughmorethan650,000imagesandvideos.”(AdventProject)DevelopedbyTheAdventProjectatColumbiaUniversityFounded1995FosterindustrialcollaborationbetweenresearchersandmediatechnologyWebseekMoreSpecifically…Usesmultipleagentstoautomaticallyanalyze,index,andassignimages/videostosubjectclassesUsesbothvisualcontentandtextforcatalogingandsearchingFeaturesSearchingusingimagecontent-basedtechniquesQuerymodificationusingcontent-basedrelevancefeedbackAutomatedcollectionofvisualinformationCompactpresentationofimagesandvideosfordisplayingqueryresultsImageandvideosubjectsearchandnavigationText-basedsearchingSearchresultslistsmanipulationsintersection,subtractionandconcatenation./webseek

QBICIBM公司開發(fā)QueryByImageContent已經(jīng)在俄羅斯使用。第3節(jié)視頻檢索

1主要概念幀：運(yùn)動(dòng)圖像實(shí)際上是一系列圖像組成的序列，其中的每幅圖像稱為一幀（frame）。幀速率：播放運(yùn)動(dòng)圖像時(shí)連續(xù)兩幀之間的時(shí)間間隔通常是恒定的．稱為幀速率（framepersecond，fps）。幀序列之所以能夠形成運(yùn)動(dòng)圖像，在于相鄰幀圖像一般都是關(guān)聯(lián)的，當(dāng)幀速率快到-定程度時(shí)，人的視覺暫留效應(yīng)會(huì)使人產(chǎn)生連續(xù)運(yùn)動(dòng)的印象，每秒20幀（20fps）差不多是人腦把靜態(tài)圖像序列合成感覺中的平滑動(dòng)態(tài)畫面的下限，電影的標(biāo)準(zhǔn)速度是24fps，PAL制式的電視為25fps，NTSC制式則為30fps，高清晰度電視（HDTV）中的一種制式的幀速率為60fps，從而使變化迅速的畫面也能得到平穩(wěn)的印象。2視頻信息的特點(diǎn)1視頻數(shù)據(jù)既有空間屬性又有時(shí)間屬性

文本、圖形和圖像稱為離散媒體，因?yàn)樗鼈兒蜁r(shí)間無關(guān)。

與離散媒體相反，運(yùn)動(dòng)圖像(視頻)、運(yùn)動(dòng)圖形(動(dòng)畫)、聲音是時(shí)間有關(guān)的，需要在一定的時(shí)間段內(nèi)連續(xù)播放，故稱連續(xù)媒體(也稱時(shí)基媒體)。2巨大的數(shù)據(jù)量目前MPEG，DVI，H261等壓縮標(biāo)準(zhǔn)的壓絡(luò)比可達(dá)50：1～200:1.但即使壓縮后的視頻數(shù)據(jù)量仍是相當(dāng)大的3幀內(nèi)圖像特點(diǎn)我們可以把幀內(nèi)的圖像看作是一副靜止的圖像，因此幀內(nèi)圖像具有靜止圖像的一切特性。對(duì)幀內(nèi)圖像的處理也可用靜止圖像處理和壓縮的方法。3相關(guān)技術(shù)參數(shù)

3.1光柵掃描格式

視頻圖像通常是二維的．將二維視頻圖像轉(zhuǎn)換為一維電信號(hào)是通過光柵掃描實(shí)現(xiàn)的。主要有兩種方式：（1）逐行掃描：從圖像的左上角開始掃描．水平移動(dòng)到圖像的右端，成為一個(gè)掃描行．然后，快速返回到下一行的開始點(diǎn)，開始第2個(gè)掃描行，依此繼續(xù)，直到掃描完整個(gè)圖像，這稱之為逐行掃描，所有逐行掃描行的集合稱之為幀。（2）隔行掃描，顧名思義，即不是逐行進(jìn)行掃描，而是隔一行后再掃描下一行．隔行掃描行的集合稱之為場(chǎng)．逐行掃描有以下優(yōu)點(diǎn)；圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，能改善視頻壓縮效果等等．其缺點(diǎn)是：數(shù)碼率高，行掃描頻率增高．硬件難度加大．目前的電視系統(tǒng)（包括HDTV系統(tǒng)）大都采用隔行掃描，因?yàn)楦粜袙呙枘芄?jié)省頻帶．且硬件實(shí)現(xiàn)簡(jiǎn)單。3.2寬高比視頻圖像的寬高比指1幀圖像的寬度與高度的比值．普通電視的寬高比一般為4：3，高清晰度電視的寬高比為16：9。

3.3水平分辨率水平分辨率是度量水平清晰度的指標(biāo)．在電視中，水平分辨率由能夠再現(xiàn)黑白相間的垂直線條的數(shù)目來測(cè)定。當(dāng)一個(gè)系統(tǒng)的水平分辨率為400線時(shí)，是指其在所對(duì)應(yīng)的圖像高度內(nèi)能交替顯示200條黑線和200條白線．NTSC電視系統(tǒng)的最高水平分辨率為360線．3.4垂直分辨率視系統(tǒng)的垂直分辨率由1幀內(nèi)所使用的掃描行數(shù)來決定．行數(shù)越多，垂直分辨率就越高，反之亦然．例如，NTSC為525線，PAL為625線。3.5幀頻和場(chǎng)頻幀頻是指幀重復(fù)的頻率，例如，每秒10幀．場(chǎng)頻指場(chǎng)重復(fù)的頻率．根據(jù)人眼的視覺惰性，當(dāng)幀（場(chǎng)）重復(fù)頻率太低時(shí)，會(huì)有閃爍感覺．不引起閃爍感的最低重復(fù)頻率稱之為臨界閃爍頻率，當(dāng)幀頻高于臨界頻率時(shí)，主觀感覺亮度為顯示亮度的平均值．隔行掃描就是利用這一特性克服閃爍現(xiàn)象的，這可降低行掃描的頻率，使得傳輸頻帶得以壓縮。4常見視頻文件格式

1動(dòng)畫文件GIF文件--.GIFGIF是圖形交換格式(GraphicsInterchangeFormat)的英文縮寫，是由CompuServe公司于80年代推出的一種高壓縮比的彩色圖像文件格式。目前Internet上大量采用的彩色動(dòng)畫文件多為這種格式的GIF文件。Flic文件是Autodesk公司在其出品的AutodeskAnimator/AnimatorPro/3DStudio等2D/3D動(dòng)畫制作軟件中采用的彩色動(dòng)畫文件格式。GIF和Flic文件，通常用來表示由計(jì)算機(jī)生成的動(dòng)畫序列，其圖像相對(duì)而言比較簡(jiǎn)單，因此可以得到比較高的無損壓縮率，文件尺寸也不大。然而，對(duì)于來自外部世界的真實(shí)而復(fù)雜的影像信息而言，無損壓縮便顯得無能為力，而且，即使采用了高效的有損壓縮算法，影像文件的尺寸也仍然相當(dāng)龐大。2影像文件

AVI是音頻視頻交錯(cuò)(AudioVideoInterleaved)的英文縮寫，它是Microsoft公司開發(fā)的一種符合RIFF文件規(guī)范的數(shù)字音頻與視頻文件格式。AVI文件目前主要應(yīng)用在多媒體光盤上，用來保存電影、電視等各種影像信息，有時(shí)也出現(xiàn)在Internet上，供用戶下載、欣賞新影片的精彩片斷。

QuickTime文件--.MOV/.QTQuickTime是Apple計(jì)算機(jī)公司開發(fā)的一種音頻、視頻文件格式，用于保存音頻和視頻信息，具有先進(jìn)的視頻和音頻功能，目前已成為數(shù)字媒體軟件技術(shù)領(lǐng)域的事實(shí)上的工業(yè)標(biāo)準(zhǔn)。MPEG文件--.MPEG/.MPG/.DATMPEG的平均壓縮比為50∶1，最高可達(dá)200∶1，壓縮效率非常高，同時(shí)圖像和音響的質(zhì)量也非常好。RealVideo文件是RealNetworks公司開發(fā)的一種新型流式視頻文件格式5視頻信息的檢索基于文本:人工采用關(guān)鍵字對(duì)視頻內(nèi)容進(jìn)行標(biāo)引，在檢索鐘銅鼓哦匹配用戶查詢進(jìn)行檢索?；趦?nèi)容：沒有人工參與的情況下，自動(dòng)提取并描述視頻的特征和內(nèi)容。5.1視頻結(jié)構(gòu)

鏡頭：由攝像機(jī)記錄下來的一段連續(xù)的幀序列，它是一段視頻的物理組成單元。

關(guān)鍵幀：描述鏡頭主要內(nèi)容的幀。根據(jù)內(nèi)容的復(fù)雜程度，一個(gè)鏡頭可以有一個(gè)或多個(gè)關(guān)鍵幀。場(chǎng)景：由一些語(yǔ)義相關(guān)的鏡頭組成，這些鏡頭不一定在時(shí)間上連續(xù)。場(chǎng)景描述了一個(gè)獨(dú)立的故事單元（或者說是一個(gè)高層概念），它是一段視頻的語(yǔ)義組成單元。鏡頭組：物理鏡頭和語(yǔ)義場(chǎng)景之間的結(jié)構(gòu)部分。例如一段采訪錄像，鏡頭在主持人預(yù)備采訪者之間頻繁切換，整個(gè)采訪屬于一個(gè)場(chǎng)景，那些關(guān)于支持人的鏡頭屬于一組，關(guān)于被采訪者的鏡頭屬于一組。一般來說，一段視頻由一些描述獨(dú)立故事單元的場(chǎng)景構(gòu)成；一個(gè)場(chǎng)景由一些語(yǔ)義相關(guān)的鏡頭組成；而每個(gè)鏡頭是由一些連續(xù)的幀構(gòu)成，它可由一個(gè)或多個(gè)關(guān)鍵幀表示。

見下圖5.2基于內(nèi)容的視頻處理過程

視頻首先被分割成各個(gè)鏡頭，并對(duì)每個(gè)鏡頭進(jìn)行運(yùn)動(dòng)分析（主要針對(duì)攝像機(jī)運(yùn)動(dòng)和物體運(yùn)動(dòng)）。基于運(yùn)動(dòng)分析，我們可以提取并跟蹤鏡頭中的對(duì)象，同時(shí)選擇或構(gòu)造關(guān)鍵幀，來描述視頻內(nèi)容。然后，根據(jù)提取鏡頭、關(guān)鍵幀和對(duì)象的視覺特征，進(jìn)行索引。通過視覺特征的相似度計(jì)算，鏡頭被組織成場(chǎng)景。最終，用戶可以通過一種簡(jiǎn)單方便的方法瀏覽和檢索視頻。

5.3關(guān)鍵技術(shù)（1）鏡頭分割通常視頻流中的鏡頭，是由時(shí)間連續(xù)的視頻幀組成的。它對(duì)應(yīng)著攝像機(jī)一次紀(jì)錄的起停操作，代表一個(gè)場(chǎng)景在時(shí)間上和空間上的連續(xù)的動(dòng)作。鏡頭之間有多種類型的過渡方式，最常見的是“切變”，表現(xiàn)為在相鄰兩幀間發(fā)生的突變性的鏡頭轉(zhuǎn)換。此外，還存在一些較復(fù)雜的過渡方式，如淡入、淡出等。鏡頭分割方法分為非壓縮域和壓縮域兩類。（2）特征分析基本的特征分析包括：顏色、紋理、形狀、運(yùn)動(dòng)和對(duì)象等。前三種是圖像和視頻共有的，屬于數(shù)字圖像處理中較為成熟的技術(shù)。對(duì)象提取和跟蹤，是視頻分析中最困難的部分，可利用運(yùn)動(dòng)信息進(jìn)行處理：先將每幀圖像分割成具有相似視覺特征（顏色、紋理等）的區(qū)域，然后根據(jù)各個(gè)區(qū)域的運(yùn)動(dòng)特征，按照一定的約束（例如區(qū)域之間的連通性），將它們合并成對(duì)象。國(guó)際標(biāo)準(zhǔn)MPEG-4便是以對(duì)象提取和合成作為焦點(diǎn)的，它提出了使用VOP（視頻對(duì)象平面）的概念，對(duì)視頻對(duì)象進(jìn)行索引。

（3）關(guān)鍵幀提取

為了克服基于鏡頭的方法存在的問題，人們提出了一種基于內(nèi)容分析的方法。這種方法通過分析視頻內(nèi)容（顏色直方圖、運(yùn)動(dòng)信息）隨時(shí)間的變化情況，來選取所需關(guān)鍵幀的數(shù)目，并按照一定的規(guī)則為鏡頭抽取關(guān)鍵幀。（4）視頻結(jié)構(gòu)分析

視頻結(jié)構(gòu)分析的過程，就是將語(yǔ)義相關(guān)的鏡頭組合、聚類的過程。假設(shè)有一段兩人對(duì)話的視頻段，在拍攝過程中，攝像機(jī)的焦點(diǎn)在兩人之間來回切換，用我們前面所述的鏡頭分割技術(shù)，必然會(huì)把這一段視頻分割為多個(gè)鏡頭。而這一組在時(shí)間上連續(xù)的鏡頭是相關(guān)的，因?yàn)檫@一組鏡頭是一個(gè)情節(jié)（稱為場(chǎng)景）。結(jié)構(gòu)分析的目的，便是使視頻數(shù)據(jù)形成結(jié)構(gòu)化的層次，可以方便用戶進(jìn)行有效的瀏覽。5.4基于內(nèi)容的視頻檢索系統(tǒng)

·QBIC系統(tǒng)QueryByImageContent是由IBMAlmaden研究中心開發(fā)的，是“基于內(nèi)容”檢索系統(tǒng)的典型代表。QBIC系統(tǒng)允許使用例子圖像、用戶構(gòu)建的草圖和圖畫及其選擇的顏色和紋理模式、以及鏡頭和目標(biāo)運(yùn)動(dòng)等圖形信息，對(duì)大型圖像和視頻數(shù)據(jù)庫(kù)進(jìn)行查詢。視頻方面主要利用了顏色、紋理、形狀、攝像機(jī)和對(duì)象運(yùn)動(dòng)來描述內(nèi)容。/

·VisualSeek系統(tǒng)美國(guó)哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級(jí)電視實(shí)驗(yàn)室共同研究的、一種在互聯(lián)網(wǎng)上使用的“基于內(nèi)容”的檢索系統(tǒng)。它實(shí)現(xiàn)了互聯(lián)網(wǎng)上的“基于內(nèi)容”的圖像/視頻檢索系統(tǒng)，提供了供人們?cè)赪eb上搜索和檢索圖像及視頻的工具。

第4節(jié)音頻檢索聲音媒體是除視覺媒體外最重要的媒體，占有總信息量的20％左右1音頻信息的類型1）波形聲音：對(duì)模擬聲音數(shù)字化而得到的數(shù)字音頻信號(hào)，它可以代表語(yǔ)音、音樂、自然界和合成的聲響；2）語(yǔ)音：具有字詞、語(yǔ)法等語(yǔ)素，是一種高度抽象的概念交流媒體，語(yǔ)音經(jīng)過識(shí)別可以轉(zhuǎn)換為文本，文本是語(yǔ)音的一種腳本形式；3）音樂：具有節(jié)奏、旋律和聲音等要素，是人聲和樂器音響等配合所構(gòu)成的一種聲音，音樂可以用樂譜來表示。1）外部特征：音頻信息在計(jì)算機(jī)內(nèi)部以文件格式存貯，文件屬性包括：文件名、創(chuàng)建時(shí)間、創(chuàng)建者、文件格式等。2）文本著錄特征：人工標(biāo)引，選擇主題詞、關(guān)鍵詞等來描述音頻信息的內(nèi)容。3）物理特征：模擬音頻信息通過采樣、量化、編碼等過程轉(zhuǎn)變成數(shù)字信號(hào)，數(shù)字信號(hào)在計(jì)算機(jī)內(nèi)部以流媒體的形式存放，具有時(shí)間屬性。4）聲學(xué)特征：主要有音強(qiáng)、基音、音調(diào)、節(jié)奏、旋律、樂器標(biāo)識(shí)等。5）語(yǔ)義特征：主要包括語(yǔ)音識(shí)別、檢測(cè)的結(jié)果，也可以是音樂旋律和敘