01信息檢索概述

信息檢索計算機學(xué)院信息檢索研究中心秦兵qinb@信息檢索起源信息檢索（InformationRetrieval）最早出現(xiàn)在圖書館領(lǐng)域，是指信息按一定的方式組織起來，并根據(jù)信息用戶的需要找出有關(guān)的信息的過程和技術(shù)互聯(lián)網(wǎng)的出現(xiàn)，豐富了信息檢索的內(nèi)涵。常常以搜索引擎的出現(xiàn)突出互聯(lián)網(wǎng)信息檢索概念搜索引擎(searchengine)是指根據(jù)一定的策略、運用特定的計算機程序搜集互聯(lián)網(wǎng)上的信息，在對信息進行組織和處理后，為用戶提供檢索服務(wù)的系統(tǒng)。定義GerardSalton是信息檢索領(lǐng)域的先驅(qū)，也是二十世紀(jì)60年代到90年代信息檢索領(lǐng)域的領(lǐng)袖人物之一他在其經(jīng)典教科書（Salton,1968）中給信息檢索做出了以下定義：信息檢索是關(guān)于信息的結(jié)構(gòu)、分析、組織、存儲、搜索和檢索的領(lǐng)域搜索引擎是信息檢索技術(shù)在大規(guī)模文本集合上的實際應(yīng)用檢索正改變著我們的生活方式如果羅列當(dāng)前網(wǎng)絡(luò)上最流行的詞匯，相信“搜索引擎”一定位列其中百度，google這樣的明星企業(yè)用他們的技術(shù)改變著我們的生活我們從來沒有像今天這樣能夠如此方便、快捷的獲取我們希望得到的信息“百度一下，你就知道”，搜索引擎成為除電子郵件以外被用得最多的網(wǎng)絡(luò)行為方式使用搜索引擎成為一個時代的標(biāo)志目前互聯(lián)網(wǎng)發(fā)展?fàn)顩r截至2008年底，我國互聯(lián)網(wǎng)普及率以22.6%的比例首次超過21.9%的全球平均水平隨著運營商的重視和手機硬件成本的不斷降低，手機上網(wǎng)已逐漸成為一種主流的網(wǎng)絡(luò)接入方式，并悄然流行起來日前，透露的Google的移動互聯(lián)網(wǎng)的戰(zhàn)略目標(biāo)是“讓手機用戶超過PC用戶”搜索引擎是用戶在互聯(lián)網(wǎng)上獲取信息的最常用的方法機遇與挑戰(zhàn)并存！我們所使用的Web搜索系統(tǒng)TheWebWebspiderIndexerIndexesSearchUser從這門課中將學(xué)到…信息檢索概述及評價信息檢索模型檢索的改進技術(shù)查詢操作Web信息檢索教材及參考書教材：信息檢索系統(tǒng)導(dǎo)論，機械工業(yè)出版社，2008搜索引擎-信息檢索實踐，BruceCroft等，2010參考書RicardoBaeza-YatesandBerthierRibeiro-Neto,ModernInformationRetrieval,Addison-Wesley.1999.ChristopherD.Manning,PrabhakarRaghavanandHinrichSchütze,IntroductiontoInformationRetrieval,CambridgeUniversityPress.2007.李曉明，閆宏飛等。搜索引擎原理、技術(shù)與系統(tǒng)課件：/~qinb/信息檢索的概述在這一部分將介紹：信息檢索概念及意義信息檢索體系結(jié)構(gòu)歷史與現(xiàn)狀發(fā)展趨勢面臨的挑戰(zhàn)國內(nèi)外主要搜索引擎信息檢索的應(yīng)用信息檢索的概念及意義信息檢索技術(shù)信息檢索是從非結(jié)構(gòu)化的文檔集中找出與用戶需求相關(guān)的信息和其它相關(guān)技術(shù)的區(qū)別和數(shù)據(jù)庫的區(qū)別數(shù)據(jù)庫是結(jié)構(gòu)化數(shù)據(jù),IR的檢索結(jié)果也往往是不精確的，而不象數(shù)據(jù)庫查詢那樣正確率一定是100%。和情報檢索的區(qū)別情報檢索介紹如何利用信息檢索工具典型的信息檢索任務(wù)給定條件自然語言的文檔集合用戶的提問(Query)查找結(jié)果和query相關(guān)的經(jīng)過排序(Rank)的文檔子集信息檢索任務(wù)進一步劃分為:信息或數(shù)據(jù)的檢索和瀏覽拉出（pulling）行為集合中的文獻相對靜止多用戶的短期行為信息過濾信息過濾的變通方式-路由選擇推送（filtering）行為用戶查詢相對靜止少用戶的長期行為用戶需求:Query及Profile形式關(guān)鍵詞帶布爾操作的關(guān)鍵詞自由文本事例文檔...早期信息檢索系統(tǒng)IRSystemQueryStringDocumentcorpusRankedDocuments1.Doc12.Doc23.Doc3..Web搜索系統(tǒng)提問IR系統(tǒng)排序后的文本1.第1頁2.第2頁3.第3頁

..文檔語料庫WebSpiderWeb搜索將IR技術(shù)應(yīng)用于WorldWideWeb上的HTML網(wǎng)頁和純文本相比，網(wǎng)頁的特點如下：必須通過在網(wǎng)上“爬行”搜集網(wǎng)頁可以開發(fā)結(jié)構(gòu)布局信息文檔的更新是不可控的可以開發(fā)網(wǎng)頁之間的鏈接結(jié)構(gòu)信息檢索處理的對象非結(jié)構(gòu)化數(shù)據(jù)文本數(shù)據(jù)：新聞、科技論文等網(wǎng)頁：HTML、XML多媒體數(shù)據(jù)：圖像、視頻、圖形、音頻目前最主要的處理對象是互聯(lián)網(wǎng)文字圖片基于內(nèi)容的圖像查詢

基于內(nèi)容的圖像查詢：目標(biāo)，顏色，紋理圖像數(shù)據(jù)庫/互聯(lián)網(wǎng)用戶的提問查詢搜索引擎基于文本的圖像查詢信息檢索的重要性由信息匱乏到信息爆炸,需要有效的檢索方式傳統(tǒng)管理軟件需要嵌入IR技術(shù)在SQL數(shù)據(jù)庫中已采用文本檢索技術(shù)select*fromEmployeewhereNamelike’%Lee%’.在LotusNotes辦公平臺上同樣也已采用文本檢索技術(shù)互聯(lián)網(wǎng)數(shù)據(jù)的增長和在線文檔（如聯(lián)機用戶手冊等）的增長，向IR技術(shù)提出迫切需求檢索無處不在信息檢索系統(tǒng)體系結(jié)構(gòu)信息檢索系統(tǒng)的體系結(jié)構(gòu)文本數(shù)據(jù)庫數(shù)據(jù)庫管理建索引索引查詢操作搜索排序排序后的文檔用戶反饋文本操作用戶界面檢出的文檔用戶需求文本提問邏輯視圖倒排文檔分詞刪除停用詞Stemming（提取詞干）為文檔建立倒排索引表根據(jù)倒排索引表檢索出與提問相關(guān)的文檔將檢索出的文檔根據(jù)相關(guān)性排序Query輸入和文檔輸出相關(guān)反饋結(jié)果的可視化對query進行變換，以改進檢索結(jié)果IR的歷史與現(xiàn)狀圖書館卡片索引IR的歷史1960-70’s:最初的信息檢索系統(tǒng)面向小型的科學(xué)文摘數(shù)據(jù)庫、法律和商業(yè)文檔檢索模型為基本的布爾模型和向量空間模型CornellUniversity的Prof.Salton成為這個領(lǐng)域的先驅(qū)，著名的IR向量空間模型的創(chuàng)始人，開發(fā)了著名的SMART向量空間模型IR系統(tǒng)，并免費開放源代碼，大大促進了IR的發(fā)展IR歷史1980’s:IR技術(shù)出現(xiàn)在大型文檔數(shù)據(jù)庫中Lexis-Nexis美國LEXIS-NEXIS公司創(chuàng)始于1973年，其數(shù)據(jù)庫內(nèi)容很廣，其中法規(guī)法律方面的數(shù)據(jù)庫是LEXIS-NEXIS的特色信息源，具有非常大的影響力，尤其在法律業(yè)界具有很高知名度Dialog目前世界上最大的聯(lián)機檢索檢索系統(tǒng)之一，包括各學(xué)科數(shù)據(jù)庫600多種，可查詢研究動態(tài)，SCI,EI收錄以及專利等情況MEDLINEMEDLINE是美國國家醫(yī)學(xué)圖書館的文獻數(shù)據(jù)庫IR歷史1990’s:在互聯(lián)網(wǎng)上對FTP服務(wù)器上的文檔進行搜索ArchieArchie是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然后Archie會告訴用戶哪一個FTP地址可以下載該文件WAIS代表“廣域信息服務(wù)”(WideAreaInformationService)，是一種能查詢500個檢索數(shù)據(jù)庫的工具IR歷史1990’s（續(xù)）:在WorldWideWeb上進行搜索Yahoo1994年4月，Stanford兩名博士生，美籍華人JerryYang（楊致遠）和DavidFilo共同創(chuàng)辦了Yahoo。隨著訪問量和收錄鏈接數(shù)的增長，Yahoo目錄開始支持簡單的數(shù)據(jù)庫搜索。基于目錄的檢索AltavistaAltaVista是網(wǎng)上最早的爬行搜索引擎。AltaVista搜索技術(shù)從純文本搜索技術(shù)開始，發(fā)布于1995年；1997年，其搜索能力擴展到25種語言搜索；1999年開始多媒體文件的搜索；2001年首次推出網(wǎng)上免費新聞搜索，2003年AltaVista被Overture收購。

IR歷史1990’s（續(xù)）:有組織地進行評測美國標(biāo)準(zhǔn)與技術(shù)研究所NIST和國防部高級研究規(guī)劃局DARPA共同發(fā)起TREC,1992年開始智能推薦系統(tǒng)（個性化推薦，良好的互動性，適應(yīng)性）RingoAmazon（亞馬遜網(wǎng)絡(luò)售書）NetPerceptions自動文本分類和聚類系統(tǒng)IR歷史以雅虎初期為代表的第一代搜索引擎以人工目錄分類為基礎(chǔ)的網(wǎng)站搜索開辟了一個時代第一代搜索引擎指主要依靠人工分揀的分類目錄搜索，這種方式是被動的搜索，更新慢、搜索能力不足第一代搜索引擎基本上已經(jīng)退出搜索舞臺。IR歷史2000’s為Web搜索服務(wù)的鏈接分析Google自動信息抽取WhizbangFetchBurningGlass問答系統(tǒng)TRECQ/AtrackIR現(xiàn)狀近期的IR:多媒體檢索圖像(Image)視頻(Video)聲音(speech)和音頻(Audio)音樂(music)跨語言檢索DARPATides項目智能化、個性化檢索IR現(xiàn)狀以Google為代表的第二代搜索引擎以超鏈分析技術(shù)為基礎(chǔ)的大規(guī)模網(wǎng)頁搜索，根據(jù)關(guān)鍵詞的分布情況對頁面進行分類和排序優(yōu)點：只要網(wǎng)頁上出現(xiàn)了某個關(guān)鍵詞，就能夠使用全文檢索用關(guān)鍵詞匹配把該網(wǎng)頁查出來不足：返回的無用信息太多原因：僅采用機械的關(guān)鍵詞匹配來實現(xiàn)IR現(xiàn)狀多數(shù)檢索系統(tǒng)是基于關(guān)鍵詞的搜索可能找不到同義詞“PRC”vs.“China”“電腦”vs.“計算機”可能檢索到一些不相關(guān)的多義詞“bat”(baseballvs.mammal)“Apple”(companyvs.fruit)保安（地名vs.保護安全的人員）舉例：車、帥結(jié)果：象棋同義詞詞義消岐用戶背景官員：國新辦副主任蔡名照

（2008互聯(lián)網(wǎng)大會）互聯(lián)網(wǎng)正從提供信息服務(wù)向提供平臺服務(wù)延伸傳統(tǒng)互聯(lián)網(wǎng)正在向移動互聯(lián)網(wǎng)延伸從服務(wù)模式看從傳播手段看互聯(lián)網(wǎng)正從信息傳播和娛樂消費為主向商務(wù)服務(wù)領(lǐng)域延伸從應(yīng)用領(lǐng)域看2008年第三季度中國搜索引擎市場規(guī)模達14.29億人民幣，同比2007第三季度的8.38億人民幣，增長70.5%。搜索引擎用戶的抱怨搜索結(jié)果重復(fù)率高，搜索到的網(wǎng)頁打不開等令人煩惱個性化內(nèi)容少，結(jié)果雷同也是不可以忍受的專業(yè)搜索功能差信息更新速度慢73.3%54.1%48.3%49.1%多媒體搜索功能弱30.1%垂直實時跨媒體個性化精準(zhǔn)搜索技術(shù)發(fā)展趨勢ThemeGalleryisaDesignDigitalContent&ContentsmalldevelopedbyGuildDesignInc.趨勢2.智能化1.個性化

多媒體化

垂直化

社區(qū)化

移動化

個性化

智能化

精準(zhǔn)化搜索技術(shù)各種趨勢的背景精準(zhǔn)化（個性化）：更有效地獲取信息智能化：更便捷地表達需求商務(wù)化：在產(chǎn)業(yè)鏈中尋找更高價值移動化：移動互聯(lián)網(wǎng)的迅猛發(fā)展社區(qū)化：社交媒體的崛起垂直化：深入行業(yè)多媒體化：整合多媒體數(shù)據(jù)跨媒體檢索應(yīng)用體驗輸入一類媒體，返回另一類媒體

輸入文本，返回圖片；輸入圖片，返回文本基礎(chǔ)處理各類媒體信息的集成同時利用圖片自身的圖像信息和圖片周圍的環(huán)繞文字對圖片內(nèi)容進行分析，并建立索引米歇爾·奧巴馬一群小學(xué)生草坪人臉識別與環(huán)繞文字分析相結(jié)合的圖片檢索搜索引擎對大規(guī)模并行計算的需求計算搜索結(jié)果排序倒排索引生成日志統(tǒng)計和分析并行計算智能挖掘

統(tǒng)計詞頻云計算當(dāng)今社會，PC依然是我們?nèi)粘９ぷ魃钪械暮诵墓ぞ咴凇霸朴嬎恪睍r代，“云”會替我們做存儲和計算的工作是一種網(wǎng)絡(luò)服務(wù)可以在任何地點用任何設(shè)備，如電腦、手機等，快速地計算和找到這些資料，再也不用擔(dān)心資料丟失Google,Amazon,IBM，Intel都在這方面有所動作阿里云從自然語言處理入手，提高信息檢索質(zhì)量信息檢索數(shù)據(jù)庫并行處理網(wǎng)絡(luò)信息安全數(shù)據(jù)挖掘自然語言處理知識管理操作系統(tǒng)圖像、視頻、語音百度框計算>>“請給我找出好聽的音樂”個性化用戶需求分析2009年8月18日，百度董事長兼CEO(首席執(zhí)行官)李彥宏在此次大會上發(fā)布了“框計算（BoxComputing）”平臺的理念和很有前景的構(gòu)想。百度框計算“框計算”到底意味著什么呢，“框計算”到底意味著什么呢？首先，“框”是一個功能強大的需求收集器和分析器其次，由于“框”能在互聯(lián)網(wǎng)可選范圍內(nèi)根據(jù)用戶需求自動匹配最佳的應(yīng)用和服務(wù)，這個“框”又帶有典型的操作系統(tǒng)特性PowersetPowerset是美國舊金山的一家搜索引擎公司，它的搜索引擎所使用的核心技術(shù)自然語言處理技術(shù)。這使得Powerset與Google從本質(zhì)上有區(qū)別。WolframAlphaWolframAlpha是首個“計算知識搜索”引擎，其“父親”為美國計算機科學(xué)家史蒂芬·沃爾弗拉姆WolframAlphaWolframAlpha的工作原理同谷歌網(wǎng)頁搜索有著較大區(qū)別在WolframAlpha服務(wù)中，用戶在搜索框鍵入需要查詢的問題后，該搜索引擎將直接向用戶返回答案，而不是返回一大堆網(wǎng)頁鏈接同Powerset的語義搜索一樣，用戶也可在WolframAlpha當(dāng)中鍵入符合語法意義的問題查詢句子智能化以自然語言理解技術(shù)為基礎(chǔ)的新一代搜索引擎，我們稱之為智能搜索引擎由于它將信息檢索從目前基于關(guān)鍵詞層面提高到基于知識（或概念）層面，能夠?qū)崿F(xiàn)分詞技術(shù)、同義詞技術(shù)、詞義消歧、概念搜索以及機器翻譯技術(shù)等允許用戶采用自然語言進行信息的檢索，為用戶提供更方便、更確切的搜索服務(wù)個性化個性化趨勢是搜索引擎的一個未來發(fā)展的重要特征和必然趨勢之一通過搜索引擎的社區(qū)化產(chǎn)品（即對注冊用戶提供服務(wù)）的方式來組織個人信息分析特定用戶的搜索需求限定的范圍，然后按照用戶需求范圍擴展到互聯(lián)網(wǎng)上其他的同類網(wǎng)站給出最相關(guān)的結(jié)果個性化用戶需求分析如何理解用戶的搜索意圖當(dāng)輸入城市名的時候，很可能要找：當(dāng)?shù)氐木频辍⒌貓D、名勝等；當(dāng)輸入電影名時，很可能要找：影評、主要演員、在線觀看的地址；當(dāng)輸入手機型號時，很可能要找：評測對比、性能等；當(dāng)輸入某些癥狀時，很可能找的是疑似病的特征、原因、治愈方法、專家醫(yī)院等等。需要建立大型的詞匯語義關(guān)聯(lián)和領(lǐng)域本體搜索日志和用戶行為的挖掘?qū)崟r搜索實時搜索即時通訊,是微博客的典型應(yīng)用它允許用戶將自己的最新動態(tài)和想法以短信息的形式發(fā)送給手機和個性化網(wǎng)站群，而不僅僅是發(fā)送給個人2006年，博客技術(shù)先驅(qū)創(chuàng)始人埃文·威廉姆斯(EvanWilliams)創(chuàng)建的新興公司Obvious推出了Twitter服務(wù)中國的微博：新浪微博、說說、飯否等微博有力地推動了實時搜索的發(fā)展垂直搜索垂直搜索是針對某一個行業(yè)的專業(yè)搜索引擎，是搜索引擎的細分和延伸，是對網(wǎng)頁庫中的某類專門的信息進行一次整合，定向分字段抽取出需要的數(shù)據(jù)進行處理后再以某種形式返回給用戶。垂直搜索引擎的應(yīng)用方向很多，比如企業(yè)庫搜索、供求信息搜索引擎、購物搜索、房產(chǎn)搜索、人才搜索、地圖搜索、mp3搜索、圖片搜索……幾乎各行各業(yè)各類信息都可以進一步細化成各類的垂直搜索引擎垂直主題的搜索引擎以其高度的目標(biāo)化和專業(yè)化在各類搜索引擎中占據(jù)了一系席之地，比如象股票、天氣、新聞等類的搜索引擎，具有很高的針對性，用戶對查詢結(jié)果的滿意度較高

垂直搜索Google宗旨是盡快讓用戶離開google，垂直搜索應(yīng)該是粘住用戶方式的變化，檢索方法沒有質(zhì)的變化垂直搜索實例奇虎酷訊（KOOXOO）Google推出的生活頻道。。。服務(wù)模式由單一向綜合過渡Google的gtalk，gmailMSN的搜索等由通用到專業(yè)垂直搜索由競價排名到封口費一定程度上影響搜索引擎的公正性IR面臨的挑戰(zhàn)Web搜索的事實是怎樣的？短的query英文:2.35words(Altavista,1998)中文:3.55chars(1999)偏精確率的檢索用戶常常瀏覽第一頁的結(jié)果

每個用戶的查詢次數(shù):

數(shù)據(jù)來源：網(wǎng)絡(luò)指南針，10,2439個用戶，81,0386個查詢

每個用戶查詢的網(wǎng)頁:每個查詢的詞數(shù):可以看到：QueryDocumentSimilarityAhugenumberofpageswithmatchedquerytermsontheWebQuery=“informationretrieval”經(jīng)過文本相似度計算獲得的排序?qū)τ诙蘍uery有些力不從心，導(dǎo)致檢索結(jié)果不盡人意短

Query&檢索

QueryDocumentQuerySpaceDocSpaceSimilarityQuery=“informationretrieval”用戶需求&文檔的權(quán)威性QueryDocumentQuerySpaceDocSpaceSimilarityConcept:“IRbook““IRsystems”,“SIGIRWebsites”Authority:

Query=“informationretrieval”RepresentativeIRbook傳統(tǒng)

IR的通常包含這樣的假定

Query

較長

TREC對主題（查詢）描述平均15個詞評價考慮精確率和召回率對前1000個返回結(jié)果計算平均精確率和召回率解決方案：智能信息檢索考慮詞匯的意義(meaning)考慮詞匯的順序(order)根據(jù)直接或間接的反饋適應(yīng)用戶的需求考慮信息來源的權(quán)威性(authority)檢索結(jié)果的呈現(xiàn)檢索結(jié)果的表現(xiàn)Web檢索結(jié)果是很長的列表，用戶很難在概念層瀏覽結(jié)果檢索結(jié)果分門別類信息進一步優(yōu)化間接消歧DEFBooksTools檢索結(jié)果聚類檢索結(jié)果聚類檢索結(jié)果聚類檢索結(jié)果后聚類從呈現(xiàn)形式到內(nèi)容的變化——內(nèi)容整合信息抽取美國科學(xué)家目前正在研究一種新型“搜索引擎”—搜得，表示它能像拖網(wǎng)一樣“撈到”所需資料網(wǎng)頁，然后以目錄表格形式將其進行整理信息融合單文檔文摘多文檔文摘國內(nèi)外主要搜索引擎中國搜索引擎市場

搜索引擎成功樣例:全球最大搜索引擎——Google據(jù)預(yù)計，全球搜索市場3到5年后將達70億美元以上，Google在各種搜索引擎中排名第一。Google網(wǎng)址：技術(shù)創(chuàng)業(yè)六年成長史創(chuàng)始人是兩位斯坦福大學(xué)學(xué)生，而立之年即成為百億富翁每個月有數(shù)億人使用走向壟斷？參股百度左右網(wǎng)民的價值取向受商業(yè)利益驅(qū)使，未來很難保證客觀公正性，競價排名GoogleBaidu2000年1月，超鏈分析專利發(fā)明人、前Infoseek資深工程師李彥宏與好友徐勇（加州伯克利分校博士）在北京中關(guān)村創(chuàng)立了百度（Baidu）公司2001年8月發(fā)布B搜索引擎Beta版2001年10月22日正式發(fā)布Baidu搜索引擎。Baidu雖然只提供中文搜索，是最大的的中文數(shù)據(jù)庫。。

百度天網(wǎng)國家“九五”重點科技攻關(guān)項目“中文編碼和分布式中英文信息發(fā)現(xiàn)”的研究成果由北大計算機系網(wǎng)絡(luò)與分布式系統(tǒng)研究室開發(fā)，于1997年10月29日正式在CERNET上提供服務(wù)2000年初成立天網(wǎng)搜索引擎新課題組，由國家973重點基礎(chǔ)研究發(fā)展規(guī)劃項目基金資助開發(fā)，收錄網(wǎng)頁約6000萬，利用教育網(wǎng)優(yōu)勢，有強大的ftp搜索功能其它主要英文搜索引擎AOLAltaVistaAskJeevesMSNSearchLookSmartYahoo中文搜索引擎

中搜/全名“中國搜索”，原名“慧聰”，領(lǐng)跑桌面搜索搜狗新浪：愛問搜搜騰訊旗下的搜索引擎網(wǎng)易有道搜索引擎的現(xiàn)狀隨著百度上市和Google正式進入中國，國內(nèi)搜索引擎市場競爭格局將發(fā)生變化。各大搜索引擎廠商營收穩(wěn)步上升，而各主流廠商的用戶市場占有率分別為百度70.68%，Google20.90%，搜搜4.44%，Yahoo（及3721）1.92%，搜狗1.28%，其他0.79%對比各搜索引擎結(jié)果:輸入“和服”Google的檢索結(jié)果排在前30位的網(wǎng)頁絕大多數(shù)為日本的“和服”，說明Google進行了有效的分詞百度基本正確搜狗基本正確部分錯誤結(jié)果[1]重慶“偵探”商標(biāo)注冊成