信息檢索個(gè)人整理

心智模型:產(chǎn)生于用戶頭腦中的關(guān)于一個(gè)產(chǎn)品應(yīng)該具有的概念和行為的知識(shí)。這種知識(shí)可能源自于對(duì)產(chǎn)品的概念和行為的一種期望。實(shí)現(xiàn)模型:技術(shù)和算法實(shí)現(xiàn)，他存在于設(shè)計(jì)人員的頭腦中。表現(xiàn)模型:是指產(chǎn)品的最終外觀以及產(chǎn)品呈現(xiàn)給用戶后，用戶通過觀看或使用后形成的關(guān)于產(chǎn)品如何工作和使用的知識(shí)。這五個(gè)組成部分對(duì)理解信息檢索研究是至關(guān)重要的：社會(huì)情境、信息搜尋者的認(rèn)知空間、界面、信息對(duì)象、信息技術(shù)、權(quán)重（權(quán)值）的直觀含義:一個(gè)term對(duì)于一個(gè)文本的重要程度;即在多大程度上可以將這個(gè)文檔與其他文檔區(qū)別開計(jì)算權(quán)值的兩種簡(jiǎn)單方式：1）項(xiàng)目一出現(xiàn)/不出現(xiàn):1或02）項(xiàng)目一出現(xiàn)的次數(shù):0,1,索引項(xiàng)加權(quán)：給那些經(jīng)常出現(xiàn)在一個(gè)文檔中，而不常出現(xiàn)在其它文檔中的項(xiàng)目以更高的權(quán)重，即讓特別的詞從一般的詞中凸現(xiàn)出來。布爾模型的優(yōu)點(diǎn):1簡(jiǎn)單而整齊，為現(xiàn)代許多商業(yè)系統(tǒng)所用2自我保護(hù)功能，降低用戶對(duì)搜索系統(tǒng)的期望，使自己不在責(zé)任方，檢索結(jié)果不好的原因在于用戶構(gòu)造查詢不好3簡(jiǎn)單、易理解、簡(jiǎn)潔的形式化。缺點(diǎn)：1關(guān)鍵詞沒有權(quán)重區(qū)別2輸出結(jié)果沒有重要性排序3查全率很難控制4要求用戶具備很高的素質(zhì)和語義提取能力向量模型的優(yōu)點(diǎn):索引項(xiàng)的加權(quán)改善了檢索的性能，其部分匹配的策略允許所檢索的文檔與查詢條件相近似，余弦排序公式按照文檔與查詢的相似程度對(duì)文檔進(jìn)行排序。缺點(diǎn)：無法揭示索引項(xiàng)之間的關(guān)系。不加區(qū)別地將其應(yīng)用到所有文檔中，會(huì)影響檢索系統(tǒng)的整體性能概率模型的優(yōu)點(diǎn):1嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)與推到過程作為依據(jù)來計(jì)算相似度2文檔可以按照其相關(guān)概率遞減的順序來排序3采用相關(guān)反饋原理，可進(jìn)一步開發(fā)理論上更為堅(jiān)實(shí)的方法。缺點(diǎn)：1開始時(shí)需要猜想把文檔分為相關(guān)和不相關(guān)的兩個(gè)集合，一般來說很難。2模型沿用了索引詞在文檔中的頻率，假設(shè)索引項(xiàng)獨(dú)立。二值權(quán)重。3索引項(xiàng)權(quán)重計(jì)算沒有考慮詞頻加權(quán)因素采集涉及到的網(wǎng)絡(luò)協(xié)議:URL規(guī)范、HTTP協(xié)議、User-Agent、Robots協(xié)議ROBOTS協(xié)議兩條基本規(guī)則：User-Agent:指明適用該robots.txt文件的爬蟲名稱;Disallow:禁止采集的網(wǎng)頁(yè)或目錄。Disallowdirectory/pic/user-agent:*Disallow:/pic/Disallow:/*.jpg$爬蟲的抓取方式抓取不是一次性行為，各種現(xiàn)實(shí)因素限制下的抓取方式選擇。一般分為累積式抓取與增量式抓取。累積式抓取是指從某一時(shí)間點(diǎn)開始，爬蟲遍歷所能允許存儲(chǔ)和處理的所有網(wǎng)頁(yè)。在理想的軟硬件環(huán)境下，經(jīng)過足夠的運(yùn)行時(shí)間，累積式抓取可以保證抓取的網(wǎng)頁(yè)規(guī)模。由于Web數(shù)據(jù)的動(dòng)態(tài)性，已抓取的網(wǎng)頁(yè)可能出現(xiàn)更新或存在死鏈，因此累積式抓取無法與真實(shí)環(huán)境中的網(wǎng)絡(luò)數(shù)據(jù)保持一致。增量式抓取是指在具有一定量規(guī)模的網(wǎng)頁(yè)集合基礎(chǔ)上，采用更新數(shù)據(jù)的方式選取已在集合中的過時(shí)網(wǎng)頁(yè)進(jìn)行抓取，以保證所抓取的數(shù)據(jù)與真實(shí)網(wǎng)絡(luò)數(shù)據(jù)足夠接近。增量式抓取的前提是，系統(tǒng)己經(jīng)抓取了足夠數(shù)量的網(wǎng)頁(yè)，并具有這些頁(yè)面被抓取的時(shí)間信息。

兩種基本抓取策略:深度優(yōu)先，是指當(dāng)爬蟲訪問某一網(wǎng)頁(yè)時(shí)，跟蹤淺層頁(yè)面的鏈接并沿著鏈接逐層抓取深層頁(yè)面，只到最深層頁(yè)面無導(dǎo)出鏈接為止時(shí)，返回淺層頁(yè)面的一種方式，深度優(yōu)先有利于內(nèi)頁(yè)的抓取。廣度優(yōu)先，是指爬蟲會(huì)先抓取某一網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。廣度優(yōu)先有利于提高搜索引擎的工作效率。正則表達(dá)式應(yīng)用舉例電子郵件地址(\w+\.)*\w+@(\w+\.)+[A-Za-z]+URL地址http://[-\w.]+(:\d+)?超鏈接va.*?href=\"(.*?)\“?*?>身份證號(hào)碼中提取籍貫、出生日期、性別等，18位身份證號(hào)，前兩位是省份，從第7位開始的8位數(shù)字是出聲日期，第17位數(shù)字表示性別，偶數(shù)女，奇數(shù)男人代表字符串的開頭$代表字符串的結(jié)束[]匹配指定一堆字符中的一個(gè)次次次次?表示前一字符模式可以被重復(fù)0次或1次次次次+表示前一字符模式可以被重復(fù)1次或n*表示前一字符模式可以被重復(fù)0次或n{x,y)匹表示前一字符模式可以重復(fù)x-y()子表達(dá)式丨用來指定幾個(gè)規(guī)則只要匹配一個(gè)規(guī)則即成匹配，相當(dāng)于OR字與詞：中文不像英文那樣在詞與詞之間有空格，字與字、詞與詞之間沒有顯性的界限標(biāo)志。那么切分的粒度，基于單字與基于詞的兩種基本思路。從檢索的語義考慮，切分詞是我們著力解決的;盡可能準(zhǔn)確地切分出詞是中文信息處理與索引構(gòu)建的基礎(chǔ)保障。交集型切分歧義：一如果滿足AX,XB同時(shí)為詞(A,X,B分別為漢字串)，漢字串AXB被稱作交集型切分歧義。組合型切分歧義：如果A,B,AB同時(shí)為詞，漢字串AB被稱作組合型切分歧義。詞干提取在信息檢索中的作用：提高檢索的查全率和減少索引文件的大小。詞表的作用:解決了詞的定義問題、減小專有名詞的識(shí)別難度、能夠解決無歧義的分詞問題。詞匯控制的工具：分類詞表、主題詞表、分類主題一體化詞表。倒排文檔:將主文檔中的可檢字段抽出，按某種順序重新排列起來所形成的一種索引文檔。由詞匯表+記錄表組成。(或關(guān)鍵字，目長(zhǎng)，記錄號(hào)集合)。詞匯表是文檔或文檔集合中所包含的所有不同單詞的集合;記錄表是對(duì)詞匯表中每一個(gè)單詞，其在文檔中出現(xiàn)的位置構(gòu)成的列表。倒排文檔的建立：1,、索引詞選擇2、對(duì)抽出的內(nèi)容進(jìn)行排序，便于歸并相同內(nèi)容3、對(duì)形同內(nèi)容進(jìn)行歸并，把合并后的內(nèi)容放入倒排文檔的主鍵字段，統(tǒng)計(jì)每一數(shù)據(jù)的頻次作為目長(zhǎng)，把每一內(nèi)容后的記錄號(hào)順序放入記錄號(hào)集合字段。Lucene索引創(chuàng)建的基本步驟1、 創(chuàng)建Directory2、 創(chuàng)建IndexWriter3、 創(chuàng)建Document對(duì)象4、 為Document添加Field5、 通過IndexWriter添加文檔到索引6、 關(guān)閉writer.close()代碼publicclasshelloLucene{publicvoidindex(){IndexWriterwriter=null;try{〃1.創(chuàng)建Directory;//Directorydirectory=newRAMDirectory();Directorydirectory=FSDirectory.open(newFile("/users/fanw17/desktop/Lucene/index01"));//2.創(chuàng)建IndexWriter；//IndexWriterConfigiwc=newIndexWriterConfig(Version.LUCENE_35,newStandardAnalyzer(Version.LUCENE_35));writer=newIndexWriter(directory,iwc);//3.創(chuàng)建Document對(duì)象；Documentdoc=null;//4.為Document添加FieldFilef=newFile("/users/fanw17/desktop/Lucene/example");for(Filefile:f.listFiles()){doc=newDocument();doc.add(newField("content",newFileReader(file)));doc.add(newField("filename",file.getName(),Field.Store.YES,Field.Index.NOT_ANALYZED));doc.add(newField("path",file.getAbsolutePath(),Field.Store.YES,Field.Index.NOT_ANALYZED));//5.通過IndexWriter添加文檔到索引中writer.addDocument(doc);}}搜索實(shí)現(xiàn)的基本步驟1、 創(chuàng)建Directory2、 創(chuàng)建IndexReader3、 根據(jù)IndexReader創(chuàng)建IndexSearcher4、 創(chuàng)建用戶的查詢輸入Query5、 根據(jù)Searcher搜索并且返回TopDocs6、 根據(jù)TopDocs獲取ScoreDoc對(duì)象7、 根據(jù)Searcher和ScoreDoc對(duì)象獲取具體的Document對(duì)象8、 根據(jù)Document對(duì)象獲取具體的值9、 關(guān)閉Reader代碼：publicvoidsearcher(){try{〃1、創(chuàng)建Directorydirectory=FSDirectory.open(newFile("d:/lucene/indexXX"));〃創(chuàng)建索引的位置指定〃2、創(chuàng)建IndexReaderIndexReaderreader=IndexReader.open(directory);〃3、根據(jù)IndexReader創(chuàng)建IndexSearcherIndexSearchersearcher=newIndexSearcher(reader);〃4、創(chuàng)建用戶的查詢輸入Query。〃4.1首先通過parser來確定要搜索的內(nèi)容，第二個(gè)參數(shù)表示搜索的字段，分詞器為標(biāo)準(zhǔn)分詞器；QueryParserparser=newQueryParser(Version.LUCENE_35,"content",newStandardAnalyzer(Version.LUCENE_35));〃4.2通過parser傳遞的參數(shù)，創(chuàng)建查詢對(duì)象，這里為搜索包含以下關(guān)鍵詞的文檔Queryquery=parser.parse("Dobby");〃5、根據(jù)Searcher搜索并且返回TopDocsTopDocstds=searcher.search(query,10);〃6、根據(jù)TopDocs獲取ScoreDoc對(duì)象ScoreDoc[]sds=tds.scoreDocs;for(ScoreDocsd:sds){〃7、根據(jù)Searcher和ScoreDoc對(duì)象獲取具體的Document對(duì)象Documentd=searcher.doc(sd.doc);〃8、根據(jù)Document對(duì)象獲取具體的值System.out.println(d.get("filename")+"["+d.get("path")+"]");}〃9、關(guān)閉Readerreader.close();}catch(CorruptIndexExceptione){e.printStackTrace();}catch(IOExceptione){e.printStackTrace();}catch(ParseExceptione){e.printStackTrace();}搜索、瀏覽與導(dǎo)航的辯證關(guān)系廣義的搜索是人類的一項(xiàng)基本交互行為。在計(jì)算機(jī)領(lǐng)域中將搜索定義為：計(jì)算機(jī)通過匹配用戶的輸入，檢索出相關(guān)信息。通常我們所說的搜索一般是指知道要找什么，將需求表達(dá)為關(guān)鍵詞，提交到搜索引擎得到相關(guān)信息。瀏覽可以視為搜索的一個(gè)特定類型，包括無目的的掃視和目標(biāo)導(dǎo)向的搜索。有目的的瀏覽依賴于信息架構(gòu)，結(jié)構(gòu)是瀏覽的一個(gè)重要基礎(chǔ)。用戶瀏覽也是一個(gè)學(xué)習(xí)和認(rèn)識(shí)深化的過程.導(dǎo)航是搜索活動(dòng)的一個(gè)輔助機(jī)制，幫助用戶在瀏覽過程中定位和指明方向。導(dǎo)航結(jié)構(gòu)建立在信息架構(gòu)之上，強(qiáng)調(diào)鏈接之間的路徑設(shè)計(jì)。一種觀點(diǎn):將搜索與瀏覽作為兩種基本搜尋行為，將導(dǎo)航作為輔助機(jī)制融入二者之中。PageRank是基于「從許多優(yōu)質(zhì)的網(wǎng)頁(yè)鏈接過來的網(wǎng)頁(yè)，必定還是優(yōu)質(zhì)網(wǎng)頁(yè)丨的回歸關(guān)系，來判定所有網(wǎng)頁(yè)的重要性。影響因素：1反向鏈接數(shù)(單純的意義上的受歡迎度指標(biāo)）2反向鏈接是否來自推薦度咼的頁(yè)面（有根據(jù)的受歡迎指標(biāo)）3反向鏈接源頁(yè)面的鏈接數(shù)（被選中的幾率指標(biāo)）為什么還要有HITS算法:PageRank算法中對(duì)于向外鏈接的權(quán)值貢獻(xiàn)是平均的，即不考慮不同鏈接的重要性。而WEB的鏈接具有以下特征:1.有些鏈接具有注釋性，也有些鏈接是起導(dǎo)航或廣告作用。有注釋性的鏈接才用于權(quán)威判斷。2?基于商業(yè)或競(jìng)爭(zhēng)因素考慮，很少有WEB網(wǎng)頁(yè)指向其競(jìng)爭(zhēng)領(lǐng)域的權(quán)威網(wǎng)頁(yè)。3?權(quán)威網(wǎng)頁(yè)很少具有顯式的描述，比如Google主頁(yè)不會(huì)明確給出WEB搜索引擎之類的描述信息?？梢娖骄姆植紮?quán)值不符合鏈接的實(shí)際情況 一HITS算法是HypertextInducedTopicSearch的簡(jiǎn)寫.與PageRank采用的靜態(tài)分級(jí)算法不同，HITS是査詢相關(guān)的。當(dāng)用戶提交一個(gè)查詢請(qǐng)求后，HITS首先展開一個(gè)由搜索引擎返回的相關(guān)網(wǎng)頁(yè)列表，然后給出兩個(gè)擴(kuò)展網(wǎng)頁(yè)集合的評(píng)級(jí)，分別為權(quán)威等級(jí)和中心等級(jí)。HITS優(yōu)點(diǎn):它根據(jù)查詢主題來為網(wǎng)頁(yè)評(píng)級(jí)，這樣能夠提供與查詢更加相關(guān)的權(quán)威頁(yè)和中心頁(yè)。缺點(diǎn)：1容易作弊:因?yàn)樵谧约旱木W(wǎng)頁(yè)上添加大量的指向權(quán)威頁(yè)的鏈接是很容易的，所以很容易影響HITS算法。2話題漂移:在擴(kuò)充的根集中很多網(wǎng)頁(yè)可能和搜索話題無關(guān)。3査詢時(shí)低效：查詢時(shí)計(jì)算是很慢的。尋找根集，擴(kuò)展根集然后計(jì)算特征向量都是非常費(fèi)時(shí)的操作.PageRank與HITS:它們都利用了網(wǎng)頁(yè)和超鏈組成的有向圖，根據(jù)相互鏈接關(guān)系進(jìn)行遞歸運(yùn)算。兩者又有很大的區(qū)別，主要在于運(yùn)算的時(shí)機(jī)：1、Pagerank是在網(wǎng)頁(yè)搜集告一段落時(shí)，離線的使用一定的算法計(jì)算每個(gè)網(wǎng)頁(yè)的權(quán)值，在檢索時(shí)只需要從數(shù)據(jù)庫(kù)中取出這些數(shù)據(jù)即可，而不用做額外的運(yùn)算，這樣做的好處是檢索的速度快，但喪失了檢索時(shí)的靈活型。2、HITS使用即時(shí)分析運(yùn)算策略，每得到一個(gè)檢索，它都要從數(shù)據(jù)庫(kù)中找到相應(yīng)的網(wǎng)頁(yè)，同時(shí)提取出這些網(wǎng)頁(yè)和鏈接構(gòu)成的有向子圖，再運(yùn)算獲得各個(gè)網(wǎng)頁(yè)的相應(yīng)鏈接權(quán)值。這種方法雖然靈活性強(qiáng)，并且更加精確，但在用戶檢索時(shí)進(jìn)行如此大量的運(yùn)算，檢索效率顯然不高。信息檢索系統(tǒng)的評(píng)價(jià):1功能測(cè)試與分析：側(cè)重于測(cè)試系統(tǒng)的軟件功能是否存在錯(cuò)誤與缺陷，是否符合預(yù)期的設(shè)計(jì)目標(biāo)。往往不具備具體的評(píng)價(jià)標(biāo)準(zhǔn)，難以計(jì)量。2檢索效益評(píng)價(jià)：測(cè)定檢索系統(tǒng)提供的服務(wù)或系統(tǒng)本身投入使用所獲得效益。3性能評(píng)價(jià)：性能評(píng)價(jià)的常用辦法是衡量系統(tǒng)的時(shí)間和空間指標(biāo);對(duì)于檢索系統(tǒng)的性能來說，要求檢索結(jié)果按照相關(guān)度進(jìn)行排序。系統(tǒng)角度的性能評(píng)價(jià)指標(biāo)：相關(guān)性（查全率、查準(zhǔn)率、漏檢率、誤減率）；用戶角度的性能評(píng)價(jià)指標(biāo)：涵蓋率、新穎率、相對(duì)查全率、查全效果信息檢索研究中的相關(guān)性假定:對(duì)于一個(gè)給定的文檔集合和一個(gè)用戶查詢，存在并且只存在一個(gè)與該查詢相目關(guān)的文檔集合。檢索系統(tǒng)的目標(biāo)就在于檢出相關(guān)文檔而排除不相關(guān)文檔。相關(guān)性不是二值評(píng)價(jià)，而是一個(gè)連續(xù)的量，即使進(jìn)行二值評(píng)價(jià)，很多時(shí)候也很難。從人的立場(chǎng)上看，相關(guān)性是：主觀的，依賴于特定用戶的判斷；情景相關(guān)的，依賴于用戶的需求；認(rèn)知的，依賴于人的認(rèn)知和行為能力；時(shí)變的，隨著時(shí)間而變化査全率：檢出的相關(guān)文檔占相關(guān)文檔總量的百分比査準(zhǔn)率：檢出的相關(guān)文檔占被檢出文檔的百分比。信息檢索評(píng)測(cè)：文本檢索會(huì)議（TextRetrievalConference,TREC）是信息檢索界為進(jìn)行檢索系統(tǒng)和用戶評(píng)價(jià)而舉行的活動(dòng)，它由美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)協(xié)會(huì)和美國(guó)高級(jí)研究計(jì)劃局共同資助，開始于1992年，每年一次，參加者免費(fèi)獲得標(biāo)準(zhǔn)訓(xùn)練和開發(fā)數(shù)據(jù)、參加者在參加比賽時(shí)收到最新的測(cè)試數(shù)據(jù)，并在限定時(shí)間內(nèi)作出答案，返給組織者、組織者對(duì)各參賽者的結(jié)果進(jìn)行評(píng)價(jià)、包括檢索、過濾、問答等多個(gè)主題大多數(shù)信息搜尋模型都是以陳述和圖表形式表示模型是采用數(shù)學(xué)工具，對(duì)現(xiàn)實(shí)世界某種事物或運(yùn)動(dòng)的抽象描述，面對(duì)相同輸入，模型的輸出應(yīng)能無限逼近現(xiàn)實(shí)世界的輸出。信息檢索模型：表示文檔、用戶查詢以及查詢與文檔的關(guān)系的框架Wb信息釆集工作方式:1，收集一部分熱門的、權(quán)威性高的、擁有較多超鏈接的網(wǎng)頁(yè)為起點(diǎn)，這類站點(diǎn)被稱為“種子網(wǎng)頁(yè)集合”2,通過網(wǎng)絡(luò)爬蟲程序訪問