第三章 信息檢索系統(tǒng)的評(píng)價(jià)

第三章信息檢索系統(tǒng)的評(píng)價(jià)評(píng)價(jià)評(píng)價(jià)一般是指評(píng)估某個(gè)系統(tǒng)的性能、某種產(chǎn)品的質(zhì)量、某項(xiàng)技術(shù)的價(jià)值，或者是某項(xiàng)政策的效果等等;競(jìng)技體育：世界記錄vs.世界最好成績(jī)110米欄世界記錄：梅里特，美國(guó)，12’’80男子馬拉松世界最好成績(jī)：保羅·特爾加特，肯尼亞，2小時(shí)4分55秒為什么要對(duì)IR進(jìn)行評(píng)價(jià)？信息檢索評(píng)價(jià)則是指對(duì)信息檢索系統(tǒng)的性能（主要是其滿足用戶信息需求的能力）進(jìn)行評(píng)估的活動(dòng);從信息檢索系統(tǒng)誕生以來(lái)，對(duì)檢索系統(tǒng)的評(píng)價(jià)就一直是推動(dòng)其研究、開(kāi)發(fā)與應(yīng)用的一種主要力量;IR的評(píng)價(jià)指標(biāo)針對(duì)一個(gè)檢索系統(tǒng)，可以從功能和性能兩個(gè)方面對(duì)其進(jìn)行分析評(píng)價(jià)功能評(píng)價(jià)可通過(guò)測(cè)試系統(tǒng)來(lái)判定是否支持某項(xiàng)功能，因此相對(duì)來(lái)說(shuō)較容易性能評(píng)價(jià)對(duì)于檢索系統(tǒng)的性能來(lái)說(shuō)，除了系統(tǒng)的時(shí)間和空間因素之外，要求檢索結(jié)果能夠按照相關(guān)度進(jìn)行排序

性能評(píng)價(jià)指標(biāo)

在評(píng)價(jià)和比較檢索系統(tǒng)的檢索性能需要以下條件：一個(gè)文檔集合C；系統(tǒng)將從該集合中按照查詢要求檢出相關(guān)文檔。一組用戶查詢要求{q1,q2,…,qn}；每個(gè)查詢要求qi描述了用戶的信息需求。對(duì)應(yīng)每個(gè)用戶查詢要求的標(biāo)準(zhǔn)相關(guān)文檔集{R1,R2,…,Rn}；該集合可由人工方式構(gòu)造。一組評(píng)價(jià)指標(biāo)；這些指標(biāo)反映系統(tǒng)的檢索性能。通過(guò)比較系統(tǒng)實(shí)際檢出的結(jié)果文檔集和標(biāo)準(zhǔn)的相關(guān)文檔集，對(duì)它們的相似性進(jìn)行量化，得到這些指標(biāo)值。評(píng)價(jià)任務(wù)示例系統(tǒng)&查詢1234…系統(tǒng)1，查詢1d3d6d8d10系統(tǒng)1，查詢2d1d4d7d11系統(tǒng)2，查詢1d6d7d3d9系統(tǒng)2，查詢2d1d2d4d13整個(gè)文檔集合的劃分Ra未檢索出的不相關(guān)文檔檢索出的不相關(guān)文檔檢索出的相關(guān)文檔未檢索出的相關(guān)文檔檢索出(Retrieved)未檢索出(NotRetrieved)不相關(guān)(NotRelevant)相關(guān)(Relevant)整個(gè)文檔集合C四種關(guān)系的表示檢出且相關(guān)未檢出且相關(guān)檢出且不相關(guān)未檢出且不相關(guān)檢出未檢出相關(guān)不相關(guān)相關(guān)文本檢出相關(guān)文檔相關(guān)文檔檢出文檔檢出不相關(guān)文檔未檢出相關(guān)文檔準(zhǔn)確率和召回率正確率(Precision):檢出的相關(guān)文檔數(shù)與檢出文檔數(shù)的比值，也稱為查準(zhǔn)率；召回率(Recall):系統(tǒng)檢出的相關(guān)文檔數(shù)與實(shí)際相關(guān)文檔數(shù)目的比值，也稱為查全率。示例假設(shè)用戶查詢q為一個(gè)給定的查詢式，而包含q的相關(guān)文檔集合Rq為下面的文檔集合：Rq={d2,d5,d9,d12,d23}而針對(duì)q的檢出相關(guān)文檔集合為：Aq={d3,d4,d5,d6,d8,d10,d12,d19,d20,d23}求檢索的準(zhǔn)確率和召回率。10準(zhǔn)確率和召回率的關(guān)系11101準(zhǔn)確率召回率返回最相關(guān)的文本但是漏掉了很多相關(guān)文本理想情況返回了大多數(shù)相關(guān)文檔但是包含很多垃圾準(zhǔn)確率/召回率曲線假設(shè)用戶查詢q為一個(gè)給定的查詢式，而包含q的相關(guān)文檔集合Rq為下面的文檔集合：Rq={d2,d5,d9,d12,d23}檢索系統(tǒng)對(duì)查詢q返回的前10個(gè)文檔Aq的排序?yàn)椋?.d23

2.d33.d44.d55.d66.d87.d108.d129.d1910.d20準(zhǔn)確率/召回率曲線準(zhǔn)確率00.20.40.60.810.20.40.60.81召回率11點(diǎn)標(biāo)準(zhǔn)召回率計(jì)算召回率分別為0、10%、20%…,100%下的準(zhǔn)確率準(zhǔn)確率00.20.40.60.810.20.40.60.81召回率平均準(zhǔn)確率上述準(zhǔn)確率召回率的值對(duì)應(yīng)一個(gè)查詢每個(gè)查詢對(duì)應(yīng)不同的準(zhǔn)確/召回率曲線為了評(píng)價(jià)某一算法對(duì)于所有測(cè)試查詢的檢索性能，對(duì)每個(gè)召回率水平下的準(zhǔn)確率進(jìn)行平均化處理，公式如下：Nq：是使用的查詢總數(shù)Pi(r)：是召回率為r時(shí)的第i個(gè)查詢的準(zhǔn)確率單值評(píng)價(jià)方法已檢出相關(guān)文檔的平均準(zhǔn)確率均值（MAP）逐個(gè)考察檢出新的相關(guān)文獻(xiàn)，將準(zhǔn)確率平均r為相關(guān)文檔數(shù)。第i個(gè)相關(guān)文檔的位置計(jì)算MAP舉例假設(shè)有兩個(gè)查詢，查詢1有4個(gè)相關(guān)文檔，查詢2有5個(gè)相關(guān)文檔。某系統(tǒng)對(duì)于查詢1檢索出4個(gè)相關(guān)文檔，其排序分別為1,2,4,7；對(duì)于查詢2檢索出3個(gè)相關(guān)文檔，其排序分別為1,3,5。計(jì)算ＭＡＰ的值。單值評(píng)價(jià)方法P@10P@10是系統(tǒng)對(duì)于查詢返回的前10個(gè)結(jié)果的準(zhǔn)確率。例：檢索系統(tǒng)對(duì)查詢q返回的前10個(gè)文檔Aq的排序?yàn)椋?.d23

2.d33.d44.d55.d66.d87.d108.d129.d1910.d20P@10=30%（共有10篇檢出文檔，其中3篇為相關(guān)文檔）單值評(píng)價(jià)方法R準(zhǔn)確率（R-Precision）單個(gè)查詢的R準(zhǔn)確率是檢索出Ｒ篇相關(guān)文檔時(shí)的準(zhǔn)確率；查詢集合中所有查詢的Ｒ準(zhǔn)確率是每個(gè)查詢的Ｒ準(zhǔn)確率的平均值。R-Precision＝前R篇文檔中相關(guān)文檔數(shù)R計(jì)算R準(zhǔn)確率舉例假設(shè)有兩個(gè)查詢，第1個(gè)查詢有50個(gè)相關(guān)文檔，第2個(gè)查詢有10個(gè)相關(guān)文檔。某個(gè)系統(tǒng)對(duì)于第1個(gè)查詢返回的前50個(gè)結(jié)果中有17個(gè)是相關(guān)的，對(duì)于第2個(gè)查詢返回的前10個(gè)結(jié)果中有7個(gè)事相關(guān)的。分別計(jì)算查詢1、查詢2和查詢集合的R準(zhǔn)確率。單值評(píng)價(jià)方法準(zhǔn)確率直方圖多個(gè)查詢的R-Precision測(cè)度用來(lái)比較兩個(gè)算法的檢索紀(jì)錄RPA-B=0:對(duì)于第i個(gè)查詢，兩個(gè)算法有相同的性能RPA-B>0:對(duì)于第i個(gè)查詢，算法A有較好的性能RPA-B<0:對(duì)于第i個(gè)查詢，算法B有較好的性能單值概括0.00.51.01.5-0.5-1.0-1.512345678910QueryNumber28作業(yè)假設(shè)查詢q為一個(gè)給定的用戶查詢，與q相關(guān)的文檔集合Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}通過(guò)某一個(gè)檢索算法得到的排序結(jié)果：

1.d123

6.d9

11.d38

2.d84 7.d511 12.d48

3.d56

8.d129 13.d250

4.d6 9.d187 14.d113

5.d8 10.d25

15.d3

要求1.分別計(jì)算檢索到相關(guān)文檔時(shí)的召回率和準(zhǔn)確率，并繪制準(zhǔn)確率/召回率曲線；

2.采用11點(diǎn)標(biāo)準(zhǔn)召回率方法計(jì)算召回率和準(zhǔn)確率，并繪制插補(bǔ)后的準(zhǔn)確率/召回率曲線；3.計(jì)算MAP值；4.分別計(jì)算檢索返回前10個(gè)結(jié)果和返回前15個(gè)結(jié)果時(shí)的R準(zhǔn)確率。測(cè)試集(TestCollections)組成要素文件集

(DocumentSet;DocumentCollection)查詢問(wèn)題

(Query;Topic)相關(guān)判斷(RelevantJudgment)用途設(shè)計(jì)與發(fā)展:系統(tǒng)測(cè)試評(píng)估:系統(tǒng)效能(Effectiveness)之測(cè)量比較:不同系統(tǒng)與不同技術(shù)間之比較評(píng)比根據(jù)不同的目的而有不同的評(píng)比項(xiàng)目量化的測(cè)量準(zhǔn)則，如Precision與Recall國(guó)外的評(píng)測(cè)TREC評(píng)測(cè)文本檢索會(huì)議（TextRetrievalConference，TREC）是信息檢索(IR)界為進(jìn)行檢索系統(tǒng)和用戶評(píng)價(jià)而舉行的活動(dòng),它由美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)協(xié)會(huì)(NIST)和美國(guó)高級(jí)研究計(jì)劃局(DARPA)（美國(guó)國(guó)防部）共同資助，開(kāi)始于1992年。

NTCIR評(píng)測(cè)NTCIR(NACSISTestCollectionforIRSystems)始于1998