信息檢索評(píng)價(jià)指標(biāo)幻燈片

信息檢索的評(píng)價(jià)指標(biāo)高海燕2010114014信息檢索的評(píng)價(jià)指標(biāo)體系評(píng)價(jià)IR的意義IR評(píng)價(jià)研究的內(nèi)容和程序如何評(píng)價(jià)效果評(píng)價(jià)指標(biāo)分類單個(gè)查詢的評(píng)價(jià)指標(biāo)多個(gè)查詢的評(píng)價(jià)指標(biāo)評(píng)價(jià)IR的意義信息檢索評(píng)價(jià)是對(duì)信息檢索系統(tǒng)性能（主要滿足用戶信息需求的能力）進(jìn)行評(píng)估的活動(dòng)。通過評(píng)估可以評(píng)價(jià)不同技術(shù)的優(yōu)劣，不同因素對(duì)系統(tǒng)的影響，從而促進(jìn)本領(lǐng)域研究水平的不斷提高。信息檢索系統(tǒng)的目標(biāo)是較少消耗情況下盡快、全面返回準(zhǔn)確的結(jié)果。

IR評(píng)價(jià)研究的內(nèi)容效率(Efficiency)—可以采用通常的評(píng)價(jià)方法時(shí)間開銷空間開銷響應(yīng)速度效果(Effectiveness)返回的文檔中有多少相關(guān)文檔所有相關(guān)文檔中返回了多少返回得靠不靠前其他指標(biāo)覆蓋率(Coverage)訪問量數(shù)據(jù)更新速度IR評(píng)價(jià)研究的程序一項(xiàng)完整的檢索評(píng)價(jià)工作可分為以下5個(gè)步驟:（1）確定評(píng)價(jià)范圍和目標(biāo)（2）選擇評(píng)價(jià)方式（3）設(shè)計(jì)或者制定評(píng)價(jià)方案（4）實(shí)施評(píng)價(jià)方案（5）總結(jié)與評(píng)價(jià)結(jié)論的形成

如何評(píng)價(jià)效果相同的文檔集合，相同的查詢主題集合，相同的評(píng)價(jià)指標(biāo)，不同的檢索系統(tǒng)進(jìn)行比較。TheCranfieldExperiments,CyrilW.Cleverdon,1957–1968(上百篇文檔集合)SMARTSystem,GeraldSalton,1964-1988(數(shù)千篇文檔集合)TREC(TextRetrievalConference),DonnaHarman,美國(guó)標(biāo)準(zhǔn)技術(shù)研究所,1992-(上百萬篇文檔)，信息檢索的“奧運(yùn)會(huì)”

評(píng)價(jià)指標(biāo)分類

對(duì)單個(gè)查詢進(jìn)行評(píng)估的指標(biāo)對(duì)單個(gè)查詢得到一個(gè)結(jié)果對(duì)多個(gè)查詢進(jìn)行評(píng)估的指標(biāo)(通常用于對(duì)系統(tǒng)的評(píng)價(jià))求平均9相關(guān)文本檢索出的文本全部文本集合檢出且相關(guān)未檢出且相關(guān)檢出且不相關(guān)未檢出且不相關(guān)檢出未檢出相關(guān)不相關(guān)單個(gè)查詢的評(píng)價(jià)指標(biāo)（1）召回率(Recall)=檢出的相關(guān)文檔數(shù)/相關(guān)文檔數(shù)，也稱為查全率，R∈[0,1]準(zhǔn)確率(Precision)=檢出的相關(guān)文檔數(shù)/檢出文檔數(shù)，也稱為查準(zhǔn)率，P∈[0,1]假設(shè)：文本集中所有文獻(xiàn)已進(jìn)行了檢查10舉例Example

Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}通過某一個(gè)檢索算法得到的排序結(jié)果：

1.d123 6.d9 11.d38

2.d84 7.d511 12.d48

3.d56 8.d129 13.d250

4.d6 9.d187 14.d113

5.d8 10.d25 15.d3(precision,recall)(100%,10%)(66%,20%)(50%,30%)(40%,40%)(33%,50%)關(guān)于召回率的計(jì)算對(duì)于大規(guī)模語料集合，列舉每個(gè)查詢的所有相關(guān)文檔是不可能的事情，因此，不可能準(zhǔn)確地計(jì)算召回率緩沖池(Pooling)方法：對(duì)多個(gè)檢索系統(tǒng)的TopN個(gè)結(jié)果組成的集合進(jìn)行標(biāo)注，標(biāo)注出的相關(guān)文檔集合作為整個(gè)相關(guān)文檔集合。這種做法被驗(yàn)證是可行的，在TREC會(huì)議中被廣泛采用。關(guān)于召回率和正確率的討論（2）雖然Precision和Recall都很重要，但是不同的應(yīng)用、不用的用戶可能會(huì)對(duì)兩者的要求不一樣。因此，實(shí)際應(yīng)用中應(yīng)該考慮這點(diǎn)。垃圾郵件過濾：寧愿漏掉一些垃圾郵件，但是盡量少將正常郵件判定成垃圾郵件。有些用戶希望返回的結(jié)果全一點(diǎn)，他有時(shí)間挑選；有些用戶希望返回結(jié)果準(zhǔn)一點(diǎn)，他不需要結(jié)果很全就能完成任務(wù)。單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(3)—P和R融合F值：召回率R和正確率P的調(diào)和平均值，ifP=0orR=0,thenF=0,else采用下式計(jì)算：E值：召回率R和正確率P的加權(quán)平均值，b>1表示更重視P14Example

1.d123 6.d9

11.d38

2.d84 7.d511 12.d48

3.d56 8.d129 13.d250

4.d6 9.d187 14.d113

5.d8 10.d25

15.d3(33.3%,33.3%)(25%,66.6%)(20%,100%)15

R-Precision計(jì)算序列中前R個(gè)位置文獻(xiàn)的準(zhǔn)確率R指與當(dāng)前查詢相關(guān)的文獻(xiàn)總數(shù)1.d123 6.d9

2.d84 7.d511 3.d56 8.d129 4.d6 9.d187

5.d8 10.d25R=10and#relevant=4R-precision=4/10=0.41. d123

2. d84

3. 56

R=3and#relevant=1R-precision=1/3=0.33單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(4)

—引入序的作用單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(5)

—引入序的作用正確率-召回率曲線(precisionversusrecallcurve)檢索結(jié)果以排序方式排列，用戶不可能馬上看到全部文檔，因此，在用戶觀察的過程中，正確率和召回率在不斷變化(vary)?？梢郧蟪鲈谡倩芈史謩e為：0%,10%,20%,30%,…,90%,100%上對(duì)應(yīng)的正確率，然后描出圖像。P-R曲線的例子某個(gè)查詢q的標(biāo)準(zhǔn)答案集合為：Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}某個(gè)IR系統(tǒng)對(duì)q的檢索結(jié)果如下：1.d123

R=0.1，P=16.d9R=0.3，P=0.511.d382.d847.d51112.d483.d56R=0.2，P=0.67

8.d12913.d2504.d69.d18714.d1135.d810.d25R=0.4，P=0.415.d3

R=0.5，P=0.33P-R曲線的例子P-R曲線的插值問題對(duì)于前面的例子，假設(shè)Rq={d3,d56,d129}3.d56R=0.33,P=0.33;8.d129R=0.66,P=0.25;15.d3R=1,P=0.2不存在10%,20%,…,90%的召回率點(diǎn)，而只存在33.3%,66.7%,100%三個(gè)召回率點(diǎn)在這種情況下，需要利用存在的召回率點(diǎn)對(duì)不存在的召回率點(diǎn)進(jìn)行插值(interpolate)對(duì)于t%，如果不存在該召回率點(diǎn)，則定義t%為從t%到(t+10)%中最大的正確率值。對(duì)于上例，0%,10%,20%,30%上正確率為0.33，40%~60%對(duì)應(yīng)0.25，70%以上對(duì)應(yīng)0.2P-R曲線的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：簡(jiǎn)單直觀既考慮了檢索結(jié)果的覆蓋度，又考慮了檢索結(jié)果的排序情況缺點(diǎn)：?jiǎn)蝹€(gè)查詢的P-R曲線雖然直觀，但是難以明確表示兩個(gè)查詢的檢索結(jié)果的優(yōu)劣單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(6)

—P-R曲線的單一指標(biāo)BreakPoint：P-R曲線上P=R的那個(gè)點(diǎn)這樣可以直接進(jìn)行單值比較11點(diǎn)平均正確率(11pointaverageprecision)：在召回率分別為0,0.1,0.2,…,1.0的十一個(gè)點(diǎn)上的正確率求平均，等價(jià)于插值的APP-R曲線中的BreakpointBreakpoint單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(7)

—引入序的作用平均正確率(AveragePrecision,AP)：對(duì)不同召回率點(diǎn)上的正確率進(jìn)行平均未插值的AP:某個(gè)查詢Q共有6個(gè)相關(guān)結(jié)果，某系統(tǒng)排序返回了5篇相關(guān)文檔，其位置分別是第1，第2，第5，第10，第20位，則AP=(1/1+2/2+3/5+4/10+5/20+0)/6插值的AP:在召回率分別為0,0.1,0.2,…,1.0的十一個(gè)點(diǎn)上的正確率求平均，等價(jià)于11點(diǎn)平均只對(duì)返回的相關(guān)文檔進(jìn)行計(jì)算的AP,AP=(1/1+2/2+3/5+4/10+5/20)/5，傾向那些快速返回結(jié)果的系統(tǒng)，沒有考慮召回率單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(8)

—不考慮召回率Precision@N：在第N個(gè)位置上的正確率，對(duì)于搜索引擎，考慮到大部分作者只關(guān)注前一、兩頁(yè)的結(jié)果，P@10,P@20對(duì)大規(guī)模搜索引擎非常有效NDCG：后面詳細(xì)介紹。單個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(8)

—不考慮召回率Bpref

：Binarypreference，2005年首次引入到TREC的Terabyte任務(wù)中只考慮對(duì)返回結(jié)果列表中的經(jīng)過判斷后的文檔進(jìn)行評(píng)價(jià)在相關(guān)性判斷完整的情況下，bpref具有與MAP相一致的評(píng)價(jià)結(jié)果在測(cè)試集相關(guān)性判斷不完全的情況下，bpref依然具有很好的應(yīng)用這個(gè)評(píng)價(jià)指標(biāo)主要關(guān)心不相關(guān)文檔在相關(guān)文檔之前出現(xiàn)的次數(shù)。具體公式為：25舉例下面舉個(gè)例子來說明bpref的性能，假設(shè)檢索結(jié)果集S為：S={D1,D2

·,D3*,D4*,D5

·,D6,D7

·,D8,D9,D10}其中D2、D5

和D7是相關(guān)文檔，D3

和D4為未經(jīng)判斷的文檔。對(duì)這個(gè)例子來說，R=3;bpref=1/3[(1-1/3)+(1-1/3)+(1-2/3)]26多個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(9)平均的求法：宏平均（Macro

Average）：對(duì)每個(gè)查詢求出某個(gè)指標(biāo)，然后對(duì)這些指標(biāo)進(jìn)行算術(shù)平均微平均（Micro

Average）：將所有查詢視為一個(gè)查詢，將各種情況的文檔總數(shù)求和，然后進(jìn)行指標(biāo)的計(jì)算如：Micro

Precision=（對(duì)所有查詢檢出的相關(guān)文檔總數(shù))/(對(duì)所有查詢檢出的文檔總數(shù))宏平均對(duì)所有查詢一視同仁,微平均受返回相關(guān)文檔數(shù)目比較大的查詢影響多個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(10)宏平均和微平均的例子

兩個(gè)查詢q1、q2的標(biāo)準(zhǔn)答案數(shù)目分別為100個(gè)和50個(gè)，某系統(tǒng)對(duì)q1檢索出80個(gè)結(jié)果，其中正確數(shù)目為40，系統(tǒng)對(duì)q2檢索出30個(gè)結(jié)果，其中正確數(shù)目為24，則：P1=40/80=0.5,R1=40/100=0.4P2=24/30=0.8,R2=24/50=0.48MacroP=(P1+P2)/2=0.65MacroR=(R1+R2)/2=0.44MicroP=(40+24)/(80+30)=0.58MicroR=(40+24)/(100+50)=0.43多個(gè)查詢?cè)u(píng)價(jià)指標(biāo)(11)MAP(MeanAP)：對(duì)所有查詢的AP求宏平均多個(gè)查詢下的查準(zhǔn)率/查全率曲線，可通過計(jì)算其平均查準(zhǔn)率得到，公式如下(Nq為查詢的數(shù)量)：P(r)是指查全率為r時(shí)的平均查準(zhǔn)率,pi(r)指查全率為r時(shí)的第i個(gè)查詢的查準(zhǔn)率.面向用戶的評(píng)價(jià)指標(biāo)前面的指標(biāo)都沒有考慮用戶因素。而相關(guān)不相關(guān)由用戶判定。假定用戶已知的相關(guān)文檔集合為U，檢索結(jié)果和U的交集為Ru，則可以定義覆蓋率（Coverage)

C=|Ru|/|U|，表示系統(tǒng)找到的用戶已知的相關(guān)文檔比例。假定檢索結(jié)果中返回一些用戶以前未知的相關(guān)文檔Rk，則可以定義出新穎率（Novelty

Ratio）N=|Rk|/(|Ru|+|Rk|)，表示系統(tǒng)返回的新相關(guān)文檔的比例。相對(duì)查全率：檢索系統(tǒng)檢索出的相關(guān)文檔數(shù)量與用戶期望得到的相關(guān)文檔的數(shù)量的比例。查全努力：用戶期望得到的相關(guān)文檔與為了得到這些相關(guān)文檔而在檢索結(jié)果中審查文檔數(shù)量的比率。31圖示覆蓋率和新穎率相關(guān)文獻(xiàn)|R|結(jié)果集|A|用戶已知的相關(guān)文獻(xiàn)|U|檢出的用戶以前未知的相關(guān)文獻(xiàn)|Ru|檢出的用戶已知的相關(guān)文獻(xiàn)|Rk|搜索引擎的性能評(píng)價(jià)研究及評(píng)價(jià)指標(biāo)1.搜索引擎性能評(píng)價(jià)指標(biāo)（1）數(shù)據(jù)庫(kù)規(guī)模與內(nèi)容：收錄范圍、數(shù)據(jù)庫(kù)內(nèi)容、更新頻率、重復(fù)率、死鏈接率等；（2）索引方法：索引方式、索引范圍與深度等；（3）檢索功能：基本檢索功能和高級(jí)檢索功能（4）檢索結(jié)果處理：排序方式、顯示內(nèi)容/格式、后處理功能（5）分類功能：分類類目體系的深度、數(shù)量、合理性等（6）用戶界面：界面布局、聯(lián)機(jī)幫助、界面定制、界面廣告量（7）漢字處理：詞語切分、多內(nèi)碼處理/轉(zhuǎn)換、中英文混合檢索（8）其他：響應(yīng)時(shí)間、系統(tǒng)穩(wěn)定性等搜索引擎的評(píng)價(jià)指標(biāo)查全率與查準(zhǔn)率研究的新進(jìn)展：相關(guān)性范疇范疇0主要包括重復(fù)鏈接、死鏈接、不相關(guān)鏈接范疇1主要包括技術(shù)上的相關(guān)鏈接，意指檢索僅在技術(shù)上滿足用戶提問式，但與用戶的需求沒有相關(guān)性或者有相關(guān)性，但是內(nèi)容太少或不充分范疇2主要包括潛在有用的鏈接，例如與用戶需求某個(gè)方面有關(guān)但不詳盡，或者僅給出了指向?qū)儆诜懂?頁(yè)面的鏈接范疇3主要包括十分有用的鏈接搜索引擎的評(píng)價(jià)指標(biāo)前X命中記錄查準(zhǔn)率P(X)：該指標(biāo)主要用來反映信息檢索系統(tǒng)在前X條檢索結(jié)果中向用戶提供相關(guān)信息的能力。下面以P(20)為例，說明P(X)的含義與計(jì)算方法。①對(duì)前20條命中結(jié)果記錄進(jìn)行相關(guān)性判斷和檢驗(yàn)，并對(duì)每條結(jié)果賦予相關(guān)系數(shù)0或1，對(duì)應(yīng)到前面的“相關(guān)性范疇”概念，凡屬于范疇3的結(jié)果記錄均是相關(guān)的，凡屬于范疇0的結(jié)果記錄均是不相關(guān)的，而屬于范疇1、2的結(jié)果記錄則可能相關(guān)，也可能不相關(guān)。搜索引擎的評(píng)價(jià)指標(biāo)其次，把前20條結(jié)果記錄分成3組：1-3；4-10；11-20，并分別賦予它們不同的權(quán)值。搜索引擎在對(duì)檢索結(jié)果輸出或顯示時(shí)，都采用了某種相關(guān)性排序方法，排在前面的結(jié)果記錄在理論上應(yīng)有較大的相關(guān)性。這里指定第一組（1—3）的權(quán)值為20，第二組（4—10）的權(quán)值為17，第三組（11—20）的權(quán)值為10.第三，計(jì)算P(20)的分子值：T(1-3)*20+T(4-10)*17+T(11-20)*10。T表示各組結(jié)果記錄中被判斷為相關(guān)的記錄數(shù)。P(20)的分母值：①檢索結(jié)果記錄數(shù)超過20，3*20+7*17+10*10=279②檢索結(jié)果記錄數(shù)不超過20,279-（20-N)*10，N為命中記錄總數(shù)，如某次檢索只返回18條記錄。則分母值=259.其他評(píng)價(jià)指標(biāo)不同的信息檢索應(yīng)用或者任務(wù)還會(huì)采用不同的評(píng)價(jià)指標(biāo)MRR(Mean

ReciprocalRank)：對(duì)于某些IR系統(tǒng)(如問答系統(tǒng)或主頁(yè)發(fā)現(xiàn)系統(tǒng)),只關(guān)心第一個(gè)標(biāo)準(zhǔn)答案返回的位置(Rank),越前越好,這個(gè)位置的倒數(shù)稱為RR,對(duì)問題集合求平均,則得到MRR例子：兩個(gè)問題，系統(tǒng)對(duì)第一個(gè)問題返回的標(biāo)準(zhǔn)答案的Rank是2，對(duì)第二個(gè)問題返回的標(biāo)準(zhǔn)答案的Rank是4，則系統(tǒng)的MRR為(1/2+1/4)/2=3/8GMAPGMAP(GeometricMAP):TREC2004Robust任務(wù)引進(jìn)先看一個(gè)例子從MAP（宏平均）來看，系統(tǒng)A好于系統(tǒng)B，但是從每個(gè)查詢來看，3個(gè)查詢中有2個(gè)TopicB比A有提高，其中一個(gè)提高的幅度達(dá)到300%系統(tǒng)TopicAPIncreaseMAP系統(tǒng)ATopic10.02-0.113Topic20.03-Topic30.29-系統(tǒng)BTopic10.08+300%0.107Topic20.04+33.3%Topic30.20-31%GMAP幾何平均值上面那個(gè)例子GMAPa=0.056,GMAPb=0.086GMAPa<GMAPbGMAP和MAP各有利弊,可以配合使用,如果存在難Topic時(shí),GMAP更能體現(xiàn)細(xì)微差別NDCG每個(gè)文檔不僅僅只有相關(guān)和不相關(guān)兩種情況，而是有相關(guān)度級(jí)別，比如0,1,2,3。我們可以假設(shè)，對(duì)于返回結(jié)果：相關(guān)度級(jí)別越高的結(jié)果越多越好相關(guān)度級(jí)別越高的結(jié)果越靠前越好NDCG每一個(gè)文檔都對(duì)它所在的位置有一定的貢獻(xiàn)，其貢獻(xiàn)值與文檔的相關(guān)度有關(guān)，然后，從1到n的所有的位置上的貢獻(xiàn)值都被加起來作為最終的評(píng)價(jià)結(jié)果。這樣，一個(gè)一定長(zhǎng)度的文檔序列被轉(zhuǎn)換成了一個(gè)相關(guān)分值的序列。給定一個(gè)排序后的文檔序列，在第r位的NDCG值NDCG@r的計(jì)算公式為:

NDCG@r＝Nr*(j從1到r的下式的和：2的r（j)-次冪1/log(1+j)),

其中r(j)是第j個(gè)文檔的級(jí)別，Nr是歸一化參數(shù)，它使得最優(yōu)的排序的NDCG@r的值始終為1；如果結(jié)果序列中文檔的個(gè)數(shù)n要少于r，則計(jì)算公式返回NDCG@n的值。

NDCG假設(shè)有四個(gè)不同級(jí)別的貢獻(xiàn)值0、1、2和3，其中3代表最有價(jià)值而0表示沒有價(jià)值。有一個(gè)由上述文檔組成的序列，其各個(gè)位置上的文檔所貢獻(xiàn)分值為G:

G=（3,2,3,0,0,1,2,2,3,0。。）

這