課程二十二、lucene4.x實(shí)戰(zhàn)類baidu搜索的大型海量系統(tǒng)課件15lucene高級(jí)進(jìn)階1

北風(fēng)網(wǎng)項(xiàng)目培訓(xùn)講師：tom5（北風(fēng)網(wǎng)版權(quán)所有)第十五講Lucene高級(jí)進(jìn)階在索引中清除Document盡管大多程序關(guān)心的是添加Document到Lucene索引中，一些也需要清除它們。例如，報(bào)紙出版社可能只想在可搜索的索引中保留最近一個(gè)周的有價(jià)值的新聞。另外的程序可能想清除所有包含特定單詞的Document。Document的刪除是在lucene4中是在IndexWriter中完成的，同老版本有的很大的不同iwriter.deleteDocuments(newTerm("content","aork"));QueryParserparser=newQueryParser(Version.LUCENE_43,"content",analyzer);Queryquery=parser.parse("work");iwriter.deleteDocuments(query);代碼實(shí)戰(zhàn)：

DelDocInRAM.javamaxDoc()和numDocs()IndexReader經(jīng)常混淆的兩個(gè)方法的不同：maxDoc()和numDocs()。maxDoc()返回下一個(gè)可用的內(nèi)部Document號(hào)，numDocs()返回索引中的Document的數(shù)目。numDocs()能夠立即感知到Document的刪除，而maxDoc()不能。每個(gè)Lucene的Document有個(gè)唯一的內(nèi)部編號(hào)。這些編碼不是永久分配的，因?yàn)長ucene索引分配時(shí)在內(nèi)部重新分配Document的編號(hào)。因此，你不能假定一個(gè)給定的Document總是擁有同一個(gè)Document編號(hào)。更新索引中的Documentiwc.setOpenMode(OpenMode.CREATE_OR_APPEND);writer.updateDocument(newTerm("path",updateFilePath),doc);代碼實(shí)戰(zhàn)：UpdateDocInRAM.javaCreateIndexFile.javaDelDocIndexFile.javaUpdateDocIndexFile.javaSearchIndexFile.java分頁搜索的實(shí)現(xiàn)Lucene結(jié)果查詢的特殊性：1.無法確認(rèn)總共多少條結(jié)果，只能逐頁往后翻頁，直到查不到結(jié)果為止2.最開始的100條結(jié)果最常用，檢索效率較高，所以100條以內(nèi)的翻頁，先抓去100條結(jié)果。查看代碼樣例：PageSearchIndexFile.javaPageCreateIndexFile.java第七章：排序Lucene默認(rèn)按照文檔得分進(jìn)行排序Luceneusesthisformulatodetermineadocumentscorebasedonaquery.tf(tind)詞條t在文檔d中出現(xiàn)的詞頻idf(t)詞條t在文檔中的倒排詞頻boost(t.fieldind)在索引過程中設(shè)置的字段參數(shù)lengthNorm(t.fieldind)字段的標(biāo)準(zhǔn)化值，表明在字段中存儲(chǔ)了多少詞條，這個(gè)數(shù)值是在索引過程中計(jì)算出來的，并且也存儲(chǔ)在索引中coord(q,d)協(xié)調(diào)因子，它的計(jì)算是基于文檔d中所包含的所有可供查詢的詞條數(shù)量queryNorm(q)在給出每個(gè)查詢條目的方差和后，計(jì)算某查詢的標(biāo)準(zhǔn)化值explain方法publicExplanationexplain(Query

query,int

doc)該方法返回一個(gè)Explanation類型的對(duì)象。Explanation類的toString方法提供的信息，能否將一個(gè)文檔的得分情況詳細(xì)的例舉出來。Stringexplain=searcher.explain(query,hits.id(i)).toString();System.out.println(explain);改變文檔的得分除了內(nèi)置的得分算法外，Lucene還提供了一種方法來改變每個(gè)文檔的得分。初始化Document后，可以使用Document的setBoost方法來改變一下文檔的boost因子。這種做法的實(shí)際目的是將文檔的得分乘以這個(gè)因子，以這個(gè)新的數(shù)作為文檔的得分。publicvoidsetBoost(float

boost)Setsaboostfactorforhitsonanyfieldofthisdocument.Thisvaluewillbemultipliedintothescoreofallhitsonthisdocument.ValuesaremultipliedintothevalueofFieldable.getBoost()ofeachfieldinthisdocument.Thus,thismethodineffectsetsadefaultboostforthefieldsofthisdocument.給Document加分默認(rèn)情況下，所有的Document都沒有加分增量――或者更恰當(dāng)?shù)卣f，它們都有相同的加分因數(shù)1.0。通過改變某個(gè)Document的加分因數(shù)，你可能讓Lucene認(rèn)為它比索引中的其他Document更重要或不重要。執(zhí)行這些的API只需一個(gè)方法，setBoost(float)Documentdoc=newDocument();……doc.setBoost(1.5);……writer.addDocument(doc);Field加分就象你可以增量Document一樣，你也可以增量個(gè)別的字段。當(dāng)你增量Document時(shí)，Lucene內(nèi)部使用相同的增量因數(shù)增量它的每個(gè)字段。field.setBoost(1.2);sort排序如何對(duì)某個(gè)特定的field進(jìn)行排序?實(shí)例化一個(gè)Sort對(duì)象，并使用Searcher的Search(Query,Sort)方法。org.apache.lucene.search.Searcher

search(Query

query,Sort

sort)

R.apache.lucene.search.Sort

Sort(String

field)

Sortsbythetermsinfieldthenbyindexorder(documentnumber).Sort(String

field,boolean

reverse)

Sortspossiblyinreversebythetermsinfieldthenbyindexorder(documentnumber).Sort(String[]

fields)

Sortsinsuccessionbythetermsineachfield.SortFieldSortField構(gòu)造方法publicSortField(String

field,int

type,boolean

reverse)

org.apache.lucene.search.Sort

Sort(SortField

field)

SortsbythecriteriainthegivenSortField.Sort(SortField[]

fields)

SortsinsuccessionbythecriteriaineachSortField.課堂練習(xí)：加入排序功能第八章：過濾搜索的過濾器搜索的過濾器可以減小搜索的范圍，即使搜索的結(jié)果匹配，但由于文檔已經(jīng)被過濾，所以仍然不會(huì)返回給客戶。比如可以用它來實(shí)現(xiàn)一種機(jī)制，保護(hù)某些文檔沒法被檢索到。所有的過濾器都來自一個(gè)抽象的基類org.apache.lucene.search.Filter

publicabstractBitSetbits(IndexReader

reader)throwsIOExceptionjava.util.BitSet此類實(shí)現(xiàn)了一個(gè)按需增長的位向量。位set的每個(gè)組件都有一個(gè)boolean值.java.util.BitSet

類提供了一個(gè)publicBitSet(int

nbits)構(gòu)造方法創(chuàng)建一個(gè)位set，它的初始大小足以顯式表示索引范圍在0到nbits-1的位。所有的位初始均為false。Lucene以兩種取值(true、false)來代表文檔是否被過濾idx1234567891011121314值FTFTTFTTFFTTFF一個(gè)簡單的Filter共設(shè)置3中安全級(jí)別，要求將安全級(jí)別最高的文檔過濾掉SECURITY_ADVANCED=0，SECURITY_MIDDLE1，SECURITY_NORMAL=2，public

classAdvancedSecurityFilterextendsFilter{public

static

final

int

SECURITY_ADVANCED=0;//安全級(jí)別的常量

publicBitSetbits(IndexReaderreader)throwsIOException{finalBitSetbits=newBitSet(reader.maxDoc());//首先初始化一個(gè)BitSet對(duì)象

bits.set(0,bits.size()-1);//先將整個(gè)集合置為true,表示當(dāng)前集合內(nèi)的所有文檔都是可以檢索到的.Termterm=newTerm("securitylevel",SECURITY_ADVANCED+"");//最高安全級(jí)別.TermDocstermDocs=reader.termDocs(term);//從索引中取出最高安全級(jí)別的文檔

while(termDocs.next()){bits.set(termDocs.doc(),false);//遍歷每一個(gè)文檔,將相應(yīng)的set置為false}returnbits;}}一個(gè)簡單的Filter的另一種實(shí)現(xiàn)方法上一個(gè)例子中,使用了IndexReader的較底層的API,還可以在bits方法中進(jìn)行一次查詢,來獲得想要的結(jié)果.public

classAdvancedSecurityFilterextendsFilter{ public

static

final

int

SECURITY_ADVANCED=0;//安全級(jí)別的常量

publicBitSetbits(IndexReaderreader)throwsIOException{ finalBitSetbits=newBitSet(reader.maxDoc());//首先初始化一個(gè)BitSet對(duì)象

bits.set(0,bits.size()-1);//先將整個(gè)集合置為true,表示當(dāng)前集合內(nèi)的所有文檔都是可以檢索到的. Termterm=newTerm("securitylevel",SECURITY_ADVANCED+"");//最高安全級(jí)別. //初始化一個(gè)IndexSearcher對(duì)象, //查找securitylevel這個(gè)field的值是SECURITY_ADVANCED的文檔

IndexSearchersearcher=newIndexSearcher(reader); Hitshits=searcher.search(newTermQuery(term)); for(inti=0;i<hits.length();i++){ bits.set(hits.id(i),false);//遍歷每一個(gè)文檔,將相應(yīng)的set置為false

} returnbits; }}一個(gè)簡單的Filter:在搜索時(shí)應(yīng)用過濾器org.apache.lucene.search.Searcher

提供了在檢索中應(yīng)用Filter的方法publicHitssearch(Query

query,Filter

filter)……publicHitssearch(Query

query,Filter

filter,Sort

sort)Hitshits=searcher.search(q,newAdvancedSecurityFilter());內(nèi)置的過濾器org.apache.lucene.search.Filter

提供了幾個(gè)內(nèi)置的過濾器DirectKnownSubclasses:

BooleanFilter,CachingWrapperFilter,ChainedFilter,ModifiedEntryFilter,PrefixFilter,QueryWrapperFilter,RangeFilter,RemoteCachingWrapperFilter,TermsFilterRangeFilterRangeFilter用于將檢索結(jié)果限定在某個(gè)給定的Field值的范圍內(nèi)publicRangeFilter(String

fieldName,String

lowerTerm,String

upperTerm,boolean

includeLower,boolean

includeUpper)fieldName-field名稱lowerTerm–范圍下界upperTerm–范圍上屆includeLower–下屆是否包含在范圍內(nèi)includeUpper–上屆是否包含在范圍內(nèi)RangeFilter提供了靜態(tài)方法來得到”無上邊界/無下邊界”的RangeFilter.publicstaticRangeFilterLess(String

fieldName,String

upperTerm)publicstaticRangeFilterMore(String

fieldName,String

lowerTerm)R