3文檔解析-短語(yǔ)和n元串

3文檔解析-短語(yǔ)和n元串?短語(yǔ)-對(duì)信息檢索很重要，很多檢索詞都是短語(yǔ)組成-找到含有這些短語(yǔ)的文檔是有效的排序算法的一部分?含有查詢短語(yǔ)的文檔一定比含有短語(yǔ)中詞匯的文檔更加相關(guān)-如，查詢“blacktea”，包括查詢短語(yǔ)的文檔比包含black和tea的文檔更加相關(guān)?短語(yǔ)的限定，尤其是修飾部分，會(huì)給檢索的準(zhǔn)確性帶來(lái)幫助-如,“tropicalfish”和“fish”-短語(yǔ)影響排序的細(xì)節(jié)?問(wèn)題與搜索引擎包含的特定檢索模型緊密聯(lián)系?是否應(yīng)該在詞素切分和詞干提取的同時(shí)識(shí)別短語(yǔ)，進(jìn)而來(lái)對(duì)短語(yǔ)建立索引，加速查詢處理，提高查詢結(jié)果的相關(guān)度

短語(yǔ)和「元串Odflmltextrategies.carriedouttvyUScompaniesfortheiragrkeulturatarketshareerfsuchchemical^orreportmarketstatisticsfore.fertilize^predictedsales,marketshare,rategies.carriedouttvyUScompaniesfortheiragrkeulturatarketshareerfsuchchemical^orreportmarketstatisticsfore.fertilize^predictedsales,marketshare,^短，語(yǔ)義及識(shí)別項(xiàng)力;-短譜等價(jià)于簡(jiǎn)單的名詞短語(yǔ)stimulated^E^nd,pn?art.volumeorsales.?只包含名詞或名詞前的形容詞的序列V岫岫55熾川日網(wǎng)況詢劍臾stratMi?/MN&carried/VBQaut/INby/INU.S./NNPnUR宙您日源粉詢蓋V岫岫55熾川日網(wǎng)況詢劍臾stratMi?/MN&carried/VBQaut/INby/INU.S./NNPnUR宙您日源粉詢蓋&鹽「§原胞浦疽/希孕足Xport/NNpredictlons/NNSfor/lNOocument/NNcompames/NNS . .EMket/NP"周r詞性標(biāo)注器根據(jù)上下文信息對(duì)文本中的每個(gè)詞賦予一個(gè)詞性化r/IN昭「。匚仆”|3勺＞標(biāo)1記咔比七心巳爪囚,y「bim=『PVEf」￥【3dNNN"',ii泌EcidWNN阿田Rer,fN",pEig’dW詞性標(biāo)注器基于統(tǒng)計(jì)或者規(guī)則的方法典,使用人工標(biāo)注的大規(guī)心/總/kIl"N&模語(yǔ)料庫(kù)訓(xùn)練般的詞性標(biāo)記包括潮（單數(shù)名詞）、一NNS（復(fù)數(shù)名詞）、VB（動(dòng)詞）、VBD（動(dòng)詞過(guò)去式）、VBN（動(dòng)詞過(guò)去分詞）、IN（介詞）、JJ（形容詞）、CC（連詞）、PRP（代詞）、MD（情態(tài)助詞）等等-標(biāo)注器識(shí)別短語(yǔ)問(wèn)題TREC、專利語(yǔ)料庫(kù)中高頻簡(jiǎn)單名詞短語(yǔ)TREC塔料專利培料頻率短語(yǔ)頻率短塔65824unitedstates975362presentinvention61327articletype191625us.pat33864losangeles147352preferredembodiment18062hongkong95097carbonatoms17788northkorea87903groupconsisting17308newyork81809roomtemperature15513sandiego78458seqid15009orangecounty75850briefdescription12869primeminister66407prioran12799firsttime59828perspectiveview12067sovietunion58724firstembodiment10811russianfederation56715reactionmixture9912unitednations54619detaileddescriptionR127southernCalifornia54117ethylacecatc7640southkorea52195example17620endrecording52003blockdiagram7524Europeanunion46299secondembodiment￥ ~-詞性標(biāo)注可以產(chǎn)生合理的短語(yǔ)，對(duì)于大規(guī)模語(yǔ)料庫(kù)，

該方法比較慢，效率低?另外一種方法，在索引中存儲(chǔ)詞的位置信息，在查詢時(shí)利用這個(gè)位置信息識(shí)別短語(yǔ)，該方法靈活?也可以通過(guò)對(duì)查詢進(jìn)行詞性標(biāo)注識(shí)別短語(yǔ)，短語(yǔ)不限于緊鄰的詞語(yǔ)，是否在一個(gè)文本窗口內(nèi)出現(xiàn)-N元串?在網(wǎng)頁(yè)搜索時(shí)，在查詢階段測(cè)試詞近鄰與否效率較低?在文本階段即可用簡(jiǎn)單方法識(shí)別短語(yǔ)，即-任何n個(gè)詞的序列都構(gòu)成一個(gè)短語(yǔ)，這就是門(mén)元串-兩個(gè)詞就是二元串，三個(gè)詞就是三元串-字符門(mén)元串也有很多應(yīng)用-字符門(mén)元串的字符相互重疊，基于門(mén)元串的索引比詞索引大-一個(gè)門(mén)元串出現(xiàn)的越頻繁，它就越有可能對(duì)應(yīng)一個(gè)有意義的短語(yǔ)-所有門(mén)元串構(gòu)成一個(gè)齊普夫分布

-所有n元串構(gòu)成一個(gè)齊普夫分布-一些常見(jiàn)短語(yǔ)會(huì)出現(xiàn)很頻繁，大量短語(yǔ)出現(xiàn)一次-一些常見(jiàn)的短語(yǔ)由停用詞構(gòu)成，可以忽略-N元串規(guī)模大，對(duì)磁盤(pán)空間有浪費(fèi)-很多網(wǎng)絡(luò)搜索引擎對(duì)n元串建索引，因?yàn)樗峁┝艘环N在排序中快速融合短語(yǔ)特征的方法-英語(yǔ)中最頻繁的三元串“allrightsreserved”-漢語(yǔ)中“有限責(zé)任公司”是最頻繁的三元串第四章文本處理1從詞到詞項(xiàng)2文本統(tǒng)計(jì)3文檔解析4文檔結(jié)構(gòu)和標(biāo)記5鏈接分析6信息抽取7國(guó)際化

文檔結(jié)構(gòu)和標(biāo)記網(wǎng)絡(luò)搜索中，HTML標(biāo)記的結(jié)構(gòu)是排序算法用到的非常重要的特征-