3文檔解析-短語和n元串

3文檔解析-短語和n元串?短語-對(duì)信息檢索很重要，很多檢索詞都是短語組成-找到含有這些短語的文檔是有效的排序算法的一部分?含有查詢短語的文檔一定比含有短語中詞匯的文檔更加相關(guān)-如，查詢“blacktea”，包括查詢短語的文檔比包含black和tea的文檔更加相關(guān)?短語的限定，尤其是修飾部分，會(huì)給檢索的準(zhǔn)確性帶來幫助-如,“tropicalfish”和“fish”-短語影響排序的細(xì)節(jié)?問題與搜索引擎包含的特定檢索模型緊密聯(lián)系?是否應(yīng)該在詞素切分和詞干提取的同時(shí)識(shí)別短語，進(jìn)而來對(duì)短語建立索引，加速查詢處理，提高查詢結(jié)果的相關(guān)度

短語和「元串Odflmltextrategies.carriedouttvyUScompaniesfortheiragrkeulturatarketshareerfsuchchemical^orreportmarketstatisticsfore.fertilize^predictedsales,marketshare,rategies.carriedouttvyUScompaniesfortheiragrkeulturatarketshareerfsuchchemical^orreportmarketstatisticsfore.fertilize^predictedsales,marketshare,^短，語義及識(shí)別項(xiàng)力;-短譜等價(jià)于簡單的名詞短語stimulated^E^nd,pn?art.volumeorsales.?只包含名詞或名詞前的形容詞的序列V岫岫55熾川日網(wǎng)況詢劍臾stratMi?/MN&carried/VBQaut/INby/INU.S./NNPnUR宙您日源粉詢蓋V岫岫55熾川日網(wǎng)況詢劍臾stratMi?/MN&carried/VBQaut/INby/INU.S./NNPnUR宙您日源粉詢蓋&鹽「§原胞浦疽/希孕足Xport/NNpredictlons/NNSfor/lNOocument/NNcompames/NNS . .EMket/NP"周r詞性標(biāo)注器根據(jù)上下文信息對(duì)文本中的每個(gè)詞賦予一個(gè)詞性化r/IN昭「。匚仆”|3勺＞標(biāo)1記咔比七心巳爪囚,y「bim=『PVEf」￥【3dNNN"',ii泌EcidWNN阿田Rer,fN",pEig’dW詞性標(biāo)注器基于統(tǒng)計(jì)或者規(guī)則的方法典,使用人工標(biāo)注的大規(guī)心/總/kIl"N&模語料庫訓(xùn)練般的詞性標(biāo)記包括潮（單數(shù)名詞）、一NNS（復(fù)數(shù)名詞）、VB（動(dòng)詞）、VBD（動(dòng)詞過去式）、VBN（動(dòng)詞過去分詞）、IN（介詞）、JJ（形容詞）、CC（連詞）、PRP（代詞）、MD（情態(tài)助詞）等等-標(biāo)注器識(shí)別短語問題TREC、專利語料庫中高頻簡單名詞短語TREC塔料專利培料頻率短語頻率短塔65824unitedstates975362presentinvention61327articletype191625us.pat33864losangeles147352preferredembodiment18062hongkong95097carbonatoms17788northkorea87903groupconsisting17308newyork81809roomtemperature15513sandiego78458seqid15009orangecounty75850briefdescription12869primeminister66407prioran12799firsttime59828perspectiveview12067sovietunion58724firstembodiment10811russianfederation56715reactionmixture9912unitednations54619detaileddescriptionR127southernCalifornia54117ethylacecatc7640southkorea52195example17620endrecording52003blockdiagram7524Europeanunion46299secondembodiment￥ ~-詞性標(biāo)注可以產(chǎn)生合理的短語，對(duì)于大規(guī)模語料庫，

該方法比較慢，效率低?另外一種方法，在索引中存儲(chǔ)詞的位置信息，在查詢時(shí)利用這個(gè)位置信息識(shí)別短語，該方法靈活?也可以通過對(duì)查詢進(jìn)行詞性標(biāo)注識(shí)別短語，短語不限于緊鄰的詞語，是否在一個(gè)文本窗口內(nèi)出現(xiàn)-N元串?在網(wǎng)頁搜索時(shí)，在查詢階段測(cè)試詞近鄰與否效率較低?在文本階段即可用簡單方法識(shí)別短語，即-任何n個(gè)詞的序列都構(gòu)成一個(gè)短語，這就是門元串-兩個(gè)詞就是二元串，三個(gè)詞就是三元串-字符門元串也有很多應(yīng)用-字符門元串的字符相互重疊，基于門元串的索引比詞索引大-一個(gè)門元串出現(xiàn)的越頻繁，它就越有可能對(duì)應(yīng)一個(gè)有意義的短語-所有門元串構(gòu)成一個(gè)齊普夫分布

-所有n元串構(gòu)成一個(gè)齊普夫分布-一些常見短語會(huì)出現(xiàn)很頻繁，大量短語出現(xiàn)一次-一些常見的短語由停用詞構(gòu)成，可以忽略-N元串規(guī)模大，對(duì)磁盤空間有浪費(fèi)-很多網(wǎng)絡(luò)搜索引擎對(duì)n元串建索引，因?yàn)樗峁┝艘环N在排序中快速融合短語特征的方法-英語中最頻繁的三元串“allrightsreserved”-漢語中“有限責(zé)任公司”是最頻繁的三元串第四章文本處理1從詞到詞項(xiàng)2文本統(tǒng)計(jì)3文檔解析4文檔結(jié)構(gòu)和標(biāo)記5鏈接分析6信息抽取7國際化

文檔結(jié)構(gòu)和標(biāo)記網(wǎng)絡(luò)搜索中，HTML標(biāo)記的結(jié)構(gòu)是排序算法用到的非常重要的特征-