第四章文本處理

第四章文本處理1從詞到詞項2文本統(tǒng)計3文檔解析4文檔結(jié)構(gòu)和標記5鏈接分析6信息抽取7國際化?目的-識別文本文檔的內(nèi)容和結(jié)構(gòu)?HTML、XML等標記語言文檔解析-解析器使用標簽和其他文檔中的元數(shù)據(jù)來解析文檔的結(jié)構(gòu)，產(chǎn)生包含結(jié)構(gòu)和內(nèi)容的文檔表示-如，對HTML頁面進行結(jié)構(gòu)解析，表示成文檔對象模型（DOM）-要求解析器具有很好的語法容錯性，或者解析之前進行結(jié)構(gòu)梳理-包括文檔內(nèi)容的詞素、詞、短語等元素，DOM結(jié)構(gòu)中的標記屬性、內(nèi)容抽取

?詞素切分-從文檔中的字符序列中獲取詞的過程-英語詞素切分較為簡單，早期系統(tǒng)方法：?一個詞的長度大于等于3?以空格或其他特殊字符結(jié)束的字母數(shù)字串?不區(qū)分大小寫，或直接將大寫字母小寫轉(zhuǎn)化-上述方法對小規(guī)模文檔結(jié)合較為實用，但對大規(guī)模數(shù)據(jù)集合會丟失一些信息-詞素的切分對搜索的有效性影響很大，如?許多三個字符以內(nèi)的短小詞在查詢中也很重要，有時也可其他詞結(jié)合使用，如pm，am等?連字符，有的時候連字符是一個詞的一部分

詞素切分?標簽、URL、代碼及文檔的其它重要部分必須正確解析，這些內(nèi)容的特殊字符非常重要?同一個單詞的大小寫可能意義不一樣，例如，Bush、Apple等?撇號“’”也可能是詞的一部分，例如，所有格?有些數(shù)字，帶小數(shù)的數(shù)字也很重要，例如，產(chǎn)品型號、產(chǎn)品版本號、電話號碼、郵政編碼等-詞素切分時，文檔與查詢詞必須保持一致，否則，有的時候不匹配-為了保證有效匹配，詞素切分應該簡單、靈活，如：?先識別文檔標記或標簽，構(gòu)建每種文檔格式的解析器，該解析器需要具備良好的兼容性?對網(wǎng)頁文檔各主要部分進行詞素切分?還可添加一些規(guī)則，來保證增加有效匹配，如，添加一個規(guī)貝L將包含撇號的詞語轉(zhuǎn)換為不包含撇號的詞語

?自然語言中的許多多功能詞多數(shù)時候沒有實際含義，如限定詞，the、a、an、that、this等，因此需要特殊對待-這些詞極其普遍，多數(shù)高頻詞都屬于這類，記錄這些詞對文檔中的屬性信息還會需要很大的磁盤空間-這些詞很少單獨表達文檔相關(guān)程度的信息，如果不考慮短語情況，這些詞幾乎沒什么幫助?在信息檢索中，上述功能詞還可稱之為停用詞，如果在處理文檔時，遇到停用詞可以停止處理-去除停用詞可減少檢索量，增加檢索效率，也可提高檢索效果

停用詞去除?謹慎去除停用詞-去除太多停用詞將會影響檢索效果?有時會讓合理的查詢沒有返回結(jié)果，如tobeornottobe等-構(gòu)建停用詞表?可以簡單的由詞集前門個高頻詞組成，但是這樣做可能會讓重要的查詢詞包含進來?還可以使用較規(guī)范的標準停用詞表?還可以結(jié)合使用標準停用詞表和高頻詞，手動維護高頻詞列