中文分詞算法在自然語(yǔ)言處理技術(shù)中的研究及應(yīng)用

1、中文分詞算法在自然語(yǔ)言處理技術(shù)中的研究及應(yīng)用摘要：中文分詞是自然語(yǔ)言處理處理的基礎(chǔ)，有著極其廣泛的實(shí)際應(yīng)用?？梢哉f，在各類中文信息處理軟件（系統(tǒng)）中，中文分詞是不可或缺的環(huán)節(jié)。自上個(gè)世紀(jì)末，由于互聯(lián)網(wǎng)在中國(guó)的興起，更對(duì)中文信息處理提出要求，即在語(yǔ)義層面上處理中文，這使得中文分詞算法的研究顯得更加困難，中文分詞技術(shù)的發(fā)展顯得更為重要。關(guān)鍵詞：中文分詞；自然語(yǔ)言處理；算法1.引言伴隨著計(jì)算機(jī)的日益普及，互聯(lián)網(wǎng)的迅猛發(fā)展，文本的數(shù)量（電子郵件、新聞、網(wǎng)頁(yè)、科技論文等）在不停的增長(zhǎng)，因而對(duì)文本作智能化處理以獲取所需信息的需求日益迫切。在這樣的社會(huì)需求下，自然語(yǔ)言處理技術(shù)的地位和作用日益重要。經(jīng)過幾十年

2、的研究，計(jì)算機(jī)處理自然語(yǔ)言的理論基礎(chǔ)日趨成熟，應(yīng)用范圍也越來(lái)越廣，初步形成了面向各種不同應(yīng)用和研究的技術(shù)體系。分詞作為自然語(yǔ)言處理的第一個(gè)步驟，是其他高層應(yīng)用的基礎(chǔ)，起著極其重要的作用。2.分句處理2.1 分句處理技術(shù)簡(jiǎn)介分句處理就是把句子以某些特定的標(biāo)點(diǎn)符號(hào)為分隔劃分為若干個(gè)句子。根據(jù)漢語(yǔ)對(duì)語(yǔ)句、句群和篇章的定義，主要以基本的標(biāo)點(diǎn)符號(hào)：句號(hào)、問號(hào)、感嘆號(hào)、分號(hào)、逗號(hào)等作為子句的分隔符。通過使用這些標(biāo)點(diǎn)符號(hào)對(duì)語(yǔ)言進(jìn)行計(jì)算機(jī)子句分割，完成分句處理。2.2分句算法的設(shè)計(jì)在進(jìn)行分詞之前首先應(yīng)對(duì)句子進(jìn)行分割，分為以句子為單位的一個(gè)個(gè)語(yǔ)句片段。因?yàn)橐远禾?hào)、分號(hào)來(lái)分隔的語(yǔ)句通常能表達(dá)完整的語(yǔ)義信息，所以本

3、文主要使用逗號(hào)、分號(hào)等標(biāo)點(diǎn)符號(hào)也作為子句分句的分隔符號(hào)，以它們?yōu)闃?biāo)志進(jìn)行語(yǔ)句的分句處理。分句處理的具體算法設(shè)計(jì)如下： 判斷答案字符串a(chǎn)String是否為空，若為空則結(jié)束； 取aString左側(cè)的一個(gè)字符存入tChar中，判斷tChar是否是句末標(biāo)點(diǎn)符或回車符，若不是，轉(zhuǎn)； 若tChar是句末標(biāo)點(diǎn)符號(hào)，則子句數(shù)組下標(biāo)加1，并將字符tChar從字符串a(chǎn)String中刪掉，轉(zhuǎn)； 若tChar為回車符或者換行符，去掉aString左側(cè)兩字符，并將字符tChar從字符串a(chǎn)String中刪掉，轉(zhuǎn)。 將tChar合并到子句數(shù)組當(dāng)前元素中，去掉aString左側(cè)一字符，轉(zhuǎn)。上述算法中，aString為待處理的

4、字符串，tChar為字符類型變量。3.分詞處理3.1 中文分詞技術(shù)簡(jiǎn)介中文分詞(Chinese Word Segmentation)指的是將一個(gè)漢字序列切分成一個(gè)一個(gè)單獨(dú)的詞。中文分詞是文本挖掘的基礎(chǔ)，對(duì)于輸入的一段中文，成功的進(jìn)行中文分詞，可以達(dá)到電腦自動(dòng)識(shí)別語(yǔ)句含義的效果。中文分詞技術(shù)屬于自然語(yǔ)言理解的研究范疇。目前主要有三種中文詞算法，分別為基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計(jì)的分詞方法。介紹如下：1) 基于字符串匹配的分詞算法基于字符串匹配的分詞方法也叫機(jī)械匹配法，是分詞技術(shù)的諸多理論算法中較簡(jiǎn)單實(shí)用的一種分詞算法。它是按照一定的策略將待分析的漢字串與一個(gè)充分大的機(jī)器

5、詞典中的詞條進(jìn)行區(qū)配，若在詞典中找到某個(gè)字符串，則匹配成功（識(shí)別出一個(gè)詞）。常用的幾種機(jī)械分詞方法如下： 正向最大匹配法（由左到右的方向） 逆向最大匹配法（由右到左的方向） 最少切分（使每一句中切出的詞數(shù)最?。┻€可以將上述各種方法相互組合。2) 基于統(tǒng)計(jì)的分詞方法在很多情況下，最大匹配時(shí)即使采用雙向掃描也不能檢查出所有的交集型切分歧義。為了消除歧義，我們還需要其他知識(shí)。這也是自然語(yǔ)言處理里，統(tǒng)計(jì)方法出現(xiàn)的原因。這種方法只需對(duì)語(yǔ)料中的字組頻度進(jìn)行統(tǒng)計(jì)，不需要切分詞典，因而又叫做無(wú)詞典分詞法或統(tǒng)計(jì)取詞方法。從形式上看，詞是穩(wěn)定的字的組合，因此在上下文中，相鄰的字同時(shí)出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一

6、個(gè)詞。因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度。可以對(duì)語(yǔ)料中相鄰共現(xiàn)的各個(gè)字的組合的頻度進(jìn)行統(tǒng)計(jì)，計(jì)算它們的互現(xiàn)信息?；ガF(xiàn)信息體現(xiàn)了漢字之間結(jié)合關(guān)系的緊密程度。當(dāng)緊密程度高于某一個(gè)閾值時(shí)，便可認(rèn)為此字組可能構(gòu)成了一個(gè)詞。3) 基于理解的分詞方法通常的分析系統(tǒng)，都力圖在分詞階段消除所有歧義切分現(xiàn)象。而基于理解的分詞方式則在后續(xù)過程中來(lái)處理歧義切分問題，其切分過程只是整個(gè)語(yǔ)言理解過程的一小部分。其基本思想就是在分詞的同時(shí)進(jìn)行句法、語(yǔ)義分析，利用句法信息和語(yǔ)義信息來(lái)處理歧義現(xiàn)象。它通常包括三個(gè)部分：分詞子系統(tǒng)、句法語(yǔ)義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句

7、子等的句法和語(yǔ)義信息來(lái)對(duì)分詞歧義進(jìn)行判斷，即它模擬了人對(duì)句子的理解過程。目前無(wú)法作出結(jié)論證明以上三個(gè)算法中哪一個(gè)是最好的，針對(duì)具體問題采用不同的算法。這三種算法都有自己的利弊，它們的對(duì)比見表1所示：分詞方法基于字符串匹配分詞基于統(tǒng)計(jì)的分詞基于理解的分詞歧義識(shí)別差強(qiáng)強(qiáng)新詞識(shí)別差強(qiáng)強(qiáng)需要詞典需要不需要不需要需要語(yǔ)料庫(kù)否是否需要規(guī)則庫(kù)否否是算法復(fù)雜性容易一般很難技術(shù)成熟度成熟成熟不成熟實(shí)施難度容易一般很難分詞準(zhǔn)確性一般較準(zhǔn)準(zhǔn)確分詞速度快一般慢表1 三種算法優(yōu)劣比較3.2自動(dòng)分詞的評(píng)價(jià)標(biāo)準(zhǔn)一般對(duì)自動(dòng)分詞有三個(gè)評(píng)價(jià)標(biāo)準(zhǔn)：正確率、召回率、調(diào)和平均數(shù)。其定義如下：由定義可見，分詞正確率和分詞召回率是互相矛盾

8、的，要得到高的分詞召回率需保留多個(gè)分詞結(jié)果以保證更大可能地包含正確的結(jié)果，而這樣卻會(huì)降低分詞正確率。所以引入了調(diào)和平均數(shù)作為評(píng)價(jià)參數(shù)。3.3分詞算法設(shè)計(jì)英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來(lái)才能描述一個(gè)意思。目前主流的分詞算法主要有三種，分別為基于字符串匹配的分詞算法、基于理解的分詞算法和基于統(tǒng)計(jì)的分詞算法。分詞本文采用的是最大詞長(zhǎng)匹配算法。這是一種基于字符串匹配的分詞算法，該方法依據(jù)一個(gè)分詞詞表和一個(gè)基本的切分評(píng)估原則，即長(zhǎng)詞優(yōu)先原則來(lái)進(jìn)行分詞。這種評(píng)估原則雖然在大多數(shù)情況下是合理的，但也會(huì)引發(fā)一些切分錯(cuò)誤。采用這種方法的原因是它簡(jiǎn)單、快速。最大

9、匹配算法需要一個(gè)已知的詞匯數(shù)據(jù)庫(kù)作為支撐，本文以知網(wǎng)數(shù)據(jù)庫(kù)作為該算法的詞庫(kù)。最大匹配算法的主要思想如下： 首先統(tǒng)計(jì)出知網(wǎng)數(shù)據(jù)庫(kù)中的最長(zhǎng)詞條所包含的字?jǐn)?shù)，本文暫時(shí)將稱其為最大詞長(zhǎng)，并將該長(zhǎng)度記為MaxL； 從每個(gè)分句中的第一個(gè)字開始向后取L（LMaxL）個(gè)字； 在知網(wǎng)數(shù)據(jù)庫(kù)中查找是否有由此L個(gè)字組成的詞。如果有，則一個(gè)詞語(yǔ)分解成功，并轉(zhuǎn)； 將這L個(gè)字中的最后一個(gè)字去掉，并令L=L-1，轉(zhuǎn)至第步驟(直至L=1，說明L已經(jīng)是一個(gè)單字)； 從這個(gè)句子中將該詞刪除，并判斷句子是否已經(jīng)為空，如果為空，則返回第步，否則，算法結(jié)束。其中MaxL表示知網(wǎng)數(shù)據(jù)庫(kù)中的最長(zhǎng)詞條所包含的字?jǐn)?shù)。當(dāng)前最大詞長(zhǎng)LMaxL。4.結(jié)束語(yǔ)中文分詞技術(shù)應(yīng)時(shí)代的要求應(yīng)運(yùn)而生，在很大程度上滿足了人們對(duì)自然語(yǔ)言處理的需要，解決了人和計(jì)算機(jī)交流中的一些障礙；但中文分詞技術(shù)也存在很多困難，我們相信在未來(lái)的幾年里，通過對(duì)中文分詞技術(shù)的深入研究，必將開發(fā)出高質(zhì)量、多功能的中文分詞算法并促進(jìn)自然語(yǔ)言理解系統(tǒng)的廣泛應(yīng)用。參考文獻(xiàn)：【1】 李向宏，王丁，黃成哲等.自然語(yǔ)言句法分析研究現(xiàn)狀和發(fā)展趨勢(shì).微處理機(jī),2003,4(2):28-29.【2】 黃昌寧.中文信息處理的主流技術(shù)是什么.計(jì)算機(jī)世界報(bào),2002(2