中文分詞算法在自然語言處理技術(shù)中的研究及應(yīng)用

1、中文分詞算法在自然語言處理技術(shù)中的研究及應(yīng)用摘要：中文分詞是自然語言處理處理的基礎(chǔ)，有著極其廣泛的實(shí)際應(yīng)用。可以說，在各類中文信息處理軟件（系統(tǒng)）中，中文分詞是不可或缺的環(huán)節(jié)。自上個世紀(jì)末，由于互聯(lián)網(wǎng)在中國的興起，更對中文信息處理提出要求，即在語義層面上處理中文，這使得中文分詞算法的研究顯得更加困難，中文分詞技術(shù)的發(fā)展顯得更為重要。關(guān)鍵詞：中文分詞；自然語言處理；算法1.引言伴隨著計(jì)算機(jī)的日益普及，互聯(lián)網(wǎng)的迅猛發(fā)展，文本的數(shù)量（電子郵件、新聞、網(wǎng)頁、科技論文等）在不停的增長，因而對文本作智能化處理以獲取所需信息的需求日益迫切。在這樣的社會需求下，自然語言處理技術(shù)的地位和作用日益重要。經(jīng)過幾十年

2、的研究，計(jì)算機(jī)處理自然語言的理論基礎(chǔ)日趨成熟，應(yīng)用范圍也越來越廣，初步形成了面向各種不同應(yīng)用和研究的技術(shù)體系。分詞作為自然語言處理的第一個步驟，是其他高層應(yīng)用的基礎(chǔ)，起著極其重要的作用。2.分句處理2.1 分句處理技術(shù)簡介分句處理就是把句子以某些特定的標(biāo)點(diǎn)符號為分隔劃分為若干個句子。根據(jù)漢語對語句、句群和篇章的定義，主要以基本的標(biāo)點(diǎn)符號：句號、問號、感嘆號、分號、逗號等作為子句的分隔符。通過使用這些標(biāo)點(diǎn)符號對語言進(jìn)行計(jì)算機(jī)子句分割，完成分句處理。2.2分句算法的設(shè)計(jì)在進(jìn)行分詞之前首先應(yīng)對句子進(jìn)行分割，分為以句子為單位的一個個語句片段。因?yàn)橐远禾?、分號來分隔的語句通常能表達(dá)完整的語義信息，所以本

3、文主要使用逗號、分號等標(biāo)點(diǎn)符號也作為子句分句的分隔符號，以它們?yōu)闃?biāo)志進(jìn)行語句的分句處理。分句處理的具體算法設(shè)計(jì)如下： 判斷答案字符串a(chǎn)String是否為空，若為空則結(jié)束； 取aString左側(cè)的一個字符存入tChar中，判斷tChar是否是句末標(biāo)點(diǎn)符或回車符，若不是，轉(zhuǎn)； 若tChar是句末標(biāo)點(diǎn)符號，則子句數(shù)組下標(biāo)加1，并將字符tChar從字符串a(chǎn)String中刪掉，轉(zhuǎn)； 若tChar為回車符或者換行符，去掉aString左側(cè)兩字符，并將字符tChar從字符串a(chǎn)String中刪掉，轉(zhuǎn)。 將tChar合并到子句數(shù)組當(dāng)前元素中，去掉aString左側(cè)一字符，轉(zhuǎn)。上述算法中，aString為待處理的

4、字符串，tChar為字符類型變量。3.分詞處理3.1 中文分詞技術(shù)簡介中文分詞(Chinese Word Segmentation)指的是將一個漢字序列切分成一個一個單獨(dú)的詞。中文分詞是文本挖掘的基礎(chǔ)，對于輸入的一段中文，成功的進(jìn)行中文分詞，可以達(dá)到電腦自動識別語句含義的效果。中文分詞技術(shù)屬于自然語言理解的研究范疇。目前主要有三種中文詞算法，分別為基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計(jì)的分詞方法。介紹如下：1) 基于字符串匹配的分詞算法基于字符串匹配的分詞方法也叫機(jī)械匹配法，是分詞技術(shù)的諸多理論算法中較簡單實(shí)用的一種分詞算法。它是按照一定的策略將待分析的漢字串與一個充分大的機(jī)器

5、詞典中的詞條進(jìn)行區(qū)配，若在詞典中找到某個字符串，則匹配成功（識別出一個詞）。常用的幾種機(jī)械分詞方法如下： 正向最大匹配法（由左到右的方向） 逆向最大匹配法（由右到左的方向） 最少切分（使每一句中切出的詞數(shù)最小）還可以將上述各種方法相互組合。2) 基于統(tǒng)計(jì)的分詞方法在很多情況下，最大匹配時即使采用雙向掃描也不能檢查出所有的交集型切分歧義。為了消除歧義，我們還需要其他知識。這也是自然語言處理里，統(tǒng)計(jì)方法出現(xiàn)的原因。這種方法只需對語料中的字組頻度進(jìn)行統(tǒng)計(jì)，不需要切分詞典，因而又叫做無詞典分詞法或統(tǒng)計(jì)取詞方法。從形式上看，詞是穩(wěn)定的字的組合，因此在上下文中，相鄰的字同時出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一

6、個詞。因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度?？梢詫φZ料中相鄰共現(xiàn)的各個字的組合的頻度進(jìn)行統(tǒng)計(jì)，計(jì)算它們的互現(xiàn)信息?；ガF(xiàn)信息體現(xiàn)了漢字之間結(jié)合關(guān)系的緊密程度。當(dāng)緊密程度高于某一個閾值時，便可認(rèn)為此字組可能構(gòu)成了一個詞。3) 基于理解的分詞方法通常的分析系統(tǒng)，都力圖在分詞階段消除所有歧義切分現(xiàn)象。而基于理解的分詞方式則在后續(xù)過程中來處理歧義切分問題，其切分過程只是整個語言理解過程的一小部分。其基本思想就是在分詞的同時進(jìn)行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。它通常包括三個部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句

7、子等的句法和語義信息來對分詞歧義進(jìn)行判斷，即它模擬了人對句子的理解過程。目前無法作出結(jié)論證明以上三個算法中哪一個是最好的，針對具體問題采用不同的算法。這三種算法都有自己的利弊，它們的對比見表1所示：分詞方法基于字符串匹配分詞基于統(tǒng)計(jì)的分詞基于理解的分詞歧義識別差強(qiáng)強(qiáng)新詞識別差強(qiáng)強(qiáng)需要詞典需要不需要不需要需要語料庫否是否需要規(guī)則庫否否是算法復(fù)雜性容易一般很難技術(shù)成熟度成熟成熟不成熟實(shí)施難度容易一般很難分詞準(zhǔn)確性一般較準(zhǔn)準(zhǔn)確分詞速度快一般慢表1 三種算法優(yōu)劣比較3.2自動分詞的評價標(biāo)準(zhǔn)一般對自動分詞有三個評價標(biāo)準(zhǔn)：正確率、召回率、調(diào)和平均數(shù)。其定義如下：由定義可見，分詞正確率和分詞召回率是互相矛盾

8、的，要得到高的分詞召回率需保留多個分詞結(jié)果以保證更大可能地包含正確的結(jié)果，而這樣卻會降低分詞正確率。所以引入了調(diào)和平均數(shù)作為評價參數(shù)。3.3分詞算法設(shè)計(jì)英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述一個意思。目前主流的分詞算法主要有三種，分別為基于字符串匹配的分詞算法、基于理解的分詞算法和基于統(tǒng)計(jì)的分詞算法。分詞本文采用的是最大詞長匹配算法。這是一種基于字符串匹配的分詞算法，該方法依據(jù)一個分詞詞表和一個基本的切分評估原則，即長詞優(yōu)先原則來進(jìn)行分詞。這種評估原則雖然在大多數(shù)情況下是合理的，但也會引發(fā)一些切分錯誤。采用這種方法的原因是它簡單、快速。最大

9、匹配算法需要一個已知的詞匯數(shù)據(jù)庫作為支撐，本文以知網(wǎng)數(shù)據(jù)庫作為該算法的詞庫。最大匹配算法的主要思想如下： 首先統(tǒng)計(jì)出知網(wǎng)數(shù)據(jù)庫中的最長詞條所包含的字?jǐn)?shù)，本文暫時將稱其為最大詞長，并將該長度記為MaxL； 從每個分句中的第一個字開始向后取L（LMaxL）個字； 在知網(wǎng)數(shù)據(jù)庫中查找是否有由此L個字組成的詞。如果有，則一個詞語分解成功，并轉(zhuǎn)； 將這L個字中的最后一個字去掉，并令L=L-1，轉(zhuǎn)至第步驟(直至L=1，說明L已經(jīng)是一個單字)； 從這個句子中將該詞刪除，并判斷句子是否已經(jīng)為空，如果為空，則返回第步，否則，算法結(jié)束。其中MaxL表示知網(wǎng)數(shù)據(jù)庫中的最長詞條所包含的字?jǐn)?shù)。當(dāng)前最大詞長LMaxL。4.結(jié)束語中文分詞技術(shù)應(yīng)時代的要求應(yīng)運(yùn)而生，在很大程度上滿足了人們對自然語言處理的需要，解決了人和計(jì)算機(jī)交流中的一些障礙；但中文分詞技術(shù)也存在很多困難，我們相信在未來的幾年里，通過對中文分詞技術(shù)的深入研究，必將開發(fā)出高質(zhì)量、多功能的中文分詞算法并促進(jìn)自然語言理解系統(tǒng)的廣泛應(yīng)用。參考文獻(xiàn)：【1】 李向宏，王丁，黃成哲等.自然語言句法分析研究現(xiàn)狀和發(fā)展趨勢.微處理機(jī),2003,4(2):28-29.【2】 黃昌寧.中文信息處理的主流技術(shù)是什么.計(jì)算機(jī)世界報,2002(2