中文分詞實(shí)驗(yàn)報(bào)告

4/4中文分詞實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)：中文分詞實(shí)驗(yàn)

小組成員：黃婷蘇亮肖方定山

一、實(shí)驗(yàn)?zāi)康模?/p>

1.實(shí)驗(yàn)?zāi)康?/p>

（1）了解并掌握基于匹配的分詞方法、改進(jìn)方法、分詞效果的評(píng)價(jià)方法等

2.實(shí)驗(yàn)要求

（1）從互聯(lián)網(wǎng)上查找并構(gòu)建不低于10萬(wàn)詞的詞典，構(gòu)建詞典的存儲(chǔ)結(jié)構(gòu)；（2）選擇實(shí)現(xiàn)一種機(jī)械分詞方法（雙向最大匹配、雙向最小匹配、正向減字最大匹配法等），同時(shí)實(shí)現(xiàn)至少一種改進(jìn)算法。

（3）在不低于1000個(gè)文本文件（可以使用附件提供的語(yǔ)料），每個(gè)文件大于1000字的文檔中進(jìn)行中文分詞測(cè)試，記錄并分析所選分詞算法的準(zhǔn)確率、召回率、F-值、分詞速度。

二、實(shí)驗(yàn)方案：

1.實(shí)驗(yàn)環(huán)境

系統(tǒng)：win10

軟件平臺(tái)：spyder

語(yǔ)言：python

2.算法選擇

（1）選擇正向減字最大匹配法

（2）算法偽代碼描述：

3.實(shí)驗(yàn)步驟

●在網(wǎng)上查找語(yǔ)料和詞典文本文件；●思考并編寫(xiě)代碼構(gòu)建詞典存儲(chǔ)結(jié)構(gòu)；

●編寫(xiě)代碼將語(yǔ)料分割為1500個(gè)文本文件，每個(gè)文件的字?jǐn)?shù)大于1000字；

●編寫(xiě)分詞代碼；

●思考并編寫(xiě)代碼將語(yǔ)料標(biāo)注為可計(jì)算準(zhǔn)確率的文本；

●對(duì)測(cè)試集和分詞結(jié)果集進(jìn)行合并；

●對(duì)分詞結(jié)果進(jìn)行統(tǒng)計(jì)，計(jì)算準(zhǔn)確率，召回率及F值（正確率和召回率的調(diào)

和平均值）；

●思考總結(jié)，分析結(jié)論。

4.實(shí)驗(yàn)實(shí)施

實(shí)驗(yàn)過(guò)程：

（1）語(yǔ)料來(lái)源：語(yǔ)料來(lái)自SIGHAN的官方主頁(yè)（http://./doc/5fed903659f5f61fb7360b4c2e3f5727a5e924a9.html/），SIGHAN是國(guó)際計(jì)算語(yǔ)言學(xué)會(huì)（ACL）中文語(yǔ)言處理小組的簡(jiǎn)稱(chēng)，其英文全稱(chēng)為“SpecialInterestGroupforChineseLanguageProcessingoftheAssociationforComputationalLinguistics”，又可以理解為“SIG漢“或“SIG漢“。SIGHAN為我們提供了一個(gè)非商業(yè)使用（non-commercial）的免費(fèi)分詞語(yǔ)料庫(kù)獲取途徑。我下載的是Bakeoff2005的中文語(yǔ)料。有86925行，2368390個(gè)詞語(yǔ)。語(yǔ)料形式：“沒(méi)有孩子的世界是寂寞的，沒(méi)有老人的世界是寒冷的?！?/p>

（2）詞典：詞典用的是來(lái)自網(wǎng)絡(luò)的有373萬(wàn)多個(gè)詞語(yǔ)的詞典，采用的數(shù)據(jù)結(jié)構(gòu)為python的一種數(shù)據(jù)結(jié)構(gòu)——集合。

（3）分割測(cè)試數(shù)據(jù)集：將原數(shù)據(jù)分割成1500個(gè)文本文件，每個(gè)文件的詞數(shù)大于1000。

（4）編寫(xiě)分詞代碼：采用python語(yǔ)言和教材上介紹的算法思路，進(jìn)行編程。（5）編寫(xiě)代碼將語(yǔ)料標(biāo)注為可計(jì)算準(zhǔn)確率的文本：用B代表單詞的開(kāi)始字，E代表結(jié)尾的字，BE代表中間的字，如果只有一個(gè)字，用E表示。例如：

原數(shù)據(jù)是：“人們常說(shuō)生活是一部教科書(shū)”

而我將它轉(zhuǎn)化為了如下格式：

（6）進(jìn)行分詞：使用之前編寫(xiě)的分詞函數(shù)，載入文本，進(jìn)行分詞，將每個(gè)文本結(jié)果輸出到txt文本。

（7）對(duì)測(cè)試集和分詞結(jié)果集進(jìn)行合并：將測(cè)試集和分詞結(jié)果集合并是為了進(jìn)行準(zhǔn)確率，召回率等的計(jì)算。測(cè)試集和訓(xùn)練集都是下面的格式：

將它們合并為下面的格式，第二列為測(cè)試集的標(biāo)注，第三列為訓(xùn)練集的結(jié)果：

（8）對(duì)分詞結(jié)果進(jìn)行統(tǒng)計(jì)，計(jì)算準(zhǔn)確率P，召回率R及F值（正確率和召回率的調(diào)和平均值），設(shè)提取出的信息條數(shù)為C,提取出的正確信息條數(shù)為CR,樣本中的信息條數(shù)O：

計(jì)算結(jié)果如下：

（9）反思：平均準(zhǔn)確率只有75.79%，為何分詞效果這么差，沒(méi)有達(dá)到我們的預(yù)期效果85%，經(jīng)過(guò)思考和多次嘗試才發(fā)現(xiàn)，原來(lái)是因?yàn)樵~典太大了，最大匹配分詞效果對(duì)詞典依賴(lài)很大，不是詞典越大越好，還有就是我們的詞典和我們的測(cè)試數(shù)據(jù)的相關(guān)性不大，于是我們小組修改了詞典，進(jìn)行了第二輪測(cè)試。（10）修改詞典：將詞典大小裁剪，但是不能只取局部，例如前面10萬(wàn)詞或后面10萬(wàn)詞，于是我的做法是在373萬(wàn)詞的詞典中隨機(jī)取3萬(wàn)詞，再用之前沒(méi)用完的語(yǔ)料制作7萬(wàn)詞，組成10萬(wàn)詞的詞典：

（11）再次實(shí)驗(yàn)：重新進(jìn)行前面的步驟得到了下面的結(jié)果：

此時(shí)分詞的平均準(zhǔn)確率提高到了87.13%，還是很不錯(cuò)的，說(shuō)明我的反思是有道

理的。

三、實(shí)驗(yàn)結(jié)果及分析：

1.實(shí)驗(yàn)結(jié)果：

2.結(jié)果分析：

（1）第一輪分詞結(jié)果只有75.79%，而小組的預(yù)期效果或者說(shuō)目標(biāo)是85%以上，我們先是討論是不是這個(gè)算法只能達(dá)到這么多，于是通過(guò)網(wǎng)絡(luò)和詢(xún)問(wèn)同學(xué)的分詞準(zhǔn)確率知道，這個(gè)結(jié)果是可以繼續(xù)提升的。于是，我們仔細(xì)思考了每一個(gè)環(huán)節(jié)，發(fā)現(xiàn)問(wèn)題主要出在詞典上面，因?yàn)樵~典中的詞越多，利用做大匹配分出來(lái)的詞的平均長(zhǎng)度就越長(zhǎng)，分得的詞數(shù)也越少，錯(cuò)誤率反而增大，而那些分法可能并不是我們想要的，而且我們的詞典和我們的語(yǔ)料相關(guān)性很小，分詞效果是依賴(lài)于這個(gè)詞典的相關(guān)性的。然后我們嘗試減少詞典的大小，見(jiàn)減小到150萬(wàn)詞，發(fā)現(xiàn)效果確實(shí)好了點(diǎn)，于是干脆只在原詞典中取出3萬(wàn)詞，再用語(yǔ)料庫(kù)沒(méi)用過(guò)的同類(lèi)型的語(yǔ)料做一份詞典，再把它們合起來(lái)，結(jié)果分詞準(zhǔn)確率一下子提高到了87.13%。

（2）影響中文分詞效果的因素：詞典的大小，數(shù)據(jù)集的規(guī)范性，算法的優(yōu)越程度如何提高中文分詞的準(zhǔn)確率：規(guī)范的數(shù)據(jù)集，合理大小的詞典，好的算法。

四、實(shí)驗(yàn)總結(jié)：

本次實(shí)驗(yàn)期間遇到過(guò)很多問(wèn)題，幸好都一一解決了，比如在合并測(cè)試集