“地”字結(jié)構(gòu)識(shí)別

地”字結(jié)構(gòu)識(shí)別［摘要］“地”字結(jié)構(gòu)是漢語(yǔ)中有標(biāo)記的狀語(yǔ)結(jié)構(gòu)，“地”字結(jié)構(gòu)的自動(dòng)識(shí)別作為淺層句法分析的任務(wù)之一可以減少自動(dòng)句法分析的歧義。本文在分析“地”字結(jié)構(gòu)性質(zhì)的基礎(chǔ)上，利用規(guī)則與統(tǒng)計(jì)相結(jié)合的方法，基于分詞文本對(duì)“地”字結(jié)構(gòu)進(jìn)行了對(duì)比性的識(shí)別研究。實(shí)驗(yàn)利用200萬(wàn)字的語(yǔ)料進(jìn)行訓(xùn)練，將獲取的數(shù)據(jù)用于自動(dòng)識(shí)別，獲得了較好的效果。［關(guān)鍵詞］“地”字結(jié)構(gòu)句法分析規(guī)則概率漢語(yǔ)是一種缺乏形態(tài)變化的語(yǔ)言，傳達(dá)了較少的形式化信息，增加了自然語(yǔ)言處理的歧義。在自動(dòng)句法分析的過(guò)程中，漢語(yǔ)缺少可直接利用的形式信息，增加了分析的難度。20世紀(jì)80年代末，國(guó)外開(kāi)始了關(guān)于組塊(Chunk)的研究，并提出了淺層句法分析的概念，希望通過(guò)語(yǔ)塊的識(shí)別和語(yǔ)塊之間依附關(guān)系的分析來(lái)實(shí)現(xiàn)對(duì)完全句法分析任務(wù)的分解。90年代以來(lái)，國(guó)內(nèi)學(xué)者在漢語(yǔ)的淺層句法分析方面也做了很多工作。郭志立利用廣義互信息研究了“的”字短語(yǔ)的結(jié)構(gòu)和邊界。王立霞、吳云芳使用概率模型識(shí)別了介詞短語(yǔ)的邊界。趙軍提出了基于轉(zhuǎn)換的漢語(yǔ)基本名詞短語(yǔ)(baseNP)識(shí)別模型。周強(qiáng)利用邊界概率分布和內(nèi)部結(jié)構(gòu)組合對(duì)最長(zhǎng)名詞短語(yǔ)（MNP）進(jìn)行了較為全面的識(shí)別分析。這些研究主要集中于對(duì)名詞短語(yǔ)和介詞短語(yǔ)的識(shí)別，為漢語(yǔ)的自動(dòng)處理做出了有益的探索。作為淺層句法分析的任務(wù)之一，“地”字結(jié)構(gòu)的自動(dòng)識(shí)別可以有效地減少句法分析的歧義。由于“地”字結(jié)構(gòu)在句中處于狀語(yǔ)的位置，對(duì)于一些簡(jiǎn)單的單句而言，該結(jié)構(gòu)的自動(dòng)識(shí)別常?？梢詭椭业街^語(yǔ)中心，劃定句子的基本結(jié)構(gòu)，我們可以給出這樣的形式化表示：S=[SZ]+Subj+[SZ]+DS+P+[Obj]其中，S表示單句，SZ表示句首或小句狀語(yǔ)，DS表示“地”字結(jié)構(gòu)，P表示謂語(yǔ)中心，Subj表示主語(yǔ)，Obj表示賓語(yǔ)，[]表示可以出現(xiàn)也可以不出現(xiàn)， +表示語(yǔ)法分隔。本文分為四個(gè)部分，第一部分對(duì)“地”字結(jié)構(gòu)進(jìn)行定義和分類(lèi)，第二部分介紹統(tǒng)計(jì)與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識(shí)別算法，第三部分分析實(shí)驗(yàn)結(jié)果，第四部分結(jié)語(yǔ)。“地”字結(jié)構(gòu)的定義及分類(lèi)1 “地”字結(jié)構(gòu)的定義“地”字結(jié)構(gòu)是以結(jié)構(gòu)助詞“地”為右邊界標(biāo)志，在句中動(dòng)詞前作狀語(yǔ)，直接修飾動(dòng)詞或謂語(yǔ)中心語(yǔ)的一種句法結(jié)構(gòu)。我們把“地”字結(jié)構(gòu)定義為“修飾語(yǔ)+地”的形式。1.2“地”字結(jié)構(gòu)分類(lèi)“地”字結(jié)構(gòu)內(nèi)部存在多種句法關(guān)系，表現(xiàn)為修飾語(yǔ)部分可以是單個(gè)詞語(yǔ)，也可以是句法組合，包括狀中組合、并列組合、述賓組合、主謂組合等。根據(jù)“地”字結(jié)構(gòu)內(nèi)部的句法層次和句法關(guān)系對(duì)它進(jìn)一步細(xì)分。簡(jiǎn)單“地”字結(jié)構(gòu)：“單元狀語(yǔ)+'地’”形式的結(jié)構(gòu)。復(fù)雜“地”字結(jié)構(gòu)：“多元狀語(yǔ)+'地’”形式的結(jié)構(gòu)。簡(jiǎn)單“地”字結(jié)構(gòu)的修飾語(yǔ)是單元的，即內(nèi)部只有一個(gè)元素，不存在句法組合關(guān)系，如：新的游客【源源不斷地】涌來(lái)。復(fù)雜“地”字結(jié)構(gòu)的修飾語(yǔ)有多個(gè)元素組合而成，這些元素之間滿足一定的句法組合關(guān)系。根據(jù)這些關(guān)系，可以將復(fù)雜“地”字結(jié)構(gòu)進(jìn)一步細(xì)分為多元修飾型、多元并列型、多元主謂型以及多元述賓型等：多元修飾型：修飾語(yǔ)為“狀語(yǔ)+中心語(yǔ)”形式的“地”字結(jié)構(gòu)，如“很努力地”O(jiān)多元并列型：修飾語(yǔ)為“并列成分+［連接成分］+并列成分+…”形式的“地”字結(jié)構(gòu)，如“積極主動(dòng)地”。多元主謂型：修飾語(yǔ)為“主語(yǔ)+謂語(yǔ)”形式的“地”字結(jié)構(gòu)，如“程度不同地”。多元述賓型：修飾語(yǔ)為“述語(yǔ)+賓語(yǔ)”形式的“地”字結(jié)構(gòu)，如“有計(jì)劃地”。統(tǒng)計(jì)與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識(shí)別策略

1識(shí)別目標(biāo)“地”字結(jié)構(gòu)識(shí)別的目標(biāo)是準(zhǔn)確地確定“地”字結(jié)構(gòu)的左右邊界。本研究以“【”作為“地”字結(jié)構(gòu)左界標(biāo)志，以“】”作為右界標(biāo)志，對(duì)句中“地”字結(jié)構(gòu)進(jìn)行識(shí)別，識(shí)別結(jié)果格式如下：中國(guó)認(rèn)為，伊拉克應(yīng)【全面、切實(shí)地】履行聯(lián)合國(guó)有關(guān)決議。2識(shí)別算法根據(jù)“地”字結(jié)構(gòu)的特點(diǎn)，在語(yǔ)料統(tǒng)計(jì)分析的基礎(chǔ)上，我們確定采用規(guī)則匹配、概率加權(quán)選擇和上下文調(diào)整相結(jié)合的策略進(jìn)行識(shí)別。2.1規(guī)則匹配我們以人民日?qǐng)?bào)1998年1月份的標(biāo)記語(yǔ)料(記為9801.tag)作為訓(xùn)練語(yǔ)料，對(duì)其中的“地”字結(jié)構(gòu)進(jìn)行人工標(biāo)注，并提取出每一個(gè)具體的“地”字結(jié)構(gòu)的詞性標(biāo)記串及其出現(xiàn)概率,組成“地”字結(jié)構(gòu)的標(biāo)記串規(guī)則集，此規(guī)則集中包含了100條規(guī)則，其中任意一條規(guī)則的出現(xiàn)概率P(rule[i])的計(jì)算公式如下:我們應(yīng)用此標(biāo)記串規(guī)則集的具體規(guī)則對(duì)每一個(gè)“地”字結(jié)構(gòu)進(jìn)行可能匹配：對(duì)于每一條標(biāo)記串規(guī)則，獲取相同長(zhǎng)度的“地”字結(jié)構(gòu)詞串，并通過(guò)查詞典的方式取得該詞串所有的可能標(biāo)記串,如果存在某條可能標(biāo)記通過(guò)查詞典的方式取得該詞串所有的可能標(biāo)記串,如果存在某條可能標(biāo)記串與標(biāo)記串規(guī)則匹配，則該標(biāo)記串規(guī)則作為一條可能匹配規(guī)則；如此記錄下所有的可能匹配規(guī)則，并統(tǒng)計(jì)其出現(xiàn)概率。2.2.2概率加權(quán)選擇由于面對(duì)的是分詞文本，規(guī)則的長(zhǎng)度和詞串所對(duì)應(yīng)的標(biāo)記串都是不確定的，在實(shí)際標(biāo)注過(guò)程中有兩種選擇：一種選擇是長(zhǎng)規(guī)則優(yōu)先匹配，規(guī)則長(zhǎng)度相同時(shí)，高頻規(guī)則優(yōu)先匹配；另一種選擇是通過(guò)規(guī)則的出現(xiàn)概率進(jìn)行優(yōu)選。實(shí)驗(yàn)表明，第一種選擇不能體現(xiàn)語(yǔ)料中的自然比例關(guān)系，造成了短規(guī)則匹配概率低下，影響標(biāo)注正確率；第二種方法具有更大的可行性和優(yōu)越性。但是，通過(guò)統(tǒng)計(jì)得到的規(guī)則集還不能直接用于標(biāo)注：第一，用上文使用得最大似然估計(jì)法估計(jì)參數(shù)會(huì)造成嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題，低概率事件常常被忽略。第二，規(guī)則的出現(xiàn)概率受到其長(zhǎng)度的制約。實(shí)驗(yàn)發(fā)現(xiàn)，短規(guī)則出現(xiàn)概率通常高于長(zhǎng)規(guī)則，但規(guī)則的出現(xiàn)概率高不等于該規(guī)則作為“地”字結(jié)構(gòu)的概率高，甚至有相反的趨勢(shì)。我們使用一種簡(jiǎn)單的加權(quán)方法，并將權(quán)值轉(zhuǎn)化為費(fèi)用：Feeweight[i]=P(rule[i])XFee(rule[i])X(Len(rule[i])-1)公式2其中，F(xiàn)ee(rule[i])表示rule[i]的費(fèi)用，Len(rule[i])表示規(guī)則rule[i]的長(zhǎng)度。為解決數(shù)據(jù)稀疏的問(wèn)題，采用了一階馬爾可夫過(guò)程計(jì)算規(guī)則費(fèi)用：trans[i][j]是指從“地”字結(jié)構(gòu)內(nèi)部獲取的詞性tagi到tagj的轉(zhuǎn)移概率。對(duì)于某一條具體的規(guī)則rule[i],Feeweight[i]值越大，它用于“地”字結(jié)構(gòu)標(biāo)注的概率越小。當(dāng)某一個(gè)字符串能匹配多條規(guī)則時(shí)，優(yōu)先選擇費(fèi)用最低的規(guī)則進(jìn)行標(biāo)注。2.2.3±下文信息對(duì)標(biāo)記串的概率優(yōu)選只利用了詞性信息，一些詞語(yǔ)上下文信息對(duì)識(shí)別也非常有幫助。我們制定了三張?jiān)~表來(lái)進(jìn)行概率標(biāo)注后的微調(diào)。左界外詞表記錄常常僅作為 DS左界外一詞的詞語(yǔ)，如“等”，左界內(nèi)詞表記錄常常僅作為 DS左界內(nèi)一詞的詞語(yǔ)，如“很”，非DS左詞詞表記錄常常只出現(xiàn)在名詞“地”左鄰，而不出現(xiàn)在助詞“地”左鄰的詞語(yǔ)。實(shí)驗(yàn)結(jié)果及分析3.1實(shí)驗(yàn)結(jié)果分析我們應(yīng)用9801.tag作訓(xùn)練語(yǔ)料，1月份和2月份的切分語(yǔ)料（分別記為9801.cut和9802.cut）作測(cè)試語(yǔ)料，進(jìn)行了多次實(shí)驗(yàn)。1.1相異詞表實(shí)驗(yàn)考慮到詞表對(duì)于“地”字結(jié)構(gòu)標(biāo)注的影響，分別應(yīng)用從9801.tag的“地”字結(jié)構(gòu)中提取的封閉的小詞表（917詞條），并使用開(kāi)放的先驗(yàn)大詞表（約155000詞條）進(jìn)行測(cè)試，其中開(kāi)放測(cè)試語(yǔ)料為人民日?qǐng)?bào)2月份上半個(gè)月的切分語(yǔ)料（記為9802p.cut）。令某DS左右邊界都標(biāo)注正確作為1次正確識(shí)另U，否則為1次錯(cuò)誤識(shí)別，如果Fc表示正確識(shí)別的DS個(gè)數(shù)，F(xiàn)w表示錯(cuò)誤識(shí)別的個(gè)數(shù)，F(xiàn)f表示識(shí)別失敗的個(gè)數(shù)，F(xiàn)m表示多余識(shí)別的個(gè)數(shù)，F(xiàn)t表示文本中DS總數(shù)，則正確率（Precision）、召回率（Recall）和調(diào)和平均值（F）可計(jì)算如下：測(cè)試結(jié)果如表1和表2所示：詞表對(duì)于標(biāo)注的影響非常明顯。從“地”字結(jié)構(gòu)中提取出的小詞表減少了詞語(yǔ)的詞性選擇維度，有利于提高精確率，但詞語(yǔ)數(shù)量不夠的問(wèn)題，降低了召回率。先驗(yàn)的大詞表基本能夠保證詞語(yǔ)數(shù)量的充足，有利于提高召回率，但加劇了詞性標(biāo)記的競(jìng)爭(zhēng)，降低了正確率。另外，大詞表中可能存在的錯(cuò)誤，也會(huì)對(duì)識(shí)別產(chǎn)生影響。綜合正確率、召回率和調(diào)和平均值可以看出，使用大詞表的開(kāi)放測(cè)試取得了比較好的結(jié)果。3.1.2相異規(guī)模實(shí)驗(yàn)為考察算法的有效性和健壯性，我們使用先驗(yàn)的大詞表對(duì)9802p.cut和9802.cut進(jìn)行了對(duì)比性的開(kāi)放測(cè)試，測(cè)試結(jié)果如表3和表4所示：從測(cè)試結(jié)果可以看出，我們所采用的算法具有較好的健壯性，對(duì)于大詞表開(kāi)放測(cè)試，9802.cut的正確率甚至略優(yōu)于9802p.cut的測(cè)試數(shù)據(jù)。3.2錯(cuò)誤分析大詞表測(cè)試數(shù)據(jù)表明：實(shí)驗(yàn)中最主要的錯(cuò)誤類(lèi)型是錯(cuò)誤識(shí)別（Fw）和多余識(shí)別（Fm）的問(wèn)題。錯(cuò)誤識(shí)別即因該識(shí)別的結(jié)構(gòu)定界不準(zhǔn)確而導(dǎo)致的錯(cuò)誤，這些錯(cuò)誤涉及到以上提到的各種語(yǔ)法結(jié)構(gòu)，主要包含以下幾種情況:2.1狀語(yǔ)存在語(yǔ)法功能歧義，如“又”，它既可以出現(xiàn)在DS中，也可以作謂語(yǔ)的修飾語(yǔ)：他【又生氣又無(wú)奈地】瞅著我。*姐妹倆【又親熱地】聊了起來(lái)。考慮到句a存在的可能性，我們沒(méi)有將“又”列入左界外詞表，帶來(lái)了如句b的標(biāo)注錯(cuò)誤（用*號(hào)表示，下同）。事實(shí)上，在9802.cut中并沒(méi)有出現(xiàn)a所示的情況。因此標(biāo)志詞詞表如何制定還需要進(jìn)一步考慮和完善。3.2.2標(biāo)點(diǎn)分隔的并列結(jié)構(gòu)作狀語(yǔ)，以上算法缺乏識(shí)別能力，如：*從而全面、【完整、準(zhǔn)確地】回答了什么是社會(huì)主義。2.3語(yǔ)料問(wèn)題，如分詞問(wèn)題。*她還把學(xué)到的技術(shù)毫無(wú)【保留地】傳教給別人?！昂翢o(wú)保留”作為一個(gè)詞切分更合適，例d切分為兩個(gè)詞，造成了識(shí)別錯(cuò)誤。324固定結(jié)構(gòu)，如“…般地”，“像…般地”。*像【洪流般地】向前移動(dòng)。多余識(shí)別，即名詞“地”被作為助詞處理，是另一個(gè)重要的錯(cuò)誤來(lái)源，從識(shí)別算法可以看出，我們使用的統(tǒng)計(jì)方法對(duì)多余識(shí)別的錯(cuò)誤缺乏辨別能力，因此名詞“地”的排歧任務(wù)主要由非DS左詞詞表完成，雖然名詞“地”前一詞具有一定的特征，如量詞“畝”，完全收錄這部分詞仍然困難，女口：f?*許多“六朝【繁華地】”成為荒漠中的遺址?！暗亍弊纸Y(jié)構(gòu)的自動(dòng)識(shí)別可以減少句法分析的歧義，是淺層句法分析的任務(wù)之一。本文在分析語(yǔ)料的基礎(chǔ)上，對(duì)切分語(yǔ)料中“地”字結(jié)構(gòu)進(jìn)行了識(shí)別，提出了基于規(guī)則匹配和概率選擇的識(shí)別方法，取得了比較好的效果。在今后的研究中，我們將逐步進(jìn)行改進(jìn)和提高。參考文獻(xiàn):陳小荷：現(xiàn)代漢語(yǔ)自動(dòng)分析——VisualC++實(shí)現(xiàn)?北京語(yǔ)言文化大學(xué)出版社，