基于角色標注的中文機構名識別

1、基于角色標注的中文機構名識別*本文得到國家重點基礎研究項目(G1998030507-4；G1998030510)和計算所領域前沿青年基金項目20026180-23資助作者俞鴻魁，男，1978年生，北京化工大學計算機系研究生，中科院計算所客座學生，主要研究方向為計算機語言學。張華平,男，1978年生, 博士研究生，主要研究方向為計算語言學，中文信息處理與信息抽取。劉群，男，1966年生，在職博士研究生，副研究員，主要研究方向為機器翻譯，自然語言處理與中文信息處理。俞鴻魁1,2 張華平1 劉群1,31 中國科學院計算技術研究所軟件研究室 北京 1000802 北京化工大學信息科學與技術學院 北京

2、1000293 北京大學信息學院計算機系計算語言所 北京 100871E-mail：yhk摘要：中文機構名自動識別是命名實體識別的重點和難點，目前各種解決方案的實際效果還難以滿足人們的實際需求。本文提出了一種基于角色標注的中文機構名自動識別方法，其基本思想是：根據在機構名識別中的作用，采取Viterbi算法對切分結果進行角色標注，在角色序列的基礎上，進行字符串識別，最終實現中文機構名的識別。識別過程中我們只需要某個詞作為特點角色的概率以及角色之間的轉移概率。該方法的實用性還在于：這些角色信息完全可以從真實語料庫中自動抽取得到。通過對大規(guī)模真實語料庫的封閉測試中，該方法取得了接近90%的召回率和

3、準確率，即使在開放測試中，準確率也高達88%。不同實驗從各個角色表明：基于角色標注的機構名識別算法是行之有效的。關鍵詞：中文機構名識別；未登錄詞識別；角色標注；Viterbi算法Recognition of Chinese Organization Name Based on Role TaggingYU Hong-Kui1,2 ZHANG Hua-Ping1 LIU Qun1,31 Institute of Computing Technology, The Chinese Academy of Sciences, Beijing, 100080 China2 Information sci

4、ence & technology college, Beijing University of Chemical Technology, Beijing, 100029 China3 Inst. of Computational Linguistics, Peking University, Beijing, 1000871 ChinaE-mail: yhkAbstract: automatic recognition of organization name is emphasis and difficulty for named entity identification. Be

5、cause of their inherent deficiencies, previous solutions are not satisfactory. This paper presents an approach for organization name recognition based on role tagging. That is: tokens after segmentation are tagged using Viterbi algorithm with different roles according to their functions in the gener

6、ation of organization name; the possible names are recognized after sting identification on the roles sequence. During the recognition process, only the possibilities of tokens being specific roles and the transition possibilities between roles are required. The significance is that such lexical kno

7、wledge can be totally extracted from corpus automatically. In both close and open test on large realistic corpus, its recalling rate and precision is nearly 90%, and precision is nearly 88% in open test. Various experiments show that: our role-based algorithm is effective for organization recognitio

8、n. Keywords: organization name recognition; unknown words recognition; role tagging; Viterbi algorithm.1. 引言命名實體識別是自然語言處理中的一項基本工作，命名實體的識別也是句法分析、機器翻譯、信息抽取等任務的一個非常重要的預處理模塊。一般來說，命名實體識別的任務就是對于一篇待處理文本，識別出其中出現的人名（Person）、地名（Location）、機構名（Organization）、日期（data）、時間(time)、百分數(percentage)、貨幣(monetary value)這七

9、類命名實體。其中命名實體中人名、地名、機構名的識別是最難識別、也最重要的三類。對于機構名識別來說，所要識別出來的機構名主要包括股票交易所、國際組織、商業(yè)組織、公私企業(yè)、電視臺或廣播臺、政黨、宗教組織、樂隊或音樂組織、政府實體、運動隊、軍隊等等。例如“中國國際航空公司”、“北京商業(yè)銀行”、“北京電影學院青年電影制片廠”、“聯(lián)想集團”、“國家經委”、“中直機關工委”、“中共中央統(tǒng)戰(zhàn)部”等等。人們已經對人名和地名的識別作了非常細致的研究1-6，提出了各種各樣的處理方法。目前人名和地名識別已經能滿足人們的需求，但是機構名無論是從理論上還是從實際上，都遠遠達不到人們的要求。1.1. 機構名識別的難點對于

10、機構名識別來說，主要的瓶頸在于存在大量的未登錄機構名。未登錄詞在人名、地名和機構名中都占有很大一部分的比例，未登錄機構名的識別比未登錄人名和地名的識別要難得多，歸根到底還是由機構名的自身特點所造成的：第一，中文機構名組成方式非常復雜。機構名識別中的機構種類繁多，各類機構都有其自已獨特的命名方式。例如，公私企業(yè)命名大多以地名作為開頭，中間加以企業(yè)字號，如“金山”、“億陽”等等，結尾一般都是“公司”、“集團”類的普通名詞。而機關團體類的機構名則相對比較正規(guī)，一般以上級部門開頭，結尾為“所”、“部”、“院”、“委”等單字。序數詞在一般的機構名中很少出現，但是在軍隊、醫(yī)院類的機構名中，序數詞確占有相當

11、大的比例。而且機構名中還嵌套的情況，機構名中包含有另一個機構名，如“北京電影學院青年電影制片廠”。第二，機構名中含有大量的其它命名實體。在這些命名實體中，地名所占的比例最大，其中未登錄地名又占了相當一部分的比例。其它命名實體的識別大大制約了機構名的識別。第三，中文機構名用詞非常廣泛。通過對1998年1月人民日報語料中的10817個機構名所含的19986個詞進行統(tǒng)計，共計27種詞，其中名詞最多（9941個），地名其次（5023個）。所用詞如此之廣泛，是命名實體中絕無僅有的。最為嚴重的的是，在這些詞中有很大一部分詞是未登錄詞，例如大部分的企業(yè)字號。第四，機構名的長度極其不固定。不像中國人名，一般為

12、兩到三個字，最多不超過四個字，地名最多也只是由三到四個詞組成。機構名的長度少到兩個字（“北大”、“首鋼”），多到幾十個字（“中國人民政治協(xié)商會議第八屆全國委員會常務委員會”），在人民日報的真實文本中，由十個以上的詞構成的復合機構名占了相當一部分的比例。機構名稱長度的不確定性，導致機構名稱的邊界很難確定，加大了機構名識別的難度。第五，大多數機構名都有其簡稱。簡稱一般都是取其全稱中的幾個關鍵字或關鍵詞，例如“聯(lián)想”、“人大”。大量的機構名簡稱的出現，使得本來已經十分困難的問題變得更加困難。綜上所述，機構名的這些特點，使得機構名的識別變得困難重重。1.2. 已有的工作命名實體識別不外乎基于規(guī)則7的方

13、法、基于統(tǒng)計的方法以及把規(guī)則和統(tǒng)計相結合8的方法。其實在實際應用中，純的基于統(tǒng)計的方法并不多，統(tǒng)計中或多或少引入一些規(guī)則。機構名大多都有非常有特點的詞作結尾，尤其是在特定的領域內，例如在金融領域內的機構名，大多都是以“公司”、“集團”作為結尾。金融類機構名7的這種表面上的規(guī)律使得人們很容易就想到使用規(guī)則的方法來識別這類機構名。雖然在封閉測試中，能達到百分之九十多的準確率和召回率，但是在開放測試中，僅能達到百分之六十多一點，遠遠不能滿足人們的實際需求。在特定領域內尚且如此，如果把基于規(guī)則的方法推廣到全領域內，其效果是可以想像的到的，可見單純地使用規(guī)則的方法來處理這種最為復雜的命名實體是不適宜的。

14、使用基于規(guī)則的方法之所以行不通，關鍵是只注意到了機構名結尾的規(guī)律性，而忽視了機構名用詞的無規(guī)律性。大量未登錄詞作為機構名用詞，使得規(guī)則系統(tǒng)變得無能為力，這點在開放測試中，顯得尤為突出。文獻9提出了一個專名的一體化識別方法，從語料和專名表中統(tǒng)計和分析了各種專名的內部構成，其中有關機構名的有：企業(yè)字號常用字（詞）、企業(yè)經營內容、企業(yè)經營內容前修飾成分、企業(yè)機構類型等屬性，然后對具有各種專名屬性特征的單字和多字詞進行窮盡式的標注，最后用一個逆向的規(guī)則系統(tǒng)，使用逆向掃描、尾字激活的策略，運用27條規(guī)則對機構名進行識別，在小規(guī)模的語料上測試，取得了不錯的效果。不過識別規(guī)則過于復雜。在機構名識別方面，前人

15、們還一項非常有參考價值的工作，就是文獻11提出的采用基于類的語言模型把中文分詞和命名實體識別結合在一起，其中在機構名識別上也取得了不錯的成果。在總結前人工作的基礎上，本文提出了一個新的機構名識別方法基于角色標注的方法。首先，在人名和地名識別的基礎上，對機構名內部構成角色進行有選擇的分類，然后采用隱馬模型1213，對分詞結果進行機構名構成角色的標注，最后，在角色序列上進行模式串識別，并最終識別出機構名。這套識別方法，已經實際應用到我們的漢語詞法分析系統(tǒng)（ICTCLAS）中，取得了非常好的結果。本文以下將詳細介紹有關基于角色標注的機構名識別的方法，然后給出詳細的系統(tǒng)測試數據并分析有關試驗的結果，最

16、后闡明我們的結論。2. 基于角色標注的中文機構名自動識別方法2.1. 中文機構名的構成角色就組成方式上來講，機構名比其它專有名詞復雜得多?；旧希暾臋C構名可以為前段（名字部分），還有后段（關鍵字）兩部分。關鍵字一般為普通的名詞，用詞也相對集中，是機構名中唯一較有規(guī)則可循的部分。附屬的名字部分似乎毫無規(guī)律可循，可能是一些常見的詞，也可能是被切分成碎片的單字。但是通過對人民日報（我們訓練和測試用的語料都是采用北大標注集的人民日報語料）1998年1月中的10817個機構名的19986個前段進行統(tǒng)計，發(fā)現它們并非毫無規(guī)律可循。在從詞性上來分，地名、專有名詞、簡稱、機構名占有相當一部分的比例，而且在

17、普通名詞中，又有許多在機構名中經常出現的高頻詞（其中，“國際”、“中央”等五個高頻詞占全部名詞的四分之一）。機構名不僅在內部用詞的詞性和用詞上具有一定的規(guī)律，而且中文機構名的上下文用字相對來說也比較集中，同樣具有一定的規(guī)律性，機構名的上下文大多是一些連詞、動詞或者表示職位的名詞等。如“董事長”、“經理”等。為了充分利用機構名構成上的這些特點，我們提出了基于角色標注的中文機構名自動識別方法。根據每個字詞在機構名構成中的不同作用，我們把它們分成各個不同的角色。經過對角色集選取的反復試驗，我們對機構名識別制定了以下角色表：角色意義例子A上文參與亞太經合組織的活動B下文中央電視臺報道X連接詞北京電視臺

18、和天津電視臺C特征詞的一般性前綴北京電影學院F特征詞的譯名性前綴美國摩托羅拉公司G特征詞的地名性前綴交通銀行北京分行H特征詞的機構名前綴中共中央顧問委員會I特征詞的特殊性前綴中央電視臺J特征詞的簡稱性前綴巴政府D機構名的特征詞國務院僑務辦公室Z非機構名成份表格 1中文機構名稱構成角色例如切分結果：“在/年/來臨/之際/，/通過/中央/人民/廣播/電臺/向/全國/各族/人民/致以/誠摯/的/問候/和/良好/的/祝愿/！”我們對其進行角色標注，其相應結果就應為：“在/Z 年/Z 來臨/Z 之際/Z ，/Z 通過/A 中央/I 人民/I 廣播/C 電臺/D 向/Z 全國/Z 各族/Z 人民/Z 致以

19、/Z 誠摯/Z 的/Z 問候/Z 和/Z 良好/Z 的/Z 祝愿/Z ！/Z”。2.2. 角色自動標注與中文機構名的識別中文機構名構成角色的標注類似于一人簡單的詞性標注過程。我們采用的是Viterbi算法9進行角色自動標注。即：從所有可能的標注序列中優(yōu)選出概率最大的標注序列作為最終標注結果。其理論及推導如下：我們假定W 是分詞后的Token序列(即未登錄詞識別前的分詞結果)，T是W某個可能的角色標注序列.其中T# 為最終標注結果，即概率最大的角色序列。則有：W=(w1, w 2, , w m),T=(t1, t2, , tm), m>0,T#=P(T| W). .E1 根據貝葉斯公式，有

20、： P(T|W)= P(T)P(W|T)/P(W) . . . E2對于一個特定的Token序列來說，P(W) 是一個常數，因此根據E1和 E2我們可以得到T#= P(T)P(W|T) . . . .E3假定wi為觀察值,角色ti為狀態(tài)值。則W是觀察值序列，而T為隱藏在W后的狀態(tài)值序列。那么，我們可以引入隱馬爾科夫模型12來計算P(T)P(W|T)。因此：P(T) P(W|T). . .E4T#=.E5 Û T#= -. .E6因此，角色自動標注問題就轉換為求解E5表達式最小化的問題。利用Viterbi算法1213就可以求解T#。 該方法的其中一個優(yōu)點在于可以采取E6對識別出來的候選

21、機構名根據其組成部分進行最終評分。2.3. 角色信息的自動抽取p(wi|ti) 和 p(ti|ti-1)是E5中兩個關鍵的角色信息參數。其中p(wi|ti)指的是角色為ti的Token集合中wi的概率； p(ti|ti-1)表示的是角色ti-1到角色ti的轉移概率。在大規(guī)模語料庫訓練的前提下，根據大數定理，我們可以得到：p(wi|ti)C(wi,ti)/C(ti) . .E7其中C(wi,ti)：wi作為角色ti出現的次數；C(ti)：角色ti出現的次數。p(ti|ti-1)C(ti-1,ti)/C(ti-1) . .E8其中C(ti-1,ti)：角色ti-1下一個角色是ti的次數；C(wi,

22、ti), C(ti), C(ti-1,ti)均可以通過對已經切分標注好的熟語料庫進行學習訓練、自動抽取得到。首先要對已經詞性標注好的語料庫進行機構名的角色標注，例如，原始語料為：“在/p 年/t 來臨/v 之際/f ，/w 通過/p 中央/n 人民/n 廣播/vn 電臺/nnt 向/p 全國/n 各族/r 人民/n 致以/v 誠摯/a 的/u 問候/vn 和/c 良好/a 的/u 祝愿/vn ！/w”經過我們的轉換程序，就變?yōu)榱耍骸霸?Z 年/Z 來臨/Z 之際/Z ，/Z 通過/A 中央/I 人民/I 廣播/C 電臺/D 向/Z 全國/Z 各族/Z 人民/Z 致以/Z 誠摯/Z 的/Z 問候

23、/Z 和/Z 良好/Z 的/Z 祝愿/Z ！/Z”。再對角色序列進行訓練，最終得到機構名的角色字典和各個角色之間的角色轉移概率。在角色訓練的過程中，將角色不是Z的詞wi存入機構名識別詞典，并統(tǒng)計wi作為ti的出現次C(wi,ti)。同時累計所有不同角色的出現次數C(ti)以及相鄰角色的出現次數C(ti-1,ti)。2.4. 自動識別的最終實現識別的過程就是在已經角色標注好的序列上進行的。識別的最大的特點就是無須復雜的規(guī)則，而且高效準確。識別的策略就是找出滿足“CFGHIJD”的子串。角色標注好的文本一般如下：“在/Z 年/Z 來臨/Z 之際/Z ，/Z 我/Z 十分/Z 高興/Z 地/Z 通過

24、/A 中央/I 人民/I 廣播/C 電臺/D 、/X 中國/G 國際/I 廣播/C 電臺/D 和/X 中央/I 電視臺/D ，/B 向/Z 全國/Z 各族/Z 人民/Z ，/Z 向/Z 香港/Z 特別/Z 行政區(qū)/Z 同胞/Z 、/Z 澳門/Z 和/Z 臺灣/Z 同胞/Z 、/Z 海外/Z 僑胞/Z ，/Z 向/Z 世界/Z 各國/Z 的/Z 朋友/Z 們/Z ，/Z 致以/Z 誠摯/Z 的/Z 問候/Z 和/Z 良好/Z 的/Z 祝愿/Z ！/Z”。應用上述的策略，識別出的潛在機構名為“中央人民廣播電臺”、“中國國際廣播電臺”以及“中央電視臺”。還要根據機構名自身概率的大小對結果進行篩選，最

25、后才得出最后的結果。3. 試驗結果與分析3.1. 有關角色集的選取對機構名識別效果影響的試驗我們對機構名角色集的選取并不是主觀臆斷的，是經過我們不斷篩選測試而得的。測試一：我們僅把機構名內部用詞分出特征詞（D）和特征詞前綴兩個角色，而不把特征詞前綴再細分類，統(tǒng)一當作是一般特征詞前綴（C），角色集的其它成員為上文（A）、下文（B）以及其它成份（Z）。對人民日報一月的部分語料進行封閉測試，結果如下：語料TOTALFOUNDRIGHTP(%)R(%)F(%)人民日報1月78369699640766.181.873.1人民日報6月906511632724962.380.070.0表格 2測試一的試驗數

26、據注：(1)TOTAL：語料中所有的機構名數; FOUND：系統(tǒng)識別出的機構名數; RIGHT：系統(tǒng)識別正確的機構名數(2)P：機構名識別的正確率=RIGHT/FOUND×100%; R：召回率=RIGHT/TOTAL×100%;F：綜合指標=2×P×R/（P+R）×100%在角色標注好的序列中，我們發(fā)現許多機構名內部成分被標注為非機構名成分。對于一些作為機構名內部成份出現次數相對較少的詞來說，p(wi|ti=C)非常小，p(wi|ti=Z)相對來說比較大，而p(ti=Z|ti-1=Z)與p(ti=C|ti-1=C)又相當無幾。我們初步認為是由

27、于角色分得過粗所造成的。測試二：為了驗證測試一的假設，我們將特征詞前綴初步細化為地名性特征詞前綴、譯名性特征詞前綴、機構名性特征詞前綴、特殊特征詞前綴以及一般特征詞前綴五類。測試結果如下：語料TOTALFOUNDRIGHTP(%)R(%)F(%)人民日報1月78368167616275.478.677.0人民日報6月90659736684170.375.572.8表格 3測試二的試驗數據測試結果顯示，正確率大幅度提高，整體性能也有了不小的提升。以“北京商業(yè)銀行”為例，細化出一個角色，雖然p(C|G)相對原來的p(C|C)要小，但是p(北京|G)的概率比原來p(北京|C)要大得多，便得“北京商業(yè)

28、銀行”整體作為機構名的概率變大。實踐初步證明，細分特綴詞前綴對提高機構名識別的效果有一定的影響。測試三：進一步細化特征詞前綴。在測試二的結果中，我們發(fā)現許多帶有簡稱的機構名，例如“巴政府”、“美國務院”等非常簡單的機構名都沒有被識別出來。為此，我們特此在一般性前綴中，分化出一類簡稱性前綴。測試結果如下：語料TOTALFOUNDRIGHTP(%)R(%)F(%)人民日報1月78368476631774.580.677.5人民日報6月906510216713669.978.774.0表格 4測試三的試驗數據細化特征詞前綴的結果使得大量含有簡稱的機構名被識別出來，召回率和整體性能略有上升。進一步的細

29、化前綴角色帶來性能的進一步提升，但是是不是前綴化分得越細越好呢，為此，帶著疑問我們進一步作了測試四。測試四：我們在剩余的一般性前綴中，把所占比例最大的數詞也單獨化分為一類前綴，由圖可見，相比如其它前綴，數詞前綴所占的比例最小。圖表 1測試四中各種前綴角色所占比例測試結果如下：語料TOTALFOUNDRIGHTP(%)R(%)F(%)人民日報1月78368491632074.480.777.4表格 5測試四的試驗數據數據表明，雖然召回率有所提高，但是帶來了整體性能上的下降。歸其原因，主要是因為細分角色雖然使數詞成為角色的概率提高，但是由于數詞在所有前綴中所占比例過小，召回的少量機構名并不能彌補大

30、量誤報所帶來的損失。實際結果明前綴并不是分得越細越好。3.2. 機構名識別與人名識別和地名識別的相互影響這次試驗，我們把機構名識別集成到ICTCLAS中，在其它命名實體識別的基礎之上進行機構名識別。我們作封閉測試所用的訓練語料是人民日報九八年一到六月的語料，開放測試時所用的訓練語料是人民日報九八年二到六月的語料。封閉和開放測試時所用的測試語料都是九八年一月的語料。測試一：我們讓系統(tǒng)只對人名和地名進行識別，結果如下：（注：結果中含詞典中已收錄的機構名）TOTALFOUNDRIGHTP(%)R(%)F(%)人名15888159401519895.34504495.65710095.500817地名

31、18462230261773677.02597196.06759885.499422機構名108174618407288.17670037.64444952.763201表格 6測試一的試驗數據測試二：我們在人名和地名識別的基礎之上進行基于角色標注的機構名識別，結果如下：TOTALFOUNDRIGHTP(%)R(%)F(%)人名15888159271519795.41658895.65080695.533553地名18462208481763384.57885695.50969689.712541機構名108179049781486.35208372.23814478.667069表格 7測試

32、二的試驗數據結果發(fā)現，地名的總體性能大幅提升，機構名的性能相比實驗一中的最好結果也有不小的提升。人名識別的性能也略有升高。測試三：借鑒基于類的思想，我們對命名實體進行有選擇的分類處理，例如，將地名識別后的結果進行分類，所有核心詞典中未有的未登錄地名歸為未知地名類，已知地名各自為一類。經過這次改進后，TOTALFOUNDRIGHTP(%)R(%)F(%)人名15888159151519895.49481695.65710095.575889地名18462190091760992.63506895.37969993.987350機構名1081710520942689.60076087.140612

33、88.353564表格 8測試三的試驗數據與測試二相比，地名和機構名識別的指標又都有了大幅度的提高。測試四：為了驗證系統(tǒng)的實用性，我們對機構名進行開放測試。根據所掌握的材料，我們所作開放測試所選用的測試集之大，在相關的研究論文中是絕無僅有的，所以相比其它系統(tǒng)所得出的數據，我們的數據更有價值。TOTALFOUNDRIGHTP(%)R(%)F(%)人名15888159271519995.42914595.66339495.546126地名18462199301764888.54992595.59094491.935820機構名108179279820288.39314675.82509081.62

34、8185表格 9測試四的試驗數據最終結果顯示，系統(tǒng)的整體性能依舊非常高，完全可以滿足實際的需求。4. 結論本文系統(tǒng)地分析了中文機構名的特點與命名實體識別在機構名識別上的諸多難點，分析了各種典型解決方案，針對實際問題和已有方法的種種不足，同時吸收各種方法的精華，提出了一種基于角色標注的中文機構名識別方法。即采用Viterbi算法，利用中文機構名構成角色表及其相關統(tǒng)計信息，對句子中的不同成分進行角色標注，在角色序列的基礎上進行字符串匹配，從而識別出中文機構名。中文機構名構成角色指的是各個分詞片段在機構名識別過程中所扮演的不同角色。某個詞作為特定角色的概率以及角色之間的轉移概率，全部從訓練語料庫中自動抽取，從而降低了人工總結規(guī)則的高成本與內在缺陷。角色的標注過程就是選取角色序列概率最大的過程，避免了以前方法盲目觸發(fā)的不足。通過對大規(guī)模完全真實語料庫的封閉與開放測試，該方法取得了相當好的效果。各種實驗表明基于角色標注的中文機構名識別算法是行之有效的。本文所用的方法雖然是一種純統(tǒng)計學的方法，不過角色集合的確定卻是人為的，需要引入人類的語言學知識和世界知識，