基于句法模式的中文語義關(guān)系知識(shí)庫系統(tǒng)

基于句法模式的中文語義關(guān)系知識(shí)庫系統(tǒng)

0在線詞典的開發(fā)自然人處理是計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域的一個(gè)重要方向。實(shí)現(xiàn)人機(jī)間自然語言通信意味著要使計(jì)算機(jī)既能理解自然語言文本的意義,也能以自然語言文本來表達(dá)給定的意圖、思想等。前者稱為自然語言理解,后者稱為自然語言生成。然而這兩者都遠(yuǎn)不如人們?cè)瓉硐胂蟮哪敲春唵巍Ｔ斐衫щy的根本原因是自然語言廣泛存在的各種各樣的歧義性或多義性;自然語言的形式(字符串)與其意義之間是一種多對(duì)多的關(guān)系,且相互間存在大量的關(guān)系。大約20世紀(jì)90年代開始,自然語言處理領(lǐng)域發(fā)生了巨大的變化。首先對(duì)系統(tǒng)輸入,要求研制的自然語言處理系統(tǒng)能處理大規(guī)模的真實(shí)文本,而不是如以前的研究性系統(tǒng)那樣,只能處理很少的詞條和典型句子;其次對(duì)系統(tǒng)的輸出,鑒于真實(shí)理解自然語言是十分困難的,對(duì)系統(tǒng)并不要求能對(duì)自然語言文本進(jìn)行深層的理解,但要能從中抽取有用的信息,如自動(dòng)提取索引詞、過濾、檢索、進(jìn)行自動(dòng)摘要等。雖然上述新趨勢(shì)給自然語言處理領(lǐng)域帶來了成果,但從理論方法的角度看,由于采集、整理、表示和有效應(yīng)用大量知識(shí)的困難,這些系統(tǒng)更依賴于統(tǒng)計(jì)學(xué)的方法和其他簡單的方法或技巧,如馬爾可夫模型、向量空間模型、TF-IDF算法等。這些統(tǒng)計(jì)學(xué)的方法和其他簡單的方法似乎也快達(dá)到它們的極限了。因此,近年來人們開始越來越重視字詞間語義關(guān)系的基礎(chǔ)工作,展開了大規(guī)模真實(shí)語料庫的研制以及大規(guī)模、信息豐富的詞典編制工作等。比如普林斯頓大學(xué)認(rèn)知科學(xué)實(shí)驗(yàn)室開發(fā)了一部在線詞典數(shù)據(jù)庫系統(tǒng)WordNet,將英文的單詞組織為同義詞集合,每一個(gè)集合表示一個(gè)基本的詞匯概念,并在這些詞匯概念間建立了多種詞匯語義關(guān)系。目前,WordNet被成功地用于詞義消歧、語言學(xué)自動(dòng)處理、雙語及多國語機(jī)器翻譯、檢索系統(tǒng)等一系列語言工程。在WordNet的影響下,許多國家都已著手實(shí)施構(gòu)造本民族語言的WordNet,我國也出現(xiàn)了CWB中文詞庫等一些手工建立的語義詞典。這些基礎(chǔ)性的工作為自然語言處理作出了很大的貢獻(xiàn)。但是必須看到,這些基礎(chǔ)性的工作也還是遠(yuǎn)遠(yuǎn)不夠的,它們僅僅是靜態(tài)的、最原始的數(shù)據(jù),必須從大規(guī)模語料和詞典中獲取動(dòng)態(tài)的字詞間關(guān)系,并且這個(gè)過程應(yīng)當(dāng)是自動(dòng)化的、可自學(xué)習(xí)的。綜合以上觀點(diǎn),筆者認(rèn)為,要取得新的更大的進(jìn)展,僅靠目前已有的方法是遠(yuǎn)遠(yuǎn)不夠的。因此,在國家科技基礎(chǔ)條件平臺(tái)應(yīng)用服務(wù)支撐系統(tǒng)中,本文將基于字詞間語義關(guān)系的推理方法與基于統(tǒng)計(jì)的方法結(jié)合起來,創(chuàng)造性地提出并實(shí)現(xiàn)了一個(gè)語義關(guān)系知識(shí)庫系統(tǒng),包括基于句法模式的語義關(guān)系自動(dòng)化發(fā)現(xiàn)等功能(本系統(tǒng)是基于中文的自然語言處理工作,本文所提到的字詞均指漢語字詞)。1意義關(guān)系和語法模式1.1關(guān)系類的組成及基本特性語義關(guān)系是字詞之間具有的各種廣泛而大量的關(guān)系,所有字詞依靠關(guān)系構(gòu)成一個(gè)巨大的語義網(wǎng)絡(luò)。定義1詞間關(guān)系兩個(gè)以上的詞之間會(huì)有某種語義上的聯(lián)系,這里只研究詞之間的二元關(guān)系。設(shè)W是所有詞的集合,R是W上所有具有某種語義聯(lián)系的詞的偶對(duì)集合。顯然,R是W×W的一個(gè)子集,有R?W×W。例如,詞W1與W2是W中的兩個(gè)元素,若它們之間在語義上具有某種確定的關(guān)系R(如同義、反義等),則稱它們之間具有語義關(guān)系R,記為W1RW2。本文定義的詞間主要的語義關(guān)系有:a)Ris-a——從屬,即面向?qū)ο笾械睦^承—泛化關(guān)系,表示為Ris-a={(father,son)|father∈W∧son∈W∧Sonisakindoffather}。說明:此關(guān)系為自反、反對(duì)稱、傳遞的,因此是W上的半序關(guān)系。b)Rcomp——組合,表示整體與部分的關(guān)系,如計(jì)算機(jī)—內(nèi)存,表示為Rcomp={(whole,part)|whole∈W∧part∈W∧partisacomponentofwhole}。c)Rattr——屬性,這里指一個(gè)詞描述了另一個(gè)對(duì)象的屬性,如葡萄—味道。d)Rattr-v——屬性值,這里指一個(gè)詞作為描述另一個(gè)對(duì)象的屬性的值,如葡萄—酸甜。e)Raction——?jiǎng)幼?一個(gè)詞作為對(duì)象的某種操作,如狗—吠。f)Rsynonym——同義,詞義相同或相近。說明:此關(guān)系為自反、對(duì)稱、傳遞的,因此是W上的等價(jià)關(guān)系,所有的同義詞構(gòu)成W上的一個(gè)劃分,將W劃分為若干個(gè)等價(jià)類。g)Rantonym——反義,詞義相反或相對(duì)。說明:此關(guān)系為反自反、對(duì)稱的。h)Rgeneral——一般關(guān)聯(lián),兩個(gè)或多個(gè)詞的某種關(guān)系,如水果—果脯。說明:此關(guān)系為廣泛意義的關(guān)聯(lián),所有未歸類為以上關(guān)系的二元集合均可視為這里的一般關(guān)聯(lián)。以上對(duì)關(guān)系的幾種定義方法部分來自于面向?qū)ο笏枷?并且可以產(chǎn)生自動(dòng)演繹、歸納等特性。這是現(xiàn)有的WordNet、CBW中文詞典等尚未做到的。將一個(gè)詞代表的具體東西看做一個(gè)對(duì)象,將一個(gè)詞代表的本體看做一個(gè)類,則詞與詞之間就會(huì)產(chǎn)生面向?qū)ο笾械母鞣N關(guān)系。最廣泛、最直接的關(guān)系是繼承、組合、關(guān)聯(lián)等。子類的一些特性可以從父類得到繼承,系統(tǒng)會(huì)自動(dòng)演繹出子類的基本特性。同樣,系統(tǒng)也能歸納某父類下所有的子類字詞,如果它們都具有某種相同屬性詞或操作詞,那么這個(gè)詞就會(huì)自動(dòng)上移到父類。1.2繼承性符號(hào)表承關(guān)系句法模式是一種用來在語料庫中匹配句子、發(fā)現(xiàn)關(guān)系的語法規(guī)則。例如:“A是一種B”或“A是B的一種”,就是兩個(gè)用來發(fā)現(xiàn)繼承關(guān)系的模式。本文中模式的書寫規(guī)則以正則表達(dá)式為基礎(chǔ),略加修改,概述如下:a),里面的詞描述了一個(gè)取值范圍,如[father]代表承關(guān)系中繼父類集合中的某個(gè)詞。b)+,代表1或多個(gè)正好在它之前的那個(gè)字符,如A+代表A、AA、AAA等。c)*,代表0或多個(gè)任意字符。d)$,代表行結(jié)束符,如“。$”能夠匹配字符串“這是一個(gè)蘋果?！钡木湮?。此符號(hào)在后文中主要用來斷句。e)&,代表AND關(guān)系,如[father&N.]表示既符合父類又是名詞的一個(gè)取值。f),代表OR關(guān)系,如[、。]表示頓號(hào)或句號(hào)。在語料庫中的一個(gè)實(shí)例:S=軟玉主要是由透閃石、陽起石等組成的一種礦物?！Z料來自新華網(wǎng)以上書寫規(guī)則對(duì)應(yīng)的模式為M=[whole&son]是由([part]、)+[part]等組成的一種[father]另外,模式也有好壞之分。通過好的模式可以發(fā)現(xiàn)新的正確的關(guān)系。比如通過以上模式發(fā)現(xiàn)了語料中的三個(gè)關(guān)系:Rcomp:軟玉—透閃石,軟玉—陽起石;Ris-a:軟玉—礦物。2意義關(guān)系的自動(dòng)獲取2.1語義關(guān)系n,[a]定義2詞是語義中代表某種概念實(shí)體的、可以獨(dú)立運(yùn)用的最小單位。定義3句子是能表達(dá)一個(gè)完整的意思、由m個(gè)詞W與標(biāo)點(diǎn)符號(hào)連接的有序集合,句尾一般使用句號(hào)、問號(hào)、省略號(hào)、感嘆號(hào)等結(jié)束,記為S={W|W1W2…Wm}。定義4文章是由n個(gè)句子S與段落標(biāo)記組成的有序集合,記為A={S|S1S2…Sn}。定義5語料庫是由p篇不重復(fù)文章A組成的集合,記為D={A|A1A2…Ap}。若已知:a)自然語言中存在某些確定的詞間關(guān)系R1,R2,…,這里用Ri統(tǒng)一表示。b)已有一些詞間關(guān)系Ri的子集Ri′,其中:Ri′?Ri。c)大規(guī)模語料庫D。如何利用已知的Ri′和D擴(kuò)充Ri′為Ri″,使得Ri′?Ri″且Ri″/Ri趨向于Φ(即如何利用已知的關(guān)系Ri′從D中得到盡可能多的未知關(guān)系)。2.2車輛的“產(chǎn)”—問題分析既然R是詞間廣泛存在的某種關(guān)系,這種關(guān)系又是存在于自然語言中的本質(zhì)屬性,那么R必然在自然語言中有所體現(xiàn)。一個(gè)比較具體的例子是:現(xiàn)有大規(guī)模語料庫D1,保存有大量不同種類的常見文本。其中:句子S1,S2∈D1,且S1和S2的內(nèi)容為S1=20世紀(jì)20年代初,上海馬路各式交通工具混雜,據(jù)當(dāng)時(shí)報(bào)紙報(bào)道,上海街頭“每天要通過大量各式各樣的車輛——汽車、卡車、電車、馬車、人力車、獨(dú)輪推車、手推車……以及成千上萬的行人”。S2=最新與最舊的、最快與最慢的,以及最自由散漫的行人,并駕齊驅(qū),蔚為大觀。——《車影行蹤》,上海檔案信息網(wǎng)若在分析此段語料之前,已有關(guān)于“車”的關(guān)系的記錄,保存在兩張表中,如表1、2所示?？筛鶕?jù)表中的數(shù)據(jù),將隱藏在句子S1中的關(guān)系挖掘出來:S′1=車輛———汽車、卡車、電車、馬車、人力車、獨(dú)輪推車、手推車…從中可以看到一定的句法模式。事實(shí)上,設(shè)滿足一定的模式記為M,則從S1′中可推得:M1=[father]———([son]、)+[son]…其中:+號(hào)代表1或多個(gè)在它之前的單詞。通過模式M1可以有效地發(fā)現(xiàn)新的關(guān)系,如(車輛,卡車)∈Ris-a等。同理,可從S2中利用已有關(guān)系發(fā)現(xiàn)蘊(yùn)涵的模式M2:S2=最新與最舊的、最快與最慢的,以及最自由散漫的行人,并駕齊驅(qū),蔚為大觀。M2=(最[synonym1&adj]與最[synonym1&adj]的[、,])+可見,需要做的是找到某種算法,從語料庫D中自動(dòng)化地得到有效的模式,再利用各種模式來發(fā)現(xiàn)更多詞間關(guān)系,從而擴(kuò)充已有的關(guān)系集。3實(shí)現(xiàn)方法3.1大規(guī)模語料庫及應(yīng)用程序接口部分本系統(tǒng)分為語義關(guān)系數(shù)據(jù)庫、系統(tǒng)程序模塊組、大規(guī)模語料庫和應(yīng)用程序接口四部分,如圖1所示。本文著重闡述的是系統(tǒng)程序模塊組中的關(guān)系發(fā)現(xiàn)維護(hù)組件和模式發(fā)現(xiàn)維護(hù)組件。3.2主要想法和應(yīng)用技術(shù)1次滿足要求的斷句要對(duì)句子進(jìn)行處理,首先要對(duì)大規(guī)模文本庫D中的文章進(jìn)行斷句。本文對(duì)于文章的斷句提出了采用基于標(biāo)點(diǎn)符號(hào)與句子長度相結(jié)合(防止句子過長或無標(biāo)點(diǎn))的方法。設(shè)文章A可被斷句為n個(gè)句子:A={S|S1S2…Sn},可作為斷句依據(jù)的標(biāo)點(diǎn)符號(hào)集合為P,句子長度為L,最大長度為Lmax,則認(rèn)為滿足以下條件的劃分為一次滿足要求的斷句:?(i∈Γ)($i∈P)∨L<Lmax。其中:$i為Si的最末一個(gè)字符;Γ為指標(biāo)集合。2)關(guān)于分詞技術(shù)得到了句子,接下來就要對(duì)句子進(jìn)行分析,分詞是其中必不可少的一個(gè)步驟。本系統(tǒng)使用基于統(tǒng)計(jì)學(xué)的二階馬爾可夫分詞模型進(jìn)行分詞。一般來說,N階馬爾可夫模型就是假設(shè)當(dāng)前詞的出現(xiàn)概率只與它前面的N個(gè)詞有關(guān)(馬爾可夫假設(shè))。這樣,一個(gè)句子就構(gòu)成了一條馬爾可夫鏈。重要的是這些概率參數(shù)都是可以通過大規(guī)模語料庫來計(jì)算的。比如三元概率有P(Wi|Wi-2Wi-1)≈count(Wi-2Wi-1Wi)/count(Wi-2Wi-1)。其中:count(…)表示一個(gè)特定詞序列在整個(gè)語料庫中出現(xiàn)的累計(jì)次數(shù)。這樣,若一個(gè)句子可以有多種劃分,本文認(rèn)為滿足最大概率的劃分是最合理的分詞,即取P(W1,W2,W3,…,Wn)的最大值為最佳分詞結(jié)果。關(guān)于這方面詳細(xì)資料參見文獻(xiàn)。3采用索引技術(shù)對(duì)于文檔集合上的關(guān)鍵詞檢索,最基本的查詢方法可以通過順序掃描文本的方式來實(shí)現(xiàn),這種方法稱為順序查找。順序查找基本上無須對(duì)文檔集合中的信息作任何形式的預(yù)處理,查詢時(shí)直接在文檔中進(jìn)行基于字符串的簡單匹配。這種方法相對(duì)比較簡單,容易實(shí)現(xiàn),但當(dāng)需要查找的文件大小達(dá)到一定數(shù)量級(jí)別時(shí),其效率就非常低。正因如此,人們提出了各種不同的查找方法,倒排索引就是其中的一種方法。索引是在搜索時(shí)使用到的一種特殊的數(shù)據(jù)結(jié)構(gòu)。當(dāng)文檔的數(shù)量相當(dāng)龐大,并且這些文檔中的信息相對(duì)穩(wěn)定時(shí),建立索引可以大大提高搜索時(shí)的效率。索引的技術(shù)主要有以下三種:倒排索引、后綴數(shù)組和簽名文件。其中,倒排索引在當(dāng)前大多數(shù)的信息檢索系統(tǒng)中得到了廣泛的應(yīng)用,它對(duì)于關(guān)鍵詞的搜索非常有效。倒排索引是一種面向單詞的索引機(jī)制。通常情況下,倒排索引結(jié)構(gòu)由詞典和出現(xiàn)情況兩部分組成。對(duì)于每一個(gè)單詞,都會(huì)有一個(gè)詞匯列表記錄單詞在所有文檔中出現(xiàn)的位置,這些位置可以是單詞的位置(文本中的第幾個(gè)單詞),也可以是字符的位置(文本中的第幾個(gè)字符)。更多詳情參見文獻(xiàn)。以上文出現(xiàn)的兩個(gè)句子S1、S2簡單舉例說明。首先在對(duì)所有的文章進(jìn)行斷句、分詞后,將所有句子的集合進(jìn)行自動(dòng)編號(hào),得到關(guān)于句子(已分詞)的表,如表3所示。設(shè)表3中一共有m個(gè)句子,利用此表中句子的編號(hào),對(duì)每個(gè)出現(xiàn)過的詞都建立一個(gè)m位的二進(jìn)制索引值,每個(gè)索引值的第i位以0(或1)表示這個(gè)詞沒有(或有)在第i篇出現(xiàn)過。比如車輛在句子S1中出現(xiàn)過,在S2中沒有出現(xiàn)過,則末兩位為01。結(jié)果如表4所示。這樣,在系統(tǒng)中去查詢一個(gè)單詞在哪些句子中出現(xiàn)過,則只需讀出這個(gè)單詞的索引,取出值為1的位號(hào)即可。4反向索引相結(jié)合在實(shí)際使用中,設(shè)多個(gè)有一定關(guān)系R的詞記為Wi,則Wi∈R,將它們的集合記為Wsearch,使用它們作為關(guān)鍵詞進(jìn)行查詢?，F(xiàn)需查詢它們同時(shí)在哪些句子中出現(xiàn),則可將它們的反向索引相與:result=ANDi∈Wsearchinverted_Indexiresult=AΝDi∈Wsearchinverted_Ιndexi其中:result為代表結(jié)果的二進(jìn)制串,最后將其中值為1的序號(hào)讀出即可得到滿足要求的句子。接下來,對(duì)找到的句子進(jìn)行去噪預(yù)處理、詞性標(biāo)注、關(guān)系代詞替換、冗余信息截去等工作后,即可得到一條模式。3.3算法的設(shè)計(jì)和優(yōu)化12配置短語的預(yù)備表2用條件索引法進(jìn)行關(guān)聯(lián)并進(jìn)行操作可以用同樣的方法計(jì)算R中的所有n×(n-1)/2個(gè)W對(duì),得到n×(n-1)/2個(gè)result。但注意到同樣的關(guān)系集R里并不是任何兩個(gè)單詞都有關(guān)系R。因此將所有R上的詞以它們的關(guān)系連接為圖,記d為圖上兩點(diǎn)的距離。規(guī)定滿足條件d(W1,W2)=1的兩個(gè)詞才進(jìn)行索引的并操作。此步驟實(shí)際是限制只對(duì)具有直接關(guān)系的單詞對(duì)進(jìn)行查找,大大提高了效率。3兩相操作,以近解將新的result重復(fù)進(jìn)行上面的兩兩相與操作,以找出同時(shí)出現(xiàn)四個(gè)、五個(gè)、……相關(guān)詞的句子,直到result全為零,或只剩一個(gè)result為止。4模式表的增加根據(jù)這張初始表,對(duì)找到的句子進(jìn)行詞性標(biāo)注、關(guān)系代詞替換、冗余信息截去等工作后,就可得到一條模式。將模式記錄在一張模式表中:在此同時(shí)注意合并同類模式并記錄相同模式出現(xiàn)的次數(shù)T。由于自然語言的多樣性,在實(shí)際使用中這樣的處理也會(huì)得到大量無意義的模式,可以使用基于統(tǒng)計(jì)的方法來消歧,將出現(xiàn)概率極小的模式和關(guān)系視為無效。設(shè)最小支持度是某模式出現(xiàn)的次數(shù),記為supmin(F)。在本系統(tǒng)中,認(rèn)為滿足supmin(F)>2的模式為可信模式。5每個(gè)關(guān)系組rj的元素如上步驟14，并執(zhí)行步驟14中的所有元素。找到所有的短語，處理步驟4并得到模式在這里只是簡單介紹了字詞關(guān)系、倒排索引、句子模式等在句子集上應(yīng)用的基本原理,系統(tǒng)中真正的細(xì)節(jié)會(huì)比此處介紹的復(fù)雜很多。3.4分析整個(gè)過程和結(jié)果1新聞?wù)Z料與數(shù)據(jù)庫文件結(jié)構(gòu)本系統(tǒng)采用了搜狗語料庫和百度百科作為對(duì)比。搜狗語料庫是搜狗lab提供的文本分類語料庫(精簡版),來源于Sohu新聞網(wǎng)站保存的大量經(jīng)過編輯手工整理與分類的新聞?wù)Z料與對(duì)應(yīng)的分類信息,包括財(cái)經(jīng)、IT、健康、體育、旅游、教育、招聘、文化、軍事九大類。精簡版共17910個(gè)文件,平均每個(gè)文件占1～10KB,共約2500萬字,可以說是十分翔實(shí)豐富的,基本代表了一個(gè)完整覆蓋面廣的語料環(huán)境。另外,還抓取了百度百科的17000個(gè)網(wǎng)頁作為對(duì)比,平均每個(gè)網(wǎng)頁的大小與搜狗文本相近。百度百科是基于維基思想的在線百科辭典,采集它的網(wǎng)頁作為語料庫實(shí)驗(yàn)材料有涵蓋面很全面、解釋性和陳述性的詞語多等特點(diǎn),無疑是非常好的語料庫資源。2建立初始關(guān)系庫對(duì)于相關(guān)詞的語義庫,可以采用多種方法,如人工收集、結(jié)合程序自動(dòng)導(dǎo)入已有關(guān)系列表等來完成初始關(guān)系庫的建立,為后面的自動(dòng)化挖掘采集作準(zhǔn)備。3基于自動(dòng)統(tǒng)計(jì)支持度的無效初步模式篩選最終利用上文所講的方法編寫PHP程序進(jìn)行了實(shí)現(xiàn)。模式和關(guān)系的發(fā)現(xiàn)經(jīng)歷了如下過程:初步模式→有效模式→初步關(guān)系→有效關(guān)系。首先從語料庫中得到了大量的初步模式,經(jīng)過支持度計(jì)算篩選出有效模式;再將有效模式中的初步關(guān)系抽取出來;最后對(duì)關(guān)系進(jìn)行人工鑒定,找出認(rèn)為有效的關(guān)系。圖2顯示了在兩種語料庫中發(fā)現(xiàn)的關(guān)系和模式數(shù)量對(duì)比。由圖2可見,用此方法產(chǎn)生了大量的無效初步模式。但使用經(jīng)過自動(dòng)統(tǒng)計(jì)支持度后得到的200多條有效模式,最終發(fā)現(xiàn)了一些關(guān)系