自然語言理解優(yōu)秀文檔

第10章自然語言理解

10.1簡單句理解10.2復(fù)合句理解10.3轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)

10.1簡單句理解10.1.1理解的實現(xiàn)過程要理解一個語句，需建立起一個和該簡單句相對應(yīng)的機(jī)內(nèi)表達(dá)。而要建立機(jī)內(nèi)表達(dá)，需要做以下兩方面的工作：(1)理解語句中的每一個詞。(2)以這些詞為基礎(chǔ)組成一個可以表達(dá)整個語句意義的結(jié)構(gòu)。由于這個解釋過程涉及到許多事情，因而常常將這項工作分成以下三個部分來進(jìn)行：(1)語法分析。將單詞之間的線性次序變換成一個顯示單詞如何與其他單詞相關(guān)聯(lián)的結(jié)構(gòu)。語法分析確定語句是否合乎語法，因為一個不合語法的語句就更難理解。(2)語義分析。各種意義被賦予由語法分析程序所建立的結(jié)構(gòu)，即在語法結(jié)構(gòu)和任務(wù)領(lǐng)域內(nèi)對象之間進(jìn)行映射變換。(3)語用分析。為確定真正含義，對表達(dá)的結(jié)構(gòu)重新加以解釋。10.1.2語法分析要進(jìn)行語法分析，必須首先給出該語言的文法規(guī)則，以便為語法分析提供一個準(zhǔn)則和依據(jù)。對于自然語言人們已提出了許多種文法，例如，喬姆斯基（Chomsky）提出的上下文無關(guān)文法就是一種常用的文法。一個語言的文法一般用一組文法規(guī)則（稱為產(chǎn)生式或重寫規(guī)則）以及非終結(jié)符與終結(jié)符來定義和描述。例如，下面就是一個英語子集的上下文無關(guān)文法：<sentence>∷=<noun-phrase><verb-phrase><noun-phrase>∷=<determiner><noun><verb-phrase>∷=<verb><noun-phrase>|<verb><determiner>∷=the|a|an<noun>∷=man|student|apple|computer<verb>∷=eats|operats這個文法有6條文法規(guī)則，它們是用BNF范式表示的。其中帶尖括號的項為非終結(jié)符，第一個非終結(jié)符稱為起始符，不帶尖括號的項為終結(jié)符，符號“∷=”的意思是“定義為”，符號“|”是“或者”的意思，而不帶“|”的項之間是“與”關(guān)系。符號“∷=”也可以用箭頭“→”表示。

有了文法規(guī)則，對于一個給定的句子，就可以進(jìn)行語法分析，即根據(jù)文法規(guī)則來判斷其是否合乎語法。可以看出，上面的文法規(guī)則實際是非終結(jié)符的分解、變換規(guī)則。分解、變換從起始符開始，到終結(jié)符結(jié)束。所以，全體文法規(guī)則就構(gòu)成一棵如圖10-1所示的與或樹，我們稱其為文法樹。圖10―1文法樹

例10.1下面是一個基于上述文法的語法分析程序。它采用自頂向下搜索。sentence(X):append(Y，Z，X)，noun-phrase(Y)，verb-phrase(Z).noun-phrase(X):append(Y，Z，X)，determiner(Y)，noun(Z).verb-phrase(X):append(Y，Z，X)，verb(Y)，noun-phrase(Z).verb-phrase(X):verb(X).determiner(［the］).noun(［H|-］):member(H，［man，student，apple，banana，computer］).verb(［H|-］):member(H，［eats，study，programming，operats］).append(［］，L，L).append(［H|T］，L，［H|L2］):append(T，L，L2).member(X，［X|-］).member(X，［-|T］):member(X，T).verb-phrase(X):append(Y，Z，X)，verb(Y)，noun-phrase(Z).一個語言的文法一般用一組文法規(guī)則（稱為產(chǎn)生式或重寫規(guī)則）以及非終結(jié)符與終結(jié)符來定義和描述。<sentence>∷=<noun-phrase><verb-phrase>“扣子”指的是“剛買的大衣”的一部分。SHIPNAME→Huanghe|Changjiang2復(fù)合句理解有了文法規(guī)則，對于一個給定的句子，就可以進(jìn)行語法分析，即根據(jù)文法規(guī)則來判斷其是否合乎語法。轉(zhuǎn)換部分是一個轉(zhuǎn)換規(guī)則（重寫規(guī)則）集，它負(fù)責(zé)句子結(jié)構(gòu)的轉(zhuǎn)換。所以它的功能有限，也存在不少問題。“小張準(zhǔn)備結(jié)婚，他決定再找一份工作干。將單詞之間的線性次序變換成一個顯示單詞如何與其他單詞相關(guān)聯(lián)的結(jié)構(gòu)。(4)與行動有關(guān)的事物，例如：轉(zhuǎn)換文法就是可把句子的一種結(jié)構(gòu)轉(zhuǎn)換為另一種結(jié)構(gòu)的文法。圖10―2語法分析樹10.1.3語義分析語義分析就是要識別一個語句所表達(dá)的意思。語義分析的方法很多，如運用格文法、語義文法等。這里僅介紹其中的語義文法方法。語義文法是進(jìn)行語義分析的一種簡單方法。所謂語義文法，就是在傳統(tǒng)的短語結(jié)構(gòu)文法的基礎(chǔ)上，將名詞短語、動詞短語等不含語義信息的純語法類別，用所討論領(lǐng)域的專門類別來代替。例如，下面就是一個語義文法的例子：基礎(chǔ)部分是一個上下文無關(guān)文法，它產(chǎn)生句子的深層結(jié)構(gòu)表示；它是一種由節(jié)點和有向邊（?。┙M成的有向圖。<noun-phrase>∷=<determiner><noun>其中節(jié)點代表狀態(tài)，有向弧代表從一個狀態(tài)到另一個狀態(tài)的轉(zhuǎn)換。句子之間關(guān)系包括以下幾種：verb-phrase(X):verb(X).這里僅介紹其中的語義文法方法。<noun-phrase>∷=<determiner><noun>轉(zhuǎn)換部分是一個轉(zhuǎn)換規(guī)則（重寫規(guī)則）集，它負(fù)責(zé)句子結(jié)構(gòu)的轉(zhuǎn)換。轉(zhuǎn)換文法就是可把句子的一種結(jié)構(gòu)轉(zhuǎn)換為另一種結(jié)構(gòu)的文法。一般節(jié)點用單線圓圈表示，終止節(jié)點用雙線圓圈表示。單詞“它”和“計算器”指的是同一物體。SHIPNAME→Huanghe|Changjiang(5)因果關(guān)系，例如：一個語言的文法一般用一組文法規(guī)則（稱為產(chǎn)生式或重寫規(guī)則）以及非終結(jié)符與終結(jié)符來定義和描述。<sentence>∷=<noun-phrase><verb-phrase>轉(zhuǎn)換文法就是可把句子的一種結(jié)構(gòu)轉(zhuǎn)換為另一種結(jié)構(gòu)的文法。1下面是一個基于上述文法的語法分析程序。<noun-phrase>∷=<determiner><noun>而一組語句的理解，無論它是一個文章選段，還是對話節(jié)錄，句子之間都有相互關(guān)系。轉(zhuǎn)換部分是一個轉(zhuǎn)換規(guī)則（重寫規(guī)則）集，它負(fù)責(zé)句子結(jié)構(gòu)的轉(zhuǎn)換。需指出的是，上述的狀態(tài)轉(zhuǎn)換網(wǎng)絡(luò)是最基本、最簡單的狀態(tài)網(wǎng)絡(luò)。例如，下面就是一個語義文法的例子：member(X，［X|-］).各種意義被賦予由語法分析程序所建立的結(jié)構(gòu)，即在語法結(jié)構(gòu)和任務(wù)領(lǐng)域內(nèi)對象之間進(jìn)行映射變換。語義分析的方法很多，如運用格文法、語義文法等。句子之間關(guān)系包括以下幾種：要進(jìn)行語法分析，必須首先給出該語言的文法規(guī)則，以便為語法分析提供一個準(zhǔn)則和依據(jù)。有了文法規(guī)則，對于一個給定的句子，就可以進(jìn)行語法分析，即根據(jù)文法規(guī)則來判斷其是否合乎語法。對于自然語言人們已提出了許多種文法，例如，喬姆斯基（Chomsky）提出的上下文無關(guān)文法就是一種常用的文法。語義分析的方法很多，如運用格文法、語義文法等。SHIP→theSHIPNAME|CLASSNAMEclassship1節(jié)給出的上下文無關(guān)文法用狀態(tài)轉(zhuǎn)換網(wǎng)絡(luò)表示就是圖10―4。S→PRESENTtheATTRIBUTEofSHIPPRESENT→whatis|canyoutellmeATTRIBUTE→length|classSHIP→theSHIPNAME|CLASSNAMEclassshipSHIPNAME→Huanghe|ChangjiangCLASSNAME→carrier|submarine這是一個艦船管理數(shù)據(jù)庫系統(tǒng)自然語言接口的語義文法片段。可以看出，語義文法的重寫規(guī)則與上下文無關(guān)文法的形式是類似的。但這里沒有出現(xiàn)像名詞短語和動詞短語等語法類別，而是用了PRESENT、ATTRIBUTE、SHIP等專門領(lǐng)域中的類別。10.2復(fù)合句理解簡單句的理解不涉及句與句之間的關(guān)系，它的理解過程首先是賦單詞以意義，然后再給整個語句賦予一種結(jié)構(gòu)。而一組語句的理解，無論它是一個文章選段，還是對話節(jié)錄，句子之間都有相互關(guān)系。所以，復(fù)合句的理解，就不僅要分析各個簡單句，而且要找出句子之間的關(guān)系。這些關(guān)系的發(fā)現(xiàn)，對于理解起著十分重要的作用。句子之間關(guān)系包括以下幾種：(1)相同的事物，例如：“小華有個計算器，小劉想用它。”單詞“它”和“計算器”指的是同一物體。(2)事物的一部分，例如：“小林穿上她剛買的大衣，發(fā)現(xiàn)掉了一個扣子?！薄翱圩印敝傅氖恰皠傎I的大衣”的一部分。(3)行動的一部分，例如：“王宏去北京出差，他乘早班飛機(jī)動身。”乘飛機(jī)應(yīng)看成是出差的一部分。(4)與行動有關(guān)的事物，例如：“李明準(zhǔn)備騎車去上學(xué)，但他騎上車子時，發(fā)現(xiàn)車胎沒氣了。”李明的自行車應(yīng)理解為是與他騎車去上學(xué)這一行動有關(guān)的事物。(5)因果關(guān)系，例如：“今天下雨，所以不能上早操?！毕掠陸?yīng)理解為是不能上操的原因。(6)計劃次序，例如：“小張準(zhǔn)備結(jié)婚，他決定再找一份工作干?！?0.3轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)

10.3.1轉(zhuǎn)換文法人們對自然語言句子的結(jié)構(gòu)進(jìn)行研究，發(fā)現(xiàn)同一個意思往往有許多不同的表示形式（說法）。轉(zhuǎn)換文法就是可把句子的一種結(jié)構(gòu)轉(zhuǎn)換為另一種結(jié)構(gòu)的文法。轉(zhuǎn)換文法是由基礎(chǔ)和轉(zhuǎn)換兩部分組成。基礎(chǔ)部分是一個上下文無關(guān)文法，它產(chǎn)生句子的深層結(jié)構(gòu)表示；轉(zhuǎn)換部分是一個轉(zhuǎn)換規(guī)則（重寫規(guī)則）集，它負(fù)責(zé)句子結(jié)構(gòu)的轉(zhuǎn)換。轉(zhuǎn)換文法的工作過程是：先用上下文無關(guān)文法建立相應(yīng)句子的深層結(jié)構(gòu)，然后再應(yīng)用轉(zhuǎn)換規(guī)則將深層結(jié)構(gòu)轉(zhuǎn)換為符合人們習(xí)慣的表層結(jié)構(gòu)。圖10―3給出了一條把主動句轉(zhuǎn)換為被動句的轉(zhuǎn)換規(guī)則。圖10―3轉(zhuǎn)換規(guī)則10.3.2轉(zhuǎn)換網(wǎng)絡(luò)轉(zhuǎn)換網(wǎng)絡(luò)（TransitionNetwork）全稱為狀態(tài)轉(zhuǎn)換網(wǎng)絡(luò)。它是一種由節(jié)點和有向邊（?。┙M成的有向圖。其中節(jié)點代表狀態(tài)，有向弧代表從一個狀態(tài)到另一個狀態(tài)的轉(zhuǎn)換。一個轉(zhuǎn)換網(wǎng)絡(luò)中一般有一個起始節(jié)點(代表起始狀態(tài))，有一個或多個終止節(jié)點(代表終止?fàn)顟B(tài)）。一般節(jié)點用單線圓圈表示，終止節(jié)點用雙線圓圈表示。轉(zhuǎn)換網(wǎng)絡(luò)也是一種自然語言文法的表示形式，用它也可對所給句子進(jìn)行語法分析。例如，10.1節(jié)給出的上下文無關(guān)文法用狀態(tài)轉(zhuǎn)換網(wǎng)絡(luò)表示就是圖10―4。圖中S0