人工智能教程習題及答案第7章習題參考解答

#第七章自然語言處理習題參考解答7.1練習題什么是自然語言？自然語言是由哪些構成的？什么是自然語言理解?自然語言理解過程有哪些層次，各層次的功能如何?自然語言理解和自然語言自動生成的關系是什么?研究這兩者時有什么共同點.自然語言理解的發(fā)展分幾個階段?各階段的研究重點是什么?語言學家喬姆斯基的論文《語言描述的三個模型》的意義如何?句法分析的目的是什么?基于規(guī)則的句法分析理論和方法主要有哪些?什么是喬姆斯基語法體系？它包含幾個語法？各型語法之間有何不同？它們與短語結構語法的關系如何？自動句法分析的常用算法有哪些？自頂向下分析算法的思想是什么？下面是一個符合短語結構語法定義的受限英語子集的語法TOC\o"1-5"\h\zP:S—NPVP(a)NP—theNP1(b)NP—NP1(c)NP1—ADJSN(d)ADJS—①|ADJADJS(e)VP—V(f)VP—VNP(g)N—boy|Johnson|blackball(h)ADJ—little|dig(i)V—play|run(j)其中，大寫的是非終結符，而小寫的是終結符，①表示空字符串。請依據(jù)該語法對句子theboyplaystheblackball進行自頂向下的句法分析，并建立相應的句法分析樹。寫出下列喬姆斯基2型語法（上下文無關語法）所對應的遞歸轉移網(wǎng)絡:S—NPVPNPfAdjectiveNounNPfDeterminerNounPPNPfDeterminerNounVP—VerbAdverbNPVPfVerbVPfVerbAdverbVPfVerbPPPPfPrepositionNP7.11設有下列語法：G=(Vt，Vn，P，S)Vn={S,NP,VP,Det,N,V,Prep,PP}Vt={the,boy,dog,hits}S=STOC\o"1-5"\h\zP:SfNPVP(a)NPfDetN(b)VPfVNP(c)VPfVPPP(d)PPfPrepNP(e)Detfthe(f)Nfboy|dog(g)Vfhits(h)利用自底向上的分析算法對句子“theboyhitsthedog”進行分析，并寫出它的分析推導過程。語義分析的目的是什么？什么是語義文法？它對語義分析的作用如何？建立語料庫的意義是什么？一般對漢語語料庫要做哪些基本的加工處理？漢語自動分詞的方法有哪些？其難點何在？自動詞性標注的意義何在？有什么難點？一般采用什么方法實現(xiàn)詞性標注？7.2習題參考解答7.1答:（略）7.2答:自然語言理解就是研究如何讓計算機理解人類自然語言的一個研究領域。從宏觀上看，自然語言理解就是指使計算機能夠執(zhí)行人類所期望的某些語言功能，包括理解并回答人們用自然語言提出的有關問題；生成文本摘要和對文本進行釋義；把一種自然語言表示的信息自動地翻譯為另一種自然語言等等。從微觀上講，自然語言理解是指從自然語言到機器（計算機系統(tǒng)）內部之間的一種映射。自然語言理解過程有3個層次：詞法分析、句法分析和語義分析。詞法分析的主要目的是找出詞匯的各個詞素，從中獲得語言學信息，如unchangeable是由un-change-able構成的。句法分析就是要對句子或短語的結構進行分析，以確定構成句子的各個詞、短語等之間的相互關系以及各自在句子中的作用等，并將這些關系用層次結構加以表達。語義分析就是通過分析找出詞義、結構意義及其結合意義，從而確定語言所表達的真正含義或概念。7.3答:（略）7.4答:（略）7.5答:（略）答:句法分析就是要對句子或短語的結構進行分析，以確定構成句子的各個詞、短語等之間的相互關系以及各自在句子中的作用等，并將這些關系用層次結構加以表達。基于規(guī)則的句法分析理論和方法主要有短語結構語法、喬姆斯基語法、語言串分析法、遞歸轉移網(wǎng)絡和擴充轉移網(wǎng)絡、范疇語法、依存語法和配價語法、管轄和約束理論、詞匯功能語法、功能合一語法、蒙太格語法、廣義短語結構語法等等。其中短語結構語法是各種理論和方法的基礎。答:喬姆斯基語法體系是一組受限的短語結構語法。它包含四種語法：0型語法、1型語法、2型語法和3型語法。這四種語法的區(qū)別就是所受的約束不同，型號越高，所受到的約束就越多，其生成語言的能力就越弱，因而生成的語言集就越小，也更易于對其生成的語言進行計算機自動分析。0型語法就是一種無約束的短語結構語法。1型語法、2型語法和3型語法都是一種受約束的短語結構語法，而且3型語法受的約束最強。有關詳細的約束條件可參閱前面的內容簡介。答：基于短語結構語法的自動分析算法主要有自頂向下回溯算法、自底向上并行算法、富田算法、左角分析算法和CYK算法等等。自頂向下分析算法的思想就是從起始符開始向著被分析的句子進行推導，推導過程的語法樹建立從根節(jié)點開始，自上而下進行。每次推導只選擇一種路徑進行嘗試，并保留其它可選擇的路徑，當推導失敗時，進行回溯，嘗試另一種推導路徑。7.9解：下面采用自頂向下回溯算法是對句子“theboyplaystheblackball”進行分析。搜索步驟搜索對象所使用的規(guī)則輸入句子中遺留部分(1)S(a)theboyplaystheblackball(2)NPVP(b)theboyplaystheblackball(3)theNP1VPtheboyplaystheblackball(4)NP1VP(d)boyplaystheblackball(5)ADJSNVP(e)boyplaystheblackball(6)①NVPboyplaystheblackball(7)NVP(h)boyplaystheblackball(8)boyVPboyplaystheblackball(9)VP(f)playstheblackball(10)V(j)playstheblackball(11)playplaystheblackball(12)theblackball這時，句子中還有遺留部分，但搜索對象中卻已變空，分析過程已無法繼續(xù)，只得回溯。回溯到第（9）步，看看是否還能利用別的規(guī)則進行分析。(9‘)VP(g)playstheblackball(13)VNP(j)playstheblackball(14)playNPplaystheblackball

(15)NP(b)theblackball(16)theNP1theblackball(17)NP1(d)blackball(18)ADJSN(e)blackball(19)①Nblackball(20)N(h)blackball(21)blackballblackball(22)NILNIL在應用規(guī)則(h)、⑴和⑴對搜索對象進行替換時，由于規(guī)則的右邊有多個單詞可供選擇,這時，可根據(jù)句子遺留部分的第一個單詞確定。和此分析推導過程相對應的句子“theboyplaystheblackball”的句法分析樹如圖7.6所圖7.6“theboyplaystheblackball”的句法分析樹7.10解：該文法的遞歸轉移網(wǎng)絡如圖7.7：下：圖7.7題7.10的遞歸轉移網(wǎng)絡7.11解：采用移進-歸約算法對句子“theboyhitsthedog”進行自底向上分析的過程如步驟棧操作(1)theDetDetboyDetNNPNPhitsNPVNPVtheNPVDetNPVDetdogNPVDetNNPVNP(14)NPVP(15)S移進用規(guī)則⑴歸約移進用規(guī)則(g)歸約用規(guī)則(b)歸約移進用規(guī)則(h)歸約移進用規(guī)則⑴歸約移進用規(guī)則(g)歸約用規(guī)則(b)歸約用規(guī)則(c)歸約用規(guī)則(a)歸約輸入句子中的遺留部分theboyhitsthedogboyhitsthedogboyhitsthedoghitsthedoghitsthedoghitsthedogthedogthedogdogdog這時，輸入句子串已空，且棧中只剩下起始符S,該句子被接受，分析成功。其句法分NPVNNbny析樹如圖7.8NPVNNbny析樹如圖7.8：圖7.8“theboyhitsthedog”的句法分析樹答：語義分析的目的就是通過對句子和詞的分析，找出詞義、句子的結構意義及其結合意義，從而確定語言所表達的真正含義或概念。所謂語義文法，是在傳統(tǒng)的短語結構語法的基礎上將N（名詞）、V（動詞）等語法類別的概念，用某種專門的語義類別來代替。也就是說，可以將語義文法表示成類似短語結構語法的四元組，也有終結符集合、非終結符結合和語義規(guī)則。在有了這種表示形式的語義文法之后，就可以使用和分析短語結構語法相類似的方法來對語義進行分析。例如，可以使用類似于句法分析的自頂向下和自底向上的分析方法對語義進行分析。答：傳統(tǒng)的句法-語義分析技術，所采取的主要研究方法是基于規(guī)則的方法，也就是說，將理解自然語言所需的各種知識用規(guī)則的形式加以表達，然后再進行分析推理達到理解的程度。但由于自然語言理解的復雜性，各種知識的“數(shù)量”浩瀚無際，而且具有高度的不確定性和模糊性，利用規(guī)則不可能完全準確地表達理解自然語言所需的各種知識。理解自然語言所需的各種知識恰恰蘊涵在大量的真實文本當中，20世紀80年代后期，自然語言理解的研究進入了一個新紀元，其重要標志就是，在基于規(guī)則的技術中引入語料庫的方法，通過對語料庫中大量真實文本的分析處理，從中獲取理解自然語言所需的各種知識，從而實現(xiàn)以知識為基礎的智能型自然語言理解系統(tǒng)。這種建立在大規(guī)模語料庫基礎上的研究方法將自然語言處理的研究推向一個嶄新的階段。由于書面漢語不同于英語、法語、德語等印歐語言，詞與詞之間沒有空格。漢語自然語言處理的難度顯然要大于英語，因為詞是進行自然語言理解的基本單位，所以必須要對漢語語料庫進行基本的加工，這些基本的加工包括：分詞、詞性標注、詞義標注（或概念標注）答：漢語自動分詞的方法主要有基于詞典的機械匹配分詞法、無詞典分詞法、基于專家系統(tǒng)和人工神經網(wǎng)絡的分詞法等。但最常用、最成熟的方法還是基于詞典的機械匹配分詞法。機械匹配分詞法又包括最大匹配法、逆向最大匹配法、逐詞遍歷匹配法、雙向掃描法、設立切分標志法、最佳匹配法等。目前，漢語分詞的難點主要有：（a）詞的概念問題。在漢語語言學中，有關“詞”的概念還沒有完全弄清。（b）分詞過程中的歧義問題。歧義字段在中文文本中是普遍存在的，歧義切分是自動分詞中不可避免的現(xiàn)象，是自動分詞中的一個比較棘手的問題。（c）未登錄詞的識別問題。未登錄詞是指沒有在詞典中出現(xiàn)、在漢語文本中又應該當作一個詞將其分開的那些字符串。包括中外人名、中外地名、機構組織名、事件名、縮略語、派生詞、各種專業(yè)術語以及在不斷發(fā)展和約定俗成的一些新詞語。未登錄詞種類繁多、規(guī)模宏大，對它們識別正確與否直接影響著分詞系統(tǒng)的正確率。答：自動詞義標注就是利用計算機通過邏輯推理機制，利用文本的上下文環(huán)境，對詞的詞義進行自動判斷，選擇詞的某一正確義項并加以標注的過程。研究詞義自動標注除了對語言學研究有重要意義外，在自然語言處理的很多領域都有非常重要的作用，如語音合成、情報檢索、機器翻譯、自動校對、OCR識別后處理等。所以，是當前自然語言信息處理的一個熱門課題。詞義標注的難點就是對多義詞的歧義排除。不論是漢語還是英語，一詞多義的現(xiàn)象普遍存在，要確定一個詞的