人工智能之自然語言理解

人工智能之自然語言理解第1頁，共15頁，2023年，2月20日，星期日摘要自然語言理解現(xiàn)在己成為人工智能研究中最活躍的領域之一。在自然語言處理的研究中，最有希望的應用領域之一是自然語言接口。計算機對自然語言中的查詢語言理解的正確程度是自然語言接口質量好壞的關鍵。本文基于建立通用模型的概念，設計了一個通用的數(shù)據(jù)庫自然語言接口系統(tǒng)模型，深入地研究了實現(xiàn)該模型的原理，同時建立了一個具體的實現(xiàn)系統(tǒng)，并希望該系統(tǒng)很容易地移植到其他應用領域。第2頁，共15頁，2023年，2月20日，星期日緒論：研究情況和發(fā)展趨勢；研究的目的和意義第一章：數(shù)據(jù)庫漢語通用接口模型及其知識庫的構造第二章：詞語切分與詞性標注軟件系統(tǒng)的研究第三章：查詢句語義自動分析與中間語言生成的研究第四章：產(chǎn)生程序語句及應答生成的研究人工智能目錄總結與展望第3頁，共15頁，2023年，2月20日，星期日第一章第二章第三章第四章自然語言處理NLP(NaturalLanguageProeessing)是研究如何能讓計算機理解和生成人們日常使用的語言(如漢語、英語等)，使得計算機懂得自然語言的含義，并對人們給計算機提出的問題，通過對話的方式，用自然語言進行回答。在自然語言處理的研究中，最有希望的應用領域之一是自然語言接口。所謂自然語言接口就是允許人們用某種自然語言的子集在限制領域內同計算機進行通訊。數(shù)據(jù)庫自然語言接口是人工智能與數(shù)據(jù)庫技術相結合的產(chǎn)物，涉及到人工智能、自然語言處理、數(shù)據(jù)庫技術、人機接口等方面的研究。隨著計算機語音識別技術的逐步趨向實用，人們越來越希望通過自然語言直接與計算機進行溝通。因此，人們非常希望有一種方便的數(shù)據(jù)庫人機界面，以便更好地查詢數(shù)據(jù)庫。緒論人工智能第4頁，共15頁，2023年，2月20日，星期日目的和意義【緒論】我們知道，目前所用的人機接口大多是以窗口、菜單為主的圖形用戶接口GUI。這種接口簡潔、直觀，用戶只用鼠標點擊以及少量的鍵盤操作就能從數(shù)據(jù)庫中獲取所需的信息。但我們會發(fā)現(xiàn)有些問題是無法或難以用這種方式表達的，例如“找出明年退休的所有教師”;再者，隨著計算機語音識別技術的逐步趨向實用，人們越來越希望通過自然語言直接與計算機進行溝通。因此，人們非常希望有一種方便的數(shù)據(jù)庫人機界面，以便更好地查詢數(shù)據(jù)庫。但通用的自然語言理解往往是低效的和難以實現(xiàn)的，而作為數(shù)據(jù)庫人機接口的自然語言界面具有語用目的單一、用詞范圍有限等特點，在數(shù)據(jù)庫查詢意義上實現(xiàn)自然語言理解是完全可行的。第5頁，共15頁，2023年，2月20日，星期日優(yōu)勢【緒論】與數(shù)據(jù)庫系統(tǒng)本身提供的形式化查詢語言(如SQL)相比，用自然語言查詢數(shù)據(jù)庫的優(yōu)勢在:(l)用戶只以應用領域的概念訪問數(shù)據(jù)庫，無需了解數(shù)據(jù)庫的邏輯和存儲結構;(2)用戶不需要或者只需要很少的培訓就能夠直接查詢數(shù)據(jù)庫信息，大大減輕了用戶的培訓負擔(3)用戶可以簡單明了地提出查詢請求‘川，比如若要在人事信息庫中查找年齡最大的人，用形式化查詢語言就有些麻煩，不如“年齡最大”表述簡潔。第6頁，共15頁，2023年，2月20日，星期日緒論第一章第二章第三章第四章數(shù)據(jù)庫漢語通用接口模型及其知識庫的構造：要使計算機理解漢語自然查詢語言，先必須構造一個系統(tǒng)模型。本文的模型是將漢語自然查詢語言的計算機理解與知識庫分開各自獨立進行設計。理解部分分為詞法分析、句法分析與語義分析、自然語言轉中間語言、中間語言轉計算機語言、應答生成幾個相對獨立模塊。知識庫部分從一般到特殊又分為三個層面，即自然語言理解通用知識庫、漢語查詢句理解知識庫和應用領域專用知識庫。這樣模型設計使系統(tǒng)拋開具體應用領域而獨立設計，便于系統(tǒng)的移植和擴充。第一章人工智能第7頁，共15頁，2023年，2月20日，星期日第8頁，共15頁，2023年，2月20日，星期日緒論第一章第二章第三章第四章詞語切分與詞性標注軟件系統(tǒng)的研究：基于統(tǒng)計和基于規(guī)則是自然語言理解的兩大基本方法。本部分結合使用統(tǒng)計和規(guī)則設計并實現(xiàn)了一個對通用的漢語自然語言進行詞語切分和詞性標注子系統(tǒng)。重點研究了切分歧義的發(fā)現(xiàn)和消除、人名的識別等幾個部分，提出了先用基于詞典的最大匹配法匹配出最長詞和次長詞，然后用檢測跨段的方法發(fā)現(xiàn)切分歧義，其次判斷出切分歧義類型，最后根據(jù)切分歧義類型的不同分別進行切分歧義的消除一套有效方法。第二章人工智能第9頁，共15頁，2023年，2月20日，星期日第10頁，共15頁，2023年，2月20日，星期日緒論第一章第二章第三章第四章查詢句語義自動分析與中間語言生成的研究：本部分對應模型中的句法分析與語義分析、自然語言轉中間語言兩個模塊。在句法分析中研究了查詢句指代消解和省略補充規(guī)律和程序實現(xiàn)算法;在語義分析中深入研究了漢語查詢句語義形式，提出了查詢目標的三層結構，查詢條件的分類組合;同時給出了中間語言結構形式;在自然語言轉中間語言模塊給出了具體的轉換算法。第三章人工智能第11頁，共15頁，2023年，2月20日，星期日緒論第一章第二章第三章第四章產(chǎn)生程序語句與應答生成的研究：本部分對應模型中的中間語言轉程序語句、應答生成兩個模塊。三個層面的查詢目標的中間語言結構是不同的，中間語言轉程序語句模塊給出了它們的實現(xiàn)算法，直接查詢目標和查詢條件的中間語言分別轉換為SQL語句的SELECE子句和WHERE子句，該模塊實現(xiàn)程序輸出結果為回答用戶目標。應答生成模塊根據(jù)查詢句和回答用戶目標，模擬人回答問題的習慣，生成答句，完成一次人機問答的處理過程。第四章人工智能第12頁，共15頁，2023年，2月20日，星期日總結本文是基于建立通用模型的思想，構造了一個通用的數(shù)據(jù)庫自然語言接口系統(tǒng)模型，研究了實現(xiàn)該模型的原理，建立了一個具體的實現(xiàn)系統(tǒng)，并希望該系統(tǒng)較容易地移植到其他應用領域。通過對漢語自然語言數(shù)據(jù)庫接口系統(tǒng)的研究，本文設計并建立了一套漢語查詢語言的理解和應答生成系統(tǒng)。創(chuàng)新如下：1.構造了一個程序設計與知識庫相分離的通用的數(shù)據(jù)庫自然語言接口系統(tǒng)模型。2.構造了一套即適合查詢語言語義表示又利于轉換計算機執(zhí)行語句的中間語言，并給出了自然語言轉中間語言的處理轉換算法。人工智能第13頁，共15頁，2023年，2月20日，星期日展望1.將本系統(tǒng)與語音識別系統(tǒng)銜接，改進為口語對話系統(tǒng)