短信查詢賓館系統(tǒng)論文

1、短信查詢賓館系統(tǒng)（自然語言分析部分）院（系）：計(jì)算機(jī)學(xué)院專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)班級： 1401105學(xué)號： 20013011193姓名：張學(xué)龍指導(dǎo)教師：黃河2005年6月沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文摘要本文介紹了一個短信查詢賓館系統(tǒng)的自然語言分析部分，該系統(tǒng)的主要功能是從短信平臺接受短信內(nèi)容，將短信中關(guān)于賓館的重要信息提出，將主要信息傳給網(wǎng)絡(luò)搜索部分。主要提取的信息有：賓館所在市、賓館的上價(jià)、賓館的下價(jià)、入住時間、離開時間、賓館的星級。自然語言分析這部分在大體上分為分詞、語義分析兩個模塊。分詞模塊使用提供的源程序，將短信分成單詞流。語義分析模塊可以在分詞的基礎(chǔ)上從單詞流中提取所需要的重要信息。

2、主要采用對基本詞識別和對必須處理詞進(jìn)行處理相結(jié)合的解決方法。在分詞和語義分析之間有單詞規(guī)范性轉(zhuǎn)化部分，在語義分析模塊和網(wǎng)絡(luò)搜索部分有合法性檢查部分，使系統(tǒng)銜接的更融洽。該系統(tǒng)采用 JAVA 語言， Mysql 數(shù)據(jù)庫工具關(guān)鍵字 : 自然語言、分詞、語義分析、提取I沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文AbstractThethesis introducesnaturallanguage analysis of shortmessageresearch system for hotel information. The system s mainly function arereceivingmessag

3、e contentson themessage plat,extractingimportantinformation related to hotel, and then passing it over to internet searchmodule.The main extracted information includes the city where the hotel islocated, the upper and bottom charge limit, register time, checkout time,hotel level and so forth. The na

4、tural language analysis module can bedividedintowords recognizeand semanticanalysis.Word recognizingmoduleis achievedby the code suppliedby ,which can dividemessage intowordsstream.Semanticanalysismodulecanextract thenecessary information from the words stream, through the combination ofbasic words

5、recognize and handling of them. Between the words recognizeand semanticanalysisthereisspecificationtranslation,which checks thevalidationto harmonize the communicationbetween semanticanalysismoduleand internet search.The system is developed in Java Language, Mysql as backup database.Key word: natura

6、l language, words recognize, semantic analysis, extractII沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文目錄目錄第一章前言11.1 項(xiàng)目背景11.2 項(xiàng)目內(nèi)容及要求31.3 項(xiàng)目特點(diǎn)及意義4第二章設(shè)計(jì)思想52.1 功能需求與分析52.2 安全性分析62.3 方案論證62.4 系統(tǒng)設(shè)計(jì)工具92.5 技術(shù)經(jīng)濟(jì)分析10第三章數(shù)據(jù)庫設(shè)計(jì)113.1 數(shù)據(jù)庫需求分析：113.2 數(shù)據(jù)庫概念結(jié)構(gòu)設(shè)計(jì)12第四章系統(tǒng)設(shè)計(jì)154.1 系統(tǒng)功能分析154.2 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)164.3 各模塊設(shè)計(jì)圖174.4 系統(tǒng)詳細(xì)設(shè)計(jì)18第五章系統(tǒng)的調(diào)試23體會27致謝28參考文獻(xiàn)29I沈陽航

7、空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第一章前言第一章前言1.1 項(xiàng)目背景隨著經(jīng)濟(jì)的發(fā)展，人民生活水平的提高，旅游業(yè)也隨之發(fā)展起來。對于旅游、出差等外出的人來說，賓館的信息顯得格外重要?，F(xiàn)在獲取賓館信息的方式還有很多不足之處。建立一個方便有效的查詢系統(tǒng)，無疑是給了外出人很大的幫助。同時也存在著很大的商機(jī)。為短信查詢賓館系統(tǒng)的建立開創(chuàng)了空間。計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)絡(luò)的飛速發(fā)展把社會的信息化進(jìn)程推向了一個全新的階段，信息的傳遞與交流己經(jīng)成為整個現(xiàn)代社會生活運(yùn)作的重要基礎(chǔ)，電子可讀文本大量涌現(xiàn)并成為網(wǎng)絡(luò)時代主要的信息載體和人們的生活中不可或缺的一部分。隨著信息化時代的來臨，自然語言處理技術(shù)已逐漸成為一項(xiàng)大眾化的迫切需求

8、，計(jì)算語言學(xué)的研究也越來越受到人們的重視。自然語言分析技術(shù)則（ natural Language Parsing ）一直是計(jì)算語言學(xué)領(lǐng)域一個基礎(chǔ)性的研究課題。大部分自然語言處理系統(tǒng)，包括機(jī)器翻譯，文本理解，信息的檢索與過濾，語音識別與合成，都毫無疑問地會從高質(zhì)量的分析技術(shù)中受益。從科學(xué)的觀點(diǎn)來看，計(jì)算機(jī)的自然語言分析過程是對人類語言理解過程的模擬：即根據(jù)一定的語言知識，通常是一個由規(guī)則、樹或圖組成的形式文法系統(tǒng)，將輸入句子的一維線性結(jié)構(gòu)賦予人類思維解釋；從人工智能研究的角度來講，這是一個基于推理的問題求解過程，分析方法則對應(yīng)了其推理控制策略。1946 年，電子計(jì)算機(jī)誕生后，就有人提出了使用電子

9、計(jì)算機(jī)進(jìn)行機(jī)器翻譯的想法，希望能用計(jì)算機(jī)翻譯日益劇增的科技資料。 1954 年，美國喬治敦大學(xué)，在 IBM 公司的協(xié)助下， 用 IBM-701 機(jī)進(jìn)行了第一次機(jī)器翻譯實(shí)驗(yàn)， 把幾個簡單的俄語句子翻譯成了英語。從此，美蘇兩國開始了俄 - 英和英 - 俄文字的機(jī)器翻譯研究。進(jìn)入 20 實(shí)際 70 年代后，一批采用句法 - 語義分析技術(shù)的自然語言理解系統(tǒng)脫穎而出，在語言分析的深度和難度方面都比早期的系統(tǒng)有了長足的進(jìn)步。這期間具有代表性的系統(tǒng)主要有美國BBN公司的 W.Woods于 1972 年負(fù)責(zé)設(shè)計(jì)的 LUNAR；美國麻省理工學(xué)院的T.Winograd 博士于 1972 年研制的 SHRDLU以及

10、斯坦福大學(xué)的R.Schank 于 1973 年研制的 MARGIE等系統(tǒng)。其中， LUNAR是一個用來協(xié)助地質(zhì)學(xué)家查找、比較和評價(jià)啊波羅-11 飛船帶回的月球巖石和土壤的化學(xué)分析數(shù)據(jù)的系- 1 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第一章前言統(tǒng)，該系統(tǒng)第一個實(shí)現(xiàn)了用普通英語與計(jì)算機(jī)對話的人 - 機(jī)接口。 SHRDLU是一個在“積木世界“中進(jìn)行英語對話的自然語言理解系統(tǒng)，系統(tǒng)模擬一個能操作桌子上一些積木的機(jī)器人手臂，用戶通過于計(jì)算機(jī)對話，命令機(jī)器人操作積木塊，例如，讓它拿起、放下某個積木等。 MARGIE是 R.Schank 根據(jù)概念從屬理論建成的一個心理學(xué)模型，目的是研究自然語言理解的過程。進(jìn)入 20

11、 世紀(jì) 80 年代后，自然語言理解的最大的特點(diǎn)就是實(shí)用化和工程化，一大批商品化的自然語言人 - 機(jī)接口系統(tǒng)和機(jī)器翻譯系統(tǒng)出現(xiàn)在市場上。自然語言處理在理論、方法和工具上都有了新的發(fā)展，人們更強(qiáng)調(diào)知識在自然語言理解中的重要作用。然而，雖然從自然語言理解的發(fā)展歷史來看， 30 年來的主流技術(shù)一直是句法 - 語義分析，所采取的主要研究方法是基于規(guī)則的方法，但使用這種方法幾乎不可能表達(dá)理解自然語言所需的各種知識。解決這些問題，利用大規(guī)模的真實(shí)文本來研究自然語言理解的方法被提了出來。這種方法就是試圖從大規(guī)模真實(shí)文本的預(yù)料庫中獲取語言知識，以求得對自然語言規(guī)律的更為客觀的、準(zhǔn)確的認(rèn)識。然而，處理大規(guī)模真實(shí)文

12、本的目標(biāo)與只處理受限語言的目標(biāo)大相徑庭。目標(biāo)的不同必然導(dǎo)致觀念的變化，人們要尋求處理大規(guī)模真實(shí)文本的新方法和新技術(shù)。 1990 年 8 月，在芬蘭赫爾辛基召開的第 13 屆國際計(jì)算機(jī)語言學(xué)大會 （COLING90）上，首次提出了處理大規(guī)模真實(shí)文本的戰(zhàn)略目標(biāo)。它認(rèn)為語言學(xué)知識來自于語料，人們只有從大規(guī)模語料庫中獲取理解語言的知識，才能真正實(shí)現(xiàn)對語言的理解。從語料庫中獲取知識的方法是統(tǒng)計(jì)方法。這種方法有希望在工程上、在寬廣的語言覆蓋面上解決大規(guī)模真實(shí)文本處理這一極其艱巨的課題，至少也能對基于規(guī)則的自然語言處理系統(tǒng)提供的一種強(qiáng)有力的補(bǔ)充機(jī)制。20 世紀(jì) 80 年代初，里奇和加塞特設(shè)計(jì)的詞性標(biāo)注系統(tǒng)C

13、LAWS（Constituent-Linkelihood Automatic Word-tagging System），采用的方法是基于大規(guī)模語料庫的統(tǒng)計(jì)方法。利用這一系統(tǒng)對英國語料庫LOB進(jìn)行標(biāo)注，準(zhǔn)確率高達(dá)96%。這充分說明基于語料庫的統(tǒng)計(jì)方法是行之有效的方法。盡管語料庫語言學(xué)是一種行之有效的方法，但由于它誕生的時間還不長，基于語料庫的自然語言理解方法還不成熟，尚需進(jìn)一步的深入研究，然而，它卻是一個應(yīng)引起重視的研究方向。- 2 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第一章前言1.2 項(xiàng)目內(nèi)容及要求本次畢設(shè)題目：短信查詢賓館系統(tǒng)（自然語言分析部分）(一 )、題目介紹：短信賓館查詢系統(tǒng)，是由人發(fā)出短信

14、，由計(jì)算機(jī)處理人的要求，再將結(jié)果返回給用戶。系統(tǒng)共分三部分：短信平臺部分、自然語言分析部分、網(wǎng)上搜索部分。系統(tǒng)流程是：從短信平臺獲得用戶的手機(jī)號碼和短信內(nèi)容。在語言分析部分中進(jìn)行短信語言分析。將分析出的內(nèi)容再傳給網(wǎng)上搜索部分，在搜索出信息后將結(jié)果返回短信平臺部分。短信平臺根據(jù)手機(jī)號碼將查詢結(jié)果返回用戶，實(shí)現(xiàn)短信查詢賓館功能。由于系統(tǒng)被分成了三部分，所以各部分要有良好的接口，還要在三部分完成時，編寫程序?qū)⒏鞑糠终?。系統(tǒng)要對用戶要求處理， 首先必須理解用戶的意思。 從自然語言文本中抽取出能夠代表信息的關(guān)鍵詞是這部分的首要目標(biāo)。這部分所需的信息是：手機(jī)號碼、短信內(nèi)容。我們要從短信中理解出下列信息：

15、賓館所在市，價(jià)錢要求（價(jià)錢上價(jià)、價(jià)錢下價(jià)），星級要求，入住時間，離開時間等。這部分還要根據(jù)各部分接口情況對系統(tǒng)的三個不同部分進(jìn)行整合。由于短信本身的時施性差，所以系統(tǒng)的效率一定要高。為了系統(tǒng)各部分設(shè)計(jì)的并行進(jìn)行，這部分可以暫時從文件中獲得用戶短信信息，處理完畢后將抽取的信息暫時存在文件中。(二)、題目要求：1、數(shù)據(jù)庫用 MY SQL ，使用 JAVA 語言，對關(guān)于賓館的自然語言進(jìn)行分析。2、用軟件工程的方法進(jìn)行設(shè)計(jì)。3、系統(tǒng)的效率要高（整個系統(tǒng)的運(yùn)行時間應(yīng)不超過3 分鐘）4、不能對用戶限定輸入格式，要對任意格式的語言進(jìn)行識別。5、提供良好的接口。6、實(shí)現(xiàn)和用戶的交互過程。7、對多用戶同時訪問的

16、情況做處理，保證各用戶的查詢過程是并行進(jìn)行的。8、要做技術(shù)經(jīng)濟(jì)分析。9、交出完整的畢業(yè)設(shè)計(jì)說明書。- 3 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第一章前言1.3 項(xiàng)目特點(diǎn)及意義隨著經(jīng)濟(jì)的發(fā)展，旅游業(yè)也隨之發(fā)展起來。關(guān)于旅游業(yè)的服務(wù)表現(xiàn)出了很大的商機(jī)?，F(xiàn)在手機(jī)已經(jīng)在漸漸的普及，發(fā)短信也是多數(shù)有手機(jī)人共同的習(xí)慣。因?yàn)槎绦疟容^方便，更重要的是短信在經(jīng)濟(jì)上可以讓更多人接受?？梢杂梅奖?、經(jīng)濟(jì)的方式來獲得想要的信息。用手機(jī)短信來為旅游業(yè)服務(wù)，是很多人看好的項(xiàng)目。短信的方便性和經(jīng)濟(jì)性使這類項(xiàng)目存在著無限商機(jī)。對于利用短信來查詢賓館這個項(xiàng)目，目前還沒有一個類似的系統(tǒng)正式使用。現(xiàn)在存在的查詢方式，如：電話查詢、電腦網(wǎng)絡(luò)

17、查詢等，或者經(jīng)濟(jì)性上或者方便性上都有些不足，不被大多數(shù)人所接受，目前正等待一種更好的解決方法的出現(xiàn)。利用短信來查詢賓館信息將會被大眾所接受。這就是本系統(tǒng)開發(fā)的必要性。這部分利用 JAVA 語言實(shí)現(xiàn)了對自然語言的分析，有著良好的平臺無關(guān)性、可移植性。它不但適用于賓館的查詢系統(tǒng)，還適用于其它需要提取時間、價(jià)錢等信息的系統(tǒng)，有著有較強(qiáng)的實(shí)用性。這部分也為系統(tǒng)的再次開發(fā)作了鋪墊。系統(tǒng)主要有以下幾個特點(diǎn)：給使用者很大的方便。使使用者在經(jīng)濟(jì)上受惠。和用戶有者良好的交互。系統(tǒng)運(yùn)行迅速，查找方便，可靠性高。對賓館有著更加實(shí)施準(zhǔn)確的信息提供。操作簡單快捷。良好的平臺無關(guān)性。標(biāo)準(zhǔn)的接口，可移植性強(qiáng)。模塊化的軟件結(jié)

18、構(gòu)子系統(tǒng)可以單獨(dú)運(yùn)行。- 4 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第二章設(shè)計(jì)思想第二章設(shè)計(jì)思想2.1 功能需求與分析根據(jù)系統(tǒng)的要求，這部分要接受手機(jī)號碼和短信內(nèi)容，從短信中理解出下列信息：賓館所在市，價(jià)錢要求（價(jià)錢上價(jià)、價(jià)錢下價(jià)） ，星級要求，入住時間，離開時間。自然語言雖然表示成一連串的文字符號或者一串聲音流，但其內(nèi)部事實(shí)上是一個層次化的結(jié)構(gòu)，從自然語言的構(gòu)成中就可以清楚地看到這種層次性。一個用文字表達(dá)的句子的層次是：語素詞或詞形詞組或句子其中每個層次都要受到語法規(guī)則的制約。因此，自然語言的分析和理解過程也應(yīng)當(dāng)是一個層次化的過程。許多現(xiàn)代語言家把這一過程分為：詞法分析句法分析語義分析雖然這種層次之

19、間并非是完全隔離的，但是這種層次化的劃分有助于更好地體現(xiàn)語言本身的構(gòu)成。本系統(tǒng)是對關(guān)于賓館查詢語言的識別，所涉及的詞匯有限，并且短信的內(nèi)容很少。可以不必進(jìn)行句法分析，直接根據(jù)詞的語義進(jìn)行不同的處理，即簡單的語義處理。簡單的語義處理可使用信息提取技術(shù)。自然語言分析過程：從文檔中讀取短信將自然語言分詞對單詞串進(jìn)行語意識別提取所需信息保存到文檔中系統(tǒng)在物理上可以分成：自然語言分詞模塊、語義識別模塊。語義識別模塊可分為：賓館所在市提取、時間提取、價(jià)錢提取、星級提取、合法性信息檢查等部分。每部分在結(jié)構(gòu)上可分為：基本詞語識別和特殊詞語識別兩部分自然語言分詞模塊：從短信平臺接受用戶的手機(jī)號碼和短信內(nèi)容，將用

20、戶發(fā)來短信信息分成合法的單詞流，連同手機(jī)號碼一同傳給語義識別模塊。對單詞串進(jìn)行語義識別：- 5 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第二章設(shè)計(jì)思想從自然語言分詞模塊得到短信的單詞流和手機(jī)號碼，對單詞進(jìn)行不同的處理提出短信中的主要信息如：賓館所在市、時間、價(jià)錢、星級等信息。將提出的主要信息進(jìn)行合法性檢查和全面性檢查。賓館所在市提?。簩卧~流進(jìn)行全面的檢查，查看單詞流中是否有賓館所在市的信息。如果有將其提出，沒有則向用戶返回詢問賓館所在市的信息。時間提?。簩卧~流進(jìn)行檢查，查找出用戶的開始入住時間，如果有將其提出，沒有則向用戶返回詢問賓館開始時間的信息。同時也找出離開時間，但如沒有并不向用戶返回詢問信息

21、。這個部分要進(jìn)行基本詞語識別和特殊詞語識別，這樣才能完全提出時間信息。價(jià)錢提?。簩卧~流進(jìn)行檢查，查找出用戶的價(jià)錢標(biāo)準(zhǔn)，如果有將其提出，沒有則向用戶返回詢問賓館開始時間的信息。這里的標(biāo)準(zhǔn)可以是一個范圍也可以是一個上價(jià)或下價(jià)。這個部分也要進(jìn)行基本詞語識別和特殊詞語識別，這樣才能完全提出價(jià)錢信息。星級提?。簩卧~流進(jìn)行檢查，查找出用戶的星級標(biāo)準(zhǔn)，如果有將其提出，但如沒有并不向用戶返回詢問信息。2.2 安全性分析由于本部分是對自然語言進(jìn)行分析，主要任務(wù)是將短信中的主要信息提取出，傳給下一個模塊。所以在安全性上沒有特別的設(shè)置。2.3 方案論證系統(tǒng)共分成兩個大的模塊：語言分詞模塊、語義識別模塊。分別對其

22、解決便可完成對關(guān)于賓館查詢語言的識別工作。對各模塊解決方法的討論，可以選出最好的解決方法，有助于問題的解決。自然語言分詞分詞概念：中文分詞技術(shù)屬于自然語言處理技術(shù)范疇，對于一句話，人可以通過自己的知識來明白哪些是詞，哪些不是詞，但如何讓計(jì)算機(jī)也能理解？其處理過程就是分詞?，F(xiàn)有的分詞算法可分為三大類：基于字符串匹配的分詞方法、基于理解的分- 6 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第二章設(shè)計(jì)思想詞方法和基于統(tǒng)計(jì)的分詞方法。1、基于字符串匹配的分詞方法：這種方法又叫做機(jī)械分詞方法，它是按照一定的策略將待分析的漢字串與一個“充分大的 ”機(jī)器詞典中的詞條進(jìn)行匹配， 若在詞典中找到某個字符串， 則匹配成功（識

23、別出一個詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長度優(yōu)先匹配的情況，可以分為最大（最長）匹配和最?。ㄗ疃蹋┢ヅ?；按照是否與詞性標(biāo)注過程相結(jié)合，又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法。常用的幾種機(jī)械分詞方法如下：1）正向最大匹配法（由左到右的方向） ；2）逆向最大匹配法（由右到左的方向） ；3）最少切分（使每一句中切出的詞數(shù)最?。?。還可以將上述各種方法相互組合，可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。由于漢語單字成詞的特點(diǎn)，正向最小匹配和逆向最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高于正向匹配，遇到的歧義現(xiàn)象也

24、較少。統(tǒng)計(jì)結(jié)果表明，單純使用正向最大匹配的錯誤率為 1/169，單純使用逆向最大匹配的錯誤率為 1/245。但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的需要。實(shí)際使用的分詞系統(tǒng)，都是把機(jī)械分詞作為一種初分手段，還需通過利用各種其它的語言信息來進(jìn)一步提高切分的準(zhǔn)確率。一種方法是改進(jìn)掃描方式，稱為特征掃描或標(biāo)志切分，優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞，以這些詞作為斷點(diǎn)，可將原字符串分為較小的串再來進(jìn)機(jī)械分詞，從而減少匹配的錯誤率。另一種方法是將分詞和詞類標(biāo)注結(jié)合起來，利用豐富的詞類信息對分詞決策提供幫助，并且在標(biāo)注過程中又反過來對分詞結(jié)果進(jìn)行檢驗(yàn)、調(diào)整，從而極大地提高切分的準(zhǔn)確率。2、基于理解

25、的分詞方法這種分詞方法是通過讓計(jì)算機(jī)模擬人對句子的理解， 達(dá)到識別詞的效果。 其基本思想就是在分詞的同時進(jìn)行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。它通常包括三個部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進(jìn)行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由于漢語語言知識的籠統(tǒng)、復(fù)雜性，難以將各種語言信息- 7 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第二章設(shè)計(jì)思想組織成機(jī)器可直接讀取的形式，因此目前基于理解的分詞系統(tǒng)還處在試驗(yàn)階段。3、基于統(tǒng)計(jì)的分詞方法從形式上看，詞是穩(wěn)定的字

26、的組合，因此在上下文中，相鄰的字同時出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一個詞。因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度?？梢詫φZ料中相鄰共現(xiàn)的各個字的組合的頻度進(jìn)行統(tǒng)計(jì)，計(jì)算它們的互現(xiàn)信息。定義兩個字的互現(xiàn)信息，計(jì)算兩個漢字 X 、Y 的相鄰共現(xiàn)概率。互現(xiàn)信息體現(xiàn)了漢字之間結(jié)合關(guān)系的緊密程度。當(dāng)緊密程度高于某一個閾值時，便可認(rèn)為此字組可能構(gòu)成了一個詞。這種方法只需對語料中的字組頻度進(jìn)行統(tǒng)計(jì)，不需要切分詞典，因而又叫做無詞典分詞法或統(tǒng)計(jì)取詞方法。但這種方法也有一定的局限性，會經(jīng)常抽出一些共現(xiàn)頻度高、但并不是詞的常用字組，并且對常用詞的識別精度差，時空開銷大。實(shí)際應(yīng)用的統(tǒng)計(jì)分詞系統(tǒng)都要

27、使用一部基本的分詞詞典（常用詞詞典）進(jìn)行串匹配分詞，同時使用統(tǒng)計(jì)方法識別一些新的詞，即將串頻統(tǒng)計(jì)和串匹配結(jié)合起來，既發(fā)揮匹配分詞切分速度快、效率高的特點(diǎn)，又利用了無詞典分詞結(jié)合上下文識別生詞、自動消除歧義的優(yōu)點(diǎn)。在眾多的分詞方法中， 基于字符串匹配的分詞方法相對比較簡單， 對于我們的這個簡單的語言識別非常適用。但由于字符串匹配的分詞方法的錯誤率相對較高，所以我們想將這種算法將基于統(tǒng)計(jì)的分詞方法相結(jié)合。即我們可以先建立一個詞庫，詞庫中的詞有著其使用頻率（當(dāng)然為語義分析做準(zhǔn)備，每個詞要有其詞性） 。當(dāng)進(jìn)行字符串匹配時使用最大正向匹配原則進(jìn)行匹配，在匹配過程中記錄起所有能夠匹配成功的單詞。在這些單詞

28、中根據(jù)其使用頻率來選擇用那一個單詞來匹配。這樣算法即簡單又提高了單詞識別能力。對單詞串進(jìn)行語義識別因?yàn)橐粋€語言分析系統(tǒng)無論多么復(fù)雜，都可以看做由兩部分組成，即元素表和規(guī)則系統(tǒng)。所以現(xiàn)在比較普遍的語義分析方法是：先建立一個規(guī)則庫，在分詞后得到單詞流，根據(jù)規(guī)則庫便可以進(jìn)行語義識別。我們先將字符流進(jìn)行依次進(jìn)棧，在進(jìn)棧的同時用相應(yīng)的語法規(guī)則進(jìn)行規(guī)約。當(dāng)規(guī)約到開始符號表示識別完畢，根據(jù)使用的語法規(guī)則來確定語義，從中便可提取所要的信息。但我們的系統(tǒng)所要提取的信息比較固定，最多須提?。菏?，區(qū)，價(jià)錢，星級，什么樣的房間，下住時間，住的天數(shù)。所以我們沒有必要建立規(guī)則庫，可以利用- 8 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)

29、論文第二章設(shè)計(jì)思想語言分析技術(shù)進(jìn)行識別。我們這個部分類似信息提取系統(tǒng)，目的在于獲取指定的信息，因而往往不需要進(jìn)行完整的語言分析和理解。其分析過程通?？煞Q作是“淺層的”或“部分的”語言分析（只分析所需要的部分） ，即找出代表指定信息的詞匯、短語等塊狀語言結(jié)構(gòu)，而不是去弄清楚每一語句的句法結(jié)構(gòu)樹。在語法分析階段的一個主要問題是代表信息所包含的事件、消息或事實(shí)的有關(guān)名詞性短語和動詞性短語的識別問題。對文本的語義理解在于發(fā)現(xiàn)指定信息所涉及的各項(xiàng)內(nèi)容，解決句間成分傳遞、指代與引用情況等問題。市的識別可以先在數(shù)據(jù)庫建立一個表，表中存放全國的各市名稱，再進(jìn)行對數(shù)據(jù)庫的比較查詢識別 . 價(jià)錢、星級、時間等信息

30、可以用前后的詞來推斷。首先對單詞流進(jìn)行第一遍掃描，任務(wù)是用數(shù)據(jù)庫中的數(shù)據(jù)提取出市的信息。第二遍掃描，任務(wù)是找出單詞流中的所有數(shù)字信息并作相應(yīng)的標(biāo)記。第三遍掃描，在數(shù)字信息后面找兩個單詞同數(shù)據(jù)庫中標(biāo)志詞表相比較，看是否能識別數(shù)字信息的性質(zhì)。如不能識別再找數(shù)字信息的前面兩個單詞進(jìn)行同樣比較，再不能識別則放棄。在這三遍的比較中將提出的信息和使用過的詞做上不同的標(biāo)記以備后用。在第四遍的掃描中將沒有標(biāo)記的單詞和數(shù)據(jù)庫中必須特殊處理的詞表相比較。進(jìn)行不同的處理，如：對離開時間的計(jì)算、價(jià)錢范圍的識別等。四遍掃描后便將所需信息提取出。也可將二、三、四遍掃描合并到一起同時進(jìn)行。對一個單詞先進(jìn)行數(shù)字判斷，再同特殊

31、處理詞表相比較。這樣可改為二次掃描，執(zhí)行結(jié)果同四遍掃描是一樣的。完成上面的工作后，將提出的不同信息命名，一同存入文檔中。2.4 系統(tǒng)設(shè)計(jì)工具系統(tǒng)開發(fā)工具如下 :1.操作系統(tǒng) :：MicrosoftWindowsXP3.數(shù)據(jù)庫：開發(fā)過程中數(shù)據(jù)庫工具采用了MY SQL ，這個數(shù)據(jù)庫工具是個相對小型的數(shù)據(jù)庫工具，有著方便、靈活等特性。對于我們這個小型的自然語言分析系統(tǒng)非常適合。4. 編碼工具：語言的選用對系統(tǒng)來說是非常重要的，因?yàn)樗P(guān)系到功能的實(shí)現(xiàn)，和程序的性能。這部分采用 JAVA 語言。如今 JAVA 語言越來越受眾人好評，- 9 -沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第二章設(shè)計(jì)思想而且還在迅猛的發(fā)展。

32、 JAVA 具有著簡單性、網(wǎng)絡(luò)特性、平臺無關(guān)性、可移植性、魯棒性等優(yōu)點(diǎn)，這些特性為編程提供了很大的方便。5.開發(fā)環(huán)境： editplus 是可以對多種語言編譯的編程語言，可以對JAVA 語言進(jìn)行編譯。相對其他 JAVA 語言編譯環(huán)境來說這個環(huán)境比較簡單，但正是因?yàn)檫@點(diǎn)比較簡單方便，比較容易操作，對于JAVA 語言的了解學(xué)習(xí)也是有一定好處的。在editplus 中調(diào)用中的各種執(zhí)行命令， 從而實(shí)現(xiàn)對 JAVA 語言的編譯。2.5 技術(shù)經(jīng)濟(jì)分析技術(shù)經(jīng)濟(jì)分析是研究技術(shù)領(lǐng)域的經(jīng)濟(jì)問題和經(jīng)濟(jì)規(guī)律的科學(xué)，是研究一定技術(shù)條件下如何提高經(jīng)濟(jì)效果的科學(xué)，是技術(shù)與經(jīng)濟(jì)的交叉。其主要研究技術(shù)的經(jīng)濟(jì)效果問題，技術(shù) 與經(jīng)

33、濟(jì)的最佳組合問題。對于整個系統(tǒng)來說，予估計(jì)由一個人獨(dú)立開發(fā)，用時一年左右，所需成本費(fèi)用主要為人工費(fèi)用，再加上計(jì)算機(jī)和軟件等構(gòu)成該系統(tǒng)的開發(fā)成本。經(jīng)濟(jì)上的合理性： 在系統(tǒng)開發(fā)上， 普通計(jì)算機(jī)的約折人民幣 4000 元左右 ,操作系統(tǒng)是 Windows XP ，加上 Microsoft Office 其正版軟件也不過 5000 元。開發(fā)人員 1 名（假設(shè)月薪 2000），開發(fā)本軟件如果是網(wǎng)絡(luò)開發(fā)的技術(shù)人員最多三個月，假如個人技術(shù)花費(fèi)是 3000 元，開發(fā)費(fèi)用合計(jì)大概是 2 萬元左右，且計(jì)算機(jī)和軟件可重復(fù)使用。實(shí)際消耗資本不足15000 元。而現(xiàn)在的 WEB 系統(tǒng)開發(fā)，如果是大型的電子商務(wù)網(wǎng)站，或企

34、業(yè)商業(yè)網(wǎng)，一般的投資都是幾十萬。所以自行開發(fā)系統(tǒng)，既節(jié)省了費(fèi)用，又可以使本軟件符合我們自己的要求并擁有源代碼，使以后的操作和修改都有很大的靈活性。綜上所述，本系統(tǒng)的自行開發(fā)有很多優(yōu)點(diǎn)，亦可節(jié)省大量資金。而且這個項(xiàng)目有著其獨(dú)特性，定能受到大眾的歡迎。這個項(xiàng)目存在著很大的商業(yè)前景。但從我們的實(shí)際出發(fā)，我們的時間有限，在這短短的三個月內(nèi)完成所有的功能設(shè)計(jì)，并且完成后面的代碼編程，是不合實(shí)際的。對自然語言分析部分完成全部編碼也是不可能的。分詞詞庫的建立對于我們現(xiàn)在的情況是不可能的。所以我們決定尋找網(wǎng)絡(luò)資源來解決這個問題，采用 網(wǎng)上的分詞程序。-10-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第三章數(shù)據(jù)庫設(shè)計(jì)第三章數(shù)

35、據(jù)庫設(shè)計(jì)數(shù)據(jù)庫在一個自然語言分析中占有非常重要的地位，數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)的好壞將直接對分析系統(tǒng)的效率以及實(shí)現(xiàn)的效果產(chǎn)生影響。合理的數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)可以提高系統(tǒng)效率和準(zhǔn)確率并且可以提高數(shù)據(jù)存儲效率，保證數(shù)據(jù)庫的完整性和一致性。同時，合理的數(shù)據(jù)庫結(jié)構(gòu)也將有利于程序的實(shí)現(xiàn)。3.1 數(shù)據(jù)庫需求分析：本系統(tǒng)采用 MY SQL 數(shù)據(jù)庫。在仔細(xì)分析調(diào)研基礎(chǔ)上，得到本系統(tǒng)所要處理的數(shù)據(jù)結(jié)構(gòu)。根據(jù)系統(tǒng)需求可以列出以下數(shù)據(jù)項(xiàng)和數(shù)據(jù)結(jié)構(gòu)：1、城市：包括城市名。2、標(biāo)志詞（用來存單位等詞，對純數(shù)字的含義的判斷）：標(biāo)志性詞、做不同操作的代表數(shù)字等。3、特殊處理詞（用來存必需做特殊處理的詞）：特殊詞、做不同操作的代表數(shù)字等。4

36、、數(shù)值單位（用來為數(shù)值計(jì)算提供數(shù)值上的單位）：單位、代表不同單位的數(shù)值等。5、標(biāo)示計(jì)算詞（用來存需做計(jì)算性的標(biāo)示詞）：標(biāo)示詞、做不同計(jì)算的代表數(shù)字等。6、用戶交互內(nèi)容（用來存當(dāng)用戶給的信息不全或錯誤時，返回給用戶的內(nèi)容）：內(nèi)容編號、返回的內(nèi)容。本系統(tǒng)設(shè)計(jì)過程中主要遵循以下幾點(diǎn)：1、程序設(shè)計(jì)的便利性2、系統(tǒng)性能的完備性3、系統(tǒng)運(yùn)行的高效性4、全局?jǐn)?shù)據(jù)的一致性5、數(shù)據(jù)關(guān)聯(lián)的完整性6、運(yùn)行結(jié)果的準(zhǔn)確性-11-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第三章數(shù)據(jù)庫設(shè)計(jì)3.2 數(shù)據(jù)庫概念結(jié)構(gòu)設(shè)計(jì)概念結(jié)構(gòu)設(shè)計(jì)是將需求分析得到的用戶需求抽象為信息結(jié)構(gòu)即概念模型的過程。自然語言分析部分對于表的結(jié)構(gòu)要求很簡單。每一個表的結(jié)構(gòu)

37、都由一個單詞或句子對應(yīng)一個數(shù)字。單詞或句子用數(shù)字來表示其要進(jìn)行的操作。在程序中使用數(shù)字來代表這個單詞或句子，實(shí)現(xiàn)對這個詞或句子的理解。下面對自然語言分析部分進(jìn)行結(jié)構(gòu)設(shè)計(jì)：在 MY SQL 中建數(shù)據(jù)庫名稱為： mydatabase。對應(yīng)的各表結(jié)構(gòu)如下：表名： city （城市）：字段名類型citychar表名： sign（用來存標(biāo)志詞，對純數(shù)字的含義的判斷）字段名類型unit (標(biāo)志詞 )charfield （操作的數(shù)字表示）intfield 數(shù)值表示的含義：10：表示價(jià)錢20：表示開始時間30：表示結(jié)束時間40：表示整體時間50：表示星級90：表示地點(diǎn)110：表示年120：表示月130：表示日

38、140；表示星期200：表示無用信息600：表示住多長時間610：表示住幾天表名： especial （用來必須特殊處理的詞）字段名類型idiom （特殊處理的詞）charmeans（操作的數(shù)字表示）intmeans數(shù)值表示的含義：-12-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第三章數(shù)據(jù)庫設(shè)計(jì)510：表示要向下讀取一個數(shù)詞和一個單位（存在 caxun 中）初值為 1500：表示要向下讀取一個數(shù)詞和一個單位（存在 caxun 中），初值 1，不用。 520 ：要處理天、日的詞520 表示今天521 表示明天522 表示后 523 表示大后天530：要處理月的詞530 表示本月 531表示下月540：要處理

39、年的詞540 表示今年 541表示明年 542表示后年 543表示大后年550：要處理星期551 表示下星期560：表示要向下讀取一個數(shù)詞和一個單位（存在 caxun 中）初值為 0570：表示要處理 下星期幾到“星期幾（除一、 、日）”580：表示要處理下星期幾到“星期一（、 、日）”581 星期一 582 星期二、 587星期日710 ：表示要處理形容價(jià)錢的“高檔”720 ：表示要處理形容價(jià)錢的“中檔”730 ：表示要處理形容價(jià)錢的“低檔”740 ：表示要處理形容價(jià)錢的“以上”750 ：表示要處理形容價(jià)錢的“以下”760 ：表示要處理形容價(jià)錢的“左右”770 ：表示要處理“不限”表名： c

40、axun （用來存單位）字段名類型name （單位名）charzhi (單位的數(shù)值 )intzhi 數(shù)值表示的含義：110：做年的相應(yīng)處理120：做月的相應(yīng)處理130 ：做日的相應(yīng)處理140 ；做星期的相應(yīng)處理-13-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第三章數(shù)據(jù)庫設(shè)計(jì)表名： zhutian(用來存計(jì)算性的標(biāo)示詞）字段名類型name（標(biāo)示詞）charxingzhi ( 計(jì)算的代表數(shù) )intxingzhi 數(shù)值表示的含義：560 ：表示做“住幾天”的處理表名： fanhui (存返回用戶的錯誤提示信息)字段名類型hao(內(nèi)容編號 )charneirong(返回的內(nèi)容 )textneirong 表示的含

41、義：0001：詢問賓館所在市的信息。0010：詢問賓館所在市的信息。0100：詢問開始時間的信息。1000：所要詳細(xì)信息的編號錯誤的提示信息。0101：詢問賓館所在市的信息和詢問開始時間的信息。0011：詢問賓館所在市的信息和詢問賓館價(jià)位的信息。0110：詢問賓館價(jià)位的信息和詢問開始時間的信息。0111：詢問賓館所在市的信息和詢問賓館所在市的信息和詢問開始時間的信息2000：對空信息的詢問和使用幫助。到此，系統(tǒng)的全部數(shù)據(jù)庫的表結(jié)構(gòu)設(shè)計(jì)已經(jīng)全部列出，在下面的系統(tǒng)設(shè)計(jì)的章節(jié)里，將全面介紹程序是如何對各表進(jìn)行操作并完成系統(tǒng)各種功能的。-14-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第四章系統(tǒng)設(shè)計(jì)第四章系統(tǒng)設(shè)計(jì)系

42、統(tǒng)設(shè)計(jì)又稱系統(tǒng)物理設(shè)計(jì)。它根據(jù)系統(tǒng)分析報(bào)告中的系統(tǒng)邏輯模型綜合考慮各種約束，利用一切可利用的技術(shù)手段和方法進(jìn)行具體設(shè)計(jì)，確定系統(tǒng)的實(shí)施方案，解決系統(tǒng)怎么做的問題。在充分了解系統(tǒng)要求基礎(chǔ)上，對系統(tǒng)的功能進(jìn)行細(xì)致的分析，并建立一個系統(tǒng)的邏輯模型。4.1 系統(tǒng)功能分析從功能上來講，本系統(tǒng)的功能就是從短信平臺接受短信經(jīng)過語言分析將短信中的主要信息提取出交給網(wǎng)絡(luò)搜索部分。經(jīng)過進(jìn)一步對功能實(shí)現(xiàn)上的分析，從工程的角度講，本系統(tǒng)主要需要完成以下幾個功能：短信內(nèi)容分詞：這部分采用網(wǎng)上的分詞程序來將短信內(nèi)容分成單詞流。單詞規(guī)范性轉(zhuǎn)化：因?yàn)榫W(wǎng)上的分詞程序?qū)ξ覀兊恼Z義分析部分有一定的差異，既分詞程序?qū)τ行┰~的分法同語

43、義分析需要的分法有些不同，所以要對分詞的結(jié)果進(jìn)行規(guī)范化轉(zhuǎn)化。賓館所在市提取：對單詞流進(jìn)行全面的檢查，查看單詞流中是否有賓館所在市的信息。如果有將其提出，沒有則作上缺少的標(biāo)記。時間提?。簩卧~流進(jìn)行檢查，查找出用戶的開始入住時間，如果有將其提出，沒有則作上缺少的標(biāo)記。同時也找出離開時間。價(jià)錢提取：對單詞流進(jìn)行檢查，查找出用戶的價(jià)錢標(biāo)準(zhǔn)，如果有將其提出，沒有則作上缺少的標(biāo)記。這里的標(biāo)準(zhǔn)可以是一個范圍也可以是一個上價(jià)或下價(jià)。星級提?。簩卧~流進(jìn)行檢查，查找出用戶的星級標(biāo)準(zhǔn)，如果有將其提出，如沒有作上缺少的標(biāo)記。合法性檢查：對時間、價(jià)錢等的上限和下限進(jìn)行檢查，因?yàn)橄孪抟欢ㄒ∮诘扔谏舷?。?dāng)星級大于五時

44、，這樣的星級也是不存在的，要對其做相應(yīng)的處理。當(dāng)短信信息中所在市、開始時間、價(jià)錢等信息缺少時要向用戶返回詢問信息。當(dāng)信息足夠時再向網(wǎng)絡(luò)查詢部分提交。-15-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第四章系統(tǒng)設(shè)計(jì)4.2 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)根據(jù)系統(tǒng)的功能分析，我們要在分詞模塊和語義分析模塊之間加入單詞規(guī)范性轉(zhuǎn)化，使分詞和語義分析之間更好的連接。在將提取的主要的信息交給網(wǎng)絡(luò)搜索部分時，要進(jìn)行一下合法性檢查，將市、時間、價(jià)錢信息不全的短信信息不交給網(wǎng)絡(luò)搜索，在本部分進(jìn)行處理。使接口更加標(biāo)準(zhǔn)化，有助于自然語言分析和網(wǎng)絡(luò)搜索兩部分的連接。這時系統(tǒng)的結(jié)構(gòu)如下圖所示：短信平臺部分短信內(nèi)容自然語言分詞模塊單詞流單詞規(guī)范性轉(zhuǎn)化規(guī)范

45、單詞流自然語言語義分析主要信息合法性檢查標(biāo)準(zhǔn)信息網(wǎng)絡(luò)搜索部分-16-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第四章系統(tǒng)設(shè)計(jì)4.3 各模塊設(shè)計(jì)圖單詞規(guī)范性轉(zhuǎn)化：單詞流將不應(yīng)該分開組合處理的詞將單詞內(nèi)的數(shù)規(guī)范單詞流的詞再次組合據(jù)為一種形式自然語言語義分析：規(guī)范單詞流連接數(shù)據(jù)庫規(guī)范單詞流將單詞同數(shù)據(jù)庫比較提出賓館所在市的信息并標(biāo)記規(guī)范單詞流單詞內(nèi)容的判斷純數(shù)特?zé)o數(shù)字殊須字+處處漢單理理字詞單單單詞詞詞對純數(shù)字的性質(zhì)根據(jù)單詞中漢字對必須處理的特直接將其略過，不進(jìn)行判斷并進(jìn)行對數(shù)字的性質(zhì)進(jìn)殊詞根據(jù)其含義做任何處理標(biāo)記行判斷并標(biāo)記進(jìn)行處理并標(biāo)記-17-沈陽航空工業(yè)學(xué)院畢業(yè)設(shè)計(jì)論文第四章系統(tǒng)設(shè)計(jì)合法性檢查：對價(jià)錢的標(biāo)準(zhǔn)

46、性對時間的標(biāo)準(zhǔn)性主要信息主要信息轉(zhuǎn)換轉(zhuǎn)換主 要 信息對市、價(jià)錢、時間對星級的標(biāo)準(zhǔn)性標(biāo)準(zhǔn)信息主要信息的齊全性檢查轉(zhuǎn)換4.4 系統(tǒng)詳細(xì)設(shè)計(jì)一、分詞程序設(shè)計(jì)：這部分采用網(wǎng)上的分詞程序來將短信內(nèi)容分成單詞流。我們要設(shè)計(jì)一個接口部分，用它來和分詞連接。即將分詞程序進(jìn)行調(diào)用。此程序提供 JAVA 接口，以被作成了名為SplitCaller 的類，可以直接引用。將 SplitCaller 類引進(jìn)程序String stbu=""stbu=SplitCaller.split(str,0,0);/str 是短信內(nèi)容， stbu 為分詞結(jié)果二、單詞規(guī)范性轉(zhuǎn)化：有些詞對于分詞程序是分開的，如：2

47、萬 3 千、日等。但對于語義分析來講不應(yīng)該分開。所以要先對像這樣的詞進(jìn)行合并。合并方法是判斷前一個詞的結(jié)尾和這個詞的開始是否是可以合并的漢字，如是則合并，不是則檢查這個的結(jié)尾和下個詞的開始，繼續(xù)這樣進(jìn)行到結(jié)束。因?yàn)榉衷~程序的結(jié)果是中間有空格的字符串，當(dāng)兩個單詞之間的空格數(shù)多于正常數(shù)的2 個，則表明用戶在短信中兩個詞之間有空格，這樣即使?jié)M足合并條件也不應(yīng)將兩個單詞合并。所以還要設(shè)一個記錄空格數(shù)的變量。符合空格數(shù)等于2，而且前后是可合并的漢字則合并。否則不和并。if (a1=1)&&(NumbrLink(s.charAt(n)/a1=1表示前一個的結(jié)尾是符合的漢字，NumbrLink(s.charAt(n) 為真表示這個單詞的開始的漢字也符合合并條件mn.delete(0,mn.length();mn.append(stilong-1