第11章 自然語言理解（AI應(yīng)用3版）

1、第 11 章 自然語言理解及其應(yīng)用 教材： 王萬良人工智能及其應(yīng)用（第3版） 高等教育出版社，2016. 22第11章 自然語言理解及其應(yīng)用11.1 自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模文本處理 11.7 機(jī)器翻譯11.8 語音識別11.9 基于隱馬爾科夫模型的語音識別方法3第11章 自然語言理解及其應(yīng)用11.1 自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模文本處理 11.7 機(jī)器翻譯11.8

2、 語音識別11.9 基于隱馬爾科夫模型的語音識別方法411.1.1 自然語言理解的概念微觀角度：從自然語言到機(jī)器內(nèi)部的一個(gè)映射。宏觀角度：使機(jī)器能夠執(zhí)行人類所期望的某種語言功能。 （1）回答問題：計(jì)算機(jī)正確地回答用自然語言輸入的有關(guān)問題。（2）文摘生成：機(jī)器能產(chǎn)生輸入文本的摘要。 （3）釋義：機(jī)器能用不同的詞語和句型來復(fù)述輸入的自然語言信息。（4）翻譯：機(jī)器能把一種語言翻譯成另外一種語言。 511.1.2 自然語言理解研究的產(chǎn)生與發(fā)展 1. 萌芽時(shí)期（20世紀(jì)40年代末50年代初）2. 以關(guān)鍵詞匹配技術(shù)為主的時(shí)期 （20世紀(jì)60年代始）A. Donald Booth & W. Weaver M

3、. Chomsky 形式語言和文法3. 以句法語義分析技術(shù)為主的時(shí)期 （ 20世紀(jì)70年代后）4. 基于知識的自然語言理解發(fā)展時(shí)期 5. 基于大規(guī)模語料庫的自然語言理解發(fā)展時(shí)期 68年B. Raphael：語義檢索系統(tǒng)SIRJ. Weizenbaum：心理醫(yī)療ELIZA 72年W. Woods：語音接口LUNART. Winograd ：英語對話SHEDLU6第11章 自然語言理解及其應(yīng)用11.1自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模文本處理 11.7 機(jī)器翻譯11.8 語音識別11.9 基

4、于隱馬爾科夫模型的語音識別方法7文字表達(dá)句子的層次：詞素詞或詞形詞組或句子。聲音表達(dá)句子的層次：音素音節(jié)音詞音句。 語言處理過程分為五個(gè)層次：語音分析、詞法分析、句法分析、語義分析和語用分析。 語用分析：研究語言所存在的外界環(huán)境對語言使用產(chǎn)生的影響。構(gòu)成單詞發(fā)音的獨(dú)立單元是音素。上下文不同而發(fā)音不同。 語音分析就是根據(jù)音位規(guī)則，從語言流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個(gè)個(gè)音節(jié)及其對應(yīng)的詞素或詞。11.2 語言處理過程的層次8第11章 自然語言理解及其應(yīng)用11.1自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 1

5、1.6 基于語料庫的大規(guī)模文本處理 11.7 機(jī)器翻譯11.8 語音識別11.9 基于隱馬爾科夫模型的語音識別方法911.3 詞法分析 定義：從句子中切分出單詞，找出詞匯的各個(gè)詞素 ，并確定其詞義。例：unchangeable： un-change-able 英語詞法分析 特點(diǎn)：切分單詞容易，找出詞素復(fù)雜。例：importable分為 import-able或 im-port-able詞法分析算法舉例：repeatlook for word in dictionary if not found then modify the wordUntil word is found or no furt

6、her modification possible 1011.3 詞法分析例如：對于單詞catches、ladies可以做如下的分析。 catches ladies, 詞典中查不到 catche ladie 修改1：去掉s catch ladi 修改2：去掉e lady 修改3：把i變成y這樣，在修改2的時(shí)候，就可以找到catch，在修改3的時(shí)候就可以找到lady。例如：優(yōu)秀人才學(xué)人才學(xué)1. 優(yōu)秀人才學(xué)人才學(xué)2. 優(yōu)秀人才學(xué)人才學(xué) 漢語詞法分析 特點(diǎn)：找出詞素簡單，切分出詞困難。ly副詞后輟；ed動詞過去分詞11第11章 自然語言理解及其應(yīng)用11.1自然語言理解的概念與發(fā)展歷史 11.2 語音

7、分析11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模文本處理 11.7 機(jī)器翻譯11.8 語音識別11.9基于隱馬爾科夫模型的語音識別方法1211.4 句法分析11.4.1 喬姆斯基的形式文法 11.4.2 句法分析樹11.4.3 轉(zhuǎn)移網(wǎng)絡(luò)11.4.4 擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)1311.4.1 喬姆斯基的形式文法1950年提出，表示形式：G = (T，N，S，P) T：終結(jié)符集合 N：非終結(jié)符集合 S：起始符 P：產(chǎn)生式規(guī)則集 T =（the,man,killed,a,deer,likes)N =（S,NP,VP,N,ART,V,Prep,PP) S = S P：(1)

8、 SNP+VP (2) NPN (3) NPART+N (4) VPV (5) VPV+NP (6) ARTthe|a (7)Nman|deer (8) Vkilled|likes例 1 G=（T，N，S，P）14 1型文法: 上下文有關(guān)文法 2型文法：上下文無關(guān)文法 3型文法：正則文法 左線性文法：ABt 或 At(ABtCt*t)右線性文法 ： AtB或At產(chǎn)生式規(guī)則: xy 產(chǎn)生式規(guī)則: xy例：ABCDE ABCDE XaYXbY 產(chǎn)生式規(guī)則：Ax 0型文法：無約束短語結(jié)構(gòu)文法11.4.1 喬姆斯基的形式文法1511.4.2 句法分析樹 例如：The man killed a deer

9、. S NP + VP ART + N + VP The man + VP The man + V + NP The man killed + NP The man killed + ART + N The man killed a deer. 在對一個(gè)句子進(jìn)行分析的過程中，如果把分析句子各成分間關(guān)系的推導(dǎo)過程用樹形圖表示出來，那么這種圖稱為句法分析樹。 1611.4.2 句法分析樹句法分析樹舉例1711.4.3 轉(zhuǎn)移網(wǎng)絡(luò)例： 轉(zhuǎn)移網(wǎng)絡(luò)的一般結(jié)構(gòu)由結(jié)點(diǎn)和帶有標(biāo)記的弧構(gòu)成，其中結(jié)點(diǎn)表示狀態(tài)，弧對應(yīng)于符號，實(shí)現(xiàn)從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)。開始狀態(tài)中間狀態(tài)終止?fàn)顟B(tài)NPVP開始狀態(tài)開始狀態(tài)中間狀態(tài)中間

10、狀態(tài)終止?fàn)顟B(tài)終止?fàn)顟B(tài)ARTNVNPVNSNP + VPNPART + NNPNNPV + NPNPV1811.4.3 轉(zhuǎn)移網(wǎng)絡(luò)例 The man laughed.1911.4.4 擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)ATN（augmented transition network ） ATN由一組轉(zhuǎn)移網(wǎng)絡(luò)組成：每個(gè)TN都有一個(gè)網(wǎng)絡(luò)名，弧上的條件擴(kuò)充為條件加上操作。由寄存器的方式實(shí)現(xiàn)。數(shù)：單數(shù)和復(fù)數(shù)，缺省為空 ATN的寄存器構(gòu)成：句法特征寄存器和句法功能寄存器。 特征寄存器：每一維特征都由一個(gè)特征名和一組特征值以及一個(gè)缺省值來表示。 功能寄存器：反映了句法成分之間的關(guān)系和功能。2011.4.4 擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)短語（NP）

11、的擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò) ： fg A:Number*.Number gh C:Number*.Number or 應(yīng)用：檢查NP中數(shù)的一致問題，其中特征是“數(shù)”，值為單數(shù)和復(fù)數(shù)。C是弧上的條件，A是弧上的操作。*是當(dāng)前值。 this book，the book，the books，these books 可以順利通過，而this books或these book就無法通過。 21第11章 自然語言理解及其應(yīng)用11.1 自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模真實(shí)文本的處理 11.7 機(jī)器翻譯11.8

12、語音識別11.9基于隱馬爾科夫模型的語音識別方法2211.5 語義分析 語義分析是將句法成分與應(yīng)用領(lǐng)域中的目標(biāo)表示相關(guān)聯(lián)。 簡單做法：依次使用獨(dú)立的句法分析程序和語義解釋程序。缺點(diǎn)：使句法分析、語義分析分離語義文法格文法2311.5.1 語義文法 語義文法是將文法知識和語義知識組合起來，以統(tǒng)一的方式定義為文法規(guī)則集。 艦船信息：SPRESENT the ATTRIBUTE OF SHIPPRESENTWhat is|Can you tell meATTRIBUTElength|classSHIPthe SHIPNAME|CLASSNAMESHIPNAMEHUANGHE|CHANGJIANGCL

13、ASSNAMEcarrier|submarine2411.5.2 格文法 目的：為了找出動詞和跟動詞處在結(jié)構(gòu)關(guān)系中的名詞的語義關(guān)系，同時(shí)也涉及動詞或動詞短語與其他的各種名詞短語之間的關(guān)系。 特點(diǎn)：允許以動詞為中心構(gòu)造分析結(jié)果，盡管文法規(guī)則只描述句法，但分析結(jié)果產(chǎn)生的結(jié)構(gòu)卻對應(yīng)于語義關(guān)系，而非嚴(yán)格的句法關(guān)系。例：Mary hit Bill Bill was hit by Mary (Hit(Agent Mary) (Dative Bill)2511.5.2 格文法SSNPNPVPVPVNPVPPBillMaryhitwas hitbyBillMary主動句和被動句的句法分析樹26第11章 自然語

14、言理解及其應(yīng)用11.1 自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模文本處理 11.7 機(jī)器翻譯11.8 語音識別11.9基于隱馬爾科夫模型的語音識別方法2711.6.1 語料庫及其特征1990年l 3屆國際計(jì)算機(jī)語言學(xué)大會提出大規(guī)模真實(shí)文本目標(biāo)基于規(guī)則方法的缺點(diǎn)：自然語言理解的復(fù)雜性，各種知識的“數(shù)量”繁多，高度的不確定性和模糊性。 傳統(tǒng)詞典特征及不足： 特征：把各類不同的信息放入一個(gè)詞匯單元中，包括拼音、讀音、詞形變化及派生詞、詞根、短語、時(shí)態(tài)變換的定義及說明、同義詞、反義詞、特殊用法注釋，偶

15、爾還有圖示或插圖。 不足：以“樹”為例，解釋為一種大型的、木制的、多年生長的、具有明顯樹干的植物。 缺失了很多構(gòu)造性信息2811.6.1 語料庫及其特征90年代，自然語言理解的研究在基于規(guī)則的技術(shù)中引入語料庫，包括統(tǒng)計(jì)方法、基于實(shí)例的方法和通過語料加工手段使語料庫轉(zhuǎn)化為語言知識庫的方法等。 WordNet語料庫：1990年由Princeton大學(xué)的Miller等人設(shè)計(jì)和構(gòu)造的。包含將近95 600個(gè)詞形(51 500單詞和44100搭配詞)和70 100個(gè)詞義，分為名詞、動詞、形容詞、副詞和虛詞5類。WordNet中，按語義而不是按詞性來組織詞匯信息，名詞有57 000個(gè)，含有48 800個(gè)同

16、義詞集，分成25類文件，平均深度12層。最高層為根概念，不含有固有名詞。2911.6.2 漢語自動分詞方法 （1）最大匹配法：在計(jì)算機(jī)中存放一個(gè)分詞用詞典，從待切分的文本中按自左到右的順序截取一個(gè)定長的漢字串，與詞典中的詞進(jìn)行匹配，若匹配不成功，則把該字符串從右邊逐次減去一個(gè)漢字，再與詞典中的詞進(jìn)行匹配，直到成功為止。 （2）逆向最大匹配法：從待切分文本中截取字符串的方向是從右到左。匹配不成功時(shí)，將所截取的漢字串從左至右逐次減去一個(gè)漢字，再與詞典中的詞進(jìn)行匹配，直到匹配成功為止。 （3）逐詞遍歷匹配法：逐詞遍歷匹配法中存放的詞按由長到短的順序，逐個(gè)與待切分的語料文本進(jìn)行匹配，直到把文本中的所有

17、詞都切分出來為止。 3011.6.2 漢語自動分詞方法 漢語自動分詞難點(diǎn)：（1）詞的概念（2）岐義問題（3）未登錄詞的識別 各類名字、縮略語、派生詞、專業(yè)術(shù)語 3111.6.3 漢語詞性的標(biāo)注方法 難點(diǎn)：兼類詞的詞類歧義排除 意義（1）對文本進(jìn)行文法分析或句法分析等更高層次的文本加 工提供基礎(chǔ)。 （2）通過對標(biāo)注過的語料進(jìn)行統(tǒng)計(jì)分析等處理。具有兩個(gè)或兩個(gè)以上詞性的詞 3211.6.4 漢語詞義的標(biāo)注方法 難點(diǎn)：多義詞的歧義排除 意義（1）對文本中的每個(gè)詞根據(jù)其所屬上下文給出它的語義編碼。 （2）語音合成、情報(bào)檢索、機(jī)器翻譯、自動校對等。 33第11章 自然語言理解及其應(yīng)用11.1 自然語言理解

18、的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模真實(shí)文本的處理 11.7 機(jī)器翻譯11.8 語音識別11.9基于隱馬爾科夫模型的語音識別方法3411.7 機(jī)器翻譯11.7.1 機(jī)器翻譯方法概述 11.7.2 范例式機(jī)器翻譯系統(tǒng)11.7.3 翻譯記憶 3511.7.1 機(jī)器翻譯方法概述發(fā)展歷程：36 1. 直譯式翻譯系統(tǒng)(direct translation MT systems) 通過快速的分析和雙語詞典，將原文譯出。 2. 規(guī)則式翻譯系統(tǒng)(rule-based MT systems) 先分析原文內(nèi)容，產(chǎn)生原文的

19、句法結(jié)構(gòu)，再轉(zhuǎn)換成譯 文的句法結(jié)構(gòu)，最后再生成譯文。 11.7.1 機(jī)器翻譯方法概述37 3. 中介語式翻譯系統(tǒng)(inter-lingual MT systems) 先生成一種中介的表達(dá)方式，而非特定語言的結(jié)構(gòu)； 再由中介的表達(dá)式，轉(zhuǎn)換成譯文。 基于規(guī)則的翻譯中介語式的翻譯11.7.1 機(jī)器翻譯方法概述38 4. 知識庫式翻譯系統(tǒng)(knowledge-based MT systems) 翻譯經(jīng)常需要除了詞匯之外的各種知識，使用知識獲取工具(knowledge acquisition)，以充實(shí)知識庫的內(nèi)容。 5. 統(tǒng)計(jì)式翻譯系統(tǒng)(Statistics-based MT systems ) 199

20、4年，IBM公司ABerger等用統(tǒng)計(jì)方法和各種不同的對齊技術(shù)，給出了統(tǒng)計(jì)式機(jī)器翻譯系統(tǒng)Candide。統(tǒng)計(jì)機(jī)器翻譯是目前非限定領(lǐng)域機(jī)器翻譯中性能較佳的一種方法。統(tǒng)計(jì)機(jī)器翻譯的基本思想是通過對大量平行語料進(jìn)行統(tǒng)計(jì)分析，構(gòu)建統(tǒng)計(jì)翻譯模型，進(jìn)而使用此模型進(jìn)行翻譯。11.3.1 機(jī)器翻譯方法概述39 5. 統(tǒng)計(jì)式翻譯系統(tǒng)(Statistics-based MT systems ) 目前，Google翻譯的大部分語言采用的都是統(tǒng)計(jì)機(jī)器翻譯的方法，在美國國家標(biāo)準(zhǔn)局組織的機(jī)器翻譯評測中遙遙領(lǐng)先。 此外，基于統(tǒng)計(jì)法機(jī)器翻譯系統(tǒng)還有Bing翻譯和百度翻譯等。統(tǒng)計(jì)機(jī)器翻譯的首要任務(wù)是為語言的產(chǎn)生構(gòu)造某種合理的統(tǒng)

21、計(jì)模型，并在此統(tǒng)計(jì)模型基礎(chǔ)上，定義要估計(jì)的模型參數(shù)，并設(shè)計(jì)參數(shù)估計(jì)算法。早期的基于詞的統(tǒng)計(jì)機(jī)器翻譯采用的是噪聲信道模型，采用最大似然準(zhǔn)則進(jìn)行無監(jiān)督訓(xùn)練，而近年來常用的基于短語的統(tǒng)計(jì)機(jī)器翻譯則采用區(qū)分性訓(xùn)練方法，一般來說需要參考語料進(jìn)行有監(jiān)督訓(xùn)練。11.3.1 機(jī)器翻譯方法概述40 6. 范例式翻譯系統(tǒng)(example-based MT systems ) 將過去的翻譯結(jié)果，當(dāng)成范例，產(chǎn)生一個(gè)范例庫。 7. 混合式翻譯系統(tǒng)(Statistics-based MT systems ) 同時(shí)采用多種策略，以達(dá)成翻譯的目標(biāo)。 11.3.1 機(jī)器翻譯方法概述41 范例式翻譯系統(tǒng)（example-base

22、d MT systems ） 對被翻譯的源語句通過翻譯實(shí)例數(shù)據(jù)庫檢索出要翻譯的 目標(biāo)語句。 范例式機(jī)器翻譯系統(tǒng)主要包括兩部分工作：（1） 建立翻譯實(shí)例數(shù)據(jù)庫。（2）翻譯的操作檢索算法。11.7.2 范例式機(jī)器翻譯系統(tǒng)42 基本原理：用戶利用已有的原文和譯文，建立起一個(gè)或多個(gè)翻譯記憶庫，在翻譯過程中，系統(tǒng)將自動搜索翻譯記憶庫中相同或相似的翻譯資源（如句子、段落等），給出參考譯文，使用戶避免無謂的重復(fù)勞動，只需專注于新內(nèi)容的翻譯。翻譯記憶庫同時(shí)在后臺不斷學(xué)習(xí)和自動儲存新的譯文，變得越來越“聰明”。 德國塔多思（TRADOS）公司的翻譯記憶軟件基于UNICODE（統(tǒng)一字符編碼），支持55種語言，覆蓋

23、了幾乎所有語言版本的 Windows9598NT 。 11.7.3 翻譯記憶43第11章 自然語言理解及其應(yīng)用11.1 自然語言理解的概念與發(fā)展歷史 11.2 語言處理過程的層次11.3 詞法分析11.4 句法分析11.5 語義分析 11.6 基于語料庫的大規(guī)模真實(shí)文本的處理 11.7 機(jī)器翻譯11.8 語音識別11.9基于隱馬爾科夫模型的語音識別方法4411.8.1 語音識別的概念語音識別用語音作為輸入，口語對話與語音信號中語言提取的不同： （1）上下文猜測 （2）肢體語言傳達(dá)信息 機(jī)器翻譯用印刷文本作為輸入，能清楚地區(qū)分單個(gè)單詞和單詞串 。fare | fairmale | mail451

24、1.8.2 語音信號采集與預(yù)處理 語音信號采集 基于單片機(jī)，DSP芯片 基于PC機(jī) 語音信號預(yù)處理預(yù)濾波（1）抑制輸入信號各頻域分量中頻率超出采樣頻率的一半的所有分量，以防止混疊干擾。（2）抑制50Hz的電源工頻干擾。 4611.8.2 語音信號采集與預(yù)處理 語音信號預(yù)處理 采樣：對信號進(jìn)行量化，量化不可避免地會產(chǎn)生誤差。量化后的信號值與原信號值之間的差值為量化誤差，又稱為量化噪聲。 預(yù)加重：是提升高頻部分，使信號的頻譜變得平坦，保持在低頻到高頻的整個(gè)頻帶中，能用同樣的信噪比求頻譜，以便于頻譜分析或聲道參數(shù)分析。 端點(diǎn)檢測：包含語音的一段信號中確定出語音的起點(diǎn)以及終點(diǎn)。4711.8.2 語音信

25、號采集與預(yù)處理過零率：信號中波形穿越零電平的次數(shù)來描述幅度變化的劇烈程度。ZCR(i) =|sgn(xi(n)sgn(xi(n+1)|4811.8.3 語音信號特征參數(shù)提取聲波有兩個(gè)主要特征：振幅和頻率。 線性預(yù)測編碼（LPC)： 基本思想：由于語音樣點(diǎn)之間存在相關(guān)性，所以可以用過去p個(gè)樣點(diǎn)值來預(yù)測現(xiàn)在或未來的樣點(diǎn)值。4911.8.4 向量量化向量量化（vector quantization，VQ）技術(shù)是七十年代后期發(fā)展起來的一種數(shù)據(jù)壓縮和編碼技術(shù)。在標(biāo)量量化中整個(gè)動態(tài)范圍被分成若干個(gè)小區(qū)間，每個(gè)小區(qū)間有一個(gè)代表值，對于一個(gè)輸入的標(biāo)題信號，量化時(shí)落入小區(qū)間的值就用這個(gè)代表值代替。向量量化的基本原理：將若干個(gè)標(biāo)量數(shù)據(jù)組成一個(gè)矢量在多維空間給予整體量化，從而可以在信息量損失較小的情況下壓縮數(shù)據(jù)量。5011.8.5 識別識別系統(tǒng)的輸入是從語音信號中提出的特征參數(shù)語音識別