《人工智能基礎(chǔ)與應(yīng)用》(樊重俊編著)第9章+自然語言與語音處理

自然語言與語音處理第9章十月24第9章自然語言與語音處理引言自然語言處理(NaturalLanguageProcessing，NLP)屬于人工智能的一個(gè)子領(lǐng)域，是指用計(jì)算機(jī)對自然語言的形、音、義等信息進(jìn)行處理，即對字、詞、句、篇章的輸入、輸出、識別、分析、理解、生成等的操作和加工。它對計(jì)算機(jī)和人類的交互方式有許多重要的影響。語音信號是人類進(jìn)行交流的主要途徑之一。語音處理涉及許多學(xué)科，它以心理、語言和聲學(xué)等為基礎(chǔ)，以信息論、控制論和系統(tǒng)論等理論作為指導(dǎo)，通過應(yīng)用信號處理、統(tǒng)計(jì)分析和模式識別等現(xiàn)代技術(shù)手段，發(fā)展成為新的學(xué)科。語音處理不僅在通信、工業(yè)、國防和金融等領(lǐng)域有著廣闊的應(yīng)用前景，而且正在逐漸改變?nèi)藱C(jī)交互的方式。本章首先介紹了自然語言處理的歷史和現(xiàn)狀，然后介紹了情感分類的相關(guān)知識，同時(shí)介紹了自然語言處理中兩種典型任務(wù)：機(jī)器翻譯和自然語言人機(jī)交互。最后介紹了語音處理中語音識別、語音合成和語音轉(zhuǎn)換三個(gè)部分。9.1自然語言處理ONTENTSC內(nèi)容大綱9.2語音處理9.3本章小結(jié)第9章自然語言與語音處理9.1自然語言處理ONTENTSC內(nèi)容大綱9.2語音處理9.3本章小結(jié)第9章自然語言與語音處理第9章自然語言與語音處理自然語言處理自然語言處理概述認(rèn)知智能包括語言理解、知識和推理。語言理解包括詞匯、句法、語義層面的理解，也包括篇章級別和上下文的理解；知識是人們對客觀事物認(rèn)識的體現(xiàn)以及運(yùn)用知識解決問題的能力；推理則是根據(jù)語言理解和知識，在已知的條件下根據(jù)一定規(guī)則或者規(guī)律推演出某種可能結(jié)果的思維過程。自然語言理解處在認(rèn)知智能最核心的地位，它的進(jìn)步會引導(dǎo)知識圖譜的進(jìn)步，會引導(dǎo)用戶理解能力的增強(qiáng)，也會進(jìn)一步推動整個(gè)推理能力。第9章自然語言與語音處理自然語言處理自然語言處理概述自然語言技術(shù)不是一個(gè)獨(dú)立的技術(shù)，受云計(jì)算、大數(shù)據(jù)、機(jī)器學(xué)習(xí)、知識圖譜的等各個(gè)方面的支撐。自然語言處理框架第9章自然語言與語音處理自然語言處理自然語言處理概述自2008年開始，深度學(xué)習(xí)開始在語音和圖像發(fā)揮威力。深度學(xué)習(xí)技術(shù)根本地改變了自然語言處理技術(shù)，使之進(jìn)入嶄新的發(fā)展階段。神經(jīng)網(wǎng)絡(luò)的端對端訓(xùn)練使自然語言處理技術(shù)不需要人工進(jìn)行特征抽取，只要準(zhǔn)備好足夠的標(biāo)注數(shù)據(jù)，利用神經(jīng)網(wǎng)絡(luò)就可以得到一個(gè)現(xiàn)階段最好的模型；詞嵌入的思想使得詞匯、短語、句子乃至篇章的表達(dá)可以在大規(guī)模語料上進(jìn)行訓(xùn)練，得到一個(gè)在多維語義空間上的表達(dá)，使得詞匯之間、短語之間、句子之間乃至篇章之間的語義距離可以計(jì)算；基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的語言模型可以更加精準(zhǔn)地預(yù)測下一個(gè)詞或一個(gè)句子的出現(xiàn)概率；循環(huán)神經(jīng)網(wǎng)絡(luò)可以對一個(gè)不定長的句子進(jìn)行編碼，描述句子的信息；編碼—解碼技術(shù)可以實(shí)現(xiàn)一個(gè)句子到另外一個(gè)句子的變換，這個(gè)技術(shù)是神經(jīng)機(jī)器翻譯、對話生成、問答、轉(zhuǎn)述的核心技術(shù)；強(qiáng)化學(xué)習(xí)技術(shù)使得自然語言系統(tǒng)可以通過用戶或者環(huán)境的反饋調(diào)整神經(jīng)網(wǎng)絡(luò)各級的參數(shù)，從而改進(jìn)系統(tǒng)性能。第9章自然語言與語音處理神經(jīng)機(jī)器翻譯神經(jīng)機(jī)器翻譯是模擬人腦的翻譯過程。神經(jīng)機(jī)器翻譯有兩個(gè)模塊：一個(gè)是編碼模塊，把輸入的源語言句子變成一個(gè)中間的語義表示，用一系列的機(jī)器內(nèi)部狀態(tài)來代表；另一個(gè)模塊是解碼模塊，根據(jù)語義分析的結(jié)果逐詞生成目標(biāo)語言。神經(jīng)機(jī)器翻譯依賴于雙語對照的大規(guī)模數(shù)據(jù)集來進(jìn)行端到端的訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)，這涉及很多語言對和很多的垂直領(lǐng)域。而在某些領(lǐng)域并沒有那么多的數(shù)據(jù)，只有少量的雙語數(shù)據(jù)和大量的單語數(shù)據(jù)，所以如何進(jìn)行半監(jiān)督或無監(jiān)督訓(xùn)練以提升神經(jīng)機(jī)器翻譯的性能成為研究焦點(diǎn)。自然語言處理自然語言處理概述第9章自然語言與語音處理智能人機(jī)交互智能人機(jī)交互是指利用自然語言實(shí)現(xiàn)人與機(jī)器的自然交流。其中的一個(gè)重要概念是“對話即平臺”。第一層，通用聊天，需要掌握溝通技巧、通用聊天數(shù)據(jù)、主題聊天數(shù)據(jù)，還要知道用戶畫像，投其所好。第二層，信息服務(wù)和問答，需要搜索、問答的能力，還需要對常見問題表進(jìn)行收集、整理和搜索，從知識圖表、文檔和圖表中找出相應(yīng)信息并回答問題，可以統(tǒng)稱為InfoBot。第三層，面向特定任務(wù)的對話能力，如買咖啡、定花、買火車票這些任務(wù)是固定的，狀態(tài)也是固定的，狀態(tài)轉(zhuǎn)移也是清晰的，那么就可以用Bot一個(gè)一個(gè)實(shí)現(xiàn)。它用到的技術(shù)是對用戶意圖的理解、對話的管理、領(lǐng)域知識、對話圖譜等。自然語言處理自然語言處理概述第9章自然語言與語音處理閱讀理解一個(gè)閱讀理解的框架首先要得到每個(gè)詞的語義表示，再得到每個(gè)句子的語義表示，這可以用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN來實(shí)現(xiàn)，然后用特定路徑來找出潛在答案，基于這個(gè)答案再篩選出最優(yōu)答案，最后確定這個(gè)答案的邊界。在做閱讀理解時(shí)用到了外部知識，可以用大規(guī)模的語料來訓(xùn)練外部知識，通過將外部知識訓(xùn)練的RNN模型加入原來端到端的訓(xùn)練結(jié)果中，可以大幅度提高閱讀理解的能力。自然語言處理自然語言處理概述機(jī)器創(chuàng)作創(chuàng)作絕句、律詩、唐詩宋詞；電腦寫詩、作詞、譜曲系統(tǒng)第9章自然語言與語音處理自然語言處理情感分類文本分類概述文本分類是在預(yù)定義的分類體系下，根據(jù)文本的特征(內(nèi)容或?qū)傩?，將給定文本與一個(gè)或多個(gè)類別相關(guān)聯(lián)的過程。文本分類系統(tǒng)不僅是自然語言處理系統(tǒng)，也是典型的模式識別系統(tǒng)，系統(tǒng)的輸入是需要進(jìn)行分類處理的文本，系統(tǒng)的輸出則是與文本關(guān)聯(lián)的類別。根據(jù)分類知識獲取方法的不同，文本自動分類系統(tǒng)大致可分為兩種類型：基于知識工程(KnowledgeEngineering，KE)的分類系統(tǒng)和基于機(jī)器學(xué)習(xí)(MachineLearning，ML)的分類系統(tǒng)。文本分類系統(tǒng)示意圖第9章自然語言與語音處理自然語言處理情感分類文本表示一個(gè)文本表現(xiàn)為一個(gè)由文字和標(biāo)點(diǎn)符號組成的字符串，由字或字符組成詞，由詞組成短語，進(jìn)而形成句、段、節(jié)、章、篇的結(jié)構(gòu)。目前文本表示通常采用向量空間模型(VectorSpaceModel，VSM)。VSM涉及的一些基本概念。①文檔(document)：通常是文章中具有一定規(guī)模的片段，如句子、句群、段落、段落組直至整篇文章。②項(xiàng)/特征項(xiàng)(term/featureterm)：特征項(xiàng)是VSM中最小的不可分的語言單元，可以是字、詞、詞組或短語等。一個(gè)文檔的內(nèi)容被看成是它含有的特征項(xiàng)所組成的集合，表示為：Document=D(t1,t2,?,tn)，其中tk是特征項(xiàng)，1≤k≤n。③項(xiàng)的權(quán)重(termweight)：對于含有n個(gè)特征項(xiàng)的文檔D(t1,t2,?,tn)，每一特征項(xiàng)tk都依據(jù)一定的原則被賦予一個(gè)權(quán)重ωk，表示在文檔中的重要程度。這樣一個(gè)文檔D可用含有的特征項(xiàng)及其特征項(xiàng)所對應(yīng)的權(quán)重所表示：D=D(t1,ω1;t2,ω2;?;tn,ωn)，簡記為D=D(ω1，ω2,?,ωn)，其中ωk就是特征項(xiàng)tk的權(quán)重，1≤k≤n。第9章自然語言與語音處理自然語言處理情感分類定義9-1(向量空間模型(VSM))給定一個(gè)文檔D(t1,ω1;t2,ω2;?;tn,ωn)，D符合以下兩條約定：(1)各個(gè)特征項(xiàng)tk(1≤k≤n)互異(即沒有重復(fù))；(2)各個(gè)特征項(xiàng)tk無先后順序關(guān)系(即不考慮文檔的內(nèi)部結(jié)構(gòu))。在以上兩個(gè)約定下，可以把特征t1,t2,?,tn看成一個(gè)n維坐標(biāo)系，而權(quán)重ω1,ω2,?,ωn為相應(yīng)的坐標(biāo)值，因此，一個(gè)文本就表示為n維空間中的一個(gè)向量。我們稱D=D(ω1,ω2,?,ωn)為文本D的向量表示或向量空間模型。文檔的向量空間模型示意圖文本表示第9章自然語言與語音處理自然語言處理情感分類定義9-2(向量的相似性度量(similarity))任意兩個(gè)文檔D1和D2之間的相似系數(shù)Sim(D1,D2)指兩個(gè)文檔內(nèi)容的相關(guān)程度(degreeofrelevance)。設(shè)文檔D1和D2表示VSM中的兩個(gè)向量：D1=D1(ω11，ω12，?，ω1n)D2=D2(ω21，ω22，?，ω2n)借助于n維空間中兩個(gè)向量之間的某種距離來表示文檔間的相似系數(shù)，常用的方法是使用向量之間的內(nèi)積來計(jì)算：

如果考慮向量的歸一化，則可使用兩個(gè)向量夾角的余弦值來表示相似系數(shù)：文本表示第9章自然語言與語音處理自然語言處理情感分類采用向量空間模型進(jìn)行文本表示時(shí)，需要經(jīng)過以下兩個(gè)主要步驟：①根據(jù)訓(xùn)練樣本集生成文本表示所需要的特征項(xiàng)序列D={t1,t2,?,tn}；②依據(jù)文本特征項(xiàng)序列，對訓(xùn)練文本集和測試樣本集中的各個(gè)文檔進(jìn)行權(quán)重賦值、規(guī)范化等處理，將其轉(zhuǎn)化為機(jī)器學(xué)習(xí)算法所需的特征向量。用向量空間模型表示文檔時(shí)，首先要對各個(gè)文檔進(jìn)行詞匯化處理，在英文、法文等西方語言中這項(xiàng)工作相對簡單，但在漢語中主要取決于漢語自動分詞技術(shù)。由于n元語法具有語言無關(guān)性的顯著優(yōu)點(diǎn)，而且對于漢語來說可以簡化分詞處理，因此，有些學(xué)者提出了將n元語法用于文本分類的實(shí)現(xiàn)方法，利用n元語法表示文本單元(“詞”)。文本表示第9章自然語言與語音處理自然語言處理情感分類情感分類常被當(dāng)作一個(gè)二類分類問題，將給定文本分為正面情感和負(fù)面情感。情感分類本質(zhì)上是一個(gè)文本分類問題。傳統(tǒng)的文本分類主要是把文檔分為不同主題，比如科技或體育類。在這種分類中，主題詞是重要的特征。然而在情感分類任務(wù)中，指示了正面或負(fù)面情感傾向的觀點(diǎn)詞或情感詞更為重要，比如great、excellent、amazing、horrible、bad、worst等。本節(jié)我們會提到兩類分類方法：(1)基于機(jī)器學(xué)習(xí)算法的情感分類；(2)使用自定義打分函數(shù)的情感分類?；诒O(jiān)督的情感分類第9章自然語言與語音處理自然語言處理情感分類情感分類是一個(gè)文本分類問題，所以任何監(jiān)督學(xué)習(xí)方法都可以直接使用，比如樸素貝葉斯分類或支持向量機(jī)(SVM)。樸素貝葉斯分類樸素貝葉斯分類器的基本思想是利用特征項(xiàng)和類別的聯(lián)合概率來估計(jì)給定文檔的類別概率。假設(shè)文本是基于詞的一元模型，即文本中當(dāng)前詞的出現(xiàn)依賴于文本類別，但不依賴于其他詞及文本的長度，也就是說，詞與詞之間是獨(dú)立的。根據(jù)貝葉斯公式，文檔Doc屬于Ci類的概率為基于機(jī)器學(xué)習(xí)算法的情感分類第9章自然語言與語音處理自然語言處理情感分類基于支持向量機(jī)的分類器基于支持向量機(jī)(supportvectormachine，SVM)的分類方法主要用于解決二元模式分類問題。SVM的基本思想是在向量空間中找到一個(gè)決策平面(decisionsurface)，這個(gè)平面能“最好”地分割兩個(gè)分類中的數(shù)據(jù)點(diǎn)。支持向量機(jī)分類法就是要在訓(xùn)練集中找到具有最大類間界限(margin)的決策平面。情感分類的關(guān)鍵還是抽取有效的特征，如詞和詞頻，詞性，情感詞和情感短語，觀點(diǎn)的規(guī)則，情感轉(zhuǎn)置詞，句法依存關(guān)系等?；跈C(jī)器學(xué)習(xí)算法的情感分類第9章自然語言與語音處理自然語言處理情感分類基于正面和負(fù)面評論詞，主要包含如下兩步：第一步，用下面的等式訓(xùn)練集中的每個(gè)詞(unigram或n-gram)進(jìn)行打分：其中，ti是一個(gè)詞，C是一個(gè)類別，C'是它的補(bǔ)集，即非C，Pr(ti|C)是詞ti屬于類別C的條件概率，通過將出現(xiàn)了ti的C類別文檔數(shù)除以C類的總評論數(shù)計(jì)算得到。一個(gè)詞的得分就是這個(gè)詞對某個(gè)傾向類別相關(guān)度的度量，取值范圍為-1到1。第二步，將一個(gè)新文檔di=t1?tn所有詞的情感傾向性得分加起來，根據(jù)得分求得這篇文檔的分類：這里，使用自定義打分函數(shù)的情感分類第9章自然語言與語音處理自然語言處理情感分類情感詞常常主導(dǎo)了情感分類的結(jié)果，因此常常可以以無監(jiān)督的方式進(jìn)行情感分類。這里主要討論兩種方法：一種是基于Turney(2002)的做法，用那些可能表示觀點(diǎn)的固定句法模板來分類；另一種是基于包含了褒義詞和貶義詞的情感詞典的方法?；跓o監(jiān)督的情感分類第9章自然語言與語音處理自然語言處理情感分類基于無監(jiān)督的情感分類使用固定句法模板的情感分類Turney(2002)將每個(gè)句法模板看作一個(gè)帶約束的詞性標(biāo)簽序列，算法包括以下三步：第一步，按照所給的基于詞性標(biāo)記的模板在評論文本中抽取符合模板的兩個(gè)連續(xù)的詞。第二步，用互信息(PointwiseMutualInformation，PMI)來估計(jì)所抽取短語的情感傾向性(SO)：其中，excellent表示正面情感詞和poor表示負(fù)面情感詞第三步，給定一個(gè)評論，計(jì)算所有短語的SO值，如果平均SO值為正，則該評論的情感為褒義，反之為貶義情感。第9章自然語言與語音處理自然語言處理情感分類基于無監(jiān)督的情感分類使用情感詞典的情感分類主要特點(diǎn)是，分類是基于一個(gè)包含已標(biāo)注的情感詞和短語的詞典。這個(gè)詞典稱為情感詞典或觀點(diǎn)詞典，其中包括了情感詞和情感短語的情感傾向性和情感強(qiáng)度。每篇文檔的情感得分還需要結(jié)合情感加強(qiáng)詞和否定詞來進(jìn)行計(jì)算。這種方法對于表達(dá)了正面情感的文本表達(dá)(詞或短語)都賦予了一個(gè)正面的SO值，而每個(gè)表達(dá)了負(fù)面情感的文本表達(dá)都賦予了一個(gè)負(fù)的SO值。這種方法的基本形式是將文檔中所有情感表達(dá)的SO值求和。若和的值為正，則該文檔就被判定為包含正面的情感；若和的值為負(fù)，則該文檔就被判定為包含負(fù)面的情感；若和的值為0，該文檔就被判定為包含中性的情感。第9章自然語言與語音處理自然語言處理情感分類情感分類評估方法針對不同的目的，人們提出了多種文本分類器性能評價(jià)方法，包括召回率、正確率、F-測度值、微平均和宏平均、平衡點(diǎn)(break-evenpoint)、11點(diǎn)平均正確率(11-pointaverageprecision)等。(1)正確率、召回率和F-測度值假設(shè)一個(gè)文本分類器輸出的各種結(jié)果統(tǒng)計(jì)情況如表所示文本召回率正確率F-測度值第9章自然語言與語音處理自然語言處理情感分類情感分類評估方法(2)微平均和宏平均利用微平均和宏平均，根據(jù)每個(gè)類別的分類結(jié)果評價(jià)分類器的整體性能。微平均是指根據(jù)正確率和召回率計(jì)算公式直接計(jì)算出總的正確率和召回率值，即利用被正確分類的總文本個(gè)數(shù)aall，被錯(cuò)誤分類的總文本個(gè)數(shù)ball，以及應(yīng)當(dāng)被正確分類實(shí)際上卻沒有被正確分類的總文本個(gè)數(shù)call分別替代上述召回率和正確率計(jì)算公式中的a、b、c得到的總的正確率和召回率。宏平均是指首先計(jì)算出每個(gè)類別的正確率和召回率，然后對正確率和召回率分別取平均得到總的正確率和召回率。第9章自然語言與語音處理自然語言處理機(jī)器翻譯直譯式機(jī)器翻譯系統(tǒng)直譯式機(jī)器翻譯系統(tǒng)(DirectTranslationMTSystems)通過快速的分析和雙語詞典，將原文譯出，并且重新排列譯文的詞匯，以符合譯文的句法。直譯式翻譯第9章自然語言與語音處理自然語言處理機(jī)器翻譯規(guī)則式機(jī)器翻譯系統(tǒng)規(guī)則式機(jī)器翻譯系統(tǒng)(Rule-BasedMTSystems)是先分析原文內(nèi)容，產(chǎn)生原文的句法結(jié)構(gòu)，再轉(zhuǎn)換成譯文的句法結(jié)構(gòu)，最后再生成譯文?；谝?guī)則翻譯系統(tǒng)通過識別、標(biāo)注兼類多義詞的詞類，對多義詞意義進(jìn)行排歧；對某些同類詞性的多義詞再按其詞法規(guī)則不同消除歧義。當(dāng)前主流的機(jī)器翻譯還是基于規(guī)則的機(jī)器翻譯系統(tǒng)。規(guī)則式翻譯第9章自然語言與語音處理自然語言處理機(jī)器翻譯中介語式機(jī)器翻譯系統(tǒng)中介語式機(jī)器翻譯系統(tǒng)(Inter-lingualMTSystems)先生成一種中介的表達(dá)方式，而非特定語言的結(jié)構(gòu)，再由中介的表達(dá)式轉(zhuǎn)換成譯文。中介語式翻譯第9章自然語言與語音處理自然語言處理機(jī)器翻譯知識庫式機(jī)器翻譯系統(tǒng)知識庫式機(jī)器翻譯系統(tǒng)是建立一個(gè)翻譯需要的知識庫，構(gòu)成翻譯專家系統(tǒng)。由于知識庫的建立十分閑難，因此目前此類研究多半有限定范圍，并且使用知識獲取工具，自動或半自動地大量收集相關(guān)知識充實(shí)知識庫。統(tǒng)計(jì)式機(jī)器翻譯系統(tǒng)范例式機(jī)器翻譯系統(tǒng)統(tǒng)計(jì)機(jī)器翻譯通常使用某種解碼算法生成翻譯候選，然后用語言模型和翻譯模型對翻譯候選進(jìn)行打分和排序，最后選擇最好的翻譯候選作為譯文輸出。范例式機(jī)器翻譯系統(tǒng)是將過去的翻譯結(jié)果當(dāng)成范例，產(chǎn)生一個(gè)范例庫。在翻譯一段文字時(shí)，參考范例庫中近似的例子，并處理差異處。實(shí)際的機(jī)器翻譯，系統(tǒng)往往是混合式機(jī)器翻譯系統(tǒng)，即同時(shí)采用多種翻譯策略，以達(dá)到正確翻譯的目的。第9章自然語言與語音處理自然語言處理機(jī)器翻譯翻譯記憶翻譯記憶是一種通過計(jì)算機(jī)軟件來實(shí)現(xiàn)的專業(yè)翻譯解決方案。與期望完全替代人工翻譯的機(jī)器翻譯技術(shù)不同，翻譯記憶實(shí)際只是起輔助翻譯的作用，也就是計(jì)算機(jī)輔助翻譯(ComputerAidedTranslation，CAT)。因此，翻譯記憶與機(jī)器翻譯有著本質(zhì)的區(qū)別。翻譯記憶的基本原理是：用戶利用已有的原文和譯文，建立起一個(gè)或多個(gè)翻譯記憶庫，在翻譯過程中，系統(tǒng)將自動搜索翻譯記憶庫中相同或相似的翻譯資源(如句子、段落等)，給出參考譯文，使用戶避免重復(fù)勞動，只需專注于新內(nèi)容的翻譯。同時(shí)翻譯記憶庫在后臺不斷學(xué)習(xí)和自動存儲新的譯文，變得越來越“聰明”。第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互對話系統(tǒng)對話系統(tǒng)(dialoguesystem)是指以完成特定任務(wù)(taskcompletion)為主要目的的人機(jī)交互系統(tǒng)。早期的對話系統(tǒng)大多以完成單一任務(wù)為主。例如，機(jī)票預(yù)訂對話系統(tǒng)、天氣預(yù)報(bào)對話系統(tǒng)、銀行服務(wù)對話系統(tǒng)和醫(yī)療診斷對話系統(tǒng)等。大多數(shù)對話系統(tǒng)由三個(gè)模塊構(gòu)成：對話理解對話管理回復(fù)生成第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互對話系統(tǒng)對話理解模塊對話理解模塊負(fù)責(zé)對用戶輸入的對話內(nèi)容進(jìn)行包括領(lǐng)域分類、用戶意圖分類和槽位填充在內(nèi)的語義分析任務(wù)。①領(lǐng)域分類(domainclassification)：根據(jù)用戶對話內(nèi)容確定任務(wù)所屬的領(lǐng)域。例如，常見的任務(wù)領(lǐng)域包括餐飲、航空和天氣等。②用戶意圖分類(userintentclassification)：根據(jù)領(lǐng)域分類的結(jié)果進(jìn)一步確定用戶的具體意圖，不同的用戶意圖對應(yīng)不同的具體任務(wù)。例如，餐飲領(lǐng)域中常見的用戶意圖包括餐廳推薦、餐廳預(yù)定和餐廳比較等。③槽位填充(slotfilling)：針對某個(gè)具體任務(wù)，從用戶對話中抽取出完成該任務(wù)所需的槽位信息。例如，餐廳預(yù)定任務(wù)所需的槽位包括就餐時(shí)間、就餐地點(diǎn)、餐廳名稱和就餐人數(shù)等。第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互對話系統(tǒng)對話管理模塊對話管理模塊主要由對話狀態(tài)跟蹤(dialoguestatetracking)和對話策略優(yōu)化(dialoguepolicyoptimization)兩部分組成。前者負(fù)責(zé)在每輪對話結(jié)束時(shí)對整個(gè)對話狀態(tài)進(jìn)行動態(tài)更新，后者負(fù)責(zé)根據(jù)更新后的對話狀態(tài)決定接下來系統(tǒng)將采取的行動。典型的對話管理方法可以分為基于有限狀態(tài)機(jī)的方法、基于部分可觀測馬爾科夫過程的方法和基于深度學(xué)習(xí)的方法三類。第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互對話系統(tǒng)回復(fù)生成回復(fù)生成模塊負(fù)責(zé)根據(jù)對話管理模塊輸出的系統(tǒng)行動指令，生成對應(yīng)的自然語言回復(fù)并返回給用戶。典型的回復(fù)生成方法包括基于模板的方法和基于統(tǒng)計(jì)的方法兩類?；谀０宓姆椒ㄊ褂靡?guī)則模板完成從系統(tǒng)行動指令到自然語言回復(fù)的轉(zhuǎn)化，規(guī)則模板通常由人工總結(jié)獲得。該類方法能夠生成高質(zhì)量回復(fù)，但模板擴(kuò)展性和句子多樣性明顯不足。基于統(tǒng)計(jì)的方法使用統(tǒng)計(jì)模型完成從系統(tǒng)行動指令到自然語言回復(fù)的轉(zhuǎn)化。能夠有效解決長距離依存問題，而且借助深度學(xué)習(xí)能夠自行選擇特征的機(jī)制，能夠采用端到端的方式在任務(wù)數(shù)據(jù)上直接優(yōu)化。第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互聊天機(jī)器人對話是最常見的語言使用場合。因此，聊天機(jī)器人是自然語言處理技術(shù)最為典型的應(yīng)用之一。聊天機(jī)器人是一種人工智能交互系統(tǒng)，其工作方式是通過語音或文字實(shí)現(xiàn)人機(jī)在任意開放話題上的交流。聊天機(jī)器人技術(shù)大致可分為三類：基于規(guī)則的聊天機(jī)器人基于檢索的聊天機(jī)器人基于生成的聊天機(jī)器人第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互聊天機(jī)器人基于規(guī)則的聊天機(jī)器人最早期的聊天機(jī)器人是基于規(guī)則的聊天機(jī)器人。設(shè)計(jì)者會預(yù)先定義好一系列的規(guī)則，例如關(guān)鍵詞回復(fù)詞典、條件終止判斷以及一些更復(fù)雜的輸入分類器。給定對話輸入，首先規(guī)則系統(tǒng)對輸入進(jìn)行自然語言解析，在解析過程中抽出預(yù)定義的關(guān)鍵詞等信息；之后根據(jù)所抽取的關(guān)鍵信息，通過定義好的模板進(jìn)行回復(fù)。如果輸入不在規(guī)則體系之內(nèi)，則用萬能回復(fù)進(jìn)行回復(fù)用戶。基于規(guī)則的聊天機(jī)器人的優(yōu)點(diǎn)是回復(fù)可控，每條回復(fù)均由設(shè)計(jì)者撰寫，并且其回復(fù)觸發(fā)的邏輯也被精心設(shè)計(jì)?；谝?guī)則的聊天機(jī)器人難以覆蓋所有開放領(lǐng)域的聊天話題，很多話題沒有合適的回復(fù)，系統(tǒng)的可擴(kuò)展性較弱。第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互聊天機(jī)器人基于檢索的聊天機(jī)器人檢索式聊天機(jī)器人是利用成熟的搜索引擎技術(shù)和人類對話語料構(gòu)建的聊天機(jī)器人系統(tǒng)。檢索式聊天機(jī)器人的本質(zhì)是對已有的人類回復(fù)進(jìn)行篩選重用來回復(fù)新的信息。一方面，重用人類對話歷史進(jìn)行回復(fù)是一個(gè)優(yōu)勢，因?yàn)槿祟惖幕貜?fù)不僅通順流暢，而且往往還包含了網(wǎng)友的“智慧”，所以檢索式聊天機(jī)器人只要能夠找到與輸入信息語義相關(guān)并且和上下文邏輯一致的回復(fù)，就可以和用戶順暢地進(jìn)行對話，而且還可以時(shí)不時(shí)爆出“金句”，這也是檢索式聊天機(jī)器人被廣泛應(yīng)用于工業(yè)界的原因。局限在于回復(fù)的好壞很大程度上依賴于索引的質(zhì)量和是否能夠檢索到合適的候選，并且檢索式聊天機(jī)器人沒有顯式地將人類常識建模到系統(tǒng)之中。第9章自然語言與語音處理自然語言處理自然語言人機(jī)交互聊天機(jī)器人基于生成的聊天機(jī)器人生成式聊天機(jī)器人是指利用自然語言生成技術(shù)對給定對話上下文直接生成一句完整的話語進(jìn)行回復(fù)。此類算法可以基于已有模型，產(chǎn)生訓(xùn)練集中沒有出現(xiàn)過的回復(fù)。基于生成的聊天機(jī)器人目前普遍基于神經(jīng)網(wǎng)絡(luò)的Seq2Seq模型來實(shí)現(xiàn)。生成式聊天機(jī)器人被學(xué)術(shù)界認(rèn)為是未來聊天機(jī)器人的發(fā)展方向，因?yàn)槠鋵φZ料庫的依賴并不嚴(yán)重，可以生成語料庫中沒有出現(xiàn)過的相關(guān)回復(fù)；并且生成模型由于其數(shù)據(jù)驅(qū)動的特點(diǎn)，可以極大程度地減少開發(fā)上的人力投人，使系統(tǒng)擁有很強(qiáng)的擴(kuò)展性。9.1自然語言處理ONTENTSC內(nèi)容大綱9.2語音處理9.3本章小結(jié)第9章自然語言與語音處理第9章自然語言與語音處理語音處理語音識別語音識別是指將語音自動轉(zhuǎn)換為文字的過程?；陔[馬爾科夫模型的統(tǒng)計(jì)建模方法逐漸取代了基于模板匹配的方法，基于高斯混合模型-隱馬爾科夫模型的混合聲學(xué)建模技術(shù)推動了語音識別技術(shù)的蓬勃發(fā)展語音識別系統(tǒng)主要包括四個(gè)部分：特征提取、聲學(xué)模型、語言模型和解碼搜索。語音識別系統(tǒng)的框架第9章自然語言與語音處理語音處理語音識別語音特征抽取即是在原始語音信號中提取出與語音識別最相關(guān)的信息，濾除其他無關(guān)信息。比較常用的聲學(xué)特征有三種，即梅爾頻率倒譜系數(shù)、梅爾標(biāo)度濾波器組特征和感知線性預(yù)測倒譜系數(shù)。梅爾頻率倒譜系數(shù)特征是指根據(jù)人耳聽覺特性計(jì)算梅爾頻譜域倒譜系數(shù)獲得的參數(shù)。梅爾標(biāo)度濾波器組特征與梅爾頻率倒譜系數(shù)特征不同，它保留了特征維度間的相關(guān)性。感知線性預(yù)測倒譜系數(shù)在提取過程中利用人的聽覺機(jī)理對人聲建模。語音識別的特征提取第9章自然語言與語音處理語音處理語音識別聲學(xué)模型承載著聲學(xué)特征與建模單元之間的映射關(guān)系。在訓(xùn)練聲學(xué)模型之前需要選取建模單元，建模單元可以是音素、音節(jié)、詞語等，其單元粒度依次增加。若采用詞語作為建模單元，每個(gè)詞語的長度不等，從而導(dǎo)致聲學(xué)建模缺少靈活性，此外，由于詞語的粒度較大，很難充分訓(xùn)練基于詞語的模型，因此一般不采用詞語作為建模單元。詞語中包含的音素是確定且有限的，利用大量的訓(xùn)練數(shù)據(jù)可以充分訓(xùn)練基于音素的模型，因此目前大多數(shù)聲學(xué)模型一般采用音素作為建模單元。比較經(jīng)典的聲學(xué)模型是混合聲學(xué)模型，大致可以概括為兩種：基于高斯混合模型-隱馬爾科夫模型的模型和基于深度神經(jīng)網(wǎng)-隱馬爾科夫模型的模型。語音識別的聲學(xué)模型第9章自然語言與語音處理語音處理語音識別基于高斯混合模型-隱馬爾科夫模型的模型隱馬爾科夫模型的參數(shù)主要包括狀態(tài)間的轉(zhuǎn)移概率以及每個(gè)狀態(tài)的概率密度函數(shù)，也叫出現(xiàn)概率，一般用高斯混合模型表示。出現(xiàn)概率采用高斯混合模型，具有訓(xùn)練速度快、模型小、易于移植到嵌入式平臺等優(yōu)點(diǎn)，缺點(diǎn)是沒有利用幀的上下文信息，缺乏深層非線性特征變化的內(nèi)容。高斯混合模型代表的是一種概率密度，它的局限在于不能完整模擬出或記住相同音的不同人之間的音色差異變化或發(fā)音習(xí)慣變化?；诟咚够旌夏Ｐ?隱馬爾科夫模型的聲學(xué)模型，對于小詞匯量的自動語音識別任務(wù)，通常使用上下文無關(guān)的音素狀態(tài)作為建模單元；對于中等和大詞匯量的自動語音識別任務(wù)，則使用上下文相關(guān)的音素狀態(tài)進(jìn)行建模。語音識別的聲學(xué)模型第9章自然語言與語音處理語音處理語音識別基于深度神經(jīng)網(wǎng)絡(luò)-隱馬爾科夫模型的模型基于深度神經(jīng)網(wǎng)絡(luò)-隱馬爾科夫模型的聲學(xué)模型是指用深度神經(jīng)網(wǎng)絡(luò)模型替換高斯混合模型，深度神經(jīng)網(wǎng)絡(luò)模型可以是深度循環(huán)神經(jīng)網(wǎng)絡(luò)和深度卷積網(wǎng)絡(luò)等。神經(jīng)網(wǎng)絡(luò)用來估計(jì)觀察特征(語音特征)的觀測概率，而隱馬爾科夫模型則被用于描述語音信號的動態(tài)變化(即狀態(tài)間的轉(zhuǎn)移概率)?；谏疃壬窠?jīng)網(wǎng)絡(luò)的聲學(xué)模型具有兩方面的優(yōu)勢：一是深度神經(jīng)網(wǎng)絡(luò)能利用語音特征的上下文信息；二是深度神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)非線性的更高層次特征表達(dá)。語音識別的聲學(xué)模型第9章自然語言與語音處理語音處理語音識別語言模型是根據(jù)語言客觀事實(shí)而進(jìn)行的語言抽象數(shù)學(xué)建模。語言模型亦是一個(gè)概率分布模型P，用于計(jì)算任何句子S的概率。在語音識別系統(tǒng)中，語言模型所起的作用是在解碼過程中從語言層面上限制搜索路徑。語言模型的評價(jià)指標(biāo)是語言模型在測試集上的困惑度，該值反映句子不確定性的程度。語音識別的語言模型第9章自然語言與語音處理語音處理語音識別解碼搜索的主要任務(wù)是在由聲學(xué)模型、發(fā)音詞典和語言模型構(gòu)成的搜索空間中尋找最佳路徑。解碼時(shí)需要用到聲學(xué)得分和語言得分，聲學(xué)得分由聲學(xué)模型計(jì)算得到，語言得分由語言模型計(jì)算得到。構(gòu)建解碼空間的方法可以概括為兩類——靜態(tài)的解碼和動態(tài)的解碼。靜態(tài)的解碼需要預(yù)先將整個(gè)靜態(tài)網(wǎng)絡(luò)加載到內(nèi)存中，因此需要占用較大的內(nèi)存。動態(tài)的解碼是指在解碼過程中動態(tài)地構(gòu)建和銷毀解碼網(wǎng)絡(luò)，這種構(gòu)建搜索空間的方式能減小網(wǎng)絡(luò)所占的內(nèi)存，但是基于動態(tài)的解碼速度比靜態(tài)慢，通常在實(shí)際應(yīng)用中，需要權(quán)衡解碼速度和解碼空間來選擇構(gòu)建解碼空間的方法。解碼所用的搜索算法大概分成兩類，一類是采用時(shí)間同步的方法，如維特比算法等；另一類是時(shí)間異步的方法，如A星算法等。語音識別的解碼搜索第9章自然語言與語音處理語音處理語音識別研究人員提出了端到端的語音識別方法，一類是基于連接時(shí)序分類的端到端聲學(xué)建模方法；另一類是基于注意力機(jī)制的端到端語音識別方法。前者只是實(shí)現(xiàn)聲學(xué)建模的端到端，后者實(shí)現(xiàn)了真正意義上的端到端語音識別?；谶B接時(shí)序分類的端到端聲學(xué)建模方法核心思想是引入了一種新的訓(xùn)練準(zhǔn)則聯(lián)結(jié)時(shí)序分類，這種損失函數(shù)的優(yōu)化目標(biāo)是輸入和輸出在句子級別對齊，而不是幀級別對齊，直接對輸入特征序列到輸出單元序列的映射關(guān)系建模，極大地簡化了聲學(xué)模型訓(xùn)練的過程?；谧⒁饬C(jī)制的端到端語音識別方法實(shí)現(xiàn)了真正的端到端，該方法將聲學(xué)模型、發(fā)音詞典和語言模型聯(lián)合為一個(gè)模型進(jìn)行訓(xùn)練?；诙说蕉说恼Z音識別方法第9章自然語言與語音處理語音處理語音合成語音合成也稱文語轉(zhuǎn)換，其主要功能是將任意的輸入文本轉(zhuǎn)換成自然流暢的語音輸出。語音合成技術(shù)在銀行、醫(yī)院的信息播報(bào)系統(tǒng)和汽車導(dǎo)航系統(tǒng)、自動應(yīng)答呼叫中心等都有廣泛應(yīng)用。語音合成系統(tǒng)可以以任意文本作為輸入，并相應(yīng)地合成語音作為輸出。語音合成系統(tǒng)主要可以分為文本分析模塊、韻律處理模塊和聲學(xué)處理模塊，其中文本分析模塊可以視為系統(tǒng)的前端，而韻律處理模塊和聲學(xué)處理模塊則視為系統(tǒng)的后端。語音合成系統(tǒng)框圖第9章自然語言與語音處理語音處理語音合成對于漢語語音合成系統(tǒng)，文本分析的處理流程通常包括文本預(yù)處理、文本規(guī)范化、自動分詞、詞性標(biāo)注、多音字消歧、節(jié)奏預(yù)測等。文本預(yù)處理包括刪除無效符號、斷句等。文本規(guī)范化的任務(wù)是將文本中的這些特殊字符識別出來，并轉(zhuǎn)化為一種規(guī)范化的表達(dá)。自動分詞是將待合成的整句以詞為單位劃分為單元序列，以便后續(xù)考慮詞性標(biāo)注、韻律邊界標(biāo)注等。詞性標(biāo)注也很重要，因?yàn)樵~性可能影響字或詞的發(fā)音方式。字音轉(zhuǎn)換的任務(wù)是將待合成的文字序列轉(zhuǎn)換為對應(yīng)的拼音序列，即告訴后端合成器應(yīng)該讀什么音。由于漢語中存在多音字問題，所以字音轉(zhuǎn)換的一個(gè)關(guān)鍵問題就是處理多音字的消歧問題。語音合成系統(tǒng)框圖第9章自然語言與語音處理語音處理語音合成韻律是實(shí)際語流中的抑揚(yáng)頓挫和輕重緩急，如重音的位置分布及其等級差異，韻律邊界的位置分布及其等級差異，語調(diào)的基本骨架及其跟聲調(diào)、節(jié)奏和重音的關(guān)系等。韻律模塊實(shí)際上是語音合成系統(tǒng)的核心部分，極大地影響著最終合成語音的自然度。聲學(xué)處理模塊根據(jù)文本分析模塊和韻律處理模塊提供的信息來生成自然語音波形。語音合成系統(tǒng)的合成階段可以簡單概括為兩種方法，一種是基于拼接的語音合成方法，聲學(xué)處理模塊根據(jù)韻律處理模塊提供的基頻、時(shí)長、能量和節(jié)奏等信息并在大規(guī)模語料庫中挑選最合適的語音單元，然后通過拼接算法生成自然語音波形；另一種是基于語音參數(shù)的合成方法，聲學(xué)處理模塊的主要任務(wù)是根據(jù)韻律和文本信息的指導(dǎo)來得到語音參數(shù)，然后通過語音參數(shù)合成器來生成自然語音波形。第9章自然語言與語音處理語音處理語音合成基于拼接的語音合成方法的基本原理是根據(jù)文本分析的結(jié)果，從預(yù)先錄制并標(biāo)注好的語音庫中挑選合適基元進(jìn)行適度調(diào)整，最終拼接得到合成語音波形?；侵赣糜谡Z音拼接時(shí)的基本單元，可以是音節(jié)或者音素等。早期的拼接合成方法的基元庫都很小，同時(shí)為了提高存儲效率，往往需要將基元參數(shù)化表示；此外，由于拼接算法本身性能的限制，常導(dǎo)致合成語音不連續(xù)、自然度很低。隨著計(jì)算機(jī)運(yùn)算和存儲能力的提升，該方法合成語音在音質(zhì)和自然度上都有了極大的提高，基于大語料庫的單元拼接系統(tǒng)也得到了廣泛的應(yīng)用。拼接合成方法依舊存在著一些不足：穩(wěn)定性仍然不夠，拼接點(diǎn)不連續(xù)的情況還是可能發(fā)生；難以改變發(fā)音特征，只能合成該建庫說話人的語音?；谄唇拥恼Z音合成方法第9章自然語言與語音處理語音處理語音合成該方法的基本思想是基于統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)的方法，根據(jù)一定的語音數(shù)據(jù)進(jìn)行訓(xùn)練并快速構(gòu)建合成系統(tǒng)。該方法可以在不需要人工干預(yù)的情況下自動快速地構(gòu)建合成系統(tǒng)，而且對于不同發(fā)音人、不同發(fā)音風(fēng)格甚至不同語種的依賴性非常小，非常符合多樣化語音合成方面的需求，因此逐漸得到研究人員的認(rèn)可和重視，并在實(shí)際應(yīng)用中發(fā)揮出重要作用。最成功的是基于隱馬爾可夫模型的可訓(xùn)練語音合成方法，相應(yīng)的合成系統(tǒng)被稱為基于隱馬爾可夫模型的參數(shù)合成系統(tǒng)。基于參數(shù)的語音合成方法第9章自然語言與語音處理語音處理語音合成基于隱馬爾可夫模型的語音合成方法主要分為訓(xùn)練階段和合成階段兩個(gè)階段?；趨?shù)的語音合成方法隨著深度學(xué)習(xí)的研究進(jìn)展，深度神經(jīng)網(wǎng)絡(luò)也被引入統(tǒng)計(jì)參數(shù)語音合成中，以代替基于隱馬爾科夫參數(shù)合成系統(tǒng)中的隱馬爾科夫模型，可直接通過一個(gè)深層神經(jīng)網(wǎng)絡(luò)來預(yù)測聲學(xué)參數(shù)，克服了隱馬爾可夫模型訓(xùn)練中決策樹聚類環(huán)節(jié)中模型精度降低的缺陷，進(jìn)一步增強(qiáng)了合成語音的質(zhì)量?；陔[馬爾可夫模型語音合成系統(tǒng)框圖第9章自然語言與語音處理語音處理語音合成2016年，谷歌Deepmind研究團(tuán)隊(duì)提出了基于深度學(xué)習(xí)的WaveNet語音生成模型。該模型可以直接對原始語音數(shù)據(jù)進(jìn)行建模，避免了對語音進(jìn)行參數(shù)化時(shí)導(dǎo)致的音質(zhì)損失。由谷歌科學(xué)家王雨軒等人提出的基于Tacotron的端到端語音合成方法，該模型可以從字符或者音素直接合成語音。該框架主要是基于帶有注意力機(jī)制的編碼-解碼模型。其中，編碼器是一個(gè)以字符或者音素為輸入的神經(jīng)網(wǎng)絡(luò)模型；而解碼器則是一個(gè)帶有注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)，會輸出對應(yīng)文本序列或者音素序列的頻譜圖，進(jìn)而生成語音。基于端到端的語音合成方法基于Tacotron的端到端語音合成框架圖第9章自然語言與語音處理語音處理語音轉(zhuǎn)換語音轉(zhuǎn)換是通過語音處理手段改變語音中的說話人個(gè)性信息，使改變后的語音聽起來像是由另外一個(gè)說話人發(fā)出的。語音轉(zhuǎn)換是語音信號處理領(lǐng)域的一個(gè)新興分支，研究語音轉(zhuǎn)換可以進(jìn)一步加強(qiáng)對語音參數(shù)的理解、探索人類的發(fā)音機(jī)理、掌握語音信號的個(gè)性特征參數(shù)由哪些因素所決定；還可以推動語音信號的其他領(lǐng)域發(fā)展，如語音識別、語音合成、說話人識別等，具有非常廣泛的應(yīng)用前景。語音轉(zhuǎn)換首先提取說話人身份相關(guān)的聲學(xué)特征參數(shù)，然后用改變后的聲學(xué)特征參數(shù)合成出接近目標(biāo)說話人的語音。第9章自然語言與語音處理語音處理語音轉(zhuǎn)換實(shí)現(xiàn)一個(gè)完整的語音轉(zhuǎn)換系統(tǒng)一般包括離線訓(xùn)練和在線轉(zhuǎn)換兩個(gè)階段，在訓(xùn)練階段，首先提取源說話人和目標(biāo)說話人的個(gè)性特征參數(shù)，然后根據(jù)某種匹配規(guī)則建立源說話人和目標(biāo)說話人之間的匹配函數(shù)；在轉(zhuǎn)換階段，利用訓(xùn)練階段獲得的匹配函數(shù)對源說話人的個(gè)性特征參數(shù)進(jìn)行轉(zhuǎn)換，最后利用轉(zhuǎn)換后的特征