《人工智能技術(shù)基礎(chǔ)》課件-第九章 自然語(yǔ)言處理

人工智能技術(shù)基礎(chǔ)第九章自然語(yǔ)言處理01人工智能基本概念02研究?jī)?nèi)容與現(xiàn)狀03基本過(guò)程與方法04案例實(shí)戰(zhàn)01自然語(yǔ)言處理概述一、自然語(yǔ)言處理概述自然語(yǔ)言，就是我們每個(gè)正常人類每天說(shuō)的話、寫的字、以及其他各種以語(yǔ)言形式記錄的內(nèi)容等等。1、什么是自然語(yǔ)言？說(shuō)話、社交平臺(tái)的聊天記錄、筆記、博客、新聞、文獻(xiàn)、銘文、石刻……自然語(yǔ)言處理（NaturalLanguageProcessing：NLP）是研究用機(jī)器處理人類語(yǔ)言的理論和技術(shù)以實(shí)現(xiàn)在人與人以及人與計(jì)算機(jī)之間利用自然語(yǔ)言進(jìn)行交互的一門學(xué)科，是目前人工智能領(lǐng)域非?；馃岬姆种?。NLP主要研究如何有效地實(shí)現(xiàn)自然語(yǔ)言通信的算法、模型、計(jì)算機(jī)系統(tǒng)，通過(guò)計(jì)算機(jī)對(duì)自然語(yǔ)言的音、形、義等各種信息進(jìn)行處理和分析，實(shí)現(xiàn)對(duì)自然語(yǔ)言不同層次如字、詞、句、篇章的操作與加工。一、自然語(yǔ)言處理概述2、什么是自然語(yǔ)言處理實(shí)現(xiàn)人與計(jì)算機(jī)之間的自然語(yǔ)言通信與交互一般包含兩方面的內(nèi)容：一方面是自然語(yǔ)言理解（NaturalLanguageUnderstanding：NLU），即計(jì)算機(jī)要能理解人類語(yǔ)言的含義；另一方面是自然語(yǔ)言生成（NaturalLanguageGenerating：NLG），即計(jì)算機(jī)要能生成人類可以理解的語(yǔ)言，通過(guò)自然語(yǔ)言表達(dá)其想法和意圖與人交互。一、自然語(yǔ)言處理概述2、什么是自然語(yǔ)言處理一、自然語(yǔ)言處理概述3、自然語(yǔ)言處理典型應(yīng)用場(chǎng)景（1）文本分類計(jì)算機(jī)按照一定的分類準(zhǔn)則或體系對(duì)文本數(shù)據(jù)集自動(dòng)分類，給出不同文本隸屬類別的標(biāo)識(shí)。文本分類最初研究的是針對(duì)不同類型的海量新聞按照其主題進(jìn)行文本分類，如識(shí)別為時(shí)政類、經(jīng)濟(jì)類、體育類、軍事類、娛樂(lè)類等。巴赫宣布北京冬奧會(huì)閉幕:感謝中國(guó)！無(wú)與倫比的賽事！我國(guó)天鏈二號(hào)03星發(fā)射圓滿成功，中國(guó)天鏈中繼衛(wèi)星系統(tǒng)更新?lián)Q代多地高招錄取啟動(dòng)考生請(qǐng)留意錄取信息一、自然語(yǔ)言處理概述3、自然語(yǔ)言處理典型應(yīng)用場(chǎng)景（2）信息檢索根據(jù)用戶輸入的檢索關(guān)鍵詞，從大量的文本數(shù)據(jù)集合中按照一定規(guī)則進(jìn)行匹配，查找出符合的信息。（3）信息提取從文本中抽取出所包含的關(guān)鍵、重要信息，比如主題、事件、時(shí)間、地點(diǎn)、人物、數(shù)字、專有名詞等。一、自然語(yǔ)言處理概述3、自然語(yǔ)言處理典型應(yīng)用場(chǎng)景（4）自動(dòng)摘要主要研究如何利用計(jì)算機(jī)對(duì)大量文檔自動(dòng)進(jìn)行總結(jié)并給出內(nèi)容摘要。NLP技術(shù)可以對(duì)較長(zhǎng)的文檔創(chuàng)建簡(jiǎn)潔、準(zhǔn)確的摘要，盡可能減少用戶閱讀時(shí)間，提高處理文檔的效率。（5）文本生成指計(jì)算機(jī)像人一樣使用自然語(yǔ)言寫作。依據(jù)輸入的不同，文本自動(dòng)生成技術(shù)主要包括文本到文本的生成、圖像到文本的生成、數(shù)據(jù)到文本的生成等。文本生成技術(shù)現(xiàn)在已經(jīng)應(yīng)用到機(jī)器新聞寫作、機(jī)器寫詩(shī)、檢查報(bào)告生成、法院審理判決書等領(lǐng)域。一、自然語(yǔ)言處理概述3、自然語(yǔ)言處理典型應(yīng)用場(chǎng)景（6）語(yǔ)音識(shí)別與生成語(yǔ)音識(shí)別可以將人的語(yǔ)音信號(hào)通過(guò)計(jì)算機(jī)識(shí)別轉(zhuǎn)換成文本表示。語(yǔ)音生成是指將書面文本經(jīng)計(jì)算機(jī)識(shí)別后自動(dòng)轉(zhuǎn)換成對(duì)應(yīng)的語(yǔ)音表示。目前已經(jīng)應(yīng)用到語(yǔ)音助手、智能家居、機(jī)器人、視頻游戲等各個(gè)領(lǐng)域。（7）機(jī)器翻譯利用計(jì)算機(jī)將輸入的一種自然語(yǔ)言文本翻譯成另一種自然語(yǔ)言文本。一、自然語(yǔ)言處理概述3、自然語(yǔ)言處理典型應(yīng)用場(chǎng)景（8）情感分析對(duì)文本進(jìn)行分析、處理和抽取、歸納，以衡量其中的主觀情緒，發(fā)現(xiàn)其中的觀點(diǎn)傾向情感分析通過(guò)用戶反饋信息有助于了解用戶對(duì)產(chǎn)品或者服務(wù)的滿意情況，通過(guò)搜索識(shí)別文本中的情緒觀點(diǎn)可以幫助改進(jìn)產(chǎn)品服務(wù)，減少負(fù)面影響。目前已經(jīng)應(yīng)用到電影評(píng)論、美食點(diǎn)評(píng)、產(chǎn)品廣告、節(jié)目收視率等多個(gè)方面。（9）信息過(guò)濾通過(guò)計(jì)算機(jī)系統(tǒng)分析各類文本內(nèi)容，自動(dòng)識(shí)別、標(biāo)注、過(guò)濾符合特定條件的文檔信息。一般用于信息安全和防護(hù)、網(wǎng)絡(luò)內(nèi)容管理、垃圾郵件過(guò)濾等方面。一、自然語(yǔ)言處理概述3、自然語(yǔ)言處理典型應(yīng)用場(chǎng)景（10）個(gè)性化推薦基于自然語(yǔ)言處理技術(shù)的個(gè)性化引擎，學(xué)習(xí)分析大規(guī)模歷史記錄數(shù)據(jù)，關(guān)聯(lián)用戶的位置、年齡、職業(yè)、瀏覽或購(gòu)買記錄等個(gè)性化信息，識(shí)別出用戶的興趣愛(ài)好，理解用戶的意圖，協(xié)助用戶找到感興趣的信息并優(yōu)先呈現(xiàn)給用戶，實(shí)現(xiàn)精準(zhǔn)推薦。目前已經(jīng)廣泛應(yīng)用于新聞服務(wù)領(lǐng)域的個(gè)性化新聞閱讀推送，電子商務(wù)領(lǐng)域的產(chǎn)品或服務(wù)推薦，娛樂(lè)方面的電影、音樂(lè)、游戲推薦，社交網(wǎng)絡(luò)的好友推薦等。（11）自動(dòng)問(wèn)答利用計(jì)算機(jī)以自然語(yǔ)言的形式自動(dòng)回答用戶通過(guò)自然語(yǔ)言提出的問(wèn)題。第九章自然語(yǔ)言處理01自然語(yǔ)言處理概述02研究?jī)?nèi)容與現(xiàn)狀03基本過(guò)程與方法04案例實(shí)戰(zhàn)02研究?jī)?nèi)容與現(xiàn)狀二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀1、NLP主要研究?jī)?nèi)容在大多數(shù)自然語(yǔ)言中，詞是形成最小完整意義的基本語(yǔ)言單位，接著是詞語(yǔ)組成的句子，然后是句子組成的段落、章節(jié)，最后到篇和文集。因此，自然語(yǔ)言處理的研究從內(nèi)容上可以由淺入深劃分為幾個(gè)層面：詞法、句法、語(yǔ)義、語(yǔ)用。由于自然語(yǔ)言表示的復(fù)雜性，目前對(duì)簡(jiǎn)單層次的內(nèi)容研究已取得了大量可以應(yīng)用的成果，對(duì)于復(fù)雜層次的內(nèi)容研究仍在不斷探索中。二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀1、NLP主要研究?jī)?nèi)容圍繞詞語(yǔ)進(jìn)行的分析，所以統(tǒng)稱詞法分析。包括以下方面中文分詞：將文本分隔為有意義的詞語(yǔ)。對(duì)于中文來(lái)說(shuō)分詞尤為重要。詞性標(biāo)注：確定每個(gè)詞語(yǔ)的類別和淺層的歧義消除（如名詞、動(dòng)詞、形容詞等）。命名實(shí)體識(shí)別：識(shí)別出句子中一些有意義的實(shí)體，如人物、地名、機(jī)構(gòu)、術(shù)語(yǔ)、專用名詞等。去停用詞：去掉對(duì)文本特征沒(méi)有作用的字詞，如標(biāo)點(diǎn)符號(hào)、語(yǔ)氣、人稱等（如英語(yǔ)中的is,am,the,of,in等，漢語(yǔ)中的“的”、“是”、“在”、“不”等）。（1）詞法分析二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀1、NLP主要研究?jī)?nèi)容句法分析主要研究句子的結(jié)構(gòu)與成分、詞語(yǔ)之間的相互關(guān)系以及組成句子的規(guī)則。句法結(jié)構(gòu)分析：主要分析句子的成分結(jié)構(gòu)，確定各個(gè)詞在句子中起到的作用，如主謂賓定狀補(bǔ)等。依存關(guān)系分析：主要分析句子中各個(gè)詞匯之間的相關(guān)關(guān)系，如并列、比較、從屬、遞進(jìn)等，以便理解清楚句子邏輯與所包含的深層次含義。（2）句法分析二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀1、NLP主要研究?jī)?nèi)容語(yǔ)義分析主要研究如何根據(jù)文本中的句法結(jié)構(gòu)、依存關(guān)系和句子中各個(gè)詞語(yǔ)的意義，理解語(yǔ)句乃至一段文本所表示的語(yǔ)義。詞義表示：研究如何將自然語(yǔ)言中的詞表示為向量，便于后續(xù)計(jì)算分析。詞義消歧：根據(jù)上下文確定一個(gè)詞在語(yǔ)境中的含義。語(yǔ)義角色標(biāo)注：標(biāo)注句子中的謂語(yǔ)和其他成分之間的關(guān)系。語(yǔ)義關(guān)系分析：分析句子中詞語(yǔ)之間的語(yǔ)義關(guān)系，包括利用上下文實(shí)現(xiàn)指代消岐。（3）語(yǔ)義分析二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀1、NLP主要研究?jī)?nèi)容語(yǔ)用分析主要研究詞語(yǔ)、句子在不同上下文中的應(yīng)用，根據(jù)上下文關(guān)系從整體理解、分析語(yǔ)句的含義。相對(duì)于語(yǔ)義分析來(lái)說(shuō)，語(yǔ)用分析增加了對(duì)上下文、語(yǔ)境等方面的分析與理解，可以提取出更多附加信息和深層次含義，是一種面向應(yīng)用的高層次語(yǔ)言學(xué)分析。文本分類與文本聚類：有時(shí)我們想知道一段話是褒義還是貶義的，判斷一封郵件是否是垃圾郵件，想把許多文檔分門別類地整理一下，此時(shí)的NLP任務(wù)稱作文本分類。另一些時(shí)候，我們只想把相似的文本歸檔到一起，或者排除重復(fù)的文檔，而不關(guān)心具體類別，此時(shí)進(jìn)行的任務(wù)稱作文本聚類。信息抽?。涸~法、句法和語(yǔ)義分析之后，文本已經(jīng)呈現(xiàn)出部分結(jié)構(gòu)化的趨勢(shì)。從中可以抽取出一部分有用的信息，從簡(jiǎn)單的高頻詞到高級(jí)算法提取出的關(guān)鍵詞、關(guān)鍵短語(yǔ)乃至句子。語(yǔ)用分析的內(nèi)容不斷延伸，還包括主題分析、意圖識(shí)別、語(yǔ)境分析和情感分析等方面的問(wèn)題。（4）語(yǔ)用分析二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀2、NLP發(fā)展歷程自然語(yǔ)言處理技術(shù)的研究已經(jīng)開展了幾十年的時(shí)間，大體可以分為三個(gè)階段。二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀2、NLP發(fā)展歷程第一階段：基于規(guī)則的理性主義方法上個(gè)世紀(jì)五十年代著名的圖靈測(cè)試：人和機(jī)器進(jìn)行自然語(yǔ)言交流評(píng)估能否區(qū)分對(duì)方是人和機(jī)器，如果人無(wú)法判斷和自己交流的對(duì)象是人還是機(jī)器，則說(shuō)明這個(gè)機(jī)器具有智能。在這一階段，自然語(yǔ)言處理的一個(gè)典型方法是專家知識(shí)系統(tǒng)，通過(guò)行業(yè)專家利用專業(yè)知識(shí)制定表示和邏輯推理規(guī)則。此后一直到20世紀(jì)80年代，基于規(guī)則形式的語(yǔ)言理論研究占據(jù)了主導(dǎo)地位，這些規(guī)則驅(qū)動(dòng)的方法也被稱為理性主義方法。理性主義方法重在設(shè)計(jì)一定的規(guī)則，通過(guò)數(shù)學(xué)工具描述形式語(yǔ)言，使用有限的規(guī)則描述無(wú)限的語(yǔ)言現(xiàn)象，將相關(guān)知識(shí)和推理機(jī)制融入自然語(yǔ)言處理系統(tǒng)，建立所謂的普遍語(yǔ)法。二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀2、NLP發(fā)展歷程第二階段：基于統(tǒng)計(jì)學(xué)習(xí)的經(jīng)驗(yàn)主義方法以構(gòu)建語(yǔ)料庫(kù)使用大量數(shù)據(jù)樣本進(jìn)行統(tǒng)計(jì)學(xué)習(xí)的方法逐漸發(fā)展起來(lái)，這些以數(shù)據(jù)為驅(qū)動(dòng)的方法面向?qū)嵺`應(yīng)用，被稱為經(jīng)驗(yàn)主義方法。這個(gè)階段的經(jīng)驗(yàn)主義方法以統(tǒng)計(jì)模型為主，代表有隱馬爾可夫模型、最大熵模型、支持向量機(jī)、條件隨機(jī)場(chǎng)、貝葉斯網(wǎng)絡(luò)、決策樹、淺層神經(jīng)網(wǎng)絡(luò)等。經(jīng)驗(yàn)主義方法通過(guò)使用一定的數(shù)據(jù)進(jìn)行訓(xùn)練，自動(dòng)學(xué)習(xí)并調(diào)整模型參數(shù)，可以更好地處理不確定性，并可進(jìn)行一定的模型遷移推廣。經(jīng)驗(yàn)主義方法的思想認(rèn)為人的思維需要靠豐富的信息輸入才能更好地學(xué)習(xí)自然語(yǔ)言的結(jié)構(gòu)和規(guī)律，強(qiáng)調(diào)感知和學(xué)習(xí)能力，所以重在聯(lián)想、概括、統(tǒng)計(jì)、識(shí)別等操作。從20世紀(jì)90年代開始到2010年左右，經(jīng)驗(yàn)主義方法的研究一直處于主流。二、自然語(yǔ)言處理研究?jī)?nèi)容與現(xiàn)狀2、NLP發(fā)展歷程第三階段：基于深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法深度學(xué)習(xí)帶來(lái)了技術(shù)和范式的革新，有力推動(dòng)了自然語(yǔ)言處理進(jìn)入第三個(gè)發(fā)展階段，形成新的一輪熱潮。深度學(xué)習(xí)方法成為當(dāng)前自然語(yǔ)言處理中最熱門的研究方向，是各類自然語(yǔ)言處理應(yīng)用任務(wù)的主要選擇，如大多數(shù)信息檢索、語(yǔ)音識(shí)別、機(jī)器翻譯、機(jī)器問(wèn)答、個(gè)性化推薦等系統(tǒng)都是基于深度學(xué)習(xí)方法，取得了驚艷的效果。以深度神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)依賴復(fù)雜強(qiáng)大的模型結(jié)構(gòu)和學(xué)習(xí)能力，能夠通過(guò)大量數(shù)據(jù)學(xué)習(xí)自主提取特征，無(wú)需人工參與特征工程，實(shí)現(xiàn)了“從頭開始NLP”。這種端到端的模型架構(gòu)比早期的統(tǒng)計(jì)學(xué)習(xí)模型更易于設(shè)計(jì)，并且深度神經(jīng)網(wǎng)絡(luò)模型一般可以適用于不同的任務(wù)，便于推廣。第九章自然語(yǔ)言處理01自然語(yǔ)言處理概述02研究?jī)?nèi)容與現(xiàn)狀03基本過(guò)程與方法04案例實(shí)戰(zhàn)03基本過(guò)程與方法三、自然語(yǔ)言處理主要過(guò)程與方法基本流程獲取語(yǔ)料文本預(yù)處理特征工程任務(wù)模型應(yīng)用分析三、自然語(yǔ)言處理主要過(guò)程與方法1、獲取語(yǔ)料語(yǔ)料是自然語(yǔ)言處理任務(wù)所需的語(yǔ)言材料，為便于處理通常用文本作為替代。一般把一個(gè)文本集合稱為語(yǔ)料庫(kù)，多個(gè)文本集合稱之為語(yǔ)料庫(kù)集合。針對(duì)不同的自然語(yǔ)言處理任務(wù)需要選擇、收集不同的語(yǔ)料。按語(yǔ)料來(lái)源，語(yǔ)料可分為以下幾類：積累語(yǔ)料公開語(yǔ)料下載語(yǔ)料三、自然語(yǔ)言處理主要過(guò)程與方法2、文本預(yù)處理語(yǔ)料清洗是指對(duì)原始語(yǔ)料進(jìn)行加工，篩選保留與任務(wù)相關(guān)的內(nèi)容，刪除無(wú)用的內(nèi)容。語(yǔ)料清洗過(guò)程主要是對(duì)文本數(shù)據(jù)進(jìn)行噪聲移除、詞匯規(guī)范化與標(biāo)準(zhǔn)化。（1）語(yǔ)料清洗分詞是中文處理中最基本的問(wèn)題。結(jié)巴（jieba）分詞是基于Python的中文分詞工具（2）分詞三、自然語(yǔ)言處理主要過(guò)程與方法2、文本預(yù)處理目前常用的詞性標(biāo)注方法：基于規(guī)則的方法：依賴專家知識(shí)建立規(guī)則庫(kù)，以規(guī)則推理方式實(shí)現(xiàn)詞性標(biāo)注，人工成本較高，僅適用于簡(jiǎn)單應(yīng)用；基于統(tǒng)計(jì)學(xué)習(xí)和深度學(xué)習(xí)的方法：基于大量的數(shù)據(jù)集進(jìn)行特征提取和學(xué)習(xí)分類，這也是目前的主流方法。詞性標(biāo)注同樣有成熟的第三方庫(kù)可供使用，如使用結(jié)巴分詞的

posseg模塊。（3）詞性標(biāo)注三、自然語(yǔ)言處理主要過(guò)程與方法2、文本預(yù)處理一般可以通過(guò)自定義方式實(shí)現(xiàn)去停用詞：可根據(jù)需要?jiǎng)?chuàng)建停用詞列表，這個(gè)列表可以根據(jù)實(shí)際情況修正維護(hù)，然后讀取文本信息利用正則化表達(dá)式清洗字符串，再利用前述分詞方法調(diào)用停用詞表正則化后的文本進(jìn)行分詞。（4）去停用詞三、自然語(yǔ)言處理主要過(guò)程與方法3、特征工程什么是特征工程？文本數(shù)據(jù)經(jīng)過(guò)預(yù)處理以后，為便于計(jì)算機(jī)處理分析，需要將文本轉(zhuǎn)化為特征，這個(gè)過(guò)程一般稱為特征工程。特征工程的關(guān)鍵在于選擇合適的、表達(dá)能力強(qiáng)的特征。根據(jù)應(yīng)用任務(wù)目標(biāo)和背景不同，可以利用多種技術(shù)用于建立、獲取文本特征，如：統(tǒng)計(jì)特征表示特征實(shí)體/N元語(yǔ)法/基于單詞的特征句法分析統(tǒng)計(jì)自然語(yǔ)言處理傳統(tǒng)的自然語(yǔ)言處理主要為統(tǒng)計(jì)自然語(yǔ)言處理，所用到的主要模型有K近鄰(KNN)、支持向量機(jī)(SVM)、樸素貝葉斯(NaiveBayes)、決策樹(DecitionTree)、梯度提升樹(GBDT)、K-均值(K-means)等經(jīng)典的機(jī)器學(xué)習(xí)方法，這里不重點(diǎn)介紹。三、自然語(yǔ)言處理主要過(guò)程與方法4、任務(wù)模型：機(jī)器學(xué)習(xí)模型三、自然語(yǔ)言處理主要過(guò)程與方法4、任務(wù)模型：深度學(xué)習(xí)模型（1）卷積神經(jīng)網(wǎng)絡(luò)（CNN）（2）循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）（3）長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）及變體（4）Seq2Seq模型第九章自然語(yǔ)言處理01自然語(yǔ)言處理概述02