Python自然語言處理-課件-第05章-詞向量與關(guān)鍵詞提取

詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法word2vec02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTION03OPTION中文分詞詞性標(biāo)注命名實(shí)體識別詞向量算法01詞向量算法word2vec神經(jīng)網(wǎng)絡(luò)語言模型C&W模型CBOW模型和Skip-gram模型詞向量算法word2vec文本表示：自然語言處理中的基礎(chǔ)工作，對后續(xù)工作有著重要影響。文本向量化：文本表示的一種重要方式。文本向量化是將文本表示成一系列能夠表達(dá)文本語義的向量。無論是中文還是英文，詞語都是表達(dá)文本處理的最基本單元。文本詞向量化：當(dāng)前階段，對文本向量化大部分的研究都是通過將文本詞向量化實(shí)現(xiàn)的。也有研究將句子作為文本處理的基本單元，對應(yīng)的是doc2vec和str2vec技術(shù)。詞向量算法word2vec詞袋模型詞袋模型是最早的以詞語為基本處理單元的文本向量化方法。例：首先給出兩個(gè)簡單的文本如下：Mikelikestowatchnews,Boblikestoo.MikealsolikestowatchBasketballgames.基于上述兩個(gè)文檔中出現(xiàn)的單詞，構(gòu)建如下詞典：{“Mike":1,"likes":2,"to":3,"watch":4,"news":5,"also":6,"Basketball":7,"games":8,“Bob":9,"too":10}每個(gè)文本我們可以使用一個(gè)10維的向量來表示：[1,2,1,1,1,0,0,0,1,1][1,1,1,1,0,1,1,1,0,0]注：位置表示單詞，數(shù)字表示每個(gè)單詞在文本中出現(xiàn)的頻率詞向量算法word2vec詞袋模型存在的問題：維度災(zāi)難。如果上述例子詞典中包含10000個(gè)單詞，那么每個(gè)文本需要用10000維的向量表示，也就是說除了文本中出現(xiàn)的詞語位置不為0，其余9000多的位置均為0，高維度的向量會使計(jì)算量猛增，大大影響計(jì)算速度。無法保留詞序信息。存在語義鴻溝的問題。詞向量算法word2vec大數(shù)據(jù)時(shí)代關(guān)于如何使用海量的自然語言的兩個(gè)問題近年來，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)急劇增加。大量無標(biāo)注的數(shù)據(jù)產(chǎn)生，這些數(shù)據(jù)中蘊(yùn)含著豐富的信息。如何從大量無標(biāo)注的文本中提取有用信息？語義信息：一般來說詞語是表達(dá)語義的基本單元。詞袋模型中只是將詞語符號化，所以詞袋模型不包含語義信息。如何使“詞表示”包含語義信息？詞向量（word2vec）技術(shù)：使用神經(jīng)網(wǎng)絡(luò)模型從大量無標(biāo)注的文本中提取有用信息的技術(shù)。詞向量算法word2vec問題解決理論基礎(chǔ)——分布假說上下文相似的詞，其語義也相似詞空間模型利用上下文分布表示詞義的方法。神經(jīng)網(wǎng)絡(luò)模型靈活地對上下文進(jìn)行建模。詞量算法01詞向量算法的基本理論神經(jīng)網(wǎng)絡(luò)語言模型C&W模型CBOW模型和Skip-gram模型神經(jīng)網(wǎng)絡(luò)語言模型神經(jīng)網(wǎng)絡(luò)語言模型(NNLM(NeuralNetworkLanguageModel)是最基礎(chǔ)的語言模型。NNLM語言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語言模型NNLM語言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語言模型NNLM語言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語言模型NNLM語言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語言模型NNLM語言模型結(jié)構(gòu)

詞量算法01詞向量算法的基本理論神經(jīng)網(wǎng)絡(luò)語言模型C&W模型CBOW模型和Skip-gram模型C&W模型目標(biāo)：直接生成詞向量優(yōu)點(diǎn)：快速在NNLM模型的求解中，最費(fèi)時(shí)的部分當(dāng)屬隱藏層到輸出層的權(quán)重計(jì)算。C&W模型沒有采用語言模型的方式去求解詞語上下文的條件概率，而是直接對?元短語打分，這是一種更為快速獲取詞向量的方式。核心機(jī)理：在語料庫中出現(xiàn)過的?元短語，會被打高分；反之則會得到較低的評分。C&W模型結(jié)構(gòu)圖C&W模型

C&W模型結(jié)構(gòu)圖

C&W模型

C&W模型結(jié)構(gòu)圖詞量算法01詞向量算法的基本理論神經(jīng)網(wǎng)絡(luò)語言模型C&W模型CBOW模型和Skip-gram模型CBOW模型和Skip-gram模型CBOW(ContinuousBagof-Words)模型和Skip-gram模型綜合了NNLM和C&W模型的核心部分。CBOW模型使用一段文本的中間詞作為目標(biāo)詞CBOW沒有隱藏層，輸入層就是語義上下文的表示。CBOW模型使用上下文各詞的詞向量的平均值替代NNLM模型各個(gè)拼接的詞向量。CBOW模型和Skip-gram模型

CBOW模型和Skip-gram模型2.Skip-Gram模型

CBOW模型和Skip-gram模型Skip-gram和CBOW實(shí)際上是word2vec兩種不同思想的實(shí)現(xiàn)：CBOW根據(jù)上下文來預(yù)測當(dāng)前詞語的概率，且上下文所有的詞對當(dāng)前詞出現(xiàn)概率的影響的權(quán)重是一樣的，因此叫continuousbag-of-words模型。如在袋子中取詞，取出數(shù)量足夠的詞就可以了，取出的先后順序則是無關(guān)緊要的。Skip-gram剛好相反，根據(jù)當(dāng)前詞語來預(yù)測上下文概率的。在實(shí)際使用中，算法本身并無優(yōu)劣之分，需要根據(jù)呈現(xiàn)的效果來進(jìn)行選擇。課程小結(jié)詞向量算法神經(jīng)網(wǎng)絡(luò)語言模型C&W模型CBOW模型和Skip-gram模型謝謝觀看詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTION03OPTION04OPTION詞向量算法

的基本理論神經(jīng)網(wǎng)絡(luò)

語言模型

C&W模型

CBOW模型和Skip-gram模型關(guān)鍵詞提取技術(shù)概述02關(guān)鍵詞提取技術(shù)概述對信息提取的關(guān)鍵詞越準(zhǔn)確，我們越可能搜索到想要的信息，類似于其他的機(jī)器學(xué)習(xí)方法，關(guān)鍵詞提取算法一般也分為：有監(jiān)督的關(guān)鍵詞提取算法無監(jiān)督的關(guān)鍵詞提取算法在信息爆炸的時(shí)代，只能篩選出一些我們感興趣的或者有用的信息進(jìn)行接收。關(guān)鍵詞搜索——>關(guān)鍵詞提取(前提)優(yōu)點(diǎn)：能夠獲取到較高的精度缺點(diǎn)：需要大批量的標(biāo)注數(shù)據(jù)，人工成本過高。大數(shù)據(jù)時(shí)代，每時(shí)每刻都有大量的新信息出現(xiàn)，一個(gè)固定的詞表涵蓋所有的新信息，而且人工維護(hù)這個(gè)受控的詞表也需要很高的人力成本有監(jiān)督機(jī)器學(xué)習(xí)的方法通過分類的方式進(jìn)行，通過構(gòu)建一個(gè)較為豐富和完善的詞表，然后判斷每個(gè)文檔與詞表中每個(gè)詞的匹配程度，以類似打標(biāo)簽的方式，達(dá)到關(guān)鍵詞提取的效果。關(guān)鍵詞提取技術(shù)概述無監(jiān)督方法：不用人工參加，不用訓(xùn)練語料，通過抽取系統(tǒng)來抽取關(guān)鍵詞。因此，無監(jiān)督方法更多的得到采用，一些常用的算法有：TF-IDF算法TextRank算法主題模型算法（包括LSA，LSI、LDA等）關(guān)鍵詞提取技術(shù)概述課程小結(jié)關(guān)鍵詞提取技術(shù)概述有監(jiān)督方法無監(jiān)督方法謝謝觀看詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTION有監(jiān)督的關(guān)鍵詞

提取方法無監(jiān)督的的關(guān)鍵詞

提取方法關(guān)鍵提取算法TF-IDF算法TF-IDF（termfrequency-inversedocumentfrequency,詞頻——逆文檔頻次算法）：一種基于統(tǒng)計(jì)的計(jì)算方法，常用于評估某個(gè)詞對一份文檔的重要程度，重要程度高的詞會成為關(guān)鍵詞。TF-IDF算法由兩部分組成:TF算法：統(tǒng)計(jì)在一篇文檔中一個(gè)詞出現(xiàn)的頻次。核心為若某個(gè)詞在一個(gè)文檔中出現(xiàn)的次數(shù)越多,則它對文檔的表達(dá)能力也越強(qiáng)。IDF算法是來統(tǒng)計(jì)一個(gè)詞在文檔集的多少個(gè)文檔中出現(xiàn)。核心為若某個(gè)詞在越少的文檔中出現(xiàn)，那么它區(qū)分文檔能力也就越強(qiáng)。在實(shí)際應(yīng)用中，會將TF算法、IDF算法這兩種算法結(jié)合使用，由此就能從詞頻、逆文檔頻次這兩個(gè)角度來衡量詞的重要性。關(guān)鍵提取算法TF-IDF算法

關(guān)鍵提取算法TF-IDF算法

關(guān)鍵提取算法TF-IDF算法

關(guān)鍵提取算法TF-IDF算法TF-IDF算法的變種傳統(tǒng)的TF-IDF算法中，僅考慮了詞的兩個(gè)統(tǒng)計(jì)信息（出現(xiàn)頻次、在多少個(gè)文檔出現(xiàn)），其對文本的信息利用程度考慮較少。文本中還有許多信息，例如每個(gè)詞的詞性、出現(xiàn)的位置等，對關(guān)鍵詞的提取起到很好的指導(dǎo)作用。在某些特定的場景中，如在傳統(tǒng)的TF-IDF基礎(chǔ)上，加上這些輔助信息，能很好的提高對關(guān)鍵詞提取的效果。如：名詞作為一種定義現(xiàn)實(shí)實(shí)體的詞，帶有更多的關(guān)鍵信息，在關(guān)鍵詞提取過程中，對名詞賦予更高的權(quán)重，能使提取出來的關(guān)鍵詞更合理。文本的起始段落和末尾段落比起其他部分的文本更重要，對出現(xiàn)在這些位置的詞賦予更高的權(quán)重，也能提高關(guān)鍵詞的提取效果。課程小結(jié)關(guān)鍵提取算法TF-IDF算法謝謝觀看詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧TF-IDF算法01OPTIONTextRank算法僅對單篇文檔進(jìn)行分析并能提取其中的關(guān)鍵詞。早期應(yīng)用于文檔的自動(dòng)摘要，基于句子維度的分析，利用TextRank對每個(gè)句子進(jìn)行打分，找到分?jǐn)?shù)最高的句子作為文檔的關(guān)鍵詞，從而實(shí)現(xiàn)自動(dòng)摘要的效果。TextRank算法PageRank算法PageRank算法思想啟發(fā)了TextRank算法。PageRank算法是谷歌構(gòu)建原始搜索系統(tǒng)的時(shí)候提出的鏈?zhǔn)椒治鏊惴ǎ撍惴ㄓ脕碓u價(jià)搜索系統(tǒng)網(wǎng)頁重要性的一種方法，是一個(gè)成功的網(wǎng)頁排序算法。PageRank算法核心思想：鏈接數(shù)量：比如一個(gè)網(wǎng)頁被越多其他的網(wǎng)頁鏈接，說明該網(wǎng)頁越重要。鏈接質(zhì)量：比如一個(gè)網(wǎng)頁被越高權(quán)值的網(wǎng)頁鏈接，說明該網(wǎng)頁越重要。TextRank算法PageRank算法計(jì)算圖如圖所示：首先理解幾個(gè)概念：出鏈：如果在網(wǎng)頁a中附加了網(wǎng)頁b的超鏈接b-link，用戶瀏覽網(wǎng)頁a時(shí)可以點(diǎn)擊b-link然后進(jìn)入網(wǎng)頁b。上面這種a附有b-link這種情況表示a出鏈b。入鏈：上面通過點(diǎn)擊網(wǎng)頁a中b-link進(jìn)入網(wǎng)頁b，表示由a入鏈b。如果用戶自己在瀏覽器輸入欄輸入網(wǎng)頁b的URL，然后進(jìn)入網(wǎng)頁b，表示用戶通過輸入U(xiǎn)RL入鏈b。無出鏈：如果網(wǎng)頁a中沒有附加其他網(wǎng)頁的超鏈接，表示a無出鏈。PR值：一個(gè)網(wǎng)頁被訪問的概率。TextRank算法

TextRank算法

TextRank算法當(dāng)TextRank應(yīng)用到關(guān)鍵詞提取時(shí)，與應(yīng)用在自動(dòng)摘要中時(shí)主要有兩點(diǎn)不同：

詞與詞之間的關(guān)聯(lián)沒有權(quán)重每個(gè)詞不是與文檔中所有詞都有鏈接。

TextRank算法對于第二點(diǎn)不同，每個(gè)詞不是與所有詞相連，使用窗口來確定鏈接關(guān)系。在窗口中的詞相互間都有鏈接關(guān)系。以下面的文本為例：

世界獻(xiàn)血日，學(xué)校團(tuán)體、獻(xiàn)血服務(wù)志愿者等可到血液中心參觀檢驗(yàn)加工過程，我們會對檢驗(yàn)結(jié)果進(jìn)行公示，同時(shí)血液的價(jià)格也將進(jìn)行公示。經(jīng)過分詞后為——【世界，獻(xiàn)血，日，學(xué)校，團(tuán)體，獻(xiàn)血，服務(wù)，志愿者，等】?，F(xiàn)在將窗口大小設(shè)為5，可得到以下的幾個(gè)窗口：1）[世界，獻(xiàn)血，日，學(xué)校，團(tuán)體]

4）[學(xué)校，團(tuán)體，獻(xiàn)血，服務(wù)，志愿者]2）[獻(xiàn)血，日，學(xué)校，團(tuán)體，獻(xiàn)血]

5）[團(tuán)體，獻(xiàn)血，服務(wù)，志愿者，等]3）[日，學(xué)校，團(tuán)體，獻(xiàn)血，服務(wù)]每個(gè)窗口內(nèi)所有的詞之間都有鏈接關(guān)系。然后就可以使用TextRank的公式，對每個(gè)詞的得分進(jìn)行計(jì)算了。最后選擇得分最高的n個(gè)詞作為文檔的關(guān)鍵詞。課程小結(jié)TextRank算法謝謝觀看詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTIONPageRank算法TextRank算法LSA/LSI/LDA算法05LSA/LSI算法LDA算法LSA/LSI/LDA算法一般來說，TF—IDF算法和TextRank算法就能滿足大部分關(guān)鍵詞提取的任務(wù)。但是在某些場景，關(guān)鍵詞并不一定會顯式地出現(xiàn)在文檔當(dāng)中，如：一篇講動(dòng)物生存環(huán)境的科普文，通篇介紹了獅子老虎鱷魚等各種動(dòng)物的情況，但是文中并沒有顯式地出現(xiàn)動(dòng)物二字，這種情況下，前面的兩種算法顯然不能提取出動(dòng)物這個(gè)隱含的主題信息。這時(shí)候就需要用到主題模型。LSA/LSI/LDA算法

LSA/LSI算法LSA(LatentSemanticAnalysis,潛在語義分析)和LSI(LatentSemanticIndex,潛在語義索引)，它們經(jīng)常被當(dāng)作同一算法，不同之處在于應(yīng)用場景略有不同。LSA與LSI兩者全都是文檔的潛在語義進(jìn)行分析，而潛在語義索引是在分析之后，運(yùn)用分析得出的結(jié)果去建立相關(guān)的索引。LSA的主要步驟如下:通過BOW模型把每個(gè)文檔代表為向量;將全部的文檔詞向量排在一起構(gòu)成詞-文檔矩陣(mxn);然后對詞-文檔矩陣進(jìn)行奇異值分解(SVD)操作([m×r]·[r×r]·[r×n]);根據(jù)SVD操作的結(jié)果，將詞-文檔矩陣映射到一個(gè)更低維度k([m×k]·[k×k]·[k×n]，0<k<r)，每一個(gè)詞和文檔都能夠代表為k個(gè)主題構(gòu)成的空間中的單個(gè)點(diǎn)，計(jì)算每個(gè)詞和文檔的相似度(可以使用用余弦相似度或KL相似度進(jìn)行計(jì)算)，能夠得出每一個(gè)文檔中對每個(gè)詞的相似度結(jié)果，相似度最為高的一個(gè)詞即為文檔的關(guān)鍵詞；LSA/LSI算法LSA的優(yōu)勢：LSA利用SVD(奇異值分解)把文檔、詞映射到一個(gè)低維的語義空間，發(fā)掘出詞、文檔的淺層語義信息，可以更本質(zhì)地表達(dá)詞、文檔，在有限利用文本語義信息的同時(shí)，也極大地降低了計(jì)算的成本，提升了分析的質(zhì)量。

LSA/LSI/LDA算法LSA的缺陷：SVD的計(jì)算復(fù)雜度特別高，在特征空間維度相比較大的情況下，計(jì)算效率非常緩低。LSA提取的分布信息是已有數(shù)據(jù)集為基礎(chǔ)，在一個(gè)新的文檔進(jìn)入已有的特征空間的時(shí)候，要重新訓(xùn)練整個(gè)空間，才可得加入新文檔后對應(yīng)的分布信息。LSA依舊有著對物理解釋性薄弱、詞的頻率分布不敏感等諸多問題。LSA/LSI/LDA算法LSA缺陷的解決：pLSA算法，利用運(yùn)用EM算法對分布信息進(jìn)行了擬合代替了最初使用SVD來暴力破解，消除了LSA的部分缺點(diǎn)，LDA算法(隱含狄利克雷分布LatentDirichletAllocation)，以pLSA為基礎(chǔ)，引進(jìn)貝葉斯模型，是如今topic

model的主流方法LSA/LSI/LDA算法05LSA/LSI算法LDA算法LDA算法LDA在2003年由DavidBlei等人提出，以貝葉斯理論為基礎(chǔ)。LDA通過對詞的共現(xiàn)信息的分析，然后擬合出詞-文檔-主題的分布，從而把詞、文本都映射到一個(gè)語義空間之中。

LDA算法假設(shè)主題中詞的先驗(yàn)分布與文檔中主題的先驗(yàn)分布全服從狄利克雷分布(隱含狄利克雷分布此名字的原由)。在貝葉斯學(xué)派眼中，先驗(yàn)分布+數(shù)據(jù)(似然)=后驗(yàn)分布。統(tǒng)計(jì)已有的數(shù)據(jù)集，能夠得出每一個(gè)主題對應(yīng)詞的多項(xiàng)式分布與每一篇文檔中主題的多項(xiàng)式分布。之后就可以依據(jù)貝葉斯學(xué)派的辦法，依據(jù)先驗(yàn)的狄利克雷分布與觀測數(shù)據(jù)得到的多項(xiàng)式分布，得出一組Dirichlet-multi共軛，且根據(jù)這個(gè)來推斷主題中詞的后驗(yàn)分布與文檔中主題的后驗(yàn)分布。LDA算法具體的LDA模型求解的一種主流的方法為吉布斯采樣。結(jié)合吉布斯采樣結(jié)合的LDA模型訓(xùn)練過程:隨機(jī)初始化：在語料中每一篇文檔中的每一個(gè)詞w，隨機(jī)賦予一個(gè)topic編號z。重新掃描語料庫：對每一個(gè)詞w按吉布斯采樣公式重新采樣它的topic,同時(shí)在語料中進(jìn)行更新。重復(fù)以上語料庫的重新采樣過程一直到吉布斯采樣收斂。最后統(tǒng)計(jì)語料庫的topic-word共現(xiàn)頻率矩陣，這個(gè)矩陣為LDA的模型。LDA算法新文檔的topic預(yù)估過程:隨機(jī)初始化：對當(dāng)前文檔中的每個(gè)詞w，隨機(jī)賦一個(gè)topic編號z。重新掃描當(dāng)前文檔，按照吉布斯采樣公式，重新采樣它的topic。重復(fù)以上過程一直到吉布斯采樣收斂。統(tǒng)計(jì)文檔中的topic分布，則是預(yù)估結(jié)果。LSA/LSI/LDA算法根據(jù)上面LSA或LDA算法，能獲得主題對詞的分布與文檔對主題的分布，然后就要通過此信息抽取關(guān)鍵詞。然后就能根據(jù)該分布信息計(jì)算文檔和詞的相似性，繼續(xù)獲得文檔最相似的詞列表，最終能夠獲得文檔的關(guān)鍵詞。課程小結(jié)LSA/LSI/LDA算法LSA/LSI算法LDA算法謝謝觀看詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTIONLSA/LSI算法LDA算法實(shí)例：提取文本關(guān)鍵詞實(shí)驗(yàn)內(nèi)容：運(yùn)用這些算法從一個(gè)數(shù)據(jù)集中提取關(guān)鍵詞實(shí)驗(yàn)介紹：本節(jié)代碼主要應(yīng)用了Jieba以及Gensim。應(yīng)用了Jieba工具中analyse模塊封裝的TextRank算法；Gensim