Python自然語(yǔ)言處理 課件05-1-詞向量算法

詞向量與關(guān)鍵詞提取Python自然語(yǔ)言處理第五章CONTENT目錄

01詞向量算法word2vec02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTION03OPTION中文分詞詞性標(biāo)注命名實(shí)體識(shí)別詞向量算法01詞向量算法word2vec神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型C&W模型CBOW模型和Skip-gram模型詞向量算法word2vec文本表示：自然語(yǔ)言處理中的基礎(chǔ)工作，對(duì)后續(xù)工作有著重要影響。文本向量化：文本表示的一種重要方式。文本向量化是將文本表示成一系列能夠表達(dá)文本語(yǔ)義的向量。無(wú)論是中文還是英文，詞語(yǔ)都是表達(dá)文本處理的最基本單元。文本詞向量化：當(dāng)前階段，對(duì)文本向量化大部分的研究都是通過(guò)將文本詞向量化實(shí)現(xiàn)的。也有研究將句子作為文本處理的基本單元，對(duì)應(yīng)的是doc2vec和str2vec技術(shù)。詞向量算法word2vec詞袋模型詞袋模型是最早的以詞語(yǔ)為基本處理單元的文本向量化方法。例：首先給出兩個(gè)簡(jiǎn)單的文本如下：Mikelikestowatchnews,Boblikestoo.MikealsolikestowatchBasketballgames.基于上述兩個(gè)文檔中出現(xiàn)的單詞，構(gòu)建如下詞典：{“Mike":1,"likes":2,"to":3,"watch":4,"news":5,"also":6,"Basketball":7,"games":8,“Bob":9,"too":10}每個(gè)文本我們可以使用一個(gè)10維的向量來(lái)表示：[1,2,1,1,1,0,0,0,1,1][1,1,1,1,0,1,1,1,0,0]注：位置表示單詞，數(shù)字表示每個(gè)單詞在文本中出現(xiàn)的頻率詞向量算法word2vec詞袋模型存在的問(wèn)題：維度災(zāi)難。如果上述例子詞典中包含10000個(gè)單詞，那么每個(gè)文本需要用10000維的向量表示，也就是說(shuō)除了文本中出現(xiàn)的詞語(yǔ)位置不為0，其余9000多的位置均為0，高維度的向量會(huì)使計(jì)算量猛增，大大影響計(jì)算速度。無(wú)法保留詞序信息。存在語(yǔ)義鴻溝的問(wèn)題。詞向量算法word2vec大數(shù)據(jù)時(shí)代關(guān)于如何使用海量的自然語(yǔ)言的兩個(gè)問(wèn)題近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)急劇增加。大量無(wú)標(biāo)注的數(shù)據(jù)產(chǎn)生，這些數(shù)據(jù)中蘊(yùn)含著豐富的信息。如何從大量無(wú)標(biāo)注的文本中提取有用信息？語(yǔ)義信息：一般來(lái)說(shuō)詞語(yǔ)是表達(dá)語(yǔ)義的基本單元。詞袋模型中只是將詞語(yǔ)符號(hào)化，所以詞袋模型不包含語(yǔ)義信息。如何使“詞表示”包含語(yǔ)義信息？詞向量（word2vec）技術(shù)：使用神經(jīng)網(wǎng)絡(luò)模型從大量無(wú)標(biāo)注的文本中提取有用信息的技術(shù)。詞向量算法word2vec問(wèn)題解決理論基礎(chǔ)——分布假說(shuō)上下文相似的詞，其語(yǔ)義也相似詞空間模型利用上下文分布表示詞義的方法。神經(jīng)網(wǎng)絡(luò)模型靈活地對(duì)上下文進(jìn)行建模。詞量算法01詞向量算法的基本理論神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型C&W模型CBOW模型和Skip-gram模型神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型(NNLM(NeuralNetworkLanguageModel)是最基礎(chǔ)的語(yǔ)言模型。NNLM語(yǔ)言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型NNLM語(yǔ)言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型NNLM語(yǔ)言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型NNLM語(yǔ)言模型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型NNLM語(yǔ)言模型結(jié)構(gòu)

詞量算法01詞向量算法的基本理論神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型C&W模型CBOW模型和Skip-gram模型C&W模型目標(biāo)：直接生成詞向量?jī)?yōu)點(diǎn)：快速在NNLM模型的求解中，最費(fèi)時(shí)的部分當(dāng)屬隱藏層到輸出層的權(quán)重計(jì)算。C&W模型沒(méi)有采用語(yǔ)言模型的方式去求解詞語(yǔ)上下文的條件概率，而是直接對(duì)?元短語(yǔ)打分，這是一種更為快速獲取詞向量的方式。核心機(jī)理：在語(yǔ)料庫(kù)中出現(xiàn)過(guò)的?元短語(yǔ)，會(huì)被打高分；反之則會(huì)得到較低的評(píng)分。C&W模型結(jié)構(gòu)圖C&W模型

C&W模型結(jié)構(gòu)圖

C&W模型

C&W模型結(jié)構(gòu)圖詞量算法01詞向量算法的基本理論神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型C&W模型CBOW模型和Skip-gram模型CBOW模型和Skip-gram模型CBOW(ContinuousBagof-Words)模型和Skip-gram模型綜合了NNLM和C&W模型的核心部分。CBOW模型使用一段文本的中間詞作為目標(biāo)詞CBOW沒(méi)有隱藏層，輸入層就是語(yǔ)義上下文的表示。CBOW模型使用上下文各詞的詞向量的平均值替代NNLM模型各個(gè)拼接的詞向量。CBOW模型和Skip-gram模型

CBOW模型和Skip-gram模型2.Skip-Gram模型

CBOW模型和Skip-gram模型Skip-gram和CBOW實(shí)際上是word2vec兩種不同思想的實(shí)現(xiàn)：CBOW根據(jù)上下文來(lái)預(yù)測(cè)當(dāng)前詞語(yǔ)的概率，且上下文所有的詞對(duì)當(dāng)前詞出現(xiàn)概率的影響的權(quán)重是一樣的，因此叫continuousbag-of-words模型。如在袋子中取詞，取出數(shù)量足夠的詞就可以了，取出的先后順序則是無(wú)關(guān)緊要的