word2vec詞向量模型

1、.1詞向量模型Word2Vec.2前言計算機老外來訪被請吃飯。落座后，一中國人說：“我先去方便一下?！崩贤獠唤?，被告知“方便”是“上廁所”之意。席間主賓大悅。道別時，另一中國人對老外發(fā)出邀請：“我想在你方便的時候也請你吃飯?！崩贤忏读?，那人接著說： “如果你最近不方便的話，咱找個你我都方便的時候一起吃。人類VS.3123 基本概念模型與方法實際應用目錄.4詞向量 自然語言中的詞語在機器學習中的表示符號 One-Hot Representation例如：“話筒”表示為：0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, “麥克”表示為：0, 0, 0, 0, 0, 0,

2、 0, 0, 0, 1, 0, 0, 0, 實現(xiàn)時可以用0,1,2,3等對詞語進行計算，這樣的“話筒”可以用4表示，麥克可以用10表示問題： 維度很大，當詞匯較多時，可能會達到百萬維，造成維度災難 詞匯鴻溝：任意兩個詞之間都是孤立的，不能體現(xiàn)詞與詞之間的關系。.5詞向量 Distributional Representation將詞表示為 0.793, -0.177, -0.107, 0.109, 0.542, 的矩陣，通常該類矩陣設置為50維或100維通過計算向量之間的距離，來體現(xiàn)詞與詞之間的相似性，解決詞匯鴻溝的問題實現(xiàn)時可以用0,1,2,3等對詞語進行計算，這樣的“話筒”可以用4表示，麥

3、克可以用10表示如何訓練：沒有直接的模型可以訓練得到1. 可以在訓練語言模型的同時，得到詞向量。.6語言模型 判斷一句話是不是正常人說出來的給定一個字符串”w1, w2, w3, w4, , wt”,計算它是自然語言的概率、P(w1,w2,wt)=P(w1)P(w2|w1)P(w3|w1,w2)P(wt|w1,w2,wt1)P(大家，喜歡，吃，蘋果)=p(大家)p(喜歡|大家)p(吃|大家,喜歡)p(蘋果|大家,喜歡,吃)p(大家)表示“大家”這個詞在語料庫里面出現(xiàn)的概率；p(喜歡|大家)表示“喜歡”這個詞出現(xiàn)在“大家”后面的概率;p(吃|大家，喜歡)表示“吃”這個詞出現(xiàn)在“大家喜歡”后面的概

4、率；p(蘋果|大家,喜歡,吃)表示“蘋果”這個詞出現(xiàn)在“大家喜歡吃”后面的概率。把這些概率連乘起來，得到的就是這句話平時出現(xiàn)的概率。如果這個概率特別低，說明這句話不常出現(xiàn)，那么就不算是一句自然語言，因為在語料庫里面很少出現(xiàn)。如果出現(xiàn)的概率高，就說明是一句自然語言。常用的語言模型都是在近似地求 P(wt|w1,w2,wt1)。比如 n-gram 模型就是用 P(wt|wtn+1,wt1) 近似表示前者。N-pos 先對詞進行了詞性分類.7123 模型與方法基本概念實際應用目錄.8Word2VecGoogle的Mikolov在2013年推出了一款計算詞向量的工具word2vec作為神經(jīng)概率語言模型

5、的輸入，其本身其實是神經(jīng)概率模型的副產(chǎn)品，是為了通過神經(jīng)網(wǎng)絡學習某個語言模型某個語言模型而產(chǎn)生的中間結果。具體來說，“某個語言模型”指的是“CBOW”和“Skip-Gram”。具體學習過程會用到兩個降低復雜度的近似方法Hierarchical Softmax或Negative Sampling。CBOW：Continuous Bag-of-WordsSkip-Gram：Continuous Skip-Gram ModelHierarchical SoftmaxNegative Sampling兩個語言模型兩種優(yōu)化方法.9CBOW and Skip-Gram初始化值是零向量， 葉節(jié)點對應的單詞的

6、詞向量是隨機初始化的。 CBOW 的目 標 是 根 據(jù) 上 下 文 來 預 測 當 前 詞 語 的 概率Skip-Gram恰好相反， 它是根據(jù)當前詞語來預測上下文的概率。這 兩 種 方 法 都 利 用 人 工 神 經(jīng) 網(wǎng) 絡 作 為它們的分類算法。起 初， 每 個 單 詞 都 是 一 個 隨 機 N 維 向 量，經(jīng)過訓練之后， 利用 CBOW 或者 Skip-Gram方法獲得每個單詞的最優(yōu)向量。 .10CBOW模型結構輸入層輸入層是上下文的詞語的詞向量，是CBOW模型的一個參數(shù)。訓練開始的時候，詞向量是個隨機值，隨著訓練的進行不斷被更新。當模型訓練完成之后可以獲得較為準確的詞向量。Softma

7、xO(|V|)時間復雜度：O(log2(|V|).11CBOW模型結構霍夫曼樹在訓練階段，當給定一個上下文，要預測詞(Wn)的時候，實際上知道要的是哪個詞(Wn)，而Wn是肯定存在于二叉樹的葉子節(jié)點的，因此它必然有一個二進制編號，如“010011”，那么接下來我們就從二叉樹的根節(jié)點一個個地去遍歷，而這里的目標就是預測這個詞的二進制編號的每一位.即對于給定的上下文，我們的目標是使得預測詞的二進制編碼概率最大。形象地說，我們希望在根節(jié)點，詞向量和與根節(jié)點相連經(jīng)過logistic計算得到的概率盡量接近0（即預測目標是bit=1）；在第二層，希望其bit是1，即概率盡量接近1這么一直下去，我們把一路上

8、計算得到的概率相乘，即得到目標詞Wn在當前網(wǎng)絡下的概率(P(Wn)，那么對于當前這個sample的殘差就是1-P(Wn)。于是就可以SGD優(yōu)化各種權值了。.12Skip-Gram模型結構cd 吃ba小明喜歡吃甜甜的蘋果.13123 實際應用基本概念模型與方法目錄.14詞相似度訓練數(shù)據(jù)集：經(jīng)過分詞后的新聞數(shù)據(jù)，大小184MB查看中國，釣魚島，旅游，蘋果幾個詞語的相似詞語如下所示.15向量加減法向量加減法中國+北京-日本，中國+北京-法國.16機器翻譯 機器翻譯 語言詞語的關系集合被表征為向量集合 向量空間內(nèi)，不同語言享有許多共性 實現(xiàn)一個向量空間到另一個向量空間的映射和轉換 圖為英語和西班語的五個詞在向量空間中的位置（已經(jīng)過降維） 對英語和西班語之間的翻譯準確率高達90%.17推薦應用 Item2Vec論文：Item2vec: Neural Item Embedding