鄭州大學(xué)-機(jī)器學(xué)習(xí) 潛在語義分析2

匯報人：馮一帆陳佳輝第十七章

潛在語義分析1目錄CONTENTS1非負(fù)矩陣分解2非負(fù)矩陣分解的應(yīng)用3非負(fù)矩陣分解的實(shí)現(xiàn)4本章總結(jié)2非負(fù)矩陣分解013什么是矩陣分解？

矩陣分解是將矩陣拆解為數(shù)個矩陣的乘積，主要可分為三角分解法、QR分解法、奇異值分解法等。

實(shí)際上，生活中許多問題都可以轉(zhuǎn)化為矩陣分解問題。在實(shí)際應(yīng)用中，往往將嚴(yán)格等于限制條件放寬為近似，也就是說允許丟失一部分不重要的信息。4什么是矩陣分解？基底

線性組合系數(shù)5矩陣分解特征：不唯一基底

線性組合系數(shù)基底

線性組合系數(shù)6什么是非負(fù)矩陣分解？給定一個非負(fù)矩陣X≥0，找到兩個非負(fù)矩陣W≥0和H≥0，使得即將非負(fù)矩陣X分解為兩個非負(fù)矩陣W和H的乘積的形式，稱為非負(fù)矩陣分解。定義7什么是非負(fù)矩陣分解？假設(shè)非負(fù)矩陣X是

m

x

n

矩陣，非負(fù)矩陣W和H分別為

mxk

矩陣和kxn

矩陣。假設(shè)k<min(m,n)，即W和H小于原矩陣X，所以非負(fù)矩陣分解是對原數(shù)據(jù)的壓縮。WH8什么是非負(fù)矩陣分解？由

知，矩陣X的第j列向量xj滿足矩陣X的第j列

xj

可以由矩陣W的k個列

wl

的線性組合逼近，線性組合的系數(shù)是矩陣H的第j列hj的元素。非負(fù)矩陣分解旨在用較少的基向量、系數(shù)向量來表示較大的數(shù)據(jù)矩陣。9非負(fù)矩陣分解與其他矩陣分解方法的不同10非負(fù)矩陣分解傳統(tǒng)矩陣分解簡便性可解釋性強(qiáng)占用存儲空間少等因子W和H中的元素可為正或負(fù)，即使輸入的初始矩陣元素是全正的，傳統(tǒng)的秩削減算法也不能保證原始數(shù)據(jù)的非負(fù)性。特點(diǎn)11非負(fù)矩陣分解的應(yīng)用0212非負(fù)矩陣分解的應(yīng)用圖像分析

NMF最成功的一類應(yīng)用是在圖像的分析和處理領(lǐng)域。圖像本身包含大量的數(shù)據(jù)，計(jì)算機(jī)一般將圖像的信息按照矩陣的形式進(jìn)行存放，針對圖像的識別、分析和處理也是在矩陣的基礎(chǔ)上進(jìn)行的。這些特點(diǎn)使得NMF方法能很好地與圖像分析處理相結(jié)合。13非負(fù)矩陣分解的應(yīng)用語音處理

語音的自動識別一直是計(jì)算機(jī)科學(xué)家努力的方向，也是未來智能應(yīng)用實(shí)現(xiàn)的基礎(chǔ)技術(shù)。語音同樣包含大量的數(shù)據(jù)信息，識別語音的過程也是對這些信息處理的過程。NMF算法在這方面也為我們提供了一種新方法。14非負(fù)矩陣分解的應(yīng)用話題分析

文本在人類日常接觸的信息中占有很大分量，為了更快更精確地從大量的文本數(shù)據(jù)中取得所需要的信息，針對文本信息處理的研究一直沒有停止過。文本數(shù)據(jù)不光信息量大，而且一般是無結(jié)構(gòu)的。因此，對大規(guī)模文本信息進(jìn)行處理分析的另一個障礙便是如何削減原始數(shù)據(jù)的維數(shù)。NMF算法正是解決這方面難題的一種新手段。15非負(fù)矩陣分解的實(shí)現(xiàn)0316潛在語義分析模型給定一個mxn非負(fù)的單詞-文本矩陣X≥0假設(shè)文本集合共包含k個話題，對X進(jìn)行非負(fù)矩陣分解。即求非負(fù)的

m

x

k

矩陣W≥0和

k

x

n

矩陣H≥0，使得令

為話題向量空間，

表示文本集合的k個話題，令

為文本在話題向量空間的表示，

表示文本集合的n個文本非負(fù)矩陣分解的實(shí)現(xiàn)17如何實(shí)現(xiàn)非負(fù)矩陣分解？18非負(fù)矩陣分解的形式化非負(fù)矩陣分解可以形式化為最優(yōu)化問題求解。首先定義損失函數(shù)。第一種損失函數(shù)是平方損失。設(shè)兩個非負(fù)矩陣

，和

，平方損失函數(shù)定義為其下界是0，當(dāng)且僅當(dāng)A=B時達(dá)到下界。19非負(fù)矩陣分解的形式化另一種損失函數(shù)是散度（divergence)。設(shè)兩個非負(fù)矩陣

和

散度損失函數(shù)定義為其下界也是0，當(dāng)且僅當(dāng)A=B時達(dá)到下界。A和B不對稱。20非負(fù)矩陣分解的形式化目標(biāo)函數(shù)

關(guān)于W和H的最小化，滿足約束條件W,H≥0，即或者，目標(biāo)函數(shù)

關(guān)于W和H的最小化，滿足約束條件W,H≥0，即21如何實(shí)現(xiàn)非負(fù)矩陣分解？22如何實(shí)現(xiàn)非負(fù)矩陣分解？23最優(yōu)化目標(biāo)函數(shù)是

，為了方便將目標(biāo)函數(shù)乘以1/2，其最優(yōu)解與原問題相同，記作應(yīng)用梯度下降法求解。首先求目標(biāo)函數(shù)的梯度同樣可得如何實(shí)現(xiàn)非負(fù)矩陣分解？1322425326如何實(shí)現(xiàn)非負(fù)矩陣分解？然后求得梯度下降法的更新規(guī)則式中

是步長。選取即得乘法更新規(guī)則27非負(fù)矩陣分解的迭代算法28本章總結(jié)0429本章總結(jié)1.單詞向量空間模型通過單詞的向量表示文本的語義內(nèi)容。302.話題向量空間模型通過話題的向量表示文本的語義內(nèi)容。本章總結(jié)31本章總結(jié)3.話題向量空間T也可以表示為一個矩陣，稱為單詞-話題矩陣。32本章總結(jié)4.潛在語義分析的目標(biāo)是，找到合適的