稀疏自動編碼器-學(xué)習(xí)筆記課件

SparseAutoencoder

稀疏自動編碼器

楊明洋，王鵬宇SparseAutoencoder目錄自動編碼器神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)以及殘差稀疏自動編碼器程序?qū)崿F(xiàn)附錄目錄自動編碼器Autoencoder在講稀疏自動編碼器之前，我們先看看自動編碼器。自動編碼器，非監(jiān)督模式識別，要求得到的輸出近似于原始輸入，提取其主要特征Autoencoder在講稀疏自動編碼器之前，我們先看看自動Autoencoder如果我們輸入一張10*10的圖像，這樣就有100個像素，所以輸入層和輸出層的節(jié)點數(shù)量就是100。而我們?nèi)‰[藏層節(jié)點數(shù)量為25。這樣就會迫使隱藏層節(jié)點學(xué)習(xí)得到輸入數(shù)據(jù)的壓縮表示方法，逼得隱藏層要用25維數(shù)據(jù)重構(gòu)出100維的數(shù)據(jù)。這樣也就完成了學(xué)習(xí)過程。Autoencoder如果我們輸入一張10*10的圖像，這樣神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差定義：為第L層第j個單元的節(jié)點激活量。為第L層的節(jié)點數(shù)目。具體表達(dá)式:其中f(x)函數(shù)為sigmoid函數(shù)或則為tanh(x)函數(shù)。當(dāng)L=1時，為輸入，即神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差定義：為第L層第j個單元神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差定義:為第L層節(jié)點j激活量的輸入。具體表達(dá)式：=

最終的表達(dá)式就用，，以及偏置表示神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差定義:為第L層節(jié)點j激活神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差在逆向算法更新權(quán)值時，假設(shè)有一共m個訓(xùn)練集。定義：J(w,b)為損失函數(shù)，其中第一項稱為平均平方和誤差，第二項為調(diào)整項。第二項是為了減少權(quán)值的量級以及防止過度擬合。神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差在逆向算法更新權(quán)值時，假設(shè)有神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差為了使J(w,b)這個包含W和b的函數(shù)最小化（誤差最?。覀兪褂锰荻认陆捣▉磉M(jìn)行求解。神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差梯度下降法,基于這樣的觀察:如果實值函數(shù)F(x)在點a處可微且有定義,那么函數(shù)F(x)在a點沿著梯度相反的方向

下降最快。如果對于γ>0為一個夠小數(shù)值時成立，那么F(a)>F(b)?？紤]到這一點，我們可以從函數(shù)F的局部極小值的初始估計x0出發(fā)，并考慮如下序列x1,x2,x3......使得因此可得到F(x0)>F(x1)>F(x2)>.....最終收斂.神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差梯度下降法,基于這樣的觀察:如果實值神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差對于每一次迭代其中神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差對于每一次迭代神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差定義：為第L層的第i個節(jié)點對最終輸出值的殘差貢獻(xiàn)值，稱之為殘差。計算方法：1.計算前向過程中的節(jié)點激活量2.計算最終層的殘差,此時為輸出。神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差定義：為第L層的第i個節(jié)點對神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差3.根據(jù)上面的算式，讓這個式子可以這么理解，對比最終層的節(jié)點誤差，當(dāng)括弧里的算子實際上是逆向算法，是最終層的殘差與權(quán)重的乘積和即上圖中的這個節(jié)點產(chǎn)生的總殘差.證明.神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差3.根據(jù)上面的算式，讓神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差4.通過梯度下降法，求得證明神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差4.通過梯度下降法，求得神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差獲得損失函數(shù)及其偏導(dǎo)數(shù)之后，便可以采用梯度下降法求網(wǎng)絡(luò)最優(yōu)化的參數(shù)，整個流程如下:神經(jīng)網(wǎng)絡(luò)的損失函數(shù)和殘差獲得損失函數(shù)及其偏導(dǎo)數(shù)之后，便可以采SparseAutoencoder自動編碼器中當(dāng)隱層節(jié)點數(shù)過少，隱層節(jié)點則需要對原始輸入進(jìn)行壓縮，當(dāng)輸入為隨機(jī)高斯序列的時候，對原始輸入提取特征則會變得困難。如果隱藏層節(jié)點數(shù)量很大，甚至比輸入層節(jié)點數(shù)量還要多時，我們?nèi)匀豢梢允褂米跃幋a算法，但是這時需要加入稀疏性限制。這就是稀疏自編碼器。核心思想：將隱層進(jìn)行約束，使其變得稀疏。SparseAutoencoder自動編碼器中當(dāng)隱層節(jié)點數(shù)SparseAutoencoder定義：為隱含層節(jié)點j的平均激活量(也有的翻譯為平均輸出值)，也就是對應(yīng)m個不同訓(xùn)練集的平均激活量。具體表達(dá)式：因為我們要讓隱含層約束為稀疏的，那么當(dāng)大多數(shù)的接近于0時(0.05)，大多數(shù)隱含節(jié)點變?yōu)榉羌せ顮顟B(tài)，整個隱含層變?yōu)橄∈?。具體表現(xiàn)就是sigmoid函數(shù)的輸出大多數(shù)狀態(tài)是0，tanh函數(shù)的輸出大多數(shù)狀態(tài)是-1。這樣有什么好處？這樣能夠迫使隱藏神經(jīng)元發(fā)揮最大的潛力，在很不利的條件下學(xué)習(xí)到真正的特征。

SparseAutoencoder定義：為隱含層節(jié)點jSparseAutoencoder為了迫使是接近于0，引入一個額外項KLdivergence(相對熵)來懲罰偏離的情況。這里給定了為0.2，實際我們需要為更小的值。當(dāng)為0.2時整個KL為0.SparseAutoencoder為了迫使是接近于SparseAutoencoder于是損失函數(shù)就變?yōu)橥瑫r，殘差也相對應(yīng)更新為再優(yōu)化網(wǎng)絡(luò)參數(shù)，得到訓(xùn)練好的稀疏自動編碼器SparseAutoencoder于是損失函數(shù)就變?yōu)閟igmoid函數(shù)與tanh(x)函數(shù)sigmoid函數(shù)tanh函數(shù)sigmoid函數(shù)與tanh(x)函數(shù)sigmoi殘差的證明1

返回

殘差的證明1殘差證明2