深度學(xué)習(xí)入門教程UFLDL學(xué)習(xí)實(shí)驗(yàn)筆記一：稀疏自編碼器

1、深度學(xué)習(xí)入門教程UFLDL 學(xué)習(xí)實(shí)驗(yàn)筆記一：稀疏自編碼器UFLDL 即（ unsupervised feature learning & deeplearning ）。這是斯坦福網(wǎng)站上的一篇經(jīng)典教程。顧名思義，你將在這篇這篇文章中學(xué)習(xí)到無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)的主要觀點(diǎn)。UFLDL 全文出處在這：9%E7%A8%8B，本文為本人原創(chuàng)， 參考了 UFLDL 的教程，是我自己個人對于這一系列教程的理解以及自己的實(shí)驗(yàn)結(jié)果。非盈利性質(zhì)網(wǎng)站轉(zhuǎn)載請?jiān)谖恼麻_頭處著名本文作者：77695 ，來源。盈利性質(zhì)網(wǎng)站轉(zhuǎn)載請與作者聯(lián)系，聯(lián)系方式在文章后面。如未聯(lián)系，本人將通過一切可能且合法的途徑追繳相應(yīng)

2、稿酬。請?jiān)谵D(zhuǎn)載時保留此聲明。神經(jīng)網(wǎng)絡(luò)一個神經(jīng)網(wǎng)絡(luò)由一系列神經(jīng)元組成，一個神經(jīng)元由一系列參數(shù) x1 ， x2 。及偏置量 +1 作為輸入，將輸入與對應(yīng)權(quán)值W（與 x1,x2 。相乘），（與 1 相乘）相乘后求和，并將和放入激活函數(shù)，即可得到該神經(jīng)元的輸出。我們稱這個神經(jīng)元的輸入輸出映射關(guān)系其實(shí)就是一個邏輯回歸（logisticregression ）在這里激活函數(shù)我們用：他的導(dǎo)數(shù)是右邊的形式這是 sigmoid 函數(shù)的圖像整個神經(jīng)元可以用一個公式表示：神經(jīng)網(wǎng)絡(luò)就是很多個神經(jīng)元組合在一起，一個神經(jīng)元的輸出，也可以是另外一個神經(jīng)元的輸入，如下圖：具體請直接查看 UFLDL 相應(yīng)教程，這里不再贅述，下

3、文一樣。反向傳導(dǎo)算法一個神經(jīng)網(wǎng)絡(luò)向前傳導(dǎo)，其神經(jīng)元的參數(shù)可以是各種各樣的，這樣也會導(dǎo)致各種各樣的借，而我希望我整個神經(jīng)網(wǎng)絡(luò)的輸出，是與我預(yù)期的輸出越相近越好，為了描述相近的程度，我們計(jì)算神經(jīng)網(wǎng)絡(luò)輸出與預(yù)計(jì)輸出的差值的平方和。這個和越小，即輸出與預(yù)期越接近，我們稱這個叫做代價函數(shù)。但使得輸出與預(yù)期接近的 W 參數(shù)組合有很多， 并不是每一種組合都好， 也不是說越接近越好， 當(dāng) W 參數(shù)太大的時候， 會發(fā)生過擬合， 使得泛化能力不夠， 因此我們引入所有 W 的平方和，加入到代價函數(shù)中，我們稱它叫懲罰項(xiàng)。我們使用梯度下降法，求得最優(yōu)的W ，b 這就是機(jī)器學(xué)習(xí)的整個過程。梯度下降中，其實(shí)就是求得代價函數(shù)

4、對 W，b 的偏導(dǎo)值。在計(jì)算偏導(dǎo)的時候，因?yàn)閺?fù)合函數(shù)的求導(dǎo)法則：可以看到，要求整個懲罰函數(shù)的導(dǎo)數(shù)首先就要計(jì)算從懲罰函數(shù)開始向后求導(dǎo)，具體公式這里就不貼了。梯度檢驗(yàn)要檢測自己反向傳導(dǎo)得到的偏導(dǎo)函數(shù)是否正確，這里有一種簡單粗暴的方法，就是梯度檢驗(yàn)，通過對某一個參數(shù)加以及減一個較小的值的差除以 2 倍較小的值即可近似算出該點(diǎn)偏導(dǎo)值，因此可以用來檢驗(yàn)偏導(dǎo)是否計(jì)算正確。但為什么我們不直接用這個計(jì)算代替求偏導(dǎo)函數(shù)，因?yàn)樘耍≡谶@里我們用 L-BFGS 算法快速計(jì)算偏導(dǎo)數(shù)自編碼算法與稀疏性使得輸出盡可能與輸入一致我們稱之為自編碼。比如，若隱藏層神經(jīng)元數(shù)目小于輸入層，則這個網(wǎng)絡(luò)就要學(xué)習(xí)怎么去壓縮這些數(shù)據(jù)。使得神經(jīng)元大部分的時間都是被抑制的限制則被稱作稀疏性限制。其懲罰函數(shù)如下：可視化自編碼器訓(xùn)練結(jié)果可以證明，時有單元i 有最大激勵。實(shí)現(xiàn)生成數(shù)據(jù)集：即從所有 10 副 512x512 的圖片中取 8x8 的塊，一共取 10000 塊。這是數(shù)據(jù)集的一些圖片，可以看到這主要是一些自然圖片。這里只粘貼所有自己實(shí)現(xiàn)部分的代碼。ize,1,numpatches);randy=randi(h-patchsize,1,numpatches);randIdx=randi(n,1,numpatches);for i=1 : numpatchespc=IMAGES(randx(i):randx(