神經(jīng)網(wǎng)絡(luò)的筆記

神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)組成神經(jīng)網(wǎng)絡(luò)是當(dāng)前人工智能及機(jī)器學(xué)習(xí)中一個(gè)非常引人入圣的研究方向，因?yàn)樗啾绕渌碚撃Ｐ驮谧畲蟪潭壬献龅搅伺c人的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的相似。神經(jīng)網(wǎng)絡(luò)最早是在研究生物系統(tǒng)對信息處理進(jìn)行處理的數(shù)學(xué)表示方法時(shí)被提出來的（McCullochandPitts,1943;WidrowandHoff,1960;Rosenblatt,1962），后來便被廣泛的應(yīng)用到各種學(xué)習(xí)模型中并得到了非常顯著的效果。圖STYLEREF1\s0SEQ圖\*ARABIC\s11神經(jīng)元神經(jīng)絡(luò)網(wǎng)的基本處理單元被稱為神經(jīng)元，正如人的神經(jīng)細(xì)胞一樣。REF_Ref396386415\h圖01所示神經(jīng)元會(huì)有多個(gè)輸入，即x1，x2等等，每個(gè)輸入上都會(huì)對應(yīng)一個(gè)權(quán)重來表示該輸入占的比重。神經(jīng)元的輸出稱為激活函數(shù)（activationfunction），可以理解為當(dāng)給出一個(gè)特定的輸入的時(shí)候，神經(jīng)元所能做出的響應(yīng)程度。這個(gè)函數(shù)通常使用的函數(shù)有兩個(gè)： 其中的，以及都為N維向量，N為輸入的個(gè)數(shù)。為偏置量，這個(gè)可以通過直線的方程構(gòu)成來簡單的理解，比如有兩點(diǎn)分別為(0,1)和(2,2)，要構(gòu)造過這兩點(diǎn)的方程不可能是過原點(diǎn)的，而會(huì)有一定的偏移。圖STYLEREF1\s0SEQ圖\*ARABIC\s12神經(jīng)網(wǎng)絡(luò)把神經(jīng)網(wǎng)絡(luò)分為了輸入層，隱藏層，輸出層。REF_Ref396386445\h圖02給出了一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)模型，x1，x2等等為輸入單元，輸入單元可以看成特殊神經(jīng)元，其只對應(yīng)一個(gè)輸入量且權(quán)值為1。從輸入層開始，對各層從1到L依次編號，在圖中表示第層的第個(gè)神經(jīng)元的激活函數(shù)(activationfunction)輸出。需要注意的是輸出層可能會(huì)不止一個(gè)神經(jīng)元，比如多類情況下的分類系統(tǒng)，每個(gè)神經(jīng)元對應(yīng)一種分類。前向傳播前向傳播與反向傳播構(gòu)成了實(shí)質(zhì)上的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。舉個(gè)不恰當(dāng)?shù)睦?，如果學(xué)過模擬電路課程就應(yīng)該知道反饋放大電路。輸入一個(gè)信號，經(jīng)過這部分電路后出來一個(gè)放大了的信號，這個(gè)過程可以稱之為信號的前向傳播。而所謂反饋，就是將輸出反饋回來與我所設(shè)定的那么量進(jìn)行比較再來調(diào)整放大電路。而反向傳播也就類似于這個(gè)反饋。前向傳播在理解和計(jì)算上都比較簡單，給定網(wǎng)絡(luò)輸入及各層的權(quán)值，便可以計(jì)算出最終的網(wǎng)絡(luò)輸出。L[t]到L[t+1]層對應(yīng)的權(quán)值為矩陣，上標(biāo)以其定義為： 是一個(gè)N*M的矩陣（注意M和N的順序），表示第t層有M個(gè)神經(jīng)元，第t+1層有N個(gè)神經(jīng)元。下面給出各層網(wǎng)絡(luò)的計(jì)算式：(1)第一層輸入層，此時(shí)t=1有。(2)隱藏層，此時(shí)，有： GOTOBUTTONZEqnNum598281REFZEqnNum598281\*Charformat\!(0.5)式使用的激活函數(shù)由GOTOBUTTONZEqnNum359846REFZEqnNum359846\*Charformat\!(0.1)式定義，也可以使用GOTOBUTTONZEqnNum390126REFZEqnNum390126\*Charformat\!(0.2)式定義的函數(shù)，這兩個(gè)函數(shù)。另GOTOBUTTONZEqnNum376832REFZEqnNum376832\*Charformat\!(0.4)式中表示矩陣的第j行。 為了不至于混淆，上標(biāo)為t是應(yīng)該知道表示的是第t層；上標(biāo)為m時(shí)，表示的是第m條數(shù)據(jù)。反向傳播訓(xùn)練數(shù)據(jù)為，共M條。為N維向量，表示一條數(shù)據(jù)有N個(gè)變量。為K維向量，表示有K個(gè)輸出。，可以看出為什么使用sigmoid激活函數(shù)，因?yàn)閟igmoid函數(shù)的值域剛好吻合。如果，那么最好使用tanh函數(shù)。將每輸入一條數(shù)據(jù)進(jìn)行訓(xùn)練得到一個(gè)輸出，那么得到誤差量： 注意公式中的上標(biāo)，表示是在輸入第m條數(shù)據(jù)下輸出層的第k個(gè)輸出量。在之后的公式中將只在E上用下標(biāo)m表示是第m條數(shù)據(jù)，而其它處為了簡潔去掉上標(biāo)m。所有數(shù)據(jù)訓(xùn)練完了之后，就得到總的誤差： GOTOBUTTONZEqnNum386739REFZEqnNum386739\*Charformat\!(0.7)式可以看出E是W的函數(shù)，反向傳播用來調(diào)節(jié)的量便是。在以梯度下降的一系列的算法中，對關(guān)于求導(dǎo)是整個(gè)反向傳播的核心。現(xiàn)在首先對輸出層進(jìn)行操作，即對關(guān)于求導(dǎo)。對求導(dǎo)得到： GOTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)式右邊只是單獨(dú)對求導(dǎo)，是因?yàn)榈南聵?biāo)是ji，表示是只連接到第j個(gè)神經(jīng)元，與其它神經(jīng)元是無關(guān)的，自然導(dǎo)數(shù)是零?？梢詫OTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)式分為兩部分，對于輸出層，式GOTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)右邊第一部分定義為第j個(gè)神經(jīng)元的誤差項(xiàng)（erroritem），結(jié)合GOTOBUTTONZEqnNum937580REFZEqnNum937580\*Charformat\!(0.6)式有： 結(jié)合GOTOBUTTONZEqnNum376832REFZEqnNum376832\*Charformat\!(0.4)GOTOBUTTONZEqnNum598281REFZEqnNum598281\*Charformat\!(0.5)式的第二部分可以容易的寫出： 對偏置量的求導(dǎo)與對的求導(dǎo)類似： 上面的描述了對進(jìn)行求導(dǎo)的步驟，或者說是對中單個(gè)元素的求導(dǎo)?，F(xiàn)在對隱藏層的權(quán)值矩陣進(jìn)行求導(dǎo)操作，權(quán)值矩陣上標(biāo)t從1到L-2，其對應(yīng)的是第t+1層隱藏層。與GOTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)式類似有： 式GOTOBUTTONZEqnNum868005REFZEqnNum868005\*Charformat\!(0.13)中第二部分同GOTOBUTTONZEqnNum236386REFZEqnNum236386\*Charformat\!(0.10)類似有： 而第一部分卻有一些區(qū)別，因?yàn)槭堑闹苯雍瘮?shù)，而不是對或等的直接函數(shù)。想像一下，每個(gè)隱藏層的作為了其后一層每一個(gè)的參量，因此要用到間接求導(dǎo)法則來求： 式中H為第K+2層神經(jīng)元的個(gè)數(shù)。同樣結(jié)合GOTOBUTTONZEqnNum376832REFZEqnNum376832\*Charformat\!(0.4)GOTOBUTTONZEqnNum598281REFZEqnNum598281\*Charformat\!(0.5)式有： 將從累加中提出來，所以GOTOBUTTONZEqnNum138722REFZEqnNum138722\*Charformat\!(0.15)式可以寫成： 最終的對求導(dǎo)可以寫成： 另外有： 通過前面的論述，知道通過量的反向傳播能夠計(jì)算得到對各層及的導(dǎo)數(shù)。而中有一項(xiàng)是。這里給出sigmoid和tanh函數(shù)的導(dǎo)數(shù)： 至止，所有的關(guān)于反向傳播需要的內(nèi)容都已經(jīng)得到，為了得到使總誤差最小時(shí)的及（統(tǒng)稱為參數(shù)），通常采用的是梯度下降算法（或BFGS方法）。那么，可以迭代地調(diào)用： 其中參數(shù)稱為步長，它體現(xiàn)了學(xué)習(xí)的速率，不過它的值不益過大，因?yàn)榭赡軙?huì)造成震蕩而不易收斂。如果值適當(dāng)，則經(jīng)過一步一步迭代計(jì)算便可以將誤差減到最小值。這個(gè)值可能是局部最小值或是全局最小值，這取決于總誤差函數(shù)是convex還是multimodal。高級優(yōu)化與梯度檢查為了防止神經(jīng)網(wǎng)絡(luò)出現(xiàn)類似與線性回歸中遇到的過擬合現(xiàn)象，可以像GOTOBUTTONZEqnNum683123REFZEqnNum683123\*Charformat\!(0.23)式一樣在總誤差函數(shù)上增加一個(gè)正則化項(xiàng)（Regularizationterm）。通過它來對權(quán)值進(jìn)行懲罰，避免出現(xiàn)過大的權(quán)值使得網(wǎng)絡(luò)過擬合。 GOTOBUTTONZEqnNum683123REFZEqnNum683123\*Charformat\!(0.23)式中的第二項(xiàng)包括了所有各層的權(quán)值。但是這種簡單的權(quán)值正則化項(xiàng)存在一個(gè)問題，其對網(wǎng)絡(luò)的線性性質(zhì)不具有連續(xù)性。這里暫且不講，參見PRML的5.5節(jié)。現(xiàn)在討論一下梯度檢查問題，因?yàn)榉聪騻鞑ニ惴ㄊ欠浅ｋy調(diào)試的，代碼編寫的一丁點(diǎn)錯(cuò)誤（比如標(biāo)號錯(cuò)誤）可能就像得到看上去很像但是并非正確的結(jié)果。因此引入梯度的數(shù)值計(jì)算來對梯度的解析計(jì)算進(jìn)行驗(yàn)證。 對GOTOBUTTONZEqnNum136508REFZEqnNum136508\*Charformat\!(0.24)右邊第二項(xiàng)進(jìn)行泰勒公式展開： 去掉項(xiàng)對求解的影響非常小，因?yàn)樗堑母唠A無窮小項(xiàng)，而值本來就是選持的一個(gè)非常小的量。這樣一來就可以使用來計(jì)算出梯度的數(shù)值解。 通過解析解與數(shù)值解的對比，便可以檢查編寫的求梯度代碼的正確性。稀疏自編碼自編碼是一種無監(jiān)督學(xué)習(xí)方法，說白了就是通過學(xué)習(xí)使得給定輸入，那么輸出盡最大可能的模仿這個(gè)輸入。如REF_Ref396502412\h圖03所示。圖STYLEREF1\s0SEQ圖\*ARABIC\s13自編碼神經(jīng)網(wǎng)絡(luò) 當(dāng)有一組沒有標(biāo)簽的數(shù)據(jù)時(shí)，每輸入一個(gè)數(shù)據(jù)，那么網(wǎng)絡(luò)的輸出。實(shí)際上相當(dāng)于給這組數(shù)據(jù)設(shè)定了標(biāo)簽，得到有標(biāo)簽的數(shù)據(jù)集，只不過標(biāo)簽就是輸入數(shù)據(jù)本身而已。自編碼看上去似乎沒有什么意義，但是通過給自編碼網(wǎng)絡(luò)的隱藏層增加稀疏性的限制便可以非常好的提取輸入的特征。 理想的情況下，當(dāng)給定帶有某一類特征的輸入數(shù)據(jù)時(shí)(比如同樣是斜邊的圖像切片)，應(yīng)該只有那么一個(gè)神經(jīng)元激活度相對較高，也說是這個(gè)神經(jīng)元能夠很好的抓住這類數(shù)據(jù)中的特征。同時(shí)，其它神經(jīng)元此時(shí)是不活躍的，即處于睡眠狀態(tài)。當(dāng)數(shù)據(jù)量很大時(shí)，每個(gè)神經(jīng)元就可以假定在大部分時(shí)間都是睡眠狀態(tài)的。我們給網(wǎng)絡(luò)加上這個(gè)假定的限制來進(jìn)行訓(xùn)練，便可以獲得權(quán)值來使得隱藏層神經(jīng)元能夠近似地提取數(shù)據(jù)的各特征。 令表示隱藏層第j個(gè)神經(jīng)元的激活度，那么定義這個(gè)神經(jīng)元在所有數(shù)據(jù)下的平均激活度為： 在這個(gè)平均激活度上加一個(gè)限制，令等于一個(gè)非常小的值（比如0.05）。為了實(shí)現(xiàn)這個(gè)限制，在誤差函數(shù)中加入一個(gè)懲罰因子，懲罰那些與有差別的神經(jīng)元使其平均激活度保持得很小。因?yàn)椋敲次覀儗⑵淅斫鉃樵诮o定訓(xùn)練數(shù)據(jù)集下第j個(gè)神經(jīng)元產(chǎn)生響應(yīng)的概率密度函數(shù)，所以就可以從信息論中引入相對熵（參見PRML的1.6.1小節(jié)）來度量與之間的差。相對熵定義為： 那么總的誤差項(xiàng)為： 對E關(guān)于和求導(dǎo)有： 前面已經(jīng)給出了GOTOBUTTONZEqnNum375945REFZEqnNum375945\*Charformat\!(0.30)式右邊第一部分關(guān)于和的求導(dǎo)方法?，F(xiàn)在來對GOTOBUTTONZEqnNum375945REFZEqnNum375945\*Charformat\!(0.30)式右邊第二部分進(jìn)行求導(dǎo)，右邊第二部分關(guān)于的求導(dǎo)會(huì)是零，因?yàn)槠洳缓校F(xiàn)在對關(guān)于求導(dǎo)有： 式中特別寫出上標(biāo)m表示是針對第m個(gè)輸入數(shù)據(jù)時(shí)的求導(dǎo)。結(jié)合GOTOBUTTONZEqnNum569895REFZEqnNum569895\*Charformat\!(0.31)式，同時(shí)去掉公式前面的累加，即得到只針對第m個(gè)數(shù)據(jù)的新公式： 同時(shí)對的求導(dǎo)為： 比較GOTOBUTTONZEqnNum868005REFZEqnNum868005\*Charformat\!(0.13)式和GOTOBUTTONZEqnNum869763