神經(jīng)網(wǎng)絡的筆記

神經(jīng)網(wǎng)絡（NeuralNetwork）神經(jīng)網(wǎng)絡基礎神經(jīng)網(wǎng)絡組成神經(jīng)網(wǎng)絡是當前人工智能及機器學習中一個非常引人入圣的研究方向，因為它相比其它理論模型在最大程度上做到了與人的神經(jīng)網(wǎng)絡系統(tǒng)的相似。神經(jīng)網(wǎng)絡最早是在研究生物系統(tǒng)對信息處理進行處理的數(shù)學表示方法時被提出來的（McCullochandPitts,1943;WidrowandHoff,1960;Rosenblatt,1962），后來便被廣泛的應用到各種學習模型中并得到了非常顯著的效果。圖STYLEREF1\s0SEQ圖\*ARABIC\s11神經(jīng)元神經(jīng)絡網(wǎng)的基本處理單元被稱為神經(jīng)元，正如人的神經(jīng)細胞一樣。REF_Ref396386415\h圖01所示神經(jīng)元會有多個輸入，即x1，x2等等，每個輸入上都會對應一個權重來表示該輸入占的比重。神經(jīng)元的輸出稱為激活函數(shù)（activationfunction），可以理解為當給出一個特定的輸入的時候，神經(jīng)元所能做出的響應程度。這個函數(shù)通常使用的函數(shù)有兩個： 其中的，以及都為N維向量，N為輸入的個數(shù)。為偏置量，這個可以通過直線的方程構成來簡單的理解，比如有兩點分別為(0,1)和(2,2)，要構造過這兩點的方程不可能是過原點的，而會有一定的偏移。圖STYLEREF1\s0SEQ圖\*ARABIC\s12神經(jīng)網(wǎng)絡把神經(jīng)網(wǎng)絡分為了輸入層，隱藏層，輸出層。REF_Ref396386445\h圖02給出了一個簡單的神經(jīng)網(wǎng)絡模型，x1，x2等等為輸入單元，輸入單元可以看成特殊神經(jīng)元，其只對應一個輸入量且權值為1。從輸入層開始，對各層從1到L依次編號，在圖中表示第層的第個神經(jīng)元的激活函數(shù)(activationfunction)輸出。需要注意的是輸出層可能會不止一個神經(jīng)元，比如多類情況下的分類系統(tǒng)，每個神經(jīng)元對應一種分類。前向傳播前向傳播與反向傳播構成了實質(zhì)上的神經(jīng)網(wǎng)絡系統(tǒng)。舉個不恰當?shù)睦?，如果學過模擬電路課程就應該知道反饋放大電路。輸入一個信號，經(jīng)過這部分電路后出來一個放大了的信號，這個過程可以稱之為信號的前向傳播。而所謂反饋，就是將輸出反饋回來與我所設定的那么量進行比較再來調(diào)整放大電路。而反向傳播也就類似于這個反饋。前向傳播在理解和計算上都比較簡單，給定網(wǎng)絡輸入及各層的權值，便可以計算出最終的網(wǎng)絡輸出。L[t]到L[t+1]層對應的權值為矩陣，上標以其定義為： 是一個N*M的矩陣（注意M和N的順序），表示第t層有M個神經(jīng)元，第t+1層有N個神經(jīng)元。下面給出各層網(wǎng)絡的計算式：(1)第一層輸入層，此時t=1有。(2)隱藏層，此時，有： GOTOBUTTONZEqnNum598281REFZEqnNum598281\*Charformat\!(0.5)式使用的激活函數(shù)由GOTOBUTTONZEqnNum359846REFZEqnNum359846\*Charformat\!(0.1)式定義，也可以使用GOTOBUTTONZEqnNum390126REFZEqnNum390126\*Charformat\!(0.2)式定義的函數(shù)，這兩個函數(shù)。另GOTOBUTTONZEqnNum376832REFZEqnNum376832\*Charformat\!(0.4)式中表示矩陣的第j行。 為了不至于混淆，上標為t是應該知道表示的是第t層；上標為m時，表示的是第m條數(shù)據(jù)。反向傳播訓練數(shù)據(jù)為，共M條。為N維向量，表示一條數(shù)據(jù)有N個變量。為K維向量，表示有K個輸出。，可以看出為什么使用sigmoid激活函數(shù)，因為sigmoid函數(shù)的值域剛好吻合。如果，那么最好使用tanh函數(shù)。將每輸入一條數(shù)據(jù)進行訓練得到一個輸出，那么得到誤差量： 注意公式中的上標，表示是在輸入第m條數(shù)據(jù)下輸出層的第k個輸出量。在之后的公式中將只在E上用下標m表示是第m條數(shù)據(jù)，而其它處為了簡潔去掉上標m。所有數(shù)據(jù)訓練完了之后，就得到總的誤差： GOTOBUTTONZEqnNum386739REFZEqnNum386739\*Charformat\!(0.7)式可以看出E是W的函數(shù)，反向傳播用來調(diào)節(jié)的量便是。在以梯度下降的一系列的算法中，對關于求導是整個反向傳播的核心。現(xiàn)在首先對輸出層進行操作，即對關于求導。對求導得到： GOTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)式右邊只是單獨對求導，是因為的下標是ji，表示是只連接到第j個神經(jīng)元，與其它神經(jīng)元是無關的，自然導數(shù)是零?？梢詫OTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)式分為兩部分，對于輸出層，式GOTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)右邊第一部分定義為第j個神經(jīng)元的誤差項（erroritem），結(jié)合GOTOBUTTONZEqnNum937580REFZEqnNum937580\*Charformat\!(0.6)式有： 結(jié)合GOTOBUTTONZEqnNum376832REFZEqnNum376832\*Charformat\!(0.4)GOTOBUTTONZEqnNum598281REFZEqnNum598281\*Charformat\!(0.5)式的第二部分可以容易的寫出： 對偏置量的求導與對的求導類似： 上面的描述了對進行求導的步驟，或者說是對中單個元素的求導。現(xiàn)在對隱藏層的權值矩陣進行求導操作，權值矩陣上標t從1到L-2，其對應的是第t+1層隱藏層。與GOTOBUTTONZEqnNum568312REFZEqnNum568312\*Charformat\!(0.9)式類似有： 式GOTOBUTTONZEqnNum868005REFZEqnNum868005\*Charformat\!(0.13)中第二部分同GOTOBUTTONZEqnNum236386REFZEqnNum236386\*Charformat\!(0.10)類似有： 而第一部分卻有一些區(qū)別，因為是的直接函數(shù)，而不是對或等的直接函數(shù)。想像一下，每個隱藏層的作為了其后一層每一個的參量，因此要用到間接求導法則來求： 式中H為第K+2層神經(jīng)元的個數(shù)。同樣結(jié)合GOTOBUTTONZEqnNum376832REFZEqnNum376832\*Charformat\!(0.4)GOTOBUTTONZEqnNum598281REFZEqnNum598281\*Charformat\!(0.5)式有： 將從累加中提出來，所以GOTOBUTTONZEqnNum138722REFZEqnNum138722\*Charformat\!(0.15)式可以寫成： 最終的對求導可以寫成： 另外有： 通過前面的論述，知道通過量的反向傳播能夠計算得到對各層及的導數(shù)。而中有一項是。這里給出sigmoid和tanh函數(shù)的導數(shù)： 至止，所有的關于反向傳播需要的內(nèi)容都已經(jīng)得到，為了得到使總誤差最小時的及（統(tǒng)稱為參數(shù)），通常采用的是梯度下降算法（或BFGS方法）。那么，可以迭代地調(diào)用： 其中參數(shù)稱為步長，它體現(xiàn)了學習的速率，不過它的值不益過大，因為可能會造成震蕩而不易收斂。如果值適當，則經(jīng)過一步一步迭代計算便可以將誤差減到最小值。這個值可能是局部最小值或是全局最小值，這取決于總誤差函數(shù)是convex還是multimodal。高級優(yōu)化與梯度檢查為了防止神經(jīng)網(wǎng)絡出現(xiàn)類似與線性回歸中遇到的過擬合現(xiàn)象，可以像GOTOBUTTONZEqnNum683123REFZEqnNum683123\*Charformat\!(0.23)式一樣在總誤差函數(shù)上增加一個正則化項（Regularizationterm）。通過它來對權值進行懲罰，避免出現(xiàn)過大的權值使得網(wǎng)絡過擬合。 GOTOBUTTONZEqnNum683123REFZEqnNum683123\*Charformat\!(0.23)式中的第二項包括了所有各層的權值。但是這種簡單的權值正則化項存在一個問題，其對網(wǎng)絡的線性性質(zhì)不具有連續(xù)性。這里暫且不講，參見PRML的5.5節(jié)。現(xiàn)在討論一下梯度檢查問題，因為反向傳播算法是非常難調(diào)試的，代碼編寫的一丁點錯誤（比如標號錯誤）可能就像得到看上去很像但是并非正確的結(jié)果。因此引入梯度的數(shù)值計算來對梯度的解析計算進行驗證。 對GOTOBUTTONZEqnNum136508REFZEqnNum136508\*Charformat\!(0.24)右邊第二項進行泰勒公式展開： 去掉項對求解的影響非常小，因為它是的高階無窮小項，而值本來就是選持的一個非常小的量。這樣一來就可以使用來計算出梯度的數(shù)值解。 通過解析解與數(shù)值解的對比，便可以檢查編寫的求梯度代碼的正確性。稀疏自編碼自編碼是一種無監(jiān)督學習方法，說白了就是通過學習使得給定輸入，那么輸出盡最大可能的模仿這個輸入。如REF_Ref396502412\h圖03所示。圖STYLEREF1\s0SEQ圖\*ARABIC\s13自編碼神經(jīng)網(wǎng)絡 當有一組沒有標簽的數(shù)據(jù)時，每輸入一個數(shù)據(jù)，那么網(wǎng)絡的輸出。實際上相當于給這組數(shù)據(jù)設定了標簽，得到有標簽的數(shù)據(jù)集，只不過標簽就是輸入數(shù)據(jù)本身而已。自編碼看上去似乎沒有什么意義，但是通過給自編碼網(wǎng)絡的隱藏層增加稀疏性的限制便可以非常好的提取輸入的特征。 理想的情況下，當給定帶有某一類特征的輸入數(shù)據(jù)時(比如同樣是斜邊的圖像切片)，應該只有那么一個神經(jīng)元激活度相對較高，也說是這個神經(jīng)元能夠很好的抓住這類數(shù)據(jù)中的特征。同時，其它神經(jīng)元此時是不活躍的，即處于睡眠狀態(tài)。當數(shù)據(jù)量很大時，每個神經(jīng)元就可以假定在大部分時間都是睡眠狀態(tài)的。我們給網(wǎng)絡加上這個假定的限制來進行訓練，便可以獲得權值來使得隱藏層神經(jīng)元能夠近似地提取數(shù)據(jù)的各特征。 令表示隱藏層第j個神經(jīng)元的激活度，那么定義這個神經(jīng)元在所有數(shù)據(jù)下的平均激活度為： 在這個平均激活度上加一個限制，令等于一個非常小的值（比如0.05）。為了實現(xiàn)這個限制，在誤差函數(shù)中加入一個懲罰因子，懲罰那些與有差別的神經(jīng)元使其平均激活度保持得很小。因為，那么我們將其理解為在給定訓練數(shù)據(jù)集下第j個神經(jīng)元產(chǎn)生響應的概率密度函數(shù)，所以就可以從信息論中引入相對熵（參見PRML的1.6.1小節(jié)）來度量與之間的差。相對熵定義為： 那么總的誤差項為： 對E關于和求導有： 前面已經(jīng)給出了GOTOBUTTONZEqnNum375945REFZEqnNum375945\*Charformat\!(0.30)式右邊第一部分關于和的求導方法?，F(xiàn)在來對GOTOBUTTONZEqnNum375945REFZEqnNum375945\*Charformat\!(0.30)式右邊第二部分進行求導，右邊第二部分關于的求導會是零，因為其不含有，現(xiàn)在對關于求導有： 式中特別寫出上標m表示是針對第m個輸入數(shù)據(jù)時的求導。結(jié)合GOTOBUTTONZEqnNum569895REFZEqnNum569895\*Charformat\!(0.31)式，同時去掉公式前面的累加，即得到只針對第m個數(shù)據(jù)的新公式： 同時對的求導為： 比較GOTOBUTTONZEqnNum868005REFZEqnNum868005\*Charformat\!(0.13)式和GOTOBUTTONZEqnNum869763