深度學(xué)習(xí)之反向傳播

1、深度學(xué)習(xí)之反向傳播算法（BackPropagation）算法簡(jiǎn)介反向傳播算法（BP算法）主要由兩個(gè)環(huán)節(jié)（激勵(lì)傳播、權(quán)重更新）反復(fù)循環(huán)迭代，直到網(wǎng)絡(luò)的對(duì)輸入的響應(yīng)達(dá)到預(yù)定的目標(biāo)范圍為止。BP算法要求每個(gè)人工神經(jīng)元（節(jié)點(diǎn)）所使用的激勵(lì)函數(shù)必須是可微的。BP算法特別適合用來訓(xùn)練前向神經(jīng)網(wǎng)絡(luò)。算法原理假設(shè)有一個(gè)固定樣本集（必1嚴(yán)1（工,嚴(yán)）,它包含個(gè)樣例?？梢杂门刻荻认陆捣▉砬蠼馍窠?jīng)網(wǎng)絡(luò)。具體來講，對(duì)于單個(gè)樣例，其代價(jià)函數(shù)（或損失函數(shù)）為：1；改%y）=I仇卬心）一磯I，這是一個(gè)（二分之一的）方差代價(jià)函數(shù)。給定一個(gè)包含m個(gè)樣例的數(shù)據(jù)集，可以定義整體代價(jià)函數(shù)為：Im1”1St76m嚴(yán)）+之（嗎？）1=

2、1_1=11=1=1%-1班周41,隊(duì)今L17=1.）-1以上公式中的第一項(xiàng)J（見例是一個(gè)均方差項(xiàng)。第二項(xiàng)是一個(gè)規(guī)則化項(xiàng)（也叫權(quán)重衰減項(xiàng)），其目的是減小權(quán)重的幅度，防止過度擬合。注：通常權(quán)重衰減的計(jì)算并不使用偏置項(xiàng)6,比如在的定義中就沒有使用。一般來說，將偏置項(xiàng)包含在權(quán)重衰減項(xiàng)中只會(huì)對(duì)最終的神經(jīng)網(wǎng)絡(luò)產(chǎn)生很小的影響。權(quán)重衰減參數(shù)又用于控制公式中兩項(xiàng)的相對(duì)重要性。在此重申一下這兩個(gè)復(fù)雜函數(shù)的含義：是針對(duì)單個(gè)樣例計(jì)算得到的方差代價(jià)函數(shù)；是整體樣本代價(jià)函數(shù)，它包含權(quán)重衰減項(xiàng)。以上的代價(jià)函數(shù)經(jīng)常被用于分類和回歸問題。在分類問題中，利用V=o或1,來代表兩種類型的標(biāo)簽（這是因?yàn)閟igmoid激活函數(shù)的值域

3、為如果我們使用雙曲正切型激活函數(shù)，那么應(yīng)該選用和作為標(biāo)簽）。對(duì)于回歸問題，我們首先要變換輸出值域，以保證其范圍為（同樣地，如果使用雙曲正切型激活函數(shù)，要使輸出值域?yàn)椋?。我們的目?biāo)是針對(duì)參數(shù)環(huán)和來求其函數(shù)的最小值。為了求解神經(jīng)網(wǎng)絡(luò)，需要將每一個(gè)參數(shù)和初始化為一個(gè)很小的、接近零的隨機(jī)值（比如說，使用正態(tài)分布生成的隨機(jī)值，其中設(shè)置為），之后對(duì)目標(biāo)函數(shù)使用諸如批量梯度下降法的最優(yōu)化算法。因?yàn)槭且粋€(gè)非凸函數(shù),梯度下降法很可能會(huì)收斂到局部最優(yōu)解；但是在實(shí)際應(yīng)用中，梯度下降法通常能得到令人滿意的結(jié)果。最后，需要再次強(qiáng)調(diào)的是，要將參數(shù)進(jìn)行隨機(jī)初始化，而不是全部置為。如果所有參數(shù)都用相同的值作為初始值，那么所有

4、隱藏層單元最終會(huì)得到與輸入值有關(guān)的、相同的函數(shù)（也就是說，對(duì)于所有，都會(huì)取相同的值，那么對(duì)于任何輸入都會(huì)有:（圖相同的值，那么對(duì)于任何輸入都會(huì)有:（圖1）。隨機(jī)初始化的目的是使對(duì)稱失效。梯度下降法中每一次迭代都按照如下公式對(duì)參數(shù)W和進(jìn)行更新:其中a是學(xué)習(xí)速率。其中關(guān)鍵步驟是計(jì)算偏導(dǎo)數(shù)。我們現(xiàn)在來講一下反向傳播算法，它是計(jì)算偏導(dǎo)數(shù)的一種有效方法。下面來介紹一下如何使用反向傳播算法來計(jì)算加,這兩項(xiàng)是單個(gè)樣例的代價(jià)函數(shù)的偏導(dǎo)數(shù)。一旦求出該偏導(dǎo)數(shù)，就可以推導(dǎo)出整體代價(jià)函數(shù)的偏導(dǎo)數(shù):以上兩行公式稍有不同，第一行比第二行多出一項(xiàng)，是因?yàn)闄?quán)重衰減是作用于W而不是。3.算法實(shí)例LayerLTLayerLLay

5、erLTLayerL2Layerk圖1三層神經(jīng)網(wǎng)絡(luò)上圖是典型的三層神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成，LayerL1是輸入層，LayerL2是隱含層，LayerL3是隱含層，給定一些數(shù)據(jù)xi，x2,x3,，xn，輸出也是一堆數(shù)據(jù)yi，y2,y3,，yn，現(xiàn)在將它們?cè)陔[含層做某種變換，讓輸入的數(shù)據(jù)訓(xùn)練后得到期望的輸出。如果輸出和原始輸入一樣，那么就是最常見的自編碼模型(Auto-Encoder)。如果輸出和原始輸入不一樣，那么就是很常見的人工神經(jīng)網(wǎng)絡(luò)了，相當(dāng)于讓原始數(shù)據(jù)通過一個(gè)映射來得到希望輸出的數(shù)據(jù)。在此直接舉一個(gè)例子，帶入數(shù)值演示反向傳播法的過程，假設(shè)，有一個(gè)網(wǎng)絡(luò)層：第一層是輸入層，包含兩個(gè)神經(jīng)元il,i2,和截距項(xiàng)吊；第二層是隱含層，包含兩