數(shù)據(jù)挖掘算法介紹

1、后向傳播“后向傳播如何工作？”后向傳播通過迭代地處理一組訓(xùn)練樣本，將每個樣本的網(wǎng)絡(luò)預(yù)測與實際知道的類標(biāo)號比較，進(jìn)行學(xué)習(xí)。對于每個訓(xùn)練樣本，修改權(quán)，使得網(wǎng)絡(luò)預(yù)測和實際類之間的均方誤差最小。這種修改“后向”進(jìn)行，即由輸出層，經(jīng)每個隱藏層，到第一個隱 藏層(因此稱作后向傳播)。盡管不能保證，一般地，權(quán)將最終收斂，學(xué)習(xí)過程停止。算法 在圖7.8中給出。算法：后向傳播。使用后向傳播的神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)。 輸入：訓(xùn)練樣本samples，學(xué)習(xí)率I，多層前饋神經(jīng)網(wǎng)絡(luò) network。 輸出：一個訓(xùn)練的、對樣本分類的神經(jīng)網(wǎng)絡(luò)。方法：1) 初始化network的權(quán)和偏置。2) while終止條件不滿足3) for

2、samples中的每個訓(xùn)練樣本X4) /向前傳播輸入5) for隱藏或輸出層每個單元j6) ij = 7 jWjjOj r ； /相對于前一層i，計算單元j的凈輸入7) Oj =1 (1 e)；/計算每個單元j的輸出8) /后向傳播誤差9) for輸出層每個單元j10) Err j =0j(1 -Oj)(Tj - Oj) ； /計算誤差11) for由最后一個到第一個隱藏層，對于隱藏層每個單元j12) Errj =0j(1-Oj)v k ErgWjk ； 計算關(guān)于下一個較高層k的誤差13) for network 中每個權(quán) wij 14) Wj -(l)ErrjOi ； /權(quán)增值15) WjW

3、j ； / 權(quán)更新16) for network 中每個偏差-j 17) =(l)E； /偏差增值18) 可-可； /偏差更新19) 圖7.8后向傳播算法每一步的解釋如下：初始化權(quán)：網(wǎng)絡(luò)的權(quán)被初始化為很小的隨機(jī)數(shù)(例如，由 -1.0到1.0，或由-0.5到0.5)。 每個單元有一個偏置，在下面解釋。偏置也類似地初始化為小隨機(jī)數(shù)。每個樣本X按以下步驟處理。向前傳播輸入：在這一步，計算隱藏層和輸出層每個單元的凈輸入和輸出。首先，訓(xùn)練樣本提供給網(wǎng)絡(luò)的輸入層。注意，對于輸入層的單元j，它的輸出等于它的輸入，即對于單兀j， Oj = ij。然后，隱藏層和輸出層的每個單元的凈輸入用其輸入的線性組合計算。為

4、 幫助解釋這一點，圖 7.9給出了一個隱藏層或輸出層單元。事實上，單元的輸入是連接它的 前一層的單元的輸出。為計算它的凈輸入，連接該單元的每個輸入乘以其對應(yīng)的權(quán)，然后求和。給定隱藏層或輸出層的單元j，到單元j的凈輸入Ij是I LWjOi (7.13)其中，Wjj是由上一層的單元i到單元j的連接的權(quán)；Oi是上一層單元i的輸出；而v j是 單元j的偏置。偏置充當(dāng)閾值，用來改變單元的活性。隱藏層和輸出層的每個單元取其凈輸入， 然后將一個賦活函數(shù)作用于它，如圖7.9所示。 該函數(shù)用符號表現(xiàn)單元代表的神經(jīng)元活性。使用logistic或simoid函數(shù)。給定單元j的凈輸入Ij，則單元j的輸出q用下式計算：

5、Oj =1 (1 eJj)(7.14)該函數(shù)又稱擠壓函數(shù)，因為它將一個較大的輸入值域映射到較小的區(qū)間0到1。Logistic函數(shù)是非線性的和可微的，使得后向傳播算法可以對線性不可分的分類問題建模。向后傳播誤差：通過更新權(quán)和偏置以反映網(wǎng)絡(luò)預(yù)測的誤差，向后傳播誤差。對于輸出層單元j，誤差Errj用Err j = Oj(1 - Oj )(- Oj )(7.15)計算，其中Oj是單元j的輸出，而Tj是j基于給定訓(xùn)練樣本的已知類標(biāo)號的真正輸出。注意，Oj(1-Oj)是logistic函數(shù)的導(dǎo)數(shù)。為計算隱藏層單元j的誤差，考慮下一層中連接j的單元的誤差加權(quán)和。隱藏層單元j的誤差是Errj =Oj(1-Oj

6、) kErrkWkj(7.16)其中，wkj是由下一較高層中單元 k到單元j的連接權(quán)，而Errk是單元k的誤差。 更新權(quán)和偏差，以反映傳播的誤差。權(quán)由下式更新，其中:Wij是權(quán)Wij的改變。Wj =(l)EOj(7.17)Wj 二 WjWj(7.18)7.18式中的I是學(xué)習(xí)率，通常取 0和1之間的一個常數(shù)值。 后向傳播學(xué)習(xí)使用梯度下降 法搜索權(quán)值的集合。這些權(quán)值可以對給定的分類問題建模，使得樣本的網(wǎng)絡(luò)預(yù)測和實際的類標(biāo)號距離平方的平均值最小。 學(xué)習(xí)率幫助避免陷入判定空間的局部最小 (即權(quán)值看上去收斂， 但不是最優(yōu)解)，并有助于找到全局最小。如果學(xué)習(xí)率太小，學(xué)習(xí)將進(jìn)行得很慢。如果學(xué)習(xí)1 t。其中，

7、t率太大，可能出現(xiàn)在不適當(dāng)?shù)慕庵g擺動。一個經(jīng)驗規(guī)則是將學(xué)習(xí)率設(shè)置為是已對訓(xùn)練樣本集迭代的次數(shù)。偏置由下式更新，其中.r是偏置 引的改變： *j =（l）Errj（ 7.19）巧-y j（ 7.20）注意，這里我們每處理一個樣本就更新權(quán)和偏置，這稱作 實例更新（case update）。權(quán) 和偏置的增量也可以累積到變量中，使得可以在處理完訓(xùn)練集中的所有樣本之后再更新權(quán)和偏置。后一種策略稱作 周期更新（epoch update），掃描訓(xùn)練集的一次迭代是一個周期。理論 上，后向傳播的數(shù)學(xué)指導(dǎo)使用周期更新，而實踐中實例更新更常見，因為它通常產(chǎn)生更準(zhǔn)確的結(jié)果。權(quán)加權(quán)和偏置6 j輸出賦活函數(shù)輸入（前一層

8、的輸出）圖7.9 一個隱藏或輸出單元j: j的輸入是來自前一層的輸出；這些與對應(yīng)的權(quán)相乘，以形成加權(quán)和；加權(quán)和加到與單元j相聯(lián)的偏置上；一個非線性的賦活函數(shù)用于凈輸入終止條件：訓(xùn)練停止，如果前一周期所有的AWj都很小，小于某個指定的閾值，或前一周期未正確分類的樣本百分比小于某個閾值，或超過預(yù)先指定的周期數(shù)。實踐中，權(quán)收斂可能需要數(shù)十萬個周期。例7.4通過后向傳播算法學(xué)習(xí)的樣本計算。圖7.10給出了一個多層前饋神經(jīng)網(wǎng)絡(luò)。設(shè)學(xué)習(xí)率為0.9。該網(wǎng)絡(luò)的初始權(quán)值和偏置值以及第一個訓(xùn)練樣本X=1,0,1（其類標(biāo)號為1）在表7.3中給出。X1X2X3圖7.10多層前饋神經(jīng)網(wǎng)絡(luò)的一個例子表7.3初始輸入、權(quán)值

9、和偏差值X1X2X3W14W15W24W25W34W35W46W561010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1給定第一個訓(xùn)練樣本 X，該例展示后向傳播計算。首先將樣本提供給網(wǎng)絡(luò)，計算每個單元的凈輸入和輸出。 這些值在表7.4中。計算每個單元的誤差，并后向傳播。誤差值在表7.51 (11 e0.105) = 0.474中，權(quán)和偏置的更新在表7.6中。單元j凈輸入Ij輸出Oj40.2+0-0.5-0.4=-0.71 (11 e0.7) =0.3325-0.3+0+0.2+0.2=0.11 (11 e.1) =0.525表7.4凈輸入和輸岀的計算表6(-0.3

10、)(0.332)-(0.2)(0.525)+0.1=-0.105表7.5計算每個節(jié)點的誤差單元jErrj6(0.474)(1-0.474)(1-0.474)=0.13115(0.525)(1-0.525)(0.1311)(-0.2)=-0.006540.474(1-0.332)(1.1311)(-0.3)=-0.0087表7.6計算權(quán)和偏置的更新權(quán)或偏差新值W56-0.2+(0.9)(0.1311)(0.525)=-0.138W140.2+(0.9)(-0.0087)(1)=0.192W15-0.3+(0.9)(0.0065)(1)=0.306W240.4+(0.9)(-0.0087)(0)=0.4W250.1+(0.9)(0.0065)(0)=0.1W34-0.5+(0.9)(-0.0087)(1)=-0.508W350.2+(0.9)