神經(jīng)網(wǎng)絡(luò)-第四章bp課件

神經(jīng)網(wǎng)絡(luò)原理第4章反向傳播網(wǎng)絡(luò)

反向傳播網(wǎng)絡(luò)也稱為BP(BackPropagation)網(wǎng)絡(luò)，采用推廣的W-H學(xué)習(xí)規(guī)則-BP算法BP網(wǎng)絡(luò)的主要用途：函數(shù)逼近模式識(shí)別分類數(shù)據(jù)壓縮：在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80%~90%的網(wǎng)絡(luò)模型都是BP網(wǎng)絡(luò)及其變化形式。1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)

BP網(wǎng)絡(luò)模型

輸入層隱層輸出層1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)權(quán)值與偏差：隱層輸出層，1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)一組輸入與輸出多組輸入與輸出，，關(guān)系表達(dá)式：

1.輸入向量、輸出向量的維數(shù)、網(wǎng)絡(luò)隱藏層的層數(shù)和各個(gè)隱藏層神經(jīng)元的個(gè)數(shù)的決定。2.BP網(wǎng)很多都選用二級(jí)網(wǎng)絡(luò)。1BP網(wǎng)絡(luò)模型與結(jié)構(gòu)2BP學(xué)習(xí)規(guī)則▲BP算法的主要思想：通過引入誤差函數(shù)，對(duì)于學(xué)習(xí)樣本P及目標(biāo)輸出T，利用梯度下降法來調(diào)整權(quán)值W和B，使網(wǎng)絡(luò)的實(shí)際輸出A與T盡可能接近，而使誤差盡量達(dá)到最小。其過程是用輸出層的誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對(duì)權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)相反的方向逐級(jí)向輸入端傳遞的過程▲BP算法從形式上看，分為兩個(gè)計(jì)算過程：1．信息的正向傳遞；2.調(diào)整W和B的誤差反向傳播2BP學(xué)習(xí)規(guī)則1.信息的正向傳遞▲隱層中第i個(gè)神經(jīng)元輸出：▲輸出層中第k個(gè)神經(jīng)元輸出：2BP學(xué)習(xí)規(guī)則▲誤差函數(shù)一組輸入情形：

其中，2BP學(xué)習(xí)規(guī)則2.誤差反向傳播▲輸出層權(quán)值、偏差的調(diào)整因?yàn)楣视勺钏傧陆捣?，得?quán)值改變量：2BP學(xué)習(xí)規(guī)則偏差改變量：其中▲隱層權(quán)值、偏差的調(diào)整

因?yàn)?BP學(xué)習(xí)規(guī)則故由最速下降法，得其中3誤差反向傳播的流程圖

與圖形解釋S型激活函數(shù)

1（0,0.5）

n（0,0）o

0.5f′(n)0.25o0

14BP網(wǎng)絡(luò)的訓(xùn)練

及其設(shè)計(jì)過程▲設(shè)計(jì)Bp網(wǎng)絡(luò)的結(jié)構(gòu)包括以下內(nèi)容：網(wǎng)絡(luò)的層數(shù)，每層神經(jīng)元數(shù)，每層的激活函數(shù)等▲BP網(wǎng)絡(luò)的訓(xùn)練步驟：1）初始化每層權(quán)值和偏差，期望誤差，最大循環(huán)次數(shù)，學(xué)習(xí)率等2）建立多層前向網(wǎng)絡(luò)函數(shù)newcf.m或newff.m，格式如下：net=newcf(minmax(P),[5,1],{‘tansig’‘purelin’},‘traingd’);3)訓(xùn)練net=train(net,P,T)4BP網(wǎng)絡(luò)的訓(xùn)練

及其設(shè)計(jì)過程例4.1用于函數(shù)逼近的BP網(wǎng)絡(luò)的設(shè)計(jì)。▲迭代次數(shù)：經(jīng)過4000-7000次訓(xùn)練成功，誤差小于給定的門限誤差0.02?！`差變化圖：逼近曲線效果良好▲結(jié)論：二層BP網(wǎng)絡(luò)可很好地逼近非線性函數(shù)。

算法traingd.m的缺省參數(shù)：Net.trainParam.epochs=10;%最大訓(xùn)練次數(shù)Net.trainParam.goal=0;%訓(xùn)練誤差門限值Net.trainParam.lr=0.15;%學(xué)習(xí)率Net.trainParam.min_grad=le-10%最小執(zhí)行梯度Net.trainParam.show=25；%顯示循環(huán)間隔數(shù)Net.trainParam.time=inf%最大訓(xùn)練時(shí)間5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.2考慮兩個(gè)單元輸入的聯(lián)想問題：其輸入和輸出為：P=[-32],T=[0.4,0.8]目標(biāo)誤差：0.001該問題可采用自適應(yīng)網(wǎng)絡(luò)解決：w=0.08,b=0.64,e=T-A=0利用Bp網(wǎng)絡(luò)解決：有一定誤差。

結(jié)論：能利用自適應(yīng)網(wǎng)絡(luò)或感知器解決的問題，應(yīng)盡量不用Bp網(wǎng)絡(luò)；能利用單層網(wǎng)絡(luò)解決的問題，應(yīng)盡量多層網(wǎng)絡(luò)解決。5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.3用一層網(wǎng)絡(luò)來實(shí)現(xiàn)下面的輸入/輸出關(guān)系：P=[-6-6.1-4.1-444.166.1]T=[0.00.00.970.990.010.0311]▲理論分析：約束等式共8個(gè)，參數(shù)1個(gè)權(quán)值+1個(gè)偏差。因此，可能無準(zhǔn)確解?！抡嬗?jì)算：可求出近似解。但效果與線性網(wǎng)絡(luò)相當(dāng)。▲逼近圖效果：近似解相當(dāng)于一種分類功能。▲結(jié)論：利用單層網(wǎng)絡(luò)解決問題，應(yīng)先考慮利用感知器和自適應(yīng)線性元件。5BP網(wǎng)絡(luò)的設(shè)計(jì)例4.4非線性誤差曲面特性觀察▲BP網(wǎng)絡(luò)的誤差函數(shù)E凸凹不平，有些地方很平坦，另外的地方很陡峭，這對(duì)算法的效果有較大影響?！鴱奶岣咚惴ǖ男噬现v，在陡峭的地方應(yīng)選擇小的學(xué)習(xí)率，以避免“過調(diào)”，在平坦的地方利用大學(xué)習(xí)率，以加快收斂速度?！Y(jié)論：常學(xué)習(xí)率在誤差曲面非常不規(guī)則時(shí)可能效果不好。

5BP網(wǎng)絡(luò)的設(shè)計(jì)▲訓(xùn)練效果表

s1Time(s)epoch25.7111834.409044.398854.458564.6285203.5768254.0672305.11965BP網(wǎng)絡(luò)的設(shè)計(jì)▲分析：神經(jīng)元太少，影響學(xué)習(xí)效果，精度不高，易訓(xùn)練失敗理論上講，神經(jīng)元越多，網(wǎng)絡(luò)功能越強(qiáng)，但神經(jīng)元越多訓(xùn)練時(shí)間會(huì)增加，并可能出現(xiàn)不協(xié)調(diào)的擬合。s1=3,4,5,6的效果相當(dāng)，s1小，循環(huán)一次的時(shí)間少

▲結(jié)論：在隱層神經(jīng)元數(shù)設(shè)計(jì)的原則是在能解決問題的情況下，增加1~2個(gè)神經(jīng)元。5BP網(wǎng)絡(luò)的設(shè)計(jì)4學(xué)習(xí)速率學(xué)習(xí)率的大小對(duì)算法的影響：過大的學(xué)習(xí)率使計(jì)算不穩(wěn)定，出現(xiàn)“震蕩”過小的學(xué)習(xí)率導(dǎo)致計(jì)算時(shí)間長，收斂慢。學(xué)習(xí)率選取一般在0.01~0.8之間問題：由于誤差曲面的復(fù)雜性，有的地方要求大學(xué)習(xí)率，另外地方要求小的學(xué)習(xí)率。例4.75BP網(wǎng)絡(luò)的設(shè)計(jì)5期望誤差的選取期望誤差的大小對(duì)訓(xùn)練的影響：▲期望誤差的大小受問題本身的影響，應(yīng)選擇適當(dāng)；▲期望誤差過小，往往要求多的隱含層的節(jié)點(diǎn)數(shù)，并可能增加訓(xùn)練時(shí)間。▲實(shí)際訓(xùn)練時(shí)，可選擇2-3個(gè)不同的期望誤差進(jìn)行比較后，進(jìn)行綜合考慮6限制與不足

BP算法存在問題：完全不能訓(xùn)練網(wǎng)絡(luò)的麻痹現(xiàn)象局部最小訓(xùn)練時(shí)間過長，復(fù)雜問題甚至要訓(xùn)練幾天到幾周時(shí)間。選取了不適當(dāng)?shù)膶W(xué)習(xí)速率6限制與不足網(wǎng)絡(luò)的麻痹現(xiàn)象在訓(xùn)練過程中，加權(quán)調(diào)得較大可能迫使所有的或大部分的加權(quán)和輸出sj較大，從而使得操作會(huì)在S型函數(shù)的飽和區(qū)進(jìn)行，此時(shí)函數(shù)處在其導(dǎo)數(shù)f’(s)非常小的區(qū)域內(nèi)。由于在計(jì)算加權(quán)修正量時(shí)，σ正比于f’(s)，因此當(dāng)f’(s)->0時(shí)σ->0，這使得，相當(dāng)于調(diào)節(jié)過程幾乎停頓下來。為了避免這種現(xiàn)象，可將學(xué)習(xí)（訓(xùn)練）速率系數(shù)η減小，但這又會(huì)增加訓(xùn)練時(shí)間。6限制與不足局部最小BP訓(xùn)練算法實(shí)際上采用梯度下降法，訓(xùn)練過程從某一起始點(diǎn)沿誤差函數(shù)的斜面最陡方向逐漸達(dá)到最小點(diǎn)E->0。對(duì)于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)面在多維空間，其表面可能凹凸不平，因而在訓(xùn)練過程中可能會(huì)陷入某一個(gè)小谷區(qū)，稱之為局部最小點(diǎn)。由此點(diǎn)向各方向變化均使E增加，以致無法逃出這個(gè)局部最小點(diǎn)。6限制與不足局部最小點(diǎn)示意圖初始隨機(jī)加權(quán)的影響。如果這些加權(quán)太大，可能一開始就使網(wǎng)絡(luò)處于S型函數(shù)飽和區(qū)，系統(tǒng)就很有可能陷入局部最小。為此，可采用如下策略選取隨機(jī)加權(quán)值：－使結(jié)點(diǎn)輸入加權(quán)和的絕對(duì)值|sj|<1，但又不可太小。－可選擇各加權(quán)值的量級(jí)為，其中ki為連接到結(jié)點(diǎn)j的所有前層結(jié)點(diǎn)的數(shù)目。6限制與不足學(xué)習(xí)速率η大小如果η選得太小，收斂會(huì)很慢；如果η選得太大，可能出現(xiàn)麻痹現(xiàn)象或連續(xù)不穩(wěn)定。需按照實(shí)驗(yàn)和經(jīng)驗(yàn)確定η。Wasserman曾提出自適應(yīng)學(xué)習(xí)速率算法，在訓(xùn)練過程中自動(dòng)調(diào)節(jié)階距的大小。舉例7反向傳播法的改進(jìn)1附加動(dòng)量法基本思想：在BP法的調(diào)整權(quán)值方法的基礎(chǔ)上，增加一個(gè)正比于前次權(quán)值變化量的值，稱之為附加動(dòng)量(法)附加動(dòng)量法的計(jì)算公式：其中，k為訓(xùn)練次數(shù)，mc為動(dòng)量因子，可取0.95左右。7反向傳播法的改進(jìn)▲附加動(dòng)量法的一個(gè)顯著特點(diǎn)：避免局部極小值

在誤差曲面很平坦的地方，接近0，此時(shí)BP法的權(quán)值修正量幾乎為0，但。這樣防止了，并可從誤差曲面的局部極小值中跳出來?！嚓P(guān)函數(shù)的動(dòng)量因子的調(diào)整公式

▲工具函數(shù)：traingdm.m作為train.m或newcf.m的一個(gè)選項(xiàng)。

7反向傳播法的改進(jìn)附加動(dòng)量法的幾個(gè)問題學(xué)習(xí)速率的選擇：不能太大，或太小訓(xùn)練次數(shù)的選擇：要給予足夠的訓(xùn)練次數(shù)初始值的選擇：誤差下降方向，位置選擇7反向傳播法的改進(jìn)2自適應(yīng)學(xué)習(xí)速率▲恰當(dāng)學(xué)習(xí)率的選取很困難，主要憑經(jīng)驗(yàn)或訓(xùn)練▲過大或過小的學(xué)習(xí)率對(duì)訓(xùn)練都不利▲固定學(xué)習(xí)率的不足之處在于沒有利用誤差曲面的特性，因此影響了學(xué)習(xí)效果；自適應(yīng)學(xué)習(xí)利用誤差曲面特性，可增強(qiáng)學(xué)習(xí)效果。基本思想：在誤差曲面平坦之處利用大學(xué)習(xí)率，可避免無法“訓(xùn)練”現(xiàn)象，加快收斂速度等；在誤差曲面非常狹窄陡峭之處，利用小學(xué)習(xí)率，可避免出現(xiàn)“過調(diào)”現(xiàn)象。

7反向傳播法的改進(jìn)▲一種自適應(yīng)學(xué)習(xí)率的調(diào)整公式：

注：的選取有任意性。工具函數(shù)：taningda.m作為train.m的參數(shù)。動(dòng)量法和變學(xué)習(xí)率算法可結(jié)合起來：taningdx.m調(diào)用格式：net=newff(minmax(P),[5,1],(‘tansig’,’purelin’),’traingdx’)▲例題7反向傳播法的改進(jìn)3彈性BP算法

▲標(biāo)準(zhǔn)的BP法中利用S型函數(shù)，其不足之處在于當(dāng)輸入絕對(duì)值很大時(shí)，，訓(xùn)練可出現(xiàn)完全不能訓(xùn)練；▲彈性BP算法：只取的符號(hào)，它決定了權(quán)值變化的方向，確定一個(gè)“更新值”；若連續(xù)兩次“同號(hào)”，增加更新值；否則，減少更新值。算法出現(xiàn)“振蕩”，減少“更新值”。8基于數(shù)值優(yōu)化方法的訓(xùn)練算法

BP網(wǎng)絡(luò)訓(xùn)練實(shí)質(zhì)是一個(gè)非線性目標(biāo)函數(shù)優(yōu)化問題。求誤差函數(shù)極小值，除了可利用“最速下降法”-BP法外，還存在其他求極小值方法—稱為“優(yōu)化”法。BP法是利用誤差函數(shù)的一階導(dǎo)數(shù)信息，此外，還有利用“二階導(dǎo)數(shù)”信息的“優(yōu)化”算法，例如：

擬牛頓法，Levenberg-Marquardt法，共軛梯度法等。8基于數(shù)值優(yōu)化方法的訓(xùn)練算法▲優(yōu)化算法的統(tǒng)一表示如下：尋優(yōu)分二步：確定當(dāng)前迭代的最佳搜索方向；在該方向上尋找最優(yōu)步長；梯度下降法、擬牛頓法、Levenberg-Marquardt法、共軛梯度法等是其中的幾種尋優(yōu)方法。他們的主要區(qū)別在于“尋優(yōu)”的技巧不一樣。8基于數(shù)值優(yōu)化方法的訓(xùn)練算法擬牛頓法牛頓法的步驟:第一次迭代的搜索方向：負(fù)梯度方向調(diào)整公式為以后的各次迭代的搜索方向：調(diào)整公式為8基于數(shù)值優(yōu)化方法的訓(xùn)練算法其中是海森（Hessian）矩陣：?一個(gè)問題：

海森（Hessian）矩陣的計(jì)算量和存儲(chǔ)量大，因此，利用不同的簡化計(jì)算方法得到不同的“擬牛頓法”8基于數(shù)值優(yōu)化方法的訓(xùn)練算法1．BFGS擬牛頓法：海森矩陣的近似計(jì)算公式：其中，。的調(diào)整與牛頓法一致。近似的海森矩陣存儲(chǔ)量仍然巨大，計(jì)算較為復(fù)雜。8基于數(shù)值優(yōu)化方法的訓(xùn)練算法2．正割擬牛頓法搜索方向：其中與BFGS法相比，正割法減少了存儲(chǔ)量和計(jì)算量。8基于數(shù)值優(yōu)化方法的訓(xùn)練算法共軛梯度法共軛梯度法可避免梯度下降法中速度慢，擬牛頓法計(jì)算復(fù)雜的弊端，其過程如下：第1次迭代的搜索方向?yàn)樨?fù)梯度方向：其后的搜索方向其中，的不同選法可構(gòu)成不同的共軛梯度法。

8基于數(shù)值優(yōu)化方法的訓(xùn)練算法常見的兩種形式：其中

▲共軛梯度法通常比梯度下降法速度要快，且減少存儲(chǔ)量和計(jì)算量。

或8基于數(shù)值優(yōu)化方法的訓(xùn)練算法Levenbe