BP神經(jīng)網(wǎng)絡(luò)教學(xué)課件

BP神經(jīng)網(wǎng)絡(luò)2022/11/172一、內(nèi)容回顧二、BP網(wǎng)絡(luò)三、網(wǎng)絡(luò)設(shè)計(jì)四、改進(jìn)BP網(wǎng)絡(luò)五、內(nèi)容小結(jié)內(nèi)容安排2022/11/173一、內(nèi)容回顧感知器神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)2022/11/174一、內(nèi)容回顧感知器神經(jīng)網(wǎng)絡(luò)感知器簡介神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功能解釋學(xué)習(xí)和訓(xùn)練局限性線性神經(jīng)網(wǎng)絡(luò)2022/11/175一、內(nèi)容回顧感知器神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)Adline簡介網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練2022/11/1762.1BP網(wǎng)絡(luò)簡介2.2網(wǎng)絡(luò)模型2.3學(xué)習(xí)規(guī)則2.4圖形解釋2.5網(wǎng)絡(luò)訓(xùn)練二、BP網(wǎng)絡(luò)2022/11/177反向傳播網(wǎng)絡(luò)（Back-PropagationNetwork，簡稱BP網(wǎng)絡(luò)）是將W-H學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)權(quán)值的調(diào)整采用反向傳播（Back-propagation）的學(xué)習(xí)算法它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的激活函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射2.1BP網(wǎng)絡(luò)簡介2022/11/1782.1BP網(wǎng)絡(luò)簡介BP網(wǎng)絡(luò)主要用于下述方面函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進(jìn)行分類數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲具有較強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入2022/11/1792.2網(wǎng)絡(luò)模型一個具有r個輸入和一個隱層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

2022/11/17102.2網(wǎng)絡(luò)模型感知器和線性神經(jīng)網(wǎng)絡(luò)的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閾值函數(shù){0，1}或符號函數(shù){－1，1}BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)2022/11/17112.2網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)特點(diǎn)輸入和輸出是并行的模擬量網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接權(quán)值決定，沒有固定的算法權(quán)值通過學(xué)習(xí)信號調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明隱層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)值的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響當(dāng)希望對網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間時，在輸出層應(yīng)當(dāng)包含S型激活函數(shù)在一般情況下，均是在隱層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)2022/11/17122.2網(wǎng)絡(luò)模型S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無窮大到正無窮大的信號，變換成-1到l之間輸出對較大的輸入信號，放大系數(shù)較?。欢鴮^小的輸入信號，放大系數(shù)則較大采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系2022/11/17132.3

學(xué)習(xí)規(guī)則BP算法屬于算法，是一種有監(jiān)督的學(xué)習(xí)算法主要思想對于q個輸入學(xué)習(xí)樣本：P1,P2,…,Pq，已知與其對應(yīng)的輸出樣本為：T1,T2,…,Tq使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小用網(wǎng)絡(luò)的實(shí)際輸出A1,A2,…,Aq,與目標(biāo)矢量T1,T2,…,Tq之間的誤差修改其權(quán)值，使Am與期望的Tm(m＝l,…,q)盡可能接近2022/11/17142.3

學(xué)習(xí)規(guī)則BP算法是由兩部分組成，信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)2022/11/17152.3

學(xué)習(xí)規(guī)則假設(shè)輸入為p，輸入神經(jīng)元有r個，隱層內(nèi)有s1個神經(jīng)元，激活函數(shù)為f1，輸出層內(nèi)有s2個神經(jīng)元，對應(yīng)的激活函數(shù)為f2，輸出為a，目標(biāo)矢量為t2022/11/17162.3

學(xué)習(xí)規(guī)則信息的正向傳遞隱層中第i個神經(jīng)元的輸出輸出層第k個神經(jīng)元的輸出定義誤差函數(shù)2022/11/17172.3

學(xué)習(xí)規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播輸出層權(quán)值變化其中同理可得2022/11/17182.3

學(xué)習(xí)規(guī)則利用梯度下降法求權(quán)值變化及誤差的反向傳播隱層權(quán)值變化其中同理可得2022/11/17192.3

學(xué)習(xí)規(guī)則對于f1為對數(shù)S型激活函數(shù)，對于f2為線性激活函數(shù)2022/11/17202.4

誤差反向傳播圖形解釋誤差反向傳播過程實(shí)際上是通過計(jì)算輸出層的誤差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)f2’相乘來求得ki由于隱層中沒有直接給出目標(biāo)矢量，所以利用輸出層的ki反向傳遞來求出隱層權(quán)值的變化量w2ki。然后計(jì)算同樣通過將ei與該層激活函數(shù)的一階導(dǎo)數(shù)f1’相乘，而求得ij，以此求出前層權(quán)值的變化量w1ij如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差ek逐層的反推算到第一層為止2022/11/17212.4誤差反向傳播圖形解釋2022/11/17222.5網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果2022/11/17232.5網(wǎng)絡(luò)訓(xùn)練為了能夠較好地掌握BP網(wǎng)絡(luò)的訓(xùn)練過程，我們以兩層網(wǎng)絡(luò)為例來敘述BP網(wǎng)絡(luò)的訓(xùn)練步驟初始化：用小的隨機(jī)數(shù)初始化每一層的權(quán)值W和偏差B，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和期望誤差最小值error_goal最大循環(huán)次數(shù)max_epoch修正權(quán)值的學(xué)習(xí)速率1r2022/11/17242.5網(wǎng)絡(luò)訓(xùn)練變量表達(dá)：計(jì)算網(wǎng)絡(luò)各層輸出矢量A1和A2以及網(wǎng)絡(luò)誤差EA1＝tansig(W1*P，B1)；A2＝purelin(W2*A1，B2)；E＝T-A；權(quán)值修正：計(jì)算各層反傳的誤差變化D2和D1并計(jì)算各層權(quán)值的修正值以及新權(quán)值：D2＝deltalin(A2，E)；D1＝deltatan(A1，D2，W2)；[dlWl，dBl]＝learnbp(P，D1，lr)；[dW2，dB2]＝1earnbp(A1，D2，1r)；W1＝W1十dW1；B1＝B1十dBl；W2＝W2十dW2；B2＝B2十dB22022/11/17252.5網(wǎng)絡(luò)訓(xùn)練計(jì)算權(quán)值修正后誤差平方和SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2))檢查：SSE是否小于err_goal。若是，訓(xùn)練結(jié)束；否則繼續(xù)以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過程，可以用函數(shù)trainbp.m來完成它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差TP＝[disp_freqmax_epocherr_goal1r][W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP)2022/11/1726BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建

net=newff(PR,[S1S2…SN],{TF1TF2…TFN},BTF)PR為R2維矩陣，表示R維輸入矢量中每維輸入的最小值和最大值之間的范圍；

[S1S2…SN]表示N層神經(jīng)網(wǎng)絡(luò)各層神經(jīng)元的個數(shù)；

{TF1TF2…TFN}表示各層神經(jīng)元采用的激活函數(shù)；

BTF表示神經(jīng)網(wǎng)絡(luò)訓(xùn)練時所使用的訓(xùn)練函數(shù)；

net表示創(chuàng)建的神經(jīng)網(wǎng)絡(luò)對象。2022/11/1727BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

net=train(net,p,t)net表示訓(xùn)練前、后的神經(jīng)網(wǎng)絡(luò)對象；

p表示輸入矢量；

t表示目標(biāo)矢量。2022/11/1728BP神經(jīng)網(wǎng)絡(luò)的仿真

a=sim(net,p)a表示實(shí)際輸出矢量。2022/11/1729三、網(wǎng)絡(luò)設(shè)計(jì)3.1網(wǎng)絡(luò)的層數(shù)3.2隱層神經(jīng)元數(shù)3.3初始權(quán)值的選取3.4學(xué)習(xí)速率3.5期望誤差的選取3.6應(yīng)用舉例3.7局限性2022/11/17303.1網(wǎng)絡(luò)的層數(shù)理論上已經(jīng)證明：具有閾值和至少一個S型隱層加上一個線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)增加層數(shù)主要可以進(jìn)一步降低誤差，提高精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時間。一般情況下應(yīng)優(yōu)先考慮增加隱層中神經(jīng)元數(shù)目僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好2022/11/17313.2隱含層神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱層，而增加其神經(jīng)元數(shù)的方法來獲得。這在結(jié)構(gòu)實(shí)現(xiàn)上，要比增加更多的隱層簡單得多定理：實(shí)現(xiàn)任意N個輸入向量構(gòu)成的任何布爾函數(shù)的前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為在具體設(shè)計(jì)時，比較實(shí)際的做法是通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c(diǎn)余量2022/11/17323.3初始權(quán)值的選取一般取初始權(quán)值在(-1，1)之間的隨機(jī)數(shù)威得羅等人在分析了兩層網(wǎng)絡(luò)是如何對一個函數(shù)進(jìn)行訓(xùn)練后，提出一種選定初始權(quán)值的策略選擇權(quán)值的量級為在MATLAB工具箱中可采用函數(shù)nwlog.m或nwtan.m來初始化隱含層權(quán)值W1和B1其方法僅使用在第一個隱層的初始值的選取上，后面層的初始值仍然采用隨機(jī)取數(shù)2022/11/17333.4

學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率導(dǎo)致較長的訓(xùn)練時間，可能收斂很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01-0.8之間2022/11/17343.5

期望誤差值選取在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對比訓(xùn)練后確定一個合適的值這個所謂的“合適”，是相對于所需要的隱層的神經(jīng)元數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱層的神經(jīng)元，以及訓(xùn)練時間來獲得一般情況下，作為對比，可以同時對兩個不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個網(wǎng)絡(luò)2022/11/17353.6

應(yīng)用舉例建立BP網(wǎng)絡(luò)。訓(xùn)練樣本定義如下：輸入矢量為P=[-1-231;-115-3]目標(biāo)矢量為T=[-1-111]2022/11/17363.7

限制與不足需要較長的訓(xùn)練時間可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解2022/11/1737四、BP網(wǎng)絡(luò)的改進(jìn)4.1目標(biāo)4.2附加動量法4.3自適應(yīng)學(xué)習(xí)速率4.4其他改進(jìn)算法2022/11/17384.1目標(biāo)加快訓(xùn)練速度避免陷入局部極小值2022/11/17394.2附加動量法

利用附加動量的作用則有可能滑過局部極小值修正網(wǎng)絡(luò)權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性該方法是在反向傳播法的基礎(chǔ)上在每一個權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化2022/11/17404.2附加動量法

帶有附加動量因子的權(quán)值調(diào)節(jié)公式其中k為訓(xùn)練次數(shù)，mc為動量因子，一般取0.95左右附加動量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個動量因子來傳遞。當(dāng)動量因子取值為零時，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生當(dāng)動量因子取值為1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時，i將變得很小，于是，wij(k+1)≈wij(k)，從而防止了wij

=0的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出2022/11/17414.2附加動量法

在MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù)traingdm來實(shí)現(xiàn)的最基本的梯度下降算法，是由函數(shù)traingd來實(shí)現(xiàn)的2022/11/17424.3自適應(yīng)學(xué)習(xí)速率通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認(rèn)為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式2022/11/17434.3自適應(yīng)學(xué)習(xí)速率MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反向傳播訓(xùn)練的函數(shù)為traingda2022/11/17444.4其他改進(jìn)算法traingdx：自適應(yīng)學(xué)習(xí)速率動量梯度下降反向傳播算法結(jié)合了動量梯度下降算法和自適應(yīng)學(xué)習(xí)速率梯度下降算法，使網(wǎng)絡(luò)的訓(xùn)練速度和穩(wěn)定性有了進(jìn)一步提高2022/11/17454.4其他改進(jìn)算法trainlm：Levenberg-Marquardt反向傳播算法訓(xùn)練速度較快，但占用內(nèi)存較大trainrp：彈性反向傳播算法調(diào)整權(quán)值和閾值時只考慮梯度的符號，調(diào)整幅度由程序設(shè)定，從而提高了網(wǎng)絡(luò)在性能曲面平坦區(qū)域的學(xué)習(xí)效率2022/11/17464.4其他改進(jìn)算法traincgb：Powell-Beale共軛梯度反向傳播算法在共軛梯度算法中，網(wǎng)絡(luò)參數(shù)不是沿性能曲面的快速下降方向（負(fù)梯度方向）進(jìn)行調(diào)整的，而是沿先前調(diào)整方向的共軛方向進(jìn)行調(diào)整的，這樣可以加快收斂速度

訓(xùn)練速度快，占用內(nèi)存少，適用于大規(guī)模網(wǎng)絡(luò)2022/11/17474.4其他改進(jìn)算法共軛梯度算法的變形traincgf：Fletcher-Powell共軛梯度反向傳播算法traincgp：Polak-Ribiere共軛梯度反向傳播算法trainscg：尺度化共軛梯度反向傳播算法結(jié)合了Levenberg-Marquardt算法中的模型置信區(qū)間方法和共軛梯度算法，避免了耗時巨大的線搜索過程，從而提高了網(wǎng)絡(luò)的訓(xùn)練速度2022/11/17484.4其他改進(jìn)算法trainbfg：BFGS準(zhǔn)牛頓反向傳播算法收斂較快，但占用內(nèi)存比共軛梯度算法要大，適用于小規(guī)模網(wǎng)絡(luò)trainoss：一步正割反向傳播算法一種準(zhǔn)牛頓算法，占用內(nèi)存比共軛梯度算法大，但比BFGS算法小，可以認(rèn)為是兩者的折中。2022/11/17494.5

應(yīng)用舉例采用Levenberg-Marquardt算法訓(xùn)練BP網(wǎng)絡(luò)。訓(xùn)練樣本定義如下：輸入矢量為P=[-1-231;-115-3]目標(biāo)矢量為T=[-1-111]2022/11/1750五、BP網(wǎng)絡(luò)推廣能力的提高推廣能力（Generalization）是衡量神經(jīng)網(wǎng)絡(luò)性能好壞的重要標(biāo)志。一個“過度訓(xùn)練”（Overfitting）的神經(jīng)網(wǎng)絡(luò)可能會對訓(xùn)練樣本集達(dá)到較高的匹配效果，但對于一個新的輸入樣本矢量卻可能會產(chǎn)生與目標(biāo)矢量差別較大的輸出，即神經(jīng)網(wǎng)絡(luò)不具有或具有較差的推廣能力。MATIJAB神經(jīng)網(wǎng)絡(luò)工具箱給出了兩種用于提高神經(jīng)網(wǎng)絡(luò)推廣能力的方法，即正則化方法（Regularization）和提前停止（Earlystopping）方法。2022/11/17515.1正則化方法在訓(xùn)練樣本集大小一定的情況下，網(wǎng)絡(luò)的推廣能力與網(wǎng)絡(luò)的規(guī)模直接相關(guān)。如果神經(jīng)網(wǎng)絡(luò)的規(guī)模遠(yuǎn)遠(yuǎn)小于訓(xùn)練樣本集的大小，則發(fā)生“過度訓(xùn)練”的機(jī)會就很小，但是對于特定的問題，確定合適的網(wǎng)絡(luò)規(guī)模（通常指隱層神經(jīng)元數(shù)目）往往是一件十分困難的事情。正則化方法是通過修正神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能函數(shù)來提高其推廣能力的。一般情況下，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能函數(shù)采用均方誤差函數(shù)mse，即2022/11/17525.1正則化方法在正則化方法中，網(wǎng)絡(luò)性能函數(shù)經(jīng)改進(jìn)變?yōu)槿缦滦问剑浩渲?，為比例系?shù)，msw為所有網(wǎng)絡(luò)權(quán)值平方和的平均值，即2022/11/17535.1正則化方法可見，通過采用新的性能指標(biāo)函數(shù)，可以在保證網(wǎng)絡(luò)訓(xùn)練誤差盡可能小的情況下使網(wǎng)絡(luò)具有較小的權(quán)值，即使得網(wǎng)絡(luò)的有效權(quán)值盡可能少，這實(shí)際上相當(dāng)于自動縮小了網(wǎng)絡(luò)的規(guī)模。2022/11/17545.1正則化方法常規(guī)的正則化方法通常很難確定比例系數(shù)的大小，而貝葉斯正則化方法則可以在網(wǎng)絡(luò)訓(xùn)練過程中自適應(yīng)地調(diào)節(jié)的大小，并使其達(dá)到最優(yōu)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中，貝葉斯正則化方法是通過trainbr函數(shù)來實(shí)現(xiàn)的。實(shí)踐證明，采用trainbr函數(shù)訓(xùn)練后的BP網(wǎng)絡(luò)具有效好的推廣能力，但值得注意的是，該算法只適用于小規(guī)模網(wǎng)絡(luò)的函數(shù)擬合或逼近問題，不適用于解決模式分類問題，而且其收斂速度一般比較慢。2022/11/17555.2提前停止方法訓(xùn)練樣本集在訓(xùn)練之前需要被劃分為訓(xùn)練集、驗(yàn)證集或測試集，其中測試集可選。訓(xùn)練集用于對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，驗(yàn)證集用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的同時監(jiān)控網(wǎng)絡(luò)的訓(xùn)練進(jìn)程。在訓(xùn)練初始階段，驗(yàn)證集形成的驗(yàn)證誤差通常會隨著網(wǎng)絡(luò)訓(xùn)練誤并的減小而減小，但是當(dāng)網(wǎng)絡(luò)升始進(jìn)入“過度訓(xùn)練”時，驗(yàn)證誤差就會逐漸增大，當(dāng)驗(yàn)證誤差增大到一定程度時，網(wǎng)絡(luò)訓(xùn)練會提前停止，這時訓(xùn)練函數(shù)會返回當(dāng)驗(yàn)證誤差取最小值時的網(wǎng)絡(luò)對象。2022/11/17565.2提前停止方法測試集形成的測試誤差在網(wǎng)絡(luò)訓(xùn)練時未被使用，但它可以用來評價網(wǎng)絡(luò)訓(xùn)練結(jié)果和樣本集劃分的合理性。若測試誤差與驗(yàn)證誤差分別達(dá)到最小值時的訓(xùn)練步數(shù)差別很大，或兩者曲線的變化趨勢差別較大，則說明樣本集的劃分不是很合理，需要重新劃分。2022/11/17575.2提前停止方法“提前停止”方法可以和任何一種BP算法結(jié)合起來使用，其缺點(diǎn)是需要對樣本集進(jìn)行劃分，且劃分的合理性不易控制。采用了“提前停止”方式的train函數(shù)，其調(diào)用格式為

[net,tr]=train(net,ptr,ttr,[],[],val,test)

或（當(dāng)不提供測試集時）

[net,tr]=train(net,ptr,ttr,[],[],val)其中，ptr和ttr分別代表訓(xùn)練集的輸入矢量和目標(biāo)矢量；val為驗(yàn)證集，test為測試集，val和test通常采用結(jié)構(gòu)體的形式存取相應(yīng)樣本集中的輸入矢量和目標(biāo)矢量，例如val.P和val.T可分別用以定義驗(yàn)證集的輸入