BP神經(jīng)網(wǎng)絡(luò)課件

1、回顧：回顧： 感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1) 對(duì)各權(quán)值對(duì)各權(quán)值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2) 輸入樣本對(duì)輸入樣本對(duì)Xp,dp，其中，其中Xp=(-1,x1p,x2p, ,x xn np p)， dp為期望的輸出向量（教師信號(hào)），上標(biāo)為期望的輸出向量（教師信號(hào)），上標(biāo)p代表代表 樣本對(duì)的模式序號(hào)，設(shè)樣本集中的樣本總數(shù)為樣本對(duì)的模式序號(hào)，設(shè)樣本集中的樣本總數(shù)為P， 則則p=1,2,P,P；4.2.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)

2、網(wǎng)絡(luò)1、單層感知器、單層感知器感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出計(jì)算各節(jié)點(diǎn)的實(shí)際輸出(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值(5)返回到步驟返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有 樣本，感知器的實(shí)際輸出與期望輸出相等。樣本，感知器的實(shí)際輸出與期望輸出相等。(ojp(t)=sgnWjT(t)Xp, j=1,2,.,m； Wj(t+1)= Wj(t)+ djp-ojp(t)Xp j=1, 2,m, 其中其中 為學(xué)習(xí)率，用于控制調(diào)整速度，太大為學(xué)習(xí)率，用于控制調(diào)整速度，太大 會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)

3、練的收斂速度變慢，會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢， 一般取一般取0 0 11；2、 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 )()()(kykykwjiij)()()()()(kykykykdkwjjiiij)()(kykdii )()()()()(kykykykdkwjiiiij 反向傳播網(wǎng)絡(luò)(BackPropagation Network，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò))是對(duì)非線(xiàn)性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)，因此輸出量為0到1之間的連續(xù)量，它可以實(shí)現(xiàn)從輸入到輸出的任意的非線(xiàn)性映射。 由于其權(quán)值的調(diào)整采用反向傳播（Backpropagatio

4、n）的學(xué)習(xí)算法，因此被稱(chēng)為BP網(wǎng)絡(luò)。 一、一、 BP網(wǎng)絡(luò)概述概述BP網(wǎng)絡(luò)主要用于：1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近個(gè)函數(shù)；2)模式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)；3)分類(lèi)：把輸入矢量以所定義的合適方式進(jìn)行分類(lèi)；4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)。 感知器和感知器和BP網(wǎng)絡(luò)的主要差別在激發(fā)函數(shù)上：前者是網(wǎng)絡(luò)的主要差別在激發(fā)函數(shù)上：前者是二值型的，后者是連續(xù)可微型的。二值型的，后者是連續(xù)可微型的。 BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)的模型有不同外，其主要差別也表現(xiàn)與前面已介紹過(guò)

5、的模型有不同外，其主要差別也表現(xiàn)在激發(fā)函數(shù)上。在激發(fā)函數(shù)上。 BP網(wǎng)絡(luò)的激發(fā)函數(shù)必須是處處可微的，所以它就不網(wǎng)絡(luò)的激發(fā)函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù)能采用二值型的閥值函數(shù)0，1或符號(hào)函數(shù)或符號(hào)函數(shù)1，1，BP網(wǎng)絡(luò)經(jīng)常使用的是網(wǎng)絡(luò)經(jīng)常使用的是S型的對(duì)數(shù)或正切激發(fā)函數(shù)和線(xiàn)型的對(duì)數(shù)或正切激發(fā)函數(shù)和線(xiàn)性函數(shù)。性函數(shù)。 BP網(wǎng)絡(luò)S型激活函數(shù) 因?yàn)镾型函數(shù)具有非線(xiàn)性放大系數(shù)功能，它可以把輸入從負(fù)無(wú)窮大到正無(wú)窮大的信號(hào)，變換成-1到l之間輸出，對(duì)較大的輸入信號(hào)，放大系數(shù)較?。欢鴮?duì)較小的輸入信號(hào)，放大系數(shù)則較大，所以采用S型激活函數(shù)可以去處理和逼近非線(xiàn)性的輸入/輸出關(guān)系。 只有當(dāng)希望對(duì)

6、網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激發(fā)函數(shù)，在一般情況下，均是在隱含層采用S型激發(fā)函數(shù)，而輸出層采用線(xiàn)性激發(fā)函數(shù)。BP網(wǎng)絡(luò)的特點(diǎn)：1、輸入和輸出是并行的模擬量；2、網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒(méi)有固定的算法；3、權(quán)因子是通過(guò)學(xué)習(xí)信號(hào)調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；4、隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響。二、二、BP網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)jijk1x2xnx1O2OLOMQLijk輸入層輸出層隱含層信息流)(學(xué)習(xí)算法誤差反傳(學(xué)習(xí)算法)輸入模式輸入層：M個(gè)節(jié)點(diǎn)輸出層：L個(gè)節(jié)點(diǎn)隱含層：Q個(gè)節(jié)點(diǎn)權(quán)值隱含層和輸出層間連接:

7、jk權(quán)值輸入層和隱含層間連接:ij隱含層和輸出層節(jié)點(diǎn)的輸入是前一層節(jié)點(diǎn)輸出的加權(quán)和jy輸入向量：輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量：隱層輸出向量： Y=(y1,y2,yj,yQ)T輸出層輸出向量輸出層輸出向量： O=(o1,o2,ok,oL)T期望輸出向量：期望輸出向量： d=(d1, d2,dk,dl)TW=(W1,W2,Wk,WL )隱層到輸出層之間的權(quán)值矩陣：隱層到輸出層之間的權(quán)值矩陣：輸入層到隱層之間的權(quán)值矩陣：輸入層到隱層之間的權(quán)值矩陣：輸入層輸出向量：輸入層輸出向量： Z= X=(x1,x2,xi,xn)TW=(W1,W2,Wj,WQ)單極性單極性Sigmoi

8、d函數(shù)：函數(shù)：xe11xf)( f (x) 1.0 0.5x0三、三、 BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則網(wǎng)絡(luò)學(xué)習(xí)規(guī)則 BP算法是由兩部分組成： 信息的正向傳遞與誤差的反向傳播。 在正向傳播過(guò)程中，輸入信息從輸入經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。 如果在輸出層沒(méi)有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái)修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。 節(jié)點(diǎn)的激發(fā)函數(shù)：2、 信息的正向傳遞信息的正向傳遞1) 隱含層隱含層j=1,2,mj=1,2,m)(jjnetfy niiijjxnet0jnetjnetf-e11)(第第j

9、個(gè)神經(jīng)元的輸入為：個(gè)神經(jīng)元的輸入為：第第j個(gè)神經(jīng)元的輸出為：個(gè)神經(jīng)元的輸出為：2) 輸出層輸出層)(kknetfok=1,2,Lm0jjjkkywnetk=1,2,L第第k個(gè)神經(jīng)元的輸入為：個(gè)神經(jīng)元的輸入為：第第k個(gè)神經(jīng)元的輸出為：個(gè)神經(jīng)元的輸出為：BP算法屬于算法，是一種監(jiān)督式的學(xué)習(xí)算法。誤差反傳（BP）算法其主要思想為：對(duì)于n個(gè)輸入學(xué)習(xí)樣本 x1， x2，xn，已知與其對(duì)應(yīng)的輸出樣本為：d1，d2，dL。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實(shí)際輸出 O1,O2,On,與目標(biāo)矢量 d1, d2,dL,之間的誤差來(lái)修改其權(quán)值，使 Ok，(kl，2，L)與期望的dk盡可能地接近網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。

10、3 、網(wǎng)絡(luò)權(quán)值調(diào)整規(guī)則、網(wǎng)絡(luò)權(quán)值調(diào)整規(guī)則221E)(OdL12)(21kkkod設(shè)樣本p的輸入輸出對(duì)的輸出誤差函數(shù)輸出誤差函數(shù)E定義為：定義為：1）輸出層權(quán)系數(shù)的調(diào)整）輸出層權(quán)系數(shù)的調(diào)整 對(duì)從第對(duì)從第j個(gè)輸出到第個(gè)輸出到第k個(gè)輸入的權(quán)值有個(gè)輸入的權(quán)值有jkjkwEwj=0,1,2,Q; k=1,2,L 式中負(fù)號(hào)表示梯度下降，式中負(fù)號(hào)表示梯度下降，常數(shù)常數(shù)(0,1) 學(xué)習(xí)速率。學(xué)習(xí)速率。jkkkjkwnetnetEwEkkkkknetOOEnetE定義反傳誤差信號(hào)定義反傳誤差信號(hào))(kkkOdOE)()(kkkkknetfnetfnetnetO)(1 ()()(kkkkkkkkOdOOnetfO

11、d)(1)()(,11)(xfxfxfexfxjQjjjkjkjkkyywwwnet1)(:又得輸出層神經(jīng)元權(quán)系數(shù)修正公式：得輸出層神經(jīng)元權(quán)系數(shù)修正公式：jkkkkjkyOdOO)(1 (:或jkjkkkjkyynetfOd)()(2）隱層權(quán)系數(shù)的調(diào)整）隱層權(quán)系數(shù)的調(diào)整ijijjjijijxnetEwnetnetEEijjjxnetyyE)- (ijjxnetfyE)()- (ijx對(duì)從輸入層第對(duì)從輸入層第i個(gè)輸出到隱層第個(gè)輸出到隱層第j個(gè)輸入的權(quán)值，有：個(gè)輸入的權(quán)值，有： 需通過(guò)其他量間接計(jì)算不能直接計(jì)算其中,)(jyELkjkkjynetnetEyE1QjjjkLkjkyynetE11)(

12、)(LkjkknetE1)(Lkjkk1Lkjkkjjnetf1)(顯然有：顯然有：ijjLkjkkijijxyywX)1 ()(1得隱層神經(jīng)元權(quán)系數(shù)修正公式：得隱層神經(jīng)元權(quán)系數(shù)修正公式：由上面推導(dǎo)，得到三層前饋網(wǎng)絡(luò)的由上面推導(dǎo)，得到三層前饋網(wǎng)絡(luò)的BP學(xué)習(xí)算法權(quán)值調(diào)學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為：整計(jì)算公式為：jkkkkjkjkyooodyw)1 ()(ijjLkjkkijijxyywx)1 ()(1)(kknetfomjjjkkywnet0)(jnetfyjniiijjxnet0 xe11xf)(LkQjjjkknetfwfd120)(21LkQjniiijjkkxfwfd1211)(21L12

13、)(21kkkodELlkkknetfd12)(21LkQjjjkkywfd120)(21kknetEjkkkjkjkwnetnetEwEwijjjijijnetnetEEjjnetEijijxjkjky 小結(jié)：誤差反向傳播的流程小結(jié)：誤差反向傳播的流程 誤差反向傳播過(guò)程實(shí)際上是通過(guò)計(jì)算輸出層的誤誤差反向傳播過(guò)程實(shí)際上是通過(guò)計(jì)算輸出層的誤差差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)fk相乘相乘來(lái)求得來(lái)求得 k。 同樣通過(guò)將同樣通過(guò)將ej與該層激活函數(shù)的一階導(dǎo)數(shù)與該層激活函數(shù)的一階導(dǎo)數(shù)fj相乘，而相乘，而求得求得 j ，以此求出前層權(quán)值的變化量，以此求出前層權(quán)

14、值的變化量wij。如果前面還。如果前面還有隱含層，沿用上述同樣方法依此類(lèi)推，一直將輸出誤有隱含層，沿用上述同樣方法依此類(lèi)推，一直將輸出誤差差e一層一層的反推算到第一層為止。一層一層的反推算到第一層為止。 由于隱含層中沒(méi)有直接給出目標(biāo)矢量，所以利用輸由于隱含層中沒(méi)有直接給出目標(biāo)矢量，所以利用輸出層的出層的 k 反向傳遞來(lái)求出隱含層權(quán)值的變化量反向傳遞來(lái)求出隱含層權(quán)值的變化量wjk ,然然后計(jì)算后計(jì)算ej 。四、四、BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)(1)初始化初始化 (4)計(jì)算各層誤差信號(hào)計(jì)算各層誤差信號(hào)(5)調(diào)整各層權(quán)值調(diào)整各層權(quán)值(6)檢查是否對(duì)所有樣本完成一次檢查是否對(duì)所有樣本完成一次 輪訓(xùn)

15、輪訓(xùn)(7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精檢查網(wǎng)絡(luò)總誤差是否達(dá)到精 度要求度要求(2)輸入訓(xùn)練樣本對(duì)輸入訓(xùn)練樣本對(duì)X Xp、d dp計(jì)算各層輸出計(jì)算各層輸出(3)計(jì)算網(wǎng)絡(luò)輸出誤差計(jì)算網(wǎng)絡(luò)輸出誤差PpLkpkpkodE112)(21總初 始 化 V、 W計(jì) 數(shù) 器 q=1，p=1輸 入 第 一 對(duì) 樣 本計(jì) 算 各 層 輸 出計(jì) 算 誤 差 ： P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 計(jì) 算 各 層 誤 差 信 號(hào) 調(diào) 整 各 層 權(quán) 值 q 增 1 N Erms do 4.1 E=0; 算法算法4-1 基本基本BP算法算法 4.2 對(duì)對(duì)S中的每一個(gè)樣本（中的每一個(gè)樣本（Xp

16、,Yp）：）： 4.2.1 計(jì)算出計(jì)算出Xp對(duì)應(yīng)的實(shí)際輸出對(duì)應(yīng)的實(shí)際輸出Op； 4.2.2 計(jì)算出計(jì)算出Ep； 4.2.3 E=E+Ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整W(k)； k=k-1 4.3 E=E/2.0 例例 求解模式分類(lèi)問(wèn)題求解模式分類(lèi)問(wèn)題 給定訓(xùn)練模式對(duì)如圖給定訓(xùn)練模式對(duì)如圖1所示。輸出模式、期望輸出均所示。輸出模式、期望輸出均為三維向量；訓(xùn)練網(wǎng)絡(luò)為一個(gè)三層為三維向量；訓(xùn)練網(wǎng)絡(luò)為一個(gè)三層BP網(wǎng)絡(luò)，輸入層、輸出網(wǎng)絡(luò)，輸入層、輸出

17、層均有層均有3個(gè)神經(jīng)元。學(xué)習(xí)的目的是使網(wǎng)絡(luò)能將個(gè)神經(jīng)元。學(xué)習(xí)的目的是使網(wǎng)絡(luò)能將3種不同形狀種不同形狀的輸入模式正確分類(lèi)，即相應(yīng)圖中每個(gè)不同類(lèi)型的點(diǎn)分布，的輸入模式正確分類(lèi)，即相應(yīng)圖中每個(gè)不同類(lèi)型的點(diǎn)分布，并且僅有一個(gè)輸出單元響應(yīng)。并且僅有一個(gè)輸出單元響應(yīng)。 定義左邊的中間具有峰值的模式為類(lèi)型定義左邊的中間具有峰值的模式為類(lèi)型1，即期望輸出，即期望輸出為為y1；(1，0，0)；中間下凹的模式為類(lèi)型；中間下凹的模式為類(lèi)型2，即期，即期望輸出為望輸出為Y2：(0，1，0)；平坦形狀的模式為類(lèi)型；平坦形狀的模式為類(lèi)型3，即，即期望輸出為期望輸出為y3(0，0，1)。圖圖1根據(jù)圖示的數(shù)據(jù)，可將樣本對(duì)根據(jù)

18、圖示的數(shù)據(jù)，可將樣本對(duì)(xk，yk)(k1，2，3)寫(xiě)為寫(xiě)為下面的矢量形式：下面的矢量形式： 構(gòu)造網(wǎng)絡(luò)如圖構(gòu)造網(wǎng)絡(luò)如圖2所示，隱層單元置為所示，隱層單元置為5個(gè)。對(duì)上述三個(gè)個(gè)。對(duì)上述三個(gè)樣本反復(fù)訓(xùn)練，直到對(duì)所有訓(xùn)練樣本，網(wǎng)絡(luò)都能給出滿(mǎn)意樣本反復(fù)訓(xùn)練，直到對(duì)所有訓(xùn)練樣本，網(wǎng)絡(luò)都能給出滿(mǎn)意結(jié)果時(shí)，學(xué)習(xí)完成結(jié)果時(shí)，學(xué)習(xí)完成 為了檢驗(yàn)網(wǎng)絡(luò)的泛化能力，用圖為了檢驗(yàn)網(wǎng)絡(luò)的泛化能力，用圖3所示的輸入樣本去所示的輸入樣本去測(cè)試已經(jīng)學(xué)習(xí)好的網(wǎng)絡(luò)，這些測(cè)試樣本即為測(cè)試集。測(cè)試已經(jīng)學(xué)習(xí)好的網(wǎng)絡(luò)，這些測(cè)試樣本即為測(cè)試集。圖圖2 該例子可以推廣到其他所有模式識(shí)別的應(yīng)用。針對(duì)某一具該例子可以推廣到其他所有模式識(shí)別的應(yīng)用。

19、針對(duì)某一具體應(yīng)用，應(yīng)恰當(dāng)建立輸入矢量和輸出矢量的表達(dá)與編碼，訓(xùn)體應(yīng)用，應(yīng)恰當(dāng)建立輸入矢量和輸出矢量的表達(dá)與編碼，訓(xùn)練用的樣本對(duì)和測(cè)試用的樣本對(duì)應(yīng)正確和具有代表意義。練用的樣本對(duì)和測(cè)試用的樣本對(duì)應(yīng)正確和具有代表意義。 測(cè)試集有測(cè)試集有28個(gè)輸入模式，其中包括圖個(gè)輸入模式，其中包括圖3所示的每個(gè)模式所示的每個(gè)模式的的6個(gè)加噪模式，噪聲值為個(gè)加噪模式，噪聲值為0.1，還包括不同高度的平坦，還包括不同高度的平坦模式模式10個(gè)。該網(wǎng)絡(luò)能夠?qū)€(gè)。該網(wǎng)絡(luò)能夠?qū)?8個(gè)加噪音模式準(zhǔn)確的分類(lèi)；對(duì)個(gè)加噪音模式準(zhǔn)確的分類(lèi)；對(duì)平坦模式類(lèi)型平坦模式類(lèi)型3，取值較高的模式能夠正確分類(lèi)，但取值，取值較高的模式能夠正確分類(lèi)，但

20、取值較小時(shí)會(huì)產(chǎn)生錯(cuò)分類(lèi)。較小時(shí)會(huì)產(chǎn)生錯(cuò)分類(lèi)。圖圖3五、五、BP網(wǎng)絡(luò)的主要能力網(wǎng)絡(luò)的主要能力(1)非線(xiàn)性映射能力非線(xiàn)性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無(wú)需事先了解描輸出模式映射關(guān)系，而無(wú)需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供供足夠多的樣本模式對(duì)供BP網(wǎng)絡(luò)進(jìn)行學(xué)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由習(xí)訓(xùn)練，它便能完成由n維輸入空間到維輸入空間到m維輸出空間的非線(xiàn)性映射。維輸出空間的非線(xiàn)性映射。(2)泛化能力泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本數(shù)

21、據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱(chēng)為多層前出空間的正確映射。這種能力稱(chēng)為多層前饋網(wǎng)的泛化能力。饋網(wǎng)的泛化能力。(3)容錯(cuò)能力容錯(cuò)能力 輸入樣本中帶有較大的誤差甚至個(gè)別輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。六、標(biāo)準(zhǔn)六、標(biāo)準(zhǔn)BP算法的改進(jìn)算法的改進(jìn)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： 易形成局部極小而得不到全局最優(yōu)；易形成局部極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱

22、節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)； 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。 針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中下面僅介紹其中3種較常用的方法。種較常用的方法。1 增加動(dòng)量項(xiàng)增加動(dòng)量項(xiàng))1()(ttWXW為動(dòng)量系數(shù)，一般有為動(dòng)量系數(shù)，一般有( (0 0，1 1) )2 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，若經(jīng)過(guò)一批次權(quán)值調(diào)整后使設(shè)一初始學(xué)習(xí)率，若經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差總誤差，則本次調(diào)整無(wú)效，且，則本次調(diào)整無(wú)效，且 = = ( (0 0 ) )； 若若經(jīng)過(guò)一

23、批次權(quán)值調(diào)整后使總誤差經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差，則本次，則本次調(diào)整有效，且調(diào)整有效，且 = = ( (1 21 net 0七、七、 BP網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)基礎(chǔ)1 、訓(xùn)練樣本集的準(zhǔn)備、訓(xùn)練樣本集的準(zhǔn)備1）輸入輸出量的選擇）輸入輸出量的選擇 輸出量輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，例如系統(tǒng)的性代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，例如系統(tǒng)的性能指標(biāo)，分類(lèi)問(wèn)題的類(lèi)別歸屬，或非線(xiàn)性函數(shù)的函數(shù)值能指標(biāo)，分類(lèi)問(wèn)題的類(lèi)別歸屬，或非線(xiàn)性函數(shù)的函數(shù)值等等。等等。 輸入量輸入量必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量，此外還要求各輸入變量之間互不相關(guān)或相關(guān)取的變量，此外還要求各

24、輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。性很小，這是輸入量選擇的兩條基本原則。從輸入、輸出量的性質(zhì)來(lái)看，可分為兩類(lèi)：一類(lèi)是數(shù)從輸入、輸出量的性質(zhì)來(lái)看，可分為兩類(lèi)：一類(lèi)是數(shù)值變量，一類(lèi)是語(yǔ)言變量。值變量，一類(lèi)是語(yǔ)言變量。數(shù)值變量數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。的值是數(shù)值確定的連續(xù)量或離散量。語(yǔ)言變量語(yǔ)言變量是用自然語(yǔ)言表示的概念，其是用自然語(yǔ)言表示的概念，其“語(yǔ)言值語(yǔ)言值”是是用自然語(yǔ)言表示的事物的各種屬性。當(dāng)選用語(yǔ)言變量用自然語(yǔ)言表示的事物的各種屬性。當(dāng)選用語(yǔ)言變量作為網(wǎng)絡(luò)的輸入或輸出變量時(shí)，需將其語(yǔ)言值轉(zhuǎn)換為作為網(wǎng)絡(luò)的輸入或輸出變量時(shí)，需將其語(yǔ)言值轉(zhuǎn)換為離散的

25、數(shù)值量。離散的數(shù)值量。2） 輸入量的提取與表示輸入量的提取與表示(1)文字符號(hào)輸入文字符號(hào)輸入XC=(111100111)T XI=(010010010)T XT=(111010010)T(2)曲線(xiàn)輸入曲線(xiàn)輸入x(t) xn x1 t 0 1 2 3 4 5 nTpnpipppxxxxX),.,.,(21p=1,2,P(3)函數(shù)自變量輸入函數(shù)自變量輸入 一般有幾個(gè)輸入量就設(shè)幾個(gè)分量，一般有幾個(gè)輸入量就設(shè)幾個(gè)分量，1個(gè)輸入分量對(duì)個(gè)輸入分量對(duì)應(yīng)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。個(gè)輸入層節(jié)點(diǎn)。(4)圖象輸入圖象輸入 在這類(lèi)應(yīng)用中，一般先根據(jù)識(shí)別的具體目的從圖象在這類(lèi)應(yīng)用中，一般先根據(jù)識(shí)別的具體目的從圖象中提取一些有

26、用的特征參數(shù)，再根據(jù)這些參數(shù)對(duì)輸入的中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對(duì)輸入的貢獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。貢獻(xiàn)進(jìn)行篩選，這種特征提取屬于圖象處理的范疇。(1)“n中取中取1”表示法表示法 “n中取中取1”是令輸出向量的分量數(shù)等于類(lèi)別數(shù)，輸是令輸出向量的分量數(shù)等于類(lèi)別數(shù)，輸入樣本被判為哪一類(lèi)，對(duì)應(yīng)的輸出分量取入樣本被判為哪一類(lèi)，對(duì)應(yīng)的輸出分量取1，其余，其余 n-1 個(gè)分量全取個(gè)分量全取0。例如，用。例如，用0001、0010、0100和和1000可分可分別表示優(yōu)、良、中、差別表示優(yōu)、良、中、差4個(gè)類(lèi)別。個(gè)類(lèi)別。(2)“n-1”表示法表示法 如果用如果用n-1個(gè)全為個(gè)全為

27、0的輸出向量表示某個(gè)類(lèi)別，則可的輸出向量表示某個(gè)類(lèi)別，則可以節(jié)省一個(gè)輸出節(jié)點(diǎn)。例如，用以節(jié)省一個(gè)輸出節(jié)點(diǎn)。例如，用000、001、010和和100也也可表示優(yōu)、良、中、差可表示優(yōu)、良、中、差4個(gè)類(lèi)別。個(gè)類(lèi)別。2、 輸出量的表示輸出量的表示(3)數(shù)值表示法數(shù)值表示法 對(duì)于漸進(jìn)式的分類(lèi)，可以將語(yǔ)言值轉(zhuǎn)化為二值之間對(duì)于漸進(jìn)式的分類(lèi)，可以將語(yǔ)言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進(jìn)關(guān)系，并要根據(jù)實(shí)際意義拉開(kāi)距離。系，并要根據(jù)實(shí)際意義拉開(kāi)距離。3、輸入輸出數(shù)據(jù)的歸一化、輸入輸出數(shù)據(jù)的歸一化 歸一化也稱(chēng)為或標(biāo)準(zhǔn)化，是指通過(guò)變換處理將網(wǎng)歸一化也稱(chēng)為或標(biāo)準(zhǔn)化，是指通過(guò)變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在絡(luò)的輸入、輸出數(shù)據(jù)限制在0，1