BP神經(jīng)網(wǎng)絡(luò)課件

1、回顧：回顧： 感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1) 對各權(quán)值對各權(quán)值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2) 輸入樣本對輸入樣本對Xp,dp，其中，其中Xp=(-1,x1p,x2p, ,x xn np p)， dp為期望的輸出向量（教師信號），上標為期望的輸出向量（教師信號），上標p代表代表 樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P， 則則p=1,2,P,P；4.2.2 前向神經(jīng)網(wǎng)絡(luò)前向神經(jīng)

2、網(wǎng)絡(luò)1、單層感知器、單層感知器感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計算各節(jié)點的實際輸出計算各節(jié)點的實際輸出(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值調(diào)整各節(jié)點對應(yīng)的權(quán)值(5)返回到步驟返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有輸入下一對樣本，周而復(fù)始直到對所有 樣本，感知器的實際輸出與期望輸出相等。樣本，感知器的實際輸出與期望輸出相等。(ojp(t)=sgnWjT(t)Xp, j=1,2,.,m； Wj(t+1)= Wj(t)+ djp-ojp(t)Xp j=1, 2,m, 其中其中 為學(xué)習(xí)率，用于控制調(diào)整速度，太大為學(xué)習(xí)率，用于控制調(diào)整速度，太大 會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)

3、練的收斂速度變慢，會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢， 一般取一般取0 0 11；2、 學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 )()()(kykykwjiij)()()()()(kykykykdkwjjiiij)()(kykdii )()()()()(kykykykdkwjiiiij 反向傳播網(wǎng)絡(luò)(BackPropagation Network，簡稱BP網(wǎng)絡(luò))是對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。 BP網(wǎng)絡(luò)是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)，因此輸出量為0到1之間的連續(xù)量，它可以實現(xiàn)從輸入到輸出的任意的非線性映射。 由于其權(quán)值的調(diào)整采用反向傳播（Backpropagatio

4、n）的學(xué)習(xí)算法，因此被稱為BP網(wǎng)絡(luò)。 一、一、 BP網(wǎng)絡(luò)概述概述BP網(wǎng)絡(luò)主要用于：1)函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近個函數(shù)；2)模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；3)分類：把輸入矢量以所定義的合適方式進行分類；4)數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲。 感知器和感知器和BP網(wǎng)絡(luò)的主要差別在激發(fā)函數(shù)上：前者是網(wǎng)絡(luò)的主要差別在激發(fā)函數(shù)上：前者是二值型的，后者是連續(xù)可微型的。二值型的，后者是連續(xù)可微型的。 BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)與前面已介紹過

5、的模型有不同外，其主要差別也表現(xiàn)在激發(fā)函數(shù)上。在激發(fā)函數(shù)上。 BP網(wǎng)絡(luò)的激發(fā)函數(shù)必須是處處可微的，所以它就不網(wǎng)絡(luò)的激發(fā)函數(shù)必須是處處可微的，所以它就不能采用二值型的閥值函數(shù)能采用二值型的閥值函數(shù)0，1或符號函數(shù)或符號函數(shù)1，1，BP網(wǎng)絡(luò)經(jīng)常使用的是網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激發(fā)函數(shù)和線型的對數(shù)或正切激發(fā)函數(shù)和線性函數(shù)。性函數(shù)。 BP網(wǎng)絡(luò)S型激活函數(shù) 因為S型函數(shù)具有非線性放大系數(shù)功能，它可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出，對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大，所以采用S型激活函數(shù)可以去處理和逼近非線性的輸入/輸出關(guān)系。 只有當希望對

6、網(wǎng)絡(luò)的輸出進行限制，如限制在0和1之間，那么在輸出層應(yīng)當包含S型激發(fā)函數(shù)，在一般情況下，均是在隱含層采用S型激發(fā)函數(shù)，而輸出層采用線性激發(fā)函數(shù)。BP網(wǎng)絡(luò)的特點：1、輸入和輸出是并行的模擬量；2、網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法；3、權(quán)因子是通過學(xué)習(xí)信號調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明；4、隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子的損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大的影響。二、二、BP網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)jijk1x2xnx1O2OLOMQLijk輸入層輸出層隱含層信息流)(學(xué)習(xí)算法誤差反傳(學(xué)習(xí)算法)輸入模式輸入層：M個節(jié)點輸出層：L個節(jié)點隱含層：Q個節(jié)點權(quán)值隱含層和輸出層間連接:

7、jk權(quán)值輸入層和隱含層間連接:ij隱含層和輸出層節(jié)點的輸入是前一層節(jié)點輸出的加權(quán)和jy輸入向量：輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量：隱層輸出向量： Y=(y1,y2,yj,yQ)T輸出層輸出向量輸出層輸出向量： O=(o1,o2,ok,oL)T期望輸出向量：期望輸出向量： d=(d1, d2,dk,dl)TW=(W1,W2,Wk,WL )隱層到輸出層之間的權(quán)值矩陣：隱層到輸出層之間的權(quán)值矩陣：輸入層到隱層之間的權(quán)值矩陣：輸入層到隱層之間的權(quán)值矩陣：輸入層輸出向量：輸入層輸出向量： Z= X=(x1,x2,xi,xn)TW=(W1,W2,Wj,WQ)單極性單極性Sigmoi

8、d函數(shù)：函數(shù)：xe11xf)( f (x) 1.0 0.5x0三、三、 BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則網(wǎng)絡(luò)學(xué)習(xí)規(guī)則 BP算法是由兩部分組成： 信息的正向傳遞與誤差的反向傳播。 在正向傳播過程中，輸入信息從輸入經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。 如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標。 節(jié)點的激發(fā)函數(shù)：2、 信息的正向傳遞信息的正向傳遞1) 隱含層隱含層j=1,2,mj=1,2,m)(jjnetfy niiijjxnet0jnetjnetf-e11)(第第j

9、個神經(jīng)元的輸入為：個神經(jīng)元的輸入為：第第j個神經(jīng)元的輸出為：個神經(jīng)元的輸出為：2) 輸出層輸出層)(kknetfok=1,2,Lm0jjjkkywnetk=1,2,L第第k個神經(jīng)元的輸入為：個神經(jīng)元的輸入為：第第k個神經(jīng)元的輸出為：個神經(jīng)元的輸出為：BP算法屬于算法，是一種監(jiān)督式的學(xué)習(xí)算法。誤差反傳（BP）算法其主要思想為：對于n個輸入學(xué)習(xí)樣本 x1， x2，xn，已知與其對應(yīng)的輸出樣本為：d1，d2，dL。學(xué)習(xí)的目的是用網(wǎng)絡(luò)的實際輸出 O1,O2,On,與目標矢量 d1, d2,dL,之間的誤差來修改其權(quán)值，使 Ok，(kl，2，L)與期望的dk盡可能地接近網(wǎng)絡(luò)輸出層的誤差平方和達到最小。

10、3 、網(wǎng)絡(luò)權(quán)值調(diào)整規(guī)則、網(wǎng)絡(luò)權(quán)值調(diào)整規(guī)則221E)(OdL12)(21kkkod設(shè)樣本p的輸入輸出對的輸出誤差函數(shù)輸出誤差函數(shù)E定義為：定義為：1）輸出層權(quán)系數(shù)的調(diào)整）輸出層權(quán)系數(shù)的調(diào)整 對從第對從第j個輸出到第個輸出到第k個輸入的權(quán)值有個輸入的權(quán)值有jkjkwEwj=0,1,2,Q; k=1,2,L 式中負號表示梯度下降，式中負號表示梯度下降，常數(shù)常數(shù)(0,1) 學(xué)習(xí)速率。學(xué)習(xí)速率。jkkkjkwnetnetEwEkkkkknetOOEnetE定義反傳誤差信號定義反傳誤差信號)(kkkOdOE)()(kkkkknetfnetfnetnetO)(1 ()()(kkkkkkkkOdOOnetfO

11、d)(1)()(,11)(xfxfxfexfxjQjjjkjkjkkyywwwnet1)(:又得輸出層神經(jīng)元權(quán)系數(shù)修正公式：得輸出層神經(jīng)元權(quán)系數(shù)修正公式：jkkkkjkyOdOO)(1 (:或jkjkkkjkyynetfOd)()(2）隱層權(quán)系數(shù)的調(diào)整）隱層權(quán)系數(shù)的調(diào)整ijijjjijijxnetEwnetnetEEijjjxnetyyE)- (ijjxnetfyE)()- (ijx對從輸入層第對從輸入層第i個輸出到隱層第個輸出到隱層第j個輸入的權(quán)值，有：個輸入的權(quán)值，有： 需通過其他量間接計算不能直接計算其中,)(jyELkjkkjynetnetEyE1QjjjkLkjkyynetE11)(

12、)(LkjkknetE1)(Lkjkk1Lkjkkjjnetf1)(顯然有：顯然有：ijjLkjkkijijxyywX)1 ()(1得隱層神經(jīng)元權(quán)系數(shù)修正公式：得隱層神經(jīng)元權(quán)系數(shù)修正公式：由上面推導(dǎo)，得到三層前饋網(wǎng)絡(luò)的由上面推導(dǎo)，得到三層前饋網(wǎng)絡(luò)的BP學(xué)習(xí)算法權(quán)值調(diào)學(xué)習(xí)算法權(quán)值調(diào)整計算公式為：整計算公式為：jkkkkjkjkyooodyw)1 ()(ijjLkjkkijijxyywx)1 ()(1)(kknetfomjjjkkywnet0)(jnetfyjniiijjxnet0 xe11xf)(LkQjjjkknetfwfd120)(21LkQjniiijjkkxfwfd1211)(21L12

13、)(21kkkodELlkkknetfd12)(21LkQjjjkkywfd120)(21kknetEjkkkjkjkwnetnetEwEwijjjijijnetnetEEjjnetEijijxjkjky 小結(jié)：誤差反向傳播的流程小結(jié)：誤差反向傳播的流程 誤差反向傳播過程實際上是通過計算輸出層的誤誤差反向傳播過程實際上是通過計算輸出層的誤差差ek，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)，然后將其與輸出層激活函數(shù)的一階導(dǎo)數(shù)fk相乘相乘來求得來求得 k。 同樣通過將同樣通過將ej與該層激活函數(shù)的一階導(dǎo)數(shù)與該層激活函數(shù)的一階導(dǎo)數(shù)fj相乘，而相乘，而求得求得 j ，以此求出前層權(quán)值的變化量，以此求出前層權(quán)

14、值的變化量wij。如果前面還。如果前面還有隱含層，沿用上述同樣方法依此類推，一直將輸出誤有隱含層，沿用上述同樣方法依此類推，一直將輸出誤差差e一層一層的反推算到第一層為止。一層一層的反推算到第一層為止。 由于隱含層中沒有直接給出目標矢量，所以利用輸由于隱含層中沒有直接給出目標矢量，所以利用輸出層的出層的 k 反向傳遞來求出隱含層權(quán)值的變化量反向傳遞來求出隱含層權(quán)值的變化量wjk ,然然后計算后計算ej 。四、四、BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)(1)初始化初始化 (4)計算各層誤差信號計算各層誤差信號(5)調(diào)整各層權(quán)值調(diào)整各層權(quán)值(6)檢查是否對所有樣本完成一次檢查是否對所有樣本完成一次 輪訓(xùn)

15、輪訓(xùn)(7)檢查網(wǎng)絡(luò)總誤差是否達到精檢查網(wǎng)絡(luò)總誤差是否達到精 度要求度要求(2)輸入訓(xùn)練樣本對輸入訓(xùn)練樣本對X Xp、d dp計算各層輸出計算各層輸出(3)計算網(wǎng)絡(luò)輸出誤差計算網(wǎng)絡(luò)輸出誤差PpLkpkpkodE112)(21總初 始 化 V、 W計 數(shù) 器 q=1，p=1輸 入 第 一 對 樣 本計 算 各 層 輸 出計 算 誤 差 ： P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 計 算 各 層 誤 差 信 號 調(diào) 整 各 層 權(quán) 值 q 增 1 N Erms do 4.1 E=0; 算法算法4-1 基本基本BP算法算法 4.2 對對S中的每一個樣本（中的每一個樣本（Xp

16、,Yp）：）： 4.2.1 計算出計算出Xp對應(yīng)的實際輸出對應(yīng)的實際輸出Op； 4.2.2 計算出計算出Ep； 4.2.3 E=E+Ep； 4.2.4 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 根據(jù)相應(yīng)式子調(diào)整根據(jù)相應(yīng)式子調(diào)整W(k)； k=k-1 4.3 E=E/2.0 例例 求解模式分類問題求解模式分類問題 給定訓(xùn)練模式對如圖給定訓(xùn)練模式對如圖1所示。輸出模式、期望輸出均所示。輸出模式、期望輸出均為三維向量；訓(xùn)練網(wǎng)絡(luò)為一個三層為三維向量；訓(xùn)練網(wǎng)絡(luò)為一個三層BP網(wǎng)絡(luò)，輸入層、輸出網(wǎng)絡(luò)，輸入層、輸出

17、層均有層均有3個神經(jīng)元。學(xué)習(xí)的目的是使網(wǎng)絡(luò)能將個神經(jīng)元。學(xué)習(xí)的目的是使網(wǎng)絡(luò)能將3種不同形狀種不同形狀的輸入模式正確分類，即相應(yīng)圖中每個不同類型的點分布，的輸入模式正確分類，即相應(yīng)圖中每個不同類型的點分布，并且僅有一個輸出單元響應(yīng)。并且僅有一個輸出單元響應(yīng)。 定義左邊的中間具有峰值的模式為類型定義左邊的中間具有峰值的模式為類型1，即期望輸出，即期望輸出為為y1；(1，0，0)；中間下凹的模式為類型；中間下凹的模式為類型2，即期，即期望輸出為望輸出為Y2：(0，1，0)；平坦形狀的模式為類型；平坦形狀的模式為類型3，即，即期望輸出為期望輸出為y3(0，0，1)。圖圖1根據(jù)圖示的數(shù)據(jù)，可將樣本對根據(jù)

18、圖示的數(shù)據(jù)，可將樣本對(xk，yk)(k1，2，3)寫為寫為下面的矢量形式：下面的矢量形式： 構(gòu)造網(wǎng)絡(luò)如圖構(gòu)造網(wǎng)絡(luò)如圖2所示，隱層單元置為所示，隱層單元置為5個。對上述三個個。對上述三個樣本反復(fù)訓(xùn)練，直到對所有訓(xùn)練樣本，網(wǎng)絡(luò)都能給出滿意樣本反復(fù)訓(xùn)練，直到對所有訓(xùn)練樣本，網(wǎng)絡(luò)都能給出滿意結(jié)果時，學(xué)習(xí)完成結(jié)果時，學(xué)習(xí)完成 為了檢驗網(wǎng)絡(luò)的泛化能力，用圖為了檢驗網(wǎng)絡(luò)的泛化能力，用圖3所示的輸入樣本去所示的輸入樣本去測試已經(jīng)學(xué)習(xí)好的網(wǎng)絡(luò)，這些測試樣本即為測試集。測試已經(jīng)學(xué)習(xí)好的網(wǎng)絡(luò)，這些測試樣本即為測試集。圖圖2 該例子可以推廣到其他所有模式識別的應(yīng)用。針對某一具該例子可以推廣到其他所有模式識別的應(yīng)用。

19、針對某一具體應(yīng)用，應(yīng)恰當建立輸入矢量和輸出矢量的表達與編碼，訓(xùn)體應(yīng)用，應(yīng)恰當建立輸入矢量和輸出矢量的表達與編碼，訓(xùn)練用的樣本對和測試用的樣本對應(yīng)正確和具有代表意義。練用的樣本對和測試用的樣本對應(yīng)正確和具有代表意義。 測試集有測試集有28個輸入模式，其中包括圖個輸入模式，其中包括圖3所示的每個模式所示的每個模式的的6個加噪模式，噪聲值為個加噪模式，噪聲值為0.1，還包括不同高度的平坦，還包括不同高度的平坦模式模式10個。該網(wǎng)絡(luò)能夠?qū)€。該網(wǎng)絡(luò)能夠?qū)?8個加噪音模式準確的分類；對個加噪音模式準確的分類；對平坦模式類型平坦模式類型3，取值較高的模式能夠正確分類，但取值，取值較高的模式能夠正確分類，但

20、取值較小時會產(chǎn)生錯分類。較小時會產(chǎn)生錯分類。圖圖3五、五、BP網(wǎng)絡(luò)的主要能力網(wǎng)絡(luò)的主要能力(1)非線性映射能力非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供供足夠多的樣本模式對供BP網(wǎng)絡(luò)進行學(xué)網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由習(xí)訓(xùn)練，它便能完成由n維輸入空間到維輸入空間到m維輸出空間的非線性映射。維輸出空間的非線性映射。(2)泛化能力泛化能力 當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)

21、據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。饋網(wǎng)的泛化能力。(3)容錯能力容錯能力 輸入樣本中帶有較大的誤差甚至個別輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。六、標準六、標準BP算法的改進算法的改進標準的標準的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： 易形成局部極小而得不到全局最優(yōu)；易形成局部極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱

22、節(jié)點的選取缺乏理論指導(dǎo)；隱節(jié)點的選取缺乏理論指導(dǎo)； 訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。 針對上述問題，國內(nèi)外已提出不少有效的改進算法，針對上述問題，國內(nèi)外已提出不少有效的改進算法，下面僅介紹其中下面僅介紹其中3種較常用的方法。種較常用的方法。1 增加動量項增加動量項)1()(ttWXW為動量系數(shù)，一般有為動量系數(shù)，一般有( (0 0，1 1) )2 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差總誤差，則本次調(diào)整無效，且，則本次調(diào)整無效，且 = = ( (0 0 ) )； 若若經(jīng)過一

23、批次權(quán)值調(diào)整后使總誤差經(jīng)過一批次權(quán)值調(diào)整后使總誤差，則本次，則本次調(diào)整有效，且調(diào)整有效，且 = = ( (1 21 net 0七、七、 BP網(wǎng)絡(luò)設(shè)計基礎(chǔ)網(wǎng)絡(luò)設(shè)計基礎(chǔ)1 、訓(xùn)練樣本集的準備、訓(xùn)練樣本集的準備1）輸入輸出量的選擇）輸入輸出量的選擇 輸出量輸出量代表系統(tǒng)要實現(xiàn)的功能目標，例如系統(tǒng)的性代表系統(tǒng)要實現(xiàn)的功能目標，例如系統(tǒng)的性能指標，分類問題的類別歸屬，或非線性函數(shù)的函數(shù)值能指標，分類問題的類別歸屬，或非線性函數(shù)的函數(shù)值等等。等等。 輸入量輸入量必須選擇那些對輸出影響大且能夠檢測或提必須選擇那些對輸出影響大且能夠檢測或提取的變量，此外還要求各輸入變量之間互不相關(guān)或相關(guān)取的變量，此外還要求各

24、輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條基本原則。性很小，這是輸入量選擇的兩條基本原則。從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)值變量，一類是語言變量。值變量，一類是語言變量。數(shù)值變量數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。的值是數(shù)值確定的連續(xù)量或離散量。語言變量語言變量是用自然語言表示的概念，其是用自然語言表示的概念，其“語言值語言值”是是用自然語言表示的事物的各種屬性。當選用語言變量用自然語言表示的事物的各種屬性。當選用語言變量作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為離散的

25、數(shù)值量。離散的數(shù)值量。2） 輸入量的提取與表示輸入量的提取與表示(1)文字符號輸入文字符號輸入XC=(111100111)T XI=(010010010)T XT=(111010010)T(2)曲線輸入曲線輸入x(t) xn x1 t 0 1 2 3 4 5 nTpnpipppxxxxX),.,.,(21p=1,2,P(3)函數(shù)自變量輸入函數(shù)自變量輸入 一般有幾個輸入量就設(shè)幾個分量，一般有幾個輸入量就設(shè)幾個分量，1個輸入分量對個輸入分量對應(yīng)應(yīng)1個輸入層節(jié)點。個輸入層節(jié)點。(4)圖象輸入圖象輸入 在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象中提取一些有

26、用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的貢獻進行篩選，這種特征提取屬于圖象處理的范疇。貢獻進行篩選，這種特征提取屬于圖象處理的范疇。(1)“n中取中取1”表示法表示法 “n中取中取1”是令輸出向量的分量數(shù)等于類別數(shù)，輸是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對應(yīng)的輸出分量取入樣本被判為哪一類，對應(yīng)的輸出分量取1，其余，其余 n-1 個分量全取個分量全取0。例如，用。例如，用0001、0010、0100和和1000可分可分別表示優(yōu)、良、中、差別表示優(yōu)、良、中、差4個類別。個類別。(2)“n-1”表示法表示法 如果用如果用n-1個全為個全為

27、0的輸出向量表示某個類別，則可的輸出向量表示某個類別，則可以節(jié)省一個輸出節(jié)點。例如，用以節(jié)省一個輸出節(jié)點。例如，用000、001、010和和100也也可表示優(yōu)、良、中、差可表示優(yōu)、良、中、差4個類別。個類別。2、 輸出量的表示輸出量的表示(3)數(shù)值表示法數(shù)值表示法 對于漸進式的分類，可以將語言值轉(zhuǎn)化為二值之間對于漸進式的分類，可以將語言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進關(guān)的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進關(guān)系，并要根據(jù)實際意義拉開距離。系，并要根據(jù)實際意義拉開距離。3、輸入輸出數(shù)據(jù)的歸一化、輸入輸出數(shù)據(jù)的歸一化 歸一化也稱為或標準化，是指通過變換處理將網(wǎng)歸一化也稱為或標準化，是指通過變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在絡(luò)的輸入、輸出數(shù)據(jù)限制在0，1