《神經(jīng)網(wǎng)絡(luò)計算》

1、智能中國網(wǎng)提供學(xué)習(xí)支持智能中國網(wǎng)提供學(xué)習(xí)支持12.8 Elman神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法 2概述概述pElmanElman神經(jīng)網(wǎng)絡(luò)由神經(jīng)網(wǎng)絡(luò)由Jeffrey L. Elman Jeffrey L. Elman 于于19901990年提出年提出p是一種反饋神經(jīng)網(wǎng)絡(luò)是一種反饋神經(jīng)網(wǎng)絡(luò) p具有很強的計算能力具有很強的計算能力 Hello ,Im Jeffrey L. Elman32.8.1 Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)pElmanElman網(wǎng)絡(luò)由網(wǎng)絡(luò)由4 4層組成層組成輸入層 信號傳輸作用隱含層承接層 也稱上下文單元或狀態(tài)層,承接層從隱含層接收反饋信號，用來記憶隱含層神經(jīng)元前一時刻的的輸出值，承接層神經(jīng)元的

2、輸出經(jīng)延遲與存儲，再輸入到隱含層。這樣就使其對歷史數(shù)據(jù)具有敏感性，增加了網(wǎng)絡(luò)自身處理動態(tài)信息的能力。輸出層 僅起線性加權(quán)作用。42.8.2 Elman2.8.2 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 pElmanElman神經(jīng)網(wǎng)絡(luò)各層輸入輸出公式神經(jīng)網(wǎng)絡(luò)各層輸入輸出公式如果輸入向量 為 維向量，輸出向量 為 維，隱含層輸出向量 為 維，承接層輸出向量 為 維， 分別為隱含層到輸出層、輸入層到隱含層、承接層到隱含層的連接權(quán)值。 為輸出神經(jīng)元的激活函數(shù),是隱含層輸出的線性組合。 為隱含層神經(jīng)元的激活函數(shù)， 為承接層的海派函數(shù)， 表示某層的凈輸入，用A表示輸入層，用B表示承接層， 表示迭代次序

3、則各層之間的表達式如下圖所示。 urymxncx123,w w wg() f() n( )h ()nett52.8.2 Elman2.8.2 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1111()()()mnnettwtxt 11()()my tg nett 23( )( )( )( )nicniu tif iAtxtif iBwif iAw twf iB 1()( )( )inii ABnettw tt 11()()nnxtf nett 11( )()()inii ABnettw tt ( )( )cnxth nett 1(1)w t 2( )w t3( )w tOutput yr12n1n

4、1m1輸出層用紫色表示輸出層用紫色表示隱含層用黃色表示隱含層用黃色表示承接層用白色表示承接層用白色表示62.8.2 Elman2.8.2 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法pElmanElman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法采用BPBP算法算法判斷算法是否結(jié)束的誤差函數(shù)為： 其中 為期望輸出Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法流程圖21 ( )( )nkEy kd k( )d k7ElmanElman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法流程圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法流程圖82.8.3 Elman2.8.3 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn) pElmanElman神經(jīng)網(wǎng)絡(luò)的

5、重要函數(shù)和基本功能神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函 數(shù) 名功 能newelm()生成一個Elman神經(jīng)網(wǎng)絡(luò)trains()根據(jù)已設(shè)定的權(quán)值和閾值對網(wǎng)絡(luò)進行順序訓(xùn)練traingdx()自適應(yīng)學(xué)習(xí)速率動量梯度下降反向傳播訓(xùn)練函數(shù)learngdm()動量梯度下降權(quán)值和閾值學(xué)習(xí)函數(shù)92.8.3 Elman2.8.3 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn)p例例2-7 2-7 下表為某單位辦公室七天上午下表為某單位辦公室七天上午9 9點到點到1212點的空調(diào)負(fù)荷數(shù)據(jù)，數(shù)據(jù)已經(jīng)做了點的空調(diào)負(fù)荷數(shù)據(jù)，數(shù)據(jù)已經(jīng)做了歸一化處理，預(yù)測方法采用前歸一化處理，預(yù)測方法采用前6

6、6天的數(shù)據(jù)天的數(shù)據(jù)作為網(wǎng)絡(luò)的訓(xùn)練樣本，每作為網(wǎng)絡(luò)的訓(xùn)練樣本，每3 3天的負(fù)荷作為天的負(fù)荷作為輸入向量，第輸入向量，第4 4天的負(fù)荷作為目標(biāo)向量，天的負(fù)荷作為目標(biāo)向量，第七天的數(shù)據(jù)作為網(wǎng)絡(luò)的測試數(shù)據(jù)。第七天的數(shù)據(jù)作為網(wǎng)絡(luò)的測試數(shù)據(jù)。 102.8.3 Elman2.8.3 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn)p空調(diào)負(fù)荷數(shù)據(jù)表空調(diào)負(fù)荷數(shù)據(jù)表 時間9時負(fù)荷10時負(fù)荷11時負(fù)荷12時負(fù)荷第1天0.44130.47070.69530.8133第2天0.43790.46770.69810.8002第3天0.45170.47250.70060.8201第4天0.455

7、70.47900.70190.8211第5天0.46010.48110.71010.8298第6天0.46120.48450.71880.8312第7天0.46150.48910.72010.8330112.8.3 Elman2.8.3 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn)p例例2-72-7程序程序%根據(jù)預(yù)測方法得到輸入向量和目標(biāo)向量P=0.4413 0.4707 0.6953 0.8133 0.4379 0.4677 0.6981 0.8002 0.4517 0.4725 0.7006 0.8201;0.4379 0.4677 0.6981 0.80

8、02 0.4517 0.4725 0.7006 0.8201 0.4557 0.4790 0.7019 0.8211;0.4517 0.4725 0.7006 0.8201 0.4557 0.4790 0.7019 0.8211 0.4601 0.4811 0.7101 0.8298;T=0.4557 0.4790 0.7019 0.8211;0.4601 0.4811 0.7101 0.8298;0.4612 0.4845 0.7188 0.8312;%輸入向量的取值范圍為0 1，用threshold來標(biāo)記threshold=0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;%創(chuàng)建一個Elman神經(jīng)網(wǎng)絡(luò)，隱含層的神經(jīng)元個數(shù)為17個，4個輸出層神經(jīng)元，隱含層激活函%數(shù)為tansig，輸出層激活函數(shù)為purelin net=newelm(threshold,17,4,tansig,purelin); net.trainParam.epochs=3000;122.8.3 Elman2.8.3 Elman神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLABMATLAB實現(xiàn)實現(xiàn)p例例2-72-7誤差曲線誤差曲線13小結(jié)小結(jié)p概述概述pElman