基于BP算法的函數(shù)逼近步驟

1、TAIYUANUNIVERSITYOFSCIENCE&TECHNOLOGY基于BP算法函數(shù)逼近步驟學(xué)號：S班級：研1507基于BP算法函數(shù)逼近步驟一、BP神經(jīng)網(wǎng)絡(luò)算法:BP(BackPropagation)網(wǎng)絡(luò)是是一種按誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層、隱含層和輸出層。輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間

2、層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計為單隱含層或者多隱含層結(jié)構(gòu)；最后一個隱含層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實際輸出與期望輸出不符時，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱含層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。二、BP學(xué)習(xí)算法的計算步驟概述BP算法的基本原理是梯度最速下降法，它的中心

3、思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。運行BP學(xué)習(xí)算法時，包含正向和反向傳播兩個階段。（1）正向傳播輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。（2）反向傳播將誤差信號沿原來的連接通道返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號最小。學(xué)習(xí)過程是一種誤差邊向后傳播邊修正權(quán)系數(shù)的過程。三、BP算法具體步驟前饋計算設(shè)隱層的第j個節(jié)點的輸入和輸出分別為:Iw-Ojijii二1O二f(I)jj其中f（I）為激勵函數(shù)j由于隱層的輸出就是輸出層的輸入，則輸出層第k個節(jié)點的總輸入和輸出分別為:jk若網(wǎng)絡(luò)輸出與實際輸出存在誤差，則將誤差信號反向傳播，并不斷地修正權(quán)值，直至誤

4、差達(dá)到要求為止。權(quán)值調(diào)整k=1設(shè)誤差函數(shù)定義為：E=-蘭（d-y）2p2kkk=1為了簡便，以下計算都是針對每個節(jié)點而言，誤差函數(shù)e記作EP6EdITk-dldwkjk1）輸出層權(quán)值的調(diào)整權(quán)值修正公式為：Aw=-n_jkdwjk定義反傳誤差信號5k為5kdEdIkdEdOdOdikk式中坐=-(d-O)dOkkk竺=f(I)didi/kkf(I)=f(I)1-f(I)=O(1-O)kkkkk所以5=(d-O)O(1-O)又-=-(遲wO)=Okkkkkdwdwjkjjjkjkj=1由此可得輸出層的任意神經(jīng)元權(quán)值的修正公式:Aw=n5O或Aw=nO(1-O)(d-O)Ojkkjjk-2）隱層權(quán)值

5、的調(diào)整AdEdEdIAw=-耳=-耳jijdwdIdwijjijdE門=-qOdIj式中竺=丄（另w-O）=Odwdwijiiijiji=1由于誤差函數(shù)E與隱層輸入I不存在直接的函數(shù)關(guān)系,j因此不能dEdOj=(kdOdIdIdOjjk=1kj卜=-(藝竺斗)響=藝(晉)dO疋wjk-八Ij)jk=1kjj=1二(也kwjk)-八Ij)隱層權(quán)值的修隱層的反傳誤差信號為6二f(I)藝5w由此可得,ijkjkk=1正公式為：Aw=nf(i)-O或Aw=nO(1-O)-(迓5w)-Ojjkjkijjjkjkik=1k=1四、程序代碼w10=0.10.2;0.30.15;0.20.4;w11=0.20

6、.1;0.250.2;0.30.35;w20=0.2;0.25;0.3;w21=0.15;0.2;0.4;q0=0.10.20.3;q1=0.20.150.25;p0=0.2;p1=0.1;xj=0.5;0.9;k1=5;k2=1200;e0=0;e1=0;e2=0;fors=1:72yp1=cos(2*3.14*k1*s/360);fork=1:k2fori=1:3x=w11(i,1)*xj(1,:)+w11(i,2)*xj(2,:);z=x+q1(:,i);o=1-exp(-z)/1+exp(-z);m=1/1+exp(-z);m1(i,:)=m;o1(i,:)=o;endfori=1:3

7、yb=0;yb=yb+w21(i,:)*o1(i,:);endyi=yb+p1;n=1/1+exp(-yi);y=1-exp(-yi)/1+exp(-yi);e0=e1;e1=e2;e2=(yp1-y).八2/2;xj1=e2-e1;xj2=e2-2*e1+e0;xj=xj1;xj2;d2=n*(1-y)*(yp1-y);bk=d2;fori=1:3u=w21(i,:)*bk;d1=1-o1(i,:)*u;d0=m1(i,:)*d1;qw=q1(:,i)-q0(:,i);q2=q1(:,i)+0.8*d0+0.4*qw;q3(:,i)=q2;forj=1:2dw=w11(i,j)-w10(i,

8、j);w12=w11(i,j)+0.8*d0*xj(j,:)+0.6*dw;w13(i,j)=w12;endendw10=w11;w11=w13;q0=q1;q1=q3;fori=1:3h=w21(i,:)-w20(i,:);w22=w21(i,:)+0.4*d2*o1(i,:)+0.75*h;w23(i,:)=w22;endw20=w21;w21=w23;ph=p1-p0;p2=p1+0.9*d2+0.6*ph;p0=p1;p1=p2;ife20.0001,break;elsek=k+1;endende(s)=e2;ya(s)=yp1;yo(s)=y;s=s+1;ends1=s-1;s=1:s1;plot(s,ya,s,yo,g.,s,e,rx);title(BP);五、運行結(jié)果1此次逼近的函數(shù)