MATLAB程序代碼--BP神經(jīng)網(wǎng)絡(luò)的設(shè)計實例.doc

MATLAB程序代碼-BP神經(jīng)網(wǎng)絡(luò)的設(shè)計實例例1 采用動量梯度下降算法訓(xùn)練 BP 網(wǎng)絡(luò)。訓(xùn)練樣本定義如下：輸入矢量為 p =-1 -2 3 1 -1 1 5 -3目標(biāo)矢量為 t = -1 -1 1 1解：本例的 MATLAB 程序如下： close all clear echo on clc % NEWFF生成一個新的前向神經(jīng)網(wǎng)絡(luò) % TRAIN對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 % SIM對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 pause % 敲任意鍵開始 clc % 定義訓(xùn)練樣本 % P 為輸入矢量 P=-1, -2, 3, 1; -1, 1, 5, -3;% T 為目標(biāo)矢量 T=-1, -1, 1, 1; pause; clc % 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò) net=newff(minmax(P),3,1,tansig,purelin,traingdm)% 當(dāng)前輸入層權(quán)值和閾值 inputWeights=net.IW1,1 inputbias=net.b1 % 當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值 layerWeights=net.LW2,1 layerbias=net.b2 pause clc % 設(shè)置訓(xùn)練參數(shù) net.trainParam.show = 50; net.trainParam.lr = 0.05; net.trainParam.mc = 0.9; bpnet=newff(pr,12 4,logsig, logsig, traingdx, learngdm);%建立BP神經(jīng)網(wǎng)絡(luò)， 12個隱層神經(jīng)元，4個輸出神經(jīng)元%tranferFcn屬性 logsig 隱層采用Sigmoid傳輸函數(shù)%tranferFcn屬性 logsig 輸出層采用Sigmoid傳輸函數(shù)%trainFcn屬性 traingdx 自適應(yīng)調(diào)整學(xué)習(xí)速率附加動量因子梯度下降反向傳播算法訓(xùn)練函數(shù)%learn屬性 learngdm 附加動量因子的梯度下降學(xué)習(xí)函數(shù) net.trainParam.epochs=1000;%允許最大訓(xùn)練步數(shù)2000步net.trainParam.goal=0.001; %訓(xùn)練目標(biāo)最小誤差0.001net.trainParam.show=10; %每間隔100步顯示一次訓(xùn)練結(jié)果net.trainParam.lr=0.05; %學(xué)習(xí)速率0.05net.trainParam.epochs = 1000; net.trainParam.goal = 1e-3; pause clc % 調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò) net,tr=train(net,P,T); pause clc % 對 BP 網(wǎng)絡(luò)進(jìn)行仿真 A = sim(net,P) % 計算仿真誤差 E = T - A MSE=mse(E) pause clc echo off 例2 采用貝葉斯正則化算法提高 BP 網(wǎng)絡(luò)的推廣能力。在本例中，我們采用兩種訓(xùn)練方法，即 L-M 優(yōu)化算法（trainlm）和貝葉斯正則化算法（trainbr），用以訓(xùn)練 BP 網(wǎng)絡(luò)，使其能夠擬合某一附加有白噪聲的正弦樣本數(shù)據(jù)。其中，樣本數(shù)據(jù)可以采用如下MATLAB 語句生成： 輸入矢量：P = -1:0.05:1； 目標(biāo)矢量：randn(seed,78341223)； T = sin(2*pi*P)+0.1*randn(size(P)； 解：本例的 MATLAB 程序如下： close all clear echo on clc % NEWFF生成一個新的前向神經(jīng)網(wǎng)絡(luò) % TRAIN對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練% SIM對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 pause % 敲任意鍵開始 clc % 定義訓(xùn)練樣本矢量 % P 為輸入矢量 P = -1:0.05:1; % T 為目標(biāo)矢量 randn(seed,78341223); T = sin(2*pi*P)+0.1*randn(size(P); % 繪制樣本數(shù)據(jù)點 plot(P,T,+); echo off hold on; plot(P,sin(2*pi*P),:); % 繪制不含噪聲的正弦曲線 echo on clc pause clc % 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò) net=newff(minmax(P),20,1,tansig,purelin); pause clc echo off clcdisp(1. L-M 優(yōu)化算法 TRAINLM); disp(2. 貝葉斯正則化算法 TRAINBR); choice=input(請選擇訓(xùn)練算法(1,2):); figure(gcf); if(choice=1) echo on clc % 采用 L-M 優(yōu)化算法 TRAINLM net.trainFcn=trainlm; pause clc % 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 500; net.trainParam.goal = 1e-6; net=init(net); % 重新初始化 pause clcelseif(choice=2) echo on clc % 采用貝葉斯正則化算法 TRAINBR net.trainFcn=trainbr; pause clc % 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 500; randn(seed,192736547); net = init(net); % 重新初始化 pause clc end % 調(diào)用相應(yīng)算法訓(xùn)練 BP 網(wǎng)絡(luò) net,tr=train(net,P,T); pause clc % 對 BP 網(wǎng)絡(luò)進(jìn)行仿真 A = sim(net,P); % 計算仿真誤差 E = T - A; MSE=mse(E) pause clc % 繪制匹配結(jié)果曲線 close all; plot(P,A,P,T,+,P,sin(2*pi*P),:); pause; clc echo off通過采用兩種不同的訓(xùn)練算法，我們可以得到如圖 1和圖 2所示的兩種擬合結(jié)果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“”點為含有白噪聲的正弦樣本數(shù)據(jù)點。顯然，經(jīng) trainlm 函數(shù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)點實現(xiàn)了“過度匹配”，而經(jīng) trainbr 函數(shù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對噪聲不敏感，具有較好的推廣能力。值得指出的是，在利用 trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)時，若訓(xùn)練結(jié)果收斂，通常會給出提示信息“Maximum MU reached”。此外，用戶還可以根據(jù) SSE 和 SSW 的大小變化情況來判斷訓(xùn)練是否收斂：當(dāng) SSE 和 SSW 的值在經(jīng)過若干步迭代后處于恒值時，則通常說明網(wǎng)絡(luò)訓(xùn)練收斂，此時可以停止訓(xùn)練。觀察trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)的誤差變化曲線,可見，當(dāng)訓(xùn)練迭代至 320 步時，網(wǎng)絡(luò)訓(xùn)練收斂，此時 SSE 和 SSW 均為恒值，當(dāng)前有效網(wǎng)絡(luò)的參數(shù)（有效權(quán)值和閾值）個數(shù)為 11.7973。 例3 采用“提前停止”方法提高 BP 網(wǎng)絡(luò)的推廣能力。對于和例 2相同的問題，在本例中我們將采用訓(xùn)練函數(shù) traingdx 和“提前停止”相結(jié)合的方法來訓(xùn)練 BP 網(wǎng)絡(luò)，以提高 BP 網(wǎng)絡(luò)的推廣能力。 解：在利用“提前停止”方法時，首先應(yīng)分別定義訓(xùn)練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義并使用驗證樣本，即有 驗證樣本輸入矢量：val.P = -0.975:.05:0.975 驗證樣本目標(biāo)矢量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P) 值得注意的是，盡管“提前停止”方法可以和任何一種 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù)一起使用，但是不適合同訓(xùn)練速度過快的算法聯(lián)合使用，比如 trainlm 函數(shù)，所以本例中我們采用訓(xùn)練速度相對較慢的變學(xué)習(xí)速率算法 traingdx 函數(shù)作為訓(xùn)練函數(shù)。本例的 MATLAB 程序如下：close all clear echo on clc % NEWFF生成一個新的前向神經(jīng)網(wǎng)絡(luò) % TRAIN對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 % SIM對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 pause % 敲任意鍵開始 clc % 定義訓(xùn)練樣本矢量 % P 為輸入矢量 P = -1:0.05:1; % T 為目標(biāo)矢量 randn(seed,78341223); T = sin(2*pi*P)+0.1*randn(size(P); % 繪制訓(xùn)練樣本數(shù)據(jù)點 plot(P,T,+); echo off hold on; plot(P,sin(2*pi*P),:); % 繪制不含噪聲的正弦曲線 echo on clc pause clc % 定義驗證樣本 val.P = -0.975:0.05:0.975; % 驗證樣本的輸入矢量 val.T = sin(2*pi*val.P)+0.1*randn(size(val.P); % 驗證樣本的目標(biāo)矢量 pause clc % 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò) net=newff(minmax(P),5,1,tansig,purelin,traingdx); pause clc % 設(shè)置訓(xùn)練參數(shù) net.trainParam.epochs = 500; net = init(net); pause clc % 訓(xùn)練 BP 網(wǎng)絡(luò) net,tr=train(net,P,T,val); pause clc % 對 BP 網(wǎng)絡(luò)進(jìn)行仿真 A = sim(net,P); % 計算仿真誤差 E = T - A; MSE=mse(E) pause clc % 繪制仿真擬合結(jié)果曲線 close all; plot(P,A,P,T,+,P,sin(2*pi*P),:); pause; clc echo off 下面給出了網(wǎng)絡(luò)的某次訓(xùn)練結(jié)果，可見，當(dāng)訓(xùn)練至第 136 步時，訓(xùn)練提前停止，此時的網(wǎng)絡(luò)誤差為 0.0102565。給出了訓(xùn)練后的仿真數(shù)據(jù)擬合曲線，效果是相當(dāng)滿意的。 net,tr=train(net,P,T,val); TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006TRAINGDX, Validation stop.例3 用BP網(wǎng)絡(luò)估計膽固醇含量這是一個將神經(jīng)網(wǎng)絡(luò)用于醫(yī)療應(yīng)用的例子。我們設(shè)計一個器械，用于從血樣的光譜組成的測量中得到血清的膽固醇含量級別，我們有261個病人的血樣值，包括21種波長的譜線的數(shù)據(jù)，對于這些病人，我們得到了基于 光譜分類的膽固醇含量級別hdl,ldl,vldl。(1) 樣本數(shù)據(jù)的定義與預(yù)處理。 choles_all.mat 文件中存儲了網(wǎng)絡(luò)訓(xùn)練所需要的全部樣本數(shù)據(jù)。利用 load 函數(shù)可以在工作空間中自動載入網(wǎng)絡(luò)訓(xùn)練所需的輸入數(shù)據(jù) p 和目標(biāo)數(shù)據(jù) t，即 load choles_all sizeofp = size (p) sizeofp = 21 264 sizeoft = size (t) sizeoft = 3 264可見，樣本集的大小為 264。為了提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，通常要對樣本數(shù)據(jù)作適當(dāng)?shù)念A(yù)處理。首先，利用 prestd 函數(shù)對樣本數(shù)據(jù)作歸一化處理，使得歸一化后的輸入和目標(biāo)數(shù)據(jù)均服從正態(tài)分布，即 pn,meanp,stdp,tn,meant,stdt = prestd(p,t); 然后，利用 prepca 函數(shù)對歸一化后的樣本數(shù)據(jù)進(jìn)行主元分析，從而消除樣本數(shù)據(jù)中的冗余成份，起到數(shù)據(jù)降維的目的。 ptrans,transMat = prepca(pn,0.001); R,Q = size(ptrans) R = 4 Q = 264 可見，主元分析之后的樣本數(shù)據(jù)維數(shù)被大大降低，輸入數(shù)據(jù)的維數(shù)由 21 變?yōu)?4。(2) 對訓(xùn)練樣本、驗證樣本和測試樣本進(jìn)行劃分。 為了提高網(wǎng)絡(luò)的推廣能力和識別能力，訓(xùn)練中采用“提前停止”的方法，因此，在訓(xùn)練之前，需要將上面處理后的樣本數(shù)據(jù)適當(dāng)劃分為訓(xùn)練樣本集、驗證樣本集和測試樣本集。(3) 網(wǎng)絡(luò)生成與訓(xùn)練。 選用兩層 BP 網(wǎng)絡(luò)，其中網(wǎng)絡(luò)輸入維數(shù)為 4，輸出維數(shù)為 3，輸出值即為血清膽固醇的三個指標(biāo)值大小。網(wǎng)絡(luò)中間層神經(jīng)元數(shù)目預(yù)選為 5，傳遞函數(shù)類型選為 tansig 函數(shù)，輸出層傳遞函數(shù)選為線性函數(shù) purelin，訓(xùn)練函數(shù)設(shè)為 trainlm。網(wǎng)絡(luò)的生成語句如下：net = newff(minmax(ptr),5 3,tansig purelin,trainlm); 利用 train 函數(shù)對所生成的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如下： net,tr=train(net,ptr,ttr,val,test); 見，網(wǎng)絡(luò)訓(xùn)練迭代至第 20 步時提前停止，這是由于驗證誤差已經(jīng)開始變大。利用下面語句可以繪制出訓(xùn)練誤差、驗證誤差和測試誤差的變化曲線，如圖 4.50 所示。由圖可見，驗證誤差和測試誤差的變化趨勢基本一致，說明樣本集的劃分基本合理。由訓(xùn)練誤差曲線可見，訓(xùn)練誤差結(jié)果也是比較滿意的。(4) 網(wǎng)絡(luò)仿真。 為了進(jìn)一步檢驗訓(xùn)練后網(wǎng)絡(luò)的性能，下面對訓(xùn)練結(jié)果作進(jìn)一步仿真分析。利用 postreg函數(shù)可以對網(wǎng)絡(luò)仿真的輸出結(jié)果和目標(biāo)輸出作線性回歸分析，并得到兩者的相關(guān)系數(shù)，從而可以作為網(wǎng)絡(luò)訓(xùn)練結(jié)果優(yōu)劣的判別依據(jù)。仿真與線性回歸分析如下： an = sim(net,ptrans); a = poststd(an,meant,stdt); for i=1:3 figure(i) m(i),b(i),r(i) = postreg(a(i,:),t(i,:); end %導(dǎo)入原始測量數(shù)據(jù)load choles_all;%對原始數(shù)據(jù)進(jìn)行規(guī)范化處理,prestd是對輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行規(guī)范化處理，%prepca可以刪除一些數(shù)據(jù)，適當(dāng)?shù)乇Ａ袅俗兓恍∮?.01的數(shù)據(jù)pn,meanp,stdp,tn,meant,stdt=prestd(p,t);ptrans,transMat=prepca(pn,0.001);R,Q=size(ptrans) %將原始數(shù)據(jù)分成幾個部分作為不同用途四分已用于確證，四分一用于測試，二分一用于訓(xùn)練網(wǎng)絡(luò)iitst=2:4:Q;iival=4:4:Q;iitr=1:4:Q 3:4:Q;%vv是確證向量，.P是輸入，.T是輸出，vt是測試向量vv.P=ptrans(:,iival); vv.T=tn(:,iival);vt.P=ptrans(:,iitst); vt.T=tn(:,iitst);ptr=ptrans(:,iitr); ttr=tn(:,iitr);%建立網(wǎng)絡(luò)，隱層中設(shè)計5個神經(jīng)元，由于需要得到的是3個目標(biāo)，所以網(wǎng)絡(luò)需要有3個輸出net=newff(minmax(ptr),5 3,tansig purelin,trainlm);%訓(xùn)練網(wǎng)絡(luò)net.trainPar