神經(jīng)網(wǎng)絡(luò)建模

神經(jīng)網(wǎng)絡(luò)建模第1頁/共48頁1、神經(jīng)網(wǎng)絡(luò)簡介

人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學的基礎(chǔ)上發(fā)展起來的，旨在模擬人腦結(jié)構(gòu)以及功能的一種抽象的數(shù)學模型,其中Hopfield神經(jīng)網(wǎng)絡(luò)、ART神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)是常用的網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單元，是一類不具有學習能力的單層自聯(lián)想網(wǎng)絡(luò)，她的網(wǎng)絡(luò)模型由一組可使某一個能量函數(shù)最小的微分方程組成。ART神經(jīng)網(wǎng)絡(luò)主要用于模式識別，她的不足之處在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播的多層前向網(wǎng)絡(luò),其信息處理機制由神經(jīng)元激活特性和網(wǎng)絡(luò)拓撲結(jié)構(gòu)決定,神經(jīng)元的傳遞函數(shù)是非線性函數(shù),網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、隱含層、輸出層組成,同層節(jié)點間無關(guān)聯(lián),異層節(jié)點前向連接。

第2頁/共48頁1.1、人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)的基本單元的神經(jīng)元模型第3頁/共48頁人工神經(jīng)元的三個要素第4頁/共48頁1.2激活（傳遞）函數(shù)的取法在Matlab工具箱里包括了許多激活（傳遞）函數(shù)。在“TransferFunctionGraphs”中可以找到它們的完全列表函數(shù)名功能

purelin線性傳遞函數(shù)

hardlim硬限幅遞函數(shù)

hardlims對稱硬限幅遞函數(shù)

satli飽和線性傳遞函數(shù)

satlins對稱飽和線性傳遞函數(shù)

logsig對數(shù)S形傳遞函數(shù)

tansig正切S形傳遞函數(shù)

radbas徑向基傳遞函數(shù)

compet競爭層傳遞函數(shù)第5頁/共48頁第6頁/共48頁1.3、網(wǎng)絡(luò)結(jié)構(gòu)以及工作方式從連接方式看NN主要有兩種網(wǎng)絡(luò)拓撲結(jié)構(gòu)：前饋型網(wǎng)絡(luò)：結(jié)點分為輸入單元和計算單元反饋型網(wǎng)絡(luò)：所有結(jié)點都是計算單元NN的工作過程主要分為兩個階段：第一階段：學習期，此時個計算單元狀態(tài)不變，各連線上的權(quán)值可通過學習來修改第二階段：工作期，此時各連接權(quán)值固定，計算各單元狀態(tài)變化第7頁/共48頁網(wǎng)絡(luò)結(jié)構(gòu)：前饋型神經(jīng)網(wǎng)絡(luò)

兩個或更多的上面所示的神經(jīng)元可以組合成一層，一個典型的網(wǎng)絡(luò)可包括一層或者多層。我們首先來研究神經(jīng)元層。單層神經(jīng)元網(wǎng)絡(luò)

有R輸入元素和S個神經(jīng)元組成的單層網(wǎng)絡(luò)如下圖所示n{1}=net.IW{1,1}*p+net.b{1}第8頁/共48頁多層神經(jīng)元網(wǎng)絡(luò)

上面所示的網(wǎng)絡(luò)有R1個輸入，第一層有S1個神經(jīng)元，第二層有S2個神經(jīng)元…第9頁/共48頁中間層的輸出就是下一層的輸入。第二層可看作有S1個輸入，S2個神經(jīng)元和S1xS2階權(quán)重矩陣W2的單層網(wǎng)絡(luò)。第二層的輸入是a1，輸出是a2，現(xiàn)在我們已經(jīng)確定了第二層的所有向量和矩陣，我們就能把它看成一個單層網(wǎng)絡(luò)了。其他層也可以照此步驟處理。

多層網(wǎng)絡(luò)的功能非常強大。例、一個兩層的網(wǎng)絡(luò)，第一層的轉(zhuǎn)移函數(shù)是曲線函數(shù)，第二層的轉(zhuǎn)移函數(shù)是線性函數(shù)，通過訓練，它能夠很好的模擬任何有有限斷點的函數(shù)。這種兩層網(wǎng)絡(luò)集中應(yīng)用于“反向傳播網(wǎng)絡(luò)”。

注意:我們把第三層的輸出a3標記為y。我們將使用這種符號來定義這種網(wǎng)絡(luò)的輸出。

第10頁/共48頁1.4創(chuàng)建網(wǎng)絡(luò)newp創(chuàng)建感知器網(wǎng)絡(luò)newlind設(shè)計一線性層newlin創(chuàng)建一線性層newff創(chuàng)建一前饋BP網(wǎng)絡(luò)newcf創(chuàng)建一多層前饋BP網(wǎng)絡(luò)newfftd創(chuàng)建一前饋輸入延遲BP網(wǎng)絡(luò)newrb設(shè)計一徑向基網(wǎng)絡(luò)newrbe設(shè)計一嚴格的徑向基網(wǎng)絡(luò)newgrnn設(shè)計一廣義回歸神經(jīng)網(wǎng)絡(luò)newpnn設(shè)計一概率神經(jīng)網(wǎng)絡(luò)newc創(chuàng)建一競爭層newsom創(chuàng)建一自組織特征映射newhop創(chuàng)建一Hopfield遞歸網(wǎng)絡(luò)newelm創(chuàng)建一Elman遞歸網(wǎng)絡(luò)第11頁/共48頁1.5數(shù)據(jù)結(jié)構(gòu):影響網(wǎng)絡(luò)仿真的輸入數(shù)據(jù)結(jié)構(gòu)的格式靜態(tài)網(wǎng)絡(luò)中的同步輸入仿真：例1第12頁/共48頁動態(tài)網(wǎng)絡(luò)中的異步輸入仿真：當網(wǎng)絡(luò)中存在延遲時，順序發(fā)生的輸入向量就要按一定的序列輸入網(wǎng)絡(luò)。為了演示這種情況，我們以一個有延遲的簡單網(wǎng)絡(luò)為例。

第13頁/共48頁動態(tài)網(wǎng)絡(luò)中的同步輸入仿真如果我們在上例中把輸入作為同步而不是異步應(yīng)用，我們就會得到完全不同的響應(yīng)。這就好象每一個輸入都同時加到一個單獨的并行網(wǎng)絡(luò)中。在前一個例子中，如果我們用一組同步輸入，我們有：p1=[1],p2=[2],p3=[3],p4=[4]這可用下列代碼創(chuàng)建：P=[1234];模擬這個網(wǎng)絡(luò)，我們得到：A=sim(net,P)A=1234第14頁/共48頁在某些特定的情況下，我們可能想要在同一時間模擬一些不同序列的網(wǎng)絡(luò)響應(yīng)。這種情況我們就要給網(wǎng)絡(luò)輸入一組同步序列。比如說，我們要把下面兩個序列輸入網(wǎng)絡(luò)：

p(1)=[1],p(2)=[2],p(3)=[3],p(4)=[4]p(1)=[4],p(2)=[3],p(3)=[2],p(4)=[1]輸入P應(yīng)該是一個細胞數(shù)組，每一個數(shù)組元素都包含了兩個同時發(fā)生的序列的元素。P={[14][23][32][41]};現(xiàn)在我們就可以模擬這個網(wǎng)絡(luò)了：A=sim(net,P);網(wǎng)絡(luò)輸出結(jié)果將是：A={[14][411][78][105]}可以看到，每個矩陣的第一列是由第一組輸入序列產(chǎn)生的輸出序列，每個矩陣的第二列是由第二組輸入序列產(chǎn)生的輸出序列。這兩組序列之間沒有關(guān)聯(lián)，好象他們是同時應(yīng)用在單個的并行網(wǎng)絡(luò)上的。第15頁/共48頁前面的討論中，不論是作為一個同步向量矩陣輸入還是作為一個異步向量細胞數(shù)組輸入，模擬的輸出值是一樣的。在訓練網(wǎng)絡(luò)時，這是不對的。當我們使用adapt函數(shù)時，如果輸入是異步向量細胞數(shù)組，那么權(quán)重將在每一組輸入提交的時候更新（就是增加方式）；如果輸入是同步向量矩陣，那么權(quán)重將只在所有輸入提交的時候更新（就是批處理方式）。第16頁/共48頁1.6訓練方式

兩種不同的訓練方式

(1)增加方式：每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次;

(2)在批處理方式中：僅僅當所有的輸入數(shù)據(jù)都被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新.增加方式（應(yīng)用于自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)）雖然增加方式更普遍的應(yīng)用于動態(tài)網(wǎng)絡(luò)，比如自適應(yīng)濾波，但是在靜態(tài)和動態(tài)網(wǎng)絡(luò)中都可以應(yīng)用它。第17頁/共48頁靜態(tài)網(wǎng)絡(luò)中的增加方式

用增加方式來訓練靜態(tài)同步仿真中的例1，這樣每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。在此我們用函數(shù)adapt，并給出輸入和目標序列：假定我們要訓練網(wǎng)絡(luò)建立以下線性函數(shù)：t=2p1+p2.我們的輸入是：目標輸出是：t1=[4],t2=[5],t3=[7],t4=[7]首先用0初始化權(quán)重和偏置。為了顯示增加方式的效果，先把學習速度也設(shè)為0。

net=newlin([-11;-11],1,0,0);net.IW{1,1}=[00];net.b{1}=0;為了用增加方式，我們把輸入和目標輸出表示為以下序列：

P={[1;2][2;1][2;3][3;1]};T={4577};第18頁/共48頁用增加方式訓練網(wǎng)絡(luò)：net=newlin([-11;-11],1,0,0);net.IW{1,1}=[00];net.b{1}=0;P={[1;2][2;1][2;3][3;1]};T={4577};[net,a,e,pf]=adapt(net,P,T);由于學習速度為0，網(wǎng)絡(luò)輸出仍然為0，并且權(quán)重沒有被更新。錯誤和目標輸出相等。

a=[0][0][0][0]e=[4][5][7][7]如果我們設(shè)置學習速度為0.1，我們就能夠看到當每一組輸入提交時，網(wǎng)絡(luò)是怎么調(diào)整的了。net.inputWeights{1,1}.learnParam.lr=0.1;net.biases{1,1}.learnParam.lr=0.1;[net,a,e,pf]=adapt(net,P,T);a=[0][2][6.0][5.8]e=[4][3][1.0][1.2]第19頁/共48頁2、BP神經(jīng)網(wǎng)絡(luò)2.1、概述BP網(wǎng)絡(luò)是采用Widrow-Hoff學習算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是Widrow-Hoff算法所規(guī)定的。backpropagation就是指的為非線性多層網(wǎng)絡(luò)計算梯度的方法?，F(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法。一個經(jīng)過訓練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖然這個輸入并沒有被訓練過。這個特性使得BP網(wǎng)絡(luò)很適合采用輸入/目標對進行訓練，而且并不需要把所有可能的輸入/目標對都訓練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個特性--規(guī)則化和早期停止。第20頁/共48頁2.2、基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

1）常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig，tansig有時也會用到線性函數(shù)purelin。當網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時輸出被限制在一個很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。如果需要也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。

2）在BP網(wǎng)絡(luò)中，轉(zhuǎn)移函數(shù)可求導是非常重要的，tansig、logsig和purelin都有對應(yīng)的導函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導函數(shù),可以輸入

tansig(‘deriv’)

ans=dtansig

第21頁/共48頁網(wǎng)絡(luò)構(gòu)建和初始化訓練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對象。函數(shù)newff建立一個可訓練的前饋網(wǎng)絡(luò)。net=newff(PR,[S1S2...SNl],{TF1TF2...TFNl},BTF,BLF,PF)這里需要4個輸入?yún)?shù)。第一個參數(shù)是一個RxS1的矩陣以定義R個輸入向量的最小值和最大值。第二個參數(shù)是一個每層神經(jīng)元個數(shù)的數(shù)組。第三個參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細胞數(shù)組。最后一個參數(shù)是用到的訓練函數(shù)的名稱。第22頁/共48頁例、創(chuàng)建一個二層網(wǎng)絡(luò)它的輸入是兩個元素的向量，第一層有四個神經(jīng)元，第二層有三個神經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是tan-sigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。輸入向量的第一個元素的范圍是-1到2，輸入向量的第二個元素的范圍是0到5，訓練函數(shù)是=newff([-12;05],[4,3],{‘tansig’,‘purelin’},‘traingd’);這個命令建立了網(wǎng)絡(luò)對象并且初始化了網(wǎng)絡(luò)權(quán)重和偏置，因此網(wǎng)絡(luò)就可以進行訓練了。第23頁/共48頁在訓練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán)重和偏置的工作用命令init來實現(xiàn)。

net=init(net);

對前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到：initwb和initnw。

1）initwb函數(shù)根據(jù)每一層自己的初始化參數(shù)(net.inputWeights{i,j}.initFcn)初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為rands，它使權(quán)重在-1到1之間隨機取值值，這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時。

2）initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù)Nguyen和Widrow[NgWi90]為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動區(qū)域能大致平坦的分布在輸入空間。它比起單純的給權(quán)重和偏置隨機賦值有以下優(yōu)點：（1）減少神經(jīng)元的浪費（因為所有神經(jīng)元的活動區(qū)域都在輸入空間內(nèi)）。（2）有更快的訓練速度（因為輸入空間的每個區(qū)域都在活動的神經(jīng)元范圍中）。

第24頁/共48頁初始化函數(shù)被newff所調(diào)用。因此當網(wǎng)絡(luò)創(chuàng)建時，它根據(jù)缺省的參數(shù)自動初始化。init不需要單獨的調(diào)用?？墒俏覀兛赡芤匦鲁跏蓟瘷?quán)重和偏置或者進行自定義的初始化。例如，我們用newff創(chuàng)建的網(wǎng)絡(luò)，它缺省用initnw來初始化第一層。如果我們想要用rands重新初始化第一層的權(quán)重和偏置，我們用以下命令：

net.layers{1}.initFcn='initwb';net.inputWeights{1,1}.initFcn='rands';net.biases{1,1}.initFcn='rands';net.biases{2,1}.initFcn='rands';net=init(net);第25頁/共48頁網(wǎng)絡(luò)模擬(SIM)

用函數(shù)sim模擬一個網(wǎng)絡(luò)。sim接收網(wǎng)絡(luò)輸入p，網(wǎng)絡(luò)對象net，返回網(wǎng)絡(luò)輸出a，這里是simuff用來模擬上面建立的帶一個輸入向量的網(wǎng)絡(luò)。p=[1;2];a=sim(net,p)a=-0.1011(用這段代碼得到的輸出是不一樣的，這是因為網(wǎng)絡(luò)初始化是隨機的。)例、調(diào)用sim來計算一個同步輸入3向量網(wǎng)絡(luò)的輸出：p=[132;241];a=sim(net,p)a=-0.1011-0.23080.4955第26頁/共48頁網(wǎng)絡(luò)訓練一旦網(wǎng)絡(luò)加權(quán)和偏差被初始化，網(wǎng)絡(luò)就可以開始訓練了。我們能夠訓練網(wǎng)絡(luò)來做函數(shù)近似（非線性后退），模式結(jié)合，或者模式分類。訓練處理需要一套適當?shù)木W(wǎng)絡(luò)操作的例子--網(wǎng)絡(luò)輸入p和目標輸出t。在訓練期間網(wǎng)絡(luò)的加權(quán)和偏差不斷的把網(wǎng)絡(luò)性能函數(shù)net.performFcn減少到最小。前饋網(wǎng)絡(luò)的缺省性能函數(shù)是均方誤差mse--網(wǎng)絡(luò)輸出和目標輸出t之間的均方誤差。第27頁/共48頁反向傳播算法反向傳播學習算法最簡單的應(yīng)用是沿著性能函數(shù)最速增加的方向--梯度的負方向更新權(quán)重和偏置。這種遞歸算法可以寫成：

xk+1=xk-ak*gk這里xk是當前權(quán)重和偏置向量，gk是當前梯度，ak是學習速率。有兩種不同的辦法實現(xiàn)梯度下降算法：增加模式和批處理模式。在增加模式中，網(wǎng)絡(luò)輸入每提交一次，梯度計算一次并更新權(quán)重。在批處理模式中，當所有的輸入都被提交后網(wǎng)絡(luò)才被更新。第28頁/共48頁增加模式訓練法（ADAPT）現(xiàn)在我們就可以開始訓練網(wǎng)絡(luò)了。當然我們要指定輸入值和目標值如下所示：

p=[-1-122;0505];t=[-1-111];如果我們要在每一次提交輸入后都更新權(quán)重，那么我們需要將輸入矩陣和目標矩陣轉(zhuǎn)變?yōu)榧毎麛?shù)組。每一個細胞都是一個輸入或者目標向量。p=num2cell(p,1);t=num2cell(t,1);現(xiàn)在就可以用adapt來實現(xiàn)增加方式訓練了:[net,a,e]=adapt(net,p,t);訓練結(jié)束以后，就可以模擬網(wǎng)絡(luò)輸出來檢驗訓練質(zhì)量了。

a=sim(net,p)a=[-0.9995][-1.0000][1.0001][1.0000]第29頁/共48頁帶動力的梯度下降(LEARDGDM)

批處理訓練方式批處理梯度下降法(TRAINGD)

帶動量的批處理梯度下降法（批處理訓練方式TRAINGDM）第30頁/共48頁例1、蠓蟲分類問題1、蠓蟲分類問題生物學家試圖對兩種蠓蟲（Af與Apf）進行鑒別，依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得了9支Af和6支Apf的數(shù)據(jù)如下：Af:(1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1.56,2.08)；Apf:(1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).（i）根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類蠓蟲。（ii）對觸角和翼長分別為(1.24,1.80)，(1.28,1.84)與(1.40,2.04)的3個標本，用所得到的方法加以識別。（iii）設(shè)Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改分類方法。第31頁/共48頁問題分析：要求依據(jù)已知資料（9支Af的數(shù)據(jù)和6支Apf的數(shù)據(jù)）制定一種分類方法，類別是已經(jīng)給定的（Af或Apf）。我們將9支Af及6支Apf的數(shù)據(jù)集合稱之為學習樣本。

2多層前饋網(wǎng)絡(luò)

為解決此問題，考慮一個其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)輸入層輸出層中間層（隱層）第32頁/共48頁以s=1,2,,15，分別表示學習樣本中的15個樣品，對樣品s而言，對任何一組確定的輸入I_k^s(k=1,2)隱單元j的輸入是

相應(yīng)的輸出狀態(tài)是

網(wǎng)絡(luò)的最終輸出是第33頁/共48頁對于任何一組確定的輸入，輸出是所有權(quán)的函數(shù)。如果我們能夠選定一組適當?shù)臋?quán)值，使得對應(yīng)于學習樣本中任何一組Af樣品的輸入，輸出為(1,0)，對應(yīng)于Apf的輸入數(shù)據(jù)，輸出為(0,1)，那么蠓蟲分類問題實際上就解決了。因為，對于任何一個未知類別的樣品，只要將其觸角及翅膀長度輸入網(wǎng)絡(luò)，視其輸出模式靠近(1,0)亦或(0,1)，就可能判斷其歸屬。當然，有可能出現(xiàn)介于中間無法判斷的情況。

現(xiàn)在的問題是，如何找到一組適當?shù)臋?quán)值，實現(xiàn)上面所設(shè)想的網(wǎng)絡(luò)功能。第34頁/共48頁3向后傳播算法

在1985年，美國加州大學的一個研究小組提出了所謂向后傳播算法（Back-Propagation）。

我們希望對應(yīng)于學習樣本中Af樣品的輸出是(1,0)，對應(yīng)于Apf的輸出是(0,1)，這樣的輸出稱之為理想輸出。實際上要精確地作到這一點是不可能的，只能希望實際輸出盡可能地接近理想輸出。為清楚起見，把對應(yīng)于樣品s的理想輸出記為，

度量了在一組給定的權(quán)下，實際輸出與理想輸出的差異，由此，尋找一組恰當?shù)臋?quán)的問題，自然地歸結(jié)為求適當W的值，使E(W)達到極小的問題第35頁/共48頁最速下降法對每一個變量w_ij或w而言，這是一個連續(xù)可微的非線性函數(shù)，為了求得其極小點與極小值，最為方便的就是使用最速下降法。最速下降法是一種迭代算法，為求出E(W)的（局部）極小，它從一個任取的初始點W_0出發(fā)，計算在W_0點的負梯度方向，這是函數(shù)在該點下降最快的方向；只要，就可沿該方向移動一小段距離，達到一個新的點。不斷重復這一過程，一定能達到E的一個（局部）極小點。就本質(zhì)而言，這就是BP算法的全部內(nèi)容。然而，對人工神經(jīng)網(wǎng)絡(luò)問題而言，這一算法的具體形式是非常重要的，下面我們就來給出這一形式表達。第36頁/共48頁對于隱單元到輸出單元的權(quán)w_ij而言，最速下降法給出的每一步的修正量是可以看出，所有權(quán)的修正量都有如下形式指標p對應(yīng)于兩個單元中輸出信號的一端，q對應(yīng)于輸入信號的一端，v或者代表H或者代表I。第37頁/共48頁

由實際輸出與理想輸出的差及決定，而則需依賴算出，因此，這一算法才稱為

向后傳播算法。利用這一迭代算法，最終生成在一定精度內(nèi)滿足要求的的過程，稱為人工神經(jīng)網(wǎng)絡(luò)的學習過程。可以看出，這里所提供的學習機制是元與元之間權(quán)的不斷調(diào)整，學習樣本中任何一個樣品所提供的信息，最終將包含在網(wǎng)絡(luò)的每一個權(quán)之中。參數(shù)h的大小則反映了學習效率。第38頁/共48頁第39頁/共48頁4、蠓蟲分類問題求解clearp1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.001.28,2.00;1.30,1.96];p=[p1;p2]';pr=minmax(p);goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];subplot(1,2,1)plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')subplot(1,2,2)net=newff(pr,[3,2],{'logsig','logsig'});net.trainParam.show=10;net.trainParam.lr=0.05;net.trainParam.epochs=3000;net.trainParam.goal=1e-10;net=train(net,p,goal);x=[1.241.80;1.281.84;1.402.04]';y0=sim(net,p)y=sim(net,x)第40頁/共48頁例2、人口預測

以下是從《北京統(tǒng)計年鑒》中得到的1980-2010年的北京城近郊區(qū)戶籍人口統(tǒng)計結(jié)果作為樣本數(shù)據(jù)，建立人工神經(jīng)網(wǎng)絡(luò)模型，預測、2011年的北京城近郊區(qū)戶籍人口第41頁/共48頁北京市人口數(shù)統(tǒng)計表：年份人數(shù)（萬人）年份人數(shù)（萬人）1980498.41996631.81981510.21997638.71982521.31998646.21983534.01999651.81984540.72000658.91985542.82001667.41986553.02002678.61987563.22003689.21988573.92004698.81989582.12005707.219905922006713.21991598.72007718.51992604.32008730.91993609.52009743.81994616.12010749.61995625.1第42頁/共48頁數(shù)據(jù)處理后的樣本數(shù)據(jù)：樣本用途樣本組數(shù)輸入一輸入二輸入三輸入四輸出學習樣本10.49840.51020.52130.5340.540720.51020.52130.5340.54070.542830.52130.5340.54070.54280.55340.5340.54070.54280.5530.563250.54070.54280.5530.56320.573960.54280.5530.56320.57390.582170.5530.56320.57390.58210.59280.56320.57390.58210.5920.598790.57390.58210.5920.59870.6043100.58210.5920.59870.60430.6095110.5920.59870.60430.60950.6161120.59870.60430.60950.61610.6251130.60430.60950.61610.62510.6318140.60950.61610.62510.63180.6387150.61610.62510.63180.63870.6462160.62510.63180.63870.64620.6518170.63180.63870.64620.65180.6589180.63870.64620.65180.65890.6674190.64620.65180.65890.66740.6786200.65180.65890.66740.67860.6892210.65890.66740.67860.68920.6988220.66740.67860.68920.69880.