神經(jīng)網(wǎng)絡預測法資料 神經(jīng)網(wǎng)絡做預測

本文格式為Word版，下載可任意編輯——神經(jīng)網(wǎng)絡預測法資料神經(jīng)網(wǎng)絡做預測數(shù)學建模系列講座基于神經(jīng)網(wǎng)絡的預料與分類,萬敏理學院,什么是數(shù)學建模,用于描述實際問題的數(shù)學布局，稱為數(shù)學模型；

建立數(shù)學模型并加以求解的整個過程稱為數(shù)學建模。,將實際問題翻譯成一個數(shù)學問題，用數(shù)學方法及計算機工具加以求解。,一、有導師學習神經(jīng)網(wǎng)絡的原理；

matlab實現(xiàn)；

BP、RBF在預料、分類中的應用;PNN在分類中的應用,二、無導師學習神經(jīng)網(wǎng)絡的原理；

matlab實現(xiàn)；

競爭神經(jīng)網(wǎng)絡、SOFM在分類、聚類中的應用,人工神經(jīng)網(wǎng)絡產(chǎn)生背景,機器智能研究怎樣用機器（計算機）模仿人腦從事推理、設計、斟酌、學習等思維活動，以解決和處理較繁雜的問題。,人工神經(jīng)網(wǎng)絡是機器智能的一片面，它模擬大腦的神經(jīng)系統(tǒng)，更簡樸的說，就是人腦神經(jīng)系統(tǒng)的一個數(shù)學模型,大腦神經(jīng)系統(tǒng),大腦內(nèi)約含1000億個神經(jīng)元,神經(jīng)系統(tǒng)是由這些神經(jīng)元經(jīng)過高度的組織與相互作用而構(gòu)成的繁雜的網(wǎng)絡,特征：神經(jīng)元+相互作用,神經(jīng)元模型,神經(jīng)元模型,,,,,,,神經(jīng)元與神經(jīng)元之間如何相互作用（傳遞信息）？,憑借于突觸的聯(lián)接！

突觸的聯(lián)接會受外界信息的影響或自身生長過程的影響而變化。正是通過神經(jīng)元及其突觸聯(lián)接的可變性，使得大腦具有學習、記憶和認知等各種智能。,突觸,突觸,突觸,突觸,突觸是可變的,連接權值w對應于突觸,突觸,,,,,,,,,,,,輸入-輸出關系,多輸入,權值,單輸出,,,,閾值,激活函數(shù),其中，,連接權值,求和單元,激活函數(shù),凈輸入,完成輸入-輸出的非線性映射，有三個關鍵,常見的幾類激活函數(shù),,這些非線性函數(shù)具有兩個顯著的特征，一是突變性，二是飽和性，這正是為了模擬神經(jīng)細胞興奮過程中所產(chǎn)生的神經(jīng)沖動以及疲乏等特性,人工神經(jīng)網(wǎng)絡＝神經(jīng)元＋連接,人工神經(jīng)網(wǎng)絡,神經(jīng)網(wǎng)絡的布局,前饋神經(jīng)網(wǎng)絡,遞歸神經(jīng)網(wǎng)絡,特點：神經(jīng)元之間有反應連接,輸入--輸出關系？,,,,,,,,,,,,輸入-輸出關系,多輸入,權值,單輸出,,,,其中，,凈輸入,單個神經(jīng)元,單層前饋神經(jīng)網(wǎng)絡,多層前饋神經(jīng)網(wǎng)絡,輸入層,隱含層,隱含層,輸入-輸出關系：,權值，求和，激活函數(shù),輸出層,,,,p,a,神經(jīng)網(wǎng)絡,一、網(wǎng)絡布局1、輸入神經(jīng)元數(shù)，輸出神經(jīng)元個數(shù)2、隱層數(shù)，每個隱層中神經(jīng)元個數(shù)3、每個神經(jīng)元的激活函數(shù)f,輸入-輸出關系,人工神經(jīng)網(wǎng)絡,二、前饋神經(jīng)網(wǎng)絡的學習,這類網(wǎng)絡模型怎樣實現(xiàn)分類、識別、預料等智能行為？,,通過學習！

變更連接權值W！

,通過樣本更新權值和閾值,,,,p,a,神經(jīng)網(wǎng)絡,,以識別蘋果和香蕉為例,關鍵：調(diào)整權值,期望輸出t=1蘋果t=0香蕉,輸入：蘋果或香蕉,訓練樣本：,期望輸出,輸入,訓練樣本：,有導師的學習,,期望輸出（向量）,輸入（向量）,對樣本對（輸入和期望輸出）舉行學習；

將樣本的輸入送至神經(jīng)網(wǎng)絡，計算得到實際輸出；

若實際輸出與期望輸出之間的誤差不得志精度要求，那么調(diào)整權值W和閾值b，逐步減小誤差，直至得志精度要求。,,,根本思想：,,,,p,a,神經(jīng)網(wǎng)絡,訓練樣本,學習過程：通過樣本更新權值和閾值,,,輸出目標,輸入,W(old),,W(new),學習,網(wǎng)絡的學習：通過樣本不斷調(diào)整權值學習好以后的網(wǎng)絡：權值不再變更，所學的學識存儲在權值中學習好以后的網(wǎng)絡舉行預料、分類等等,下面將給出三種典型的有導師學習的神經(jīng)網(wǎng)絡：BP,RBF,PNN,BP（反向傳播）神經(jīng)網(wǎng)絡原理,一、布局,2、輸入輸出關系：

激活函數(shù)通常采用S形函數(shù)，如logsig，tansig函數(shù)；

輸出層激活函數(shù)多采用purelin函數(shù)。,3、理論上，具有一個隱含層的BP網(wǎng)絡可以以任意精度迫近任意非線性函數(shù)。,1、多層前饋網(wǎng)絡：前、后層之間各神經(jīng)元實現(xiàn)全聯(lián)接；

同一層的神經(jīng)元之間無聯(lián)接。,二、BP網(wǎng)絡的學習算法,學習過程：,信號前向傳播+誤差反向傳播,BP網(wǎng)絡的學習算法是典型的有導師學習算法：將樣本輸入神經(jīng)網(wǎng)絡，得到網(wǎng)絡的實際輸出，若輸出值與期望輸出之間的誤差不得志精度要求，那么從輸出層反向傳播該誤差，從而調(diào)整權值及閾值，使得網(wǎng)絡的輸出和期望輸出間的誤差逐步減小，直至得志精度要求。,訓練樣本,,,,p,a,BP神經(jīng)網(wǎng)絡,1、信號前向傳播,二、BP網(wǎng)絡的學習,2、誤差反向傳播,訓練樣本：,均方誤差（單輸出）,均方誤差（多輸出）,梯度下降法：權值閾值的調(diào)整沿著誤差函數(shù)下降最快的方向——負梯度方向,,WeightUpdate,BP網(wǎng)絡的學習算法（梯度下降法）,第m層的靈敏度,BP學習過程,Step1,選定樣本,p=1,…,P,隨機確定初始權矩陣W（0）,Step2,利用誤差反向計算每一層的sensitivty，更新權值和閾值。直到誤差得志精度要求。,利用樣本計算網(wǎng)絡輸出，得到誤差,Step3,BP網(wǎng)絡學習算法的提升,BP算法缺點小結(jié)易形成局部微小而得不到全局最優(yōu)；

訓練次數(shù)多使得學習效率低，收斂速度慢；

隱節(jié)點的選取缺乏理論指導；

訓練時學習新樣本有遺忘舊樣本的趨勢。,針對上述問題，國內(nèi)外已提出不少有效的提升算法，其中基于LM的提升算法是較常用的一種方法。,基于Levenberg-Marquardt法的BP提升算法,Levenberg-Marquardt法實際上是梯度下降法和牛頓法的結(jié)合，它的優(yōu)點在于網(wǎng)絡權值數(shù)目較少時收斂分外急速。應用Levenberg-Marquardt優(yōu)化算法比傳統(tǒng)的BP及其它提升算法（如共軛梯度法，附加動量法、自適應調(diào)整法及擬牛頓法等）迭代次數(shù)少，收斂速度快，精確度高。但對于繁雜問題，需要更大的存儲空間MATLAB中的工具函數(shù)trainlm()即對應Levenberg-Marquardt法的提升算法。,BP網(wǎng)絡的Matlab工具箱函數(shù),1、BP神經(jīng)網(wǎng)絡創(chuàng)造函數(shù):函數(shù)newff用于創(chuàng)造一個BP神經(jīng)網(wǎng)絡，其調(diào)用格式為：

net=newff(P,T,[S1S2.SN],{TF1TF2.TFN},BTF,BLF,PF),P：輸入矩陣，每行對應于一個樣本的輸入向量T：輸出矩陣，每行對應于該樣本的期望輸出Si：第i個隱含層的神經(jīng)元個數(shù)，結(jié)果一個為輸出層神經(jīng)元個數(shù)TFi:第i個隱含層的激活函數(shù)（隱含層默認值為tansig，輸出層默認值為purelin）BTF:網(wǎng)絡訓練函數(shù)（默認值為trainlm）BLF:權值/閾值學習函數(shù)（默認值為learngdm）PF:性能函數(shù)（默認值為mse均方誤差函數(shù)）,訓練函數(shù)確定算法的框架（全局），學習函數(shù)確定權值的調(diào)整（局部）,樣本：{p1,t1},{p2,t2},…,{p50,t50}p1=[0.1,0.2],t1=0.7;p2=[0.98,0.75],t2=0.8;……p50=[0.87,0.6],t50=0.2如何創(chuàng)造一個三層BP神經(jīng)網(wǎng)絡學習樣本？設隱含層神經(jīng)元個數(shù)為6.,例,P=[0.1,0.2;0.98,0.75;…0.87,0.6;]%每行為一樣本的輸入T=[0.7;0.8;…0.2;]%每行為對應樣本的期望輸出,Net=newff(P,T,6,{tansig,purelin},trainlm,lerangdm,mse),網(wǎng)絡布局：2-6-1,net=newff(P,T,6),BP神經(jīng)網(wǎng)絡的Matlab工具箱函數(shù),2、BP神經(jīng)網(wǎng)絡訓練函數(shù):函數(shù)train用于訓練已經(jīng)創(chuàng)造好的BP神經(jīng)網(wǎng)絡，其調(diào)用格式為：

[net,tr,Y,E]=train(net,P,T),P：輸入矩陣，每行對應于一個樣本的輸入向量T：輸出矩陣，每行對應于該樣本的期望輸出tr：訓練記錄，包括迭代次數(shù)和性能Y:網(wǎng)絡輸出矩陣E:網(wǎng)絡誤差向量,訓練前的網(wǎng)絡，newff產(chǎn)生的BP網(wǎng)絡,訓練好的BP神經(jīng)網(wǎng)絡，權值不再變更,BP神經(jīng)網(wǎng)絡的Matlab工具箱函數(shù),3、BP神經(jīng)網(wǎng)絡的仿真函數(shù):函數(shù)sim用于利用訓練好的BP網(wǎng)絡舉行仿真預料，其調(diào)用格式為：

[Y,E,Perf]=sim(net,P),Net:訓練好的BP神經(jīng)網(wǎng)絡，train得到的網(wǎng)絡P：輸入向量/矩陣，每行對應于一個樣本的輸入向量Y:網(wǎng)絡輸出向量/矩陣，每行對應于該樣本的預料輸出E:網(wǎng)絡誤差向量Perf:網(wǎng)絡的性能,BP神經(jīng)網(wǎng)絡用于預料，分類,產(chǎn)生訓練集/測試集,,,,,創(chuàng)造/訓練BP網(wǎng)絡,創(chuàng)造/訓練RBF網(wǎng)絡,創(chuàng)造/訓練PNN網(wǎng)絡,,,,,,仿真測試,,性能評價,1、產(chǎn)生訓練集/測試集：（P_tain,T_train），（P_test,T_test）將樣本分為訓練集和測試集，訓練樣本用于網(wǎng)絡訓練（學習），測試樣本用于測試網(wǎng)絡的泛化才能。一般，訓練集樣本數(shù)量占總樣本數(shù)量的2/3-3/4為宜，剩余的1/4-1/3作為測試集。,訓練集和測試集隨機產(chǎn)生,要分析網(wǎng)絡模型的泛化才能，理應也務必用非訓練樣本（稱為測試樣本）誤差的大小來表示和評價，這也是將總樣本分成訓練樣本和非訓練樣本主要理由之一。最直接和客觀的指標是從總樣本中隨機抽取的非訓練樣本（測試樣本）誤差是否和訓練樣本的誤差一樣小或稍大。非訓練樣本誤差很接近訓練樣本誤差或比其小，一般可認為建立的網(wǎng)絡模型已有效迫近訓練樣本所蘊含的規(guī)律，否那么，若相差好多（如幾倍、幾十倍甚至上千倍）就說明建立的網(wǎng)絡模型并沒有有效迫近訓練樣本所蘊含的規(guī)律，而只是在這些訓練樣本點上迫近而已。,2、創(chuàng)造/訓練BP神經(jīng)網(wǎng)絡:newff,train創(chuàng)造前需要確定網(wǎng)絡的布局：,隱層數(shù)含一個隱層的MLP網(wǎng)絡能夠以任意精度迫近任何有理函數(shù)。在設計BP網(wǎng)絡時，應優(yōu)先考慮3層BP網(wǎng)絡（即有1個隱層），靠增加隱層節(jié)點數(shù)來獲得較低的誤差。,隱層節(jié)點數(shù)確定隱層節(jié)點數(shù)的最根本原那么：在得志精度要求的前提下取盡可能少的隱層節(jié)點數(shù)。最正確隱層神經(jīng)元個數(shù)可參考如下公式：

其中n為輸入層神經(jīng)元個數(shù)；

l為暗藏層神經(jīng)元個數(shù)；

a為0-10之間的常數(shù),3、仿真測試：T_sim=sim(net,P_test)網(wǎng)絡創(chuàng)造并訓練完成以后，將測試集的輸入變量送入網(wǎng)絡，網(wǎng)絡的輸出即為預料結(jié)果,訓練神經(jīng)網(wǎng)絡的根本任務是確保訓練好的網(wǎng)絡模型對非訓練樣本具有好的泛化才能（推廣性），即有效迫近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡模型對訓練樣本的擬合才能。因此，僅給出訓練樣本誤差的大小而不給出測試樣本誤差的大小是沒有任何意義的。,4、性能評價：

通過計算測試集的預料值與真實值間的誤差，對網(wǎng)絡的性能（即：泛化才能）舉行評價。,,相對誤差：erro抉擇系數(shù):R2,相對誤差越小，說明模型的性能越好。

抉擇系數(shù)越接近于1，說明模型的性能越好；

越接近于0，說明越差。,BP神經(jīng)網(wǎng)絡做預料/分類的步驟,樣本采集、歸一化、隨機選擇訓練樣本和測試樣本BP網(wǎng)絡構(gòu)建/訓練(newff/train)性能評價:利用測試樣本計算預料誤差，用于評價網(wǎng)絡的泛化才能若泛化才能達要求，那么訓練好的BP神經(jīng)網(wǎng)絡可舉行預料/分類。否那么，需要調(diào)整網(wǎng)絡參數(shù)持續(xù)學習直到泛化才能達要求為止。,例1、人口預料以下是從《北京統(tǒng)計年鑒》中得到的1983-2022年的北京城近郊區(qū)戶籍人口統(tǒng)計結(jié)果。建立人工神經(jīng)網(wǎng)絡模型，預料2022年的北京城近郊區(qū)戶籍人口,北京市人口數(shù)統(tǒng)計表：,產(chǎn)生訓練集/測試集,,,,,創(chuàng)造/訓練BP網(wǎng)絡,創(chuàng)造/訓練RBF網(wǎng)絡,創(chuàng)造/訓練PNN網(wǎng)絡,,,,,,仿真測試,,性能評價,利用神經(jīng)網(wǎng)絡預料、分類的思路,問題分析,我們可以通過訓練一個BP網(wǎng)絡來達成預料目的：用前四年的人數(shù)預料下一