數(shù)學建模BP神經(jīng)網(wǎng)絡論文正稿

1、.wd.wd.wd.BP神經(jīng)網(wǎng)絡算法原理：輸入信號通過中間節(jié)點隱層點作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號，網(wǎng)絡訓練的每個樣本包括輸入向量和期望輸出量，網(wǎng)絡輸出值與期望輸出值之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復學習訓練，確定與最小誤差相對應的網(wǎng)絡參數(shù)權值和閾值，訓練即告停頓。此時經(jīng)過訓練的神經(jīng)網(wǎng)絡即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉換的信息。變量定義：設輸入層有個神經(jīng)元，隱含層有個神經(jīng)元,輸出層有個神經(jīng)元輸入向量：隱含層輸入向量：隱含層輸出向量：輸出層輸入向量：輸出層輸出向量

2、：期望輸出向量:輸入層與中間層的連接權值:隱含層與輸出層的連接權值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：算法步驟：Step1.網(wǎng)絡初始化 。給各連接權值分別賦一個區(qū)間-1，1內(nèi)的隨機數(shù)，設定誤差函數(shù)，給定計算精度值和最大學習次數(shù)M。Step2.隨機選取第個輸入樣本及對應期望輸出Step3.計算隱含層各神經(jīng)元的輸入和輸出及輸出層各神經(jīng)元的輸入和輸出Step4.利用網(wǎng)絡期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù)。Step5.利用隱含層到輸出層的連接權值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)。Step6.利用輸出層各神

3、經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權值。Step7.利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權。 Step8.計算全局誤差。Step9.判斷網(wǎng)絡誤差是否滿足要求。當誤差到達預設精度或學習次數(shù)大于設定的最大次數(shù)，那么完畢算法。否那么，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。 算法流程圖： 輸入，根據(jù)網(wǎng)絡的狀態(tài)方程計算網(wǎng)絡輸出網(wǎng)絡初始化計算全局誤差：修改權值：訓練完成到達最大學習次數(shù)NONOYESYES參數(shù)確定：確定了網(wǎng)絡層數(shù)、每層節(jié)點數(shù)、傳遞函數(shù)、初始權系數(shù)、學習算法等也就確定了BP網(wǎng)絡。確定這些選項時有一定的指導原那么，但更多的是靠經(jīng)歷和試湊。 1. 樣

4、本數(shù)據(jù)采用BP神經(jīng)網(wǎng)絡方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓練學習過程使之不發(fā)生“過擬合和評價建設的網(wǎng)絡模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓練樣本、檢驗樣本10%以上和測試樣本10%以上3局部。2.輸入/輸出變量一般地，BP網(wǎng)絡的輸入變量即為待分析系統(tǒng)的內(nèi)生變量影響因子或自變量數(shù)，一般根據(jù)專業(yè)知識確定。假設輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量系統(tǒng)性能指標或因變量，可以是一個，也可以是多個。一般將一個具有多個輸出的網(wǎng)絡模型轉化為

5、多個具有一個輸出的網(wǎng)絡模型效果會更好，訓練也更方便。3.數(shù)據(jù)的預處理由于BP神經(jīng)網(wǎng)絡的隱層一般采用Sigmoid轉換函數(shù)，為提高訓練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在01之間。因此，要對輸入數(shù)據(jù)進展預處理。一般要求對不同變量分別進展預處理，也可以對類似性質(zhì)的變量進展統(tǒng)一的預處理。如果輸出層節(jié)點也采用Sigmoid轉換函數(shù)，輸出變量也必須作相應的預處理，否那么，輸出變量也可以不做預處理。但必須注意的是，預處理的數(shù)據(jù)訓練完成后，網(wǎng)絡輸出的結果要進展反變換才能得到實際值。再者，為保證建設的模型具有一定的外推能力，最好使數(shù)據(jù)預處理后的值在0.20.8之間。標準化

6、：4.隱層數(shù)一般認為，增加隱層數(shù)可以降低網(wǎng)絡誤差，提高精度，但也使網(wǎng)絡復雜化，從而增加了網(wǎng)絡的訓練時間和出現(xiàn)“過擬合(overfitting) 造成網(wǎng)絡的性能脆弱，泛化能力(generalization ability)下降。Hornik等早已證明：假設輸入層和輸出層采用線性轉換函數(shù)，隱層采用Sigmoid轉換函數(shù)，那么含一個隱層的MLP網(wǎng)絡能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結論。在設計BP網(wǎng)絡時可參考這一點，應優(yōu)先考慮3層BP網(wǎng)絡即有1個隱層。1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw-隱含層輸出層輸入層3NT圖 三層BP網(wǎng)絡的拓撲構造5.隱層節(jié)

7、點數(shù)在BP 網(wǎng)絡中，假設隱層節(jié)點數(shù)太少，網(wǎng)絡可能 基本不能訓練或網(wǎng)絡性能很差；假設隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡的系統(tǒng)誤差減小，但一方面使網(wǎng)絡訓練時間延長，另一方面，訓練容易陷入局部極小點而得不到最優(yōu)點，也是訓練時出現(xiàn)“過擬合的內(nèi)在原因，但是目前理論上還沒有一種科學的和普遍確實定方法。為盡可能防止訓練時出現(xiàn)“過擬合現(xiàn)象，保證足夠高的網(wǎng)絡性能和泛化能力，確定隱層節(jié)點數(shù)的最 基本原那么是：在滿足精度要求的前提下取盡可能緊湊的構造，即取盡可能少的隱層節(jié)點數(shù)。因此，合理隱層節(jié)點數(shù)應在綜合考慮網(wǎng)絡構造復雜程度和誤差大小的情況下用節(jié)點刪除法和擴張法確定。6.傳遞函數(shù)圖BP網(wǎng)絡常用的傳遞函數(shù)BP網(wǎng)絡的傳遞函數(shù)

8、有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元那么采用線性傳遞函數(shù)，整個網(wǎng)絡的輸出可以取任意值。7.學習率學習率影響系統(tǒng)學習過程的穩(wěn)定性。大的學習率可能使網(wǎng)絡權值每一次的修正量過大，甚至會導致權值在修正過程中超出某個誤差的極小值呈不規(guī)那么跳躍而不收斂；但過小的學習率導致學習時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學習率

9、以保證學習過程的收斂性穩(wěn)定性，通常在0.010.8之間。8.網(wǎng)絡的初始連接權值BP算法決定了誤差函數(shù)一般存在很多個局部極小點，不同的網(wǎng)絡初始權值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序必須能夠自由改變網(wǎng)絡初始連接權值。由于Sigmoid轉換函數(shù)的特性，一般要求初始權值分布在-0.50.5之間比較有效。10收斂誤差界值Emin在網(wǎng)絡訓練過程中應根據(jù)實際情況預先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡模型的收斂速度大小和具體樣本的學習精度來確定。當Emin 值選擇較小時，學習效果好，但收斂速度慢，訓練次數(shù)增加。如果Emin值取得較大時那么相反。網(wǎng)絡模型的性能和泛化能

10、力：訓練神經(jīng)網(wǎng)絡的首要和 基本任務是確保訓練好的網(wǎng)絡模型對非訓練樣本具有好的泛化能力推廣性，即有效逼近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡模型對訓練樣本的擬合能力。判斷建設的模型是否已有效逼近樣本所蘊含的規(guī)律, 主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓練樣本和檢驗樣本的誤差。非訓練樣本誤差很接近訓練樣本誤差或比其小，一般可認為建設的網(wǎng)絡模型已有效逼近訓練樣本所蘊含的規(guī)律，否那么，假設相差很多如幾倍、幾十倍甚至上千倍就說明建設的網(wǎng)絡模型并沒有有效逼近訓練樣本所蘊含的規(guī)律，而只是在這些訓練樣本點上逼近而已，而建設的網(wǎng)絡模型是對訓練樣本所蘊含規(guī)律的錯誤反映。算法的特點：1.非

11、線性映照能力。神經(jīng)網(wǎng)絡能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。2.并行分布處理方式。在神經(jīng)網(wǎng)絡中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。3.自學習和自適應能力。神經(jīng)網(wǎng)絡在訓練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡的權值中，并具有泛化能力，即將這組權值應用于一般情形的能力。神經(jīng)網(wǎng)絡的學習也可以在線進展。4.數(shù)據(jù)融合的能力。神經(jīng)網(wǎng)絡可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術數(shù)值運算和人工智能技術符號處理。5.多變量系統(tǒng)。神經(jīng)網(wǎng)絡的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通

12、用的描述方式，不必考慮各子系統(tǒng)間的解耦問題算法的缺點：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點個數(shù)。算法的改進：利用動量法改進BP算法標準BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正時，只按照第步的負梯度方向進展修正，而沒有考慮到以前積累的經(jīng)歷，即以前時刻的梯度方向，從而常常使學習過程發(fā)生振蕩，收斂緩慢。動量法權值調(diào)整算法的具體做法是：將上一次權值調(diào)整量的一局部迭加到按本次誤差計算所得的權值調(diào)整量上，作為本次的實際權值調(diào)整量，即：其中：為動量系數(shù)，通常00.9；學習率，范圍在0.00110之間。這種方法所加的動量因子實際上相當于阻尼項，它減小了學習過程中的振蕩趨勢，從而改善了收斂性。動量法降低了網(wǎng)絡對于誤差曲面局部細節(jié)的敏感性，有效的抑制了網(wǎng)絡陷入局部極小。2.自適應調(diào)整學習速率標準BP算法收斂速度緩慢的一個重要原因是學習率選擇不當，學習率選得太小，收斂太慢；學習率選得太大，那么有可能修正過頭，導致振蕩甚至發(fā)散?？刹捎靡砸韵聢D所示的自適應方法調(diào)整學習率。調(diào)整的 基本指導思想是：在學習收斂的情況下，增大，以縮短學習時間；當偏大致使不能收斂時，要及時減小，直到收斂為止。3.動量-自適應學習速率調(diào)整算法采用動量法時，BP算法可以找到更優(yōu)的解；采用自適應學習速率法時，BP算法可以縮短訓練時間。將以上兩種方法結合起來，就得到動量-自適應學習速率調(diào)整算法。