神經網絡構建

神經網絡構建第一頁，共二十頁，編輯于2023年，星期三一般地，BP網絡的輸入變量即為待分析系統(tǒng)的內生變量（影響因子或自變量）數(shù)，一般根據專業(yè)知識確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個，也可以是多個。一般將一個具有多個輸出的網絡模型轉化為多個具有一個輸出的網絡模型效果會更好，訓練也更方便。輸入/輸出變量的確定及其數(shù)據的預處理第二頁，共二十頁，編輯于2023年，星期三

由于BP神經網絡的隱層一般采用Sigmoid(S形的）轉換函數(shù)，為提高訓練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據的值在0~1之間。因此，要對輸入數(shù)據進行預處理。一般要求對不同變量分別進行預處理，也可以對類似性質的變量進行統(tǒng)一的預處理。如果輸出層節(jié)點也采用Sigmoid轉換函數(shù)，輸出變量也必須作相應的預處理，否則，輸出變量也可以不做預處理。預處理的方法有多種多樣，各文獻采用的公式也不盡相同。但必須注意的是，預處理的數(shù)據訓練完成后，網絡輸出的結果要進行反變換才能得到實際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據預處理后的值在0.2~0.8之間。第三頁，共二十頁，編輯于2023年，星期三一般認為，增加隱層數(shù)可以降低網絡誤差（也有文獻認為不一定能有效降低），提高精度，但也使網絡復雜化，從而增加了網絡的訓練時間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉換函數(shù)，隱層采用Sigmoid轉換函數(shù)，則含一個隱層的MLP網絡能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結論。在設計BP網絡時可參考這一點，應優(yōu)先考慮3層BP網絡（即有1個隱層）。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓練效果要比增加隱層數(shù)更容易實現(xiàn)。對于沒有隱層的神經網絡模型，實際上就是一個線性或非線性（取決于輸出層采用線性或非線性轉換函數(shù)型式）回歸模型。因此，一般認為，應將不含隱層的網絡模型歸入回歸分析中，技術已很成熟，沒有必要在神經網絡理論中再討論之。神經網絡拓撲結構的確定隱層數(shù)第四頁，共二十頁，編輯于2023年，星期三2.2隱層節(jié)點數(shù)在BP網絡中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經網絡模型的性能影響很大，而且是訓練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。目前多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓練樣本任意多的情況，而且多數(shù)是針對最不利的情況，一般工程實踐中很難滿足，不宜采用。事實上，各種計算公式得到的隱層節(jié)點數(shù)有時相差幾倍甚至上百倍。為盡可能避免訓練時出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網絡性能和泛化能力，確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節(jié)點數(shù)。研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關，更與需解決的問題的復雜程度和轉換函數(shù)的型式以及樣本數(shù)據的特性等因素有關。第五頁，共二十頁，編輯于2023年，星期三

在確定隱層節(jié)點數(shù)時必須滿足下列條件：隱層節(jié)點數(shù)必須小于N-1（其中N為訓練樣本數(shù)），否則，網絡模型的系統(tǒng)誤差與訓練樣本的特性無關而趨于零，即建立的網絡模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節(jié)點數(shù)（變量數(shù)）必須小于N-1。(2)訓練樣本數(shù)必須多于網絡模型的連接權數(shù)，一般為2~10倍，否則，樣本必須分成幾部分并采用“輪流訓練”的方法才可能得到可靠的神經網絡模型。第六頁，共二十頁，編輯于2023年，星期三

總之，若隱層節(jié)點數(shù)太少，網絡可能根本不能訓練或網絡性能很差；若隱層節(jié)點數(shù)太多，雖然可使網絡的系統(tǒng)誤差減小，但一方面使網絡訓練時間延長，另一方面，訓練容易陷入局部極小點而得不到最優(yōu)點，也是訓練時出現(xiàn)“過擬合”的內在原因。因此，合理隱層節(jié)點數(shù)應在綜合考慮網絡結構復雜程度和誤差大小的情況下用節(jié)點刪除法和擴張法確定。第七頁，共二十頁，編輯于2023年，星期三BP網絡的訓練就是通過應用誤差反傳原理不斷調整網絡權值使網絡模型輸出值與已知的訓練樣本輸出值之間的誤差平方和達到最小或小于某一期望值。雖然理論上早已經證明：具有1個隱層（采用Sigmoid轉換函數(shù)）的BP網絡可實現(xiàn)對任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構造性結論，即在給定有限個（訓練）樣本的情況下，如何設計一個合理的BP網絡模型并通過向所給的有限個樣本的學習（訓練）來滿意地逼近樣本所蘊含的規(guī)律（函數(shù)關系，不僅僅是使訓練樣本的誤差達到很?。┑膯栴}，目前在很大程度上還需要依靠經驗知識和設計者的經驗。因此，通過訓練樣本的學習（訓練）建立合理的BP神經網絡模型的過程，在國外被稱為“藝術創(chuàng)造的過程”，是一個復雜而又十分煩瑣和困難的過程。神經網絡的訓練訓練第八頁，共二十頁，編輯于2023年，星期三

由于BP網絡采用誤差反傳算法，其實質是一個無約束的非線性最優(yōu)化計算過程，在網絡結構較大時不僅計算時間長，而且很容易限入局部極小點而得不到最優(yōu)結果。目前雖已有改進BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網絡的訓練(這些方法從原理上講可通過調整某些參數(shù)求得全局極小點)，但在應用中，這些參數(shù)的調整往往因問題不同而異，較難求得全局極小點。這些方法中應用最廣的是增加了沖量（動量）項的改進BP算法。第九頁，共二十頁，編輯于2023年，星期三學習率影響系統(tǒng)學習過程的穩(wěn)定性。大的學習率可能使網絡權值每一次的修正量過大，甚至會導致權值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學習率導致學習時間過長，不過能保證收斂于某個極小值。所以，一般傾向選取較小的學習率以保證學習過程的收斂性（穩(wěn)定性），通常在0.01~0.8之間。增加沖量項的目的是為了避免網絡訓練陷于較淺的局部極小點。理論上其值大小應與權值修正量的大小有關，但實際應用中一般取常量。通常在0~1之間，而且一般比學習率要大。學習率和沖量系數(shù)第十頁，共二十頁，編輯于2023年，星期三4網絡的初始連接權值

BP算法決定了誤差函數(shù)一般存在（很）多個局部極小點，不同的網絡初始權值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序（建議采用標準通用軟件，如Statsoft公司出品的StatisticaNeuralNetworks軟件和Matlab軟件）必須能夠自由改變網絡初始連接權值。由于Sigmoid轉換函數(shù)的特性，一般要求初始權值分布在-0.5~0.5之間比較有效。第十一頁，共二十頁，編輯于2023年，星期三訓練神經網絡的首要和根本任務是確保訓練好的網絡模型對非訓練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊含的內在規(guī)律，而不是看網絡模型對訓練樣本的擬合能力。從存在性結論可知，即使每個訓練樣本的誤差都很小（可以為零），并不意味著建立的模型已逼近訓練樣本所蘊含的規(guī)律。因此，僅給出訓練樣本誤差（通常是指均方根誤差RSME或均方誤差、AAE或MAPE等）的大小而不給出非訓練樣本誤差的大小是沒有任何意義的。網絡模型的性能和泛化能力第十二頁，共二十頁，編輯于2023年，星期三

要分析建立的網絡模型對樣本所蘊含的規(guī)律的逼近情況（能力），即泛化能力，應該也必須用非訓練樣本（本文稱為檢驗樣本和測試樣本）誤差的大小來表示和評價，這也是之所以必須將總樣本分成訓練樣本和非訓練樣本而絕不能將全部樣本用于網絡訓練的主要原因之一。判斷建立的模型是否已有效逼近樣本所蘊含的規(guī)律,最直接和客觀的指標是從總樣本中隨機抽取的非訓練樣本（檢驗樣本和測試樣本）誤差是否和訓練樣本的誤差一樣小或稍大。非訓練樣本誤差很接近訓練樣本誤差或比其小，一般可認為建立的網絡模型已有效逼近訓練樣本所蘊含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說明建立的網絡模型并沒有有效逼近訓練樣本所蘊含的規(guī)律，而只是在這些訓練樣本點上逼近而已，而建立的網絡模型是對訓練樣本所蘊含規(guī)律的錯誤反映。第十三頁，共二十頁，編輯于2023年，星期三對同一結構的網絡，由于BP算法存在（很）多個局部極小點，因此，必須通過多次（通常是幾十次）改變網絡初始連接權值求得相應的極小點，才能通過比較這些極小點的網絡誤差的大小，確定全局極小點，從而得到該網絡結構的最佳網絡連接權值。必須注意的是，神經網絡的訓練過程本質上是求非線性函數(shù)的極小點問題，因此，在全局極小點鄰域內（即使網絡誤差相同），各個網絡連接權值也可能有較大的差異，這有時也會使各個輸入變量的重要性發(fā)生變化，但這與具有多個零極小點（一般稱為多模式現(xiàn)象）（如訓練樣本數(shù)少于連接權數(shù)時）的情況是截然不同的。此外，在不滿足隱層節(jié)點數(shù)條件時，總也可以求得訓練樣本誤差很小或為零的極小點，但此時檢驗樣本和測試樣本的誤差可能要大得多；若改變網絡連接權初始值，檢驗樣本和測試樣本的網絡計算結果會產生很大變化，即多模式現(xiàn)象。合理網絡模型的確定第十四頁，共二十頁，編輯于2023年，星期三

對于不同的網絡結構，網絡模型的誤差或性能和泛化能力也不一樣。因此，還必須比較不同網絡結構的模型的優(yōu)劣。一般地，隨著網絡結構的變大，誤差變小。通常，在網絡結構擴大（隱層節(jié)點數(shù)增加）的過程中，網絡誤差會出現(xiàn)迅速減小然后趨于穩(wěn)定的一個階段，因此，合理隱層節(jié)點數(shù)應取誤差迅速減小后基本穩(wěn)定時的隱層節(jié)點數(shù)。

總之，合理網絡模型是必須在具有合理隱層節(jié)點數(shù)、訓練時沒有發(fā)生“過擬合”現(xiàn)象、求得全局極小點和同時考慮網絡結構復雜程度和誤差大小的綜合結果。設計合理BP網絡模型的過程是一個不斷調整參數(shù)的過程，也是一個不斷對比結果的過程，比較復雜且有時還帶有經驗性。這個過程并不是有些作者想象的（實際也是這么做的）那樣，隨便套用一個公式確定隱層節(jié)點數(shù)，經過一次訓練就能得到合理的網絡模型（這樣建立的模型極有可能是訓練樣本的錯誤反映，沒有任何實用價值）。第十五頁，共二十頁，編輯于2023年，星期三

訓練樣本實驗號臭氧濃度(mg/L)入口UV254UV254去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.3164.140.06398.1174.460.13597.3184.550.07098.8194.840.12696.9205.030.08798.6第十六頁，共二十頁，編輯于2023年，星期三檢驗樣本實驗號臭氧濃度(mg/L)入口UV254UV254去除率(%)11.420.08658.122.510.07178.833.210.10789.644.290.09696.555.240.6597.8第十七頁，共二十頁，編輯于2023年，星期三進水UV254值臭氧濃度，mg/LUV254去除率，％BP網絡訓練誤差曲線和網絡模型第十八頁，共二十頁，編輯于2023年，星期三實驗號

臭氧

(mg/L)UV254去除率(%)相對誤差（%）實測值網絡預測值11.4258.157.3-1.4722.5178.877.7-1.4733.2189.690.50.9644.2996.597.91.4555.2497.897.90.14模型預測結果與實測值比較第十九頁，共二十頁，編輯于2023年，星期三

O3

濃度，mg/LUV254=0.116UV254=0.105O3

濃度，mg/L

UV254=0.092