神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程課件

神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)能夠模仿人腦的功能，具有對信息進行并行處理、分布式存貯，良好的自適應(yīng)性、自組織性、自學(xué)習(xí)與推理的能力，表現(xiàn)出容錯性、非線性、非局域性、非凸性等特點，適用于對模糊信息或復(fù)雜的非線性關(guān)系進行識別與映射。1神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程BP神經(jīng)網(wǎng)絡(luò)

誤差反向傳播網(wǎng)絡(luò)（Back－PropagationNetwork），簡稱BP神經(jīng)網(wǎng)絡(luò)，是目前人工神經(jīng)網(wǎng)絡(luò)最具有代表性的一種網(wǎng)絡(luò)，應(yīng)用最為廣泛。BP神經(jīng)網(wǎng)絡(luò)通常由輸入層、若干隱含層和輸出層組成，最基本的BP神經(jīng)網(wǎng)絡(luò)通常由一個輸入層、一個隱含層和一個輸出層組成。X表示網(wǎng)絡(luò)的輸入、H表示隱含層、Y表示網(wǎng)絡(luò)的輸出，Wij表示輸入層與隱含層之間的連接權(quán)值，Vjk表示隱含層到輸出層的連接權(quán)值。m、l、n分別表示輸入層、隱含層、輸出層神經(jīng)元的個數(shù)。Q1j和P1j分別表示隱含層、輸出層神經(jīng)元的閾值。2神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程BP網(wǎng)絡(luò)整個學(xué)習(xí)過程的一般步驟如下：①網(wǎng)絡(luò)初始化。給各連接權(quán)值{Wij}、{Vjk}及閾值{Q1j}、{P1j}賦予（-1，+1）間的隨機量。②將第t（t=1）個學(xué)習(xí)樣本輸入到圖的網(wǎng)絡(luò)中。③計算隱含層第j神經(jīng)元輸入{sj}和輸出{bj}：，即：式中：

f（x）—網(wǎng)絡(luò)相應(yīng)函數(shù)，取f（x）為Sigmoid函數(shù)，即。3神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程④計算輸出層第k神經(jīng)元的輸入{Lk}和輸出層的輸出{Ck}，即：⑤計算輸出層各神經(jīng)元的一般化誤差{dk}：式中：Yk—第k神經(jīng)元的期望輸出。⑥計算隱含層第j神經(jīng)元的一般化誤差{Ej}：4神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程⑦調(diào)整連接權(quán)值和閾值：式中：η—學(xué)習(xí)速率，0<η<1。⑧選取下一個訓(xùn)練樣本對（t=2），重復(fù)步驟③～⑦，直至所有樣本對（t=1，2，…m）訓(xùn)練完畢，即完成了訓(xùn)練樣本集的一輪訓(xùn)練。5神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程⑨計算全局誤差SSE：式中：M—學(xué)習(xí)樣本的對數(shù)；Ykt—第t對學(xué)習(xí)樣本的期望輸出；Ckt—第t對學(xué)習(xí)樣本的計算輸出⑩如果SSE小于預(yù)先設(shè)定的一個誤差值，則網(wǎng)絡(luò)停止學(xué)習(xí)；否則將重復(fù)步驟③～⑦，進行樣本學(xué)習(xí)樣本集的下一輪訓(xùn)練。6神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程標(biāo)準(zhǔn)BP算法是基于梯度下降法，通過計算目標(biāo)函數(shù)對網(wǎng)絡(luò)權(quán)值和閾值的梯度進行修正。學(xué)習(xí)過程是通過調(diào)整權(quán)重和閾值使期望值和神經(jīng)網(wǎng)絡(luò)輸出值的均方誤差趨于最小實現(xiàn)的，只用到均方誤差函數(shù)對權(quán)值和閾值的一階導(dǎo)數(shù)信息。標(biāo)準(zhǔn)梯度下降法權(quán)值和閾值的迭代過程可表示為：標(biāo)準(zhǔn)BP算法：由網(wǎng)絡(luò)所有權(quán)值和閾值所形成的向量。

學(xué)習(xí)速率目標(biāo)函數(shù)(均方誤差函數(shù))

目標(biāo)函數(shù)的梯度(一階導(dǎo)數(shù))

迭代次數(shù)

7神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程BP神經(jīng)網(wǎng)絡(luò)的缺點：BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)形式，但不是非常完美，表現(xiàn)出結(jié)構(gòu)確定的人為性、訓(xùn)練速度慢以及初始權(quán)值對結(jié)果影響的隨機性等缺陷；存在學(xué)習(xí)過程易陷入局部極小、易出現(xiàn)震蕩和網(wǎng)絡(luò)存在冗余連接或節(jié)點等缺陷；另外，隱含層單元數(shù)及隱含層結(jié)點數(shù)的確定至今沒有統(tǒng)一的方法。8神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程對于上述存在的缺點，許多學(xué)者對BP網(wǎng)絡(luò)進行了改進，大多采用基于標(biāo)準(zhǔn)梯度下降的改進方法，如附加動量法、彈性BP算法、自適應(yīng)調(diào)整參數(shù)法等或基于標(biāo)準(zhǔn)數(shù)值優(yōu)化的改進方法，如擬牛頓法、共扼梯度法和LM法等，并沒有將兩種改進方法結(jié)合起來。

BP神經(jīng)網(wǎng)絡(luò)的改進：9神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程（1）基于標(biāo)準(zhǔn)數(shù)值優(yōu)化的改進BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實質(zhì)上是非線性目標(biāo)函數(shù)的優(yōu)化問題，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)利用了目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息。本次改進采用“LM”法，它是基于標(biāo)準(zhǔn)數(shù)值優(yōu)化的改進方法，在利用目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息的基礎(chǔ)上，還利用了目標(biāo)函數(shù)的二階導(dǎo)數(shù)信息。改進后的權(quán)值和閾值的迭代過程表示為：DH—是對角矩陣，其對角元素為H的對角元素；10神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程μ—阻尼因子（若E(X(k+1))≥E(X(k)),μ(k+1)=10μ(k)；否則μ(k+1)=0.1μ(k)）。

該改進方法根據(jù)迭代的結(jié)果動態(tài)地調(diào)整阻尼因子，使每次的迭代誤差函數(shù)值都有所下降，收斂速度快。（2）基于梯度下降的改進標(biāo)準(zhǔn)BP算法的步長λ是定值，這就導(dǎo)致了λ難以確定，若λ過小，在誤差曲面較平坦的區(qū)域，收斂較慢；當(dāng)步長λ較大時，又會在峽谷區(qū)域引起震蕩。針對上述缺陷，本次采用步長自適應(yīng)改進方法確定λ，即：式中：β—某一小正數(shù)，β∈[0.01，0.03]；

p—訓(xùn)練次數(shù)

Ep—第p次的訓(xùn)練誤差。11神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程

該方法的優(yōu)點是當(dāng)誤差減小時步長相應(yīng)增大，當(dāng)誤差增大時步長相應(yīng)減小，克服了標(biāo)準(zhǔn)BP算法步長難以確定的缺陷。采用這兩種方法改進的BP神經(jīng)網(wǎng)絡(luò)能克服標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢、初始權(quán)值對結(jié)果影響的隨機性、在學(xué)習(xí)過程易陷入局部極小、易出現(xiàn)震蕩等缺陷。12神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程基于人工神經(jīng)網(wǎng)絡(luò)的綜合評價方法步驟

（1）確定評價指標(biāo)集，指標(biāo)個數(shù)為BP網(wǎng)絡(luò)中輸入節(jié)點的個數(shù)；

（2）確定BP網(wǎng)絡(luò)的層數(shù)，一般采用具有一個輸入層，一個隱含層和一個輸出層的三層網(wǎng)絡(luò)模型結(jié)構(gòu)；

（3）明確評價結(jié)果輸出層的節(jié)點數(shù)為1;

（4）對指標(biāo)值進行標(biāo)準(zhǔn)化處理；

（5）用隨機數(shù)（一般為0-1之間的數(shù)）初始化網(wǎng)絡(luò)節(jié)點的權(quán)值與網(wǎng)絡(luò)閾值；

（6）將標(biāo)準(zhǔn)化以后的指標(biāo)樣本值輸入網(wǎng)絡(luò)，并給出相應(yīng)的期望輸出；

13神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程基于人工神經(jīng)網(wǎng)絡(luò)的綜合評價方法步驟（7）正向傳播，計算各層節(jié)點的輸出；

（8）計算各層節(jié)點的誤差；

（9）反向傳播，修正權(quán)重；

（10）計算誤差。當(dāng)誤差小于給定的擬合誤差，網(wǎng)絡(luò)訓(xùn)練結(jié)束；否則轉(zhuǎn)到（7），繼續(xù)訓(xùn)練；

（11）訓(xùn)練所得網(wǎng)絡(luò)權(quán)重就可以用于正式的評價。14神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用

地下水環(huán)境質(zhì)量評價是地下水資源評價的一項重要內(nèi)容，它根據(jù)地下水中主要物質(zhì)成分和給定的水質(zhì)標(biāo)準(zhǔn)，分析地下水水質(zhì)的時空分布狀況和可用程度，為地下水資源的開發(fā)利用、規(guī)劃和管理提供科學(xué)依據(jù)。15神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用

地下水水質(zhì)評價的方法有很多,如模糊數(shù)學(xué)法、灰色聚類法、物元分析法、內(nèi)梅羅指數(shù)法等。在設(shè)計模糊數(shù)學(xué)的隸屬度函數(shù)、灰色聚類的白化函數(shù)時及在確定各評價指標(biāo)的權(quán)重時，都存在著人為因素，造成評價模式難以通用，而且也存在著在計算時丟失信息太多而使評價結(jié)果與實際不符。內(nèi)梅羅指數(shù)法數(shù)學(xué)過程簡捷，運算方便，物理概念清晰等，該方法的主要缺點是過于突出最大污染因子，未考慮權(quán)重因素，對各污染因子等同對待等。這些方法并沒有很好解決評價因子與水質(zhì)等級間復(fù)雜的非線性關(guān)系，以及水體污染的模糊性與隨機性，至今還沒統(tǒng)一的評價模型。16神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用表1水質(zhì)資料17神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用18神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用I類水的標(biāo)準(zhǔn)界值為I類水的分級代表值，Ⅱ類水的分級代表值為I類水和Ⅱ類水標(biāo)準(zhǔn)界值的中值，其余依次類推，將Ⅳ類水或Ⅴ類水的界值作為Ⅴ類水的分級代表值。得到本次BP網(wǎng)絡(luò)的訓(xùn)練樣本，見表2。1訓(xùn)練樣本選擇表2地下水質(zhì)量標(biāo)準(zhǔn)分級類別和網(wǎng)絡(luò)期望輸出值19神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用2數(shù)據(jù)的預(yù)處理BP網(wǎng)絡(luò)模型一般以S形函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域為[0，1]，因此在網(wǎng)絡(luò)訓(xùn)練時要將原始數(shù)據(jù)進行處理，規(guī)范到[0，1]之間，常用的數(shù)據(jù)預(yù)處理方法主要有標(biāo)準(zhǔn)化法、重新標(biāo)法、變換法、比例壓縮法、壓縮系數(shù)法。為了實現(xiàn)將網(wǎng)絡(luò)輸入數(shù)據(jù)信息集進行合理的壓縮，又能夠體現(xiàn)原始輸入數(shù)據(jù)信息之間的差別，建議使用壓縮系數(shù)法。公式如下：T=αX式中：X——原始數(shù)據(jù)；α——壓縮系數(shù)法，0<α<1,根據(jù)具體對象選取α的值；T——變換后的數(shù)據(jù)。20神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用3隱層及隱層神經(jīng)元節(jié)點數(shù)的確定

地下水環(huán)境質(zhì)量評價是一個非線性關(guān)系較為復(fù)雜的問題，神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，且一般的三層BP網(wǎng)絡(luò)模型就能滿足大部分非線性系統(tǒng)要求[7-8]，因此本次采用一個隱含層。隱含層神經(jīng)元節(jié)點數(shù)的確定是人工神經(jīng)網(wǎng)絡(luò)設(shè)計中最為關(guān)鍵的步驟，它直接影響網(wǎng)絡(luò)對復(fù)雜問題的映射能力。目前出現(xiàn)的確定隱含層神經(jīng)元方法是多樣的，但都缺乏令人信服的依據(jù)，有時常常也是無效的。本文采用“試算法”確定神經(jīng)元個數(shù)，經(jīng)試算，最佳隱含層節(jié)點數(shù)為15個。21神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用4地下水環(huán)境質(zhì)量評價

由于本次評價指標(biāo)選擇了5個評價因子，因此輸入層神經(jīng)元節(jié)點數(shù)為5個，評價等級為5個，輸出層神經(jīng)元節(jié)點數(shù)為5個，隱含層神經(jīng)元節(jié)點數(shù)經(jīng)試算為15個，因本次BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為：一個輸入層，神經(jīng)元節(jié)點數(shù)為5個；一個隱含層，神經(jīng)元節(jié)點數(shù)為15個；一個輸出層，神經(jīng)元節(jié)點數(shù)為5個。

22神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)在地下水環(huán)境評價中的應(yīng)用4地下水環(huán)境質(zhì)量評價表3地下水環(huán)境質(zhì)量評價結(jié)果23神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型記一個時間序列為{Xt}，其中xt=x(t)，t=0，±1，±2，…。時間序列預(yù)測也就是根據(jù)時間序列{Xt}的歷史觀測值xn，xn-1，…，xn-m對未來n+k時刻（k>0）的取值進行估計，可以認(rèn)為xn，xn-1，…，xn-m之間存在有某種函數(shù)關(guān)系，可用下式描述：24神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟神經(jīng)網(wǎng)絡(luò)預(yù)測時間序列的方法就是用神經(jīng)網(wǎng)絡(luò)來擬合某一時間序列的函數(shù)F(·)，然后將之用于時間序列的預(yù)測。建立神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型有以下幾個步驟：（1）數(shù)據(jù)的預(yù)處理BP神經(jīng)網(wǎng)絡(luò)一般以S型函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域為[0，1]，因此在網(wǎng)絡(luò)訓(xùn)練時要將原始數(shù)據(jù)進行處理，規(guī)范到[0，1]之間，常用的數(shù)據(jù)預(yù)處理方法主要有標(biāo)準(zhǔn)化法、重新標(biāo)法、變換法、比例壓縮法、壓縮系數(shù)法。25神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟（1）數(shù)據(jù)的預(yù)處理

為了實現(xiàn)將輸入數(shù)據(jù)信息集進行合理的壓縮，又能夠體現(xiàn)原始輸入數(shù)據(jù)信息之間的差別，本次研究采用壓縮系數(shù)法，對數(shù)據(jù)進行預(yù)處理，公式如下：T=αX式中：X—原始數(shù)據(jù)；α—壓縮系數(shù)法，0<α<1，根據(jù)具體對象選取α的值；T—變換后的數(shù)據(jù)。26神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟（2）隱層及隱層神經(jīng)元節(jié)點數(shù)的確定神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性函數(shù)的能力，且一般的三層BP網(wǎng)絡(luò)模型就能滿足大部分非線性系統(tǒng)要求，本次研究采用上述改進的BP神經(jīng)網(wǎng)絡(luò)。隱含層神經(jīng)元節(jié)點數(shù)的確定是人工神經(jīng)網(wǎng)絡(luò)設(shè)計中最為關(guān)鍵的步驟，它直接影響網(wǎng)絡(luò)對復(fù)雜問題的映射能力。目前出現(xiàn)的確定隱含層神經(jīng)元個數(shù)的方法是多樣的，但都缺乏令人信服的依據(jù)，有時常常也是無效的。本次研究采用隱含層采用一層，隱含層節(jié)點數(shù)的確定采用“試算法”。27神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟（3）網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計包括確定網(wǎng)絡(luò)的隱層數(shù)、隱層神經(jīng)元節(jié)點數(shù)及輸入、輸出層神經(jīng)元節(jié)點數(shù)。輸入、輸出層神經(jīng)元節(jié)點數(shù)由實際問題決定。28神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟（4）樣本的選取將時間序列作為樣本集，并將其分為兩組，一組作為訓(xùn)練樣本，一組作為檢驗樣本。訓(xùn)練樣本的選擇通常遵循以下原則：樣本足夠多，具有代表性且樣本分布均勻。29神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟（5）訓(xùn)練網(wǎng)絡(luò)用訓(xùn)練樣本，對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型。30神經(jīng)網(wǎng)絡(luò)方法-環(huán)境工程神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測模型的步驟（6）驗證網(wǎng)絡(luò)對網(wǎng)絡(luò)進行檢驗，即對檢驗時間序列進行預(yù)測，與檢驗樣本對比，分析預(yù)測的效果，效果滿足精度要求便可以用來進行長期預(yù)測。檢驗方法通常采用后驗預(yù)