BP神經(jīng)網(wǎng)絡(luò)原理資料

1、BP神經(jīng)網(wǎng)絡(luò)原理資料BP網(wǎng)絡(luò)模型處理信息的根本原理是：輸入信號(hào)Xi通過中間節(jié)點(diǎn)隱層點(diǎn)作用于輸出節(jié)點(diǎn)，經(jīng)過非線形變換，產(chǎn)生輸出信號(hào)Yk，網(wǎng)絡(luò)訓(xùn)練的每個(gè)樣本包括輸入向量X和期望輸出量t，網(wǎng)絡(luò)輸出值Y與期望輸出值t之間的偏差，通過調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的聯(lián)接強(qiáng)度取值和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間的聯(lián)接強(qiáng)度Tjk以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)權(quán)值和閾值，訓(xùn)練即告停頓。此時(shí)經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即能對(duì)類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。 BP神經(jīng)網(wǎng)絡(luò)模型 BP網(wǎng)絡(luò)模型包括其輸入輸出模型、作用函數(shù)模型、誤差計(jì)算模型和自學(xué)習(xí)模型。1節(jié)點(diǎn)輸出

2、模型隱節(jié)點(diǎn)輸出模型：Oj=f(WijXi-qj) (1)輸出節(jié)點(diǎn)輸出模型：Yk=f(TjkOj-qk) (2)f-非線形作用函數(shù)；q -神經(jīng)單元閾值。2作用函數(shù)模型 作用函數(shù)是反映下層輸入對(duì)上層節(jié)點(diǎn)刺激脈沖強(qiáng)度的函數(shù)又稱刺激函數(shù)，一般取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)： f(x)=1/(1+e-x) 3誤差計(jì)算模型誤差計(jì)算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計(jì)算輸出之間誤差大小的函數(shù)： Ep=1/2(tpi-Opi)2tpi- i節(jié)點(diǎn)的期望輸出值；Opi-i節(jié)點(diǎn)計(jì)算輸出值。4自學(xué)習(xí)模型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，即連接下層節(jié)點(diǎn)和上層節(jié)點(diǎn)之間的權(quán)重拒陣Wij的設(shè)定和誤差修正過程。BP網(wǎng)絡(luò)有師學(xué)習(xí)方式-需

3、要設(shè)定期望值和無師學(xué)習(xí)方式-只需輸入模式之分。自學(xué)習(xí)模型為 Wij(n+1)= h iOj+aWij(n)h -學(xué)習(xí)因子；i-輸出節(jié)點(diǎn)i的計(jì)算誤差；Oj-輸出節(jié)點(diǎn)j的計(jì)算輸出；a-動(dòng)量因子。BP網(wǎng)絡(luò)模型的缺陷分析及優(yōu)化策略 1學(xué)習(xí)因子h 的優(yōu)化采用變步長(zhǎng)法根據(jù)輸出誤差大小自動(dòng)調(diào)整學(xué)習(xí)因子，來減少迭代次數(shù)和加快收斂速度。h =h +a(Ep(n)- Ep(n-1)/ Ep(n) a為調(diào)整步長(zhǎng)，01之間取值2隱層節(jié)點(diǎn)數(shù)的優(yōu)化隱節(jié)點(diǎn)數(shù)的多少對(duì)網(wǎng)絡(luò)性能的影響較大，當(dāng)隱節(jié)點(diǎn)數(shù)太多時(shí)，會(huì)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)時(shí)間過長(zhǎng)，甚至不能收斂；而當(dāng)隱節(jié)點(diǎn)數(shù)過小時(shí)，網(wǎng)絡(luò)的容錯(cuò)能力差。利用逐步回歸分析 法并進(jìn)展參數(shù)的顯著性檢驗(yàn)來動(dòng)

4、態(tài)刪除一些線形相關(guān)的隱節(jié)點(diǎn)，節(jié)點(diǎn)刪除標(biāo)準(zhǔn)：當(dāng)由該節(jié)點(diǎn)出發(fā)指向下一層節(jié)點(diǎn)的所有權(quán)值和閾值均落于死區(qū)通常取0.1、0.05等區(qū)間之中，那么該節(jié)點(diǎn)可刪除。最正確隱節(jié)點(diǎn)數(shù)L可參考下面公式計(jì)算：L=(m+n)1/2+c (7)m-輸入節(jié)點(diǎn)數(shù)；n-輸出節(jié)點(diǎn)數(shù)；c-介于110的常數(shù)。3輸入和輸出神經(jīng)元確實(shí)定利用多元回歸分析法對(duì)神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)進(jìn)展處理，刪除相關(guān)性強(qiáng)的輸入?yún)?shù)，來減少輸入節(jié)點(diǎn)數(shù)。4算法優(yōu)化由于BP算法采用的是剃度下降法，因而易陷于局部最小并且訓(xùn)練時(shí)間較長(zhǎng)。用基于生物免疫機(jī)制地既能全局搜索又能防止未成熟收斂的免疫遺傳算法IGA取代傳統(tǒng)BP算法來抑制此缺點(diǎn)。優(yōu)化BP神經(jīng)網(wǎng)絡(luò)在系統(tǒng)平安評(píng)價(jià)中的應(yīng)用

5、 系統(tǒng)平安評(píng)價(jià)包括系統(tǒng)固有危險(xiǎn)性評(píng)價(jià)、系統(tǒng)平安管理現(xiàn)狀評(píng)價(jià)和系統(tǒng)現(xiàn)實(shí)危險(xiǎn)性評(píng)價(jià)三方面內(nèi)容。其中固有危險(xiǎn)性評(píng)價(jià)指標(biāo)有物質(zhì)火災(zāi)爆炸危險(xiǎn)性、工藝危險(xiǎn)性、設(shè)備裝置危險(xiǎn)性、環(huán)境危險(xiǎn)性以及人的不可靠性。 基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的系統(tǒng)平安評(píng)價(jià)模型 BP神經(jīng)網(wǎng)絡(luò)在系統(tǒng)平安評(píng)價(jià)中的應(yīng)用實(shí)現(xiàn) (1)確定網(wǎng)絡(luò)的拓?fù)錁?gòu)造，包括中間隱層的層數(shù)，輸入層、輸出層和隱層的節(jié)點(diǎn)數(shù)。(2)確定被評(píng)價(jià)系統(tǒng)的指標(biāo)體系包括特征參數(shù)和狀態(tài)參數(shù) 運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)展平安評(píng)價(jià)時(shí)，首先必須確定評(píng)價(jià)系統(tǒng)的內(nèi)部構(gòu)成和外部環(huán)境，確定能夠正確反映被評(píng)價(jià)對(duì)象平安狀態(tài)的主要特征參數(shù)輸入節(jié)點(diǎn)數(shù)，各節(jié)點(diǎn)實(shí)際含義及其表達(dá)形式等，以及這些參數(shù)下系統(tǒng)的狀態(tài)輸出節(jié)點(diǎn)數(shù)，各

6、節(jié)點(diǎn)實(shí)際含義及其表達(dá)方式等。(3)選擇學(xué)習(xí)樣本，供神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 選取多組對(duì)應(yīng)系統(tǒng)不同狀態(tài)參數(shù)值時(shí)的特征參數(shù)值作為學(xué)習(xí)樣本，供網(wǎng)絡(luò)系統(tǒng)學(xué)習(xí)。這些樣本應(yīng)盡可能地反映各種平安狀態(tài)。其中對(duì)系統(tǒng)特征參數(shù)進(jìn)展(-,)區(qū)間地預(yù)處理，對(duì)系統(tǒng)參數(shù)應(yīng)進(jìn)展(0,1)區(qū)間地預(yù)處理。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程即根據(jù)樣本確定網(wǎng)絡(luò)的聯(lián)接權(quán)值和誤差反復(fù)修正的過程。(4)確定作用函數(shù)，通常選擇非線形S型函數(shù)(5) 建立系統(tǒng)平安評(píng)價(jià)知識(shí)庫 通過網(wǎng)絡(luò)學(xué)習(xí)確認(rèn)的網(wǎng)絡(luò)構(gòu)造包括：輸入、輸出和隱節(jié)點(diǎn)數(shù)以及反映其間關(guān)聯(lián)度的網(wǎng)絡(luò)權(quán)值的組合；即為具有推理機(jī)制的被評(píng)價(jià)系統(tǒng)的平安評(píng)價(jià)知識(shí)庫。(6) 進(jìn)展實(shí)際系統(tǒng)的平安評(píng)價(jià) 經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)將實(shí)際評(píng)價(jià)系統(tǒng)的

7、特征值轉(zhuǎn)換后輸入到已具有推理功能的神經(jīng)網(wǎng)絡(luò)中，運(yùn)用系統(tǒng)平安評(píng)價(jià)知識(shí)庫處理后得到評(píng)價(jià)實(shí)際系統(tǒng)的平安狀態(tài)的評(píng)價(jià)結(jié)果。實(shí)際系統(tǒng)的評(píng)價(jià)結(jié)果又作為新的學(xué)習(xí)樣本輸入神經(jīng)網(wǎng)絡(luò)，使系統(tǒng)平安評(píng)價(jià)知識(shí)庫進(jìn)一步充實(shí)。BP神經(jīng)網(wǎng)絡(luò)理論應(yīng)用于系統(tǒng)平安評(píng)價(jià)中的優(yōu)點(diǎn) 1利用神經(jīng)網(wǎng)絡(luò)并行構(gòu)造和并行處理的特征，通過適中選擇評(píng)價(jià)工程，能抑制平安評(píng)價(jià)的片面性，可以全面評(píng)價(jià)系統(tǒng)的平安狀況和多因數(shù)共同作用下的平安狀態(tài)。2運(yùn)用神經(jīng)網(wǎng)絡(luò)知識(shí)存儲(chǔ)和自適應(yīng)特征，通過適應(yīng)補(bǔ)充學(xué)習(xí)樣本，可以實(shí)現(xiàn)歷史經(jīng)歷與新知識(shí)完滿結(jié)合，在開展過程中動(dòng)態(tài)地評(píng)價(jià)系統(tǒng)的平安狀態(tài)。3利用神經(jīng)網(wǎng)絡(luò)理論的容錯(cuò)特征，通過選取適當(dāng)?shù)淖饔煤瘮?shù)和數(shù)據(jù)構(gòu)造，可以處理各種非數(shù)值性指標(biāo)，

8、實(shí)現(xiàn)對(duì)系統(tǒng)平安狀態(tài)的模糊評(píng)價(jià)。BP神經(jīng)網(wǎng)絡(luò)收斂速度 閾值、學(xué)習(xí)率、隱層層數(shù)、隱層節(jié)點(diǎn)個(gè)數(shù)等對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度(收斂速度)都有較大的影響。本文在BP網(wǎng)絡(luò)的根底上,研究討論了各個(gè)參數(shù)對(duì)收斂速度的影響,以減小選取網(wǎng)絡(luò)構(gòu)造和決定各參數(shù)值的盲目性,到達(dá)提高收斂速度的目的。(1)初始權(quán)值和閾值對(duì)收斂速度的影響初始權(quán)值和閾值要選得小一些。選擇隱層節(jié)點(diǎn)數(shù)的原那么是盡量使網(wǎng)絡(luò)構(gòu)造簡(jiǎn)單,運(yùn)算量小。從實(shí)驗(yàn)數(shù)據(jù)分析可知:當(dāng)節(jié)點(diǎn)數(shù)太少時(shí),每個(gè)節(jié)點(diǎn)負(fù)擔(dān)過重,迭代而有的選擇卻要迭代幾千次,或者更多,甚至不收斂。(2)學(xué)習(xí)率對(duì)收斂速度的影響 學(xué)習(xí)率的設(shè)置對(duì)BP算法的收斂性有很大的影響。學(xué)習(xí)率過小,誤差波動(dòng)小,但學(xué)習(xí)速度慢,

9、往往由于訓(xùn)練時(shí)間的限制而得不到滿意解;學(xué)習(xí)率過大,學(xué)習(xí)速度加快,會(huì)引起網(wǎng)絡(luò)出現(xiàn)擺動(dòng)現(xiàn)象,導(dǎo)致不收斂的危險(xiǎn)。因此,選擇一個(gè)適宜的學(xué)習(xí)率是B P算法的一個(gè)較關(guān)鍵的問題。學(xué)習(xí)率的主要作用是調(diào)整權(quán)值、閾值的修正量.(3)隱層層數(shù)的選擇對(duì)收斂速度的影響 通過實(shí)驗(yàn)發(fā)現(xiàn),用兩個(gè)隱層比用一個(gè)隱層的收斂速度還要慢。(4)隱層節(jié)點(diǎn)數(shù)對(duì)收斂速度的影響 目前,對(duì)隱層節(jié)點(diǎn)數(shù)的設(shè)定缺乏理論指導(dǎo),但是實(shí)驗(yàn)研究說明,隱含節(jié)點(diǎn)數(shù)增加會(huì)影響收斂速度。BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)步驟 BP網(wǎng)絡(luò)的設(shè)計(jì)主要包括輸入層,隱層,輸出層及各層之間的傳輸函數(shù)幾個(gè)方面。(1)網(wǎng)絡(luò)層數(shù) 大多數(shù)通用的神經(jīng)網(wǎng)絡(luò)都預(yù)先預(yù)定了網(wǎng)絡(luò)的層數(shù),而BP網(wǎng)絡(luò)可以包含不同的隱層

10、。對(duì)多層BP神經(jīng)網(wǎng)絡(luò)，隱層層數(shù)至少為1層或1層以上，每個(gè)隱層的神經(jīng)元個(gè)數(shù)至少為1個(gè)或1個(gè)以上，否那么與多層網(wǎng)絡(luò)的命題矛盾而不成立。(2) 輸入層的節(jié)點(diǎn)數(shù) 網(wǎng)絡(luò)的輸入個(gè)數(shù)應(yīng)等于應(yīng)用問題的輸入數(shù),MATLAB的BP網(wǎng)絡(luò)的建立是通過函數(shù)newff或newcf實(shí)現(xiàn)的.(3)網(wǎng)絡(luò)數(shù)據(jù)的預(yù)處理 預(yù)處理方法有歸一化處理、標(biāo)準(zhǔn)化處理和主成分分析。常采用的是歸一化處理,即將輸入、輸出數(shù)據(jù)映射到-1,1范圍內(nèi),訓(xùn)練完畢后再反映射到原數(shù)據(jù)范圍。(4)輸出層的節(jié)點(diǎn)數(shù) 輸出層節(jié)點(diǎn)數(shù)取決于兩個(gè)方面,輸出數(shù)據(jù)類型和表示該類型所需要的數(shù)據(jù)大小。5隱層的節(jié)點(diǎn)數(shù)i.根據(jù)經(jīng)歷,可以參考以下公式進(jìn)展設(shè)計(jì): n=sqrp(ni+n0)

11、+a或者n=sqrt(nl) 式中:n為隱層節(jié)點(diǎn)數(shù);ni為輸入節(jié)點(diǎn)數(shù);n0為輸出節(jié)點(diǎn)數(shù);a為110之間的常數(shù)。ii.改變n,用同一樣本集訓(xùn)練,從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)。6傳輸函數(shù) BP網(wǎng)絡(luò)中傳輸函數(shù)常采用S(sigmoid)型函數(shù).在某些特定情況下,還可能采用純線性(Pureline)函數(shù).(7)訓(xùn)練方法及其參數(shù)選擇net.trainParam.show=. ； %顯示訓(xùn)練結(jié)果的間隔步數(shù)net.trainParam.epochs . ； 最大訓(xùn)練步數(shù)net.trainParam.goal. ； %訓(xùn)練目標(biāo)誤差net.trainParam.mu=. ； %學(xué)習(xí)系數(shù)的初始值，Marquardt調(diào)整參數(shù)net.trainParam.mu_dec=