版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
第2章BP神經(jīng)網(wǎng)絡(luò)
已經(jīng)發(fā)展了數(shù)十上百種神經(jīng)網(wǎng)絡(luò)模型,應(yīng)用最廣泛的是誤差反向傳播算法(BackPropagationAlgorithm,簡稱BP算法),相應(yīng)的網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。由多層處理單元組成,每層神經(jīng)元個數(shù)不同,通過樣本自學(xué)習(xí)建立網(wǎng)絡(luò)輸入變量和輸出變量之間的非線性映射關(guān)系。
§2-1BP神經(jīng)網(wǎng)絡(luò)基本原理
BP網(wǎng)絡(luò)一般由輸入層、隱層和輸出層組成,隱層可以為一層或多層,每層上的神經(jīng)元稱為節(jié)點或單元。
標(biāo)準(zhǔn)BP模型由3個神經(jīng)元層次組成,如圖2.1所示,輸入層有L個處理單元,中間的隱層有M個處理單元,輸出層有N個處理單元。標(biāo)準(zhǔn)BP模型由3個神經(jīng)元層次組成,如圖2.1所示,輸入層有L個處理單元,中間的隱層有M個處理單元,輸出層有N個處理單元。圖2.1三層BP神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)誤差反向傳播算法的基本思想
BP網(wǎng)絡(luò)按照感知器的工作原理進(jìn)行信息處理:
(2-1)式中為t時刻輸出,為輸入向量的一個分量,為t時刻第i個輸入的加權(quán),θ為閾值,為作用函數(shù)。
感知器的學(xué)習(xí)規(guī)則為
(2-2)式中η為學(xué)習(xí)率,d為期望輸出(又稱教師信號),為感知器的輸出。感知器通過不斷調(diào)整權(quán)重,使得對一切樣本均保持不變時,學(xué)習(xí)過程就結(jié)束。BP網(wǎng)絡(luò)誤差反向傳播算法的基本思想是:根據(jù)輸出層內(nèi)各處理單元的正確輸出與實際輸出之間的誤差進(jìn)行連接權(quán)系數(shù)的調(diào)整,使網(wǎng)絡(luò)的輸出盡可能接近期望的輸出,直到滿足事先給定的允許誤差,學(xué)習(xí)停止。由于隱層的存在,輸出層對產(chǎn)生誤差的學(xué)習(xí)必須通過各層連接權(quán)值的調(diào)整進(jìn)行,因此,隱層要能對輸出層反傳過來的誤差進(jìn)行學(xué)習(xí),這是BP網(wǎng)絡(luò)的一個主要特征。
BP網(wǎng)絡(luò)的學(xué)習(xí)算法
考慮BP網(wǎng)絡(luò)中某神經(jīng)元j如圖1.2所示,它有m個輸入信號,每個輸入通過各自的權(quán)系數(shù)與神經(jīng)元j相聯(lián)系。第j神經(jīng)元的綜合輸入量為圖1.2神經(jīng)單元模型(2-3)式中稱為該神經(jīng)元的門檻值或閾值。為了統(tǒng)一表達(dá)式,可以令,將上式改寫成
(2-4)第j神經(jīng)元的輸出為(2-5)式中為神經(jīng)元j的傳遞函數(shù)或響應(yīng)函數(shù),是非線性可微非遞減函數(shù),對各神經(jīng)元可取同一形式。傳遞函數(shù)通常有0-1型(2-6)雙曲正切型(2-8)
Sigmoid型(2-7)目前,用得較多的傳遞函數(shù)是Sigmoid型函數(shù)或稱為S型函數(shù)。BP網(wǎng)絡(luò)的自學(xué)習(xí)是通過若干個已知輸入和輸出的樣本,來調(diào)整權(quán)系數(shù)完成的。要求對樣本,網(wǎng)絡(luò)輸出和樣本期望輸出的差值平方和極小,即(2-9)
現(xiàn)在考慮圖2.2所示BP網(wǎng)絡(luò),用序號1~3分別表示輸入層、隱層和輸出層,為統(tǒng)一符號,規(guī)定右上角標(biāo)表示層的序號,對第p樣本,第層的神經(jīng)元j的輸入和輸出分別用和表示,而對應(yīng)層的神經(jīng)元個數(shù)為,對圖2.2而言,。則網(wǎng)絡(luò)的正向運算為現(xiàn)在考慮圖2.2所示BP網(wǎng)絡(luò),用序號1~3分別表示輸入層、隱層和輸出層,為統(tǒng)一符號,規(guī)定右上角標(biāo)表示層的序號,對第p樣本,第層的神經(jīng)元j的輸入和輸出分別用和表示,而對應(yīng)層的神經(jīng)元個數(shù)為,對圖2.2而言,。則網(wǎng)絡(luò)的正向運算為圖2.2三層BP神經(jīng)網(wǎng)絡(luò)輸入層(2-10)隱層或輸出層式中表示第層的神經(jīng)元與第層的神經(jīng)元之間的權(quán)系數(shù)。網(wǎng)絡(luò)第層的神經(jīng)元j的計算輸出和樣本期望輸出的差值記為(2-13)要對網(wǎng)絡(luò)的權(quán)系數(shù)不斷進(jìn)行修正,使得小于事先給定的允許誤差,才能完成學(xué)習(xí)過程,訓(xùn)練結(jié)束。對于第次學(xué)習(xí)過程,權(quán)系數(shù)修正量可借鑒不包含隱層的Delta學(xué)習(xí)算法(或?qū)W習(xí)算法)按下式進(jìn)行調(diào)整(也參見式(2-2))
(2-14)式中η為修正因子,一般取小于1的常數(shù),也可以在學(xué)習(xí)過程中根據(jù)需要而改變。
Delta學(xué)習(xí)算法的改進(jìn)
由式(2-11)則式(2-17)可改寫為將上式與式(2-14)比較,可見兩者形式相同。(2-14)
而由式(2-12)有
對式(2-7)的S型函數(shù),上式成為
將式(2-23)和式(2-24)代入式(2-21)得
將式(2-23)和式(2-26)代入式(2-21)并考慮式(2-15)得
式(2-16)和式(2-20)給出
需要指出的是,當(dāng)選用0-1型和Sigmoid型傳遞函數(shù)時,網(wǎng)絡(luò)輸出的值域為(0,1)而雙曲正切型的值域為(-1,1),對于超出此區(qū)間的樣本期望輸出,均需作歸一化處理。訓(xùn)練好的BP網(wǎng)絡(luò)已經(jīng)建立了輸入變量與輸出變量之間的非線性映射關(guān)系,可用于結(jié)構(gòu)損傷(裂紋)識別等反問題的求解。該法的特點是具有較好的魯棒性,對測量結(jié)果的微小誤差不很敏感。
BP網(wǎng)絡(luò)學(xué)習(xí)(迭代)運算步驟如下:事先確定隱層的層數(shù)及各隱層的神經(jīng)元個數(shù)
§2.2BP網(wǎng)絡(luò)計算框圖BP網(wǎng)絡(luò)計算框圖(流程圖)見圖2.3:
§2.3BP網(wǎng)絡(luò)的特點和存在的問題
(1)是一種非線性映射關(guān)系
是靜態(tài)系統(tǒng)而非動力學(xué)系統(tǒng),故不涉及穩(wěn)定性問題。
(2)BP算法收斂速度很慢
主要由于多峰優(yōu)化問題,只找到局部最優(yōu)解,產(chǎn)生麻痹,如圖2.4。A全局最優(yōu)點B局部優(yōu)化點圖2.4多峰優(yōu)化問題尋優(yōu)過程示意圖
(3)對隱層的層數(shù)及各隱層的神經(jīng)元個數(shù)尚無理論上的推導(dǎo)
(4)對加入的新樣本,網(wǎng)絡(luò)需要重新學(xué)習(xí)
§2.4Kolmogorov定理Kolmogorov(連續(xù)函數(shù)表示)定理(1957年):
§2.5算例1——NN.FOR駐值點由:
需要利用導(dǎo)師信息,給出網(wǎng)格點的值作信息,共7×7=49對數(shù)據(jù)點,見表2-1。x1位于-3~3之間,而x2位于-2~4之間。
表2-1神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)表x1x2f(X)x1x2f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239
程序NN.FOR使用說明:
數(shù)據(jù)值應(yīng)在(0,1)之間,故應(yīng)作歸一化處理:進(jìn)行坐標(biāo)平移及數(shù)據(jù)歸一化處理,分子—平移;分子/分母—歸一化。x1最小值為-3,x2最小值為-2,取值區(qū)間分別為3-(-3)=6和4-(-2)=6。規(guī)格化處理:
§2.6算例2考慮:1、移軸及歸一化和上下限改變的影響;2、隨機(jī)數(shù)起始點改變;
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024區(qū)公寓租賃房屋抵押合同3篇
- 2024年度私人房屋修建工程合同國際運輸合同3篇
- 2024年商標(biāo)專用權(quán)質(zhì)押合同3篇
- 2024年度馬鈴薯購銷合同詳細(xì)條款3篇
- 2024年醫(yī)生聘請合同標(biāo)準(zhǔn)版2篇
- 2024年度高速公路養(yǎng)護(hù)工程勞務(wù)分包服務(wù)合同3篇
- 2024年度智能家居公寓買賣合同及預(yù)售協(xié)議3篇
- 2024年度宿舍公共區(qū)域綠化維護(hù)合同3篇
- 2024版互聯(lián)網(wǎng)金融服務(wù)借款合同樣本3篇
- 2024年度事業(yè)單位人才引進(jìn)聘用合同書+封面3篇
- 民辦學(xué)校教職工入職背景審查制度
- 2024年新人教版四年級數(shù)學(xué)上冊《教材練習(xí)21練習(xí)二十一(附答案)》教學(xué)課件
- 2024年湛江市農(nóng)業(yè)發(fā)展集團(tuán)有限公司招聘筆試沖刺題(帶答案解析)
- 商業(yè)倫理與社會責(zé)任智慧樹知到期末考試答案2024年
- MOOC 創(chuàng)新思維與創(chuàng)業(yè)實驗-東南大學(xué) 中國大學(xué)慕課答案
- JBT 1472-2023 泵用機(jī)械密封 (正式版)
- 二級公立醫(yī)院績效考核三級手術(shù)目錄(2020版)
- 6人小品《沒有學(xué)習(xí)的人不傷心》臺詞完整版
- GB/T 16865-1997變形鋁、鎂及其合金加工制品拉伸試驗用試樣
- 業(yè)務(wù)費用管理辦法
- 馬克思的平均利潤理論對我國發(fā)展市場經(jīng)濟(jì)有何啟示
評論
0/150
提交評論