BP人工神經(jīng)網(wǎng)絡(luò)的基本原理、模型與實例PPT課件

1、2021/3/91第8章人工神經(jīng)網(wǎng)絡(luò)方法2016年4月27日2021/3/92本講大綱：本講大綱：人工神經(jīng)網(wǎng)絡(luò)的基本概念誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)2021/3/938.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念 從數(shù)學(xué)和物理方法以及信息處理的角度，對人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡化模型，稱為人工神經(jīng)網(wǎng)絡(luò)。應(yīng)用領(lǐng)域：應(yīng)用領(lǐng)域：模式識別系統(tǒng)辨識預(yù)測預(yù)估數(shù)據(jù)挖掘經(jīng)濟(jì)學(xué)2021/3/948.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念 人工神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是由許多小的非線性函數(shù)組成的大的非線性函數(shù)，反映的是輸入變量到輸出變量間的復(fù)雜映射關(guān)系。先給出單個人工神經(jīng)網(wǎng)絡(luò)的一般模型描述：2021/

2、3/958.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念先來看一個單一輸入的神經(jīng)元模型輸入變量：x1連接權(quán)重：w1激活函數(shù)：f ()w1x1f ()w1x12021/3/968.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念2021/3/978.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念單極sigmoid函數(shù)2021/3/988.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念雙曲函數(shù)2021/3/998.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念增加激活閾值后的神經(jīng)元模型輸入變量：x1連接權(quán)重：w1激活函數(shù)：f ()w1x1f ()w1x1-1小練習(xí)：小練習(xí)：請你算一算，當(dāng)初始輸入、

3、權(quán)重和激活閾值為如下數(shù)值時，該神經(jīng)元的凈輸入和輸出分別是多少？x1w110.20.42021/3/9108.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念當(dāng)輸入增加時的神經(jīng)元模型輸入變量：x1， x2連接權(quán)重：w1，w2激活函數(shù)：f ()w1x1f ()w1x1+w2x2-1w2x2小練習(xí)：小練習(xí)：請你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時，該神經(jīng)元的凈輸入和輸出分別是多少？x1x2w1w2100.20.40.42021/3/9118.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念w1w2wmxmx2x1.f ()-12021/3/9128.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概

4、念當(dāng)多個神經(jīng)元組合起來時，人工神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)如下：輸入層隱 藏 層-1-1-1 f f.xmx2x1.y1y2yn f f f f f f f-1輸出層.2021/3/9138.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念當(dāng)層數(shù)增加時的神經(jīng)元模型輸入變量：x1， x2連接權(quán)重：w1，w2激活函數(shù)：f ()w1x1f ()w1x1+w2x2-1w2x2小練習(xí)：小練習(xí)：請你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時，該神經(jīng)元的凈輸入和輸出分別是多少？x1x2w1w2100.20.40.42021/3/9148.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念x1x2x3w14w15w24w

5、25w34w35w46w564561010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1123456x1x3x2w14w15w24w25w34w35w46w56456初始輸入、權(quán)重和偏倚值小練習(xí)：小練習(xí)：請你算一算，各節(jié)點的凈輸入和凈輸出分別是多少？2021/3/9158.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念單元 j凈輸入 Ij凈輸出 Oj123456x1x3x2w14w15w24w25w34w35w46w56456凈輸入和輸出的計算-0.70.10.3320.525-0.1050.47440.2+0-0.5-0.4=-0.75-0.3+0+0.2+0.

6、2=0.16-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.7)=0.3321/(1+e-0.1)=0.5251/(1+e0.105)=0.4742021/3/9168.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念思考：思考： 如果想要讓神經(jīng)網(wǎng)絡(luò)的期望輸出盡可能接近如果想要讓神經(jīng)網(wǎng)絡(luò)的期望輸出盡可能接近“1”這個這個數(shù)值，請問應(yīng)該調(diào)整網(wǎng)絡(luò)的哪些參數(shù)？數(shù)值，請問應(yīng)該調(diào)整網(wǎng)絡(luò)的哪些參數(shù)？2021/3/9178.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念123456x1x3x2w14w15w24w25w34w35w46w56456x1x2x3w14w1

7、5w24w25w34w35w46w564561010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218初始輸入、權(quán)重和偏倚值小練習(xí)：小練習(xí)：若將各權(quán)值與閾值換成以上各值，各節(jié)點的凈輸入和凈輸出分別是多少？2021/3/9188.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念單元 j凈輸入 Ij凈輸出 Oj123456x1x3x2w14w15w24w25w34w35w46w56456凈輸入和輸出的計算-0.5220.0820.62760.4795-0.18420.545940.192+0-0.306-0.408=-0.5225-0.3

8、06+0+0.194+0.194=0.0826-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.18421/(1+e-0.522)=0.62761/(1+e-0.1)=0.47951/(1+e-0.1842)=0.5459與0.474相比相比更接近更接近“1”了了2021/3/9198.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)運算的難點之一：神經(jīng)網(wǎng)絡(luò)運算的難點之一：如何高效地確定各個連接權(quán)值W與激活閾值 自動確定權(quán)值與閾值的過程稱為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（訓(xùn)練）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（訓(xùn)練）。2021/3/9208.1人工神經(jīng)網(wǎng)絡(luò)的基本概念人工神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方

9、式：監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)激勵學(xué)習(xí)2021/3/9218.2 誤差反向傳播誤差反向傳播(BP)神經(jīng)網(wǎng)神經(jīng)網(wǎng)絡(luò)絡(luò)反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播正向傳播和反向傳播。1正向傳播 輸入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過程。2反向傳播 反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號趨向最小。2021/3/9228.2 誤差反向傳播誤差反

10、向傳播(BP)神經(jīng)網(wǎng)神經(jīng)網(wǎng)絡(luò)絡(luò)2021/3/9238.2 誤差反向傳播誤差反向傳播(BP)神經(jīng)網(wǎng)神經(jīng)網(wǎng)絡(luò)絡(luò)單元 j計算誤差Errj123456x1x3x2w14w15w24w25w34w35w46w56456每個節(jié)點輸入端誤差Errj的計算Err4=-0.0087Err5=-0.00650.3320.525Err6=0.13111-0.47440.332(1-0.332)(0.1311)(-0.3)50.525(1-0.525)(0.1311)(-0.2)60.474(1-0.474)(1-0.474)-0.0087-0.00650.13110.1311 w460.1311 w562021/3

11、/9248.2 誤差反向傳播誤差反向傳播(BP)神經(jīng)網(wǎng)神經(jīng)網(wǎng)絡(luò)絡(luò)權(quán)重或偏差新值w46-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2+(0.9) (0.1311)(0.525)=-0.138w140.2+(0.9) (-0.0087)(1)=0.192w15-0.3+(0.9) (-0.0065)(1)=-0.306w240.4+(0.9) (-0.0087)(0)=0.4w250.1+(0.9) (-0.0065)(0)=0.1w34-0.5+(0.9) (-0.0087)(1)=-0.508w350.2+(0.9) (-0.0065)(1)=0.1946-0.1+(0.9) (0.1311)(-1)=-0.2185-0.2+(0.9) (-0.0065)(-1)=-0.19440.4+(0.9) (-0