BP人工神經(jīng)網(wǎng)絡的基本原理、模型與實例

1、第8章 人工神經(jīng)網(wǎng)絡方法 2016年4月27日 本講大綱本講大綱： 人工神經(jīng)網(wǎng)絡的基本概念 誤差反向傳播(BP)神經(jīng)網(wǎng)絡 8.1人工神經(jīng)網(wǎng)絡的基本人工神經(jīng)網(wǎng)絡的基本概念概念 從數(shù)學和物理方法以及信息處理的角度，對人腦神經(jīng) 網(wǎng)絡進行抽象，并建立某種簡化模型，稱為人工神經(jīng)網(wǎng)絡。 應用領域：應用領域： 模式識別 系統(tǒng)辨識 預測預估 數(shù)據(jù)挖掘 經(jīng)濟學 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 人工神經(jīng)網(wǎng)絡在本質(zhì)上是由許多小的非線性函數(shù)組成 的大的非線性函數(shù)，反映的是輸入變量到輸出變量間的復 雜映射關系。先給出單個人工神經(jīng)網(wǎng)絡的一般模型描述： 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念

2、 先來看一個單一輸入的神經(jīng)元模型 輸入變量：x1 連接權重：w1 激活函數(shù)：f () w1 x1 f () w1x1 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 單極sigmoid函數(shù) 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 雙曲函數(shù) 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 增加激活閾值后的神經(jīng)元模型 輸入變量：x1 連接權重：w1 激活函數(shù)：f () w1 x1 f () w1x1- -1 小練習：小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神 經(jīng)元的凈輸入和輸出分別是多少？ x1w1 10

3、.20.4 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 當輸入增加時的神經(jīng)元模型 輸入變量：x1， x2 連接權重：w1，w2 激活函數(shù)：f () w1 x1 f () w1x1 +w2x2- -1 w2 x2 小練習：小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經(jīng) 元的凈輸入和輸出分別是多少？ x1x2w1w2 100.20.40.4 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 w1 w2 wm xm x2 x1 . . f () -1 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 當多個神經(jīng)元組合起來時，人工神經(jīng)網(wǎng)絡的總體結(jié)構如下： 輸入層隱 藏

4、層 -1-1-1 f f . . . . xm x2 x1 . . . . y1 y2 yn f f f f f f f -1 輸出層 . . 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 當層數(shù)增加時的神經(jīng)元模型 輸入變量：x1， x2 連接權重：w1，w2 激活函數(shù)：f () w1 x1 f () w1x1 +w2x2- -1 w2 x2 小練習：小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經(jīng) 元的凈輸入和輸出分別是多少？ x1x2w1w2 100.20.40.4 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 x1x2x3w14w15w24w25w34w35

5、w46w56456 1010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 初始輸入、權重和偏倚值 小練習：小練習：請你算一算，各節(jié)點的凈輸入和凈輸出分別是多少？ 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 單元單元 j凈輸入凈輸入 Ij凈輸出凈輸出 Oj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 凈輸入和輸出的計算 -0.7 0.1 0.332 0.525 -0.

6、105 0.474 40.2+0-0.5-0.4=-0.7 5-0.3+0+0.2+0.2=0.1 6-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.105 1/(1+e0.7)=0.332 1/(1+e-0.1)=0.525 1/(1+e0.105)=0.474 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 思考：思考： 如果想要讓神經(jīng)網(wǎng)絡的期望輸出盡可能接近如果想要讓神經(jīng)網(wǎng)絡的期望輸出盡可能接近“1”這這 個數(shù)值，請問應該調(diào)整網(wǎng)絡的哪些參數(shù)？個數(shù)值，請問應該調(diào)整網(wǎng)絡的哪些參數(shù)？ 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 1 2 3 4 5 6 x1 x3

7、 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 x1x2x3w14w15w24w25w34w35w46w56456 1010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218 初始輸入、權重和偏倚值 小練習小練習：若將各權值與閾值換成以上各值，各節(jié)點的凈輸入和凈輸出分別是多 少？ 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 單元單元 j凈輸入凈輸入 Ij凈輸出凈輸出 Oj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6

8、凈輸入和輸出的計算 -0.522 0.082 0.6276 0.4795 -0.1842 0.5459 40.192+0-0.306-0.408=-0.522 5-0.306+0+0.194+0.194=0.082 6-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.1842 1/(1+e-0.522)=0.6276 1/(1+e-0.1)=0.4795 1/(1+e-0.1842)=0.5459 與0.474相比相比 更接近更接近“1”了了 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 神經(jīng)網(wǎng)絡運算的難點之一：神經(jīng)網(wǎng)絡運算的難點之一： 如何高效地確定各個連接權值W

9、與激活閾值 自動確定權值與閾值的過程稱為神經(jīng)網(wǎng)絡學習（訓練）神經(jīng)網(wǎng)絡學習（訓練）。 8.1人工神經(jīng)網(wǎng)絡的基本概念人工神經(jīng)網(wǎng)絡的基本概念 神經(jīng)網(wǎng)絡的學習方式： 監(jiān)督學習監(jiān)督學習 非監(jiān)督學習 激勵學習 8.2 誤差誤差反向傳播反向傳播(BP)神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 反向傳播算法分二步進行，即正向傳播和反向傳播正向傳播和反向傳播。 1正向傳播 輸入的樣本從輸入層經(jīng)過隱單元一層一層進行處理， 通過所有的隱層之后，則傳向輸出層；在逐層處理的過程 中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影 響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行 輸出不等于期望輸出，則進入反向傳播過程。 2反向傳播 反向傳播

10、時，把誤差信號按原來正向傳播的通路反向 傳回，并對每個隱層的各個神經(jīng)元的權系數(shù)進行修改，以 望誤差信號趨向最小。 8.2 誤差反向傳播誤差反向傳播(BP)神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 8.2 誤差反向傳播誤差反向傳播(BP)神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 單元單元 j計算誤差計算誤差Errj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 4 5 6 每個節(jié)點輸入端誤差Errj的計算 Err4= -0.0087 Err5= -0.0065 0.332 0.525 Err6= 0.1311 1-0.474 40.332(1-0.332)(0.1311)(-0.3)

11、 50.525(1-0.525)(0.1311)(-0.2) 60.474(1-0.474)(1-0.474) -0.0087 -0.0065 0.1311 0.1311 w46 0.1311 w56 8.2 誤差反向傳播誤差反向傳播(BP)神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 權重或偏差權重或偏差新值新值 w46-0.3+(0.9)(0.1311)(0.332)=-0.261 w56-0.2+(0.9) (0.1311)(0.525)=-0.138 w140.2+(0.9) (-0.0087)(1)=0.192 w15-0.3+(0.9) (-0.0065)(1)=-0.306 w240.4+(0.9) (-0.0087)(0)=0.4 w250.1+(0.9) (-0.0065)(0)=0.1 w34-0.5+(0.9) (-0.0087)(1)=-0.508 w350.2+(0.9) (-0.0065)(1)=0.194 6-0.1+(0.9) (0.1311)(-1)=-0.218 5-0