BP人工神經(jīng)網(wǎng)絡的基本原理、模型與實例(教學課件）

1、第8章人工神經(jīng)網(wǎng)絡方法,本講大綱：,人工神經(jīng)網(wǎng)絡的基本概念 誤差反向傳播(BP)神經(jīng)網(wǎng)絡,8.1人工神經(jīng)網(wǎng)絡的基本概念,從數(shù)學和物理方法以及信息處理的角度，對人腦神經(jīng)網(wǎng)絡進行抽象，并建立某種簡化模型，稱為人工神經(jīng)網(wǎng)絡。 應用領域： 模式識別 系統(tǒng)辨識 預測預估 數(shù)據(jù)挖掘 經(jīng)濟學 ,8.1人工神經(jīng)網(wǎng)絡的基本概念,人工神經(jīng)網(wǎng)絡在本質上是由許多小的非線性函數(shù)組成的大的非線性函數(shù)，反映的是輸入變量到輸出變量間的復雜映射關系。先給出單個人工神經(jīng)網(wǎng)絡的一般模型描述：,8.1人工神經(jīng)網(wǎng)絡的基本概念,先來看一個單一輸入的神經(jīng)元模型 輸入變量：x1 連接權重：w1 激活函數(shù)：f (),8.1人工神經(jīng)網(wǎng)絡的基本概

2、念,8.1人工神經(jīng)網(wǎng)絡的基本概念,單極sigmoid函數(shù),8.1人工神經(jīng)網(wǎng)絡的基本概念,雙曲函數(shù),8.1人工神經(jīng)網(wǎng)絡的基本概念,增加激活閾值后的神經(jīng)元模型 輸入變量：x1 連接權重：w1 激活函數(shù)：f (),小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經(jīng)元的凈輸入和輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡的基本概念,當輸入增加時的神經(jīng)元模型 輸入變量：x1， x2 連接權重：w1，w2 激活函數(shù)：f (),小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經(jīng)元的凈輸入和輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡的基本概念,8.1人工神經(jīng)網(wǎng)絡的基本概念,當多個神經(jīng)元組合起

3、來時，人工神經(jīng)網(wǎng)絡的總體結構如下：,8.1人工神經(jīng)網(wǎng)絡的基本概念,當層數(shù)增加時的神經(jīng)元模型 輸入變量：x1， x2 連接權重：w1，w2 激活函數(shù)：f (),小練習：請你算一算，當初始輸入、權重和激活閾值為如下數(shù)值時，該神經(jīng)元的凈輸入和輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡的基本概念,初始輸入、權重和偏倚值,小練習：請你算一算，各節(jié)點的凈輸入和凈輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡的基本概念,凈輸入和輸出的計算,-0.7,0.1,0.332,0.525,-0.105,0.474,8.1人工神經(jīng)網(wǎng)絡的基本概念,思考： 如果想要讓神經(jīng)網(wǎng)絡的期望輸出盡可能接近“1”這個數(shù)值，請問應該調整網(wǎng)絡的哪些參數(shù)

4、？,8.1人工神經(jīng)網(wǎng)絡的基本概念,初始輸入、權重和偏倚值,小練習：若將各權值與閾值換成以上各值，各節(jié)點的凈輸入和凈輸出分別是多少？,8.1人工神經(jīng)網(wǎng)絡的基本概念,凈輸入和輸出的計算,-0.522,0.082,0.6276,0.4795,-0.1842,0.5459,8.1人工神經(jīng)網(wǎng)絡的基本概念,神經(jīng)網(wǎng)絡運算的難點之一： 如何高效地確定各個連接權值W與激活閾值 自動確定權值與閾值的過程稱為神經(jīng)網(wǎng)絡學習（訓練）。,8.1人工神經(jīng)網(wǎng)絡的基本概念,神經(jīng)網(wǎng)絡的學習方式： 監(jiān)督學習 非監(jiān)督學習 激勵學習,8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡,反向傳播算法分二步進行，即正向傳播和反向傳播。 1正向傳播 輸入

5、的樣本從輸入層經(jīng)過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。 2反向傳播 反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權系數(shù)進行修改，以望誤差信號趨向最小。,8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡,8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡,每個節(jié)點輸入端誤差Errj的計算,Err4= -0.0087,Err5= -0.0065,0.332,0.525,Err6= 0.1311,1-0.474,0.1311 w46,0.1311w56,8.2 誤差反向傳播(BP)神經(jīng)網(wǎng)絡,權重和偏倚更新的計算,參考資料,(美)韓家煒, (美)坎伯(Kam