BP神經(jīng)網(wǎng)絡算法原理課件

2.4BP神經(jīng)網(wǎng)絡模型與學習算法2.4BP神經(jīng)網(wǎng)絡模型與學習算法1概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(BackPropagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。J.McClelland

DavidRumelhart

概述Rumelhart，McClelland于1985年提出22.4.1BP神經(jīng)網(wǎng)絡模型三層BP網(wǎng)絡2.4.1BP神經(jīng)網(wǎng)絡模型三層BP網(wǎng)絡32.4.1BP神經(jīng)網(wǎng)絡模型激活函數(shù)必須處處可導一般都使用S型函數(shù)使用S型激活函數(shù)時BP網(wǎng)絡輸入與輸出關系輸入輸出2.4.1BP神經(jīng)網(wǎng)絡模型激活函數(shù)42.4.1BP神經(jīng)網(wǎng)絡模型輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡進行訓練，應該將net的值盡量控制在收斂比較快的范圍內(nèi)

2.4.1BP神經(jīng)網(wǎng)絡模型輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形52.4.2BP網(wǎng)絡的標準學習算法學習的過程：神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改變網(wǎng)絡的連接權值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。學習的本質(zhì)：對各連接權值的動態(tài)調(diào)整學習規(guī)則：權值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權變化所依據(jù)的一定的調(diào)整規(guī)則。2.4.2BP網(wǎng)絡的標準學習算法學習的過程：62.4.2BP網(wǎng)絡的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權值2.4.2BP網(wǎng)絡的標準學習算法-算法思想學習的類型：有導72.4.2BP網(wǎng)絡的標準學習算法-學習過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權值網(wǎng)絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數(shù)為止2.4.2BP網(wǎng)絡的標準學習算法-學習過程正向傳播：82.4.2BP網(wǎng)絡的標準學習算法網(wǎng)絡結(jié)構輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元,

輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;2.4.2BP網(wǎng)絡的標準學習算法網(wǎng)絡結(jié)構92.4.2BP網(wǎng)絡的標準學習算法輸入層與中間層的連接權值:隱含層與輸出層的連接權值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):誤差函數(shù)：2.4.2BP網(wǎng)絡的標準學習算法輸入層與中間層的連接權值102.4.2BP網(wǎng)絡的標準學習算法第一步，網(wǎng)絡初始化給各連接權值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值和最大學習次數(shù)M。第二步,隨機選取第個輸入樣本及對應期望輸出2.4.2BP網(wǎng)絡的標準學習算法第一步，網(wǎng)絡初始化112.4.2BP網(wǎng)絡的標準學習算法第三步，計算隱含層各神經(jīng)元的輸入和輸出2.4.2BP網(wǎng)絡的標準學習算法第三步，計算隱含層各神經(jīng)122.4.2BP網(wǎng)絡的標準學習算法第四步，利用網(wǎng)絡期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù)。2.4.2BP網(wǎng)絡的標準學習算法第四步，利用網(wǎng)絡期望輸出132.4.2BP網(wǎng)絡的標準學習算法第五步，利用隱含層到輸出層的連接權值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)。2.4.2BP網(wǎng)絡的標準學習算法第五步，利用隱含層到輸出142.4.2BP網(wǎng)絡的標準學習算法2.4.2BP網(wǎng)絡的標準學習算法152.4.2BP網(wǎng)絡的標準學習算法第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權值。2.4.2BP網(wǎng)絡的標準學習算法第六步，利用輸出層各神經(jīng)162.4.2BP網(wǎng)絡的標準學習算法第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權。2.4.2BP網(wǎng)絡的標準學習算法第七步，利用隱含層各神經(jīng)172.4.2BP網(wǎng)絡的標準學習算法第八步，計算全局誤差第九步，判斷網(wǎng)絡誤差是否滿足要求。當誤差達到預設精度或?qū)W習次數(shù)大于設定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。2.4.2BP網(wǎng)絡的標準學習算法第八步，計算全局誤差182.4.2BP網(wǎng)絡的標準學習算法BP算法直觀解釋情況一直觀表達當誤差對權值的偏導數(shù)大于零時，權值調(diào)整量為負，實際輸出大于期望輸出，權值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe>0，此時Δwho<02.4.2BP網(wǎng)絡的標準學習算法BP算法直觀解釋whoe192.4.2BP網(wǎng)絡的標準學習算法BP算法直解釋情況二直觀表達當誤差對權值的偏導數(shù)小于零時，權值調(diào)整量為正，實際輸出少于期望輸出，權值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e<0,此時Δwho>0who2.4.2BP網(wǎng)絡的標準學習算法BP算法直解釋e<0,202.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MAT212.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能newff()功能建立一個前向BP網(wǎng)絡格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡的訓練函數(shù)，默認為‘trainlm’；BLF表示網(wǎng)絡的權值學習函數(shù)，默認為‘learngdm’；PF表示性能數(shù)，默認為‘mse’。2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATL222.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。logsig()功能對數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATL232.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)例2-3，下表為某藥品的銷售情況，現(xiàn)構建一個如下的三層BP神經(jīng)網(wǎng)絡對藥品的銷售進行預測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量1873147819001500204615562.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)例2-3242.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四個月的銷售量歸一化處理后作為目標向量T=[0.73080.13900.10870.35200.00000.3761];%創(chuàng)建一個BP神經(jīng)網(wǎng)絡，每一個輸入向量的取值范圍為[0,1]，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述的標準學習算法net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設置學習速率為0.1LP.lr=0.1;net=train(net,P,T);2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)%以每三252.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)BP網(wǎng)絡應用于藥品預測對比圖由對比圖可以看出預測效果與實際存在一定誤差，此誤差可以通過增加運行步數(shù)和提高預設誤差精度業(yè)進一步縮小2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)BP網(wǎng)絡26BP神經(jīng)網(wǎng)絡的特點非線性映射能力能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式對供網(wǎng)絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小。

BP神經(jīng)網(wǎng)絡的特點非線性映射能力27小結(jié)BP算法背景BP神經(jīng)網(wǎng)絡模型BP算法基本思想推導過程實現(xiàn)BP神經(jīng)網(wǎng)絡的MATLAB函數(shù)BP神經(jīng)網(wǎng)絡的應用實例BP神經(jīng)網(wǎng)絡與感知器神經(jīng)網(wǎng)絡的對比小結(jié)BP算法背景28謝謝！謝謝！292.4BP神經(jīng)網(wǎng)絡模型與學習算法2.4BP神經(jīng)網(wǎng)絡模型與學習算法30概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(BackPropagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。J.McClelland

DavidRumelhart

概述Rumelhart，McClelland于1985年提出312.4.1BP神經(jīng)網(wǎng)絡模型三層BP網(wǎng)絡2.4.1BP神經(jīng)網(wǎng)絡模型三層BP網(wǎng)絡322.4.1BP神經(jīng)網(wǎng)絡模型激活函數(shù)必須處處可導一般都使用S型函數(shù)使用S型激活函數(shù)時BP網(wǎng)絡輸入與輸出關系輸入輸出2.4.1BP神經(jīng)網(wǎng)絡模型激活函數(shù)332.4.1BP神經(jīng)網(wǎng)絡模型輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡進行訓練，應該將net的值盡量控制在收斂比較快的范圍內(nèi)

2.4.1BP神經(jīng)網(wǎng)絡模型輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形342.4.2BP網(wǎng)絡的標準學習算法學習的過程：神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改變網(wǎng)絡的連接權值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。學習的本質(zhì)：對各連接權值的動態(tài)調(diào)整學習規(guī)則：權值調(diào)整規(guī)則，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權變化所依據(jù)的一定的調(diào)整規(guī)則。2.4.2BP網(wǎng)絡的標準學習算法學習的過程：352.4.2BP網(wǎng)絡的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元－－－各層單元的誤差信號修正各單元權值2.4.2BP網(wǎng)絡的標準學習算法-算法思想學習的類型：有導362.4.2BP網(wǎng)絡的標準學習算法-學習過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權值網(wǎng)絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數(shù)為止2.4.2BP網(wǎng)絡的標準學習算法-學習過程正向傳播：372.4.2BP網(wǎng)絡的標準學習算法網(wǎng)絡結(jié)構輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元,

輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;2.4.2BP網(wǎng)絡的標準學習算法網(wǎng)絡結(jié)構382.4.2BP網(wǎng)絡的標準學習算法輸入層與中間層的連接權值:隱含層與輸出層的連接權值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):誤差函數(shù)：2.4.2BP網(wǎng)絡的標準學習算法輸入層與中間層的連接權值392.4.2BP網(wǎng)絡的標準學習算法第一步，網(wǎng)絡初始化給各連接權值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值和最大學習次數(shù)M。第二步,隨機選取第個輸入樣本及對應期望輸出2.4.2BP網(wǎng)絡的標準學習算法第一步，網(wǎng)絡初始化402.4.2BP網(wǎng)絡的標準學習算法第三步，計算隱含層各神經(jīng)元的輸入和輸出2.4.2BP網(wǎng)絡的標準學習算法第三步，計算隱含層各神經(jīng)412.4.2BP網(wǎng)絡的標準學習算法第四步，利用網(wǎng)絡期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù)。2.4.2BP網(wǎng)絡的標準學習算法第四步，利用網(wǎng)絡期望輸出422.4.2BP網(wǎng)絡的標準學習算法第五步，利用隱含層到輸出層的連接權值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)。2.4.2BP網(wǎng)絡的標準學習算法第五步，利用隱含層到輸出432.4.2BP網(wǎng)絡的標準學習算法2.4.2BP網(wǎng)絡的標準學習算法442.4.2BP網(wǎng)絡的標準學習算法第六步，利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權值。2.4.2BP網(wǎng)絡的標準學習算法第六步，利用輸出層各神經(jīng)452.4.2BP網(wǎng)絡的標準學習算法第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權。2.4.2BP網(wǎng)絡的標準學習算法第七步，利用隱含層各神經(jīng)462.4.2BP網(wǎng)絡的標準學習算法第八步，計算全局誤差第九步，判斷網(wǎng)絡誤差是否滿足要求。當誤差達到預設精度或?qū)W習次數(shù)大于設定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。2.4.2BP網(wǎng)絡的標準學習算法第八步，計算全局誤差472.4.2BP網(wǎng)絡的標準學習算法BP算法直觀解釋情況一直觀表達當誤差對權值的偏導數(shù)大于零時，權值調(diào)整量為負，實際輸出大于期望輸出，權值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe>0，此時Δwho<02.4.2BP網(wǎng)絡的標準學習算法BP算法直觀解釋whoe482.4.2BP網(wǎng)絡的標準學習算法BP算法直解釋情況二直觀表達當誤差對權值的偏導數(shù)小于零時，權值調(diào)整量為正，實際輸出少于期望輸出，權值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e<0,此時Δwho>0who2.4.2BP網(wǎng)絡的標準學習算法BP算法直解釋e<0,492.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MAT502.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能newff()功能建立一個前向BP網(wǎng)絡格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡的訓練函數(shù)，默認為‘trainlm’；BLF表示網(wǎng)絡的權值學習函數(shù)，默認為‘learngdm’；PF表示性能數(shù)，默認為‘mse’。2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATL512.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。logsig()功能對數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。2.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATL522.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)例2-3，下表為某藥品的銷售情況，現(xiàn)構建一個如下的三層BP神經(jīng)網(wǎng)絡對藥品的銷售進行預測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量1873147819001500204615562.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)例2-3532.4.3BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;