BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)算法腦神經(jīng)網(wǎng)絡(luò)腦神經(jīng)元思維活動腦神經(jīng)網(wǎng)絡(luò)的一個功能經(jīng)驗→決策去哪吃飯？人工神經(jīng)網(wǎng)絡(luò)的功能歷史數(shù)據(jù)預(yù)測分類BP神經(jīng)網(wǎng)絡(luò)J.McClellandDavidRumelhart1985年，Rumelhart和McClelland提出了誤差后向傳播（BackPropagation)學(xué)習(xí)算法，BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)神經(jīng)節(jié)點BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用紅色數(shù)據(jù)為學(xué)習(xí)數(shù)據(jù)藍色數(shù)據(jù)為驗證數(shù)據(jù)BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用設(shè)計神經(jīng)網(wǎng)絡(luò)模型：其中藍色節(jié)點為神經(jīng)節(jié)點BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用將第一年的數(shù)據(jù)進行歸一化處理：x是處理前的值y是處理后的值xmin是樣本最小值xmax是樣本最大值BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用初始化BP神經(jīng)網(wǎng)絡(luò)參數(shù)：1.權(quán)重值w均為0.12.偏倚值θ均為0.23.學(xué)習(xí)率l為0.4初始化的參數(shù)一般為[-1,1]之間隨機產(chǎn)生的小數(shù)。BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用將輸入層數(shù)據(jù)導(dǎo)入隱藏層第一個神經(jīng)節(jié)點內(nèi)進行運算：wij是權(quán)重，0.1θj是偏倚，0.2f(x)是激活函數(shù)x1=0x2=0.08BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用將輸入層數(shù)據(jù)導(dǎo)入隱藏層第二個神經(jīng)節(jié)點內(nèi)進行運算：wij是權(quán)重，0.1θj是偏倚，0.2f(x)是激活函數(shù)x1=0x2=0.08BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用將隱藏層數(shù)據(jù)導(dǎo)入輸出層神經(jīng)節(jié)點內(nèi)進行運算：wij是權(quán)重，0.1θj是偏倚，0.2f(x)是激活函數(shù)x3=x4=0.552BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用由于計算輸出值與真實值之間存在誤差，所以需要對神經(jīng)網(wǎng)絡(luò)的參數(shù)進行調(diào)整。計算輸出值：實際值：BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用首先計算輸出節(jié)點的數(shù)據(jù)誤差。輸出值：實際值：輸出層節(jié)點j的誤差：BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用接下來計算隱藏節(jié)點的數(shù)據(jù)誤差。輸出層節(jié)點5的誤差：隱藏層節(jié)點j的誤差：隱藏層節(jié)點3的輸出：隱藏層節(jié)點4的輸出：權(quán)重均為0.1其中，wjk是該節(jié)點到下層節(jié)點的權(quán)重，Errk是節(jié)點k的誤差。BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用調(diào)整各節(jié)點的權(quán)重：權(quán)重更新公式：l為學(xué)習(xí)率，取值0.4BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用這樣就得到了調(diào)整后的權(quán)重：BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用調(diào)整各節(jié)點的偏倚：偏倚更新公式：BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用將參數(shù)更新之后就可以繼續(xù)處理第二年的數(shù)據(jù)，直到八年的數(shù)據(jù)全部輸入運算完畢，這就是神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練周期。BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用循環(huán)的終止在每個訓(xùn)練周期之間我們要對輸出數(shù)據(jù)和真實數(shù)據(jù)之間的誤差進行分析，如果誤差值在我們允許的范圍之內(nèi)，那么神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就可以停止了。另外一種讓訓(xùn)練停下來的辦法就是預(yù)設(shè)一個值，如果當前訓(xùn)練的周期數(shù)超過這個值，那么訓(xùn)練就必須停止。BP神經(jīng)網(wǎng)絡(luò)的一個實際應(yīng)用驗證神經(jīng)網(wǎng)絡(luò)的準確性如果誤差在允許的范圍之內(nèi)就可以進行預(yù)測了總結(jié)BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程：正向傳播：輸入層隱藏層輸出層誤差的反向傳播：輸出層隱藏層BP算法是一種有監(jiān)督式的學(xué)習(xí)算法，其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對網(wǎng)