BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)要點(diǎn)

1、BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)王貴騰摘要：人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)的熱點(diǎn)研究領(lǐng)域,是人類智能研究的重要組成部分。BP神經(jīng)網(wǎng)絡(luò)作為目前應(yīng)用較多的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有良好的逼近性能，且結(jié)構(gòu)簡(jiǎn)單，性能優(yōu)良。但仍存在收斂速度慢，易陷入局部極小值的問(wèn)題，通過(guò)附加動(dòng)量項(xiàng)法、自適應(yīng)學(xué)習(xí)率法、數(shù)據(jù)歸一化法、遺傳算法等，可大幅度改善其性能，可廣泛應(yīng)用于多輸入多輸出的非線性系統(tǒng)。關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；BP算法；動(dòng)量項(xiàng)；自適應(yīng)學(xué)習(xí)率；歸一化；遺傳算法緒論人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetW，r簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)（NN）,是由大量處理單元（神經(jīng)元）組成的非線性大規(guī)模自適應(yīng)系統(tǒng)。它具有自組織，自適應(yīng)和自學(xué)

2、習(xí)能力，以及具有非線性、非局域性，非定常性和非凸性等特點(diǎn)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理，記憶信息的方式設(shè)計(jì)一種新的機(jī)器使之具有人腦那樣的信息處理能力。神經(jīng)網(wǎng)絡(luò)作為計(jì)算智能與控制的重要分支，在控制領(lǐng)域具有如下優(yōu)點(diǎn)：1）能逼近任意L2范數(shù)上的非線性函數(shù)；2）信息分布式存儲(chǔ)與處理，魯棒性和容錯(cuò)性強(qiáng)；3）便于處理多輸入多輸出問(wèn)題；4）具有實(shí)現(xiàn)高速并行計(jì)算的潛力；具有學(xué)習(xí)能力，對(duì)環(huán)境變化具有自適應(yīng)性，對(duì)模型依賴性不強(qiáng)，主要用于解決非線性系統(tǒng)的控制問(wèn)題。同時(shí)，神經(jīng)網(wǎng)絡(luò)控制在多種控制結(jié)構(gòu)中得到應(yīng)用，如PID控制、模型參考自適應(yīng)控制、前饋反饋控制、內(nèi)?？刂啤⒛嫦到y(tǒng)控制

3、、預(yù)測(cè)控制等。目前神經(jīng)網(wǎng)絡(luò)的研究主要集中在三個(gè)方面：理論研究、實(shí)現(xiàn)技術(shù)研究、應(yīng)用研究。BP神經(jīng)網(wǎng)絡(luò)概述BP神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland一同提出的一種多層前饋神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用BP算法一種誤差反向傳播(BackPropagation)算法，其方法是依據(jù)負(fù)梯度下降方向迭代調(diào)整網(wǎng)絡(luò)的權(quán)值和閥值以實(shí)現(xiàn)訓(xùn)練誤差目標(biāo)函數(shù)的最小化。由于BP神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中存在著收斂速度慢、網(wǎng)絡(luò)結(jié)構(gòu)難以確定、容易陷入局部極小值、泛化能力不強(qiáng)的缺陷，近年來(lái)，許多學(xué)者為滿足實(shí)際應(yīng)用中需要提出了許多改進(jìn)方法，在網(wǎng)絡(luò)自身性能的改善方面做了大量而有實(shí)際意義的工作，并且在BP神經(jīng)網(wǎng)絡(luò)的理論方面的研

4、究和實(shí)際問(wèn)題上應(yīng)用也取得了豐碩的成果。對(duì)BP神經(jīng)網(wǎng)絡(luò)的理論研究，概括起來(lái)大致分為三個(gè)方面：改進(jìn)激勵(lì)函數(shù)，權(quán)值選取優(yōu)化和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。本文研究?jī)?nèi)容本文從神經(jīng)網(wǎng)絡(luò)出發(fā)，研究其中應(yīng)用最為廣泛的BP神經(jīng)網(wǎng)絡(luò)模型，分析其缺點(diǎn)和不足，提出改進(jìn)措施，并探討其應(yīng)用。具體研究?jī)?nèi)容包括：1）研究人工神經(jīng)網(wǎng)絡(luò)的基本原理；2）對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分析，探討B(tài)P算法的缺陷;3）提出對(duì)BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)和優(yōu)化；4）基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)的建模仿真。神經(jīng)網(wǎng)絡(luò)基本原理神經(jīng)網(wǎng)絡(luò)，主要是模擬人的神經(jīng)系統(tǒng)。其神經(jīng)元特性、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)的三要素。神經(jīng)元特性神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理單元組成，通過(guò)可變權(quán)值連接而成的并

5、行分布式系統(tǒng)，神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元。1943年提出的MP模型，經(jīng)不斷改進(jìn)形成了現(xiàn)在廣泛應(yīng)用的BP神經(jīng)元模型，MP1）神經(jīng)元是多輸入單輸出的信息處理單元；2）神經(jīng)元輸入：興奮性輸入和抑制性輸入；3）神經(jīng)元具有空間整合特性和閥值特性；4）輸入和輸出間有固定時(shí)滯（突觸延擱）；5）忽略時(shí)間整合作用和不應(yīng)期；6）突觸時(shí)延和突觸強(qiáng)度為常數(shù)（時(shí)不變）。神經(jīng)元信號(hào)處理特性（轉(zhuǎn)移函數(shù)）是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一。包括閥值型轉(zhuǎn)移函數(shù)、連續(xù)非線性轉(zhuǎn)移函數(shù)、分段線性轉(zhuǎn)移函數(shù)、概率型轉(zhuǎn)移函數(shù)等。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素。包括：1）層次型結(jié)構(gòu)。包括單純型層次網(wǎng)絡(luò)結(jié)

6、構(gòu)、輸出層到輸入層有連接的層次網(wǎng)絡(luò)結(jié)構(gòu)、層內(nèi)有互連的層次網(wǎng)絡(luò)結(jié)構(gòu)。2）互連型結(jié)構(gòu)。包括全互連型、局部互連型、稀疏連接型。按信息流向類型可分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素。神經(jīng)網(wǎng)絡(luò)的工作方式分為兩個(gè)階段：學(xué)習(xí)期和工作期。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型包括有導(dǎo)師學(xué)習(xí)（有監(jiān)督學(xué)習(xí)）、無(wú)導(dǎo)師學(xué)習(xí)（無(wú)監(jiān)督學(xué)習(xí)）、灌輸式學(xué)習(xí)（死記硬背學(xué)習(xí)）、再勵(lì)式學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)3.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用BP算法的神經(jīng)網(wǎng)絡(luò)模型稱為BP神經(jīng)網(wǎng)絡(luò)，一般由輸入層、隱層和輸出層組成，隱層可以是一層或者多層，每個(gè)層中又包含許多單個(gè)神經(jīng)元，在BP神經(jīng)網(wǎng)絡(luò)中，層與層之間的神經(jīng)元

7、是全連接，層內(nèi)部的神經(jīng)元之間是無(wú)連接的。各隱層節(jié)點(diǎn)的激活函數(shù)使用Sigmoid函數(shù)，其輸入層和輸出層激勵(lì)函數(shù)可以根據(jù)應(yīng)用的不同需要而異。因此，BP神經(jīng)網(wǎng)絡(luò)是前向反饋網(wǎng)絡(luò)的一種，其網(wǎng)絡(luò)結(jié)構(gòu)可以采用簡(jiǎn)要的形式來(lái)描述，如圖3-1。輸入層隱層輸出層圖3-1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP算法BP算法即誤差反向傳播（BackPropagation）算法，其主要思想是是把學(xué)習(xí)過(guò)程分為兩個(gè)階段：第一階段（正向傳播過(guò)程），給出輸入信息通過(guò)輸入層經(jīng)隱含層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段（反向過(guò)程），若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之差值（即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值。BP算法的

8、基本步驟如下：1）設(shè)置初始權(quán)值W（0）為較小的隨機(jī)非零值。2）給定輸入/輸出樣本集合u,d,ppp,誤差指標(biāo)Ep(d-y)2ipipE總誤差指標(biāo)a11Epp=1重復(fù)下列過(guò)程直至滿足收斂條件（E)a11)a）對(duì)于任意一個(gè)樣本p,計(jì)算正向過(guò)程u,1,-1O1,xppp15=C-y)fCx)ipipip(xip反向過(guò)程15ip1+15+iwmpmi丿fCx),11LipdE乂p=i5i-iO,110diwij包括兩種學(xué)習(xí)方式：模式（Pattern）學(xué)習(xí)方式:dEp，耳0o1Wij1w(t+1)=/w(t)-qijij訓(xùn)練（Epoch）學(xué)習(xí)方式:1w(t+1)=1w(t)-nfallTH0ijij0i

9、wijBP神經(jīng)網(wǎng)絡(luò)存在的缺陷由于BP神經(jīng)網(wǎng)絡(luò)是基于負(fù)梯度下降算法的網(wǎng)絡(luò)模型，就不可避免的存在著一些缺陷和不足:1）BP學(xué)習(xí)算法采用梯度下降法來(lái)收斂實(shí)際輸出與期望輸出之間誤差。因?yàn)檎`差是高維權(quán)向量的復(fù)雜非線性函數(shù)，故易陷入局部極小值；2）網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程收斂速度慢；3）在網(wǎng)絡(luò)訓(xùn)練過(guò)程中容易發(fā)生振蕩，導(dǎo)致網(wǎng)絡(luò)無(wú)法收斂；4）網(wǎng)絡(luò)的結(jié)構(gòu)難以確定（包括隱層數(shù)及各隱層節(jié)點(diǎn)數(shù)的確定）；5）在學(xué)習(xí)新樣本時(shí)有遺忘以學(xué)過(guò)樣本的趨勢(shì)，因?yàn)槊枯斎胍粋€(gè)樣本，網(wǎng)絡(luò)的權(quán)值就要修改一次；6）學(xué)習(xí)樣本的數(shù)量和質(zhì)量影響學(xué)習(xí)效果（主要是泛化能力）和學(xué)習(xí)速度。BP算法的改進(jìn)標(biāo)準(zhǔn)的BP算法是基于梯度下降法，通過(guò)計(jì)算目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值和閾

10、值進(jìn)行修正的。改進(jìn)算法一種是在標(biāo)準(zhǔn)梯度下降法的基礎(chǔ)上，只用到目標(biāo)函數(shù)對(duì)權(quán)值和閾值的一階導(dǎo)數(shù)(梯度)信息。4.1附加動(dòng)量項(xiàng)法它的實(shí)質(zhì)就是改變學(xué)習(xí)率耳來(lái)提高網(wǎng)絡(luò)性能，其網(wǎng)絡(luò)連接權(quán)的迭代關(guān)系式由傳統(tǒng)BP算法lw(t+1)=1wL,n0ijijdlWij變成iw(t+1)=iw(t)_qE+qw(t)-w(t-1)jjdiwjjij其中a為動(dòng)量因子，01。動(dòng)量項(xiàng)aw(t)-w(t-1)的作用在于記憶上一時(shí)刻的連接權(quán)的ijij變化方向(即變化量的值)，這樣就可以用較大的學(xué)習(xí)速率系數(shù)耳以提高學(xué)習(xí)速度。附加動(dòng)量項(xiàng)利用其“慣性效應(yīng)”來(lái)抑制網(wǎng)絡(luò)訓(xùn)練中可能出現(xiàn)的振蕩，起到了緩沖平滑的作用。此外，附加動(dòng)量項(xiàng)還有利于

11、脫離平坦區(qū)。自適應(yīng)學(xué)習(xí)率法該方法被認(rèn)為是一種最簡(jiǎn)單最有效的方法。在BP算法中，連接權(quán)的調(diào)整決定于學(xué)習(xí)速率和梯度，但是，在基本BP算法中，學(xué)習(xí)速率是不變的。實(shí)際上學(xué)習(xí)速率對(duì)收斂速度的影響也很大，通過(guò)對(duì)它的在線調(diào)整，可以大大提高收斂速度。學(xué)習(xí)速率的調(diào)整原則上是使它在每一步保持盡可能大的值，而又不致使學(xué)習(xí)過(guò)程失去穩(wěn)定性。學(xué)習(xí)速率可以根據(jù)誤差變化的信息和誤差函數(shù)對(duì)連接權(quán)梯度變化的信息進(jìn)行啟發(fā)式調(diào)整，也可以根據(jù)誤差函數(shù)對(duì)學(xué)習(xí)速率的梯度直接進(jìn)行調(diào)整。對(duì)于批處理可以根據(jù)總誤差變化的信息進(jìn)行啟發(fā)式調(diào)整，其規(guī)則是：E1）若總誤差Eall減小，則學(xué)習(xí)率增加。E2）若總誤差Eall增加，則學(xué)習(xí)率減小。當(dāng)新誤差與老誤

12、差之比超過(guò)一定值，則學(xué)習(xí)率快速下降。上述規(guī)則可用如下迭代方程來(lái)描述kEallw(n-1)waa(n-1),ifEw(n)allL-ba(n-1),ifEw(n)alla(n-1),else輸入輸出數(shù)據(jù)歸一化各輸入數(shù)據(jù)往往具有不同的物理含義和量綱，取值范圍差異可能較大，歸一化將避免取值較小的輸入分量的作用被淹沒(méi)；對(duì)于S型轉(zhuǎn)移函數(shù)，歸一化可防止因神經(jīng)元凈輸入過(guò)大而使其輸出飽和，避免進(jìn)入誤差曲面平坦區(qū)；對(duì)輸出進(jìn)行歸一化，可使各神經(jīng)元輸出在誤差指標(biāo)中具有等量的作用。利用遺傳算法優(yōu)化遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)主要包括三方面：網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、權(quán)值優(yōu)化、學(xué)習(xí)規(guī)則優(yōu)化，這里主要討論的是權(quán)值優(yōu)化。首先，用遺傳算法對(duì)初始

13、權(quán)值分布進(jìn)行優(yōu)化，在解空間中找出一個(gè)較好的搜索空間；然后，再用BP算法在這個(gè)較小的解空間中搜索出最優(yōu)解。用改進(jìn)的遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值，能夠更好地防止搜索陷入局部極小值。遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的主要步驟如圖基于MATLAB的建模仿真MATLAB中的神經(jīng)網(wǎng)絡(luò)工具箱由許多子程序組成，這些子程序已完成了神經(jīng)網(wǎng)絡(luò)算法中所涉及的許多運(yùn)算和操作，使用者根據(jù)需要調(diào)用相關(guān)函數(shù)即可。對(duì)于一個(gè)實(shí)際問(wèn)題，選用哪種BP算法很難判斷，它取決于很多因素，包括問(wèn)題的復(fù)雜程度、學(xué)習(xí)樣本的多少、隱層的節(jié)點(diǎn)數(shù)目、誤差目標(biāo)等。例：創(chuàng)建一個(gè)含一個(gè)隱層（含3個(gè)神經(jīng)元）的單輸出BP神經(jīng)網(wǎng)絡(luò)，采用各種不同的算法訓(xùn)練該網(wǎng)絡(luò)，并對(duì)一位整數(shù)

14、奇偶性判別問(wèn)題進(jìn)行測(cè)試。訓(xùn)練樣本為p=0123456789，t=0101010101。選取的BP網(wǎng)絡(luò)有10個(gè)輸入層神經(jīng)元，4個(gè)隱含層神經(jīng)元，1個(gè)輸出層神經(jīng)元。以p作為網(wǎng)絡(luò)輸入，t作為網(wǎng)絡(luò)輸出，并對(duì)網(wǎng)絡(luò)進(jìn)行初始化。通過(guò)大量的仿真試驗(yàn)，分別對(duì)基本BP算法、附加動(dòng)量項(xiàng)法、自適應(yīng)學(xué)習(xí)率法對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)大量的仿真實(shí)驗(yàn)，得到網(wǎng)絡(luò)訓(xùn)練的誤差曲線如圖5-1圖5-3所示。gmecloCDnmBLIcl圖5-1基本BP算法的訓(xùn)練誤差曲線圖5-2附加動(dòng)量項(xiàng)法的訓(xùn)練誤差曲線Mcle-8ecloan-gHUC21圖5-3自適應(yīng)學(xué)習(xí)率法的訓(xùn)練誤差曲線MDEmECIoanmuE-E-ll從圖中可以看出，采用附加動(dòng)量之后，其所加入的動(dòng)量項(xiàng)實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程的震蕩趨勢(shì)，從而改變了收斂性，因此它經(jīng)過(guò)3633次學(xué)習(xí)后訓(xùn)練結(jié)束，網(wǎng)絡(luò)訓(xùn)練步數(shù)減少，訓(xùn)練速度加快，而誤差的收斂速度也加快了很多；圖5-3的自適應(yīng)學(xué)習(xí)率法具有較快的收斂速度，經(jīng)過(guò)202次學(xué)習(xí)后即停止訓(xùn)練，比普通的訓(xùn)練算法快10倍以上。結(jié)束語(yǔ)本文以神經(jīng)網(wǎng)絡(luò)中目前應(yīng)用最廣、最具代表性的BP神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，分析了其基本特征和缺陷，探討了優(yōu)化改進(jìn)思路，并用MATLAB進(jìn)行了仿真驗(yàn)證。BP神經(jīng)網(wǎng)絡(luò)能同時(shí)描述多個(gè)控制或預(yù)測(cè)量的非線性系統(tǒng)。其多種改進(jìn)算法適用于不同網(wǎng)絡(luò)結(jié)構(gòu)，適用于關(guān)系復(fù)雜的多元非線性系