神經(jīng)網(wǎng)絡(luò)-課件

神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的概念 泛指生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò) 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺、運(yùn)動(dòng)、交感等）所構(gòu)成的錯(cuò)綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(ANN) 由大量簡(jiǎn)單的處理單元廣泛地互相連接而形成地復(fù)雜網(wǎng)絡(luò)系統(tǒng)，以簡(jiǎn)化，抽象，和模擬人腦神經(jīng)網(wǎng)絡(luò)。概述概述神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史初創(chuàng)（1943—1969）1943年，McCulloch和Pitts提出了M-P模型1949年，Hebb提出Hebb學(xué)習(xí)規(guī)則1957年，Rosenblatt提出感知器(perceptrons)1969年，Minsky和Papert發(fā)表“Perceptrons”過渡期（1970—1986）1980年，Kohonen提出自組織映射理論1982年，Hopfield提出離散的Hopfield網(wǎng)絡(luò)模型 1984年，又提出連續(xù)的Hopfield網(wǎng)絡(luò)模型，并用電子線路實(shí)現(xiàn)了該網(wǎng)路的仿真。1986年，Rumelhart等提出BP算法發(fā)展期（1987--）1993年創(chuàng)刊的“IEEETransactiononNeuralNetwork”生物神經(jīng)元 構(gòu)成神經(jīng)系統(tǒng)的基本單元，簡(jiǎn)稱神經(jīng)元。包括細(xì)胞體、樹突、軸突。

神經(jīng)元電鏡圖片軸突樹突突觸細(xì)胞體神經(jīng)末梢組成細(xì)胞體由細(xì)胞核，細(xì)胞質(zhì)，和細(xì)胞膜組成。膜內(nèi)外有電位差，膜外為正，膜內(nèi)為負(fù)。它是神經(jīng)元新陳代謝的中心，用于接收并處理從其它神經(jīng)元傳遞的信息。軸突由細(xì)胞體向外伸出的一條最長(zhǎng)分支，長(zhǎng)度可達(dá)1m。它通過尾部的神經(jīng)末梢向其它神經(jīng)元輸出神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的輸出電纜。樹突除軸突外的其它分支。數(shù)目多，長(zhǎng)度短。它用于接受從其它神經(jīng)元傳來的神經(jīng)沖動(dòng)，相當(dāng)于神經(jīng)元的輸入端。突觸一個(gè)神經(jīng)元的軸突末梢和另外一個(gè)神經(jīng)元的樹突相接觸的地方，相當(dāng)于神經(jīng)元之間的接口部分。大多數(shù)神經(jīng)元有103—104個(gè)突觸。

連接輻射 一個(gè)神經(jīng)元的軸突末梢與許多神經(jīng)元的樹突相連接。聚合 許多神經(jīng)元的軸突末梢與一個(gè)神經(jīng)元的樹突相連接。特性信息以預(yù)知的確定方向傳遞

一個(gè)神經(jīng)元的樹突、細(xì)胞體－軸突－突觸－另一個(gè)神經(jīng)元樹突時(shí)空整合功能對(duì)不同時(shí)間通過同一突觸傳入的信息具有時(shí)間整合功能對(duì)同一時(shí)間通過不同突觸傳入的信息具有空間整合功能工作狀態(tài)興奮狀態(tài)，對(duì)輸入信息整合后使細(xì)胞膜電位升高，當(dāng)高于動(dòng)作電位的閾值時(shí)，產(chǎn)生神經(jīng)沖動(dòng)，并由軸突輸出。抑制狀態(tài)，對(duì)輸入信息整合后使細(xì)胞膜電位降低，當(dāng)?shù)陀趧?dòng)作電位的閾值時(shí)，無神經(jīng)沖動(dòng)產(chǎn)生。結(jié)構(gòu)的可塑性神經(jīng)元之間的柔性連接。脈沖與電位轉(zhuǎn)換功能軸突與普通傳輸線路不同，對(duì)于小于閾值的信號(hào)在傳遞過程中會(huì)被濾除，而對(duì)于大于閾值的則有整形作用。即無論輸入脈沖的幅度與寬度，輸出波形恒定。信息傳遞的時(shí)延性和不應(yīng)期性在兩次輸入之間要有一定的時(shí)間間隔，即時(shí)延；而在此期間內(nèi)不響應(yīng)激勵(lì)，不傳遞信息，稱為不應(yīng)期。

人工神經(jīng)元及其互連結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的基本處理單元－人工神經(jīng)元模擬主要考慮兩個(gè)特性：時(shí)空加權(quán)，閾值作用。其中對(duì)于時(shí)空加權(quán)，模型分為兩類，即考慮時(shí)間特性，不考慮時(shí)間特性。人工神經(jīng)元

M-P模型 最早由心理學(xué)家麥克羅奇（W.McLolloch）和數(shù)理邏輯學(xué)家皮茲（W.Pitts）于1943年提出。

θY輸出eeii興奮型輸入抑制型輸入閾值M-P模型輸入輸出關(guān)系表輸入條件輸出 M-P模型對(duì)抑制型輸入賦予了“否決權(quán)”，只有當(dāng)，且時(shí)，才有y＝1，其它時(shí)候y＝0。一種常見的不考慮時(shí)間特性的模型

θy輸出x1x2…xnwns控制符號(hào)f()－－特性函數(shù)/激發(fā)函數(shù)閾值連接權(quán)值w2w1輸入多輸入單輸出的非線性器件一些典型的特性函數(shù)

閾值型 線性 s型神經(jīng)元的連接

人工神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元廣泛互聯(lián)構(gòu)成的，不同的連接方式構(gòu)成了不同的網(wǎng)絡(luò)模型前向網(wǎng)絡(luò)

神經(jīng)元分層排列(輸入層、隱層和輸出層)。各層之間的神經(jīng)元全互聯(lián)，各層內(nèi)的神經(jīng)元無連接。每一層只接受來自前一層的輸入。從輸出層到輸入層有反饋的網(wǎng)絡(luò)層內(nèi)有互連接的網(wǎng)絡(luò)

同一層的神經(jīng)元可以互相連接.互連網(wǎng)絡(luò)

任意兩個(gè)神經(jīng)元之間可以互相連接。

互連網(wǎng)絡(luò)一直處于動(dòng)態(tài)變化之中，最后到達(dá)某種穩(wěn)定狀態(tài)，也可能進(jìn)入周期振蕩。

人工神經(jīng)網(wǎng)絡(luò)的特征及分類人工神經(jīng)網(wǎng)絡(luò)的特征能較好的模擬人的形象思維具有大規(guī)模并行協(xié)同處理能力具有較強(qiáng)的容錯(cuò)能力和聯(lián)想能力具有較強(qiáng)的學(xué)習(xí)能力大規(guī)模、自組織、自適應(yīng)的非線性動(dòng)力系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的分類根據(jù)拓?fù)浣Y(jié)構(gòu)無反饋網(wǎng)絡(luò)有反饋網(wǎng)絡(luò)根據(jù)學(xué)習(xí)方法有教師的學(xué)習(xí)網(wǎng)絡(luò)無教師的學(xué)習(xí)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)的狀態(tài)靜態(tài)網(wǎng)絡(luò)動(dòng)態(tài)網(wǎng)絡(luò)根據(jù)處理的信息連續(xù)型網(wǎng)絡(luò) 離散型網(wǎng)絡(luò)感知器

羅森勃拉特(Rosenblatt)于1957年提出,把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了工程實(shí)踐。 感知器是只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò),由線性閾值單元組成。1）線性閾值單元

1y=0或-12)單層感知器只有輸入層和輸出層組成，輸入層的每個(gè)處理單元均與輸出層互連，層內(nèi)各神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。學(xué)習(xí)算法:假設(shè)只有一個(gè)輸出y(t)1.給wi(0)(i=1,2……n)及θ賦一個(gè)較小的非0隨機(jī)數(shù)作為初值2.輸入一個(gè)樣例X＝[x1,x2……xn]和期望的輸出d3.計(jì)算網(wǎng)絡(luò)的實(shí)際輸出4.調(diào)整權(quán)值0<η≤1：增益因子，控制調(diào)整速度5.轉(zhuǎn)第二步，直到wi對(duì)一切樣例穩(wěn)定為止3)多層感知器(MLP)在單層感知器的輸入和輸出層之間增加一個(gè)或多個(gè)隱層。可產(chǎn)生復(fù)雜的決策界面和任意的布爾函數(shù)。

前向多層神經(jīng)網(wǎng)絡(luò)也即多層感知器(MLP)，也叫BP網(wǎng)。BP(Back-Propagation)算法，是用于前向多層神經(jīng)網(wǎng)絡(luò)的反傳學(xué)習(xí)算法，是目前應(yīng)用最廣泛且重要的訓(xùn)練前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。前向多層神經(jīng)網(wǎng)絡(luò)前向多層神經(jīng)網(wǎng)絡(luò)BP網(wǎng)除輸入，輸出層外，還有一個(gè)或多個(gè)隱層。各層之間的神經(jīng)元全互連，各層內(nèi)的神經(jīng)元無連接，網(wǎng)絡(luò)無反饋。節(jié)點(diǎn)的特性要求是可微的，通常選S型函數(shù)。

Sigmoid函數(shù)的特點(diǎn)：連續(xù)可微單調(diào)取值在[0,1]B-P算法學(xué)習(xí)的目的：對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)的方法：用一組訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中每一個(gè)樣例都包括輸入及期望的輸出兩部分。應(yīng)用：對(duì)待識(shí)別的樣本進(jìn)行模式識(shí)別。BP算法的具體步驟：從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。由網(wǎng)絡(luò)分別計(jì)算各層節(jié)點(diǎn)的輸出。計(jì)算網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差。從輸出層反向計(jì)算到第—個(gè)隱層，按一定原則向減小誤差方向調(diào)整網(wǎng)絡(luò)的各個(gè)連接權(quán)值－反向傳播。對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)以上步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。在訓(xùn)練時(shí)，需要反向傳播，而一旦訓(xùn)練結(jié)束，求解實(shí)際問題時(shí)，則只需正向傳播。具體算法：1)Oi：節(jié)點(diǎn)i的輸出；netj：節(jié)點(diǎn)j的輸入；wij：從節(jié)點(diǎn)i到節(jié)點(diǎn)j的連接權(quán)值。2)誤差函數(shù)分別表示輸出層上節(jié)點(diǎn)k的期望輸出與實(shí)際輸出

3)連接權(quán)值的修正

wjk(t+1)和wjk(t)分別表示t+1和t時(shí)刻上從節(jié)點(diǎn)j到節(jié)點(diǎn)k的連接權(quán)值，?wjk為修正量。

為了使連接權(quán)值沿著e的梯度變化方向得以改善，網(wǎng)絡(luò)逐漸收斂，取

其中，為增益因子故先計(jì)算最高層（輸出層）上各節(jié)點(diǎn)δ值，再反傳到較低層上，計(jì)算各隱層節(jié)點(diǎn)的δ值。以上學(xué)習(xí)過程是按照樣本p的誤差ep減小最快的方式改變連接權(quán)值，直到獲得滿意的連接權(quán)值的。也可以基于E來完成在權(quán)值空間的梯度搜索。其中P為訓(xùn)練樣本的個(gè)數(shù)此時(shí)，按反向傳播計(jì)算樣本p在各層的連接權(quán)值變化量?pwjk，但并不對(duì)各層神經(jīng)元的連接權(quán)值進(jìn)行修改，而是不斷重復(fù)這一過程，直至完成對(duì)訓(xùn)練樣本集中所有樣本的計(jì)算，并產(chǎn)生這一輪訓(xùn)練的各層連接權(quán)值的改變量?wjk此時(shí)才對(duì)網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值進(jìn)行調(diào)整，若正向傳播后重新計(jì)算的E仍不滿足要求，則開始下一輪權(quán)值修正。2023/6/746感知器模型中神經(jīng)元的變換函數(shù)采用的是符號(hào)函數(shù)，因此輸出的是二值量。它主要用于模式分類。多層前饋網(wǎng)具有相同的結(jié)構(gòu)，只是神經(jīng)元的變換函數(shù)采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。由于連接權(quán)的調(diào)整采用的是反向傳播(BackPropagation)的學(xué)習(xí)算法，因此該網(wǎng)絡(luò)也稱為BP網(wǎng)絡(luò)。在多層前饋網(wǎng)絡(luò)中，第0層為輸入層，第Q層為輸出層，有nQ個(gè)輸出，中間層為隱層。設(shè)第q層(q=0,2,，Q)的神經(jīng)元個(gè)數(shù)為nq，輸入到第q層的第i個(gè)神經(jīng)元的連接權(quán)系統(tǒng)為：2023/6/747網(wǎng)絡(luò)的輸入輸出變化關(guān)系為：

2023/6/7481、標(biāo)準(zhǔn)BP算法設(shè)給定P組輸入輸出樣本：

利用該樣本集首先對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，也即對(duì)網(wǎng)絡(luò)的連接權(quán)系數(shù)進(jìn)行學(xué)習(xí)和調(diào)整，以使該網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系。經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)，對(duì)于不是樣本集中的輸入也能給出合適的輸出。該性質(zhì)稱為泛化(generalization)功能。從函數(shù)擬和的角度，它說明BP網(wǎng)絡(luò)具有插值功能。2023/6/749設(shè)取擬和誤差的代價(jià)函數(shù)為：如何調(diào)整連接權(quán)系數(shù)以使代價(jià)函數(shù)E最小。優(yōu)化計(jì)算的方法很多，比較典型的是采用一階梯度法，即最速下降法。2023/6/750一階梯度法尋優(yōu)的關(guān)鍵是計(jì)算優(yōu)化目標(biāo)函數(shù)(即本問題中的誤差代價(jià)函數(shù))E對(duì)尋優(yōu)參數(shù)的一階導(dǎo)數(shù)。對(duì)于第Q層有：

表示用第p組輸入樣本所算得的結(jié)果。

2023/6/751對(duì)于第Q－1層有：

顯然，它是反向遞推計(jì)算的公式2023/6/752然后再由上式遞推計(jì)算出

依次類推，可繼續(xù)反向遞推計(jì)算出

和(q=Q－2，，1)的表達(dá)式中包含了導(dǎo)數(shù)項(xiàng)

假定f(·）為S形函數(shù)即首先計(jì)算出2023/6/753最后可歸納出BP網(wǎng)絡(luò)的學(xué)習(xí)算法如下：

2023/6/7542023/6/755由于該算法式反向遞推(BackPropagation)計(jì)算出的，因而通常稱該多層前饋網(wǎng)絡(luò)為BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)實(shí)質(zhì)上是對(duì)任意非線性映射關(guān)系的一種逼近，由于采用的是全局逼近的方法，因而BP網(wǎng)絡(luò)具有良好的泛化能力。真正的梯度下降是沿著梯度確定的方向以無窮小步長(zhǎng)進(jìn)行的。很明顯，這是不切實(shí)際的，因此定義學(xué)習(xí)速率，確定了沿梯度方向的一個(gè)有限步長(zhǎng)。這里是常數(shù)，它相當(dāng)于確定步長(zhǎng)的增益。其中心思想就是選擇足夠大的，使得網(wǎng)絡(luò)迅速收斂，而不會(huì)因調(diào)整過渡而振蕩。2023/6/7562、BP網(wǎng)絡(luò)的主要優(yōu)點(diǎn)

定理：只要隱層神經(jīng)元的個(gè)數(shù)充分多，則隱神經(jīng)元為S形神經(jīng)元而輸出元為線性元的二層網(wǎng)可逼近任何函數(shù)；BP網(wǎng)絡(luò)的學(xué)習(xí)算法屬于全局逼近的方法，因而它具有較好的泛化能力。如果用M個(gè)隱神經(jīng)元的網(wǎng)絡(luò)逼近函數(shù)h(x)，則必然存在一個(gè)殘量誤差，Jones(1990,1992)和Barron(1993)證明了這一誤差以速度O(1/M)隨M的增大而減小。2023/6/757BP網(wǎng)絡(luò)能夠?qū)崿F(xiàn)輸入輸出的非線性映射關(guān)系，但它并不依賴于模型。其輸入與輸出之間的關(guān)聯(lián)信息分布地存儲(chǔ)于連接權(quán)中。由于連接權(quán)的個(gè)數(shù)很多，個(gè)別神經(jīng)元的損壞只對(duì)輸入輸出關(guān)系有較小的影響，因此BP網(wǎng)絡(luò)顯示了較好的容錯(cuò)性。BP網(wǎng)絡(luò)由于其很好的逼近非線性映射的能力，因而它可應(yīng)用于信息處理、圖象識(shí)別、模型辨識(shí)、系統(tǒng)控制等多個(gè)方面。對(duì)于控制方面的應(yīng)用，其很好的逼近特性和泛化能力是一個(gè)很好的性質(zhì)。而收斂速度慢卻是一個(gè)很大的缺點(diǎn)，這一點(diǎn)難以滿足實(shí)時(shí)控制的要求。2023/6/758對(duì)于給定的樣本集，目標(biāo)函數(shù)E是全體連接權(quán)系數(shù)的函數(shù)。因此，要尋優(yōu)的參數(shù)的個(gè)數(shù)比較多，也就是說，目標(biāo)函數(shù)E是關(guān)于連接權(quán)的一個(gè)非常復(fù)雜的超曲面，這就給尋優(yōu)計(jì)算帶來一系列的問題。其中一個(gè)最多的問題是收斂速度慢。由于待尋優(yōu)的參數(shù)太多，必然導(dǎo)致收斂速度慢的缺點(diǎn)。第二個(gè)嚴(yán)重缺陷是局部極值問題，即E的超曲面可能存在多個(gè)極值點(diǎn)。第三是難以確定隱層和隱結(jié)點(diǎn)的個(gè)數(shù)。從原理上，只要有足夠多的隱層和隱結(jié)點(diǎn)，即可實(shí)現(xiàn)復(fù)雜的映射關(guān)系，但是如何根據(jù)特定的問題來具體確定網(wǎng)絡(luò)的結(jié)構(gòu)尚無很好的方法，仍需要憑借經(jīng)驗(yàn)和試湊。按照上面的尋優(yōu)算法，它一般收斂到初值附近的局部極值。3、BP改進(jìn)算法2023/6/759從本質(zhì)上講，BP網(wǎng)絡(luò)的求解訓(xùn)練過程本質(zhì)上是一種非線性優(yōu)化問題，這就不可避免地存在局部極小，在用它解決一些稍微復(fù)雜的問題時(shí)，往往不能保證達(dá)到全局最小，致使學(xué)習(xí)過程失效；當(dāng)誤差變小時(shí)，特別是快接近最小點(diǎn)時(shí)，學(xué)習(xí)收斂緩慢。2023/6/7601、引入動(dòng)量法附加動(dòng)量法使網(wǎng)絡(luò)在修正權(quán)值時(shí)不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響。標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)算法，在修正權(quán)值w(k)時(shí)，只是按k時(shí)刻的負(fù)梯度方向進(jìn)行修正，沒有考慮積累的經(jīng)驗(yàn)，即以前的梯度方向，從而使學(xué)習(xí)過程振蕩，收斂緩慢。改進(jìn)BP算法的措施D(k)為k時(shí)刻的負(fù)梯度，D(k-1)為k-1時(shí)刻的負(fù)梯度。為學(xué)習(xí)率，>0為動(dòng)量項(xiàng)因子，0<1所加入的動(dòng)量項(xiàng)實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢(shì)，改善了收斂性，是一種應(yīng)用比較廣泛的改進(jìn)算法。2023/6/7612、變尺度法標(biāo)準(zhǔn)BP學(xué)習(xí)算法采用的是一階梯度法，因而收斂較慢。若采用二階梯度法，則可以大大提高收斂性。雖然二階梯度法具有較好的收斂性，但是需要計(jì)算E對(duì)w的二階導(dǎo)數(shù)，這個(gè)計(jì)算量很大。所以一般不直接采用二階梯度法，而常常采用變尺度法或共軛梯度法，它們具有如二階梯度法收斂較快的優(yōu)點(diǎn)，又無需直接計(jì)算二階梯度。2023/6/762變尺度算法：2023/6/7633、自適應(yīng)學(xué)習(xí)率調(diào)整法在BP算法中，網(wǎng)絡(luò)權(quán)值的調(diào)整取決于學(xué)習(xí)速率和梯度。自適應(yīng)學(xué)習(xí)率調(diào)整準(zhǔn)則是：檢查權(quán)值的修正是否真正降低了誤差函數(shù)，如果確實(shí)如此，則說明所選的學(xué)習(xí)率小了，可對(duì)其增加一個(gè)量；若還是則說明產(chǎn)生了過調(diào)，那么就應(yīng)減小學(xué)習(xí)速率的值。當(dāng)連續(xù)兩次迭代其梯度方向相同時(shí)，表明下降太慢，這時(shí)可使步長(zhǎng)加倍；當(dāng)連續(xù)兩次迭代其梯度方向相反時(shí)，表明下降過頭，這時(shí)可使步長(zhǎng)減半。2023/6/764四、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練1、產(chǎn)生數(shù)據(jù)樣本集包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預(yù)處理

首先要在大量的原始測(cè)量數(shù)據(jù)中確定出最主要的輸入模式。

在確定了最重要的輸入量后，需進(jìn)行尺度變換和預(yù)處理。尺度變換常常將它們變換到[-1,1]或[0,1]的范圍。在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野點(diǎn)），這些點(diǎn)必須刪除。通過對(duì)數(shù)據(jù)的預(yù)處理分析還可以檢驗(yàn)其是否存在周期性、固定變換趨勢(shì)或其它關(guān)系。對(duì)數(shù)據(jù)的預(yù)處理就是要使得經(jīng)變換后的數(shù)據(jù)對(duì)于神經(jīng)網(wǎng)絡(luò)更容易學(xué)習(xí)和訓(xùn)練。2023/6/765對(duì)于一個(gè)問題應(yīng)該選擇多少數(shù)據(jù)，這也是一個(gè)很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在數(shù)據(jù)樣本中。一般來說，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的結(jié)果便越能正確反映輸入輸出關(guān)系。但選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)練付出的代價(jià)選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實(shí)上數(shù)據(jù)的多數(shù)取決于許多因素，如網(wǎng)絡(luò)的大小、網(wǎng)絡(luò)測(cè)試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)的大小最關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至10倍。2023/6/766最簡(jiǎn)單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩部分，比如其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練。另外三分之一用于將來的測(cè)試。隨機(jī)選取的目的是為了盡量減小這兩部分?jǐn)?shù)據(jù)的相關(guān)性。影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減小所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至覆蓋則勢(shì)必要增加數(shù)據(jù)量。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測(cè)試數(shù)據(jù)來對(duì)網(wǎng)絡(luò)加以檢驗(yàn)，測(cè)試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。2023/6/7672、確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般從已有的網(wǎng)絡(luò)類型中選用一種比較簡(jiǎn)單而又能滿足要求的網(wǎng)絡(luò)，新設(shè)計(jì)一個(gè)網(wǎng)絡(luò)類型來滿足問題的要求往往比較困難。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡(jiǎn)單的感知器網(wǎng)絡(luò)。若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò)在網(wǎng)絡(luò)的類型確定后，要是選擇網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、數(shù)值修改頻度、結(jié)點(diǎn)變換函數(shù)及參數(shù)、學(xué)習(xí)率等參數(shù)。2023/6/768有些項(xiàng)的選擇有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。對(duì)于網(wǎng)絡(luò)層數(shù)的選取：理論上早已證明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)主要可以更進(jìn)一步降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。而誤差精度的提高實(shí)際上也可以通過增加隱含層中的神經(jīng)元數(shù)目來獲得，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整，所以，一般情況下，應(yīng)優(yōu)先考慮增加隱含層中的神經(jīng)元數(shù)。2023/6/769對(duì)于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。具體選擇可采用如下方法：先設(shè)較少的節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測(cè)試網(wǎng)絡(luò)的逼近誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到測(cè)試的誤差不再有明顯的減少為止。隱層節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)的泛化能力有很大的影響。節(jié)點(diǎn)數(shù)太多，傾向于記住所有的訓(xùn)練數(shù)據(jù)，包括噪聲的影響，反而降低了泛化能力；節(jié)點(diǎn)數(shù)太少，不能擬和樣本數(shù)據(jù)，沒有較好的泛化能力。原則：選擇盡量少的節(jié)點(diǎn)數(shù)以實(shí)現(xiàn)盡量好的泛化能力。對(duì)于每層節(jié)點(diǎn)數(shù)的選?。?023/6/770由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時(shí)間的長(zhǎng)短關(guān)系很大。初始權(quán)值的選?。喝绻跏贾堤?，使得加權(quán)后的輸入落到激活函數(shù)的飽和區(qū)，從而導(dǎo)致其導(dǎo)數(shù)非常小，而在計(jì)算權(quán)值的修正公式中，修正量正比與其導(dǎo)數(shù)，從而使調(diào)節(jié)過程幾乎停頓下來。一般總是希望經(jīng)過初始加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近于零，這樣可以保證每個(gè)神經(jīng)元的權(quán)值都能夠在他們的S型激活函數(shù)變化最大之處進(jìn)行調(diào)節(jié)，所以，一般取初始權(quán)值在(-1,1)之間的隨機(jī)數(shù)。2023/6/771學(xué)習(xí)速率的選?。簩W(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定小的學(xué)習(xí)速率會(huì)導(dǎo)致訓(xùn)練較長(zhǎng)，收斂速度很慢。不過能保證網(wǎng)絡(luò)的誤差值不跳出表面的低谷而最終趨于最小誤差值。一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率一般的選取范圍為0.01－0.8和初始權(quán)值的選取過程一樣，在一個(gè)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，網(wǎng)絡(luò)要經(jīng)過幾個(gè)不同的學(xué)習(xí)速率的訓(xùn)練。通過觀察每一次訓(xùn)練后的誤差平方和的下降速率來判斷選定的學(xué)習(xí)速率是否合適。如果下降很快，說明學(xué)習(xí)速率合適。若出現(xiàn)振蕩，則說明學(xué)習(xí)速率過大。對(duì)于較復(fù)雜的網(wǎng)絡(luò)，為了減小尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較合適的方法是采用自適應(yīng)學(xué)習(xí)速率。2023/6/7723、訓(xùn)練和測(cè)試對(duì)所有樣本數(shù)據(jù)正向運(yùn)行一次并反向修改連接權(quán)一次稱為一次訓(xùn)練(或一次學(xué)習(xí))。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成百上千次。并非訓(xùn)練的次數(shù)越多，越能得到正確的輸入輸出的映射關(guān)系。由于所收集的數(shù)據(jù)都是包含噪聲的，訓(xùn)練的次數(shù)過多，網(wǎng)絡(luò)將包含噪聲的數(shù)據(jù)都記錄了下來，在極端情況下，訓(xùn)練后的網(wǎng)絡(luò)可以實(shí)現(xiàn)相當(dāng)于查表的功能。但是對(duì)于新的輸入數(shù)據(jù)卻不能給出合適的輸出，即并不具備很好的泛化能力。訓(xùn)練網(wǎng)絡(luò)的目的在于找出蘊(yùn)含在樣本數(shù)據(jù)中的輸入和輸出之間的本質(zhì)聯(lián)系，從而對(duì)于未經(jīng)訓(xùn)練的輸入也能給出合適的輸出，即局部泛化能力。網(wǎng)絡(luò)的性能主要是用它的泛化能力來衡量，它不是用對(duì)訓(xùn)練數(shù)據(jù)的擬和程度來衡量，而是用一組獨(dú)立的數(shù)據(jù)來加以測(cè)試和檢驗(yàn)。2023/6/773訓(xùn)練次數(shù)均方誤差訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)實(shí)際操作時(shí)應(yīng)該訓(xùn)練和測(cè)試交替進(jìn)行，即每訓(xùn)練一次，同時(shí)用測(cè)試數(shù)據(jù)測(cè)試一遍，畫出均方誤差隨訓(xùn)練次數(shù)的變換曲線在用測(cè)試數(shù)據(jù)檢驗(yàn)時(shí)，均方誤差開始逐漸減小，當(dāng)訓(xùn)練次數(shù)再增加時(shí)，測(cè)試檢驗(yàn)誤差反而增加，誤差曲線上極小點(diǎn)所對(duì)應(yīng)的即為恰當(dāng)?shù)挠?xùn)練次數(shù)，若再訓(xùn)練即為“過渡訓(xùn)練”了。2023/6/774五、BP網(wǎng)絡(luò)應(yīng)用舉例BP網(wǎng)絡(luò)的本質(zhì)功能是通過對(duì)簡(jiǎn)單非線性函數(shù)(S型函數(shù))的數(shù)次復(fù)合來實(shí)現(xiàn)輸入到輸出的高度非線性映射，隱含表達(dá)現(xiàn)實(shí)物理世界存在的及其復(fù)雜的非線性函數(shù)關(guān)系。工程中存在的許多實(shí)際問題，如模式識(shí)別、特征壓縮、圖形處理、預(yù)測(cè)預(yù)報(bào)、控制、決策、函數(shù)擬和等都可歸結(jié)為求解輸入到輸出的高度非線性映射，因而可用BP網(wǎng)絡(luò)有效地求解。下面以水凈化控制決策系統(tǒng)(WCCD)為例說明BP網(wǎng)絡(luò)的應(yīng)用。2023/6/7751、WCCD系統(tǒng)結(jié)構(gòu)

混合池沉淀池過濾池PAC河水混合水已沉淀水清潔水水凈化系統(tǒng)是保障人們生活用水的重要系統(tǒng)，其凈化過程是：先把污濁的河水引到混合儲(chǔ)水池，并投入稱為PAC的化學(xué)制劑及用于消毒的氯；再把混合水引到沉淀池，使水中的污濁成分再PAC的作用下深入水底；沉淀大約35小時(shí)后，把水引到過濾池備用。以上過程可用如圖示意。在水凈化系統(tǒng)中主要的控制問題使確定要投入的PAC的量，以確保處理水的污濁度保持在一定水平之下。2023/6/776此控制問題的主要困難是水凈化過程很難用一個(gè)數(shù)學(xué)模型或物理模型來描述，而且河水的污濁度變換很大(如雨季河水的污濁度可能增大1000倍)，其變換規(guī)律也無法清楚地定義。BP神經(jīng)網(wǎng)絡(luò)WCCDTUB1TUB2TEALPHPAC在水凈化控制系統(tǒng)中，操作員的經(jīng)驗(yàn)成為關(guān)鍵的因素，以操作員的經(jīng)驗(yàn)和大量歷史數(shù)據(jù)為基礎(chǔ)構(gòu)造水凈化控制決策是非常適宜的為此提出一個(gè)基于BP神經(jīng)網(wǎng)絡(luò)的水凈化控制決策系統(tǒng)結(jié)構(gòu)2023/6/777神經(jīng)網(wǎng)絡(luò)的輸出是要投入的PAC的量，輸入是來自過程的反饋?zhàn)兞?，其含義如下：

神經(jīng)網(wǎng)絡(luò)的主要功能是根據(jù)訓(xùn)練樣本確定輸入輸出變量之間存在的復(fù)雜非線性函數(shù)關(guān)系，作出有關(guān)投放PAC量的決策。TUB1：水源的污濁度TUB2：已沉淀水的污濁度TE：水溫PH：水的PH值A(chǔ)L：水中的堿值2023/6/7782、網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)據(jù)規(guī)格化

該網(wǎng)絡(luò)為三層BP網(wǎng)絡(luò)，具有5個(gè)輸入點(diǎn)(對(duì)應(yīng)5個(gè)輸入變量)，1個(gè)輸出節(jié)點(diǎn)(對(duì)應(yīng)系統(tǒng)的1個(gè)輸出變量)。從現(xiàn)場(chǎng)收集到的操作員進(jìn)行PAC投入量決策的部分歷史數(shù)據(jù)如表。這些數(shù)據(jù)可用作網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。由于選擇的輸出函數(shù)為S型函數(shù)，要求其輸入范圍在[0，1]之間的實(shí)數(shù)，而表的數(shù)據(jù)范圍大大超出[0，1]區(qū)間，所以必須把它們規(guī)格化為[0，1]之間的實(shí)數(shù)，再送到數(shù)據(jù)網(wǎng)絡(luò)處理。X，Y分別是變換前后的數(shù)據(jù)，因?yàn)樵摫砻恳涣械臄?shù)據(jù)范圍不同，所以應(yīng)分別進(jìn)行變換。2023/6/77911007.142.019.33.016.012007.042.017.71.535.010007.250.018.01.58.09007.255.018.83.012.011007.040.016.61.020.09007.253.023.64.014.09007.348.023.34.09.014007.140.019.51.050.014007.346.019.42.022.013007.153.018.81.010.0PACPHALTETUB2TUB12023/6/7803、仿真結(jié)果

在仿真試驗(yàn)中，對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，達(dá)到了比較理想的學(xué)習(xí)精度(訓(xùn)練誤差小于0.095)。經(jīng)對(duì)比，訓(xùn)練后的系統(tǒng)作出的關(guān)于PAC投放量的決策輸出與操作員的決策幾乎完全相同。換言之，