神經(jīng)網(wǎng)絡(luò)ppt課件

1、人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Netwroks -ANN) ;引引 言言 利用機(jī)器模擬人類的智能是長期以來人們認(rèn)識自利用機(jī)器模擬人類的智能是長期以來人們認(rèn)識自然、改造自然和認(rèn)識本身的理想。然、改造自然和認(rèn)識本身的理想。 研討研討ANN目的：目的： 1探求和模擬人的覺得、思想和行為的規(guī)律，探求和模擬人的覺得、思想和行為的規(guī)律，設(shè)計(jì)具有人類智能的計(jì)算機(jī)系統(tǒng)。設(shè)計(jì)具有人類智能的計(jì)算機(jī)系統(tǒng)。 2討論人腦的智能活動，用物化了的智能來討論人腦的智能活動，用物化了的智能來調(diào)查和研討人腦智能的物質(zhì)過程及其規(guī)律。調(diào)查和研討人腦智能的物質(zhì)過程及其規(guī)律。 ;ANN的研討內(nèi)容的研討內(nèi)

2、容1實(shí)際研討：實(shí)際研討：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描畫學(xué)上描畫ANN的動力學(xué)過程，建立相應(yīng)的的動力學(xué)過程，建立相應(yīng)的ANN模模型，在該模型的根底上，對于給定的學(xué)習(xí)樣本，型，在該模型的根底上，對于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)到達(dá)穩(wěn)定形狀，滿足學(xué)習(xí)元間互連權(quán)值，使系統(tǒng)到達(dá)穩(wěn)定形狀，滿足學(xué)習(xí)要求的算法。要求的算法。2實(shí)現(xiàn)技術(shù)的研討：討論利用電子、光學(xué)、生物實(shí)現(xiàn)技術(shù)的研討：討論利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。3運(yùn)用的研討：討論如何運(yùn)

3、用運(yùn)用的研討：討論如何運(yùn)用ANN處理實(shí)踐問題，處理實(shí)踐問題，如方式識別、缺點(diǎn)檢測、智能機(jī)器人等。如方式識別、缺點(diǎn)檢測、智能機(jī)器人等。 ;研討研討ANN方法方法1生理構(gòu)造的模擬：生理構(gòu)造的模擬： 用仿生學(xué)觀念，探求人腦的生理構(gòu)造，把對人腦的微觀構(gòu)造及其智用仿生學(xué)觀念，探求人腦的生理構(gòu)造，把對人腦的微觀構(gòu)造及其智能行為的研討結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)能行為的研討結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Netwroks，簡稱簡稱ANN方法。方法。2宏觀功能的模擬：宏觀功能的模擬： 從人的思想活動和智能行為的心思學(xué)特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來從人的思想活動和智能行為的心思學(xué)特性出發(fā)，利用計(jì)

4、算機(jī)系統(tǒng)來對人腦智能進(jìn)展宏觀功能的模擬，即符號處置方法。對人腦智能進(jìn)展宏觀功能的模擬，即符號處置方法。;ANNANN研討的目的和意義研討的目的和意義(1)(1)經(jīng)過提示物理平面與認(rèn)知平面之間的映射，了經(jīng)過提示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)絡(luò)和相互作用的機(jī)理，從而提示思解它們相互聯(lián)絡(luò)和相互作用的機(jī)理，從而提示思想的本質(zhì)，探求智能的根源。想的本質(zhì)，探求智能的根源。(2)(2)爭取構(gòu)造出盡能夠與人腦具有類似功能的計(jì)算爭取構(gòu)造出盡能夠與人腦具有類似功能的計(jì)算機(jī)，即機(jī)，即ANNANN計(jì)算機(jī)。計(jì)算機(jī)。(3)(3)研討仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在方研討仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在方

5、式識別、組合優(yōu)化和決策判別等方面獲得傳統(tǒng)計(jì)式識別、組合優(yōu)化和決策判別等方面獲得傳統(tǒng)計(jì)算機(jī)所難以到達(dá)的效果。算機(jī)所難以到達(dá)的效果。 ;神經(jīng)網(wǎng)絡(luò)研討的開展神經(jīng)網(wǎng)絡(luò)研討的開展(1)(1)第一次熱潮第一次熱潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美國心思學(xué)家美國心思學(xué)家W.McCullochW.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.PittsW.Pitts在提出了一個簡單的神經(jīng)元模型，即在提出了一個簡單的神經(jīng)元模型，即MPMP模型。模型。19581958年，年，F(xiàn).RosenblattF.Rosenblatt等研制出了感知機(jī)等研制出了感知機(jī)(Perceptron(Pe

6、rceptron。(2)(2)低潮低潮(70-80(70-80年代初年代初):):(3)(3)第二次熱潮第二次熱潮 1982 1982年，美國物理學(xué)家年，美國物理學(xué)家J.J.HopfieldJ.J.Hopfield提出提出HopfieldHopfield模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò). .他他處理問題的方法是一種反復(fù)運(yùn)算的動態(tài)過程處理問題的方法是一種反復(fù)運(yùn)算的動態(tài)過程, ,這是符號這是符號邏輯處置方法所不具備的性質(zhì)邏輯處置方法所不具備的性質(zhì). 1987. 1987年首屆國際年首屆國際ANNANN大大會在圣地亞哥召開，國際會在圣地亞哥召開，國際ANNAN

7、N結(jié)合會成立，興辦了多種結(jié)合會成立，興辦了多種ANNANN國際刊物。國際刊物。19901990年年1212月，北京召開首屆學(xué)術(shù)會議。月，北京召開首屆學(xué)術(shù)會議。;人工神經(jīng)網(wǎng)絡(luò)研討的局限性人工神經(jīng)網(wǎng)絡(luò)研討的局限性1 1ANNANN研討遭到腦科學(xué)研討成果的限制。研討遭到腦科學(xué)研討成果的限制。 2 2ANNANN短少一個完好、成熟的實(shí)際體系。短少一個完好、成熟的實(shí)際體系。3 3ANNANN研討帶有濃重的戰(zhàn)略和閱歷顏色。研討帶有濃重的戰(zhàn)略和閱歷顏色。4 4ANNANN與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 ;人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 什么是人工神經(jīng)網(wǎng)絡(luò)？什么是人工神經(jīng)網(wǎng)絡(luò)？ T.Koh

8、olenT.Koholen的定義：的定義：“人工神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)網(wǎng)絡(luò)是由 具有具有順應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，順應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織可以模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物它的組織可以模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物體所作出的交互反響。體所作出的交互反響。 ;二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò) 圖3 神經(jīng)元的解剖圖; 神經(jīng)元的信息傳送和處置是一種電化學(xué)活動樹突由于電化學(xué)作用接受外界的刺激；經(jīng)過胞體內(nèi)的活動表達(dá)為軸突電位，當(dāng)軸突電位到達(dá)一定的值那么構(gòu)成神經(jīng)脈沖或動作電位；再經(jīng)過軸突末梢傳送給其它的神經(jīng)元從控制論

9、的觀念來看；這一過程可以看作一個多輸入單輸出非線性系統(tǒng)的動態(tài)過程神經(jīng)網(wǎng)絡(luò)研討的兩個方面從生理上、解剖學(xué)上進(jìn)展研討從工程技術(shù)上、算法上進(jìn)展研討;腦神經(jīng)信息活動的特征腦神經(jīng)信息活動的特征(1)(1)巨量并行性。巨量并行性。(2)(2)信息處置和存儲單元結(jié)合在一同。信息處置和存儲單元結(jié)合在一同。 (3) (3) 自組織自學(xué)習(xí)功能。自組織自學(xué)習(xí)功能。 ;神經(jīng)網(wǎng)絡(luò)根本模型神經(jīng)網(wǎng)絡(luò)根本模型細(xì)胞體突觸軸突樹突圖12.2 生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸; 神經(jīng)元的數(shù)學(xué)模型 圖4神經(jīng)元的數(shù)學(xué)模型 ; 其中xx1，xmT 輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：miiixwfy

10、1)( 為閾值，fX是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù) ;例如，假設(shè)記 取激發(fā)函數(shù)為符號函數(shù) miiixwz1.0,0,0, 1)sgn(xxx那么 S型激發(fā)函數(shù)： miiimiiixwxwzfy11,0, 1)(,11)(xexf; 1)(0 xf;或或 注：假設(shè)將閾值看作是一個權(quán)系數(shù)，-1是一個固定的輸入，另有m-1個正常的輸入，那么1式也可表示為： ,)(xxxxeeeexf. 1)(1xfmiiixwfy1)( 1 參數(shù)識別：假設(shè)函數(shù)方式知，那么可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 ;2 2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 眾多神經(jīng)元之間組合構(gòu)成神經(jīng)網(wǎng)絡(luò)，

11、例如以下圖的含有中間層隱層的B-P網(wǎng)絡(luò) ;根本根本BPBP網(wǎng)絡(luò)的拓?fù)錁?gòu)造網(wǎng)絡(luò)的拓?fù)錁?gòu)造b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklc; ANN類型與功能; 普通而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只需當(dāng)常規(guī)方法處理不了或效果不佳時ANN方法才干顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如缺點(diǎn)診斷、特征提取和預(yù)測等問題,ANN往往是最有利的工具。另一方面, ANN對處置大量原始數(shù)

12、據(jù)而不能用規(guī)那么或公式描畫的問題, 表現(xiàn)出極大的靈敏性和自順應(yīng)性。;人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)Artificial Neuron Nets=ANN 例 1981年生物學(xué)家格假設(shè)根W Grogan和維什WWirth發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們丈量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.

13、72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af; 問：假設(shè)抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80); (l.28，1.84)；1.40，2.04問它們應(yīng)分別屬于哪一個種類？ 解法一： 把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個蚊子的翼長和觸角決議了坐標(biāo)平面的一個點(diǎn).其中 6個蚊子屬于 APf類；用黑點(diǎn)“表示；9個蚊子屬 Af類；用小圓圈“。表示 得到的結(jié)果見圖1 圖1飛蠓的觸角長和翼長 ; 思緒：作不斷線將兩類飛蠓分開 例如；取A1.44，2.10和 B(1.10，1.16)，過A B兩點(diǎn)作一條直

14、線： y 1.47x - 0.017 其中X表示觸角長；y表示翼長 分類規(guī)那么：設(shè)一個蚊子的數(shù)據(jù)為x, y 假設(shè)y1.47x - 0.017，那么判別蚊子屬Apf類； 假設(shè)y1.47x - 0.017；那么判別蚊子屬Af類 ; 分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04屬于 Apf類圖2 分類直線圖 ;缺陷：根據(jù)什么原那么確定分類直線？ 假設(shè)取A=(1.46,2.10), B=(1.1,1.6)不變，那么分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬

15、于Af類 哪一分類直線才是正確的呢？ 因此如何來確定這個判別直線是一個值得研討的問題普通地講，應(yīng)該充分利用知的數(shù)據(jù)信息來確定判別直線; 再如，如下的情形曾經(jīng)不能用分類直線的方法： 新思緒：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研討輸入與輸出的關(guān)系。;根本根本BPBP網(wǎng)絡(luò)的拓?fù)錁?gòu)造網(wǎng)絡(luò)的拓?fù)錁?gòu)造b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklc;四、反向傳播算法四、反向傳播算法B-PB-P算法算

16、法 Back propagation algorithm 1簡單網(wǎng)絡(luò)的簡單網(wǎng)絡(luò)的B-P算法算法 算法的目的：根據(jù)實(shí)踐的輸入與輸出數(shù)據(jù)，計(jì)算模型的參數(shù)權(quán)系數(shù)圖6 簡單網(wǎng)絡(luò); 假設(shè)有P個訓(xùn)練樣本，即有P個輸入輸出對 Ip, Tp,p=1,P, 其中 輸入向量為 : TpmppiiI),.,(1目的輸出向量為實(shí)踐上的: TpnppttT),.,(1網(wǎng)絡(luò)輸出向量為 實(shí)際上的 TpnppooO),.,(1;nipipiot12)(minp=1,P 2 記 Delta學(xué)習(xí)規(guī)那么: pipipiotPppjpipjPppipiijiiotw11)(4 ijijijwww 3 ijw表示遞推一次的修正量，那么

17、有稱為學(xué)習(xí)的速率 ;ipm= -1 , wim= (第i個神經(jīng)元的閾值) 5注：由1 式，第i個神經(jīng)元的輸出可表示為mjpjijpiiwfo1)(特別當(dāng)f是線性函數(shù)時 biwaomjpjijpi1)(6;圖7 多層前饋網(wǎng)絡(luò) 2多層前饋網(wǎng)絡(luò) l輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個神經(jīng)元設(shè)網(wǎng)絡(luò) 共有L層；輸出層為第L層；第 k層有Nk個神經(jīng)元假設(shè)：假設(shè)： (2) 設(shè))( iuk表示第k層第i神經(jīng)元所接納的信息 wk(i,j) 表示從第k-1層第j個元到第k層第i個元的權(quán)重， )(iak表第k層第i個元的輸出 ;3設(shè)層與層間的神經(jīng)元都有信息交換否那么，可設(shè)它們之間的權(quán)重為零；但同一層的神經(jīng)元之間無信息傳

18、輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)沒有反向傳播信息 5 表示輸入的第j個分量 )(0ja假設(shè)：假設(shè)： ;在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL7 其中表示第k層第i個元的閾值. ;定理2 對于具有多個隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S 函數(shù)；且目的函數(shù)取 PppEE18 8LNipLppiait

19、E12)()()()(219那么每個訓(xùn)練循環(huán)中按梯度下降時；其權(quán)重迭代公式為),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll 10 表示第-1層第個元對第層第個元輸入的第次迭代時的權(quán)重 ),()(jiwpl其中其中 )()()()()()()()(iufiaitipLpLppL111211)1(1)(1)()(),()()()(lNjplplplplijwjiufi. 11Ll;BP算法 Step1 選定學(xué)習(xí)的數(shù)據(jù),p=1,P, 隨機(jī)確定初始權(quán)矩陣W0Step2 用10式反向修正,直到用完一切學(xué)習(xí)數(shù)據(jù). 用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3 ),(),(),()(

20、1)()1()(jajiwjiwplplplpl,.,1Ll ;五運(yùn)用之例：蚊子的分類五運(yùn)用之例：蚊子的分類 知的兩類蚊子的數(shù)據(jù)如表1： 翼長 觸角長 類別1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目的值目的值0.1 翼長 觸角長 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.8

21、2 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目的t0.1 ; 輸入數(shù)據(jù)有15個，即 , p=1,15; j=1, 2; 對應(yīng)15個輸出。 建模：輸入層，中間層，輸出層，每層的元素應(yīng)取多少個？ 建立神經(jīng)網(wǎng)絡(luò); 規(guī)定目的為： 當(dāng)t(1)=0.9 時表示屬于Apf類，t(2)=0.1表示屬于Af類。 設(shè)兩個權(quán)重系數(shù)矩陣為：)3 ,2()2,2()1 ,2()3 , 1()2, 1()1 , 1(1111111wwwwwwW)3 , 1()2, 1()1 , 1(2222wwwW)()3 ,(jjwii為閾值 其中;分析如下： 為第一層的輸

22、出，同時作為第二層的輸入。)2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa其中， 為閾值， 為鼓勵函數(shù)if1)3(0a假設(shè)令 作為一固定輸入 閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù) jjw)3,(12,1j;3101010101131010101011)(), 2()3()3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 () 1 () 1 , 1 ()

23、1 (jjjajwawawawujajwawawawu那么有： xexf11)(取鼓勵函數(shù)為)()(11iufia= )(exp(111iu2 , 1i那么同樣，取 , 1) 3(1a)3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj;1隨機(jī)給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句： 令p=0詳細(xì)算法如下：詳細(xì)算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2 () 3 () 3 , 2 (

24、) 2 () 2 , 2 () 1 () 1 , 2 () 2 ()(), 1 () 3 () 3 , 1 () 2 () 2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i;, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取取3計(jì)算 xexf11)(由于 所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1 (exp(1/()1 (exp()1 () 1 (uuat4取 或其他正數(shù)，可調(diào)整大

25、小 1 . 0;)()1(1ip(5) 計(jì)算 和 :),()1(1jiWp)()1(1ip222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),() 1(0) 1(1)(1) 1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 計(jì)算 j=1,2,3 ), 1()1(2jWP )() 1 (), 1 (), 1 () 1(1) 1(2)(2) 1(2jajWjWppppj=1,2,3; (6) p=p+1，轉(zhuǎn)2 注：僅計(jì)算一圈p=1，2，15是不夠的，直到當(dāng)各權(quán)重變化很小時停頓，本例中，合計(jì)算了147圈，迭代了2205次。

26、 最后結(jié)果是：2764. 02875. 05787. 05765. 05976. 75921. 51W9829. 34838. 04075. 82W; 即網(wǎng)絡(luò)模型的解為： 2764. 0)2(2875. 0) 1 (5787. 0)2(5765. 0)2(5976. 7) 1 (5921. 5) 1 (001001aauaau)()(11iufia)(exp(111iu2 , 1i=)1 (exp(11) 1 (9829. 3)2(4838. 0) 1 (4075. 8) 1 (22112uaaau;BP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照才干：神經(jīng)網(wǎng)絡(luò)能以恣意精度逼近任何非線性延續(xù)函數(shù)。在建模過程中的許

27、多問題正是具有高度的非線性。并行分布處置方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處置的，這使它具有很強(qiáng)的容錯性和很快的處置速度。自學(xué)習(xí)和自順應(yīng)才干：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化才干，即將這組權(quán)值運(yùn)用于普通情形的才干。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)展。數(shù)據(jù)交融的才干：神經(jīng)網(wǎng)絡(luò)可以同時處置定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)數(shù)值運(yùn)算和人工智能技術(shù)符號處置。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是恣意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描畫方式，不用思索各子系統(tǒng)間的解耦問題。;神經(jīng)網(wǎng)絡(luò)的運(yùn)用神經(jīng)網(wǎng)絡(luò)的運(yùn)用 人工神經(jīng)網(wǎng)絡(luò)以

28、其具有自學(xué)習(xí)、自組織、較好的容錯性和優(yōu)良的非線性逼近才干，遭到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)踐運(yùn)用中，80%90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化方式的網(wǎng)絡(luò)模型簡稱BP網(wǎng)絡(luò)，目前主要運(yùn)用于函數(shù)逼近、方式識別、分類和數(shù)據(jù)緊縮或數(shù)據(jù)發(fā)掘。 ;根本根本BPBP網(wǎng)絡(luò)的拓?fù)錁?gòu)造網(wǎng)絡(luò)的拓?fù)錁?gòu)造klcb1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklcklc;1.樣本數(shù)據(jù)樣本數(shù)據(jù)1.1 搜集和整理分組搜集和整理分組 采用采用

29、BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練學(xué)習(xí)過程使樣本。而且，為監(jiān)控訓(xùn)練學(xué)習(xí)過程使之不發(fā)生之不發(fā)生“過擬合和評價(jià)建立的網(wǎng)絡(luò)模過擬合和評價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化才干，必需將搜集到的數(shù)型的性能和泛化才干，必需將搜集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本10%以以上和測試樣本上和測試樣本10%以上以上3部分。此部分。此外，數(shù)據(jù)分組時還應(yīng)盡能夠思索樣本方式外，數(shù)據(jù)分組時還應(yīng)盡能夠思索樣本方式間的平衡。間的平衡。;1.2 輸入輸入/輸出變量確實(shí)定及其數(shù)據(jù)的預(yù)處置輸出變量確

30、實(shí)定及其數(shù)據(jù)的預(yù)處置 普通地，普通地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量影響因子或自變量數(shù)，普通根據(jù)專業(yè)知識確定。變量影響因子或自變量數(shù)，普通根據(jù)專業(yè)知識確定。假設(shè)輸入變量較多，普通可經(jīng)過主成份分析方法壓減輸假設(shè)輸入變量較多，普通可經(jīng)過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量系統(tǒng)性能目的或因變量，可以統(tǒng)待分析的外生變量系統(tǒng)性能目的或因變量，可以是一個，也可以是多個。

31、普通將一個具有多個輸出的網(wǎng)是一個，也可以是多個。普通將一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓(xùn)練也更方便。訓(xùn)練也更方便。; 由于BP神經(jīng)網(wǎng)絡(luò)的隱層普通采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，普通要求輸入數(shù)據(jù)的值在01之間。因此，要對輸入數(shù)據(jù)進(jìn)展預(yù)處置。普通要求對不同變量分別進(jìn)展預(yù)處置，也可以對類似性質(zhì)的變量進(jìn)展一致的預(yù)處置。假設(shè)輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必需作相應(yīng)的預(yù)處置，否那么，輸出變量也可以不做預(yù)處置。 預(yù)處置的方法有多種多樣，各文獻(xiàn)采

32、用的公式也不盡一樣。但必需留意的是，預(yù)處置的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)展反變換才干得到實(shí)踐值。再者，為保證建立的模型具有一定的外推才干，最好使數(shù)據(jù)預(yù)處置后的值在0.20.8之間。;2.神經(jīng)網(wǎng)絡(luò)拓?fù)錁?gòu)造確實(shí)定神經(jīng)網(wǎng)絡(luò)拓?fù)錁?gòu)造確實(shí)定2.1 隱層數(shù)隱層數(shù) 普通以為，添加隱層數(shù)可以降低網(wǎng)絡(luò)誤差也有文普通以為，添加隱層數(shù)可以降低網(wǎng)絡(luò)誤差也有文獻(xiàn)以為不一定能有效降低，提高精度，但也使網(wǎng)絡(luò)復(fù)獻(xiàn)以為不一定能有效降低，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而添加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)雜化，從而添加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合的過擬合的傾向。傾向。Hornik等早已證明：假設(shè)輸入層和輸出層采用線等早已證明：假設(shè)

33、輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，那么含一個轉(zhuǎn)換函數(shù)，那么含一個隱層的隱層的MLP網(wǎng)絡(luò)可以以恣意精度逼近任何有理函數(shù)。顯網(wǎng)絡(luò)可以以恣意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計(jì)然，這是一個存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時可參考這一網(wǎng)絡(luò)時可參考這一點(diǎn)，應(yīng)優(yōu)先思索點(diǎn)，應(yīng)優(yōu)先思索3層層BP網(wǎng)絡(luò)即有網(wǎng)絡(luò)即有1個隱層。普通地，個隱層。普通地，靠添加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比靠添加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比添加隱層數(shù)更容易實(shí)現(xiàn)。對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，添加隱層數(shù)更容易實(shí)現(xiàn)。對于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)踐上就是一

34、個線性或非線性取決于輸出層采用線性實(shí)踐上就是一個線性或非線性取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式回歸模型。因此，普通以為，或非線性轉(zhuǎn)換函數(shù)型式回歸模型。因此，普通以為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)實(shí)際中再討論之。熟，沒有必要在神經(jīng)網(wǎng)絡(luò)實(shí)際中再討論之。;2.2 隱層節(jié)點(diǎn)數(shù)隱層節(jié)點(diǎn)數(shù) 在在BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時出現(xiàn)時出現(xiàn)“過擬合的直接緣由，但是目前實(shí)

35、際上還沒有過擬合的直接緣由，但是目前實(shí)際上還沒有一種科學(xué)的和普遍確實(shí)定方法。一種科學(xué)的和普遍確實(shí)定方法。 目前多數(shù)文獻(xiàn)中目前多數(shù)文獻(xiàn)中提出確實(shí)定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對訓(xùn)練樣本恣提出確實(shí)定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對訓(xùn)練樣本恣意多的情況，而且多數(shù)是針對最不利的情況，普通工程意多的情況，而且多數(shù)是針對最不利的情況，普通工程實(shí)際中很難滿足，不宜采用?，F(xiàn)實(shí)上，各種計(jì)算公式得實(shí)際中很難滿足，不宜采用?，F(xiàn)實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時相差幾倍甚至上百倍。為盡能夠防到的隱層節(jié)點(diǎn)數(shù)有時相差幾倍甚至上百倍。為盡能夠防止訓(xùn)練時出現(xiàn)止訓(xùn)練時出現(xiàn)“過擬合景象，保證足夠高的網(wǎng)絡(luò)性能過擬合景象，保證足夠高的

36、網(wǎng)絡(luò)性能和泛化才干，確定隱層節(jié)點(diǎn)數(shù)的最根本原那么是：在滿和泛化才干，確定隱層節(jié)點(diǎn)數(shù)的最根本原那么是：在滿足精度要求的前提下取盡能夠緊湊的構(gòu)造，即取盡能夠足精度要求的前提下取盡能夠緊湊的構(gòu)造，即取盡能夠少的隱層節(jié)點(diǎn)數(shù)。研討闡明，隱層節(jié)點(diǎn)數(shù)不僅與輸入少的隱層節(jié)點(diǎn)數(shù)。研討闡明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需處理的問題的復(fù)雜程度和轉(zhuǎn)出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需處理的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等要素有關(guān)。換函數(shù)的型式以及樣本數(shù)據(jù)的特性等要素有關(guān)。; 在確定隱層節(jié)點(diǎn)數(shù)時必需滿足以下條件：隱層節(jié)點(diǎn)數(shù)必需小于N-1其中N為訓(xùn)練樣本數(shù)，否那么，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的

37、特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化才干，也沒有任何適用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)變量數(shù)必需小于N-1。(2) 訓(xùn)練樣本數(shù)必需多于網(wǎng)絡(luò)模型的銜接權(quán)數(shù)，普通為210倍，否那么，樣本必需分成幾部分并采用“輪番訓(xùn)練的方法才能夠得到可靠的神經(jīng)網(wǎng)絡(luò)模型。 ; 總之，假設(shè)隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)能夠根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；假設(shè)隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時間延伸，另一方面，訓(xùn)練容易墮入部分極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時出現(xiàn)“過擬合的內(nèi)在緣由。因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合思索網(wǎng)絡(luò)構(gòu)造復(fù)雜程度和誤差大小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。;3.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練神經(jīng)網(wǎng)

38、絡(luò)的訓(xùn)練3.1 訓(xùn)練訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是經(jīng)過運(yùn)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)的訓(xùn)練就是經(jīng)過運(yùn)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與知的訓(xùn)練樣本輸出值之間網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與知的訓(xùn)練樣本輸出值之間的誤差平方和到達(dá)最小或小于某一期望值。雖然實(shí)際上的誤差平方和到達(dá)最小或小于某一期望值。雖然實(shí)際上早曾經(jīng)證明：具有早曾經(jīng)證明：具有1個隱層采用個隱層采用Sigmoid轉(zhuǎn)換函數(shù)的轉(zhuǎn)換函數(shù)的BP網(wǎng)絡(luò)可實(shí)現(xiàn)對恣意函數(shù)的恣意逼近。但遺憾的是，迄網(wǎng)絡(luò)可實(shí)現(xiàn)對恣意函數(shù)的恣意逼近。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個訓(xùn)練樣今為止還沒有構(gòu)造性結(jié)論，即在給定有限個訓(xùn)練樣本的情況下，如何設(shè)計(jì)一

39、個合理的本的情況下，如何設(shè)計(jì)一個合理的BP網(wǎng)絡(luò)模型并經(jīng)過向網(wǎng)絡(luò)模型并經(jīng)過向所給的有限個樣本的學(xué)習(xí)訓(xùn)練來稱心地逼近樣本所所給的有限個樣本的學(xué)習(xí)訓(xùn)練來稱心地逼近樣本所蘊(yùn)含的規(guī)律函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差到蘊(yùn)含的規(guī)律函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差到達(dá)很小的問題，目前在很大程度上還需求依托閱歷知達(dá)很小的問題，目前在很大程度上還需求依托閱歷知識和設(shè)計(jì)者的閱歷。因此，經(jīng)過訓(xùn)練樣本的學(xué)習(xí)訓(xùn)練識和設(shè)計(jì)者的閱歷。因此，經(jīng)過訓(xùn)練樣本的學(xué)習(xí)訓(xùn)練建立合理的建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過程，在國外被稱為神經(jīng)網(wǎng)絡(luò)模型的過程，在國外被稱為“藝藝術(shù)發(fā)明的過程，是一個復(fù)雜而又非常煩瑣和困難的過術(shù)發(fā)明的過程，是一個復(fù)

40、雜而又非常煩瑣和困難的過程。程。 ; 由于BP網(wǎng)絡(luò)采用誤差反傳算法，其本質(zhì)是一個無約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)構(gòu)造較大時不僅計(jì)算時間長，而且很容易限入部分極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改良BP法、遺傳算法GA和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練(這些方法從原理上講可經(jīng)過調(diào)整某些參數(shù)求得全局極小點(diǎn))，但在運(yùn)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點(diǎn)。這些方法中運(yùn)用最廣的是添加了沖量動量項(xiàng)的改良BP算法。 ;3.2 學(xué)習(xí)率和沖量系數(shù)學(xué)習(xí)率和沖量系數(shù) 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率能學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率能夠使網(wǎng)絡(luò)權(quán)值每一次的修正量

41、過大，甚至?xí)?dǎo)致權(quán)值在修夠使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)那么騰躍而不收斂；正過程中超出某個誤差的極小值呈不規(guī)那么騰躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時間過長，不過能保證收斂于某但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時間過長，不過能保證收斂于某個極小值。所以，普通傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)個極小值。所以，普通傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性穩(wěn)定性，通常在過程的收斂性穩(wěn)定性，通常在0.010.8之間。之間。 添加沖量項(xiàng)的目的是為了防止網(wǎng)絡(luò)訓(xùn)練陷于較淺的添加沖量項(xiàng)的目的是為了防止網(wǎng)絡(luò)訓(xùn)練陷于較淺的部分極小點(diǎn)。實(shí)際上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，部

42、分極小點(diǎn)。實(shí)際上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)踐運(yùn)用中普通取常量。通常在但實(shí)踐運(yùn)用中普通取常量。通常在01之間，而且普通比之間，而且普通比學(xué)習(xí)率要大。學(xué)習(xí)率要大。 ;4 網(wǎng)絡(luò)的初始銜接權(quán)值網(wǎng)絡(luò)的初始銜接權(quán)值 BP算法決議了誤差函數(shù)普通存在很多個部分極算法決議了誤差函數(shù)普通存在很多個部分極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決議了小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決議了BP算法收斂于哪算法收斂于哪個部分極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序建個部分極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序建議采用規(guī)范通用軟件，如議采用規(guī)范通用軟件，如Statsoft公司出品的公司出品的Statistica Neura

43、l Networks軟件和軟件和Matlab 軟件必需可以自在改動軟件必需可以自在改動網(wǎng)絡(luò)初始銜接權(quán)值。由于網(wǎng)絡(luò)初始銜接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，普通轉(zhuǎn)換函數(shù)的特性，普通要求初始權(quán)值分布在要求初始權(quán)值分布在-0.50.5之間比較有效。之間比較有效。;5.網(wǎng)絡(luò)模型的性能和泛化才干網(wǎng)絡(luò)模型的性能和泛化才干 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本義務(wù)是確保訓(xùn)練好的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本義務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化才干推行性，網(wǎng)絡(luò)模型對非訓(xùn)練樣本具有好的泛化才干推行性，即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合

44、才干。從存在性結(jié)論可知，即使每個訓(xùn)訓(xùn)練樣本的擬合才干。從存在性結(jié)論可知，即使每個訓(xùn)練樣本的誤差都很小可以為零，并不意味著建立的練樣本的誤差都很小可以為零，并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣本誤差通常是指均方根誤差樣本誤差通常是指均方根誤差RSME或均方誤差、或均方誤差、AAE或或MAPE等的大小而不給出非訓(xùn)練樣本誤差的大等的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。小是沒有任何意義的。; 要分析建立的網(wǎng)絡(luò)模型對樣本所蘊(yùn)含的規(guī)律的逼近情況才干，即泛化才干，應(yīng)該也必需用非訓(xùn)練樣本本文稱為檢驗(yàn)樣本和測試樣本誤差的

45、大小來表示和評價(jià)，這也是之所以必需將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要緣由之一。判別建立的模型能否已有效逼近樣本所蘊(yùn)含的規(guī)律,最直接和客觀的目的是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本檢驗(yàn)樣本和測試樣本誤差能否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，普通可以為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否那么，假設(shè)相差很多如幾倍、幾十倍甚至上千倍就闡明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，而建立的網(wǎng)絡(luò)模型是對訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯誤反映。; 由于訓(xùn)練樣本的誤差可以到達(dá)很小，因此，用從總樣本中

46、隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度網(wǎng)絡(luò)性能是合理的和可靠的。 值得留意的是，判別網(wǎng)絡(luò)模型泛化才干的好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差能否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。;6.合理網(wǎng)絡(luò)模型確實(shí)定合理網(wǎng)絡(luò)模型確實(shí)定 對同一構(gòu)造的網(wǎng)絡(luò)，由于對同一構(gòu)造的網(wǎng)絡(luò)，由于BP算法存在很多個部算法存在很多個部分極小點(diǎn)，因此，必需經(jīng)過多次通常是幾十次改動網(wǎng)分極小點(diǎn)，因此，必需經(jīng)過多次通常是幾十次改動網(wǎng)絡(luò)初始銜接權(quán)值求得相應(yīng)的極小點(diǎn)，才干經(jīng)過比較這些極絡(luò)初始銜接權(quán)值求得相應(yīng)的極小點(diǎn)，才干經(jīng)過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)小點(diǎn)的網(wǎng)

47、絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)構(gòu)造的最正確網(wǎng)絡(luò)銜接權(quán)值。必需留意的是，神經(jīng)網(wǎng)絡(luò)絡(luò)構(gòu)造的最正確網(wǎng)絡(luò)銜接權(quán)值。必需留意的是，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問題，因此，的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問題，因此，在全局極小點(diǎn)鄰域內(nèi)即使網(wǎng)絡(luò)誤差一樣，各個網(wǎng)絡(luò)銜在全局極小點(diǎn)鄰域內(nèi)即使網(wǎng)絡(luò)誤差一樣，各個網(wǎng)絡(luò)銜接權(quán)值也能夠有較大的差別，這有時也會使各個輸入變量接權(quán)值也能夠有較大的差別，這有時也會使各個輸入變量的重要性發(fā)生變化，但這與具有多個零極小點(diǎn)普通稱為的重要性發(fā)生變化，但這與具有多個零極小點(diǎn)普通稱為多方式景象如訓(xùn)練樣本數(shù)少于銜接權(quán)數(shù)時的情況是多方式景象如訓(xùn)練樣本數(shù)少于

48、銜接權(quán)數(shù)時的情況是截然不同的。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時，總也可截然不同的。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時檢驗(yàn)樣以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時檢驗(yàn)樣本和測試樣本的誤差能夠要大得多；假設(shè)改動網(wǎng)絡(luò)銜接權(quán)本和測試樣本的誤差能夠要大得多；假設(shè)改動網(wǎng)絡(luò)銜接權(quán)初始值，檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會產(chǎn)生很大初始值，檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會產(chǎn)生很大變化，即多方式景象。變化，即多方式景象。; 對于不同的網(wǎng)絡(luò)構(gòu)造，網(wǎng)絡(luò)模型的誤差或性能和泛化才干也不一樣。因此，還必需比較不同網(wǎng)絡(luò)構(gòu)造的模型的優(yōu)劣。普通地，隨著網(wǎng)絡(luò)構(gòu)造的變大，誤差變小

49、。通常，在網(wǎng)絡(luò)構(gòu)造擴(kuò)展隱層節(jié)點(diǎn)數(shù)添加的過程中，網(wǎng)絡(luò)誤差會出現(xiàn)迅速減小然后趨于穩(wěn)定的一個階段，因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后根本穩(wěn)定時的隱層節(jié)點(diǎn)數(shù)。 總之，合理網(wǎng)絡(luò)模型是必需在具有合理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時沒有發(fā)生“過擬合景象、求得全局極小點(diǎn)和同時思索網(wǎng)絡(luò)構(gòu)造復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計(jì)合理BP網(wǎng)絡(luò)模型的過程是一個不斷調(diào)整參數(shù)的過程，也是一個不斷對比結(jié)果的過程，比較復(fù)雜且有時還帶有閱歷性。這個過程并不是有些作者想象的實(shí)踐也是這么做的那樣，隨意套用一個公式確定隱層節(jié)點(diǎn)數(shù)，經(jīng)過一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型這樣建立的模型極有能夠是訓(xùn)練樣本的錯誤反映，沒有任何適用價(jià)值。; 雖然神經(jīng)網(wǎng)絡(luò)的類型

50、很多，建立神經(jīng)網(wǎng)絡(luò)模型時，根據(jù)研討對象的特點(diǎn)，可以思索不同的神經(jīng)網(wǎng)絡(luò)模型。 前饋型BP網(wǎng)絡(luò)即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系，即每一組輸入對應(yīng)一組輸出。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的非線性映射。關(guān)于這類網(wǎng)絡(luò)對非線性的逼近才干，Hornikl等分別利用不同的方法證明了如下一個現(xiàn)實(shí)：僅含有一個隱層的前向網(wǎng)絡(luò)能以恣意精度逼近定義在Rn的一個緊集上的恣意非線性函數(shù)。誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，雖然存在收斂速度慢、部分極值等缺陷，但可經(jīng)過各種改良措施來提高它的收斂速度、抑制部分極值景象，而且具有簡單、易行、計(jì)

51、算量小、并行性強(qiáng)等特點(diǎn)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。;神經(jīng)網(wǎng)絡(luò)模型參數(shù)確實(shí)定： 由于傳統(tǒng)的誤差反傳BP算法較為成熟，且運(yùn)用廣泛，因此努力提高該方法的學(xué)習(xí)速度具有較高的適用價(jià)值。BP算法中有幾個常用的參數(shù)，包括學(xué)習(xí)率，動量因子，外形因子及收斂誤差界值E等。這些參數(shù)對訓(xùn)練速度的影響最為關(guān)鍵。 ;MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的運(yùn)用 在網(wǎng)絡(luò)訓(xùn)練過程中運(yùn)用的是Matlab 7.0 for Windows軟件，對于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以運(yùn)用Neural Networks Toolbox for Matlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常適用有效的科研編程軟件環(huán)境，又是

52、一種進(jìn)展科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序任務(wù)量，有效的提高任務(wù)效率. ;隱層的數(shù)目: 實(shí)際上雖然證明了這類網(wǎng)絡(luò)的逼近才干，對于網(wǎng)絡(luò)構(gòu)造的要求，并沒有給出明確的闡明。因此在運(yùn)用中神經(jīng)網(wǎng)絡(luò)模型的構(gòu)造確定經(jīng)常有人為的客觀性和藝術(shù)性，缺乏一個指點(diǎn)原那么。而網(wǎng)絡(luò)訓(xùn)練與構(gòu)造嚴(yán)密相關(guān)，太大的網(wǎng)絡(luò)構(gòu)造在訓(xùn)練時效率不高，而且還會由于過擬合(overfitting)呵斥網(wǎng)絡(luò)的性能脆弱，泛化才干(generalization ability)下降；太小的網(wǎng)絡(luò)能夠就根本不收斂。中選取隱層數(shù)為1時，BP網(wǎng)絡(luò)不收斂，而中選取隱層數(shù)為2時，BP網(wǎng)絡(luò)訓(xùn)練較好。

53、思索到本研討的特點(diǎn)，結(jié)合不同隱層網(wǎng)絡(luò)構(gòu)造的訓(xùn)練結(jié)果，本文選擇了隱層數(shù)L=2的網(wǎng)絡(luò)構(gòu)造模型。2375 Epochs隱層數(shù)為1節(jié)點(diǎn)數(shù)6 不同隱層數(shù)訓(xùn)練誤差曲線隱層數(shù)為2 節(jié)點(diǎn)數(shù)126; 例: BP神經(jīng)網(wǎng)絡(luò)水處置系統(tǒng)的模擬與預(yù)測等方面獲得了廣泛的運(yùn)用 。光催化臭氧氧化處置自來水工藝神經(jīng)網(wǎng)絡(luò)模型; 樣本實(shí)驗(yàn)號臭氧濃度(mg/L)入口UV254UV254去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12

54、278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.3164.140.06398.1174.460.13597.3184.550.07098.8194.840.12696.9205.030.08798.6;檢驗(yàn)樣本實(shí)驗(yàn)號臭氧濃度(mg/L)入口UV254UV254去除率(%)11.420.086?22.510.071?33.210.107?44.290.096?55.240.65?;隱層神經(jīng)元數(shù)的選擇 隱層神經(jīng)元數(shù)的選擇是一個非常復(fù)雜的問題。由于沒有很好的解析

55、式表示，可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系?，F(xiàn)實(shí)上隱層神經(jīng)元太少不能夠?qū)⒕W(wǎng)絡(luò)訓(xùn)練出來，但太多又使學(xué)習(xí)時間過長，使網(wǎng)絡(luò)不“不強(qiáng)健，泛化才干下降，即不能識別以前沒有直接接納到的樣本，容錯性差。 當(dāng)隱層數(shù)為2010和84時的訓(xùn)練結(jié)果: 隱層數(shù)為2節(jié)點(diǎn)數(shù)84 隱層數(shù)為2節(jié)點(diǎn)數(shù)2010 圖6-2 一樣隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線; 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個；第一隱層12個；第二隱層6個；輸出層1個。 綜合以上研討內(nèi)容，建立光催化臭氧氧化處置自來水工藝神經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。輸入層輸出層隱層圖6-3 BP網(wǎng)絡(luò)模型臭氧濃度入口UV2

56、54UV254去除率;1學(xué)習(xí)率和動量因子 BP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對于權(quán)、閥值的一階導(dǎo)數(shù)信息來指點(diǎn)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率必需小于某一上限，普通取01而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率和動量因子是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提高學(xué)習(xí)速度，應(yīng)采用大的。但太大卻能夠?qū)е略诜€(wěn)定點(diǎn)附近振蕩，乃至不收斂。針對詳細(xì)的網(wǎng)絡(luò)構(gòu)造模型和學(xué)習(xí)樣本，都存在一個最正確的學(xué)習(xí)率門和動量因子，它們的取值范圍普通01之間，視實(shí)踐情況而定。在上述范圍內(nèi)經(jīng)過對不同的和的取值進(jìn)展了調(diào)查，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：0.7，0.9。;2初始權(quán)值的選擇 在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，初始權(quán)、閾值普通是在一個固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。普通文獻(xiàn)以為初始權(quán)值范圍為-11之間，初始權(quán)值的選擇對于部分極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，假設(shè)初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過程一開場就能夠進(jìn)入“假飽和景象，甚至進(jìn)入部分極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因詳細(xì)的網(wǎng)絡(luò)構(gòu)造方式和訓(xùn)練樣本不同而有所差別，普通應(yīng)視實(shí)踐情況而定。本文調(diào)查了不同初始權(quán)、