神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

1、BP神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用數(shù)學(xué)建模工作室數(shù)學(xué)建模工作室房恩岳房恩岳2012.11.07Contents神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例應(yīng)用實(shí)例在在matlab中的實(shí)現(xiàn)中的實(shí)現(xiàn)BP 網(wǎng)絡(luò)模型改進(jìn)網(wǎng)絡(luò)模型改進(jìn)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介什么是神經(jīng)網(wǎng)絡(luò)？人類的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)（NNs）它是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí) 構(gòu)成：大量簡(jiǎn)單的基本元件神經(jīng)元相互連接 工作原理：模擬生物的神經(jīng)處理信息的方式 功能：進(jìn)行信息的并行

2、處理和非線性轉(zhuǎn)化特點(diǎn)：比較輕松地實(shí)現(xiàn)非線性映射過(guò)程 具有大規(guī)模的計(jì)算能力神經(jīng)網(wǎng)絡(luò)的本質(zhì)n神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是利用計(jì)算機(jī)語(yǔ)言模擬人類大腦做決定的過(guò)程做決定距離味道價(jià)格生物神經(jīng)元結(jié)構(gòu)：樹突細(xì)胞核細(xì)胞體軸突突觸神經(jīng)末梢那怎樣用機(jī)器語(yǔ)言來(lái)模擬呢？神經(jīng)元結(jié)構(gòu)模型x1x2xjx3xniyiijxj為輸入信號(hào)， 為閾值閾值， 表示與神經(jīng)元 xj 連接的權(quán)值 yi表示輸出值iijijjx判斷 是否大于閥值i什么是閥值？n臨界值。比如有一頭驢，往它身上壓稻草，一根一根地壓，當(dāng)壓到N根時(shí)，還沒有被壓倒，又壓了一根，倒了，這時(shí)所有壓在驢身上的稻草的多少，就是壓倒這頭驢的閾值。神經(jīng)網(wǎng)絡(luò)是模仿大腦的神經(jīng)元，當(dāng)外界刺激達(dá)到

3、一定的閥值時(shí)，神經(jīng)元才會(huì)受刺激，影響下一個(gè)神經(jīng)元。判斷 是否大于閥值i若 大于閥值 ，則此神經(jīng)元接受此信息，輸出若 小于閥值 ，則此神經(jīng)元不接受此信息的傳遞niijjx1ii)(1piijjiwxfyniijjx1niijjx1系統(tǒng)本身/黑盒子知道不知道y=x2機(jī)場(chǎng)輸入：x輸出：y幾種代表性的網(wǎng)絡(luò)模型n單層前向神經(jīng)網(wǎng)絡(luò)線性網(wǎng)絡(luò)n階躍網(wǎng)絡(luò)n多層前向神經(jīng)網(wǎng)絡(luò)(反推學(xué)習(xí)規(guī)則即BP神經(jīng)網(wǎng)絡(luò))nElman網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、雙向聯(lián)想記憶網(wǎng)絡(luò)、自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)等等神經(jīng)網(wǎng)絡(luò)能干什么？ 運(yùn)用這些網(wǎng)絡(luò)模型可實(shí)現(xiàn)函數(shù)逼近、數(shù)據(jù)聚類、模式分類、優(yōu)化計(jì)算等功能 。因此,神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于人工智能、自動(dòng)控制、機(jī)器

4、人、統(tǒng)計(jì)學(xué)等領(lǐng)域的信息處理中。雖然神經(jīng)網(wǎng)絡(luò)的應(yīng)用很廣,但是在具體的使用過(guò)程中到底應(yīng)當(dāng)選擇哪種網(wǎng)絡(luò)結(jié)構(gòu)比較合適是值得考慮的。這就需要我們對(duì)各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有一個(gè)較全面的認(rèn)識(shí)應(yīng)用范圍醫(yī)學(xué)：疾病識(shí)別圖像：識(shí)別、去噪、增強(qiáng)、配準(zhǔn)、融合金融：股票和有價(jià)證券的預(yù)測(cè)分析、資本收益的預(yù)測(cè)和分析、風(fēng)險(xiǎn)管理、信用評(píng)估等等神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)BP(Back-Propagation)神經(jīng)網(wǎng)絡(luò)BP 神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)

5、整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input)隱層(hide layer)和輸出層(output layer)BP神經(jīng)網(wǎng)絡(luò)特點(diǎn)：多層前饋神經(jīng)網(wǎng)絡(luò)，信號(hào)向前傳播，誤差向后誤差向后傳播傳播。結(jié)構(gòu)：輸入層輸出層中間層ijk輸入層輸出層中間層ijkjikjix中間層：輸入輸出pijiijxu1)(jjufv 輸入層輸出層中間層ijkjikjix輸出層:輸入輸出njkjjkvU1)(kkUfV 傳遞函數(shù)閾值型線性型S型0ix0ix2xxi1xxi21xxxi01)(xf01)(baxxfii2)(11)(cxiiexf傳遞函數(shù)(激活函數(shù))logsig(S型函

6、數(shù))：nexf11)(MATLAB按此函數(shù)計(jì)算：調(diào)用格式：A=logsig(N)如：n=-10:0.1:10 ；a=logsig(n)plot(n,a) grid on圖形如下：-10-8-6-4-2024681001tansig(雙曲正切S型傳遞函數(shù))：調(diào)用格式：A=tansig(n)112)(2 nexf如：n=-10:0.1:10 a=tansig(n)plot(n,a) grid on 如右圖所示-10-8-6-4-20246810-1-0.8-0.6-0.4-0.60.81BP神經(jīng)網(wǎng)絡(luò)原理n基本BP算法包括兩個(gè)

7、方面：信號(hào)的前向傳播和誤差的反向傳播。即計(jì)算實(shí)際輸出時(shí)按從輸入到輸出的方向進(jìn)行，而權(quán)值和閾值的修正從輸出到輸入的方向進(jìn)行。利用輸出后的誤差來(lái)估計(jì)輸出層的直接前一層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。 BP神經(jīng)網(wǎng)絡(luò)工作原理誤差向后傳播輸入層輸出層隱含層BP神經(jīng)網(wǎng)絡(luò)工作流程1.網(wǎng)絡(luò)初始化：根據(jù)訓(xùn)練數(shù)據(jù)確定網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)n，隱含神經(jīng)元數(shù)l，輸出神經(jīng)元數(shù)m，初始化各層神經(jīng)元之間的連接權(quán)值 和 ，初始化隱含層和輸出層的閾值 a和b，給定學(xué)習(xí)速率和神經(jīng)元傳遞函數(shù)。2.隱含層輸出計(jì)算 ：根據(jù)輸入向量X，輸入層和隱含層連接權(quán)值 以及隱含層閾值a，

8、計(jì)算隱含層輸出H wijwjkwij3.輸出層輸出計(jì)算。根據(jù)隱含層輸出的H,連接權(quán)值 和閾值b,計(jì)算BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出O.4.誤差計(jì)算根據(jù)預(yù)測(cè)輸出O和期望輸出Y計(jì)算網(wǎng)絡(luò)預(yù)測(cè)誤差e5.權(quán)值更新根據(jù)網(wǎng)絡(luò)誤差更新網(wǎng)絡(luò)權(quán)值 ，6.閾值更新，根據(jù)網(wǎng)絡(luò)誤差網(wǎng)絡(luò)e，神經(jīng)元閾值a，b7.判斷算法迭代是否結(jié)束，若沒有結(jié)束返回步驟2wijwijwjkn正向傳播：輸入樣本輸入層各隱層輸出層n判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符n誤差反傳n誤差以某種形式在各層表示修正各層單元的權(quán)值n網(wǎng)絡(luò)輸出的誤差減少到可接受的程度n進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過(guò)程B

9、P標(biāo)準(zhǔn)算法步驟網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元，隱含層有p個(gè)神經(jīng)元，輸出層有q個(gè)神經(jīng)元變量定義輸入向量：隱含層輸入向量：隱含層輸出向量：輸出層輸入向量：輸出層輸出向量：期望輸出向量：12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddodBP標(biāo)準(zhǔn)算法步驟變量定義輸入層與中間層的連接權(quán)值：隱含層與輸出層的連接權(quán)值：隱含層各神經(jīng)元的閾值：輸出層各神經(jīng)元的閾值：樣本數(shù)據(jù)個(gè)數(shù)：激活函數(shù)：誤差函數(shù)：ihwhowhbob1,2,kmf( ) 211( )( )2qoooedkyo kBP標(biāo)準(zhǔn)算法步驟1. 網(wǎng)絡(luò)初始化網(wǎng)絡(luò)初始化 給各連接權(quán)

10、值分別賦一個(gè)區(qū)間（給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)差函數(shù)e，給定計(jì)算精度值，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)和最大學(xué)習(xí)次數(shù)M。2. 隨機(jī)選取一個(gè)輸入樣本及對(duì)應(yīng)期望輸出隨機(jī)選取一個(gè)輸入樣本及對(duì)應(yīng)期望輸出 )(,),(),()(21kxkxkxkxn)(,),(),()(21kdkdkdkdqoBP標(biāo)準(zhǔn)算法步驟3.計(jì)算隱含層和輸出層各神經(jīng)元的輸入和輸出計(jì)算隱含層和輸出層各神經(jīng)元的輸入和輸出( )f( )1,2,ooyo kyi koq1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )

11、1,2,pohohohyi kw ho kboqBP標(biāo)準(zhǔn)算法步驟4.利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。 ( )( )( )phohoohhhohow ho kbyi kho kwwohoohoeeyiwyiw211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kkBP標(biāo)準(zhǔn)算法步驟5. 利用隱含層到輸出層的連接權(quán)值、輸出層的輸出和隱含層的輸出，計(jì)利用隱含層到輸出層的連接權(quán)值、輸出

12、層的輸出和隱含層的輸出，計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。 ( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwBP標(biāo)準(zhǔn)算法步驟21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhdkyokehokhikhokhikdkyikhokhokhikdkw hokbhokhokhik11( )( )(

13、)f ( )( )( )f ( )( )qhooohoohqohohhohokdkyokyikwhikk whikk BP標(biāo)準(zhǔn)算法步驟6. 利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來(lái)修正連利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值。接權(quán)值。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k BP標(biāo)準(zhǔn)算法步驟7. 利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。接權(quán)。1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kw

14、hi kwwwk x kBP標(biāo)準(zhǔn)算法步驟 8. 計(jì)算全局誤差計(jì)算全局誤差9. 判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)?；氐降谌剑M(jìn)入下一輪學(xué)習(xí)。 mkqoookykdmE112)()(21梯度下降法)(E0情況一、直觀表達(dá) 當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。who

15、hoewe0，此時(shí)，此時(shí)who0BP標(biāo)準(zhǔn)算法直觀解釋情況二、直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。hoewe0whoBP標(biāo)準(zhǔn)算法直觀解釋應(yīng)用實(shí)例n分類識(shí)別n數(shù)據(jù)預(yù)測(cè)n醫(yī)學(xué)診斷蠓蟲的分類識(shí)別思路101或oy102或oy1、觸角長(zhǎng)和翼長(zhǎng)作為輸入信息，分別記x1,x2 目標(biāo)輸出：(1,0) 、(0,1)。 Af類記為 (1,0)，Apf類記為(0,1)。輸出層有兩個(gè)神經(jīng)元oy輸入層輸出層中間層ihohiohix2、通過(guò)已知樣本訓(xùn)練出合適的權(quán)值使輸出為(0,1)或(1,0)。ohhi、3、將待區(qū)分的蠓蟲數(shù)據(jù)輸入網(wǎng)

16、絡(luò)，求值。)(kdohiw權(quán)值求法：向后傳播法理想輸出 Af類(1,0)，Apf類(0,1)記為 則有誤差：使得E(w)最小的 作為所需的權(quán)值qoookykd12)()(21)E(ohw運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)例：現(xiàn)給出一藥品商店一年當(dāng)中12個(gè)月的藥品銷售量（單位：箱）如下： 訓(xùn)練一個(gè)BP網(wǎng)絡(luò)，用當(dāng)前的所有數(shù)據(jù)預(yù)測(cè)下一個(gè)月 的藥品銷售量。 拋開神經(jīng)網(wǎng)絡(luò)，對(duì)于預(yù)測(cè)問(wèn)題我們會(huì)首先想到線性擬合的方法首先我們看一下這些數(shù)據(jù)的離散分布圖0246810121400160018002000220024002600但線性擬合有它的局限性，從圖中可以明顯看出但線性擬合有它的局限性，從圖中可以明顯看出月份與藥品銷量不

17、存在線性關(guān)系，月份與藥品銷量不存在線性關(guān)系，對(duì)于離散程度特別高的數(shù)據(jù)，它們不存在線性關(guān)對(duì)于離散程度特別高的數(shù)據(jù)，它們不存在線性關(guān)系，所以用線性擬合做出來(lái)的誤差會(huì)很大系，所以用線性擬合做出來(lái)的誤差會(huì)很大對(duì)于預(yù)測(cè)問(wèn)題我們還可以用灰色系統(tǒng)、時(shí)間序列來(lái)預(yù)測(cè)思路二思路二n我們用前三個(gè)月的銷售量預(yù)測(cè)下一個(gè)月的銷售量，也就是用1-3月的銷售量預(yù)測(cè)第4個(gè)月的銷售量，用2-4個(gè)月的銷售量預(yù)測(cè)第5個(gè)月的銷售量，如此循環(huán)下去，直到用9-11月預(yù)測(cè)12月份的銷售量。這樣訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)后，就可以用10-12月的數(shù)據(jù)預(yù)測(cè)來(lái)年一月的銷售量。譫妄的診斷譫妄的診斷n譫妄是由于各種原因引起的急性腦器質(zhì)性綜合癥，其特點(diǎn)是急性發(fā)病

18、，意識(shí)水平變化，病程波動(dòng)，定向力、注意力、思維、精神運(yùn)動(dòng)、行為和情感改變。根據(jù)國(guó)外1980年以后的有關(guān)譫妄研究文獻(xiàn)的報(bào)道，譫妄的發(fā)病率為4%25%。目前對(duì)譫妄的發(fā)病機(jī)制還了解不多，診斷的方式常采用多個(gè)指標(biāo)綜合評(píng)價(jià)。如對(duì)老年人譫妄，通常采用檢查表的方式確診，如對(duì)老年人譫妄，通常采用檢查表的方式確診，檢查表檢查表中的中的11個(gè)項(xiàng)目個(gè)項(xiàng)目包含：包含：急性起?。翰∪说木駹顩r有急性變化的證據(jù)嗎？急性起?。翰∪说木駹顩r有急性變化的證據(jù)嗎？注意障礙：患者的注意力難以集中嗎？注意障礙：患者的注意力難以集中嗎？思維混亂：患者的思維是凌亂或是不連貫嗎？思維混亂：患者的思維是凌亂或是不連貫嗎？意識(shí)水平的改變：總

19、體上看，您如何評(píng)價(jià)該患者的意識(shí)水平？意識(shí)水平的改變：總體上看，您如何評(píng)價(jià)該患者的意識(shí)水平？定向障礙：在會(huì)面的任何時(shí)間患者存在定向障礙嗎？定向障礙：在會(huì)面的任何時(shí)間患者存在定向障礙嗎？記憶力減退：在面談時(shí)患者表現(xiàn)出記憶方面的問(wèn)題嗎？記憶力減退：在面談時(shí)患者表現(xiàn)出記憶方面的問(wèn)題嗎？知覺障礙：患者有知覺障礙的證據(jù)嗎？知覺障礙：患者有知覺障礙的證據(jù)嗎？精神運(yùn)動(dòng)性興奮：面談時(shí)患者的行為活動(dòng)有不正常的增加嗎？精神運(yùn)動(dòng)性興奮：面談時(shí)患者的行為活動(dòng)有不正常的增加嗎？精神運(yùn)動(dòng)性遲緩：面談時(shí)患者有運(yùn)動(dòng)行為水平的異常減少嗎？精神運(yùn)動(dòng)性遲緩：面談時(shí)患者有運(yùn)動(dòng)行為水平的異常減少嗎？波動(dòng)性：患者的精神狀況（注意力、思維、

20、定向、記憶力）在面波動(dòng)性：患者的精神狀況（注意力、思維、定向、記憶力）在面談前或者在面談中有波動(dòng)嗎？談前或者在面談中有波動(dòng)嗎？睡眠睡眠-覺醒周期的改變：患者有睡眠覺醒周期的改變：患者有睡眠-覺醒周期紊亂的證據(jù)嗎？覺醒周期紊亂的證據(jù)嗎？譫妄的診斷譫妄的診斷針對(duì)以上11個(gè)問(wèn)題，醫(yī)生對(duì)病人進(jìn)行觀察和提問(wèn)，每項(xiàng)分4個(gè)等級(jí)打分：不存在1分；輕度存在2分；中度存在3分；嚴(yán)重存在4分。 數(shù)據(jù)為一個(gè)醫(yī)生對(duì)96名測(cè)試人員的觀察和提問(wèn)，并通過(guò)計(jì)分方式記錄下來(lái)的直觀診斷。診斷標(biāo)準(zhǔn)為：22分以上可診斷為譫妄，在量表診斷一列中記為Y（否則記為N）。這樣的標(biāo)準(zhǔn)是否合理？譫妄的診斷譫妄的診斷譫妄的診斷譫妄的診斷實(shí)際上已經(jīng)知

21、道，前48個(gè)數(shù)據(jù)來(lái)自臨床診斷的病人，后48個(gè)數(shù)據(jù)來(lái)自正常人?？梢钥闯?，量表診斷一共出了10例誤診病例，占測(cè)試人員的10.4%，這是一個(gè)比較高的錯(cuò)誤率?，F(xiàn)在有神經(jīng)網(wǎng)絡(luò)解決這個(gè)問(wèn)題。該如果解決？譫妄的診斷譫妄的診斷思路思路1. 將表中140號(hào)數(shù)據(jù)和5996號(hào)數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)，4158號(hào)數(shù)據(jù)作為檢驗(yàn)數(shù)據(jù)。2. 選用較為簡(jiǎn)單的2層且隱含層有4個(gè)神經(jīng)元的BP算法神經(jīng)網(wǎng)絡(luò)。在Matlab中的實(shí)現(xiàn) newff 創(chuàng)建一個(gè)BP網(wǎng)絡(luò)，其調(diào)用格式為：net=newffnet=newff(PR,S1 S2 SN1,TF1 TF2TFN1,BTF,BLF,PF)其中，net=newff ：用于在對(duì)話框中創(chuàng)建一個(gè)BP網(wǎng)絡(luò)

22、PR ：由每組輸入(共有R組輸入)元素的最大值和最小值組成的R2維的矩陣；Si ：第i層神經(jīng)元的個(gè)數(shù)，共計(jì)N1層TFi：第i層的傳遞函數(shù)，默認(rèn)為“tansig”BTF：BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為“trainlm”;BLF：權(quán)值和閾值的BP學(xué)習(xí)算法，默認(rèn)為“l(fā)earngdm”PF：網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為“mse”train 用于對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。調(diào)用格式為：net,tr,Y,E,Pf,Af=train(NET,P,T,Pi,Ai)其中，NET：待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)的輸入信號(hào)；T：網(wǎng)絡(luò)的目標(biāo)，默認(rèn)值為0；Pi：初始的輸入延遲，默認(rèn)為0；Ai：初始的層次延遲，默認(rèn)為0；net：函數(shù)返回值，訓(xùn)

23、練后的神經(jīng)網(wǎng)絡(luò)；tr：函數(shù)返回值，訓(xùn)練記錄(包括步數(shù)和性能)；Y：函數(shù)返回值，神經(jīng)網(wǎng)絡(luò)的輸出信號(hào)；E：函數(shù)返回值，神經(jīng)網(wǎng)絡(luò)的誤差；Pf：函數(shù)返回值，最終輸入延遲；Af：函數(shù)返回值，最終層延遲。n常見參數(shù)：net.trainParam.show 顯示中間結(jié)果的周期（25）net.trainParam.lr 整批學(xué)習(xí)中的學(xué)習(xí)效率（0.01）net.trainParam.mc 勢(shì)能學(xué)習(xí)規(guī)則(traingdm)勢(shì)能率（0.9）net.trainParam.epochs 整批學(xué)習(xí)迭代次數(shù)上限（100）net.trainParam.goal 最小二乘目標(biāo)誤差設(shè)定值（0）神經(jīng)網(wǎng)絡(luò)仿真函數(shù)sim 調(diào)用格式為：Y,Pf,Af,E,perf=sim(net,P,Pi,Ai,T)其中，Y：函數(shù)返回值，網(wǎng)絡(luò)輸出；Pf：函數(shù)返回值，最終輸出延遲；Af：函數(shù)返回值，最終的層延遲；E：函數(shù)返回值，網(wǎng)絡(luò)誤差；perf：函數(shù)返回值，網(wǎng)絡(luò)性能；net：待仿真的神經(jīng)網(wǎng)絡(luò)；P：網(wǎng)絡(luò)輸入；Pi：初始輸入延遲，默認(rèn)為0；Ai：初始的層延遲，默認(rèn)為0；T：網(wǎng)絡(luò)目標(biāo)，默