神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模競(jìng)賽中的應(yīng)用

1、.wd.wd.wd.第1章 引言1.1 人工神經(jīng)網(wǎng)絡(luò)的介紹人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Networks, ANN，亦稱(chēng)為神經(jīng)網(wǎng)絡(luò)Neural Networks,NN,是由大量的處理單元神經(jīng)元Neurons廣泛互聯(lián)而成的網(wǎng)絡(luò)，是對(duì)大腦的抽象、簡(jiǎn)化和模擬，反映人腦的 基本特性.人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理構(gòu)造出發(fā)來(lái)研究人的智能行為，模擬人腦信息處理的功能.它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程等科學(xué)的一種技術(shù).人工神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)單的處理單元所組成的大量并行分布的處理機(jī)，這種處理機(jī)具有儲(chǔ)存和應(yīng)用經(jīng)念知識(shí)的自然特性，它與人腦的相似之處概括兩個(gè)方面：一是通過(guò)學(xué)習(xí)過(guò)程利

2、用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識(shí)；二是內(nèi)部神經(jīng)元突觸權(quán)值用來(lái)存儲(chǔ)獲取的知識(shí)信息.人工神經(jīng)網(wǎng)絡(luò)具有四個(gè) 基本特征：1非線(xiàn)性 非線(xiàn)性關(guān)系是自然界的普遍特性.大腦的智慧就是一種非線(xiàn)性現(xiàn)象.人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線(xiàn)性關(guān)系.具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量.2非局限性 一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成.一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定.通過(guò)單元之間的大量連接模擬大腦的非局限性.聯(lián)想記憶是非局限性的典型例子.3非常定性 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能

3、力.神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時(shí)，非線(xiàn)性動(dòng)力系統(tǒng)本身也在不斷變化.經(jīng)常采用迭代過(guò)程描寫(xiě)動(dòng)力系統(tǒng)的演化過(guò)程.4非凸性 一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù).例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài).非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性.人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)的熱點(diǎn)研究領(lǐng)域，涉及到電子科學(xué)技術(shù)、信息與通訊工程、計(jì)算機(jī)科學(xué)與技術(shù)、電器工程、控制科學(xué)與技術(shù)等諸多學(xué)科，其應(yīng)用領(lǐng)域包括：建模、時(shí)間序列分析、模式識(shí)別和控制等，并在不斷的拓展.本文正是居于數(shù)學(xué)建模的神經(jīng)網(wǎng)路應(yīng)用.人工神經(jīng)網(wǎng)絡(luò)開(kāi)展歷史 20世

4、紀(jì)40年代中期期，在科學(xué)開(kāi)展史上出現(xiàn)了模擬電子計(jì)算機(jī)和數(shù)字電子計(jì)算機(jī)兩種新的計(jì)算工具和一種描述神經(jīng)網(wǎng)絡(luò)工作的數(shù)學(xué)模型.由于電子技術(shù)(特別是大規(guī)模、超大規(guī)模集成電路)的開(kāi)展，使數(shù)字電子計(jì)算機(jī)作為高科技計(jì)算工具已開(kāi)展到當(dāng)今盛世地步，而人工神經(jīng)網(wǎng)絡(luò)模擬仿真生物神經(jīng)網(wǎng)絡(luò)的探索那么經(jīng)歷了半個(gè)世紀(jì)的曲折開(kāi)展道路.1.2.1興起階段1943年心理學(xué)家WSMcCulloch和數(shù)學(xué)家Pitts首先以數(shù)理邏輯的方法研究用人工神經(jīng)網(wǎng)絡(luò)模擬、仿真和近似生物神經(jīng)網(wǎng)絡(luò)的探索，并提出MP神經(jīng)元模型.1949年D.OHebb從心理學(xué)的角度提出了至今仍對(duì)神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法那么.50年代末到60年代初，神經(jīng)

5、網(wǎng)絡(luò)系統(tǒng)已開(kāi)場(chǎng)作為人工智能的一條途徑而受到人們的重視.1961年ERosenblatt提出了著名的感知機(jī)(Perceptron)模型.這個(gè)模型由簡(jiǎn)單的閥值性神經(jīng)元構(gòu)成，初步具備了諸如學(xué)習(xí)性、并行處理、分布存貯等神經(jīng)網(wǎng)絡(luò)的一些 基本特征，從而確立了從系統(tǒng)角度進(jìn)展人工神經(jīng)網(wǎng)絡(luò)研究的根基. 1962年Widrow提出了主要適用于自適應(yīng)系統(tǒng)的自適應(yīng)線(xiàn)性元件(Adaline)網(wǎng)絡(luò).神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)高潮.1.2.2 蕭條階段在整個(gè)70年代中，對(duì)神經(jīng)網(wǎng)絡(luò)理論的研究進(jìn)展緩慢，原因主要來(lái)自于科技界漫不經(jīng)心的對(duì)待和數(shù)字計(jì)算機(jī)飛速開(kāi)展的沖突，但并沒(méi)有完全停頓下來(lái).世界上一些對(duì)神經(jīng)網(wǎng)絡(luò)抱有堅(jiān)決信心和嚴(yán)肅科學(xué)態(tài)

6、度的學(xué)者們，沒(méi)有放棄他們的努力.在這期間，Grossberg提出了自適應(yīng)共振理論(ART)；芬蘭學(xué)者Kohono提出了自組織映射理論(SOM)；日本的福島邦彥提出了認(rèn)知機(jī)(Cognitron)模型，隨后又提出了改進(jìn)至新認(rèn)知機(jī)(Neocognitron)模型；另一位日本學(xué)者中野馨提出了聯(lián)想記憶模型一聯(lián)想機(jī)(Associatron)；東京大學(xué)的甘利俊一博土那么一直致力于數(shù)學(xué)理論解釋神經(jīng)網(wǎng)絡(luò).70年代末期以來(lái)，復(fù)雜行為系統(tǒng)理論(如耗散構(gòu)造、協(xié)同學(xué)、混噸)的出現(xiàn)，人們認(rèn)識(shí)到人工智能、聯(lián)想記憶學(xué)習(xí)算法、信息優(yōu)化組合處理及杉式識(shí)別的重要性，極大地推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的開(kāi)展.興盛階段進(jìn)入80年代，特別是80年

7、代末期，神經(jīng)網(wǎng)絡(luò)的研究從復(fù)興很快轉(zhuǎn)入了新的熱網(wǎng).主要原因來(lái)自?xún)蓚€(gè)方面：一方面經(jīng)過(guò)十幾年迅速開(kāi)展起來(lái)的以邏輯符號(hào)處理為主的人工智能理論和Von Neumann計(jì)算機(jī)在處理諸如視覺(jué)、聽(tīng)覺(jué)、形象思維、聯(lián)想記憶等智能信息處理問(wèn)題上受到了挫折；另一方面，80年代并行分布處理模式的神經(jīng)網(wǎng)絡(luò)本身的研究成果，使人們看到了新的希望.這一時(shí)期首先要提到的是美國(guó)加州理工學(xué)院的物理學(xué)家Hopfield的開(kāi)拓性工作.1982年他提出了一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)模型，并首次引入了網(wǎng)絡(luò)能量函數(shù)概念，使網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù).尤其是1986年R Mmelhart和McCelland及其研究小組提出的誤差逆

8、傳播學(xué)習(xí)算法，成為至今影響最大的一種網(wǎng)絡(luò)學(xué)習(xí)方法.到90年代以后，人工神經(jīng)網(wǎng)絡(luò)從理論研究到軟件開(kāi)發(fā)、軟件實(shí)現(xiàn)、各個(gè)學(xué)科領(lǐng)域廣泛應(yīng)用與相互滲透等諸多方面取得了全面的開(kāi)展.有關(guān)神經(jīng)網(wǎng)絡(luò)的國(guó)際學(xué)術(shù)組織紛紛成立，學(xué)術(shù)會(huì)議紛紛召開(kāi)，學(xué)術(shù)刊物紛紛創(chuàng)刊.神經(jīng)網(wǎng)絡(luò)理論已涉及到了神經(jīng)生理科學(xué)、認(rèn)識(shí)科學(xué)、數(shù)理科學(xué)、心理學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué)等眾多學(xué)科，是一門(mén)新興的、綜合性的前沿學(xué)科.針對(duì)不同應(yīng)用目的的軟件開(kāi)發(fā)全面展開(kāi)，網(wǎng)絡(luò)計(jì)算機(jī)的硬件實(shí)現(xiàn)方面也取得了一些實(shí)實(shí)在在的成績(jī).神經(jīng)網(wǎng)絡(luò)的應(yīng)用，已滲透到模式識(shí)別、圖像處理、非線(xiàn)性?xún)?yōu)化、語(yǔ)音處理、自然語(yǔ)言理解、自動(dòng)目標(biāo)識(shí)別、機(jī)器人、專(zhuān)家系統(tǒng)等各個(gè)

9、領(lǐng)域，并取得了令人矚目的成果.總之，以Hopfield教授1982年發(fā)表的論文為標(biāo)志，掀起了神經(jīng)網(wǎng)絡(luò)的研究熱潮.1987年6月，在美國(guó)加州舉行了第一屆NN國(guó)際會(huì)議，有一千多名學(xué)者參加，并成立了國(guó)際NN學(xué)會(huì)，以后每年召開(kāi)兩次國(guó)際聯(lián)合NN大會(huì)IJCNN，其他國(guó)際學(xué)術(shù)會(huì)議也都列有NN主題.較有影響的國(guó)際刊物有：?IEEE Transaction on Neural Network?和?Neural Network?.美國(guó)IBM、AT&T、貝爾實(shí)驗(yàn)室、神經(jīng)計(jì)算機(jī)公司、各高校、美國(guó)政府制定了“神經(jīng)、信息、行為科學(xué)NIBS方案，投資5.5億美元作為第六代計(jì)算機(jī)的研究根基；美國(guó)科學(xué)基金會(huì)、海軍研究局和空軍科

10、學(xué)研究部三家投資一千萬(wàn)美元；美國(guó)國(guó)防部DARPA認(rèn)為NN“看來(lái)是解決機(jī)器智能的唯一希望“這是一項(xiàng)比原子彈工程更重要的計(jì)術(shù)投資四億美元.主要研究目標(biāo)：目標(biāo)識(shí)別與追蹤、連續(xù)語(yǔ)音識(shí)別，聲納信號(hào)區(qū)分.日本的富士通、日本電氣、日立、三菱、東芝急起直追.1988年日本提出了所謂的人類(lèi)尖端科學(xué)方案Human Frontier Science Program,即第六代計(jì)算機(jī)研究方案.法國(guó)提出了“尤里卡方案，還有德國(guó)的“歐洲防御和前蘇聯(lián)的“高技術(shù)開(kāi)展等等.我國(guó)于1989年在北京召開(kāi)了一個(gè)非正式的NN會(huì)議；1990年12月在北京召開(kāi)了中國(guó)NN大會(huì)；1991年在南京成立中國(guó)NN學(xué)會(huì)，由國(guó)內(nèi)十五個(gè)一級(jí)學(xué)會(huì)共同發(fā)起“攜

11、手探智能，聯(lián)盟攻大關(guān)的863高技術(shù)研究方案；自然科學(xué)基金、國(guó)防科技預(yù)研究基金也都列入了NN研究?jī)?nèi)容.人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元模型在人類(lèi)大腦皮層中大約有100億個(gè)神經(jīng)元，60萬(wàn)億個(gè)神經(jīng)突觸以及他們的聯(lián)接體.單個(gè)神經(jīng)元處理一個(gè)事件需要秒，而在硅芯片中處理一事件只需秒.但人腦是一個(gè)非常高效的構(gòu)造，大腦中每秒鐘每個(gè)動(dòng)作的能量約為焦耳.神經(jīng)元是 基本的信息處理單元.生物神經(jīng)元主要由樹(shù)突、軸突和突觸組成.其構(gòu)造示意如如圖1-1所示.其中樹(shù)突是由細(xì)胞體向外伸出的，有不規(guī)那么的外表和許多較短的分支.樹(shù)突突觸樹(shù)突軸突神經(jīng)末梢細(xì)胞膜細(xì)胞質(zhì)細(xì)胞核圖1-1 生物神經(jīng)元模型相當(dāng)于信號(hào)的輸入端，用于接收神經(jīng)沖動(dòng).軸突由細(xì)胞

12、體向外伸出的最長(zhǎng)的一條分支，即神經(jīng)纖維.相當(dāng)于信號(hào)的輸出電纜，其端部的許多神經(jīng)末梢為信號(hào)輸出端子，用于傳出神經(jīng)沖動(dòng).神經(jīng)元之間通過(guò)軸突輸出和樹(shù)突輸入相互聯(lián)接，其接口稱(chēng)為突觸.每個(gè)細(xì)胞約有個(gè)突觸.神經(jīng)突觸是調(diào)整神經(jīng)元之間相互作用的 基本構(gòu)造和功能單元，最通常的一種神經(jīng)突觸是化學(xué)神經(jīng)突觸，它將得到的電信號(hào)化成化學(xué)信號(hào)，再將化學(xué)信號(hào)轉(zhuǎn)化成電信號(hào)輸出.這相當(dāng)于雙接口設(shè)備.它能加強(qiáng)興奮或抑制作用，但兩者不能同時(shí)發(fā)生.細(xì)胞膜內(nèi)外有電位差，越位，稱(chēng)為膜電位.膜外為正，莫內(nèi)為負(fù).神經(jīng)元作為信息處理的 基本單元，具有如下重要的功能.可塑性：可塑性反映在新突觸的產(chǎn)生和現(xiàn)有的神經(jīng)突觸的調(diào)整上，可塑性使適應(yīng)周?chē)沫h(huán)境

13、. 2時(shí)空整合功能：時(shí)間整合功能表現(xiàn)在不同時(shí)間、同一突觸上；空間整合功能表現(xiàn)在同一時(shí)間、不同突觸上.3興奮與抑制狀態(tài)：當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果，使細(xì)胞膜電位升高，超過(guò)被稱(chēng)為動(dòng)作電位的閥值約為40mv,細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由突觸輸出；同樣，當(dāng)膜電位低于閥值時(shí)，無(wú)神經(jīng)沖動(dòng)輸出，細(xì)胞進(jìn)入抑制狀態(tài).4脈沖與電位轉(zhuǎn)換：沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼的離散脈沖信號(hào)，而細(xì)胞電位變化為連續(xù)信號(hào).在突觸接口處進(jìn)展“數(shù)/模轉(zhuǎn)換.神經(jīng)元中的軸突非長(zhǎng)和窄，具有電阻高、電壓大的特性，因此軸突可以建模成阻容傳播電路.5突觸的延時(shí)和不應(yīng)期：突觸對(duì)神經(jīng)沖動(dòng)的傳遞具有延時(shí)和不應(yīng)期，在相鄰的二次沖動(dòng)之間需要

14、一個(gè)時(shí)間間隔.在此期間對(duì)鼓勵(lì)不響應(yīng)，不能傳遞神經(jīng)沖動(dòng).6學(xué)習(xí)、遺忘和疲勞：突觸的傳遞作用有學(xué)習(xí)、遺忘和疲勞的過(guò)程.1.3.2 人工神經(jīng)網(wǎng)絡(luò)的模型人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元廣泛互連而成的網(wǎng)絡(luò)，是人腦的抽象、簡(jiǎn)化、模擬，反映人腦的 基本特性.一般神經(jīng)元模型應(yīng)該具備三個(gè)要素：1具有一組突觸或聯(lián)接，常用表示神經(jīng)元和神經(jīng)元之間的聯(lián)系強(qiáng)度，或稱(chēng)之為權(quán)值.與人腦神經(jīng)元不同，人工神經(jīng)元權(quán)值的取值可在負(fù)值與正值之間.2具有反映生物神經(jīng)元時(shí)空整合功能的輸入信號(hào)累加器.3具有鼓勵(lì)函數(shù)用于限制神經(jīng)元輸出.鼓勵(lì)函數(shù)將輸出信號(hào)壓縮限制在一個(gè)允許范圍內(nèi)，使其成為有限值，通常，神經(jīng)元輸出的擴(kuò)大范圍在或閉區(qū)間.一個(gè)典型的人工

15、神經(jīng)元模型如圖1-2所示.圖1-2 人工神經(jīng)元模型其中為神經(jīng)元的輸入信號(hào)，為突觸強(qiáng)度或聯(lián)接權(quán).是由輸入信號(hào)線(xiàn)性組合后的輸出，是神經(jīng)元的凈收入.為神經(jīng)元的閥值或稱(chēng)為偏差用表示，為經(jīng)偏差調(diào)整后的值，也稱(chēng)為神經(jīng)元的局部感應(yīng)區(qū). 1-1 1-2是鼓勵(lì)函數(shù)，是神經(jīng)元的輸出. 1-3 鼓勵(lì)函數(shù)可取不同的函數(shù)，但常用的 基本鼓勵(lì)函數(shù)有以下三種：1閥值函數(shù)Threshold Function 1-4該函數(shù)通常也稱(chēng)為階躍函數(shù)，常用表示，如圖1-3a所示.假設(shè)鼓勵(lì)函數(shù)采用階躍函數(shù)，那么圖1-2所示的人工神經(jīng)元模型即為著名的MPMcCulloch-Pitts模型.此時(shí)神經(jīng)元的輸出取1或0，反映了神經(jīng)元的興奮或抑制.

16、此外，符號(hào)函數(shù)也常常作為神經(jīng)元的鼓勵(lì)函數(shù)，如圖1-3b所示. 1-5圖1-3 a 閥值函數(shù)圖1-3 b 閥值函數(shù)2分段線(xiàn)性函數(shù)Piecewise-Linear Function 1-6該函數(shù)在-1,+1線(xiàn)性區(qū)內(nèi)的放大系數(shù)是一致的，如圖1-4所示，這種形式的鼓勵(lì)函數(shù)可看作是非線(xiàn)性放大器的近似，以下是兩種情況是分段線(xiàn)性函數(shù)的特殊形式：圖1-4 分段線(xiàn)性函數(shù)1假設(shè)在執(zhí)行中保持線(xiàn)性區(qū)域而使其不進(jìn)入飽和狀態(tài)，那么會(huì)產(chǎn)生線(xiàn)性組合器.2假設(shè)線(xiàn)性區(qū)域的放大倍數(shù)無(wú)限大，那么分段線(xiàn)性函數(shù)簡(jiǎn)化為閥值函數(shù).3Sigmoid函數(shù)Sigmoid函數(shù)也稱(chēng)函數(shù).到目前為止，它是人工神經(jīng)網(wǎng)絡(luò)中最常用的鼓勵(lì)函數(shù).型函數(shù)的定義如下

17、： 1-7 其中為Sigmoid函數(shù)的斜率參數(shù)，通過(guò)改變參數(shù)，我們會(huì)獲取不同斜率的Sigmoid函數(shù)，如圖1-5所示.圖1-5 Sigmoid函數(shù)但斜率參數(shù)接近無(wú)窮大時(shí)，此函數(shù)轉(zhuǎn)化為簡(jiǎn)單的閥值函數(shù)，但Sigmoid函數(shù)對(duì)應(yīng)0到1一個(gè)連續(xù)區(qū)域，而閥函數(shù)對(duì)應(yīng)的只是0和1亮點(diǎn)，此外Sigmoid函數(shù)是可微的，而閥值函數(shù)是不可微的.Sigmoid函數(shù)也可用雙曲正切函數(shù)來(lái)表示，如圖1-6所示. 1-8圖1-6 雙曲正切函數(shù)由式1-8定義的Sigmoid類(lèi)型鼓勵(lì)函數(shù)所得到的負(fù)責(zé)具有分析價(jià)值.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)及學(xué)習(xí)規(guī)那么前面介紹人工神經(jīng)元模型，將大量的神經(jīng)元進(jìn)展連接可構(gòu)成人工神經(jīng)網(wǎng)絡(luò).神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的聯(lián)

18、結(jié)方式與用于訓(xùn)練網(wǎng)絡(luò)的學(xué)習(xí)算法是嚴(yán)密結(jié)合的，可以認(rèn)為應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的學(xué)習(xí)算法是被構(gòu)造化了的.人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)本文將網(wǎng)絡(luò)構(gòu)造和學(xué)習(xí)算法相結(jié)合，對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)展分類(lèi).單層前向網(wǎng)絡(luò)所謂單層前向網(wǎng)絡(luò)是指擁有的計(jì)算節(jié)點(diǎn)神經(jīng)元是“單層的，如圖1-7所示.這里原節(jié)點(diǎn)個(gè)數(shù)的“輸入層看作一層神經(jīng)元，因?yàn)樵摗拜斎雽硬痪哂袌?zhí)行計(jì)算的功能.后面介紹的單層感知器屬于單層前向網(wǎng)絡(luò).多層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)和單層前向網(wǎng)絡(luò)的區(qū)別在于：多層前向網(wǎng)絡(luò)含有一個(gè)或多個(gè)的隱含層，其中計(jì)算節(jié)點(diǎn)被相應(yīng)地稱(chēng)為隱含神經(jīng)元或隱含單元，如圖1-8所示.圖1-8所示的多層前向網(wǎng)絡(luò)由含有10個(gè)神經(jīng)元輸入層、含有4個(gè)神經(jīng)元隱含層和2個(gè)神經(jīng)元輸

19、出層所組成.網(wǎng)絡(luò)輸入層中的每個(gè)源節(jié)點(diǎn)的鼓勵(lì)模式輸入向量單元組成了應(yīng)用于第二層如第一隱層中神經(jīng)元計(jì)算節(jié)點(diǎn)的輸入信號(hào)，第二層輸出信號(hào)成為第三層的輸入，其余層類(lèi)似.網(wǎng)絡(luò)每一層的神經(jīng)元只含有作為它們輸入前一層的輸出信號(hào)，網(wǎng)絡(luò)輸出層終止層神經(jīng)元的輸出信號(hào)組成了對(duì)網(wǎng)絡(luò)中輸入層起始層源節(jié)點(diǎn)產(chǎn)生的鼓勵(lì)模式的全部響應(yīng).即信號(hào)從輸入層輸入，經(jīng)隱含層傳給輸出層，由輸出層得到輸出信號(hào).圖1-7 單層前向網(wǎng)絡(luò)圖1-8 多層前向網(wǎng)絡(luò)通過(guò)參加一個(gè)或更多的隱層，使網(wǎng)絡(luò)能提取出更高的統(tǒng)計(jì)，尤其當(dāng)輸入層規(guī)模龐大時(shí)，隱神經(jīng)元提取高序統(tǒng)計(jì)數(shù)據(jù)的能力便顯得格外重要.后面我們介紹的多層感知器屬于多層前向網(wǎng)絡(luò).反響網(wǎng)絡(luò)所謂反響網(wǎng)絡(luò)是指在網(wǎng)

20、絡(luò)中至少含有一個(gè)反響回路的神經(jīng)網(wǎng)絡(luò).反響網(wǎng)絡(luò)可以包含一個(gè)單層神經(jīng)元，其中每個(gè)神經(jīng)元將自身的輸出信號(hào)反響給其他所以神經(jīng)元的輸入，如圖1-9所示，圖中所示的網(wǎng)絡(luò)即為著名的Hopfied網(wǎng)絡(luò).圖1-10所示的是另一類(lèi)型的含有隱層的反響網(wǎng)絡(luò)，圖中的反響聯(lián)結(jié)起始于隱神經(jīng)元和輸出神經(jīng)元.圖1-9和圖1-10所示的網(wǎng)絡(luò)構(gòu)造中沒(méi)有自反響回路.自反響是指一個(gè)神經(jīng)元的輸出反響至其輸入，含有自反響的網(wǎng)絡(luò)也屬于反響網(wǎng)絡(luò).圖1-9 無(wú)自反響和隱含層的反響網(wǎng)絡(luò)圖1-10 含有隱含層的反響網(wǎng)絡(luò)此外，常見(jiàn)的人工神經(jīng)網(wǎng)絡(luò)該有競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)和隨機(jī)神經(jīng)網(wǎng)絡(luò)，在這里就不詳加探討.1.4.2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱(chēng)為訓(xùn)練，它是

21、通過(guò)向環(huán)境學(xué)習(xí)而獲取知識(shí)并改進(jìn)自身性能，是NN的一個(gè)重要特點(diǎn).一般情況下，性能的改善是按某種預(yù)定的度量通過(guò)調(diào)節(jié)自身參數(shù)如權(quán)值逐步到達(dá)的，學(xué)習(xí)方式按環(huán)境所提供信息的多少分有三種.監(jiān)視學(xué)習(xí)有教師學(xué)習(xí)這種學(xué)習(xí)方式需要外界存在一個(gè)“教師，他可對(duì)一組給定輸入提供應(yīng)有的輸出結(jié)果正確答案.這組的輸入輸出數(shù)據(jù)稱(chēng)為訓(xùn)練樣本集.學(xué)習(xí)系統(tǒng)NN可根據(jù)的輸出與實(shí)際輸出之間的差值誤差信號(hào)來(lái)調(diào)節(jié)系統(tǒng)參數(shù).如圖1-11所示.圖1-11 監(jiān)視學(xué)習(xí)框圖非監(jiān)視學(xué)習(xí)無(wú)教師學(xué)習(xí)非監(jiān)視學(xué)習(xí)時(shí)不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境所提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自身參數(shù)或構(gòu)造這是一種自組織過(guò)程，一表示外部輸入的某種固有特征如聚類(lèi)，或某種統(tǒng)計(jì)上

22、的分布特征.如圖1-12所示.圖1-12 非監(jiān)視學(xué)習(xí)框圖再勵(lì)學(xué)習(xí)或強(qiáng)化學(xué)習(xí)這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)獎(jiǎng)或罰而不給出正確答案，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化那些受獎(jiǎng)勵(lì)的動(dòng)作來(lái)改善自身特性.圖1-13 再勵(lì)學(xué)習(xí)框圖下面介紹 基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法.1. 糾錯(cuò)學(xué)習(xí)首先我們考慮一個(gè)簡(jiǎn)單的情況在：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸出層只有一個(gè)神經(jīng)元，給該神經(jīng)網(wǎng)格上輸入，這樣就產(chǎn)生輸出，稱(chēng)該輸出為實(shí)際輸出.對(duì)于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出，稱(chēng)為期望輸出或目標(biāo)輸出.實(shí)際輸出與期望輸出之間存在著誤差，用表示. 1-9現(xiàn)在要調(diào)整突觸權(quán)值，使誤差信號(hào)減少.為此，可設(shè)定代價(jià)函數(shù)或性能指數(shù)： 1-10反

23、復(fù)調(diào)整突觸權(quán)值使代價(jià)函數(shù)到達(dá)最小或使系統(tǒng)到達(dá)一個(gè)穩(wěn)定狀態(tài)即突觸權(quán)值穩(wěn)定，就完成了學(xué)習(xí)過(guò)程.該學(xué)習(xí)過(guò)程稱(chēng)為糾錯(cuò)學(xué)習(xí)，也稱(chēng)為Delta規(guī)那么或者WindrowHoff規(guī)那么.表示神經(jīng)元到的突觸權(quán)值，在學(xué)習(xí)步驟為時(shí)對(duì)突觸權(quán)值的調(diào)整為 1-11為學(xué)習(xí)速率參數(shù).式1-11說(shuō)明：對(duì)神經(jīng)元突觸權(quán)值的調(diào)整與突觸信號(hào)和輸入信號(hào)成正比例.糾錯(cuò)學(xué)習(xí)實(shí)際上是局部的，Delta規(guī)那么所規(guī)定的突觸調(diào)整局限于神經(jīng)元的周?chē)?得到之后，定義突觸權(quán)值的校正值為 (1-12)和可以分別看做突觸權(quán)值的舊值和新值. 2. Hebb學(xué)習(xí)神經(jīng)心里學(xué)家Hebb提出學(xué)習(xí)規(guī)那么可歸結(jié)為“當(dāng)某一突觸連接兩端的神經(jīng)元的激活同步同為激活或同為抑制時(shí)，

24、該連接的強(qiáng)度應(yīng)增強(qiáng)，反之應(yīng)減弱.用數(shù)學(xué)方式可描述為 1-13式中，分別為兩端的神經(jīng)元的狀態(tài)，其中最常用的一種情況為 1-14由于與，的相關(guān)成比例，有時(shí)稱(chēng)之為相關(guān)學(xué)習(xí)規(guī)那么. 3. 競(jìng)爭(zhēng)學(xué)習(xí)顧名思義，在競(jìng)爭(zhēng)中學(xué)習(xí)時(shí)網(wǎng)絡(luò)各輸出單元相互競(jìng)爭(zhēng)，最后到達(dá)只有一個(gè)最強(qiáng)者激活.最常見(jiàn)的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接，這樣眾多輸出單元中如有某一單元較強(qiáng)，那么它將獲勝并抑制其他單元，最后只有比較強(qiáng)者處于激活狀態(tài).最常用的競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么可寫(xiě)為 1-15此外，還有兩個(gè) 基本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)那么，即基于記憶的學(xué)習(xí)和隨機(jī)學(xué)習(xí)算法.在此不詳加討論.三種神經(jīng)網(wǎng)絡(luò)模型及其MATLB仿真算法單層前向網(wǎng)絡(luò)模型及其仿真算

25、法2.1.1 感知器的概念感知器Perceptron是美國(guó)心理學(xué)家Rosenblatt于1957年提出來(lái)的，它是最 基本的但具有學(xué)習(xí)功能的層狀網(wǎng)絡(luò)Layed Network.最初的感知器由三層組成，即SSensory層、AAssociation層和RResponse層，如圖3-1所示.S層和A層之間的耦合是固定的，只有A層和R層之間的耦合程度即權(quán)值可通過(guò)學(xué)習(xí)改變.假設(shè)在感知器的A層和R層加上一層或多層隱單元，那么構(gòu)成的多層感知器具有很強(qiáng)的處理功能，假設(shè)感知器隱層的節(jié)點(diǎn)可根據(jù)需要自由設(shè)置，那么用三層不包括S層的閾值網(wǎng)絡(luò)可以實(shí)現(xiàn)任意的二值邏輯函數(shù).應(yīng)注意，感知器學(xué)習(xí)方法在函數(shù)不是線(xiàn)性可分時(shí)得不出任

26、何結(jié)果，另外也不能推廣到一般前向網(wǎng)絡(luò)中去.其主要原因是轉(zhuǎn)移函數(shù)為閾值函數(shù)，為此，人們用可微函數(shù)如Sigmoid函數(shù)來(lái)代替閾值函數(shù)，然后采用梯度算法來(lái)修正權(quán)值.BP網(wǎng)絡(luò)就是采用這種算法的典型網(wǎng)絡(luò).圖2-1圖2-22.1.2 單層感知器單層感知器是指包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元的感知器模型，它的訓(xùn)練算法是Rosenblatt在1958年提出來(lái)的.感知器是神經(jīng)網(wǎng)絡(luò)用來(lái)進(jìn)展模式識(shí)別的一種最簡(jiǎn)單模型，但是由單個(gè)神經(jīng)元組成的單層感知器只能用來(lái)實(shí)現(xiàn)線(xiàn)性可分的兩類(lèi)模式的識(shí)別. 單層感知器模型如圖1-2所示，它包括一個(gè)線(xiàn)性累加器和一個(gè)二值閥值元件，同時(shí)還有一個(gè)外部偏差.當(dāng)二值閥值元件的輸入是正數(shù)，神經(jīng)元就輸出+

27、1，反之其輸入是負(fù)數(shù)，那么產(chǎn)生輸出-1.即 2-1 2-22.1.3 單層感知器神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)感知器權(quán)值的學(xué)習(xí)是通過(guò)給定的教師信號(hào)即希望的輸出按學(xué)習(xí)規(guī)那么，即式2-3進(jìn)展的： 2-3式中，為當(dāng)前的權(quán)值矩陣；為教師信號(hào)；為控制權(quán)值修正速度的常數(shù)；為感知器的輸出值；即2-4由于感知器一般用于線(xiàn)性可分樣本的分類(lèi)，激發(fā)函數(shù)選為閾值型函數(shù)，因而當(dāng)式2-1-4中的時(shí)，該式可寫(xiě)成2-5權(quán)值的初值一般取較小的非零隨機(jī)數(shù).線(xiàn)性神經(jīng)網(wǎng)絡(luò)線(xiàn)性神經(jīng)網(wǎng)絡(luò)同感知器相似，是最簡(jiǎn)單的一種神經(jīng)元絡(luò)，同感知器不同的是，在MATLAB中，線(xiàn)性神經(jīng)網(wǎng)絡(luò)輸出的激發(fā)函數(shù)為線(xiàn)性函數(shù)purelin，而感知器模型的激發(fā)函數(shù)為符號(hào)函數(shù)hardl

28、im，因此感知器模型中只可取0或者1，而線(xiàn)性神經(jīng)網(wǎng)絡(luò)輸出的數(shù)值可以是任意數(shù)值，這一點(diǎn)也決定了線(xiàn)性神經(jīng)網(wǎng)絡(luò)同感知器應(yīng)用范圍的不同.本節(jié)將簡(jiǎn)單介紹線(xiàn)性神經(jīng)網(wǎng)絡(luò)的原理，通過(guò)實(shí)例演示MATLAB神經(jīng)網(wǎng)絡(luò)工具箱線(xiàn)性神經(jīng)網(wǎng)絡(luò)涉及函數(shù)，并講解線(xiàn)性神經(jīng)網(wǎng)絡(luò)的應(yīng)用.2.2.1 線(xiàn)性神經(jīng)網(wǎng)絡(luò)原理性神經(jīng)網(wǎng)絡(luò)由多個(gè)線(xiàn)性神經(jīng)元模型構(gòu)成，單個(gè)線(xiàn)性神經(jīng)元模型的構(gòu)造可以參考圖2-3.線(xiàn)性網(wǎng)格的激發(fā)函數(shù)為線(xiàn)性purelin函數(shù)，其輸出可以為任意值.圖2-3 單線(xiàn)性神經(jīng)元模型構(gòu)造當(dāng)輸入向量為的個(gè)數(shù)為N，單線(xiàn)性神經(jīng)元同樣由輸入系數(shù)和閥值.當(dāng)感知器神經(jīng)元模型中包含多個(gè)神經(jīng)元時(shí)，只需要將多個(gè)線(xiàn)性神經(jīng)元串聯(lián)，并形成網(wǎng)格拓?fù)錂C(jī)構(gòu)，同時(shí)對(duì)應(yīng)

29、于個(gè)神經(jīng)元輸出，那么第個(gè)神經(jīng)元的輸出為 2-6感知器的輸出函數(shù)由線(xiàn)性傳遞函數(shù)使用purelin函數(shù)實(shí)現(xiàn).第個(gè)神經(jīng)元經(jīng)過(guò)線(xiàn)性傳遞函數(shù)后的輸出為 2-7在MATLAB命令窗口輸入：x=-5:0.01:5;y=purelin(x);plot(x,y) 運(yùn)行程序后得到線(xiàn)性神經(jīng)元purelin函數(shù)曲線(xiàn)如圖2-4所示.圖2-4 線(xiàn)性神經(jīng)元purelin函數(shù)曲線(xiàn)線(xiàn)性神經(jīng)網(wǎng)絡(luò)相關(guān)的MATLAB函數(shù)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱提供了一系列函數(shù)進(jìn)展線(xiàn)性神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和分析，下面主要分別介紹線(xiàn)性神經(jīng)網(wǎng)絡(luò)構(gòu)建函數(shù)newlin、線(xiàn)性神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)函數(shù)newlind.線(xiàn)性神經(jīng)網(wǎng)絡(luò)構(gòu)建函數(shù)newlinnewlin函數(shù)的調(diào)用格式

30、如下：net=nelin(PR,S,ID,LR)其中，PR為的輸入向量最大最小值構(gòu)成的矩陣，S為輸出向量的個(gè)數(shù)，ID為輸入延遲向量，LP為學(xué)習(xí)速率，學(xué)習(xí)速率可以使用maxlinlr函數(shù)進(jìn)展計(jì)算，通過(guò)學(xué)習(xí)速率越大，網(wǎng)絡(luò)訓(xùn)練時(shí)間越短，但同時(shí)也導(dǎo)致學(xué)習(xí)過(guò)程不穩(wěn)定.如果P為訓(xùn)練樣本數(shù)據(jù)，那么maxlinlrP返回一個(gè)不帶閥值的線(xiàn)性層所需要的最大學(xué)習(xí)率，而maxlinlrP，bias返回一個(gè)帶閥值的線(xiàn)性層所需要的最大學(xué)習(xí)率.2. 線(xiàn)性層設(shè)計(jì)函數(shù)newlind函數(shù)在MATLAB神經(jīng)網(wǎng)路工具箱中，還可以使用newlind設(shè)計(jì)一個(gè)線(xiàn)性層，其調(diào)用格式如下：net=newlind(P,T,Pi)其中P、T分別是訓(xùn)

31、練樣本的輸入矩陣和目標(biāo)輸出向量，Pi是初始輸入延時(shí)cell向量.多層前向神經(jīng)網(wǎng)絡(luò)模型及BP學(xué)習(xí)算法前面我們介紹了單層感知器，它的缺點(diǎn)是只能解決線(xiàn)性可分問(wèn)題，要增強(qiáng)網(wǎng)絡(luò)的分類(lèi)能力唯一的方法是采用多層網(wǎng)絡(luò)，即在輸入與輸出之間加上隱含層，從而構(gòu)成多層感知器Multilayer Perceptrons，MLP.這種由輸入層、隱含層一層或者多層和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱(chēng)為多層前向神經(jīng)網(wǎng)絡(luò).本節(jié)將介紹兩個(gè)常見(jiàn)的多層前向網(wǎng)絡(luò)：多層感知器和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，詳細(xì)介紹多層感知器的學(xué)習(xí)算法著名的誤差反向傳播算法BP算法及其改進(jìn)算法.BP算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，稱(chēng)之為BP神經(jīng)網(wǎng)絡(luò).在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP網(wǎng)絡(luò)廣

32、泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類(lèi)、數(shù)據(jù)壓縮等，的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)或它的變化形式，它也是前饋網(wǎng)絡(luò)的核心局部，表達(dá)了人工神經(jīng)網(wǎng)絡(luò)最精華的局部.所以，本節(jié)也會(huì)重點(diǎn)探討B(tài)P神經(jīng)網(wǎng)絡(luò)的應(yīng)用.多層感知器多層感知器是單層感知器的推廣，但是它能夠解決單層感知器所不能解決的非線(xiàn)性可分問(wèn)題.多層感知器由輸入層、隱含層和輸出層組成，其中隱含層可以是一層或多層.其拓?fù)錁?gòu)造如圖2-5所示.圖2-5 多層感知器模型輸入層神經(jīng)元的個(gè)數(shù)為輸入信號(hào)的維數(shù)，隱含層個(gè)數(shù)以及隱節(jié)點(diǎn)的個(gè)數(shù)視具體情況而定，輸出神經(jīng)元的個(gè)數(shù)為輸出信號(hào)的維數(shù).多層感知器同單層感知器比具有四個(gè)明顯的特點(diǎn)：1除了輸入輸出層，多層感知器含有一層或者多

33、層隱單元，隱單元從輸入模式中提取更多有用的信息，使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù).2多層感知器中每個(gè)神經(jīng)元的鼓勵(lì)函數(shù)是可微的Sigmoid函數(shù)，如 2-8式中是第個(gè)神經(jīng)元的輸入信號(hào)，是該神經(jīng)元的輸出信號(hào).3多層感知器具有獨(dú)特的多個(gè)突觸使得網(wǎng)絡(luò)更具有連通性，聯(lián)接域的變化或權(quán)值的變化都會(huì)引起連通性的變化.4多層感知器具有獨(dú)特的學(xué)習(xí)算法BP算法，所以多層感知器也常常稱(chēng)之為BP網(wǎng)絡(luò).多層感知器的這些特點(diǎn)，使它具有強(qiáng)大的計(jì)算能力.多層感知器是目前應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò).BP學(xué)習(xí)算法20世紀(jì)80年代中期，美國(guó)加利福尼亞的PDPparallel distributed procession小組于1986年發(fā)表了

34、Parallel Distributed Procession一書(shū)，該書(shū)的出版對(duì)BP算法產(chǎn)生了重要的影響.BP算法解決了多層感知器的學(xué)習(xí)問(wèn)題，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的開(kāi)展.BP學(xué)習(xí)過(guò)程的描述1工作信號(hào)的傳播：輸入信號(hào)從輸入層經(jīng)隱單元，傳向輸出層，在傳出端產(chǎn)生輸出信號(hào)，這是工作信號(hào)的正向傳播.在信號(hào)的向前傳遞過(guò)程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài).如果在輸出層不能得到期望的輸出，那么輸入誤差信號(hào)反向傳播.2誤差信號(hào)反向傳播：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值即為誤差信號(hào)，誤差信號(hào)由輸出端開(kāi)場(chǎng)逐層向前傳播，這是誤差信號(hào)是反向傳播.在傳播的過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反響進(jìn)展調(diào)

35、節(jié).通過(guò)權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更接近期望輸出.圖2-6 工作信號(hào)正向傳播，誤差信號(hào)反向傳播圖2-6為多層感知器的一局部，其中有兩種信號(hào)：一是工作信號(hào)，工作信號(hào)正向傳播；二是誤差信號(hào)，誤差信號(hào)反向傳播.下面以含有兩個(gè)隱層的BP網(wǎng)絡(luò)為例，如圖2-7所示，具體推導(dǎo)BP算法.圖2-7 含有二個(gè)隱含層的BP網(wǎng)絡(luò)設(shè)輸入層位，即有個(gè)輸入信號(hào)，其中的任一輸入信號(hào)用表示：第1隱層為，即有個(gè)神經(jīng)元，其中的任何一個(gè)神經(jīng)元用表示；第二層為,即有個(gè)神經(jīng)元，其中任一神經(jīng)元用表示，輸出層為，即有個(gè)輸出神經(jīng)元，其中任一神經(jīng)元用表示.輸入層與第一隱層的突觸權(quán)值用表示；第1隱層與第2隱層的突觸權(quán)值用表示；第2隱層與輸出層

36、用的突觸權(quán)值用表示.神經(jīng)元的輸入用表示，鼓勵(lì)輸出用表示，的上標(biāo)表示層，下標(biāo)表示層中的某個(gè)神經(jīng)元，如A表示層即第1層的第個(gè)神經(jīng)元輸入.設(shè)所有的神經(jīng)元的鼓勵(lì)函數(shù)均用Sigmoid函數(shù).設(shè)訓(xùn)練樣本集為，對(duì)應(yīng)任一訓(xùn)練樣本，的實(shí)際輸出為，期望輸出為.設(shè)n為迭代次數(shù)，權(quán)值和實(shí)際輸出是n的函數(shù).網(wǎng)絡(luò)輸入訓(xùn)練樣本，由工作信號(hào)的正向傳播可得：輸出層第個(gè)神經(jīng)元的誤差信號(hào)為定義神經(jīng)元的誤差能量為，那么輸出層所有神經(jīng)元的誤差能量總和為： 2-9誤差信號(hào)從后向前傳遞，在反向傳播的過(guò)程中，逐層修改聯(lián)接權(quán)值.下面計(jì)算誤差信號(hào)的反向傳播過(guò)程：1隱層與輸出層之間的權(quán)值修正量.BP算法中權(quán)值的修正量與誤差絕對(duì)值的偏微分成正比，即

37、：因?yàn)橛?，那么設(shè)局部梯度2-10當(dāng)鼓勵(lì)函數(shù)為邏輯函數(shù)，即從而有那么 2-11 根據(jù)Delta學(xué)習(xí)規(guī)那么，的修正量為 2-12式中，是學(xué)習(xí)步長(zhǎng)，可由式2-11求得，可由正向傳播求得.那么下一次的迭代時(shí)隱層上任一節(jié)點(diǎn)與輸出層上任一節(jié)點(diǎn)之間的權(quán)值為 2-132隱層與隱層之間的權(quán)值修正量： 2-14與式2-14相類(lèi)似，局部梯度為 2-15因?yàn)?2-16又 那么 2-17由式2-15和式2-17得將式2-10代入上式得 2-18式中可由式2-11求得，.為隱含層與輸出層任一節(jié)點(diǎn)之間的權(quán)值，已由式2-13求得.所以 2-19那么下一次迭代時(shí)，隱層上任一節(jié)點(diǎn)與隱層上任一節(jié)點(diǎn)之間的權(quán)值為 2-203與隱層和隱

38、層之間的權(quán)值修正量的推導(dǎo)方法一樣，輸入層上任一節(jié)點(diǎn)與隱層任一節(jié)點(diǎn)之間權(quán)值的修正量為 2-21其中 2-22式中可由式3-17求出，.為隱層與隱層之間任一節(jié)點(diǎn)之間的權(quán)值，已由式2-20求得.那么下一次迭代時(shí)，輸入層上任一節(jié)點(diǎn)與隱層上任一節(jié)點(diǎn)之間的權(quán)值為 2-232.3.3 BP網(wǎng)絡(luò)的MATLAB仿真程序設(shè)計(jì)的 基本方法 BP網(wǎng)絡(luò)設(shè)計(jì)主要包括輸入層、隱層、輸出層及各層之間的傳輸函數(shù)幾個(gè)方面.網(wǎng)絡(luò)層數(shù)大多數(shù)通用的神經(jīng)網(wǎng)絡(luò)都預(yù)先確定了網(wǎng)絡(luò)的層數(shù)，而B(niǎo)P網(wǎng)絡(luò)可以包括不同的隱層.但理論上已經(jīng)證明，在不限隱層節(jié)點(diǎn)數(shù)的情況下，兩層只有一個(gè)隱層的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意非線(xiàn)性映射.在模式樣本相對(duì)較少的情況下，較少的

39、隱層節(jié)點(diǎn)，可以實(shí)現(xiàn)模式樣本空間的超平面劃分，此時(shí)，選擇兩層BP網(wǎng)絡(luò)就可以了；當(dāng)模式樣本數(shù)很多時(shí)，減少網(wǎng)絡(luò)規(guī)模，增加一個(gè)隱層是必要的，但BP網(wǎng)絡(luò)隱層數(shù)一般不超過(guò)兩層.輸入層的節(jié)點(diǎn)數(shù)輸入層起緩沖存儲(chǔ)器的作用，它接收外部的輸入數(shù)據(jù)，因此其節(jié)點(diǎn)數(shù)取決于輸入矢量的維數(shù).比方，當(dāng)把大小的圖像作為輸入數(shù)據(jù)時(shí)，輸入節(jié)點(diǎn)數(shù)將為1024個(gè).輸出層的節(jié)點(diǎn)數(shù)輸出層的節(jié)點(diǎn)數(shù)取決于兩個(gè)方面，輸出數(shù)據(jù)類(lèi)型和表示該類(lèi)型所需要的數(shù)據(jù)大小.當(dāng)BP網(wǎng)絡(luò)用于模式分類(lèi)時(shí)，以二進(jìn)制形式來(lái)表示不同模式的輸出結(jié)果，那么輸出層的節(jié)點(diǎn)數(shù)可根據(jù)待分類(lèi)模式數(shù)來(lái)確定.假設(shè)設(shè)待分類(lèi)模式的總數(shù)為，那么有兩種方法確定輸出層的節(jié)點(diǎn)數(shù)：節(jié)點(diǎn)數(shù)即為待分類(lèi)模式總數(shù)

40、，此時(shí)對(duì)應(yīng)第個(gè)待分類(lèi)模式的輸出為即第個(gè)節(jié)點(diǎn)輸出為1，其余為0.而以輸出全為0表示拒識(shí)，即所輸入的模式不屬于待分類(lèi)模式中的任一種模式.節(jié)點(diǎn)數(shù)為個(gè).這種輸出方式是種輸出模式的二進(jìn)制編碼.隱層的節(jié)點(diǎn)數(shù)一個(gè)具有無(wú)限隱層節(jié)點(diǎn)的兩層BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意從輸入到輸出的非線(xiàn)性映射.但對(duì)于有限個(gè)輸入模式到輸出模式的映射，并不需要無(wú)限個(gè)隱層節(jié)點(diǎn)，這就涉及到如何選擇隱層節(jié)點(diǎn)數(shù)的問(wèn)題，而這一問(wèn)題的復(fù)雜性，即到至今為止，尚未找到一個(gè)很好的解析式，隱層節(jié)點(diǎn)數(shù)往往根據(jù)前人設(shè)計(jì)所得的經(jīng)歷和自己進(jìn)展試驗(yàn)來(lái)確定.一般認(rèn)為，隱層節(jié)點(diǎn)數(shù)與求解問(wèn)題的要求、輸出單元多少都有直接的聯(lián)系.另外，隱層節(jié)點(diǎn)數(shù)太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)；而節(jié)點(diǎn)數(shù)太少

41、，容差性差，識(shí)別未經(jīng)學(xué)習(xí)的樣本能力低，所以必須綜合多方面因素進(jìn)展時(shí)設(shè)計(jì).傳輸函數(shù)通常采用型函數(shù)：在某些特定情況下，還可能采用純線(xiàn)性函數(shù).如果BP網(wǎng)絡(luò)最后一層是函數(shù)，那么整個(gè)函數(shù)的輸出就限制在一個(gè)較小的范圍內(nèi)之間的任意連續(xù)量；如果BP網(wǎng)絡(luò)的最后一層是純線(xiàn)性函數(shù)，那么整個(gè)網(wǎng)絡(luò)的輸出可以是任意值. 創(chuàng)立和訓(xùn)練BP的MATLAB程序如下：clear all%定義輸入向量和目標(biāo)向量p=1 2;-1 1;-2 1;4 0;t=0.2 0.8 0.8 0.2;%創(chuàng)立BP網(wǎng)絡(luò)和定義訓(xùn)練函數(shù)及參數(shù)net=newff(-1 1;-1 1,5 1,logsig logsig,taingd);net.trainPar

42、am.goal=0.001;net.trainParam.epochs=5000;%訓(xùn)練神經(jīng)網(wǎng)絡(luò)net,tr=train(net,p,t);%輸出訓(xùn)練后的權(quán)值和閥值iw1=net.IW1b1=net.b1lw2=net.LW2b2=net.b2神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用3.1神經(jīng)網(wǎng)絡(luò)算法在非線(xiàn)性方程與微分方程方面的應(yīng)用3.1.1 非線(xiàn)性函數(shù)的逼近使用神經(jīng)網(wǎng)絡(luò)逼近非線(xiàn)性函數(shù)，繪制非線(xiàn)性函數(shù)，并產(chǎn)生網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)點(diǎn).解：非線(xiàn)性神經(jīng)網(wǎng)絡(luò)的輸出函數(shù)為非線(xiàn)性傳遞函數(shù)purelin，其輸出可以為任意數(shù)值，因此非線(xiàn)性神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍非常廣泛，可以應(yīng)用于非線(xiàn)性系統(tǒng)擬合、函數(shù)逼近、系統(tǒng)識(shí)別等方面.%matlab程

43、序x=-2:.01:1;y=2*x.6+3*x.5+3*x.3-2*x.2;p=x(1:15:end);t=y(1:15:end);plot(x,y,p,t,ko)legend(逼近函數(shù),網(wǎng)絡(luò)訓(xùn)練點(diǎn))其中，數(shù)據(jù)作為線(xiàn)性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)點(diǎn)集，程序運(yùn)行結(jié)果如圖3-1所示.使用newlind函數(shù)訓(xùn)練線(xiàn)性神經(jīng)網(wǎng)絡(luò)：q=length(y);r=zeros(6,q);r(1,2:q)=y(1,1:(q-1);r(2,3:q)=y(1,1:(q-2);r(3,4:q)=y(1,1:(q-3);r(4,5:q)=y(1,1:(q-4);r(5,6:q)=y(1,1:(q-5);r(6,7:q)=y(1,1:

44、(q-6);net=newlind(r,y);a=sim(net,r);figureplot(x,y,x,a,k-o)legend(給定輸入信號(hào),網(wǎng)絡(luò)輸出信號(hào))運(yùn)行結(jié)果如圖3-1所示.圖3-1 非線(xiàn)性逼近函數(shù)和網(wǎng)絡(luò)訓(xùn)練圖3-2 線(xiàn)性神經(jīng)網(wǎng)絡(luò)非線(xiàn)性曲線(xiàn)逼近結(jié)果3.1.2線(xiàn)性神經(jīng)網(wǎng)絡(luò)逼近函數(shù)使用newlin函數(shù)構(gòu)建線(xiàn)性神經(jīng)網(wǎng)絡(luò)逼近函數(shù)：首先，產(chǎn)生輸入訓(xùn)練樣本和訓(xùn)練目標(biāo)樣本.%matlab程序time1=0:.01:2;time2=2:.01:4;time3=4:.01:6;time=time1 time2 time3;t=cos(time1*pi) cos(time2*3*pi) cos(time

45、3*5*pi);t=con2seq(t); %將向量轉(zhuǎn)化為序列cell向量p=t; %輸出向量等于給定輸出向量使用newlin函數(shù)構(gòu)建線(xiàn)性神經(jīng)網(wǎng)絡(luò)，并使用adapt函數(shù)訓(xùn)練網(wǎng)絡(luò).lr=0.1;delays=1 2 3 4 5 6;net=newlin(minmax(cat(2,p:),1,delays,lr);net,a,e=adapt(net,p,t);繪制網(wǎng)格輸出信號(hào)和給定信號(hào)以及殘差信號(hào)曲線(xiàn).plot(time,cat(2,p:),time,cat(2,a:),k-o)legend(給定輸入信號(hào),網(wǎng)格輸出信號(hào))figureplot(time,cat(2,e:)title(誤差曲線(xiàn)) 結(jié)果

46、如圖3-3和圖3-4所示.圖3-3 使用newlin函數(shù)進(jìn)展逼近效果曲線(xiàn)圖3-4 newlin函數(shù)逼近的誤差圖下面使用實(shí)例演示newlind函數(shù)的使用.首先，產(chǎn)生輸入訓(xùn)練樣本和訓(xùn)練目標(biāo)樣本.%matlab程序time1=0:.01:2;time2=2:.01:4;time3=4:.01:6;time=time1 time2 time3;t=cos(time1*pi) cos(time2*3*pi) cos(time3*5*pi);q=length(t);p=zeros(6,q);p(1,2:q)=t(1,1:(q-1);p(2,3:q)=t(1,1:(q-2);p(3,4:q)=t(1,1:(

47、q-3);p(4,5:q)=t(1,1:(q-4);p(5,6:q)=t(1,1:(q-5);p(6,7:q)=t(1,1:(q-6);使用newlind函數(shù)設(shè)計(jì)線(xiàn)性層.net=newlind(p,t);a=sim(net,p);plot(time,t,time,a,k-o)legend(給定輸入信號(hào),網(wǎng)絡(luò)輸出信號(hào))figureplot(time,a-t)title(誤差曲線(xiàn)) 線(xiàn)性層網(wǎng)絡(luò)函數(shù)逼近效果如圖3-5和圖3-6所示.圖3-5線(xiàn)性層設(shè)計(jì)函數(shù)newlind函數(shù)逼近效果圖3-6線(xiàn)性層設(shè)計(jì)函數(shù)newlind函數(shù)逼近誤差圖3.1.3基于神經(jīng)網(wǎng)絡(luò)定積分計(jì)算模型人工神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)是其非線(xiàn)性映射

48、能力,這種能力使得神經(jīng)網(wǎng)絡(luò)能夠逼近任何給定的連續(xù)函數(shù).從應(yīng)用的角度來(lái)看,一個(gè)人工神經(jīng)網(wǎng)絡(luò)是根據(jù)某種“目標(biāo)而構(gòu)造的，這樣的目標(biāo)一般情形下是一個(gè)多元或一元函數(shù)，稱(chēng)之為“目標(biāo)函數(shù)，可通過(guò)對(duì)權(quán)值的學(xué)習(xí)，使得目標(biāo)函數(shù)盡可能逼近于人們理想中目標(biāo)函數(shù).基于這些思想，提出了一種基于積分定義的神經(jīng)網(wǎng)絡(luò)模型.現(xiàn)我們來(lái)確定學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù),首先對(duì)訓(xùn)練樣本數(shù)據(jù)作預(yù)處理：假設(shè)被積在區(qū)間上有種分法，其中劃分為：，令，其中：，那么學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集為，其中為積分的準(zhǔn)確值.那么，基于積分定義的神經(jīng)網(wǎng)絡(luò)求解數(shù)值積分模型如圖3-7所示.圖3-7 求解數(shù)值積分模型其中為神經(jīng)網(wǎng)絡(luò)權(quán)值，設(shè)神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣為：，其中，；鼓勵(lì)函數(shù)為恒等

49、函數(shù)，閥值取0，那么該網(wǎng)絡(luò)輸出定義誤差代價(jià)函數(shù)：，其中為訓(xùn)練樣本點(diǎn)數(shù)，為被積函數(shù).設(shè)誤差矩陣為，那么有性能指標(biāo)：為Euclidean范式的平方.根據(jù)梯度下降法學(xué)習(xí)規(guī)那么，故權(quán)值調(diào)整公式如下：其中為學(xué)習(xí)效率，且.基于神經(jīng)網(wǎng)絡(luò)的定積分學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)就是對(duì)權(quán)值的學(xué)習(xí)，參照一般神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，那么，神經(jīng)網(wǎng)絡(luò)求積分的學(xué)習(xí)步驟如下：step1 獲取神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集：；隨機(jī)產(chǎn)生網(wǎng)絡(luò)權(quán)值，；給定誤差精度；令.step2 計(jì)算網(wǎng)絡(luò)輸出：step3 計(jì)算誤差函數(shù)：step4 計(jì)算性能指標(biāo)：step5 計(jì)算學(xué)習(xí)率：step6 權(quán)值調(diào)整：step7 如果樣本集未訓(xùn)練完，返回step2重復(fù)上述步驟；否

50、那么，判斷性能指標(biāo)是否，如果是，令，返回step2重復(fù)上述步驟，否那么，完畢網(wǎng)格訓(xùn)練，輸出網(wǎng)格權(quán)值：.如求解定積分，準(zhǔn)確到8位有效數(shù)字.MATLAB編程實(shí)現(xiàn)：%定積分函數(shù)function y=f(x)y=exp(x).*cos(100.*x);clc;format longa=0;b=pi; %a,b為積分區(qū)間tol=0.00000001; %tol為準(zhǔn)確度J=2*tol;m=20; %將區(qū)間a,b分為m+1個(gè)不等距的區(qū)間p=6.389; %p為定積分的準(zhǔn)確值n=50; %n為訓(xùn)練樣本個(gè)數(shù)X=zeros(m+1,n);x=zeros(m,n);c=zeros(m,n);w=zeros(m,n)

51、;X(1,:)=a;X(m+1,:)=b;for i=1:nX(2,i)=a+0.1*rand;X(m,i)=b-0.1*rand;endfor i=3:(m-1)for j=1:nX(i,j)=X(2,j)+(X(m,j)-X(2,j)*rand;endendX=sort(X);for i=1:mfor j=1:nx(i,j)=X(i+1,j)-X(i,j);endendx;for i=1:mfor j=1:nc(i,j)=X(i,j)+x(i,j)*rand;endendc;epoch=0;TT=;while JtolJ=0;epoch=epoch+1;for k=1:nt=x(:,k);

52、w=f(c(:,k); %w為網(wǎng)絡(luò)權(quán)值y=w*t;EK=p-y;u=1./(abs(t*(df(c(:,k)2; %學(xué)習(xí)率u的取值c(:,k)=c(:,k)+u*(p-y)*t*(df(c(:,k);J=J+sum(EK.2)/2;endTT(epoch)=J;Jif J0; %求感知器閾值激發(fā)后的輸出，F(xiàn)表示式2-5中的y(k) F(1,i)=1; else,F(1,i)=0; end end %一次分類(lèi)循環(huán)完畢 if all(F=T) %感知器的輸出F和目標(biāo)T不等時(shí)修正權(quán)值陣和閾值 break enddW=(T-F)*X;E=0.01;0.01;0.0;0.0;0.01;0.01;0.01

53、;0.01; %dC=0.1*(T-F)*E,表示閾值不修正W=W+dW; Wz(:,j)=W; %存儲(chǔ)分類(lèi)過(guò)程中的動(dòng)態(tài)權(quán)值%C=C+dC; %表示閾值不修正Y=W*X+C;end %循環(huán)完畢Wz %打印分類(lèi)過(guò)程中的動(dòng)態(tài)權(quán)值 %開(kāi)場(chǎng)繪圖plotpv(X,T); %繪點(diǎn)plotpc(W,C); %繪分割線(xiàn)grid onxlabel(x1),ylabel(x2) 2感知器分類(lèi)結(jié)果如圖3-12所示.圖3-12 例2-1單神經(jīng)元感知器分類(lèi)結(jié)果圖中，“o代表目標(biāo)向量中的“0，“+代表目標(biāo)向量中的“1，橫軸x1表示樣本，縱軸x2表示樣本.感知器的參數(shù).感知器的權(quán)值矩陣初值Wc、閾值初值C和分類(lèi)過(guò)程中的動(dòng)態(tài)

54、權(quán)值矩陣Wz如下：Wc = -0.1000 0.2000C = 0.9003Wz =0.7000 1.5000 1.7000 2.2000 2.4000 2.6000 2.8000 3.3000 3.5000 3.7000 4.2000 3.9000 4.4000 4.1000 從程序看，分類(lèi)循環(huán)次數(shù)M設(shè)置為20次；從打印出的分類(lèi)過(guò)程中的動(dòng)態(tài)權(quán)值矩陣Wz來(lái)看，Wz只有5組權(quán)值，說(shuō)明程序之循環(huán)了5次就滿(mǎn)足了分類(lèi)的誤差要求：4程序分析. 在程序中權(quán)值矩陣的初值Wc和閾值初值可以分別采用W=rands(S,R)；Wc=W 和C=rands(S,1)產(chǎn)生隨機(jī)數(shù)，也可以直接設(shè)置隨機(jī)小數(shù).程序中Wc采用置

55、隨機(jī)小數(shù)，而閾值初值C采用產(chǎn)生隨機(jī)數(shù)指令實(shí)現(xiàn).如果Wc和C均采用rands指令產(chǎn)生隨機(jī)數(shù)實(shí)現(xiàn)，也可以得到類(lèi)似圖3-6所示的分類(lèi)結(jié)果，讀者不妨一試. 本例的樣本為隨機(jī)數(shù)，無(wú)量綱，無(wú)規(guī)律.目標(biāo)向量正好與樣本巧合，才得到了圖3-6所示的分類(lèi)結(jié)果.如果目標(biāo)向量隨機(jī)給定，如，那么該程序無(wú)法分類(lèi)，相當(dāng)于對(duì)線(xiàn)性不可分的樣本分類(lèi)，單神經(jīng)元感知器無(wú)能為力如例2-2.樣本矩陣同上例，隨機(jī)目標(biāo)向量T=1，0，0，1，0，1，0，0.解 clearX=-0.5,-0.5,0.3,0.1,-0.1,0.8,0.2,0.3;0.3,-0.2,-0.6,0.1,-0.5,1.0,0.3,0.9;T=1,0,0,1,0,1,

56、0,0;M=20;R,Q=size(X); %R=2;Q=8為X矩陣的維數(shù)S,Q=size(T); %S=1;Q=8為T(mén)矩陣的維數(shù)%W=rands(S,R); %根據(jù)輸入樣本X和目標(biāo)向量T的維數(shù)產(chǎn)生隨機(jī)權(quán)值陣W%初值W=-0.1 0.2;Wc=W %打印權(quán)值的初值C=rands(S,1); %產(chǎn)生隨機(jī)閾值初值C %打印隨機(jī)產(chǎn)生的閾值初值Y=W*X+C; %計(jì)算感知器輸出for j=1:M %循環(huán)開(kāi)場(chǎng) for i=1:8 %對(duì)感知器輸出分類(lèi) if Y(1,i)0; %求感知器閾值激發(fā)后的輸出，F(xiàn)表示式3-8)中的y(k) F(1,i)=1; else,F(1,i)=0; end end %一次分

57、類(lèi)循環(huán)完畢 if all(F=T) %感知器的輸出F和目標(biāo)T不等時(shí)修正權(quán)值陣和閾值 break enddW=(T-F)*X;E=0.01;0.01;0.0;0.0;0.01;0.01;0.01;0.01; %dC=0.1*(T-F)*E,表示閾值不修正W=W+dW; Wz(:,j)=W; %存儲(chǔ)分類(lèi)過(guò)程中的動(dòng)態(tài)權(quán)值%C=C+dC; %表示閾值不修正Y=W*X+C;end %循環(huán)完畢Wz %打印分類(lèi)過(guò)程中的動(dòng)態(tài)權(quán)值 %開(kāi)場(chǎng)繪圖plotpv(X,T); %繪點(diǎn)plotpc(W,C); %繪分割線(xiàn)grid onxlabel(x1),ylabel(x2) 2感知器分不開(kāi)類(lèi)的結(jié)果如圖3-13所示.圖3-

58、13 感知器分不開(kāi)類(lèi)的結(jié)果3感知器的參數(shù).感知器的權(quán)值矩陣初值Wc、閾值初值C和分類(lèi)過(guò)程中的動(dòng)態(tài)權(quán)值矩陣Wz如下：Wc = -0.1000 0.2000C = -0.5377Wz = 0.3000 -0.6000 0 -0.7000 -0.3000 -0.5000 -0.7000 -0.3000 -0.5000 -0.4000 -0.6000 -0.2000由圖2-4可知，隨機(jī)目標(biāo)向量與樣本規(guī)律不同，單神經(jīng)元感知器不能分類(lèi).如過(guò)輸入樣本具有物理量綱，并對(duì)樣本從小到大或從大到小排列，目標(biāo)向量要符合樣本的排列規(guī)律，即使目標(biāo)向量在一定范圍內(nèi)變化，那么分類(lèi)問(wèn)題無(wú)疑可實(shí)現(xiàn).3.4.2 蠓蟲(chóng)分類(lèi)問(wèn)題生物學(xué)

59、家試圖對(duì)兩類(lèi)蠓蟲(chóng)與進(jìn)展鑒別,依據(jù)的資料是蠓蟲(chóng)的觸角和翅膀的長(zhǎng)度,已經(jīng)測(cè)得9只和6只的數(shù)據(jù),(觸角長(zhǎng)度用表示,翅膀長(zhǎng)度用表示)具體數(shù)據(jù)為:；現(xiàn)需要解決二個(gè)問(wèn)題:1如何憑借原始資料(15 對(duì)數(shù)據(jù),被稱(chēng)之為學(xué)習(xí)樣本)制定一種方法,正確區(qū)分兩類(lèi)蠓蟲(chóng);2依據(jù)確立的方法,對(duì)題目提供的三個(gè)樣本：(1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識(shí)別.解：我們使用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)分類(lèi)蠓蟲(chóng)問(wèn)題首先，輸入訓(xùn)練樣本、訓(xùn)練目標(biāo)樣本及測(cè)試樣本：%輸入向量p=1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1

60、.30;1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96;%輸出向量t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0;s=1.24 1.28 1.40;1.80 1.84 2.04; 使用newff函數(shù)建設(shè)BP神經(jīng)網(wǎng)絡(luò)，并且使用訓(xùn)練樣本數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)：net=newff(minmax(p),5,1,logsig,purelin,traingdx);net.trainParam.show=50;net.trainParam.lr=0.1;net.trainParam.lr_inc=1.