神經(jīng)網(wǎng)絡(luò)在數(shù)學建模競賽中的應(yīng)用

1、.wd.wd.wd.第1章 引言1.1 人工神經(jīng)網(wǎng)絡(luò)的介紹人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Networks, ANN，亦稱為神經(jīng)網(wǎng)絡(luò)Neural Networks,NN,是由大量的處理單元神經(jīng)元Neurons廣泛互聯(lián)而成的網(wǎng)絡(luò)，是對大腦的抽象、簡化和模擬，反映人腦的 基本特性.人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理構(gòu)造出發(fā)來研究人的智能行為，模擬人腦信息處理的功能.它是根植于神經(jīng)科學、數(shù)學、物理學、計算機科學及工程等科學的一種技術(shù).人工神經(jīng)網(wǎng)絡(luò)是由簡單的處理單元所組成的大量并行分布的處理機，這種處理機具有儲存和應(yīng)用經(jīng)念知識的自然特性，它與人腦的相似之處概括兩個方面：一是通過學習過程利

2、用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識；二是內(nèi)部神經(jīng)元突觸權(quán)值用來存儲獲取的知識信息.人工神經(jīng)網(wǎng)絡(luò)具有四個 基本特征：1非線性 非線性關(guān)系是自然界的普遍特性.大腦的智慧就是一種非線性現(xiàn)象.人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學上表現(xiàn)為一種非線性關(guān)系.具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯性和存儲容量.2非局限性 一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成.一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定.通過單元之間的大量連接模擬大腦的非局限性.聯(lián)想記憶是非局限性的典型例子.3非常定性 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學習能

3、力.神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化.經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程.4非凸性 一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù).例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài).非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性.人工神經(jīng)網(wǎng)絡(luò)是近年來的熱點研究領(lǐng)域，涉及到電子科學技術(shù)、信息與通訊工程、計算機科學與技術(shù)、電器工程、控制科學與技術(shù)等諸多學科，其應(yīng)用領(lǐng)域包括：建模、時間序列分析、模式識別和控制等，并在不斷的拓展.本文正是居于數(shù)學建模的神經(jīng)網(wǎng)路應(yīng)用.人工神經(jīng)網(wǎng)絡(luò)開展歷史 20世

4、紀40年代中期期，在科學開展史上出現(xiàn)了模擬電子計算機和數(shù)字電子計算機兩種新的計算工具和一種描述神經(jīng)網(wǎng)絡(luò)工作的數(shù)學模型.由于電子技術(shù)(特別是大規(guī)模、超大規(guī)模集成電路)的開展，使數(shù)字電子計算機作為高科技計算工具已開展到當今盛世地步，而人工神經(jīng)網(wǎng)絡(luò)模擬仿真生物神經(jīng)網(wǎng)絡(luò)的探索那么經(jīng)歷了半個世紀的曲折開展道路.1.2.1興起階段1943年心理學家WSMcCulloch和數(shù)學家Pitts首先以數(shù)理邏輯的方法研究用人工神經(jīng)網(wǎng)絡(luò)模擬、仿真和近似生物神經(jīng)網(wǎng)絡(luò)的探索，并提出MP神經(jīng)元模型.1949年D.OHebb從心理學的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學習法那么.50年代末到60年代初，神經(jīng)

5、網(wǎng)絡(luò)系統(tǒng)已開場作為人工智能的一條途徑而受到人們的重視.1961年ERosenblatt提出了著名的感知機(Perceptron)模型.這個模型由簡單的閥值性神經(jīng)元構(gòu)成，初步具備了諸如學習性、并行處理、分布存貯等神經(jīng)網(wǎng)絡(luò)的一些 基本特征，從而確立了從系統(tǒng)角度進展人工神經(jīng)網(wǎng)絡(luò)研究的根基. 1962年Widrow提出了主要適用于自適應(yīng)系統(tǒng)的自適應(yīng)線性元件(Adaline)網(wǎng)絡(luò).神經(jīng)網(wǎng)絡(luò)的研究進入了一個高潮.1.2.2 蕭條階段在整個70年代中，對神經(jīng)網(wǎng)絡(luò)理論的研究進展緩慢，原因主要來自于科技界漫不經(jīng)心的對待和數(shù)字計算機飛速開展的沖突，但并沒有完全停頓下來.世界上一些對神經(jīng)網(wǎng)絡(luò)抱有堅決信心和嚴肅科學態(tài)

6、度的學者們，沒有放棄他們的努力.在這期間，Grossberg提出了自適應(yīng)共振理論(ART)；芬蘭學者Kohono提出了自組織映射理論(SOM)；日本的福島邦彥提出了認知機(Cognitron)模型，隨后又提出了改進至新認知機(Neocognitron)模型；另一位日本學者中野馨提出了聯(lián)想記憶模型一聯(lián)想機(Associatron)；東京大學的甘利俊一博土那么一直致力于數(shù)學理論解釋神經(jīng)網(wǎng)絡(luò).70年代末期以來，復(fù)雜行為系統(tǒng)理論(如耗散構(gòu)造、協(xié)同學、混噸)的出現(xiàn)，人們認識到人工智能、聯(lián)想記憶學習算法、信息優(yōu)化組合處理及杉式識別的重要性，極大地推動了人工神經(jīng)網(wǎng)絡(luò)的開展.興盛階段進入80年代，特別是80年

7、代末期，神經(jīng)網(wǎng)絡(luò)的研究從復(fù)興很快轉(zhuǎn)入了新的熱網(wǎng).主要原因來自兩個方面：一方面經(jīng)過十幾年迅速開展起來的以邏輯符號處理為主的人工智能理論和Von Neumann計算機在處理諸如視覺、聽覺、形象思維、聯(lián)想記憶等智能信息處理問題上受到了挫折；另一方面，80年代并行分布處理模式的神經(jīng)網(wǎng)絡(luò)本身的研究成果，使人們看到了新的希望.這一時期首先要提到的是美國加州理工學院的物理學家Hopfield的開拓性工作.1982年他提出了一個新的神經(jīng)網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)模型，并首次引入了網(wǎng)絡(luò)能量函數(shù)概念，使網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù).尤其是1986年R Mmelhart和McCelland及其研究小組提出的誤差逆

8、傳播學習算法，成為至今影響最大的一種網(wǎng)絡(luò)學習方法.到90年代以后，人工神經(jīng)網(wǎng)絡(luò)從理論研究到軟件開發(fā)、軟件實現(xiàn)、各個學科領(lǐng)域廣泛應(yīng)用與相互滲透等諸多方面取得了全面的開展.有關(guān)神經(jīng)網(wǎng)絡(luò)的國際學術(shù)組織紛紛成立，學術(shù)會議紛紛召開，學術(shù)刊物紛紛創(chuàng)刊.神經(jīng)網(wǎng)絡(luò)理論已涉及到了神經(jīng)生理科學、認識科學、數(shù)理科學、心理學、信息科學、計算機科學、微電子學、光學、生物電子學等眾多學科，是一門新興的、綜合性的前沿學科.針對不同應(yīng)用目的的軟件開發(fā)全面展開，網(wǎng)絡(luò)計算機的硬件實現(xiàn)方面也取得了一些實實在在的成績.神經(jīng)網(wǎng)絡(luò)的應(yīng)用，已滲透到模式識別、圖像處理、非線性優(yōu)化、語音處理、自然語言理解、自動目標識別、機器人、專家系統(tǒng)等各個

9、領(lǐng)域，并取得了令人矚目的成果.總之，以Hopfield教授1982年發(fā)表的論文為標志，掀起了神經(jīng)網(wǎng)絡(luò)的研究熱潮.1987年6月，在美國加州舉行了第一屆NN國際會議，有一千多名學者參加，并成立了國際NN學會，以后每年召開兩次國際聯(lián)合NN大會IJCNN，其他國際學術(shù)會議也都列有NN主題.較有影響的國際刊物有：?IEEE Transaction on Neural Network?和?Neural Network?.美國IBM、AT&T、貝爾實驗室、神經(jīng)計算機公司、各高校、美國政府制定了“神經(jīng)、信息、行為科學NIBS方案，投資5.5億美元作為第六代計算機的研究根基；美國科學基金會、海軍研究局和空軍科

10、學研究部三家投資一千萬美元；美國國防部DARPA認為NN“看來是解決機器智能的唯一希望“這是一項比原子彈工程更重要的計術(shù)投資四億美元.主要研究目標：目標識別與追蹤、連續(xù)語音識別，聲納信號區(qū)分.日本的富士通、日本電氣、日立、三菱、東芝急起直追.1988年日本提出了所謂的人類尖端科學方案Human Frontier Science Program,即第六代計算機研究方案.法國提出了“尤里卡方案，還有德國的“歐洲防御和前蘇聯(lián)的“高技術(shù)開展等等.我國于1989年在北京召開了一個非正式的NN會議；1990年12月在北京召開了中國NN大會；1991年在南京成立中國NN學會，由國內(nèi)十五個一級學會共同發(fā)起“攜

11、手探智能，聯(lián)盟攻大關(guān)的863高技術(shù)研究方案；自然科學基金、國防科技預(yù)研究基金也都列入了NN研究內(nèi)容.人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元模型在人類大腦皮層中大約有100億個神經(jīng)元，60萬億個神經(jīng)突觸以及他們的聯(lián)接體.單個神經(jīng)元處理一個事件需要秒，而在硅芯片中處理一事件只需秒.但人腦是一個非常高效的構(gòu)造，大腦中每秒鐘每個動作的能量約為焦耳.神經(jīng)元是 基本的信息處理單元.生物神經(jīng)元主要由樹突、軸突和突觸組成.其構(gòu)造示意如如圖1-1所示.其中樹突是由細胞體向外伸出的，有不規(guī)那么的外表和許多較短的分支.樹突突觸樹突軸突神經(jīng)末梢細胞膜細胞質(zhì)細胞核圖1-1 生物神經(jīng)元模型相當于信號的輸入端，用于接收神經(jīng)沖動.軸突由細胞

12、體向外伸出的最長的一條分支，即神經(jīng)纖維.相當于信號的輸出電纜，其端部的許多神經(jīng)末梢為信號輸出端子，用于傳出神經(jīng)沖動.神經(jīng)元之間通過軸突輸出和樹突輸入相互聯(lián)接，其接口稱為突觸.每個細胞約有個突觸.神經(jīng)突觸是調(diào)整神經(jīng)元之間相互作用的 基本構(gòu)造和功能單元，最通常的一種神經(jīng)突觸是化學神經(jīng)突觸，它將得到的電信號化成化學信號，再將化學信號轉(zhuǎn)化成電信號輸出.這相當于雙接口設(shè)備.它能加強興奮或抑制作用，但兩者不能同時發(fā)生.細胞膜內(nèi)外有電位差，越位，稱為膜電位.膜外為正，莫內(nèi)為負.神經(jīng)元作為信息處理的 基本單元，具有如下重要的功能.可塑性：可塑性反映在新突觸的產(chǎn)生和現(xiàn)有的神經(jīng)突觸的調(diào)整上，可塑性使適應(yīng)周圍的環(huán)境

13、. 2時空整合功能：時間整合功能表現(xiàn)在不同時間、同一突觸上；空間整合功能表現(xiàn)在同一時間、不同突觸上.3興奮與抑制狀態(tài)：當傳入沖動的時空整合結(jié)果，使細胞膜電位升高，超過被稱為動作電位的閥值約為40mv,細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由突觸輸出；同樣，當膜電位低于閥值時，無神經(jīng)沖動輸出，細胞進入抑制狀態(tài).4脈沖與電位轉(zhuǎn)換：沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼的離散脈沖信號，而細胞電位變化為連續(xù)信號.在突觸接口處進展“數(shù)/模轉(zhuǎn)換.神經(jīng)元中的軸突非長和窄，具有電阻高、電壓大的特性，因此軸突可以建模成阻容傳播電路.5突觸的延時和不應(yīng)期：突觸對神經(jīng)沖動的傳遞具有延時和不應(yīng)期，在相鄰的二次沖動之間需要

14、一個時間間隔.在此期間對鼓勵不響應(yīng)，不能傳遞神經(jīng)沖動.6學習、遺忘和疲勞：突觸的傳遞作用有學習、遺忘和疲勞的過程.1.3.2 人工神經(jīng)網(wǎng)絡(luò)的模型人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元廣泛互連而成的網(wǎng)絡(luò)，是人腦的抽象、簡化、模擬，反映人腦的 基本特性.一般神經(jīng)元模型應(yīng)該具備三個要素：1具有一組突觸或聯(lián)接，常用表示神經(jīng)元和神經(jīng)元之間的聯(lián)系強度，或稱之為權(quán)值.與人腦神經(jīng)元不同，人工神經(jīng)元權(quán)值的取值可在負值與正值之間.2具有反映生物神經(jīng)元時空整合功能的輸入信號累加器.3具有鼓勵函數(shù)用于限制神經(jīng)元輸出.鼓勵函數(shù)將輸出信號壓縮限制在一個允許范圍內(nèi)，使其成為有限值，通常，神經(jīng)元輸出的擴大范圍在或閉區(qū)間.一個典型的人工

15、神經(jīng)元模型如圖1-2所示.圖1-2 人工神經(jīng)元模型其中為神經(jīng)元的輸入信號，為突觸強度或聯(lián)接權(quán).是由輸入信號線性組合后的輸出，是神經(jīng)元的凈收入.為神經(jīng)元的閥值或稱為偏差用表示，為經(jīng)偏差調(diào)整后的值，也稱為神經(jīng)元的局部感應(yīng)區(qū). 1-1 1-2是鼓勵函數(shù)，是神經(jīng)元的輸出. 1-3 鼓勵函數(shù)可取不同的函數(shù)，但常用的 基本鼓勵函數(shù)有以下三種：1閥值函數(shù)Threshold Function 1-4該函數(shù)通常也稱為階躍函數(shù)，常用表示，如圖1-3a所示.假設(shè)鼓勵函數(shù)采用階躍函數(shù)，那么圖1-2所示的人工神經(jīng)元模型即為著名的MPMcCulloch-Pitts模型.此時神經(jīng)元的輸出取1或0，反映了神經(jīng)元的興奮或抑制.

16、此外，符號函數(shù)也常常作為神經(jīng)元的鼓勵函數(shù)，如圖1-3b所示. 1-5圖1-3 a 閥值函數(shù)圖1-3 b 閥值函數(shù)2分段線性函數(shù)Piecewise-Linear Function 1-6該函數(shù)在-1,+1線性區(qū)內(nèi)的放大系數(shù)是一致的，如圖1-4所示，這種形式的鼓勵函數(shù)可看作是非線性放大器的近似，以下是兩種情況是分段線性函數(shù)的特殊形式：圖1-4 分段線性函數(shù)1假設(shè)在執(zhí)行中保持線性區(qū)域而使其不進入飽和狀態(tài)，那么會產(chǎn)生線性組合器.2假設(shè)線性區(qū)域的放大倍數(shù)無限大，那么分段線性函數(shù)簡化為閥值函數(shù).3Sigmoid函數(shù)Sigmoid函數(shù)也稱函數(shù).到目前為止，它是人工神經(jīng)網(wǎng)絡(luò)中最常用的鼓勵函數(shù).型函數(shù)的定義如下

17、： 1-7 其中為Sigmoid函數(shù)的斜率參數(shù)，通過改變參數(shù)，我們會獲取不同斜率的Sigmoid函數(shù)，如圖1-5所示.圖1-5 Sigmoid函數(shù)但斜率參數(shù)接近無窮大時，此函數(shù)轉(zhuǎn)化為簡單的閥值函數(shù)，但Sigmoid函數(shù)對應(yīng)0到1一個連續(xù)區(qū)域，而閥函數(shù)對應(yīng)的只是0和1亮點，此外Sigmoid函數(shù)是可微的，而閥值函數(shù)是不可微的.Sigmoid函數(shù)也可用雙曲正切函數(shù)來表示，如圖1-6所示. 1-8圖1-6 雙曲正切函數(shù)由式1-8定義的Sigmoid類型鼓勵函數(shù)所得到的負責具有分析價值.人工神經(jīng)網(wǎng)絡(luò)的分類及學習規(guī)那么前面介紹人工神經(jīng)元模型，將大量的神經(jīng)元進展連接可構(gòu)成人工神經(jīng)網(wǎng)絡(luò).神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的聯(lián)

18、結(jié)方式與用于訓(xùn)練網(wǎng)絡(luò)的學習算法是嚴密結(jié)合的，可以認為應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計中的學習算法是被構(gòu)造化了的.人工神經(jīng)網(wǎng)絡(luò)的分類本文將網(wǎng)絡(luò)構(gòu)造和學習算法相結(jié)合，對人工神經(jīng)網(wǎng)絡(luò)進展分類.單層前向網(wǎng)絡(luò)所謂單層前向網(wǎng)絡(luò)是指擁有的計算節(jié)點神經(jīng)元是“單層的，如圖1-7所示.這里原節(jié)點個數(shù)的“輸入層看作一層神經(jīng)元，因為該“輸入層不具有執(zhí)行計算的功能.后面介紹的單層感知器屬于單層前向網(wǎng)絡(luò).多層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)和單層前向網(wǎng)絡(luò)的區(qū)別在于：多層前向網(wǎng)絡(luò)含有一個或多個的隱含層，其中計算節(jié)點被相應(yīng)地稱為隱含神經(jīng)元或隱含單元，如圖1-8所示.圖1-8所示的多層前向網(wǎng)絡(luò)由含有10個神經(jīng)元輸入層、含有4個神經(jīng)元隱含層和2個神經(jīng)元輸

19、出層所組成.網(wǎng)絡(luò)輸入層中的每個源節(jié)點的鼓勵模式輸入向量單元組成了應(yīng)用于第二層如第一隱層中神經(jīng)元計算節(jié)點的輸入信號，第二層輸出信號成為第三層的輸入，其余層類似.網(wǎng)絡(luò)每一層的神經(jīng)元只含有作為它們輸入前一層的輸出信號，網(wǎng)絡(luò)輸出層終止層神經(jīng)元的輸出信號組成了對網(wǎng)絡(luò)中輸入層起始層源節(jié)點產(chǎn)生的鼓勵模式的全部響應(yīng).即信號從輸入層輸入，經(jīng)隱含層傳給輸出層，由輸出層得到輸出信號.圖1-7 單層前向網(wǎng)絡(luò)圖1-8 多層前向網(wǎng)絡(luò)通過參加一個或更多的隱層，使網(wǎng)絡(luò)能提取出更高的統(tǒng)計，尤其當輸入層規(guī)模龐大時，隱神經(jīng)元提取高序統(tǒng)計數(shù)據(jù)的能力便顯得格外重要.后面我們介紹的多層感知器屬于多層前向網(wǎng)絡(luò).反響網(wǎng)絡(luò)所謂反響網(wǎng)絡(luò)是指在網(wǎng)

20、絡(luò)中至少含有一個反響回路的神經(jīng)網(wǎng)絡(luò).反響網(wǎng)絡(luò)可以包含一個單層神經(jīng)元，其中每個神經(jīng)元將自身的輸出信號反響給其他所以神經(jīng)元的輸入，如圖1-9所示，圖中所示的網(wǎng)絡(luò)即為著名的Hopfied網(wǎng)絡(luò).圖1-10所示的是另一類型的含有隱層的反響網(wǎng)絡(luò)，圖中的反響聯(lián)結(jié)起始于隱神經(jīng)元和輸出神經(jīng)元.圖1-9和圖1-10所示的網(wǎng)絡(luò)構(gòu)造中沒有自反響回路.自反響是指一個神經(jīng)元的輸出反響至其輸入，含有自反響的網(wǎng)絡(luò)也屬于反響網(wǎng)絡(luò).圖1-9 無自反響和隱含層的反響網(wǎng)絡(luò)圖1-10 含有隱含層的反響網(wǎng)絡(luò)此外，常見的人工神經(jīng)網(wǎng)絡(luò)該有競爭神經(jīng)網(wǎng)絡(luò)和隨機神經(jīng)網(wǎng)絡(luò)，在這里就不詳加探討.1.4.2 神經(jīng)網(wǎng)絡(luò)的學習神經(jīng)網(wǎng)絡(luò)的學習也稱為訓(xùn)練，它是

21、通過向環(huán)境學習而獲取知識并改進自身性能，是NN的一個重要特點.一般情況下，性能的改善是按某種預(yù)定的度量通過調(diào)節(jié)自身參數(shù)如權(quán)值逐步到達的，學習方式按環(huán)境所提供信息的多少分有三種.監(jiān)視學習有教師學習這種學習方式需要外界存在一個“教師，他可對一組給定輸入提供應(yīng)有的輸出結(jié)果正確答案.這組的輸入輸出數(shù)據(jù)稱為訓(xùn)練樣本集.學習系統(tǒng)NN可根據(jù)的輸出與實際輸出之間的差值誤差信號來調(diào)節(jié)系統(tǒng)參數(shù).如圖1-11所示.圖1-11 監(jiān)視學習框圖非監(jiān)視學習無教師學習非監(jiān)視學習時不存在外部教師，學習系統(tǒng)完全按照環(huán)境所提供數(shù)據(jù)的某些統(tǒng)計規(guī)律來調(diào)節(jié)自身參數(shù)或構(gòu)造這是一種自組織過程，一表示外部輸入的某種固有特征如聚類，或某種統(tǒng)計上

22、的分布特征.如圖1-12所示.圖1-12 非監(jiān)視學習框圖再勵學習或強化學習這種學習介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結(jié)果只給出評價獎或罰而不給出正確答案，學習系統(tǒng)通過強化那些受獎勵的動作來改善自身特性.圖1-13 再勵學習框圖下面介紹 基本的神經(jīng)網(wǎng)絡(luò)學習算法.1. 糾錯學習首先我們考慮一個簡單的情況在：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸出層只有一個神經(jīng)元，給該神經(jīng)網(wǎng)格上輸入，這樣就產(chǎn)生輸出，稱該輸出為實際輸出.對于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出，稱為期望輸出或目標輸出.實際輸出與期望輸出之間存在著誤差，用表示. 1-9現(xiàn)在要調(diào)整突觸權(quán)值，使誤差信號減少.為此，可設(shè)定代價函數(shù)或性能指數(shù)： 1-10反

23、復(fù)調(diào)整突觸權(quán)值使代價函數(shù)到達最小或使系統(tǒng)到達一個穩(wěn)定狀態(tài)即突觸權(quán)值穩(wěn)定，就完成了學習過程.該學習過程稱為糾錯學習，也稱為Delta規(guī)那么或者WindrowHoff規(guī)那么.表示神經(jīng)元到的突觸權(quán)值，在學習步驟為時對突觸權(quán)值的調(diào)整為 1-11為學習速率參數(shù).式1-11說明：對神經(jīng)元突觸權(quán)值的調(diào)整與突觸信號和輸入信號成正比例.糾錯學習實際上是局部的，Delta規(guī)那么所規(guī)定的突觸調(diào)整局限于神經(jīng)元的周圍.得到之后，定義突觸權(quán)值的校正值為 (1-12)和可以分別看做突觸權(quán)值的舊值和新值. 2. Hebb學習神經(jīng)心里學家Hebb提出學習規(guī)那么可歸結(jié)為“當某一突觸連接兩端的神經(jīng)元的激活同步同為激活或同為抑制時，

24、該連接的強度應(yīng)增強，反之應(yīng)減弱.用數(shù)學方式可描述為 1-13式中，分別為兩端的神經(jīng)元的狀態(tài)，其中最常用的一種情況為 1-14由于與，的相關(guān)成比例，有時稱之為相關(guān)學習規(guī)那么. 3. 競爭學習顧名思義，在競爭中學習時網(wǎng)絡(luò)各輸出單元相互競爭，最后到達只有一個最強者激活.最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接，這樣眾多輸出單元中如有某一單元較強，那么它將獲勝并抑制其他單元，最后只有比較強者處于激活狀態(tài).最常用的競爭學習規(guī)那么可寫為 1-15此外，還有兩個 基本的神經(jīng)網(wǎng)絡(luò)學習規(guī)那么，即基于記憶的學習和隨機學習算法.在此不詳加討論.三種神經(jīng)網(wǎng)絡(luò)模型及其MATLB仿真算法單層前向網(wǎng)絡(luò)模型及其仿真算

25、法2.1.1 感知器的概念感知器Perceptron是美國心理學家Rosenblatt于1957年提出來的，它是最 基本的但具有學習功能的層狀網(wǎng)絡(luò)Layed Network.最初的感知器由三層組成，即SSensory層、AAssociation層和RResponse層，如圖3-1所示.S層和A層之間的耦合是固定的，只有A層和R層之間的耦合程度即權(quán)值可通過學習改變.假設(shè)在感知器的A層和R層加上一層或多層隱單元，那么構(gòu)成的多層感知器具有很強的處理功能，假設(shè)感知器隱層的節(jié)點可根據(jù)需要自由設(shè)置，那么用三層不包括S層的閾值網(wǎng)絡(luò)可以實現(xiàn)任意的二值邏輯函數(shù).應(yīng)注意，感知器學習方法在函數(shù)不是線性可分時得不出任

26、何結(jié)果，另外也不能推廣到一般前向網(wǎng)絡(luò)中去.其主要原因是轉(zhuǎn)移函數(shù)為閾值函數(shù)，為此，人們用可微函數(shù)如Sigmoid函數(shù)來代替閾值函數(shù)，然后采用梯度算法來修正權(quán)值.BP網(wǎng)絡(luò)就是采用這種算法的典型網(wǎng)絡(luò).圖2-1圖2-22.1.2 單層感知器單層感知器是指包含一個突觸權(quán)值可調(diào)的神經(jīng)元的感知器模型，它的訓(xùn)練算法是Rosenblatt在1958年提出來的.感知器是神經(jīng)網(wǎng)絡(luò)用來進展模式識別的一種最簡單模型，但是由單個神經(jīng)元組成的單層感知器只能用來實現(xiàn)線性可分的兩類模式的識別. 單層感知器模型如圖1-2所示，它包括一個線性累加器和一個二值閥值元件，同時還有一個外部偏差.當二值閥值元件的輸入是正數(shù)，神經(jīng)元就輸出+

27、1，反之其輸入是負數(shù)，那么產(chǎn)生輸出-1.即 2-1 2-22.1.3 單層感知器神經(jīng)網(wǎng)絡(luò)的學習感知器權(quán)值的學習是通過給定的教師信號即希望的輸出按學習規(guī)那么，即式2-3進展的： 2-3式中，為當前的權(quán)值矩陣；為教師信號；為控制權(quán)值修正速度的常數(shù)；為感知器的輸出值；即2-4由于感知器一般用于線性可分樣本的分類，激發(fā)函數(shù)選為閾值型函數(shù)，因而當式2-1-4中的時，該式可寫成2-5權(quán)值的初值一般取較小的非零隨機數(shù).線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)同感知器相似，是最簡單的一種神經(jīng)元絡(luò)，同感知器不同的是，在MATLAB中，線性神經(jīng)網(wǎng)絡(luò)輸出的激發(fā)函數(shù)為線性函數(shù)purelin，而感知器模型的激發(fā)函數(shù)為符號函數(shù)hardl

28、im，因此感知器模型中只可取0或者1，而線性神經(jīng)網(wǎng)絡(luò)輸出的數(shù)值可以是任意數(shù)值，這一點也決定了線性神經(jīng)網(wǎng)絡(luò)同感知器應(yīng)用范圍的不同.本節(jié)將簡單介紹線性神經(jīng)網(wǎng)絡(luò)的原理，通過實例演示MATLAB神經(jīng)網(wǎng)絡(luò)工具箱線性神經(jīng)網(wǎng)絡(luò)涉及函數(shù)，并講解線性神經(jīng)網(wǎng)絡(luò)的應(yīng)用.2.2.1 線性神經(jīng)網(wǎng)絡(luò)原理性神經(jīng)網(wǎng)絡(luò)由多個線性神經(jīng)元模型構(gòu)成，單個線性神經(jīng)元模型的構(gòu)造可以參考圖2-3.線性網(wǎng)格的激發(fā)函數(shù)為線性purelin函數(shù)，其輸出可以為任意值.圖2-3 單線性神經(jīng)元模型構(gòu)造當輸入向量為的個數(shù)為N，單線性神經(jīng)元同樣由輸入系數(shù)和閥值.當感知器神經(jīng)元模型中包含多個神經(jīng)元時，只需要將多個線性神經(jīng)元串聯(lián)，并形成網(wǎng)格拓撲機構(gòu)，同時對應(yīng)

29、于個神經(jīng)元輸出，那么第個神經(jīng)元的輸出為 2-6感知器的輸出函數(shù)由線性傳遞函數(shù)使用purelin函數(shù)實現(xiàn).第個神經(jīng)元經(jīng)過線性傳遞函數(shù)后的輸出為 2-7在MATLAB命令窗口輸入：x=-5:0.01:5;y=purelin(x);plot(x,y) 運行程序后得到線性神經(jīng)元purelin函數(shù)曲線如圖2-4所示.圖2-4 線性神經(jīng)元purelin函數(shù)曲線線性神經(jīng)網(wǎng)絡(luò)相關(guān)的MATLAB函數(shù)MATLAB神經(jīng)網(wǎng)絡(luò)工具箱提供了一系列函數(shù)進展線性神經(jīng)網(wǎng)絡(luò)的設(shè)計和分析，下面主要分別介紹線性神經(jīng)網(wǎng)絡(luò)構(gòu)建函數(shù)newlin、線性神經(jīng)網(wǎng)絡(luò)設(shè)計函數(shù)newlind.線性神經(jīng)網(wǎng)絡(luò)構(gòu)建函數(shù)newlinnewlin函數(shù)的調(diào)用格式

30、如下：net=nelin(PR,S,ID,LR)其中，PR為的輸入向量最大最小值構(gòu)成的矩陣，S為輸出向量的個數(shù)，ID為輸入延遲向量，LP為學習速率，學習速率可以使用maxlinlr函數(shù)進展計算，通過學習速率越大，網(wǎng)絡(luò)訓(xùn)練時間越短，但同時也導(dǎo)致學習過程不穩(wěn)定.如果P為訓(xùn)練樣本數(shù)據(jù)，那么maxlinlrP返回一個不帶閥值的線性層所需要的最大學習率，而maxlinlrP，bias返回一個帶閥值的線性層所需要的最大學習率.2. 線性層設(shè)計函數(shù)newlind函數(shù)在MATLAB神經(jīng)網(wǎng)路工具箱中，還可以使用newlind設(shè)計一個線性層，其調(diào)用格式如下：net=newlind(P,T,Pi)其中P、T分別是訓(xùn)

31、練樣本的輸入矩陣和目標輸出向量，Pi是初始輸入延時cell向量.多層前向神經(jīng)網(wǎng)絡(luò)模型及BP學習算法前面我們介紹了單層感知器，它的缺點是只能解決線性可分問題，要增強網(wǎng)絡(luò)的分類能力唯一的方法是采用多層網(wǎng)絡(luò)，即在輸入與輸出之間加上隱含層，從而構(gòu)成多層感知器Multilayer Perceptrons，MLP.這種由輸入層、隱含層一層或者多層和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò).本節(jié)將介紹兩個常見的多層前向網(wǎng)絡(luò)：多層感知器和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，詳細介紹多層感知器的學習算法著名的誤差反向傳播算法BP算法及其改進算法.BP算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，稱之為BP神經(jīng)網(wǎng)絡(luò).在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，BP網(wǎng)絡(luò)廣

32、泛應(yīng)用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等，的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)或它的變化形式，它也是前饋網(wǎng)絡(luò)的核心局部，表達了人工神經(jīng)網(wǎng)絡(luò)最精華的局部.所以，本節(jié)也會重點探討B(tài)P神經(jīng)網(wǎng)絡(luò)的應(yīng)用.多層感知器多層感知器是單層感知器的推廣，但是它能夠解決單層感知器所不能解決的非線性可分問題.多層感知器由輸入層、隱含層和輸出層組成，其中隱含層可以是一層或多層.其拓撲構(gòu)造如圖2-5所示.圖2-5 多層感知器模型輸入層神經(jīng)元的個數(shù)為輸入信號的維數(shù)，隱含層個數(shù)以及隱節(jié)點的個數(shù)視具體情況而定，輸出神經(jīng)元的個數(shù)為輸出信號的維數(shù).多層感知器同單層感知器比具有四個明顯的特點：1除了輸入輸出層，多層感知器含有一層或者多

33、層隱單元，隱單元從輸入模式中提取更多有用的信息，使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù).2多層感知器中每個神經(jīng)元的鼓勵函數(shù)是可微的Sigmoid函數(shù)，如 2-8式中是第個神經(jīng)元的輸入信號，是該神經(jīng)元的輸出信號.3多層感知器具有獨特的多個突觸使得網(wǎng)絡(luò)更具有連通性，聯(lián)接域的變化或權(quán)值的變化都會引起連通性的變化.4多層感知器具有獨特的學習算法BP算法，所以多層感知器也常常稱之為BP網(wǎng)絡(luò).多層感知器的這些特點，使它具有強大的計算能力.多層感知器是目前應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò).BP學習算法20世紀80年代中期，美國加利福尼亞的PDPparallel distributed procession小組于1986年發(fā)表了

34、Parallel Distributed Procession一書，該書的出版對BP算法產(chǎn)生了重要的影響.BP算法解決了多層感知器的學習問題，促進了神經(jīng)網(wǎng)絡(luò)的開展.BP學習過程的描述1工作信號的傳播：輸入信號從輸入層經(jīng)隱單元，傳向輸出層，在傳出端產(chǎn)生輸出信號，這是工作信號的正向傳播.在信號的向前傳遞過程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài).如果在輸出層不能得到期望的輸出，那么輸入誤差信號反向傳播.2誤差信號反向傳播：網(wǎng)絡(luò)的實際輸出與期望輸出之間的差值即為誤差信號，誤差信號由輸出端開場逐層向前傳播，這是誤差信號是反向傳播.在傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反響進展調(diào)

35、節(jié).通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更接近期望輸出.圖2-6 工作信號正向傳播，誤差信號反向傳播圖2-6為多層感知器的一局部，其中有兩種信號：一是工作信號，工作信號正向傳播；二是誤差信號，誤差信號反向傳播.下面以含有兩個隱層的BP網(wǎng)絡(luò)為例，如圖2-7所示，具體推導(dǎo)BP算法.圖2-7 含有二個隱含層的BP網(wǎng)絡(luò)設(shè)輸入層位，即有個輸入信號，其中的任一輸入信號用表示：第1隱層為，即有個神經(jīng)元，其中的任何一個神經(jīng)元用表示；第二層為,即有個神經(jīng)元，其中任一神經(jīng)元用表示，輸出層為，即有個輸出神經(jīng)元，其中任一神經(jīng)元用表示.輸入層與第一隱層的突觸權(quán)值用表示；第1隱層與第2隱層的突觸權(quán)值用表示；第2隱層與輸出層

36、用的突觸權(quán)值用表示.神經(jīng)元的輸入用表示，鼓勵輸出用表示，的上標表示層，下標表示層中的某個神經(jīng)元，如A表示層即第1層的第個神經(jīng)元輸入.設(shè)所有的神經(jīng)元的鼓勵函數(shù)均用Sigmoid函數(shù).設(shè)訓(xùn)練樣本集為，對應(yīng)任一訓(xùn)練樣本，的實際輸出為，期望輸出為.設(shè)n為迭代次數(shù)，權(quán)值和實際輸出是n的函數(shù).網(wǎng)絡(luò)輸入訓(xùn)練樣本，由工作信號的正向傳播可得：輸出層第個神經(jīng)元的誤差信號為定義神經(jīng)元的誤差能量為，那么輸出層所有神經(jīng)元的誤差能量總和為： 2-9誤差信號從后向前傳遞，在反向傳播的過程中，逐層修改聯(lián)接權(quán)值.下面計算誤差信號的反向傳播過程：1隱層與輸出層之間的權(quán)值修正量.BP算法中權(quán)值的修正量與誤差絕對值的偏微分成正比，即

37、：因為又，那么設(shè)局部梯度2-10當鼓勵函數(shù)為邏輯函數(shù)，即從而有那么 2-11 根據(jù)Delta學習規(guī)那么，的修正量為 2-12式中，是學習步長，可由式2-11求得，可由正向傳播求得.那么下一次的迭代時隱層上任一節(jié)點與輸出層上任一節(jié)點之間的權(quán)值為 2-132隱層與隱層之間的權(quán)值修正量： 2-14與式2-14相類似，局部梯度為 2-15因為 2-16又 那么 2-17由式2-15和式2-17得將式2-10代入上式得 2-18式中可由式2-11求得，.為隱含層與輸出層任一節(jié)點之間的權(quán)值，已由式2-13求得.所以 2-19那么下一次迭代時，隱層上任一節(jié)點與隱層上任一節(jié)點之間的權(quán)值為 2-203與隱層和隱

38、層之間的權(quán)值修正量的推導(dǎo)方法一樣，輸入層上任一節(jié)點與隱層任一節(jié)點之間權(quán)值的修正量為 2-21其中 2-22式中可由式3-17求出，.為隱層與隱層之間任一節(jié)點之間的權(quán)值，已由式2-20求得.那么下一次迭代時，輸入層上任一節(jié)點與隱層上任一節(jié)點之間的權(quán)值為 2-232.3.3 BP網(wǎng)絡(luò)的MATLAB仿真程序設(shè)計的 基本方法 BP網(wǎng)絡(luò)設(shè)計主要包括輸入層、隱層、輸出層及各層之間的傳輸函數(shù)幾個方面.網(wǎng)絡(luò)層數(shù)大多數(shù)通用的神經(jīng)網(wǎng)絡(luò)都預(yù)先確定了網(wǎng)絡(luò)的層數(shù)，而BP網(wǎng)絡(luò)可以包括不同的隱層.但理論上已經(jīng)證明，在不限隱層節(jié)點數(shù)的情況下，兩層只有一個隱層的BP網(wǎng)絡(luò)可以實現(xiàn)任意非線性映射.在模式樣本相對較少的情況下，較少的

39、隱層節(jié)點，可以實現(xiàn)模式樣本空間的超平面劃分，此時，選擇兩層BP網(wǎng)絡(luò)就可以了；當模式樣本數(shù)很多時，減少網(wǎng)絡(luò)規(guī)模，增加一個隱層是必要的，但BP網(wǎng)絡(luò)隱層數(shù)一般不超過兩層.輸入層的節(jié)點數(shù)輸入層起緩沖存儲器的作用，它接收外部的輸入數(shù)據(jù)，因此其節(jié)點數(shù)取決于輸入矢量的維數(shù).比方，當把大小的圖像作為輸入數(shù)據(jù)時，輸入節(jié)點數(shù)將為1024個.輸出層的節(jié)點數(shù)輸出層的節(jié)點數(shù)取決于兩個方面，輸出數(shù)據(jù)類型和表示該類型所需要的數(shù)據(jù)大小.當BP網(wǎng)絡(luò)用于模式分類時，以二進制形式來表示不同模式的輸出結(jié)果，那么輸出層的節(jié)點數(shù)可根據(jù)待分類模式數(shù)來確定.假設(shè)設(shè)待分類模式的總數(shù)為，那么有兩種方法確定輸出層的節(jié)點數(shù)：節(jié)點數(shù)即為待分類模式總數(shù)

40、，此時對應(yīng)第個待分類模式的輸出為即第個節(jié)點輸出為1，其余為0.而以輸出全為0表示拒識，即所輸入的模式不屬于待分類模式中的任一種模式.節(jié)點數(shù)為個.這種輸出方式是種輸出模式的二進制編碼.隱層的節(jié)點數(shù)一個具有無限隱層節(jié)點的兩層BP網(wǎng)絡(luò)可以實現(xiàn)任意從輸入到輸出的非線性映射.但對于有限個輸入模式到輸出模式的映射，并不需要無限個隱層節(jié)點，這就涉及到如何選擇隱層節(jié)點數(shù)的問題，而這一問題的復(fù)雜性，即到至今為止，尚未找到一個很好的解析式，隱層節(jié)點數(shù)往往根據(jù)前人設(shè)計所得的經(jīng)歷和自己進展試驗來確定.一般認為，隱層節(jié)點數(shù)與求解問題的要求、輸出單元多少都有直接的聯(lián)系.另外，隱層節(jié)點數(shù)太多會導(dǎo)致學習時間過長；而節(jié)點數(shù)太少

41、，容差性差，識別未經(jīng)學習的樣本能力低，所以必須綜合多方面因素進展時設(shè)計.傳輸函數(shù)通常采用型函數(shù)：在某些特定情況下，還可能采用純線性函數(shù).如果BP網(wǎng)絡(luò)最后一層是函數(shù)，那么整個函數(shù)的輸出就限制在一個較小的范圍內(nèi)之間的任意連續(xù)量；如果BP網(wǎng)絡(luò)的最后一層是純線性函數(shù)，那么整個網(wǎng)絡(luò)的輸出可以是任意值. 創(chuàng)立和訓(xùn)練BP的MATLAB程序如下：clear all%定義輸入向量和目標向量p=1 2;-1 1;-2 1;4 0;t=0.2 0.8 0.8 0.2;%創(chuàng)立BP網(wǎng)絡(luò)和定義訓(xùn)練函數(shù)及參數(shù)net=newff(-1 1;-1 1,5 1,logsig logsig,taingd);net.trainPar

42、am.goal=0.001;net.trainParam.epochs=5000;%訓(xùn)練神經(jīng)網(wǎng)絡(luò)net,tr=train(net,p,t);%輸出訓(xùn)練后的權(quán)值和閥值iw1=net.IW1b1=net.b1lw2=net.LW2b2=net.b2神經(jīng)網(wǎng)絡(luò)在數(shù)學建模中的應(yīng)用3.1神經(jīng)網(wǎng)絡(luò)算法在非線性方程與微分方程方面的應(yīng)用3.1.1 非線性函數(shù)的逼近使用神經(jīng)網(wǎng)絡(luò)逼近非線性函數(shù)，繪制非線性函數(shù)，并產(chǎn)生網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)點.解：非線性神經(jīng)網(wǎng)絡(luò)的輸出函數(shù)為非線性傳遞函數(shù)purelin，其輸出可以為任意數(shù)值，因此非線性神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍非常廣泛，可以應(yīng)用于非線性系統(tǒng)擬合、函數(shù)逼近、系統(tǒng)識別等方面.%matlab程

43、序x=-2:.01:1;y=2*x.6+3*x.5+3*x.3-2*x.2;p=x(1:15:end);t=y(1:15:end);plot(x,y,p,t,ko)legend(逼近函數(shù),網(wǎng)絡(luò)訓(xùn)練點)其中，數(shù)據(jù)作為線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)點集，程序運行結(jié)果如圖3-1所示.使用newlind函數(shù)訓(xùn)練線性神經(jīng)網(wǎng)絡(luò)：q=length(y);r=zeros(6,q);r(1,2:q)=y(1,1:(q-1);r(2,3:q)=y(1,1:(q-2);r(3,4:q)=y(1,1:(q-3);r(4,5:q)=y(1,1:(q-4);r(5,6:q)=y(1,1:(q-5);r(6,7:q)=y(1,1:

44、(q-6);net=newlind(r,y);a=sim(net,r);figureplot(x,y,x,a,k-o)legend(給定輸入信號,網(wǎng)絡(luò)輸出信號)運行結(jié)果如圖3-1所示.圖3-1 非線性逼近函數(shù)和網(wǎng)絡(luò)訓(xùn)練圖3-2 線性神經(jīng)網(wǎng)絡(luò)非線性曲線逼近結(jié)果3.1.2線性神經(jīng)網(wǎng)絡(luò)逼近函數(shù)使用newlin函數(shù)構(gòu)建線性神經(jīng)網(wǎng)絡(luò)逼近函數(shù)：首先，產(chǎn)生輸入訓(xùn)練樣本和訓(xùn)練目標樣本.%matlab程序time1=0:.01:2;time2=2:.01:4;time3=4:.01:6;time=time1 time2 time3;t=cos(time1*pi) cos(time2*3*pi) cos(time

45、3*5*pi);t=con2seq(t); %將向量轉(zhuǎn)化為序列cell向量p=t; %輸出向量等于給定輸出向量使用newlin函數(shù)構(gòu)建線性神經(jīng)網(wǎng)絡(luò)，并使用adapt函數(shù)訓(xùn)練網(wǎng)絡(luò).lr=0.1;delays=1 2 3 4 5 6;net=newlin(minmax(cat(2,p:),1,delays,lr);net,a,e=adapt(net,p,t);繪制網(wǎng)格輸出信號和給定信號以及殘差信號曲線.plot(time,cat(2,p:),time,cat(2,a:),k-o)legend(給定輸入信號,網(wǎng)格輸出信號)figureplot(time,cat(2,e:)title(誤差曲線) 結(jié)果

46、如圖3-3和圖3-4所示.圖3-3 使用newlin函數(shù)進展逼近效果曲線圖3-4 newlin函數(shù)逼近的誤差圖下面使用實例演示newlind函數(shù)的使用.首先，產(chǎn)生輸入訓(xùn)練樣本和訓(xùn)練目標樣本.%matlab程序time1=0:.01:2;time2=2:.01:4;time3=4:.01:6;time=time1 time2 time3;t=cos(time1*pi) cos(time2*3*pi) cos(time3*5*pi);q=length(t);p=zeros(6,q);p(1,2:q)=t(1,1:(q-1);p(2,3:q)=t(1,1:(q-2);p(3,4:q)=t(1,1:(

47、q-3);p(4,5:q)=t(1,1:(q-4);p(5,6:q)=t(1,1:(q-5);p(6,7:q)=t(1,1:(q-6);使用newlind函數(shù)設(shè)計線性層.net=newlind(p,t);a=sim(net,p);plot(time,t,time,a,k-o)legend(給定輸入信號,網(wǎng)絡(luò)輸出信號)figureplot(time,a-t)title(誤差曲線) 線性層網(wǎng)絡(luò)函數(shù)逼近效果如圖3-5和圖3-6所示.圖3-5線性層設(shè)計函數(shù)newlind函數(shù)逼近效果圖3-6線性層設(shè)計函數(shù)newlind函數(shù)逼近誤差圖3.1.3基于神經(jīng)網(wǎng)絡(luò)定積分計算模型人工神經(jīng)網(wǎng)絡(luò)的主要特點是其非線性映射

48、能力,這種能力使得神經(jīng)網(wǎng)絡(luò)能夠逼近任何給定的連續(xù)函數(shù).從應(yīng)用的角度來看,一個人工神經(jīng)網(wǎng)絡(luò)是根據(jù)某種“目標而構(gòu)造的，這樣的目標一般情形下是一個多元或一元函數(shù)，稱之為“目標函數(shù)，可通過對權(quán)值的學習，使得目標函數(shù)盡可能逼近于人們理想中目標函數(shù).基于這些思想，提出了一種基于積分定義的神經(jīng)網(wǎng)絡(luò)模型.現(xiàn)我們來確定學習訓(xùn)練樣本數(shù)據(jù),首先對訓(xùn)練樣本數(shù)據(jù)作預(yù)處理：假設(shè)被積在區(qū)間上有種分法，其中劃分為：，令，其中：，那么學習訓(xùn)練樣本數(shù)據(jù)集為，其中為積分的準確值.那么，基于積分定義的神經(jīng)網(wǎng)絡(luò)求解數(shù)值積分模型如圖3-7所示.圖3-7 求解數(shù)值積分模型其中為神經(jīng)網(wǎng)絡(luò)權(quán)值，設(shè)神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣為：，其中，；鼓勵函數(shù)為恒等

49、函數(shù)，閥值取0，那么該網(wǎng)絡(luò)輸出定義誤差代價函數(shù)：，其中為訓(xùn)練樣本點數(shù)，為被積函數(shù).設(shè)誤差矩陣為，那么有性能指標：為Euclidean范式的平方.根據(jù)梯度下降法學習規(guī)那么，故權(quán)值調(diào)整公式如下：其中為學習效率，且.基于神經(jīng)網(wǎng)絡(luò)的定積分學習算法神經(jīng)網(wǎng)絡(luò)學習的目標就是對權(quán)值的學習，參照一般神經(jīng)網(wǎng)絡(luò)的學習過程，那么，神經(jīng)網(wǎng)絡(luò)求積分的學習步驟如下：step1 獲取神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集：；隨機產(chǎn)生網(wǎng)絡(luò)權(quán)值，；給定誤差精度；令.step2 計算網(wǎng)絡(luò)輸出：step3 計算誤差函數(shù)：step4 計算性能指標：step5 計算學習率：step6 權(quán)值調(diào)整：step7 如果樣本集未訓(xùn)練完，返回step2重復(fù)上述步驟；否

50、那么，判斷性能指標是否，如果是，令，返回step2重復(fù)上述步驟，否那么，完畢網(wǎng)格訓(xùn)練，輸出網(wǎng)格權(quán)值：.如求解定積分，準確到8位有效數(shù)字.MATLAB編程實現(xiàn)：%定積分函數(shù)function y=f(x)y=exp(x).*cos(100.*x);clc;format longa=0;b=pi; %a,b為積分區(qū)間tol=0.00000001; %tol為準確度J=2*tol;m=20; %將區(qū)間a,b分為m+1個不等距的區(qū)間p=6.389; %p為定積分的準確值n=50; %n為訓(xùn)練樣本個數(shù)X=zeros(m+1,n);x=zeros(m,n);c=zeros(m,n);w=zeros(m,n)

51、;X(1,:)=a;X(m+1,:)=b;for i=1:nX(2,i)=a+0.1*rand;X(m,i)=b-0.1*rand;endfor i=3:(m-1)for j=1:nX(i,j)=X(2,j)+(X(m,j)-X(2,j)*rand;endendX=sort(X);for i=1:mfor j=1:nx(i,j)=X(i+1,j)-X(i,j);endendx;for i=1:mfor j=1:nc(i,j)=X(i,j)+x(i,j)*rand;endendc;epoch=0;TT=;while JtolJ=0;epoch=epoch+1;for k=1:nt=x(:,k);

52、w=f(c(:,k); %w為網(wǎng)絡(luò)權(quán)值y=w*t;EK=p-y;u=1./(abs(t*(df(c(:,k)2; %學習率u的取值c(:,k)=c(:,k)+u*(p-y)*t*(df(c(:,k);J=J+sum(EK.2)/2;endTT(epoch)=J;Jif J0; %求感知器閾值激發(fā)后的輸出，F(xiàn)表示式2-5中的y(k) F(1,i)=1; else,F(1,i)=0; end end %一次分類循環(huán)完畢 if all(F=T) %感知器的輸出F和目標T不等時修正權(quán)值陣和閾值 break enddW=(T-F)*X;E=0.01;0.01;0.0;0.0;0.01;0.01;0.01

53、;0.01; %dC=0.1*(T-F)*E,表示閾值不修正W=W+dW; Wz(:,j)=W; %存儲分類過程中的動態(tài)權(quán)值%C=C+dC; %表示閾值不修正Y=W*X+C;end %循環(huán)完畢Wz %打印分類過程中的動態(tài)權(quán)值 %開場繪圖plotpv(X,T); %繪點plotpc(W,C); %繪分割線grid onxlabel(x1),ylabel(x2) 2感知器分類結(jié)果如圖3-12所示.圖3-12 例2-1單神經(jīng)元感知器分類結(jié)果圖中，“o代表目標向量中的“0，“+代表目標向量中的“1，橫軸x1表示樣本，縱軸x2表示樣本.感知器的參數(shù).感知器的權(quán)值矩陣初值Wc、閾值初值C和分類過程中的動態(tài)

54、權(quán)值矩陣Wz如下：Wc = -0.1000 0.2000C = 0.9003Wz =0.7000 1.5000 1.7000 2.2000 2.4000 2.6000 2.8000 3.3000 3.5000 3.7000 4.2000 3.9000 4.4000 4.1000 從程序看，分類循環(huán)次數(shù)M設(shè)置為20次；從打印出的分類過程中的動態(tài)權(quán)值矩陣Wz來看，Wz只有5組權(quán)值，說明程序之循環(huán)了5次就滿足了分類的誤差要求：4程序分析. 在程序中權(quán)值矩陣的初值Wc和閾值初值可以分別采用W=rands(S,R)；Wc=W 和C=rands(S,1)產(chǎn)生隨機數(shù)，也可以直接設(shè)置隨機小數(shù).程序中Wc采用置

55、隨機小數(shù)，而閾值初值C采用產(chǎn)生隨機數(shù)指令實現(xiàn).如果Wc和C均采用rands指令產(chǎn)生隨機數(shù)實現(xiàn)，也可以得到類似圖3-6所示的分類結(jié)果，讀者不妨一試. 本例的樣本為隨機數(shù)，無量綱，無規(guī)律.目標向量正好與樣本巧合，才得到了圖3-6所示的分類結(jié)果.如果目標向量隨機給定，如，那么該程序無法分類，相當于對線性不可分的樣本分類，單神經(jīng)元感知器無能為力如例2-2.樣本矩陣同上例，隨機目標向量T=1，0，0，1，0，1，0，0.解 clearX=-0.5,-0.5,0.3,0.1,-0.1,0.8,0.2,0.3;0.3,-0.2,-0.6,0.1,-0.5,1.0,0.3,0.9;T=1,0,0,1,0,1,

56、0,0;M=20;R,Q=size(X); %R=2;Q=8為X矩陣的維數(shù)S,Q=size(T); %S=1;Q=8為T矩陣的維數(shù)%W=rands(S,R); %根據(jù)輸入樣本X和目標向量T的維數(shù)產(chǎn)生隨機權(quán)值陣W%初值W=-0.1 0.2;Wc=W %打印權(quán)值的初值C=rands(S,1); %產(chǎn)生隨機閾值初值C %打印隨機產(chǎn)生的閾值初值Y=W*X+C; %計算感知器輸出for j=1:M %循環(huán)開場 for i=1:8 %對感知器輸出分類 if Y(1,i)0; %求感知器閾值激發(fā)后的輸出，F(xiàn)表示式3-8)中的y(k) F(1,i)=1; else,F(1,i)=0; end end %一次分

57、類循環(huán)完畢 if all(F=T) %感知器的輸出F和目標T不等時修正權(quán)值陣和閾值 break enddW=(T-F)*X;E=0.01;0.01;0.0;0.0;0.01;0.01;0.01;0.01; %dC=0.1*(T-F)*E,表示閾值不修正W=W+dW; Wz(:,j)=W; %存儲分類過程中的動態(tài)權(quán)值%C=C+dC; %表示閾值不修正Y=W*X+C;end %循環(huán)完畢Wz %打印分類過程中的動態(tài)權(quán)值 %開場繪圖plotpv(X,T); %繪點plotpc(W,C); %繪分割線grid onxlabel(x1),ylabel(x2) 2感知器分不開類的結(jié)果如圖3-13所示.圖3-

58、13 感知器分不開類的結(jié)果3感知器的參數(shù).感知器的權(quán)值矩陣初值Wc、閾值初值C和分類過程中的動態(tài)權(quán)值矩陣Wz如下：Wc = -0.1000 0.2000C = -0.5377Wz = 0.3000 -0.6000 0 -0.7000 -0.3000 -0.5000 -0.7000 -0.3000 -0.5000 -0.4000 -0.6000 -0.2000由圖2-4可知，隨機目標向量與樣本規(guī)律不同，單神經(jīng)元感知器不能分類.如過輸入樣本具有物理量綱，并對樣本從小到大或從大到小排列，目標向量要符合樣本的排列規(guī)律，即使目標向量在一定范圍內(nèi)變化，那么分類問題無疑可實現(xiàn).3.4.2 蠓蟲分類問題生物學

59、家試圖對兩類蠓蟲與進展鑒別,依據(jù)的資料是蠓蟲的觸角和翅膀的長度,已經(jīng)測得9只和6只的數(shù)據(jù),(觸角長度用表示,翅膀長度用表示)具體數(shù)據(jù)為:；現(xiàn)需要解決二個問題:1如何憑借原始資料(15 對數(shù)據(jù),被稱之為學習樣本)制定一種方法,正確區(qū)分兩類蠓蟲;2依據(jù)確立的方法,對題目提供的三個樣本：(1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識別.解：我們使用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)分類蠓蟲問題首先，輸入訓(xùn)練樣本、訓(xùn)練目標樣本及測試樣本：%輸入向量p=1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1

60、.30;1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96;%輸出向量t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0;s=1.24 1.28 1.40;1.80 1.84 2.04; 使用newff函數(shù)建設(shè)BP神經(jīng)網(wǎng)絡(luò)，并且使用訓(xùn)練樣本數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)：net=newff(minmax(p),5,1,logsig,purelin,traingdx);net.trainParam.show=50;net.trainParam.lr=0.1;net.trainParam.lr_inc=1.