神經(jīng)網(wǎng)絡(luò)的綜述

1、.緒論31神經(jīng)網(wǎng)絡(luò)的提出與發(fā)展3 1.御經(jīng)網(wǎng)絡(luò)的定義31.3經(jīng)網(wǎng)絡(luò)的發(fā)展歷程41.4神經(jīng)網(wǎng)絡(luò)研究的意義 62. BP神經(jīng)網(wǎng)絡(luò) 72.1B神經(jīng)網(wǎng)絡(luò)介紹72.2B算法的研究現(xiàn)狀72.3BPP絡(luò)的應(yīng)用 8 2基本結(jié)構(gòu)與學(xué)習(xí)算法8 2.劭作過(guò) TOC o 1-5 h z 程112.6主要特點(diǎn)及參數(shù)優(yōu)選 133.BP網(wǎng)絡(luò)在復(fù)合材料研究中的應(yīng)用 15 3.材料設(shè)計(jì)15 3性能預(yù)測(cè)16 2.4傷檢測(cè)和預(yù)測(cè)172.5論做謝:18BP神經(jīng)網(wǎng)絡(luò)綜述摘要:本文闡述了人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)控制的基本概念特點(diǎn)以及兩者之間的關(guān)系，討論了人工神經(jīng)網(wǎng)絡(luò)的兩個(gè)主要研究方向神經(jīng)網(wǎng)絡(luò)的VC維計(jì) 算和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘，著重介紹了人

2、工神經(jīng)網(wǎng)絡(luò)的工作原理和神經(jīng)網(wǎng)絡(luò)控制技術(shù)的應(yīng)用首先介紹了神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，隨后對(duì)BP神經(jīng)網(wǎng)絡(luò)的學(xué) 習(xí)方法分為了導(dǎo)師知識(shí)學(xué) 習(xí)訓(xùn)練和模式識(shí)別決策，并重點(diǎn)分析了導(dǎo)師知識(shí)學(xué) 習(xí)訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法， 最后介紹了 BP神經(jīng)網(wǎng)絡(luò)在性能預(yù)測(cè)中的應(yīng) 用。關(guān)鍵詞:人工神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)控制；應(yīng)用;維;數(shù)據(jù)挖掘Abstract:Itexpounds the basic concepts, characteristics of the artificial neural network and neural network control and the relationship between them.I

3、t discusses two aspects:the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets.And the basic principle of artificial neural networks and applications of neural network control technology are emphatically introduced. Key words:ArtificialNeural Networks; Neural Network Contro

4、l;this paper introduces the developing process of neural networ ks, and then it divides the learning methods of BP neural network into a instructor knowledge learning training and pat tern recognition decisions, and focus on analysis of the net work structure and learning algorithm of knowledge and

5、learni ng mentors training .And finally it introduces the applicatio ns of BP neural network in performance prediction.Application;Vapnik-Chervonenkis Mimension;Data Mining.緒論神經(jīng)網(wǎng)絡(luò)的提出與發(fā)展系統(tǒng)的復(fù)雜性與所要求的精確性之間存在尖銳的矛盾。為此,通過(guò)模擬人類學(xué)習(xí)和自適應(yīng)能力，人們提出了智能控制的思想。控制理論專家Austrom在IFAC大會(huì)上指出:模糊邏輯控制、神經(jīng)網(wǎng)絡(luò)與專家控制是三種典型的控制方法。通常專家系統(tǒng)建立在

6、專家經(jīng)驗(yàn)上，并非建立在工業(yè)過(guò)程所產(chǎn)生的操作數(shù)據(jù)上，且一般復(fù)雜 系統(tǒng)所具有的不精性、不確定性就算領(lǐng)域?qū)＜乙埠茈y把握，這使建立專家系統(tǒng)非 常困難.而模糊邏輯和神經(jīng)網(wǎng)絡(luò)作為兩種典型的智能控制方法，各有優(yōu)缺點(diǎn).模糊邏輯與神經(jīng)網(wǎng)絡(luò)的融合 模糊神經(jīng)網(wǎng)絡(luò)（Fuzzy Neural Network由于吸取了模糊邏輯 和神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，部分避免了兩者的缺點(diǎn)，已經(jīng)成為當(dāng)今智能控制研究的熱點(diǎn)之 一.人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeural NetworkANN,簡(jiǎn)稱為 神經(jīng)網(wǎng)絡(luò)（NN,作為對(duì) 入腦最簡(jiǎn)單的一種抽象和模擬，是人們模仿人的大腦神經(jīng)系統(tǒng)信息處理功能的一個(gè)智能化系統(tǒng)。它的出現(xiàn)成為人們進(jìn)一步了解入腦思維

7、奧秘的有力工具。盡管它還不是大腦的完美無(wú)缺的模型，但它特有的非線性適應(yīng)性信息處理能力，可以通過(guò)學(xué)習(xí) 來(lái)獲取外部的知識(shí)并存儲(chǔ)在網(wǎng)絡(luò)內(nèi)，可以解決計(jì)算機(jī)不易處理的難 題,特別是語(yǔ)音和 圖像識(shí)別、理解、知識(shí)的處理、組合優(yōu)化計(jì)算和智能控制等系列本質(zhì)上非計(jì)算的問(wèn)題，使之在神經(jīng)專家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu) 化、預(yù)測(cè)等領(lǐng)域得到成 功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其他傳統(tǒng)方法相結(jié)合，將推動(dòng)人工智能和信息處理技術(shù)不 斷發(fā)展。80年后代期，特別是在近年來(lái)，神經(jīng)網(wǎng)絡(luò)的研 究取得了很大的進(jìn)展，在神經(jīng) 網(wǎng)絡(luò)這個(gè)涉及生物、電子、計(jì)算機(jī)、數(shù)學(xué)、物理等 多種學(xué)科的新的高科技領(lǐng)域中， 吸引了眾多的神經(jīng)生理學(xué)家、心理學(xué)家、數(shù)學(xué)家、計(jì)

8、算機(jī)與信息科學(xué)以及工程師 和企業(yè)家等。大量的有關(guān)神經(jīng)網(wǎng)絡(luò)機(jī)理、 模型、算法特性分析，以及在各方面應(yīng) 用的研究成果層出不窮，在國(guó)際上掀起了一股人工 神經(jīng)網(wǎng)絡(luò)的研究熱潮。神經(jīng)網(wǎng)絡(luò)的定義神經(jīng)網(wǎng)絡(luò)是由多個(gè)簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算機(jī)系 統(tǒng)，該系統(tǒng)通過(guò)對(duì)連續(xù)或斷續(xù)式的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理。雖然每個(gè)神經(jīng)元的結(jié)構(gòu)和功能十分簡(jiǎn)單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為確實(shí)豐富多 彩和 十分復(fù)雜。BP神經(jīng)網(wǎng)絡(luò)是基于BP算法的多層前饋網(wǎng)絡(luò)，具網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，算法成熟，具有 自學(xué)習(xí)和自適應(yīng)等優(yōu)點(diǎn)，并且具有非線性動(dòng)力學(xué)的特點(diǎn)。BP算法通過(guò)輸入、輸出數(shù)據(jù)樣本集，根據(jù)誤差反向傳遞的原理，對(duì)網(wǎng)絡(luò)進(jìn)行

9、訓(xùn)練，其學(xué)習(xí)過(guò)程包括信息的 正 想傳播過(guò)程以及誤差的反向傳播這兩個(gè)過(guò)程，對(duì)其反復(fù)訓(xùn)練，連續(xù)不斷地在相對(duì)誤 差函數(shù)梯度下降的方向上，對(duì)網(wǎng)絡(luò)權(quán)值和偏差的變化進(jìn)行計(jì)算，逐漸逼近，目標(biāo)。典 型的BP神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層、 至少一個(gè)隱含層和一個(gè)輸出層組成。一個(gè)典型的三層BP神經(jīng)網(wǎng)絡(luò)如下圖所示輸入輸入層 隱含層輸出層輸出神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程人工神經(jīng)網(wǎng)絡(luò)的研究始于20世紀(jì)40年代。半個(gè)多世紀(jì)以來(lái)，它經(jīng)歷了一條由 興起到衰退，又由衰退到興盛的曲折發(fā)展過(guò)程，這一發(fā)展過(guò)程大致可以分為以下四 個(gè)階段。1、初始發(fā)展階段人工神經(jīng)系統(tǒng)的研究可以追溯到1800年Frued的前精神分析學(xué)時(shí)期，他已做了 些初步工作1913年人工

10、神經(jīng)系統(tǒng)的第一個(gè)實(shí)踐是 Russell描述的水力裝置。1943 年美國(guó)心理學(xué)家 Warren S McCulloch與數(shù)學(xué)家 Water H P讓ts合作，用邏輯的數(shù) 學(xué)工 具研究客觀事件在形式神經(jīng)網(wǎng)絡(luò)中的描述，從此開(kāi)創(chuàng)了對(duì)神經(jīng)網(wǎng)絡(luò)的理論研 究。他 們?cè)诜治觥⒖偨Y(jié)神經(jīng)元基本特性的基礎(chǔ)上，首先提出了神經(jīng)元的數(shù)學(xué)模型，簡(jiǎn)稱胛 模型。從腦科學(xué)研究來(lái)看，MP模型不愧為第一個(gè)用數(shù)理語(yǔ)言描述腦的信息處理過(guò) 程的模型。后來(lái)MP模型經(jīng)過(guò)數(shù)學(xué)家的精心臻理和抽象，最終發(fā)展成一種有 限自動(dòng) 機(jī)理論，再一次展現(xiàn)了 MP模型的價(jià)值。此模型沿用至今，直接影響著這一 領(lǐng)域研 究的進(jìn)展。通常認(rèn)為他們的工作是神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究工

11、作的開(kāi)始。在McCulloch和P讓ts之后，1949年心理學(xué)家D. 0. Hebb發(fā)表了論著 行為自組 織”首先提出了一種調(diào)整神經(jīng)網(wǎng)絡(luò)連接權(quán)值的規(guī)則。他認(rèn)為，學(xué)習(xí)過(guò)程是在實(shí)觸上發(fā)生的,連接權(quán)值的調(diào)整正比于兩相連神經(jīng)元活動(dòng)狀態(tài)的乘積，這就是著名的Hebb學(xué)習(xí)律。直到現(xiàn)在，Hebb學(xué)習(xí)律仍然是神經(jīng)網(wǎng)絡(luò)中的一個(gè)極為重要的學(xué)習(xí)規(guī) 則。人工神經(jīng)網(wǎng)絡(luò)第一個(gè)實(shí)際應(yīng)用出現(xiàn)在1957年,F.Rosenblatb ”提出了著名的 感知器(Perceptron模型和聯(lián)想學(xué)習(xí)規(guī)則。這是第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)。這個(gè)模 型由簡(jiǎn)單的閩值神經(jīng)元構(gòu)成，初步具備了諸如并行處理、分布存儲(chǔ)和學(xué)習(xí)等 神經(jīng)網(wǎng)絡(luò)的一些基本特性，從而確

12、立了從系統(tǒng)角度研究神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。同時(shí)。 在1960年 B.Widrow和M.E.Hoff ”提出了自適應(yīng)線性元件網(wǎng)絡(luò)，簡(jiǎn)稱為Adaline(Adaptive1inear element不僅在計(jì)算機(jī)上對(duì)該網(wǎng)絡(luò)進(jìn)行了模擬，而且還做成了硬件。同時(shí)他們還提 出了 WidrowHoff學(xué)習(xí)算法，改進(jìn)了網(wǎng)絡(luò)權(quán)值的 學(xué)習(xí)速度和精度，后來(lái)這個(gè)算法被稱為L(zhǎng)MS算法，即數(shù)學(xué)上的最速下降法，這種算法在以后的BP網(wǎng)絡(luò)及其他信號(hào)處理 系統(tǒng)中得到了廣泛的應(yīng)用。2、低潮時(shí)期但是,Rosenblatt和Widrow的網(wǎng)絡(luò)都有同樣的固有局限性。這些局限性在 1969 年美國(guó)麻省理工學(xué)院著名的人工智能專家M. Minsky和S

13、. Papert共同出版的名為感知器”的專著中有廣泛的論述。他們指出單層的感知器只能用于線性問(wèn)題的求解，而對(duì)于像XOR（異或這樣簡(jiǎn)單的非線性問(wèn)題卻無(wú)法求解。他們還指出，能夠求解非線性問(wèn)題的網(wǎng)絡(luò)，應(yīng)該是具有隱層的多層神經(jīng)網(wǎng)絡(luò)，而將感知器模型擴(kuò)展到 多層網(wǎng)絡(luò)是否有意義，還不能從理論上得到有力的證明。Minsky的悲觀結(jié) 論對(duì)當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)的研究是一個(gè)沉重的打擊。由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)還不夠發(fā)達(dá)，VLSI尚未出現(xiàn)，神經(jīng)網(wǎng)絡(luò)的應(yīng)用還沒(méi)有展開(kāi)，而人工智能和專家系統(tǒng)正處于發(fā)展 的高潮，從而 導(dǎo)致很多研究者放棄了對(duì)神經(jīng)網(wǎng)絡(luò)的研究，致使在這以后的10年中，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)緩慢發(fā)展的低潮期。雖然在整個(gè)20世紀(jì)

14、70年代,對(duì)神經(jīng)網(wǎng)絡(luò)理論的研究進(jìn)展緩慢，但并沒(méi)有完全停 頓下來(lái)。世界上些對(duì)神經(jīng)網(wǎng)絡(luò)拖有堅(jiān)定信心和嚴(yán)肅科學(xué)態(tài)度的學(xué)者一直沒(méi)有放 棄他們的努力，仍然在該領(lǐng)域開(kāi)展了許多重要的工作。如1972年Teu。Kohonern 1和Jallles Anderson分別獨(dú)立提出了能夠完成記憶的新型神經(jīng)網(wǎng)絡(luò) ，Stephen Grossberg ”在自組織識(shí)別神經(jīng)網(wǎng)絡(luò)方面研究也十分活躍。同時(shí)也出現(xiàn)了一些新的神經(jīng)網(wǎng)絡(luò)模型，如線性神經(jīng)網(wǎng)絡(luò)模型、自組織識(shí)別神經(jīng)網(wǎng)絡(luò)模型以及將神經(jīng)元的 輸出函數(shù)與統(tǒng)計(jì)力學(xué)中的玻耳茲曼分布聯(lián)系的Boltzmann機(jī)模等，都是在這個(gè) 時(shí)期出現(xiàn)的。3、復(fù)興時(shí)期在60年代，由于缺乏新思想和用于實(shí)驗(yàn)

15、的高性能計(jì)算機(jī)，曾一度動(dòng)搖了人們對(duì) 神經(jīng)網(wǎng)絡(luò)的研究興趣。到了 80年，隨著個(gè)人計(jì)算機(jī)和工作站計(jì)算機(jī)能力的急劇增強(qiáng)和廣泛應(yīng)用，以及不斷引入新的概念，克服了擺在神經(jīng)網(wǎng)絡(luò)研究面前的障礙，人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究熱情空前高漲。其中有兩個(gè)新概念對(duì)神經(jīng)網(wǎng)絡(luò)的復(fù)興具有極大的意義。其一是用統(tǒng)計(jì)機(jī)理解釋某些類型的遞歸網(wǎng)絡(luò)的操作，這類網(wǎng)絡(luò)可作業(yè) 聯(lián)想存儲(chǔ)器。美國(guó)加州理工學(xué)院生物物理學(xué)家John.J.Hop巾eld博士在1982年的研究論文就論述了這些思想。在他所提出的Hop巾eld網(wǎng)絡(luò)模型中首次引入網(wǎng)絡(luò)能量的概 念，并給出了網(wǎng)絡(luò)穩(wěn)定性判據(jù)。Hopfield網(wǎng)絡(luò)不僅在理論分析與綜合上均達(dá)到了相 當(dāng)?shù)纳疃?，最有意義的是該

16、網(wǎng)絡(luò)很容易用集成電路實(shí)現(xiàn)。Hopfied網(wǎng)絡(luò)引起了許多 科學(xué)家的理解與重視，也引起了半導(dǎo)體工業(yè)界的重視。1984年,AT&TBell實(shí)驗(yàn)室宣 布利用Hopfield理論研制成功了第一個(gè)研究神經(jīng)網(wǎng)絡(luò)芯片。盡管早期的Hopfield網(wǎng)絡(luò)還存在一些問(wèn)題，但不可否認(rèn)，正是由于Hopfiel d的研究才點(diǎn)亮了神經(jīng)網(wǎng)絡(luò)復(fù) 興的火把，從而掀起神經(jīng)網(wǎng)絡(luò)研究的熱潮。其二是在1986年D.E.Rumelhart和J.L.Mcglelland 及其研究小組提出 PDP(ParallclDistributedProcessing網(wǎng)絡(luò)思想，則為 神經(jīng)網(wǎng)絡(luò)研究新高潮的 到來(lái)起到了推波助瀾的作用。其中最具影響力的反傳算法

17、是David RumeIhart和JamesMcClelland提出的。該算法有力地回答了60年代Minsky和Papert對(duì)神經(jīng)網(wǎng)絡(luò)的責(zé)難，已成為至今影響最大，應(yīng)用最廣的一種網(wǎng)絡(luò)學(xué) 習(xí)算法。4、20世紀(jì)80年后期以來(lái)的熱潮20世紀(jì)80年代中期以來(lái)，神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究取得很大的成績(jī)，涉及面非常廣 泛。為了適應(yīng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，1987年成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，并于同年在 美國(guó)圣地亞哥召開(kāi)了第一屆國(guó)際神經(jīng)網(wǎng)絡(luò)會(huì)議。此后，神經(jīng)網(wǎng)絡(luò)技術(shù)的研究始終呈現(xiàn)出蓬勃活躍的局面，理論研究不斷深入，應(yīng)用范圍不斷擴(kuò)大。尤其是進(jìn)入 20世紀(jì) 90年代，隨著IEEE神經(jīng)網(wǎng)絡(luò)會(huì)刊的問(wèn)世，各種論文專著逐年增加，在全世界

18、范圍內(nèi) 逐步形成了研究神經(jīng)網(wǎng)絡(luò)前所未有的新高潮。從眾多神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用成果不難看出，神經(jīng)網(wǎng)絡(luò)的發(fā)展具有強(qiáng)大的生命 力。盡管當(dāng)前神經(jīng)網(wǎng)絡(luò)的智能水平不高，許多理論和應(yīng)用性問(wèn)題還未得得到很好的 解決，但是，隨著人們對(duì)大腦信息處理機(jī)制認(rèn)識(shí)的目益深化，以及不同智能學(xué) 科領(lǐng)域 之間的交叉與滲透，人工神經(jīng)網(wǎng)絡(luò)必將對(duì)智能科學(xué)的發(fā)展發(fā)揮更大的作用。神經(jīng)網(wǎng)絡(luò)研究的意義神經(jīng)網(wǎng)絡(luò)是在許多學(xué)科的基礎(chǔ)上發(fā)展起來(lái)的，它的深入研究必然帶動(dòng)其他學(xué)科 的發(fā)展。許多現(xiàn)代科學(xué)理論的創(chuàng)導(dǎo)者對(duì)腦的功能和神經(jīng)網(wǎng)絡(luò)都有著強(qiáng)烈的興趣，并從中得到了不少啟示 創(chuàng)導(dǎo)或發(fā)展了許多新理。 論馮-諾依曼曾談到計(jì)算機(jī)和大腦 在結(jié)構(gòu)和功能上的異同，對(duì)它們

19、從元件特性到系統(tǒng)結(jié)構(gòu)進(jìn)行了詳盡比較。McCulloch和Pitts提出的形式神經(jīng)元模型導(dǎo)致了有限自動(dòng)機(jī)理論的發(fā)展 ,是最終促 成第一臺(tái)馮-諾依曼電子計(jì)算機(jī)誕生的重要因素之一。維納的 控制論 一書就是專門討論動(dòng)物機(jī)器的控制和通信問(wèn)題的。他本人也對(duì)神經(jīng)系統(tǒng)中若干問(wèn)題進(jìn)行了探 索,例如興奮波在可興奮組織中的傳導(dǎo)，神經(jīng)系統(tǒng)中的節(jié)律現(xiàn)象等。 晚年他專心于神 經(jīng)控制論研究，對(duì)感官代償?shù)葐?wèn)題抱有強(qiáng)烈的興趣。信息論的奠基 人香農(nóng)也曾探索 過(guò)人的智力放大問(wèn)題。我國(guó)著名學(xué)者錢學(xué)森在他的 工程控論中，專辟章節(jié)論述生 物體的調(diào)節(jié)控制和神經(jīng)網(wǎng)絡(luò)問(wèn)題。因此，早在20世紀(jì)四五十年代，神經(jīng)系統(tǒng)的功能 研究已經(jīng)引起這些現(xiàn)代科學(xué)

20、理論開(kāi)拓者的興趣 ，并對(duì)他們 各自理論的產(chǎn)生創(chuàng)立理論 基礎(chǔ)。神經(jīng)生物學(xué)家也正在期待著另一次理論的飛躍，這將使他們能夠解釋已知的 各種現(xiàn)象，并提出可由實(shí)驗(yàn)室驗(yàn)證的假說(shuō)。雖然他們 已積累了大量關(guān)于大腦組成大 腦外形以及大腦運(yùn)轉(zhuǎn)基本要素等知識(shí)，但他們?nèi)匀唤獯鸩涣擞嘘P(guān)大腦信息處理的一 些實(shí)質(zhì)性問(wèn)題。而建立的對(duì)認(rèn)知過(guò)程的一種定量 描述,則為神經(jīng)科學(xué)家提出了一個(gè) 獨(dú)一無(wú)二的機(jī)會(huì)來(lái)發(fā)展和驗(yàn)證大腦的工作理。神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，推動(dòng)了理論神經(jīng)科學(xué)的產(chǎn)生和發(fā)展，為計(jì)算神經(jīng)科學(xué)提供 了必要的理論和模型。同時(shí)，也促進(jìn)腦科 學(xué)向定量精確和理論化方向發(fā)展。以神經(jīng)網(wǎng)絡(luò)研究為開(kāi)端，整個(gè)學(xué)術(shù)界對(duì)計(jì)算的概 念和作用有了新的認(rèn)識(shí)和

21、提高。計(jì)算 并不局限于數(shù)學(xué)中，并不僅僅采用邏輯的離散 的形式，而且大量的運(yùn)算表現(xiàn)在對(duì)模擬量的并行計(jì)算。對(duì)于后一類計(jì)算，傳統(tǒng)的計(jì)算 機(jī)無(wú)法施展其威力。神經(jīng)網(wǎng)絡(luò) 的數(shù)學(xué)理論本質(zhì)上是非線性的數(shù)學(xué)理論，因此，現(xiàn)代 非線性科學(xué)方面的進(jìn)展必 將推動(dòng)神經(jīng)網(wǎng)絡(luò)的研究，同時(shí)神經(jīng)網(wǎng)絡(luò)理論也會(huì)對(duì)非線性 科學(xué)提出新課題。神經(jīng)網(wǎng)絡(luò)研究的對(duì)象是神經(jīng)系統(tǒng)，這是高度進(jìn)化的復(fù)雜系統(tǒng)，也是 系統(tǒng)科學(xué)中一個(gè)重要的具體領(lǐng)域。神經(jīng)網(wǎng)絡(luò)研究不僅重視系統(tǒng)的動(dòng)態(tài)特性，而且強(qiáng) 調(diào)事件和信息在 系統(tǒng)內(nèi)部的表達(dá)和產(chǎn)生。 神經(jīng)網(wǎng)絡(luò)在國(guó)民經(jīng)濟(jì)和國(guó)防科技現(xiàn)代化 建設(shè)中具有廣闊的應(yīng)用領(lǐng)域和應(yīng)用前景。主要應(yīng)用有：語(yǔ)音識(shí)別、圖像識(shí)別和理解計(jì)算機(jī)視覺(jué)、智能機(jī)器

22、人、故障機(jī)器人、故障檢測(cè)、實(shí)施語(yǔ)音翻譯、企業(yè)管理、 市場(chǎng)分析、決 策優(yōu)化、物資調(diào)運(yùn)自適應(yīng)控制、專家系統(tǒng)、智能接口、神經(jīng)生理 學(xué)、心理學(xué)和認(rèn) 知科學(xué)研究等等。隨著神經(jīng)網(wǎng)絡(luò)理論研究的深入以及網(wǎng)絡(luò)計(jì)算能 力的不斷提高，神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域?qū)?huì)不斷擴(kuò)大，應(yīng)用水平將會(huì)不斷提高，最終達(dá)到 神經(jīng)網(wǎng)絡(luò) 系統(tǒng)可用來(lái)幫人做事的目的，這也是神經(jīng)網(wǎng)絡(luò)研究的最終目標(biāo)。神經(jīng)網(wǎng)絡(luò) 研究在 近十幾年取得了引人矚目的進(jìn)展，從而激起了不同學(xué)科與領(lǐng)域的科學(xué)家和企 業(yè)家的巨大熱情和濃厚的興趣。我們相信，神經(jīng)網(wǎng)絡(luò)將使電子科學(xué)和信息學(xué)產(chǎn)生革 命性的變革。5.BP神經(jīng)網(wǎng)絡(luò)通過(guò)改變神經(jīng)元連接方式、數(shù)量和層數(shù)，就可以組成不同的人工神經(jīng)網(wǎng)絡(luò)模 型

23、。其中應(yīng)用最廣泛的就是BP(ErrorBack Propagation神經(jīng)網(wǎng)絡(luò)模型，目前80%以 上的神經(jīng)網(wǎng)絡(luò)應(yīng)用都是基于 BP網(wǎng)絡(luò)或其改進(jìn)形式。. BP神經(jīng)網(wǎng)絡(luò)2.1BP神經(jīng)網(wǎng)絡(luò)介紹BP神經(jīng)網(wǎng)絡(luò)模型是由輸入層、輸出層和若干個(gè)隱含層組成的多層前饋網(wǎng)絡(luò)模 型，中間的隱層可擴(kuò)展為多層，相鄰層之間各神經(jīng)元進(jìn)行全連接，而每層各神經(jīng)元之 間無(wú)連接。BP神經(jīng)網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)，當(dāng)一對(duì)學(xué)習(xí)樣本數(shù)據(jù)提供給網(wǎng)絡(luò)后 各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生一定的連接權(quán)值,然后根據(jù)期望輸出與實(shí)際網(wǎng)絡(luò) 輸出誤差減小的方向，從輸出層返經(jīng)各中間層逐層調(diào)整各連接權(quán)值，回到輸入層。 此過(guò)程反復(fù)交替進(jìn)行，直至網(wǎng)絡(luò)的全局誤差達(dá)

24、到給定的誤差極小值，就完成學(xué)習(xí)的 過(guò)程.這個(gè)過(guò)程，也就是BP神經(jīng)網(wǎng)絡(luò)通過(guò)誤差反向傳播來(lái)消除誤差的過(guò)程，每個(gè)步驟 所使用的公式在數(shù)學(xué)上可以完全推導(dǎo)證明，這使得BP網(wǎng)絡(luò)在應(yīng)用方面可 操作性非 常強(qiáng)。在BP網(wǎng)絡(luò)學(xué)習(xí)完成后，它的知識(shí)編碼呈分布式存儲(chǔ)整個(gè)權(quán)值網(wǎng)絡(luò) 中，再加 上BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的并行處理特征，使得BP網(wǎng)絡(luò)具有一定的容錯(cuò)能力、模式識(shí)別能力、自組織、自適應(yīng)、自學(xué)習(xí)能力，它可以解決大多數(shù)人工神經(jīng)網(wǎng)絡(luò) 所面臨的 許多問(wèn)題。2.2BP算法的研究現(xiàn)狀BP算法采用誤差最小梯度下降法，使最小均方誤差MSE收斂到指定精度。1989年Robert Hecht.Nietson證明了對(duì)于閉區(qū)間內(nèi)的任一個(gè)連續(xù)函數(shù)都

25、可以用一個(gè) 隱含層的BP網(wǎng)絡(luò)來(lái)逼近，因而一個(gè)三層的BP網(wǎng)絡(luò)可以完成任意的n維輸入空間到 m維輸出空間的映射。這種強(qiáng)大的非線性映射的能力，使彳導(dǎo)BP神經(jīng)網(wǎng)絡(luò)在解決具有以下特征的問(wèn)題時(shí)有無(wú)可比擬的優(yōu)勢(shì):（1某系統(tǒng)已經(jīng)累積了大量相關(guān)的輸入.輸 出數(shù)據(jù)；（2輸入輸出的對(duì)應(yīng)關(guān)系難以得到解析解；（3能夠表示和轉(zhuǎn)化為模 式識(shí)別或 非線形映射問(wèn)題。雖然BP網(wǎng)絡(luò)功能強(qiáng)大，但由于BP算法存在自身的限制，BP網(wǎng)絡(luò)仍有著很多缺 點(diǎn)，比如收斂速度慢，經(jīng)常需要成千上萬(wàn)次迭代；存在局部最小值等。 這些問(wèn)題在實(shí) 際應(yīng)用中對(duì)很多系統(tǒng)都是不合適的。因此近三十多年來(lái)，在國(guó)外許多專家的深入研 究下，提出了許多改進(jìn)辦法。主要有：附加動(dòng)

26、量法：網(wǎng)絡(luò)權(quán)值的修正不僅考慮誤差在梯度上的作用，還應(yīng)考慮在誤差曲 面上的變化趨勢(shì)；自適應(yīng)學(xué)習(xí)率：這種算法提出在訓(xùn)練中使用動(dòng)態(tài)學(xué)習(xí)率，可加快算法的收斂；引 入陡坡因子：當(dāng)權(quán)值調(diào)整進(jìn)入誤差曲面平坦區(qū)時(shí)，通過(guò)壓縮神經(jīng)元的凈輸入，使權(quán)值 調(diào)整，脫離平坦區(qū)，從而提高BP算法的收斂速度。共腕梯度法：其基本思想是尋找與 負(fù)梯度方向和上一次搜索方向共腕的方向作為新的搜索方向，從而加快訓(xùn)練速度，并提高收斂精度；擬牛頓法：引進(jìn)一組矩陣代替海森陣，避免了牛頓法的煩瑣計(jì)算，而且通常只是 需要很少的迭代次數(shù)就能收斂；此外,國(guó)內(nèi)也有很多學(xué)者，在對(duì)BP算法的改進(jìn)方面也做了不少研究，并在實(shí)際 運(yùn)用中取得了一定的成果：侯媛彬等

27、提出的一種基于降低網(wǎng)絡(luò)靈敏度的 BP網(wǎng)絡(luò)改進(jìn)算法，動(dòng)態(tài)地將全局 反向傳播式網(wǎng)絡(luò)變成局部反傳式網(wǎng)絡(luò)，使網(wǎng)絡(luò)學(xué)習(xí)速率大大提高；王建成等在 嘉興經(jīng)濟(jì)EW系統(tǒng)設(shè)計(jì)的經(jīng)驗(yàn)的基礎(chǔ)上，提出了利用改進(jìn)的 遺傳和BP雜交算法神經(jīng)網(wǎng)絡(luò)經(jīng)濟(jì)預(yù)警系統(tǒng)設(shè)計(jì)方法，提高了網(wǎng)絡(luò)收斂速度；張友邦、封宇行提出一種隱節(jié)點(diǎn)數(shù)動(dòng)態(tài)增長(zhǎng)的網(wǎng)絡(luò)模型 ，增加了網(wǎng)絡(luò)的靈活 性、縮短了網(wǎng)絡(luò)的訓(xùn)練時(shí)間并提高了訓(xùn)練精度；閔泉等利用量子遺傳算法對(duì)BP的學(xué)習(xí)進(jìn)行改進(jìn)，提出了一種新的訓(xùn)練神經(jīng)網(wǎng) 絡(luò)的混合算法，該算法加快了收斂速度，提高了收斂精度；等等。2.3BP網(wǎng)絡(luò)的應(yīng)用眾多白對(duì)BP算法的改進(jìn)研究,使BP神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都取得很好的優(yōu)于傳 統(tǒng)方法的成績(jī)

28、：秦威等人采用BP算法對(duì)工程圖形進(jìn)行編碼壓縮，從而實(shí)現(xiàn)了工程圖形復(fù)雜數(shù) 據(jù)的高效存儲(chǔ)和顯示；姜占才，孫燕將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別上，較好地實(shí)現(xiàn)了孤立詞語(yǔ)音的識(shí) 別；谷曉平等人將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于水文預(yù)報(bào)方面，結(jié)論是這種BP網(wǎng)絡(luò)模型是一 種精度較高的水文預(yù)測(cè)模型；孟治國(guó)采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行遙感圖像數(shù)字分類，成功地解決了研究區(qū) 土地的利用分類問(wèn)題，其效果優(yōu)于傳統(tǒng)的分類方法；縱觀這些應(yīng)用，可以總結(jié)出BP神經(jīng)網(wǎng)絡(luò)主要用于以下幾個(gè)方面：函數(shù)逼近：通過(guò)對(duì)樣本數(shù)據(jù)對(duì)的學(xué)習(xí)，理論上BP網(wǎng)絡(luò)能以任意精度逼近一個(gè)涵 數(shù)，用以求解數(shù)學(xué)式難以表達(dá)的函數(shù)；模式識(shí)別：模式識(shí)別是將一種模式映射為其他類型的操作。由

29、于BP神經(jīng)網(wǎng)絡(luò)能較好的模擬人的形象思維，通過(guò)學(xué)習(xí)可使BP網(wǎng)絡(luò)具有聯(lián)想能力和容錯(cuò)能力，可以 解決對(duì)不完整輸入信息的識(shí)別問(wèn)題。因此將BP應(yīng)用到模式識(shí)別中去解決模式識(shí) 別問(wèn)題。數(shù)據(jù)壓縮:BP網(wǎng)絡(luò)能對(duì)輸入數(shù)據(jù)提取模式特征，減少輸出向量的維數(shù)達(dá)到對(duì)數(shù) 據(jù)的壓縮目的，以利于數(shù)據(jù)的傳輸與存儲(chǔ)。分類與識(shí)別：把輸入向量所定義的合適方式進(jìn)行分類或識(shí)別。 由于客觀世界的 許多事物在樣本空間中的區(qū)域分割曲面十分復(fù)雜，而B(niǎo)P神經(jīng)網(wǎng)絡(luò)可以很好地解決 對(duì)非線性曲面的逼近問(wèn)題，因此具有很強(qiáng)的分類與識(shí)別能力。2.4基本結(jié)構(gòu)與學(xué)習(xí)算法一個(gè)典型的BP神經(jīng)網(wǎng)絡(luò)由三層構(gòu)成，即:輸入層、隱含層和輸出層，各層之間實(shí) 行全互連接方式。BP神

30、經(jīng)網(wǎng)絡(luò)在模式識(shí)別、知識(shí)發(fā)現(xiàn)、信息融合、模式分類等實(shí)際應(yīng)用中，分導(dǎo)師知識(shí)學(xué)習(xí)訓(xùn)練和模式識(shí)別決策兩個(gè)過(guò)程。導(dǎo)師知識(shí)訓(xùn)練過(guò)程歸結(jié)起來(lái)分為模式順傳播”、誤差逆?zhèn)鞑ァ薄?dǎo)師知識(shí)記憶訓(xùn)練”、學(xué)習(xí)收斂”價(jià)步驟。1模式 順傳播模式順傳播是指由導(dǎo)師信息構(gòu)成的輸入模式經(jīng)輸入層通過(guò)中間層向輸出層的傳 遞過(guò)程。由輸入模式提供給網(wǎng)絡(luò)的輸入層開(kāi)始的，輸入層各個(gè)單元對(duì)應(yīng)于輸入模式 向量的各個(gè)元素。設(shè)導(dǎo)師信息構(gòu)成的輸入模式向量為- 12A x x x i im i i = i=1,2,為學(xué)訓(xùn)腿對(duì)數(shù)，m為輸入層單 元個(gè)數(shù)；對(duì)應(yīng)輸入模式的希望輸出向量為：(,12Y y y y i ip i i = i=1的與輸入學(xué)汨模式對(duì)相對(duì)應(yīng)

31、的輸出模式數(shù);P為支單元數(shù)。根據(jù)M-P神經(jīng)元模式原理，首先按式2.1計(jì)算第一隱含層各單元的輸入模式。j 1m S w x m ij ij i-E= (2.1式中，w ij為輸入層至第一隱含層的連接權(quán)；ij8為第一隱含層的單元閥值;j=1,2,3,第隱含層神經(jīng)元。人工神經(jīng)元是模擬生物神經(jīng)元的非線性信息傳遞特性，以s i作為S函數(shù)的自變 量，計(jì)算第一隱含層各單元的輸出 $函數(shù)的數(shù)學(xué)表達(dá)式如式 2.2所示：(1f x e =+(2.2 將 2.1 帶入式 2.2 得:(111a f s j j j w x m e ij ij i e-E +=+j=1,=,P(2.3按模式傳播的思想，由(2.4和(2

32、.5式計(jì)算輸出層各單元的輸入(第二隱含 層的輸 出和網(wǎng)絡(luò)實(shí)際輸出。(1n b a w j k jk bki0-S? =(2.4 ( 1n y f b w p k kp j-E= (2.5 二式中:,w w jk kp分別為中間層，中間層至輸出層的連接權(quán):,p bk 分別為中間 和輸出的閥值。一個(gè)輸入模式至此完成了 一遍順序傳播過(guò)程。2誤差逆?zhèn)鞑フ`差逆?zhèn)鞑ナ侵干窠?jīng)網(wǎng)絡(luò)的希望輸出值與實(shí)際輸出值之間的誤差信號(hào)，由輸入層經(jīng)過(guò)中間層向輸入層逐層修正連接過(guò)程。首先是要計(jì)算實(shí)際輸出值與希望輸出值之間的誤差，依據(jù)誤差的大小自動(dòng)調(diào)節(jié)輸出層到隱含層之間的連接權(quán)值w kp、隱含層之間的連接權(quán)值 w jk和隱含層到輸

33、入層之間的連接權(quán)值w ij的大小也 就是由輸入層的誤差y胸中間層的誤差bk 6傳遞的過(guò)程。這里誤差逆?zhèn)鞑ミ^(guò)程 的數(shù)學(xué)表達(dá)式為:(1 y y y y y y y y -=- (1=1 (1 w b w b b y y y y w b b y y bk kp k kp k k kp k k 6 6 6-三二(1 (1 (1 11n n a w a a y y y y w b b aj j j j bk jk kp k k j j- = (2.貳沖 3?=是由式(2. 5確定的實(shí)際輸出值；y為導(dǎo)師信號(hào)希望輸出值;y、6bk 6 aj分別為輸出層、 第二隱含層和第一隱含層各單元所得的誤差值。式 (2.

34、6的物理含義是：?y y ? ?-項(xiàng)表示網(wǎng)絡(luò)在導(dǎo)師訓(xùn)練信號(hào)引導(dǎo)下的希望輸出與網(wǎng)絡(luò)學(xué)習(xí)后實(shí)際輸出之間的絕對(duì)誤差；？?y y y? ?-項(xiàng)是根據(jù)各單元的實(shí)際響應(yīng)調(diào)整偏差值(實(shí)際輸出的導(dǎo)數(shù)。當(dāng)輸出層某單元的輸入在0附近，其輸出變化幅度較大時(shí)，?y y y? ?-處于峰值附近，與？y y ? ?-項(xiàng)相乘后，增強(qiáng)了偏差的校正作用。反之，當(dāng)？y的絕對(duì)值較大時(shí)，其輸出變化幅度很小，也就是說(shuō)此單元所受激勵(lì)對(duì)此單元這 一次學(xué)習(xí)過(guò)程所起的校正作用不大，而此時(shí)？?y y y? ?-正好處于較小值的部分,當(dāng)與？y y ? ?-項(xiàng)相乘后，減弱了偏差的校正作用。采用慣性校正法各層權(quán)值及閾值修正計(jì) 算公式的表達(dá)式為：(1

35、( ( w m w m b a w m y kp kp k kp46 +=+?出層權(quán)值修正 w (1 ( m w a a w m i jk jk bk jk輸出層尋+?層連接權(quán)值修正(1 ( ( w m w m x a w m m ij ij aj ij輸入層為+=+?連接權(quán)值修正(1 ( ( m m a m p p p p 88 輸杷信闔轅+?lE(1 ( ( m m a m bk bk bk bk 8 8輸出層與=+?1閥值修正(1 (m m a m aj aj aj aj 8 8湎跳)層耳+?層閥值修正(2.7式中:a為學(xué)習(xí)系數(shù)(01a +(2122逆?zhèn)鞑ミ^(guò)程(1用希望輸出模式,12ip

36、 Y y y y i i i ?=，和網(wǎng)絡(luò)實(shí)際輸出?y，計(jì)算輸出層各單元的一般化誤差0y 6 :?( (1 yy y y y -(2.13 (2用連接權(quán)w kp ?、輸出層的一般化誤差y 6中間層的輸出0b k計(jì)算中間層各單元的誤差bk 6：?( (1 (1 y y y y w b b bk kp k k6 (2.14 (3用輸出層各單元的一般化誤差y 6中間層各單元的輸出0b k修正連接權(quán)w kp ? 和閥值p 0 :(1 ( w m w m b y kp kp k輸出W+=+l正(2.15 (1 ( m m p p p9 946腑士閥值修正(2.16 (4用中間層各單元的一般化誤差bk 犯

37、輸入 層各單元的輸入, , 12A x x x i im i i =修正連接權(quán) w jk ? 和閥值bk 8：(1 ( w m w m a j jk jk bk輸出屋+=+含層連接權(quán)值修正 (2.17 (1 ( m m bkbk bk9 94翻入層與隱含層閥值修正(2.18 3反復(fù)訓(xùn)練收斂過(guò)程，(1隨機(jī)選取下一個(gè)示范模式對(duì)提供給網(wǎng)絡(luò)，返回步驟，直至全部即個(gè)模式對(duì) 訓(xùn) 練完畢。(2重新從n個(gè)模式對(duì)中隨機(jī)選取一個(gè)模式對(duì)，返回步驟，直至網(wǎng)絡(luò)全局誤差函 數(shù)E小于預(yù)先設(shè)定的一個(gè)極小值，若全局誤差達(dá)不到預(yù)先設(shè)定極小值或?qū)W習(xí)回?cái)?shù) 大 于預(yù)先設(shè)定的值，IR絡(luò)無(wú)法收斂而停機(jī)。結(jié)束學(xué)習(xí)。4模式識(shí)別預(yù)測(cè)訓(xùn)練學(xué)習(xí)成熟

38、并經(jīng)過(guò)測(cè)試后的網(wǎng)絡(luò)可按照上述步驟、進(jìn)行網(wǎng)絡(luò)回想，即進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的模式識(shí)別、知識(shí)發(fā)現(xiàn)、信息融合、模式分類、預(yù)測(cè)等實(shí)際應(yīng)用 研究。網(wǎng)絡(luò)對(duì)示教模式的記憶實(shí)際上是保存在輸入與隱含層、隱含層與輸出層之問(wèn)的連接權(quán)和閾值的文檔中。網(wǎng)絡(luò)實(shí)現(xiàn)回想只須調(diào)入連接權(quán)和閾值文檔，讀取待判 樣本類同于示教模式0A i的特征變量，即可實(shí)現(xiàn)對(duì)未知樣本的非線性映射識(shí)別分 類。2.6主要特點(diǎn)及參數(shù)優(yōu)選BP神經(jīng)網(wǎng)絡(luò)突出的優(yōu)點(diǎn)就是具有很強(qiáng)的非線性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)。 網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)學(xué)習(xí)的系數(shù)可根據(jù)具體情況任意設(shè)定，并且隨著結(jié)構(gòu)的差異其性能也有所不同。但是，BP神經(jīng)網(wǎng)絡(luò)還存在以下一些主要缺陷：1學(xué)習(xí)收

39、斂速度太慢。2不是所有的情況都能保證收斂到所指定的全局最小點(diǎn)。3網(wǎng)絡(luò)隱含層的層數(shù)及隱含層的單元數(shù)的尚無(wú)理論依據(jù)，通常是根據(jù)經(jīng)驗(yàn)或?qū)?驗(yàn)確定。因此，網(wǎng)絡(luò)往往有很大的冗余性，無(wú)形中也增加了網(wǎng)絡(luò)學(xué)習(xí)的時(shí)間。4網(wǎng)絡(luò)的學(xué)習(xí)、記憶具有不穩(wěn)定性。 一個(gè)訓(xùn)練成熟的BP網(wǎng)絡(luò)，在原來(lái)的基礎(chǔ) 上再給它提供新的模式時(shí)，將會(huì)使原有的連接權(quán)全部打亂，導(dǎo)致己記憶的學(xué)習(xí)模式 不能再繼續(xù)用于回想。 要避免這種現(xiàn)象，必須將原來(lái)的學(xué)習(xí)模式連同新加入的學(xué)習(xí) 模式一起重新進(jìn)行訓(xùn)練。由于BP網(wǎng)絡(luò)存在的以上幾種主要缺陷，實(shí)際的網(wǎng)絡(luò)過(guò)程中，由于受到示教訓(xùn)練 樣本、計(jì)算機(jī)數(shù)值范圍及內(nèi)存容量、非線性作用函數(shù)的選取等影響，BP算法的收斂精度不能完

40、全令人滿意，有時(shí)可能導(dǎo)致發(fā)散。因此在實(shí)際應(yīng)用中應(yīng)注意如下訓(xùn)練 條件和學(xué)習(xí)參數(shù)的優(yōu)化選擇。1示教訓(xùn)練模式對(duì)的優(yōu)化選擇。 在研究的問(wèn)題明確以后，模式對(duì)的選擇既要涵 蓋問(wèn)題的總體特征，又要精練，特別要防止相互矛盾的模式對(duì)。2非線性作用函數(shù)的 選擇。一般有如下幾種形式的非線性作用函數(shù)可供選取 ：(,(0 11f x b e =* +(2.19( ,(0, 0 21f x b k e =-(2.20( 0,0 31bk f x b k e - =ww +(2.21式(2. 19限定網(wǎng)絡(luò)的輸出范圍為(O, 1，是最基本、最常用的S函數(shù)模型。式(2. 20限定網(wǎng)絡(luò)的輸出范圍為(0,k,k值應(yīng)大于模式對(duì)象的最

41、大輸出值；主要用于全 量模 型。式(2. 21限定網(wǎng)絡(luò)的輸出范圍為(-k,k, k值應(yīng)大于模式對(duì)象輸出誤差 絕對(duì)值的 最大值,這樣可在很少的訓(xùn)練步驟后誤差己達(dá)到較小值,主要用于增量 模型。3非線性函數(shù)中參數(shù)b、k的選擇。4最佳隱含層數(shù)和隱含層神經(jīng)元數(shù)的選擇。BP人工神經(jīng)網(wǎng)絡(luò)突出的優(yōu)點(diǎn)就是具有很強(qiáng)的非線性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)，可根據(jù)具體研究對(duì)象任意設(shè)定網(wǎng)絡(luò) 的隱含層數(shù)和各層的處理單元數(shù)，并且網(wǎng)絡(luò)的性能隨著結(jié)構(gòu)的差異有民不同。但是,在研究對(duì)象確定的條件下，并不是隱含層數(shù)和各層的處理單元數(shù)越多或越少就越好，最好通過(guò)實(shí)驗(yàn)來(lái)優(yōu)化選擇。5隱含層和輸出層的非線性函數(shù)的選取?？梢詫?duì)隱含層的輸出和網(wǎng)絡(luò)輸出的

42、響 應(yīng)函數(shù)，陽(yáng)中的參數(shù)分別進(jìn)行選擇和調(diào)整，可以將輸出層的k值取為略大于最大允 許 誤差值，使其具有輸出限幅作用。而隱含層的 k值適當(dāng)選得大些，使得權(quán)值調(diào) 整范圍 更大，有助于模型精度的提高。6網(wǎng)絡(luò)學(xué)習(xí)系數(shù)(學(xué)習(xí)率、學(xué)習(xí)步長(zhǎng)、學(xué)習(xí)次數(shù)、個(gè)體及全局誤差的選擇。(1學(xué)習(xí)率的大小對(duì)收斂速度有較大的影響，太小，網(wǎng)絡(luò)收斂速度慢，跳出局部極小的能力弱；過(guò)大，不易收斂，達(dá)不到訓(xùn)練精度。不同結(jié)構(gòu)的網(wǎng)絡(luò)對(duì)應(yīng)不同的最佳學(xué)習(xí)率范圍，在研究對(duì)象和網(wǎng)絡(luò)結(jié)構(gòu)一定的條件下最好通過(guò)實(shí)驗(yàn)來(lái)確定。(2加大學(xué)習(xí)步長(zhǎng)可以加快訓(xùn)練速度，但步長(zhǎng)太大使被調(diào)量變化太快，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練跳出最 佳值點(diǎn)，還有可能使計(jì)算機(jī)發(fā)生溢出。 優(yōu)化選擇步長(zhǎng)的學(xué)習(xí)

43、策略是獲 得BP網(wǎng)絡(luò)最 佳訓(xùn)練效果的一種好途徑。在實(shí)際應(yīng)用中，學(xué)習(xí)率和學(xué)習(xí)步長(zhǎng)往往有一個(gè)最佳組合問(wèn)題，兩者匹配得當(dāng)，網(wǎng) 絡(luò)則可以獲得最佳的訓(xùn)練效果?？梢韵冗x取一個(gè)較大的學(xué)習(xí)率值(O.70.9進(jìn)行訓(xùn)練,然后以一定的步長(zhǎng)進(jìn)行左右掃描，在振蕩點(diǎn)附近調(diào)整步長(zhǎng)，從而找到最佳的學(xué)習(xí)率 和學(xué)習(xí)步長(zhǎng)的組合點(diǎn)。(3學(xué)習(xí)次數(shù)、個(gè)體及全局誤差是影響網(wǎng)絡(luò)學(xué)習(xí)精度的關(guān)鍵性參數(shù)，三者有很強(qiáng)的依賴關(guān)系。網(wǎng)絡(luò)學(xué)習(xí)精度(實(shí)際輸出與希望輸出的接近程度是隨著誤差的減小、訓(xùn)練次數(shù)的增加而提高，在個(gè)體誤差一定，單獨(dú)降低總體誤差到一定程度；或者總體 誤差一定，單獨(dú)降低個(gè)體誤差到一定程度；學(xué)習(xí)精度將變化很小，直至不再變化。所 以三者必須協(xié)

44、調(diào)設(shè)置才能奏效。7輸出層節(jié)點(diǎn)數(shù)越多，則網(wǎng)絡(luò)可識(shí)別的類別就越多，但網(wǎng)絡(luò)振蕩也加劇。 綜合考 慮網(wǎng)絡(luò)模型精度與訓(xùn)練時(shí)間，BP學(xué)習(xí)算法本身太慢的原因主要在于越逼近最佳值 點(diǎn),每步訓(xùn)練所減少的誤差也越小。如果要求示教模型訓(xùn)練的精度太高則往往需要 上萬(wàn)次的迭代，既不經(jīng)濟(jì)，也不適用。在實(shí)際應(yīng)用中一般所關(guān)心的是識(shí)別的準(zhǔn) 確度 而不是示教模型本身的精度，只要模型已經(jīng)滿足識(shí)別要求即可，不必要求模 型的精 度太高。總之，用BP算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，必須綜合考慮各方因素，細(xì)致地 選擇各個(gè)參 數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)，唯其如此，才能在較短的時(shí)間內(nèi)獲得滿意的結(jié)果。3.BP網(wǎng)絡(luò)在復(fù)合材料研究中的應(yīng)用3.1材料設(shè)計(jì)復(fù)合材料的設(shè)計(jì)必然涉及材

45、料組分、工藝、性能之間的關(guān)系，但其內(nèi)在規(guī)律非 常復(fù)雜。BP網(wǎng)絡(luò)具有強(qiáng)大的自學(xué)習(xí)、自適應(yīng)能力，可從實(shí)驗(yàn)數(shù)據(jù)中獲取3者之間的 內(nèi)在規(guī)律,并用于推理。陶瓷基復(fù)合材料的原始組分復(fù)雜，且難以燒結(jié)，選取適宜的組分和工藝參數(shù)是 改善其性能的關(guān)鍵。張蕾等在23Al O - T C i陶瓷基復(fù)合材料的研究中，以23Al O和T C i含量及原料的粒度為網(wǎng)絡(luò)輸入，材料的彎曲強(qiáng)度、斷裂韌性和硬度為輸出，建立組分配比及粒度與力學(xué)性能之間的映射關(guān)系，優(yōu)選出材料性能較 好時(shí)的組分配比及粒度范圍。甄強(qiáng)等將 BP網(wǎng)絡(luò)用于o-Sialon-BN復(fù)合材料的研究, 以722Y Si O與o-Sialon比值、Mul - lite含

46、量、最高燒結(jié)溫度和燒結(jié)氣氛等為輸入，以有無(wú)X-Sialon相為判據(jù)，構(gòu)建了相組成及性能的預(yù)測(cè)模型，進(jìn)而探 索合成O - Sialon-BN復(fù)合材料的原料配比及燒結(jié)工藝條件，得到了性能優(yōu)異的 材料。抗氧化燒蝕性能是碳/碳(C/C復(fù)合材料作為高溫結(jié)構(gòu)材料用于航空航天等領(lǐng)域 的關(guān)鍵，基體改性是提高抗氧化燒蝕性能的措施之一。 由于受改性添加劑和反應(yīng)產(chǎn) 物的類型及其在基體中的均勻性等的影響，傳統(tǒng)模擬方法難以準(zhǔn)確建立氧 化燒蝕率 的預(yù)報(bào)模型。陳強(qiáng)等10基于BP網(wǎng)絡(luò)技術(shù)，以2Z O r、B C r、S C i 及含量作為輸入，氧化燒蝕率作為輸出，建立了 C/C復(fù)合材料抗氧化燒蝕性 能預(yù)測(cè) 模型。該模型預(yù)測(cè)的

47、氧化燒f4率與實(shí)驗(yàn)值的誤差小于0. 32%,將優(yōu)選出的添加劑配方用于基體改性，材料的氧化燒蝕率較未優(yōu)化時(shí)下降了49. 5%。綜上可知，將BP網(wǎng)絡(luò)用于復(fù)合材料設(shè)計(jì)時(shí)，以材料組分及制備工藝參數(shù)等為網(wǎng)絡(luò)輸入，衡量材料的某些性能值為輸出，用已有的實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，可獲得材料組分、工藝、性能間的內(nèi)在規(guī)律，由此進(jìn)行材料設(shè)計(jì)。3.2性能預(yù)測(cè)復(fù)合材料的性能表征主要通過(guò)實(shí)驗(yàn)及理論分析進(jìn)行研究，不僅要花費(fèi)大量人力、物力，而且在材料相互作用機(jī)制不清楚的前提下，很難建立準(zhǔn)確的預(yù)報(bào)模型。BP網(wǎng)絡(luò)擅長(zhǎng)處理復(fù) 雜的非線性問(wèn)題，在復(fù)合材料性能預(yù)測(cè)方面具有明顯的優(yōu)勢(shì)。3. 2. 1力學(xué)性能預(yù)測(cè)力學(xué)性能是結(jié)構(gòu)材料最主要的性能之一

48、，受材料組分、組織結(jié)構(gòu)、制備工藝等 因素影響。喬英杰等19將BP網(wǎng)絡(luò)用于碳/陶瓷復(fù)合材料的性能預(yù)測(cè)，以摻雜 (Cr、T C、S i iC和BiC含量為輸入，材料的電阻率和抗折強(qiáng)度為輸出。建 O / TC陶瓷顆粒增強(qiáng)復(fù)合材料力學(xué)性能 2 3 i立力學(xué)性能與摻雜含量之間的預(yù)測(cè)模 型，模型預(yù)測(cè)的抗折強(qiáng)度與實(shí)驗(yàn)值的最大誤 差不超過(guò)12%。Altinkok N等以SiC 增強(qiáng)顆粒粒徑為網(wǎng)絡(luò)輸入，材料的抗拉強(qiáng)度、彎曲強(qiáng)度和硬度為輸出，建立了 Al的預(yù)測(cè)模型，預(yù)測(cè)的力學(xué)性能與實(shí)驗(yàn)結(jié)果吻合。在纖維增強(qiáng)聚合物基復(fù)合材料的性能預(yù)測(cè)中，Seyhan AT等以玻璃纖維體積分 數(shù)、纖維織物厚度等為輸入?yún)?shù)，建 立了材料

49、的抗壓強(qiáng)度、拉伸強(qiáng)度、剪切強(qiáng)度 等的BP預(yù)測(cè)模型，較精確地預(yù)測(cè)了材 料的力學(xué)性能。Bezerra E M等以纖維疊層 方向、纖維類型（碳纖維和玻璃纖維及 應(yīng)變作為網(wǎng)絡(luò)的輸入，材料的剪應(yīng)力為輸出，建立了環(huán)氧樹(shù)脂基復(fù)合材料剪切應(yīng)力一應(yīng)變特性的預(yù)測(cè)模型，預(yù)測(cè)的應(yīng)力與 實(shí)驗(yàn)值吻合。3. 2. 2疲勞壽命預(yù)測(cè) 疲 勞是纖維增強(qiáng)復(fù)合材料較為復(fù)雜的問(wèn)題之一。Yousef A.A等以最大應(yīng)力、最 小與最大應(yīng)力比、纖維方向角作為 BP網(wǎng)絡(luò)的輸人，疲勞失效循環(huán)次數(shù)作為輸出，建立了一維玻璃纖維增強(qiáng)環(huán)氧樹(shù)脂復(fù)合材料疲勞壽命的預(yù)測(cè)模型。雖然訓(xùn)練網(wǎng)絡(luò)的樣本較少，但預(yù)測(cè)結(jié)果的精度與其它預(yù)測(cè)方法相當(dāng)。Lee J. A等以最大

50、應(yīng)力、最小應(yīng)力、失效概率、抗拉強(qiáng)度、抗壓強(qiáng)度、失效應(yīng)變和彈性模量為網(wǎng)絡(luò)輸入，疲勞失效循環(huán)次數(shù)作為輸出，建立了二維碳纖維及玻璃纖維增強(qiáng)塑料板疲勞壽命的BP預(yù)測(cè)模型。該模型較精確地預(yù)測(cè)了恒定應(yīng)力下的疲勞壽命，并能精確描述應(yīng)力一最小與最大應(yīng)力比一中值壽命的關(guān)系。止匕外，BP網(wǎng)絡(luò)在預(yù)測(cè)層合板復(fù)合材料28、短纖維增強(qiáng)復(fù)合材料等的疲勞壽命 中也得到了應(yīng)用。3. 2. 3摩擦磨損性能 預(yù)測(cè)iC的體積分?jǐn)?shù)和摩擦試驗(yàn)時(shí)間作為BP網(wǎng)絡(luò)的輸入，磨損量為輸出。建立了 S C增強(qiáng)Al-Cu i合金磨損性能的預(yù)測(cè)模型，預(yù)測(cè)的磨損量與實(shí)驗(yàn)值的誤差小于 10%。Rashed F S在金屬基復(fù)合材料摩擦磨損性能預(yù)測(cè)中，Haya

51、jneh M等以Cu和S等以試驗(yàn)壓力及溫度、S建立了 A356/ S iC顆粒粒徑及其質(zhì)量含量為網(wǎng)絡(luò)輸 入，磨損率為輸出，iC顆粒增強(qiáng)金屬基復(fù)合材料的磨損性能 BP預(yù)測(cè)模型，預(yù)測(cè) 的磨損率與實(shí)驗(yàn)值的誤差小于6%。在纖維增強(qiáng)聚合物基復(fù)合材料的摩擦磨損性 能預(yù)測(cè)中，VeltenK等以材料的力學(xué)性能（壓縮強(qiáng)度、模量、最大壓應(yīng)變、抗拉強(qiáng) 度、最大拉應(yīng)變、沖擊強(qiáng)度和試 驗(yàn)條件（環(huán)境溫度、初始載荷、平均載荷和平均速 度為輸入，構(gòu)建復(fù)合材料磨損 量的BP預(yù)測(cè)模型，預(yù)測(cè)值與實(shí)驗(yàn)值基本吻合。Zhang Z等以材料的組分（纖維和聚四氟乙烯的含量、力學(xué)性能（壓縮強(qiáng)度及模量、 硬度、斷裂韌性和試驗(yàn)條件（環(huán)境溫度、正壓

52、力和摩擦速率為 BP網(wǎng)絡(luò)輸入，采用 103組數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，建立了摩 擦系數(shù)和磨損率的預(yù)測(cè)模型，預(yù)測(cè)結(jié)果的精度較 高，可用于組分優(yōu)化。2. 4損傷檢測(cè)和預(yù)測(cè) 復(fù)合材料由增強(qiáng)體、基體和界面組成，是一個(gè)分布不均勻的多相體系，且服役 過(guò)程中又受外部因素的影響，其損傷及失效機(jī)理復(fù)雜z21。BP網(wǎng)絡(luò)因其強(qiáng)大的特 征提取、模式識(shí)別及聚類能力， 通過(guò) 采集損傷后材料整體或不同部位信息特征（如聲音、頻率、導(dǎo)熱和導(dǎo)電率等的變化 來(lái)訓(xùn)練網(wǎng)絡(luò)，可在不破壞被檢材料的前提下檢測(cè)和預(yù)測(cè)其損傷情況。分層（層間開(kāi) 裂是復(fù)合材料層合板的一種主要破壞形式。分層現(xiàn)象的產(chǎn)生使材料的剛度及固有頻率降低?；诖嗽?，Valour M T等

53、L34以厚復(fù)合梁模型（Thick composite beammodel研究復(fù)合材料層合板固有頻率與分層尺寸、位置之間的關(guān)系。為降低問(wèn)題的復(fù)雜性，只考慮某位置發(fā)生單一分層現(xiàn)象，并根據(jù)分層的尺寸和位置，將復(fù)合梁分成相對(duì)獨(dú)立的4個(gè)部分。假設(shè)分層部分具有相同的橫向位移，以計(jì)算得到各種分層位置和尺寸下梁的固有頻率為網(wǎng)絡(luò)輸入，分層的位置和尺寸作為輸出，建立了梁分層位置、尺寸的 BP預(yù)測(cè)模型。利用訓(xùn)練后的模型，輸入梁 的固有 頻率，即可精確預(yù)測(cè)分層發(fā)生的部位及尺寸。Chakraborty D等L3副建立了反映復(fù)合材料層合板固有頻率與分層尺寸、形狀和 位置之間關(guān)系的BP模型，用以有效預(yù) 測(cè)材料內(nèi)部分層的尺寸、形狀和位置。王宏濤等基