人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1、人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介本文主要對(duì)人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)進(jìn)行了描述，主要包括人工神經(jīng)網(wǎng)絡(luò)的概念、發(fā)展、特點(diǎn)、結(jié)構(gòu)、模型。本文是個(gè)科普文，來自網(wǎng)絡(luò)資料的整理。一、人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork，ANN)簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)(NN)，是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象了人腦結(jié)構(gòu)和外界刺激響應(yīng)機(jī)制后，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦的神經(jīng)系統(tǒng)對(duì)復(fù)雜信息的處理機(jī)制的一種數(shù)學(xué)模型。該模型以并行分布的處理能力、高容錯(cuò)性、智能化和自學(xué)習(xí)等能力為特征，將信息的加工和存儲(chǔ)結(jié)合在一起，以其獨(dú)特的知識(shí)表示方式和智能化的自適應(yīng)學(xué)習(xí)能力，引起各學(xué)科領(lǐng)域的關(guān)注。它實(shí)際上是一個(gè)有大量

2、簡(jiǎn)單元件相互連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實(shí)現(xiàn)的系統(tǒng)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激活函數(shù)(activationfunction)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值，稱之為權(quán)重(weight)，神經(jīng)網(wǎng)絡(luò)就是通過這種方式來模擬人類的記憶。網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。神經(jīng)網(wǎng)絡(luò)的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡(luò)運(yùn)作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡(luò)則是把對(duì)生物神

3、經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)與數(shù)學(xué)統(tǒng)計(jì)模型相結(jié)合，借助數(shù)學(xué)統(tǒng)計(jì)工具來實(shí)現(xiàn)。另一方面在人工智能學(xué)的人工感知領(lǐng)域，我們通過數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類似于人的決定能力和簡(jiǎn)單的判斷能力，這種方法是對(duì)傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸。人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種

4、非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。神經(jīng)網(wǎng)絡(luò)，是一種應(yīng)用類似于大腦神經(jīng)突觸連接結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，它是在人類對(duì)自身大腦組織結(jié)合和思維機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬出來的，它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、思維科學(xué)、人工智能、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)以及工程科學(xué)的一門技術(shù)。二、人工神經(jīng)網(wǎng)絡(luò)的發(fā)展神經(jīng)網(wǎng)絡(luò)的發(fā)展有悠久的歷史。其發(fā)展過程大致可以概括為如下4個(gè)階段。第一階段啟蒙時(shí)期、M-P神經(jīng)網(wǎng)絡(luò)模型：20世紀(jì)40年代，人們就開始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究o1943年，美國(guó)心理學(xué)家麥克洛奇(

5、Mcculloch)和數(shù)學(xué)家皮茲(Pitts)提出了M-P模型，此模型比較簡(jiǎn)單，但是意義重大。在模型中，通過把神經(jīng)元看作個(gè)功能邏輯器件來實(shí)現(xiàn)算法，從此開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究。、Hebb規(guī)貝9：1949年，心理學(xué)家赫布(Hebb)出版了TheOrganizationofBehavior(行為組織學(xué))，他在書中提出了突觸連接強(qiáng)度可變的假設(shè)。這個(gè)假設(shè)認(rèn)為學(xué)習(xí)過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強(qiáng)度隨之突觸前后神經(jīng)元的活動(dòng)而變化。這一假設(shè)發(fā)展成為后來神經(jīng)網(wǎng)絡(luò)中非常著名的Hebb規(guī)則。這一法則告訴人們，神經(jīng)元之間突觸的聯(lián)系強(qiáng)度是可變的，這種可變性是學(xué)習(xí)和記憶的基礎(chǔ)。Hebb法則為構(gòu)造有學(xué)

6、習(xí)功能的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。、感知器模型：1957年，羅森勃拉特(Rosenblatt)以M-P模型為基礎(chǔ)，提出了感知器(Perceptron)模型。感知器模型具有現(xiàn)代神經(jīng)網(wǎng)絡(luò)的基本原則，并且它的結(jié)構(gòu)非常符合神經(jīng)生理學(xué)。這是一個(gè)具有連續(xù)可調(diào)權(quán)值矢量的MP神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過訓(xùn)練可以達(dá)到對(duì)一定的輸入矢量模式進(jìn)行分類和識(shí)別的目的，它雖然比較簡(jiǎn)單，卻是第一個(gè)真正意義上的神經(jīng)網(wǎng)絡(luò)。Rosenblatt證明了兩層感知器能夠?qū)斎脒M(jìn)行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt的神經(jīng)網(wǎng)絡(luò)模型包含了一些現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理，從而形成神經(jīng)網(wǎng)絡(luò)方法和技術(shù)的重大突破。、

7、ADALINE網(wǎng)絡(luò)模型：1959年，美國(guó)著名工程師威德羅(B.Widrow)和霍夫(M.Hoff)等人提出了自適應(yīng)線性元件(Adaptivelinearelement,簡(jiǎn)稱Adaline)和Widrow-Hoff學(xué)習(xí)規(guī)則(又稱最小均方差算法或稱6規(guī)則)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，并將其應(yīng)用于實(shí)際工程，成為第一個(gè)用于解決實(shí)際問題的人工神經(jīng)網(wǎng)絡(luò),促進(jìn)了神經(jīng)網(wǎng)絡(luò)的研究應(yīng)用和發(fā)展oADALINE網(wǎng)絡(luò)模型是一種連續(xù)取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型，可以用于自適應(yīng)系統(tǒng)。第二階段-低潮時(shí)期人工智能的創(chuàng)始人之一Minsky和Papert對(duì)以感知器為代表的網(wǎng)絡(luò)系統(tǒng)的功能及局限性從數(shù)學(xué)上做了深入研究，于1969年發(fā)表了轟動(dòng)

8、一時(shí)Perceptrons一書，指出簡(jiǎn)單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡(jiǎn)單的線性感知器不可能實(shí)現(xiàn)“異或”的邏輯關(guān)系等。這一論斷給當(dāng)時(shí)人工神經(jīng)元網(wǎng)絡(luò)的研究帶來沉重的打擊。開始了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長(zhǎng)達(dá)10年的低潮期。、自組織神經(jīng)網(wǎng)絡(luò)SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經(jīng)網(wǎng)絡(luò)SOM(Self-Organizingfeaturemap)。后來的神經(jīng)網(wǎng)絡(luò)主要是根據(jù)KohonenT.的工作來實(shí)現(xiàn)的。SOM網(wǎng)絡(luò)是一類無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)，主要用于模式識(shí)別、語音識(shí)別及分類問題。它采用一種“勝者為王”的競(jìng)爭(zhēng)學(xué)習(xí)算法，與先前提出的感知器有很大的不同

9、，同時(shí)它的學(xué)習(xí)訓(xùn)練方式是無指導(dǎo)訓(xùn)練，是一種自組織網(wǎng)絡(luò)。這種學(xué)習(xí)訓(xùn)練方式往往是在不知道有哪些分類類型存在時(shí)，用作提取分類信息的一種訓(xùn)練。(2)、自適應(yīng)共振理論ART：1976年，美國(guó)Grossberg教授提出了著名的自適應(yīng)共振理論ART(AdaptiveResonanceTheory)，其學(xué)習(xí)過程具有自組織和自穩(wěn)定的特征。第三階段-復(fù)興時(shí)期、Hopfield模型：1982年，美國(guó)物理學(xué)家霍普菲爾德(Hopfield)提出了一種離散神經(jīng)網(wǎng)絡(luò)，即離散Hopfield網(wǎng)絡(luò)，從而有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究。在網(wǎng)絡(luò)中，它首次將李雅普諾夫(Lyapunov)函數(shù)引入其中，后來的研究學(xué)者也將Lyapunov函

10、數(shù)稱為能量函數(shù)。證明了網(wǎng)絡(luò)的穩(wěn)定性。1984年，Hopfield又提出了一種連續(xù)神經(jīng)網(wǎng)絡(luò)，將網(wǎng)絡(luò)中神經(jīng)元的激活函數(shù)由離散型改為連續(xù)型。1985年，Hopfield和Tank利用Hopfield神經(jīng)網(wǎng)絡(luò)解決了著名的旅行推銷商問題(TravellingSalesmanProblem)。Hopfield神經(jīng)網(wǎng)絡(luò)是一組非線性微分方程。Hopfield的模型不僅對(duì)人工神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)和提取功能進(jìn)行了非線性數(shù)學(xué)概括,提出了動(dòng)力方程和學(xué)習(xí)方程，還對(duì)網(wǎng)絡(luò)算法提供了重要公式和參數(shù)，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)，在Hopfield模型的影響下，大量學(xué)者又激發(fā)起研究神經(jīng)網(wǎng)絡(luò)的熱情，積極投身于這一學(xué)術(shù)領(lǐng)域中

11、。因?yàn)镠opfield神經(jīng)網(wǎng)絡(luò)在眾多方面具有巨大潛力，所以人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究十分地重視，更多的人開始了研究神經(jīng)網(wǎng)絡(luò)，極大地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。、Boltzmann機(jī)模型：1983年，Kirkpatrick等人認(rèn)識(shí)到模擬退火算法可用于NP完全組合優(yōu)化問題的求解，這種模擬高溫物體退火過程來找尋全局最優(yōu)解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學(xué)者Sejnowski等合作提出了大規(guī)模并行網(wǎng)絡(luò)學(xué)習(xí)機(jī)，并明確提出隱單元的概念，這種學(xué)習(xí)機(jī)后來被稱為Boltzmann機(jī)。Hinton和Sejnowsky利用統(tǒng)計(jì)物理學(xué)的感念和方法，首次提出的多層網(wǎng)絡(luò)的學(xué)習(xí)算法，稱為

12、Boltzmann機(jī)模型。、BP神經(jīng)網(wǎng)絡(luò)模型：1986年，儒默哈特(D.E.Rumelhart)等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法-BP算法(ErrorBack-Propagation),解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問題。、并行分布處理理論：1986年，由Rumelhart和McCkekkand主編的ParallelDistributedProcessing：ExplorationintheMicrostructuresofCognition，該書中，他們建立了并行分布處理

13、理論，主要致力于認(rèn)知的微觀研究，同時(shí)對(duì)具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法即BP算法進(jìn)行了詳盡的分析，解決了長(zhǎng)期以來沒有權(quán)值調(diào)整有效算法的難題?？梢郧蠼飧兄獧C(jī)所不能解決的問題，回答了Perceptrons一書中關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的問題，從實(shí)踐上證實(shí)了人工神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的運(yùn)算能力。、細(xì)胞神經(jīng)網(wǎng)絡(luò)模型：1988年，Chua和Yang提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)(CNN)模型，它是一個(gè)細(xì)胞自動(dòng)機(jī)特性的大規(guī)模非線性計(jì)算機(jī)仿真系統(tǒng)。Kosko建立了雙向聯(lián)想存儲(chǔ)模型(BAM)，它具有非監(jiān)督學(xué)習(xí)能力。、Darwinism模型：Edelman提出的Darwinism模型在90年代初產(chǎn)生了很大的影響，他

14、建立了一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。、1988年，Linsker對(duì)感知機(jī)網(wǎng)絡(luò)提出了新的自組織理論，并在Shanon信息論的基礎(chǔ)上形成了最大互信息理論，從而點(diǎn)燃了基于NN的信息應(yīng)用理論的光芒。、1988年，Broomhead和Lowe用徑向基函數(shù)(Radialbasisfunction,RBF)提出分層網(wǎng)絡(luò)的設(shè)計(jì)方法，從而將NN的設(shè)計(jì)與數(shù)值分析和線性適應(yīng)濾波相掛鉤。、1991年，Haken把協(xié)同引入神經(jīng)網(wǎng)絡(luò)，在他的理論框架中，他認(rèn)為，認(rèn)知過程是自發(fā)的，并斷言模式識(shí)別過程即是模式形成過程。、1994年，廖曉昕關(guān)于細(xì)胞神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論與基礎(chǔ)的提出，帶來了這個(gè)領(lǐng)域新的進(jìn)展。通過拓廣神經(jīng)網(wǎng)絡(luò)的激活函數(shù)類，給出

15、了更一般的時(shí)滯細(xì)胞神經(jīng)網(wǎng)絡(luò)(DCNN)、Hopfield神經(jīng)網(wǎng)絡(luò)(HNN)、雙向聯(lián)想記憶網(wǎng)絡(luò)(BAM)模型。、90年代初，Vapnik等提出了支持向量機(jī)(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)維數(shù)的概念。經(jīng)過多年的發(fā)展，已有上百種的神經(jīng)網(wǎng)絡(luò)模型被提出。4.第四階段-高潮時(shí)期注：自己分的，不準(zhǔn)確A_A深度學(xué)習(xí)(DeepLearning,DL)由Hinton等人于2006年提出，是機(jī)器學(xué)習(xí)(MachineLearning,ML)的一個(gè)新領(lǐng)域。深度學(xué)習(xí)本質(zhì)上是構(gòu)建含有多隱層的機(jī)器學(xué)習(xí)架構(gòu)模型，通過大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練，得到大量更具代表性的特

16、征信息。深度學(xué)習(xí)算法打破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)層數(shù)的限制，可根據(jù)設(shè)計(jì)者需要選擇網(wǎng)絡(luò)層數(shù)。關(guān)于深度學(xué)習(xí)的文章可以參考：/fengbingchun/article/details/50087005三、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)神經(jīng)網(wǎng)絡(luò)是由存儲(chǔ)在網(wǎng)絡(luò)內(nèi)部的大量神經(jīng)元通過節(jié)點(diǎn)連接權(quán)組成的一種信息響應(yīng)網(wǎng)狀拓?fù)浣Y(jié)構(gòu)，它采用了并行分布式的信號(hào)處理機(jī)制，因而具有較快的處理速度和較強(qiáng)的容錯(cuò)能力。神經(jīng)網(wǎng)絡(luò)模型用于模擬人腦神經(jīng)元的活動(dòng)過程，其中包括對(duì)信息的加工、處理、存儲(chǔ)、和搜索等過程。人工神經(jīng)網(wǎng)絡(luò)具有如下基本特點(diǎn)：、高度的并行性：人工神經(jīng)網(wǎng)絡(luò)有許多相同的簡(jiǎn)單處理單元并聯(lián)組合而成，雖然每一個(gè)神經(jīng)元的功能簡(jiǎn)單，但大量簡(jiǎn)單神經(jīng)元并行

17、處理能力和效果，卻十分驚人。人工神經(jīng)網(wǎng)絡(luò)和人類的大腦類似，不但結(jié)構(gòu)上是并行的，它的處理順序也是并行和同時(shí)的。在同一層內(nèi)的處理單元都是同時(shí)操作的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布在多個(gè)處理單元上，而一般計(jì)算機(jī)通常有一個(gè)處理單元，其處理順序是串行的。人腦神經(jīng)元之間傳遞脈沖信號(hào)的速度遠(yuǎn)低于馮諾依曼計(jì)算機(jī)的工作速度，前者為毫秒量級(jí)，后者的時(shí)鐘頻率通常可達(dá)108Hz或更高的速率。但是，由于人腦是一個(gè)大規(guī)模并行與串行組合處理系統(tǒng)，因而在許多問題上可以做出快速判斷、決策和處理，其速度可以遠(yuǎn)高于串行結(jié)構(gòu)的馮諾依曼計(jì)算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，可以大大提高工作速度。、高度的非線性全局作用：

18、人工神經(jīng)網(wǎng)絡(luò)每個(gè)神經(jīng)元接受大量其他神經(jīng)元的輸入，并通過并行網(wǎng)絡(luò)產(chǎn)生輸出，影響其他神經(jīng)元，網(wǎng)絡(luò)之間的這種互相制約和互相影響，實(shí)現(xiàn)了從輸入狀態(tài)到輸出狀態(tài)空間的非線性映射，從全局的觀點(diǎn)來看，網(wǎng)絡(luò)整體性能不是網(wǎng)絡(luò)局部性能的疊加，而表現(xiàn)出某種集體性的行為。非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性人工神經(jīng)網(wǎng)絡(luò)。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。、聯(lián)想記憶功能和良好的容錯(cuò)性：人工神經(jīng)網(wǎng)絡(luò)通過自身的特有網(wǎng)絡(luò)結(jié)構(gòu)將處理的數(shù)據(jù)信息存儲(chǔ)在神經(jīng)元之間的權(quán)值中，具有聯(lián)想記憶功能，從單一的某個(gè)權(quán)值

19、并看不出其所記憶的信息內(nèi)容，因而是分布式的存儲(chǔ)形式，這就使得網(wǎng)絡(luò)有很好的容錯(cuò)性，并可以進(jìn)行特征提取、缺損模式復(fù)原、聚類分析等模式信息處理工作，又可以作模式聯(lián)想、分類、識(shí)別工作。它可以從不完善的數(shù)據(jù)和圖形中進(jìn)行學(xué)習(xí)并做出決定。由于知識(shí)存在于整個(gè)系統(tǒng)中，而不只是一個(gè)存儲(chǔ)單元中，預(yù)訂比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大的影響。能夠處理那些有噪聲或不完全的數(shù)據(jù)，具有泛化功能和很強(qiáng)的容錯(cuò)能力。一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的

20、典型例子。、良好的自適應(yīng)、自學(xué)習(xí)功能：人工神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)訓(xùn)練獲得網(wǎng)絡(luò)的權(quán)值與結(jié)構(gòu)，呈現(xiàn)出很強(qiáng)的自學(xué)習(xí)能力和對(duì)環(huán)境的自適應(yīng)能力。神經(jīng)網(wǎng)絡(luò)所具有的自學(xué)習(xí)過程模擬了人的形象思維方法，這是與傳統(tǒng)符號(hào)邏輯完全不同的一種非邏輯非語言。自適應(yīng)性根據(jù)所提供的數(shù)據(jù)，通過學(xué)習(xí)和訓(xùn)練，找出輸入和輸出之間的內(nèi)在關(guān)系，從而求取問題的解，而不是依據(jù)對(duì)問題的經(jīng)驗(yàn)知識(shí)和規(guī)則，因而具有自適應(yīng)功能，這對(duì)于弱化權(quán)重確定人為因素是十分有益的。、知識(shí)的分布存儲(chǔ)：在神經(jīng)網(wǎng)絡(luò)中，知識(shí)不是存儲(chǔ)在特定的存儲(chǔ)單元中，而是分布在整個(gè)系統(tǒng)中，要存儲(chǔ)多個(gè)知識(shí)就需要很多鏈接。在計(jì)算機(jī)中，只要給定一個(gè)地址就可得到一個(gè)或一組數(shù)據(jù)。在神經(jīng)網(wǎng)絡(luò)中要獲得存儲(chǔ)的

21、知識(shí)則采用聯(lián)想”的辦法，這類似人類和動(dòng)物的聯(lián)想記憶。人類善于根據(jù)聯(lián)想正確識(shí)別圖形，人工神經(jīng)網(wǎng)絡(luò)也是這樣。神經(jīng)網(wǎng)絡(luò)采用分布式存儲(chǔ)方式表示知識(shí)，通過網(wǎng)絡(luò)對(duì)輸入信息的響應(yīng)將激活信號(hào)分布在網(wǎng)絡(luò)神經(jīng)元上，通過網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)使得特征被準(zhǔn)確地記憶在網(wǎng)絡(luò)的連接權(quán)值上，當(dāng)同樣的模式再次輸入時(shí)網(wǎng)絡(luò)就可以進(jìn)行快速判斷。、非凸性：一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。正是神經(jīng)網(wǎng)絡(luò)所具有的這種學(xué)習(xí)和適應(yīng)能力、自組織、非線性和運(yùn)算高度并行的能力，解決了傳統(tǒng)人工智能對(duì)于

22、直覺處理方面的缺陷，例如對(duì)非結(jié)構(gòu)化信息、語音模式識(shí)別等的處理,使之成功應(yīng)用于神經(jīng)專家系統(tǒng)、組合優(yōu)化、智能控制、預(yù)測(cè)、模式識(shí)別等領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。因此，它在功能上具有某些智能特點(diǎn)：、聯(lián)想記憶功能：由于神經(jīng)網(wǎng)絡(luò)具有分布存儲(chǔ)信息和并行計(jì)算的性能，因此它具有對(duì)外界刺激和輸入信息進(jìn)行聯(lián)想記憶的能力。這種能力是通過神經(jīng)元之間的協(xié)同結(jié)構(gòu)及信息處理的集體行為而實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲(chǔ)信息和學(xué)習(xí)機(jī)制進(jìn)行自適應(yīng)訓(xùn)練，可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整的信息。這一功能使神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原、語音處理、模式識(shí)別與分類方面具有重要的應(yīng)用前景。聯(lián)想記憶又分自聯(lián)想記

23、憶和異聯(lián)想記憶兩種。（2）、分類與識(shí)別功能：神經(jīng)網(wǎng)絡(luò)對(duì)外界輸入樣本有很強(qiáng)的識(shí)別與分類能力。對(duì)輸入樣本的分類實(shí)際上是在樣本空間找出符合分類要求的分割區(qū)域，每個(gè)區(qū)域內(nèi)的樣本屬于一類。（3）、優(yōu)化計(jì)算功能：優(yōu)化計(jì)算是指在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。將優(yōu)化約束信息（與目標(biāo)函數(shù)有關(guān)）存儲(chǔ)于神經(jīng)網(wǎng)絡(luò)的連接權(quán)矩陣之中，神經(jīng)網(wǎng)絡(luò)的工作狀態(tài)以動(dòng)態(tài)系統(tǒng)方程式描述。設(shè)置一組隨機(jī)數(shù)據(jù)作為起始條件，當(dāng)系統(tǒng)的狀態(tài)趨于穩(wěn)定時(shí)，神經(jīng)網(wǎng)絡(luò)方程的解作為輸出優(yōu)化結(jié)果。優(yōu)化計(jì)算在TSP及生產(chǎn)調(diào)度問題上有重要應(yīng)用。（4）、非線性映射功能：在許多實(shí)際問題中，如過程控制、系統(tǒng)辨識(shí)、故障診斷、機(jī)器人控

24、制等諸多領(lǐng)域，系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，對(duì)于這類系統(tǒng)，往往難以用傳統(tǒng)的數(shù)理方程建立其數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)在這方面有獨(dú)到的優(yōu)勢(shì)，設(shè)計(jì)合理的神經(jīng)網(wǎng)絡(luò)通過對(duì)系統(tǒng)輸入輸出樣本進(jìn)行訓(xùn)練學(xué)習(xí)，從理論上講，能夠以任意精度逼近任意復(fù)雜的非線性函數(shù)。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性能使其可以作為多維非線性函數(shù)的通用數(shù)學(xué)模型。四、人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)生物神經(jīng)元的結(jié)構(gòu)：神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡(jiǎn)稱神經(jīng)元。神經(jīng)元主要由三部分構(gòu)成：（1）細(xì)胞體；（2）軸突；（3）樹突。如下圖所示：生物神經(jīng)元結(jié)構(gòu)突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于

25、神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng).樹突由于電化學(xué)作用接受外界的刺激，通過胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過軸突末梢傳遞給其它的神經(jīng)元.從控制論的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過程。神經(jīng)元的功能特性：（1）時(shí)空整合功能；（2）神經(jīng)元的動(dòng)態(tài)極化性；（3）興奮與抑制狀態(tài)；（4）結(jié)構(gòu)的可塑性；（5）脈沖與電位信號(hào)的轉(zhuǎn)換；（6）突觸延期和不應(yīng)期；（7）學(xué)習(xí)、遺忘和疲勞。人工神經(jīng)元結(jié)構(gòu)：人工神經(jīng)元的研究源于腦神經(jīng)元學(xué)說，19世紀(jì)末，在生物、

26、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說。人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突-突觸-樹突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。人工神經(jīng)元結(jié)構(gòu)如下圖所示：神經(jīng)網(wǎng)絡(luò)從兩個(gè)方面模擬大腦：（1）、神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來的。（2）、內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。神經(jīng)網(wǎng)絡(luò)系統(tǒng)由能夠處理人類大腦不同部分之間

27、信息傳遞的由大量神經(jīng)元連接形成的拓?fù)浣Y(jié)構(gòu)組成，依賴于這些龐大的神經(jīng)元數(shù)目和它們之間的聯(lián)系，人類的大腦能夠收到輸入的信息的刺激由分布式并行處理的神經(jīng)元相互連接進(jìn)行非線性映射處理，從而實(shí)現(xiàn)復(fù)雜的信息處理和推理任務(wù)。對(duì)于某個(gè)處理單元（神經(jīng)元）來說，假設(shè)來自其他處理單元（神經(jīng)元）i的信息為務(wù)，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為Wj,i=0,1,n-1,處理單元的內(nèi)部閾值為eo用一！那么本處理單元（神經(jīng)元）的輸入為，而處理單元的輸出為:i=章1=0式中，Xj為第i個(gè)元素的輸入，wi為第i個(gè)處理單元與本處理單元的互聯(lián)權(quán)重即神經(jīng)元連接權(quán)值。f稱為激活函數(shù)或作用函數(shù)，它決定節(jié)點(diǎn)（神經(jīng)元）的輸出。0表示

28、隱含層神經(jīng)節(jié)點(diǎn)的閾值。神經(jīng)網(wǎng)絡(luò)的主要工作是建立模型和確定權(quán)值，一般有前向型和反饋型兩種網(wǎng)絡(luò)結(jié)構(gòu)。通常神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練需要一組輸入數(shù)據(jù)和輸出數(shù)據(jù)對(duì)，選擇網(wǎng)絡(luò)模型和傳遞、訓(xùn)練函數(shù)后,神經(jīng)網(wǎng)絡(luò)計(jì)算得到輸出結(jié)果，根據(jù)實(shí)際輸出和期望輸出之間的誤差進(jìn)行權(quán)值的修正，在網(wǎng)絡(luò)進(jìn)行判斷的時(shí)候就只有輸入數(shù)據(jù)而沒有預(yù)期的輸出結(jié)果。神經(jīng)網(wǎng)絡(luò)一個(gè)相當(dāng)重要的能力是其網(wǎng)絡(luò)能通過它的神經(jīng)元權(quán)值和閾值的不斷調(diào)整從環(huán)境中進(jìn)行學(xué)習(xí)，直到網(wǎng)絡(luò)的輸出誤差達(dá)到預(yù)期的結(jié)果，就認(rèn)為網(wǎng)絡(luò)訓(xùn)練結(jié)束。對(duì)于這樣一種多輸入、單輸出的基本單元可以進(jìn)一步從生物化學(xué)、電生物學(xué)、數(shù)學(xué)等方面給出描述其功能的模型。利用大量神經(jīng)元相互連接組成的人工神經(jīng)網(wǎng)絡(luò)，將顯

29、示出人腦的若干特征，人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重wij值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識(shí)，以至超過設(shè)計(jì)者原有的知識(shí)水平。通常，它的學(xué)習(xí)（或訓(xùn)練）方式可分為兩種，一種是有監(jiān)督（supervised）或稱有導(dǎo)師的學(xué)習(xí)，這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是無監(jiān)督（unsupervised）學(xué)習(xí)或稱無導(dǎo)師學(xué)習(xí)，這時(shí)，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，而具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境（即輸入信號(hào)情況）而異，系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似于人腦的功能。在人工神

30、經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及應(yīng)用研究中，通常需要考慮三個(gè)方面的內(nèi)容，即神經(jīng)元激活函數(shù)、神經(jīng)元之間的連接形式和網(wǎng)絡(luò)的學(xué)習(xí)（訓(xùn)練）。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)形式：在構(gòu)造神經(jīng)網(wǎng)絡(luò)時(shí)，其神經(jīng)元的傳遞函數(shù)和轉(zhuǎn)換函數(shù)就已經(jīng)確定了。在網(wǎng)絡(luò)的學(xué)習(xí)過程中是無法改變轉(zhuǎn)換函數(shù)的，因此如果想要改變網(wǎng)絡(luò)輸出的大小，只能通過改變加權(quán)求和的輸入來達(dá)到。由于神經(jīng)元只能對(duì)網(wǎng)絡(luò)的輸入信號(hào)進(jìn)行響應(yīng)處理，想要改變網(wǎng)絡(luò)的加權(quán)輸入只能修改網(wǎng)絡(luò)神經(jīng)元的權(quán)參數(shù)，因此神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)就是改變權(quán)值矩陣的過程。神經(jīng)網(wǎng)絡(luò)的工作過程：神經(jīng)網(wǎng)絡(luò)的工作過程包括離線學(xué)習(xí)和在線判斷兩部分。學(xué)習(xí)過程中各神經(jīng)元進(jìn)行規(guī)則學(xué)習(xí)，權(quán)參數(shù)調(diào)整，進(jìn)行非線性映射關(guān)系擬合以達(dá)到訓(xùn)練精度；判斷階段則是訓(xùn)練

31、好的穩(wěn)定的網(wǎng)絡(luò)讀取輸入信息通過計(jì)算得到輸出結(jié)果。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是修正權(quán)值的一種算法，分為聯(lián)想式和非聯(lián)想式學(xué)習(xí)，有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)等。下面介紹幾個(gè)常用的學(xué)習(xí)規(guī)則。、誤差修正型規(guī)則：是一種有監(jiān)督的學(xué)習(xí)方法，根據(jù)實(shí)際輸出和期望輸出的誤差進(jìn)行網(wǎng)絡(luò)連接權(quán)值的修正，最終網(wǎng)絡(luò)誤差小于目標(biāo)函數(shù)達(dá)到預(yù)期結(jié)果。誤差修正法，權(quán)值的調(diào)整與網(wǎng)絡(luò)的輸出誤差有關(guān)，它包括&學(xué)習(xí)規(guī)則、Widrow-Hoff學(xué)習(xí)規(guī)則、感知器學(xué)習(xí)規(guī)則和誤差反向傳播的BP(BackPropagation)學(xué)習(xí)規(guī)則等。、競(jìng)爭(zhēng)型規(guī)則：無監(jiān)督學(xué)習(xí)過程，網(wǎng)絡(luò)僅根據(jù)提供的一些學(xué)習(xí)樣本進(jìn)行自組織學(xué)習(xí)，沒有期望輸出，通過神經(jīng)元相互競(jìng)爭(zhēng)

32、對(duì)外界刺激模式響應(yīng)的權(quán)利進(jìn)行網(wǎng)絡(luò)權(quán)值的調(diào)整來適應(yīng)輸入的樣本數(shù)據(jù)。對(duì)于無監(jiān)督學(xué)習(xí)的情況，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于環(huán)境”之中，學(xué)習(xí)(訓(xùn)練)階段與應(yīng)用(工作)階段成為一體。、Hebb型規(guī)則：利用神經(jīng)元之間的活化值(激活值)來反映它們之間聯(lián)接性的變化，即根據(jù)相互連接的神經(jīng)元之間的活化值(激活值)來修正其權(quán)值。在Hebb學(xué)習(xí)規(guī)則中，學(xué)習(xí)信號(hào)簡(jiǎn)單地等于神經(jīng)元的輸出。Hebb學(xué)習(xí)規(guī)則代表一種純前饋、無導(dǎo)師學(xué)習(xí)。該學(xué)習(xí)規(guī)則至今在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。典型的應(yīng)用如利用Hebb規(guī)則訓(xùn)練線性聯(lián)想器的權(quán)矩陣。、隨機(jī)型規(guī)則：在學(xué)習(xí)過程中結(jié)合了隨機(jī)、概率論和能量函數(shù)的思想，根據(jù)目標(biāo)函數(shù)(即網(wǎng)絡(luò)輸出均方

33、差)的變化調(diào)整網(wǎng)絡(luò)的參數(shù)，最終使網(wǎng)絡(luò)目標(biāo)函數(shù)達(dá)到收斂值。激活函數(shù)：在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)解決問題的能力與效率除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)外，在很大程度上取決于網(wǎng)絡(luò)所采用的激活函數(shù)。激活函數(shù)的選擇對(duì)網(wǎng)絡(luò)的收斂速度有較大的影響，針對(duì)不同的實(shí)際問題，激活函數(shù)的選擇也應(yīng)不同。神經(jīng)元在輸入信號(hào)作用下產(chǎn)生輸出信號(hào)的規(guī)律由神經(jīng)元功能函數(shù)f(ActivationFunction)給出，也稱激活函數(shù)，或稱轉(zhuǎn)移函數(shù)，這是神經(jīng)元模型的外特性。它包含了從輸入信號(hào)到凈輸入、再到激活值、最終產(chǎn)生輸出信號(hào)的過程。綜合了凈輸入、f函數(shù)的作用。f函數(shù)形式多樣，利用它們的不同特性可以構(gòu)成功能各異的神經(jīng)網(wǎng)絡(luò)。常用的激活函數(shù)有以下幾種形式：、閾值

34、函數(shù)：該函數(shù)通常也稱為階躍函數(shù)。當(dāng)激活函數(shù)采用階躍函數(shù)時(shí)，人工神經(jīng)元模型即為MP模型。此時(shí)神經(jīng)元的輸出取1或0,反應(yīng)了神經(jīng)元的興奮或抑制。、線性函數(shù)：該函數(shù)可以在輸出結(jié)果為任意值時(shí)作為輸出神經(jīng)元的激活函數(shù)，但是當(dāng)網(wǎng)絡(luò)復(fù)雜時(shí)，線性激活函數(shù)大大降低網(wǎng)絡(luò)的收斂性，故一般較少采用。、對(duì)數(shù)S形函數(shù)：對(duì)數(shù)S形函數(shù)的輸出介于01之間，常被要求為輸出在01范圍的信號(hào)選用。它是神經(jīng)元中使用最為廣泛的激活函數(shù)。、雙曲正切S形函數(shù)：雙曲正切S形函數(shù)類似于被平滑的階躍函數(shù)，形狀與對(duì)數(shù)S形函數(shù)相同，以原點(diǎn)對(duì)稱，其輸出介于-11之間，常常被要求為輸出在-11范圍的信號(hào)選用。神經(jīng)元之間的連接形式：神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的互連系

35、統(tǒng)，單元之間的互連模式將對(duì)網(wǎng)絡(luò)的性質(zhì)和功能產(chǎn)生重要影響?；ミB模式種類繁多。、前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))：網(wǎng)絡(luò)可以分為若干“層”，各層按信號(hào)傳輸先后順序依次排列，第i層的神經(jīng)元只接受第(i-1)層神經(jīng)元給出的信號(hào)，各神經(jīng)元之間沒有反饋。前饋型網(wǎng)絡(luò)可用一有向無環(huán)路圖表示，如下圖所示：可以看出，輸入節(jié)點(diǎn)并無計(jì)算功能，只是為了表征輸入矢量各元素值。各層節(jié)點(diǎn)表示具有計(jì)算功能的神經(jīng)元，稱為計(jì)算單元。每個(gè)計(jì)算單元可以有任意個(gè)輸入，但只有一個(gè)輸出，它可送到多個(gè)節(jié)點(diǎn)作輸入。稱輸入節(jié)點(diǎn)層為第零層。計(jì)算單元的各節(jié)點(diǎn)層從下至上依次稱為第1至第N層，由此構(gòu)成N層前向網(wǎng)絡(luò)。(也有把輸入節(jié)點(diǎn)層稱為第1層，于是對(duì)N層網(wǎng)絡(luò)將變?yōu)镹+

36、1個(gè)節(jié)點(diǎn)層序號(hào)。)第一節(jié)點(diǎn)層與輸出節(jié)點(diǎn)統(tǒng)稱為可見層”，而其他中間層則稱為隱含層(hiddenlayer)，這些神經(jīng)元稱為隱節(jié)點(diǎn)。BP網(wǎng)絡(luò)就是典型的前向網(wǎng)絡(luò)。、反饋網(wǎng)絡(luò)：典型的反饋型神經(jīng)網(wǎng)絡(luò)如下圖a所示:輸入輸出反饋網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)都表示一個(gè)計(jì)算單元，同時(shí)接受外加輸入和其它各節(jié)點(diǎn)的反饋輸入，每個(gè)節(jié)點(diǎn)也都直接向外部輸出。Hopfield網(wǎng)絡(luò)即屬此種類型。在某些反饋網(wǎng)絡(luò)中，各神經(jīng)元除接受外加輸入與其它各節(jié)點(diǎn)反饋輸入之外，還包括自身反饋。有時(shí)，反饋型神經(jīng)網(wǎng)絡(luò)也可表示為一張完全的無向圖，如上圖b。圖中，每一個(gè)連接都是雙向的。這里，第i個(gè)神經(jīng)元對(duì)于第j個(gè)神經(jīng)元的反饋與第j至i神經(jīng)元反饋之突觸權(quán)重相等，也即wi

37、j=wjio以上介紹了兩種最基本的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)際上，人工神經(jīng)網(wǎng)絡(luò)還有許多種連接形式,例如，從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)，同層內(nèi)或異層間有相互反饋的多層網(wǎng)絡(luò)等等。五、人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)的分類：按性能分：連續(xù)型和離散型網(wǎng)絡(luò)，或確定型和隨機(jī)型網(wǎng)絡(luò)。按拓?fù)浣Y(jié)構(gòu)分：前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。前向網(wǎng)絡(luò)有自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)(AdaptiveLinear,簡(jiǎn)稱Adaline)、單層感知器、多層感知器、BP等。前向網(wǎng)絡(luò)，網(wǎng)絡(luò)中各個(gè)神經(jīng)元接受前一級(jí)的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中沒有反饋，可以用一個(gè)有向無環(huán)路圖表示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來自于簡(jiǎn)單非線性函數(shù)的多

38、次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)有Hopfield、Hamming、BAM等。反饋網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個(gè)無向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動(dòng)力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)均屬于這種類型。按學(xué)習(xí)方法分：有教師（監(jiān)督）的學(xué)習(xí)網(wǎng)絡(luò)和無教師（監(jiān)督）的學(xué)習(xí)網(wǎng)絡(luò)。按連接突觸性質(zhì)分：一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。生物神經(jīng)元模型：人腦是自然界所造就的高級(jí)動(dòng)物，人的思維是由人腦來完成的，而思維則是人類智能的集中體現(xiàn)。人腦的皮層中包含100億個(gè)神經(jīng)元、60萬億個(gè)神經(jīng)突觸

39、，以及他們的連接體。神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和功能單位就是神經(jīng)細(xì)胞，即神經(jīng)元，它主要由細(xì)胞體、樹突、軸突和突觸組成。人類的神經(jīng)元具備以下幾個(gè)基本功能特性：時(shí)空整合功能；神經(jīng)元的動(dòng)態(tài)極化性；興奮與抑制狀態(tài)；結(jié)構(gòu)的可塑性；脈沖與電位信號(hào)的轉(zhuǎn)換；突觸延期和不延期;學(xué)習(xí)、遺忘和疲勞;神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元單元相互連接而構(gòu)成的網(wǎng)絡(luò)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)模型：人工神經(jīng)網(wǎng)絡(luò)，使通過模仿生物神經(jīng)網(wǎng)絡(luò)的行為特征，進(jìn)行分布式并行信息處理的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到信息處理的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過預(yù)先提供的一批相互對(duì)應(yīng)的輸入輸出數(shù)據(jù)，分

40、析兩者的內(nèi)在關(guān)系和規(guī)律，最終通過這些規(guī)律形成一個(gè)復(fù)雜的非線性系統(tǒng)函數(shù)，這種學(xué)習(xí)分析過程被稱作訓(xùn)練”。神經(jīng)元的每一個(gè)輸入連接都有突觸連接強(qiáng)度，用一個(gè)連接權(quán)值來表示，即將產(chǎn)生的信號(hào)通過連接強(qiáng)度放大，每一個(gè)輸入量都對(duì)應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重。處理單元將經(jīng)過權(quán)重的輸入量化，然后相加求得加權(quán)值之和，計(jì)算出輸出量，這個(gè)輸出量是權(quán)重和的函數(shù)，一般稱此函數(shù)為傳遞函數(shù)。感知器模型：感知器模型是美國(guó)學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的存儲(chǔ)、學(xué)習(xí)和認(rèn)知過程而提出的一類具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實(shí)現(xiàn)。Rosenblatt提出的感知器模型是一個(gè)只有單層計(jì)算單元

41、的前向神經(jīng)網(wǎng)絡(luò)，稱為單層感知器。單層感知器模型的學(xué)習(xí)算法，算法思想：首先把連接權(quán)和閾值初始化為較小的非零隨機(jī)數(shù)，然后把有n個(gè)連接權(quán)值的輸入送入網(wǎng)絡(luò)，經(jīng)加權(quán)運(yùn)算處理，得到的輸出如果與所期望的輸出有較大的差別，就對(duì)連接權(quán)值參數(shù)按照某種算法進(jìn)行自動(dòng)調(diào)整，經(jīng)過多次反復(fù)，直到所得到的輸出與所期望的輸出間的差別滿足要求為止。線性不可分問題：?jiǎn)螌痈兄鞑荒鼙磉_(dá)的問題被稱為線性不可分問題。1969年,明斯基證明了“異或”問題是線性不可分問題。線性不可分函數(shù)的數(shù)量隨著輸入變量個(gè)數(shù)的增加而快速增加，甚至遠(yuǎn)遠(yuǎn)超過了線性可分函數(shù)的個(gè)數(shù)。也就是說，單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過了它所能表達(dá)的問題的數(shù)量。多層感知

42、器：在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構(gòu)成了二層或多層感知器。在多層感知器模型中，只允許某一層的連接權(quán)值可調(diào)，這是因?yàn)闊o法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出，因而難以給出一個(gè)有效的多層感知器學(xué)習(xí)算法。多層感知器克服了單層感知器的許多缺點(diǎn)，原來一些單層感知器無法解決的問題，在多層感知器中就可以解決。例如，應(yīng)用二層感知器就可以解決異或邏輯運(yùn)算問題反向傳播模型：反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的

43、輸出信息。之所以將其稱作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來決定連接權(quán)值的修改。B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)。它是在1986年，由Rumelhant和Mcllelland提出的。是一種多層網(wǎng)絡(luò)的“逆推”學(xué)習(xí)算法。其基本思想是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望輸出不符，則轉(zhuǎn)向誤差的反向傳播階段。誤差的反向傳播是將輸出誤差以某種形式通過隱層向輸入層逐層反傳,并將誤差分?jǐn)偨o各層的所有

44、單元,從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行。權(quán)值不斷調(diào)整過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法：B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過計(jì)算后所得到的輸出能達(dá)到

45、期望的誤差要求。B-P算法的學(xué)習(xí)過程如下：、選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。、從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。、分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。、計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。、從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。、對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)(3)-(5)的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。在以上的學(xué)習(xí)過程中，第(5)步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論

46、基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：(1)、該學(xué)習(xí)算法的收斂速度慢；(2)、網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無理論上的指導(dǎo)；、從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問題的真正解。所以B-P算法是不完備的。BP算法局限性：、在誤差曲面上有些區(qū)域平坦，此時(shí)誤差對(duì)權(quán)值的變化不敏感，誤差下降緩慢，調(diào)整時(shí)間長(zhǎng)，影響收斂速度。這時(shí)誤差的梯度變化很小，即使權(quán)值的調(diào)整量很大，誤差仍然下降很慢。造成這種情況的原因與各節(jié)點(diǎn)的凈輸入過大有關(guān)。、存在多個(gè)極

47、小點(diǎn)。從兩維權(quán)空間的誤差曲面可以看出，其上存在許多凸凹不平，其低凹部分就是誤差函數(shù)的極小點(diǎn)。可以想象多維權(quán)空間的誤差曲面，會(huì)更加復(fù)雜，存在更多個(gè)局部極小點(diǎn)，它們的特點(diǎn)都是誤差梯度為0。BP算法權(quán)值調(diào)整依據(jù)是誤差梯度下降，當(dāng)梯度為0時(shí)，BP算法無法辨別極小點(diǎn)性質(zhì)，因此訓(xùn)練常陷入某個(gè)局部極小點(diǎn)而不能自拔，使訓(xùn)練難以收斂于給定誤差。BP算法改進(jìn)：誤差曲面的平坦區(qū)將使誤差下降緩慢，調(diào)整時(shí)間加長(zhǎng)，迭代次數(shù)增多，影響收斂速度；而誤差曲面存在的多個(gè)極小點(diǎn)會(huì)使網(wǎng)絡(luò)訓(xùn)練陷入局部極小，從而使網(wǎng)絡(luò)訓(xùn)練無法收斂于給定誤差。這兩個(gè)問題是BP網(wǎng)絡(luò)標(biāo)準(zhǔn)算法的固有缺陷。針對(duì)此，國(guó)內(nèi)外不少學(xué)者提出了許多改進(jìn)算法，幾種典型的改進(jìn)

48、算法：、增加動(dòng)量項(xiàng)：標(biāo)準(zhǔn)BP算法在調(diào)整權(quán)值時(shí)，只按t時(shí)刻誤差的梯度下降方向調(diào)整，而沒有考慮t時(shí)刻以前的梯度方向，從而常使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。為了提高訓(xùn)練速度，可以在權(quán)值調(diào)整公式中加一動(dòng)量項(xiàng)。大多數(shù)BP算法中都增加了動(dòng)量項(xiàng)，以至于有動(dòng)量項(xiàng)的BP算法成為一種新的標(biāo)準(zhǔn)算法。、可變學(xué)習(xí)速度的反向傳播算法(variablelearningratebackpropagation,VLBP)：多層網(wǎng)絡(luò)的誤差曲面不是二次函數(shù)。曲面的形狀隨參數(shù)空間區(qū)域的不同而不同。可以在學(xué)習(xí)過程中通過調(diào)整學(xué)習(xí)速度來提高收斂速度。技巧是決定何時(shí)改變學(xué)習(xí)速度和怎樣改變學(xué)習(xí)速度?？勺儗W(xué)習(xí)速度的VLBP算法有許多不同的方法來改

49、變學(xué)習(xí)速度。、學(xué)習(xí)速率的自適應(yīng)調(diào)節(jié)：可變學(xué)習(xí)速度VLBP算法，需要設(shè)置多個(gè)參數(shù)，算法的性能對(duì)這些參數(shù)的改變往往十分敏感，另外，處理起來也較麻煩。此處給出一簡(jiǎn)潔的學(xué)習(xí)速率的自適應(yīng)調(diào)節(jié)算法。學(xué)習(xí)率的調(diào)整只與網(wǎng)絡(luò)總誤差有關(guān)。學(xué)習(xí)速率n也稱步長(zhǎng)，在標(biāo)準(zhǔn)BP中是一常數(shù)，但在實(shí)際計(jì)算中，很難給定出一個(gè)從始至終都很合適的最佳學(xué)習(xí)速率。從誤差曲面可以看出，在平坦區(qū)內(nèi)n太小會(huì)使訓(xùn)練次數(shù)增加，這時(shí)候希望n值大一些；而在誤差變化劇烈的區(qū)域，n太大會(huì)因調(diào)整過量而跨過較窄的“凹坑”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。為了加速收斂過程，最好是能自適應(yīng)調(diào)整學(xué)習(xí)率n，使其該大則大，該小則小。比如可以根據(jù)網(wǎng)絡(luò)總誤差來調(diào)整.

50、、引入陡度因子-防止飽和：誤差曲面上存在著平坦區(qū)。其權(quán)值調(diào)整緩慢的原因在于S轉(zhuǎn)移函數(shù)具有飽和特性造成的。如果在調(diào)整進(jìn)入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實(shí)現(xiàn)這一思路的具體作法是在轉(zhuǎn)移函數(shù)中引進(jìn)一個(gè)陡度因子。BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的一般原則：關(guān)于它的開發(fā)設(shè)計(jì)，大多數(shù)是根據(jù)使用者的經(jīng)驗(yàn)來設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)、功能函數(shù)、學(xué)習(xí)算法、樣本等。1、BP網(wǎng)絡(luò)參數(shù)設(shè)計(jì)、BP網(wǎng)絡(luò)輸入與輸出參數(shù)的確定A、輸入量的選擇：a、輸入量必須選擇那些對(duì)輸出影響大且能夠檢測(cè)或提取的變量；b、各輸入量之間互不相關(guān)或相關(guān)性很小。從輸入、輸出量性質(zhì)分類來看，可以分為兩類

51、：數(shù)值變量和語言變量。數(shù)值變量又分為連續(xù)變量或離散變量。如常見的溫度，壓力，電壓,電流等就是連續(xù)變量；語言變量是用自然語言表示的概念。如紅，綠，藍(lán)；男，女；大，中，小，開，關(guān)，亮，暗等。一般來說，語言變量在網(wǎng)絡(luò)處理時(shí)，需要轉(zhuǎn)化為離散變量。c、輸入量的表示與提?。憾鄶?shù)情況下，直接送給神經(jīng)網(wǎng)絡(luò)的輸入量無法直接得到，常常需要用信號(hào)處理與特征提取技術(shù)從原始數(shù)據(jù)中提取能反映其特征的若干參數(shù)作為網(wǎng)絡(luò)輸入。B、輸出量選擇與表示：a、輸出量一般代表系統(tǒng)要實(shí)現(xiàn)的功能目標(biāo)，如分類問題的類別歸屬等；b、輸出量表示可以是數(shù)值也可是語言變量；、訓(xùn)練樣本集的設(shè)計(jì)網(wǎng)絡(luò)的性能與訓(xùn)練用的樣本密切相關(guān)，設(shè)計(jì)一個(gè)好的訓(xùn)練樣本集既要

52、注意樣本規(guī)模，又要注意樣本質(zhì)量。A、樣本數(shù)目的確定：一般來說樣本數(shù)n越多，訓(xùn)練結(jié)果越能正確反映其內(nèi)在規(guī)律，但樣本的獲取往往有一定困難，另一方面，當(dāng)樣本數(shù)n達(dá)到一定數(shù)量后，網(wǎng)絡(luò)的精度也很難提高。選擇原則：網(wǎng)絡(luò)規(guī)模越大，網(wǎng)絡(luò)映射關(guān)系越復(fù)雜，樣本數(shù)越多。一般說來，訓(xùn)練樣本數(shù)是網(wǎng)絡(luò)連接權(quán)總數(shù)的510倍，但許多情況難以達(dá)到這樣的要求。B、樣本的選擇和組織：a、樣本要有代表性，注意樣本類別的均衡；b、樣本的組織要注意將不同類別的樣本交叉輸入；c、網(wǎng)絡(luò)的訓(xùn)練測(cè)試，測(cè)試標(biāo)準(zhǔn)是看網(wǎng)絡(luò)是否有好的泛化能力。測(cè)試做法：不用樣本訓(xùn)練集中數(shù)據(jù)測(cè)試。一般是將收集到的可用樣本隨機(jī)地分成兩部分，一部分為訓(xùn)練集，另一部分為測(cè)試集

53、。若訓(xùn)練樣本誤差很小，而對(duì)測(cè)試集的樣本誤差很大，泛化能力差。、初始權(quán)值的設(shè)計(jì)網(wǎng)絡(luò)權(quán)值的初始化決定了網(wǎng)絡(luò)的訓(xùn)練從誤差曲面的哪一點(diǎn)開始，因此初始化方法對(duì)縮短網(wǎng)絡(luò)的訓(xùn)練時(shí)間至關(guān)重要。神經(jīng)元的作用函數(shù)是關(guān)于坐標(biāo)點(diǎn)對(duì)稱的，若每個(gè)節(jié)點(diǎn)的凈輸入均在零點(diǎn)附近，則輸出均出在作用函數(shù)的中點(diǎn)，這個(gè)位置不僅遠(yuǎn)離作用函數(shù)的飽和區(qū)，而且是其變化最靈敏的區(qū)域，必使網(wǎng)絡(luò)學(xué)習(xí)加快。從神經(jīng)網(wǎng)絡(luò)凈輸入表達(dá)式來看，為了使各節(jié)點(diǎn)的初始凈輸入在零點(diǎn)附近，如下兩種方法被常常使用：A、取足夠小的初始權(quán)值；B、使初始值為+1和-1的權(quán)值數(shù)相等。2、BP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)計(jì)隱層結(jié)構(gòu)設(shè)計(jì)、隱層數(shù)設(shè)計(jì)：理論證明，具有單隱層的前饋網(wǎng)絡(luò)可以映射所有連續(xù)函數(shù)

54、，只有當(dāng)學(xué)習(xí)不連續(xù)函數(shù)時(shí)才需要兩個(gè)隱層，故一般情況隱層最多需要兩層。一般方法是先設(shè)一個(gè)隱層，當(dāng)一個(gè)隱層的節(jié)點(diǎn)數(shù)很多，仍不能改善網(wǎng)絡(luò)性能時(shí)，再增加一個(gè)隱層。最常用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是3層結(jié)構(gòu)，即輸入層、輸出層和1個(gè)隱層。、隱層節(jié)點(diǎn)數(shù)設(shè)計(jì)：隱層節(jié)點(diǎn)數(shù)目對(duì)神經(jīng)網(wǎng)絡(luò)的性能有一定的影響。隱層節(jié)點(diǎn)數(shù)過少時(shí)，學(xué)習(xí)的容量有限，不足以存儲(chǔ)訓(xùn)練樣本中蘊(yùn)涵的所有規(guī)律；隱層節(jié)點(diǎn)過多不僅會(huì)增加網(wǎng)絡(luò)訓(xùn)練時(shí)間，而且會(huì)將樣本中非規(guī)律性的內(nèi)容如干擾和噪聲存儲(chǔ)進(jìn)去。反而降低泛化能力。一般方法是湊試法：6.Hopfield模型:Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散

55、型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動(dòng)態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問題。所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的是指從某一時(shí)刻開始，網(wǎng)絡(luò)的狀態(tài)不再改變。設(shè)用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果從t=0的任一初態(tài)X(0)開始，存在一個(gè)有限的時(shí)刻t,使得從此時(shí)刻開始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，就稱此網(wǎng)絡(luò)是穩(wěn)定的。離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩個(gè)狀態(tài)，可以用1和0來表示，由連接權(quán)值Wjj所構(gòu)成的矩陣是一個(gè)對(duì)角線為0的對(duì)稱矩陣。Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：、串行方式

56、，是指在任一時(shí)刻t,只有一個(gè)神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。、并行方式，是指在任一時(shí)刻t,都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對(duì)角元的對(duì)稱矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性。1984年，Hopfield又提出了連續(xù)時(shí)間的神經(jīng)網(wǎng)絡(luò)，在這種神經(jīng)網(wǎng)絡(luò)中，各節(jié)點(diǎn)可在0到1的區(qū)間內(nèi)取任一實(shí)數(shù)值。Hopfield網(wǎng)絡(luò)是一種非線性的動(dòng)力網(wǎng)絡(luò)，可通過反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來求解問題，這是符號(hào)邏輯方法所不具有的特性。在求解某些問題時(shí)，其求解

57、問題的方法與人類求解問題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問題的策略。Hopfield遞歸網(wǎng)絡(luò)是美國(guó)加洲理工學(xué)院物理學(xué)家J.J.Hopfield教授于1983年提出的。Hopfield網(wǎng)絡(luò)按網(wǎng)絡(luò)輸入和輸出的數(shù)字形式不同可分為離散型和連續(xù)型兩種網(wǎng)絡(luò)，即：離散型Hopfield神經(jīng)網(wǎng)絡(luò)-DHNN(DiscreteHopfieldNeuralNetwork)；連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)-CHNN(ContinuesHopfieldNeuralNetwork)oDHNN結(jié)構(gòu)：它是一種單層全反饋網(wǎng)絡(luò)，共有n個(gè)神經(jīng)元。每個(gè)神經(jīng)元都通過連接權(quán)接收所有其它神經(jīng)元輸出

58、反饋來的信息，其目的是為了讓任一神經(jīng)元的輸出能接受所有神經(jīng)元輸出的控制，從而使各神經(jīng)元能相互制約。DHNN的設(shè)計(jì)原則：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值(包括閥值)決定的，設(shè)計(jì)吸引子的核心就是如何設(shè)計(jì)一組合適的權(quán)值。為了使所設(shè)計(jì)的權(quán)值滿足要求,權(quán)值矩陣應(yīng)符合以下要求:、為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為對(duì)稱陣；(2)、為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對(duì)稱陣；(3)、保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。具體設(shè)計(jì)時(shí)，可以采用不同的方法：(1)、聯(lián)立方程法；(2)、外積和法。CHNN：在連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)中，所有神經(jīng)元都隨時(shí)間t并行更新，網(wǎng)絡(luò)狀態(tài)隨時(shí)間連續(xù)改變。Hop

59、field網(wǎng)絡(luò)的主要功能Hopfield神經(jīng)網(wǎng)絡(luò)的提出就是與其實(shí)際應(yīng)用密切相關(guān)。其主要功能在以下兩個(gè)方面。、聯(lián)想記憶：輸入-輸出模式的各元素之間，并不存在一對(duì)一的映射關(guān)系，輸入-輸出模式的維數(shù)也不要求相同；聯(lián)想記憶時(shí)，只給出輸入模式部分信息，就能聯(lián)想出完整的輸出模式。即具有容錯(cuò)性。、CHNN的優(yōu)化計(jì)算功能.應(yīng)用Hopfield神經(jīng)網(wǎng)絡(luò)來解決優(yōu)化計(jì)算問題的一般步驟為：A、分析問題：網(wǎng)絡(luò)輸出與問題的解相對(duì)應(yīng)。B、構(gòu)造網(wǎng)絡(luò)能量函數(shù)：構(gòu)造合適的網(wǎng)絡(luò)能量函數(shù)，使其最小值對(duì)應(yīng)問題最佳解。C、設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)：將能量函數(shù)與標(biāo)準(zhǔn)式相比較，定出權(quán)矩陣與偏置電流。D、由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路并運(yùn)行，穩(wěn)態(tài)-優(yōu)化解或

60、計(jì)算機(jī)模擬運(yùn)行。BAM模型神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶功能可以分為兩種，一是自聯(lián)想記憶，另一種是異聯(lián)想記憶。Hopfield神經(jīng)網(wǎng)絡(luò)就屬于自聯(lián)想記憶。由KoskoB.1988年提出的雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)BAM(BidirectionalAssociativeMemory)屬于異聯(lián)想記憶。BAM有離散型、連續(xù)型和自適應(yīng)型等多種形式。CMAC模型BP神經(jīng)網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)和BAM雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)分別屬于前饋和反饋神經(jīng)網(wǎng)絡(luò)，這主要是從網(wǎng)絡(luò)的結(jié)構(gòu)來劃分的。如果從神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近功能這個(gè)角度來分，神經(jīng)網(wǎng)絡(luò)可以分為全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù)(權(quán)值和閾值)在輸入空間的