人工神經(jīng)網(wǎng)絡(luò)綜述(共25頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上目錄人工神經(jīng)網(wǎng)絡(luò)綜述人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）系統(tǒng)是 20 世紀(jì) 40 年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信 息存儲、良好的自組織自學(xué)習(xí)能力等特點(diǎn)。BP（Back Propagation）算法又稱為誤差 反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。BP 神經(jīng)網(wǎng)絡(luò)算法在理 論上可以逼近任意函數(shù)，基本的結(jié)構(gòu)由非線性變化單元組成，具有很強(qiáng)的非線性映射能力。而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，在優(yōu)化、信號處理與模式識

2、別、智能控制、故障診斷等許 多領(lǐng)域都有著廣泛的應(yīng)用前景。1 人工神經(jīng)網(wǎng)絡(luò)算法的工作原理人工神經(jīng)元的研究起源于腦神經(jīng)元學(xué)說。19世紀(jì)末，在生物、生理學(xué)領(lǐng)域，Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說。人們認(rèn)識到復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個以上的神經(jīng)元，每立方毫米約有數(shù)萬個，它們互相聯(lián)結(jié)形成神經(jīng)網(wǎng)絡(luò)，通過感覺器官和神經(jīng)接受來自身體內(nèi)外的各種信息，傳遞至內(nèi)，經(jīng)過對信息的分析和綜合，再通過運(yùn)動神經(jīng)發(fā)出控制信息，以此來實(shí)現(xiàn)機(jī)體與內(nèi)外環(huán)境的聯(lián)系，協(xié)調(diào)全身的各種機(jī)能活動。神經(jīng)元也和其他類型的細(xì)胞一樣，包括有細(xì)胞膜、細(xì)胞質(zhì)和。但是神經(jīng)細(xì)胞的形態(tài)比較特殊，具有許多突起，因此又分

3、為細(xì)胞體、軸突和樹突三部分。細(xì)胞體內(nèi)有，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。樹突是細(xì)胞體的延伸部分，它由細(xì)胞體發(fā)出后逐漸變細(xì)，全長各部位都可與其他神經(jīng)元的末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通，它只是發(fā)生信息傳遞功能的結(jié)合部，聯(lián)系界面之間間隙約為（1550)×10米。突觸可分為與抑制性兩種類型，它相應(yīng)于神經(jīng)元之間耦合的極性。每個神經(jīng)元的突觸數(shù)目正常，最高可達(dá)10個。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同，并且都可調(diào)整、基于這一特性，人腦具有存儲信息的功能。利用大量神經(jīng)元相互聯(lián)接組成可顯示出人的大腦的某些特征。是由大

4、量的簡單基本元件神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性。每個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。反映了人腦功能的若干基本特性，但并非的逼真描述，只是某種模仿、簡化和抽象。與數(shù)字計算機(jī)比較，在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識別或過程控制。首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作。現(xiàn)以對于寫“A”、“B”兩個字母的識別為例進(jìn)行說明，規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時，應(yīng)該輸出“1”，而當(dāng)輸入為“B”時，輸出為“0”。所以的準(zhǔn)則應(yīng)該是：如果網(wǎng)絡(luò)作出錯誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)

5、減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)內(nèi)的隨機(jī)值，將“A”所對應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進(jìn)行非線性運(yùn)算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的各為50%，也就是說是完全隨機(jī)的。這時如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時，仍然能作出正確的判斷。如果輸出為“0”(即結(jié)果錯誤)，則把網(wǎng)絡(luò)連接朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。如此操作調(diào)整，當(dāng)給網(wǎng)絡(luò)輪番輸入若干個手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行

6、若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說明網(wǎng)絡(luò)對這兩個模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個模式時，能夠作出迅速、準(zhǔn)確的判斷和識別。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。2 人工神經(jīng)網(wǎng)絡(luò)研究內(nèi)容神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容相當(dāng)廣泛，反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。目前，主要的研究工作集中在以下幾個方面：（1）生物原型研究從生理學(xué)，心理學(xué)、剖析學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能基理。（2）建立理論模型根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型，包

7、括概念模型、知識模型、物理化學(xué)模型、數(shù)學(xué)模型等。（3）網(wǎng)絡(luò)模型與算法研究在理論模型研究的基礎(chǔ)上構(gòu)建具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也被稱為技術(shù)模型研究。神經(jīng)網(wǎng)絡(luò)用到的算法就是向量乘法，并且廣泛應(yīng)用符號函數(shù)及其各種逼近。并行、容錯、可以硬件實(shí)現(xiàn)以及自我學(xué)習(xí)特征，是神經(jīng)網(wǎng)絡(luò)的幾個基本優(yōu)點(diǎn)，也是神經(jīng)網(wǎng)絡(luò)計算方法與傳統(tǒng)方法的區(qū)別所在。（4）人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)，例如，完成某種信號處理活模式識別的功能、構(gòu)建專家系統(tǒng)、制成機(jī)器人等。3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)主要具有以下幾個特點(diǎn)：

8、（1）自適應(yīng)能力。人類大腦有很強(qiáng)的自適應(yīng)與自組織特性，后天的學(xué)習(xí)與訓(xùn)練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運(yùn)用手勢；訓(xùn)練有素的可以表現(xiàn)出非凡的運(yùn)動技巧等等。普通計算機(jī)的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結(jié)編制程序?qū)⑹掷щy。也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。是一個具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識，以致超過設(shè)計者原有的知識水平。通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿；另一種是或

9、稱無為導(dǎo)師學(xué)習(xí)，這時，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。（2）指對沒有訓(xùn)練過的樣本，有很好的預(yù)測能力和控制能力。特別是，當(dāng)存在一些有噪聲的樣本，網(wǎng)絡(luò)具備很好的預(yù)測能力。（3）非線性映射能力當(dāng)對系統(tǒng)對于設(shè)計人員來說，很透徹或者很清楚時，則一般利用，偏微分方程等數(shù)學(xué)工具建立精確的數(shù)學(xué)模型，但當(dāng)對系統(tǒng)很復(fù)雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時，建立精確的數(shù)學(xué)模型很困難時，神經(jīng)網(wǎng)絡(luò)的非線性映射能力則表現(xiàn)出優(yōu)勢，因?yàn)樗恍枰獙ο到y(tǒng)進(jìn)行透徹的了解，但是同時能達(dá)到輸入與輸出的映射關(guān)系，這就大大簡化設(shè)計的難度。

10、（4）高度并行性并行性具有一定的爭議性。承認(rèn)具有并行性理由：神經(jīng)網(wǎng)絡(luò)是根據(jù)人的大腦而抽象出來的數(shù)學(xué)模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經(jīng)網(wǎng)絡(luò)也應(yīng)具備很強(qiáng)的并行性。4 典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是神經(jīng)網(wǎng)絡(luò)的重要特性，神經(jīng)網(wǎng)絡(luò)的各種模型層出不窮，但最常見的結(jié)構(gòu)是前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)兩大類。4.1 前饋神經(jīng)網(wǎng)絡(luò)模型4.1.1 自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)(Adaline)自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)（Adaptive Linear，簡稱Adaline) 是由威德羅（Widrow）和霍夫（Hoff）首先提出的。它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值

11、，而不僅僅只是像感知器中那樣只能取0或1。它采用的是WH學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進(jìn)行訓(xùn)練。自適應(yīng)線性元件的主要用途是線性逼近一個函數(shù)式而進(jìn)行模式聯(lián)想。 4.1.1.1網(wǎng)絡(luò)結(jié)構(gòu)圖4-1為其網(wǎng)絡(luò)結(jié)構(gòu)： 圖4-14.1.1.2學(xué)習(xí)算法步驟（1）設(shè)置變量和參量： 為輸入向量，或稱訓(xùn)練樣本。為權(quán)值向量。為偏差，為實(shí)際輸出，為期望輸出，為學(xué)習(xí)速率，為迭代次數(shù)。（2）初始化，賦給各一個較小的隨機(jī)非零值，。（3）對于一組輸入樣本和對應(yīng)的期望輸出，計算：（4）判斷是否滿足條件，若滿足算法條件，則結(jié)束。若不滿足，將值加1，轉(zhuǎn)第三步重新執(zhí)行。4.1.1.3優(yōu)缺點(diǎn)優(yōu)點(diǎn)：(1)Adaline網(wǎng)絡(luò)可以

12、學(xué)習(xí)輸入輸出矢量之間的線性關(guān)系，并產(chǎn)生一個具有誤差平方和最小的線性逼近；(2)對于一些實(shí)際問題，常常并不需要求出其完美的零誤差時的解。也就是說允許存在一定的誤差。這時，采用Adaline網(wǎng)絡(luò)求解，可以很快地訓(xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值。缺點(diǎn)：(1)輸入和輸出之間的非線性關(guān)系不能用Adaline網(wǎng)絡(luò)精確地設(shè)計出。(2)對于特別簡單的問題，采用自適應(yīng)線性網(wǎng)絡(luò)的訓(xùn)練不一定能夠得到足夠精確的解。因?yàn)楫?dāng)訓(xùn)練誤差達(dá)到期望誤差值后，訓(xùn)練即被終止。 4.1.2單層感知器單層感知器（Perceptron）是由美國計算機(jī)科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出的。它是一個具有單層神經(jīng)元的網(wǎng)絡(luò)，由

13、線性閾值邏輯單元所組成。它的輸入可以是非離散量，而且可以通過學(xué)習(xí)而得到，這使單層感知器在神經(jīng)網(wǎng)絡(luò)研究中有著重要的意義和地位：它提出了自組織、自學(xué)習(xí)的思想，對能夠解決的問題，有一個收斂的算法，并從數(shù)學(xué)上給出了嚴(yán)格的證明。4.1.2.1網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)給定一個輸入向量，在閾值和權(quán)值的作用下，單層感知器的輸出為： （4-1）如果輸入向量有個樣本，即，把樣本看作是維空間的一個向量，那么個樣本就是輸入空間的個向量。由于單層感知器神經(jīng)元的輸出只有兩種可能，即1或-1。這樣方程（4-1）就把這維輸入空間分為兩個子空間，其分界線為維的超平面。通過調(diào)節(jié)權(quán)值和閾值可以改變這個維超平面的位置以達(dá)到對樣本的正確劃分。圖4-

14、2為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-24.1.2.2學(xué)習(xí)算法步驟單層感知器的具體學(xué)習(xí)步驟如下：(1) 給定初始值：各賦給和一個較小的隨機(jī)非零值，這里為時刻第個輸入上的權(quán)。(2) 輸入一樣本和它的希望輸出，如果類，；如果類，。(3)計算實(shí)際輸出：(4) 修正權(quán)：， 式中為比例系數(shù)，用于控制權(quán)值的修正速度，也稱為學(xué)習(xí)速度。通常要適中，不能太大也不能太小，太大會影響的穩(wěn)定，太小會使的收斂速度太慢。當(dāng)實(shí)際輸出與已知的輸出值相同時，不變。(5) 轉(zhuǎn)到步驟（2）直到對個樣本均穩(wěn)定不變?yōu)橹埂?.1.2.3優(yōu)缺點(diǎn)優(yōu)點(diǎn)：單層感知器適用于線性分類，在多維樣本空間中起到一個將兩類模式樣本分開的超平面作用。缺點(diǎn)：（1）由于單層感知

15、器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題； （2）單層感知器僅能夠線性地將輸入矢量進(jìn)行分類，并且不能對非線性可分的輸入模式進(jìn)行分類。如：異或問題； （3）當(dāng)輸入矢量中有一個數(shù)比其他數(shù)都大或小得很多時，可能導(dǎo)致較慢的收斂速度。 4.1.3多層感知器和BP算法單層感知器由于只有一個神經(jīng)元，功能單一，只能完成線性決策或?qū)崿F(xiàn)“與”、“或”、“非”等單一邏輯函數(shù)。多層感知器（Multilayer Perceptron）是在單層感知器的基礎(chǔ)上發(fā)展起來的，它是一種在輸入層與輸出層之間含有一層或多層隱含結(jié)點(diǎn)的具有正向傳播機(jī)制的神經(jīng)網(wǎng)絡(luò)模型。多層感知器克服了單層感知器

16、的許多局限，它的性能主要來源于它的每層結(jié)點(diǎn)的非線性特性（節(jié)點(diǎn)輸出函數(shù)的非線性特性）。如果每個結(jié)點(diǎn)是線性的，那么多層感知器的功能就和單層感知器一樣。在人工神經(jīng)網(wǎng)絡(luò)中，應(yīng)用最普遍的是多層前饋網(wǎng)絡(luò)模型。在1986年，Rumelhant和McClelland提出了多層前饋網(wǎng)絡(luò)的誤差反向傳播（Error Back Propagation）學(xué)習(xí)算法，簡稱BP算法，這是一種多層網(wǎng)絡(luò)的逆推學(xué)習(xí)算法。由此采用BP算法的多層前饋網(wǎng)絡(luò)也廣泛被稱為BP網(wǎng)絡(luò)。4.1.3.1網(wǎng)絡(luò)結(jié)構(gòu)：圖4-3為其網(wǎng)絡(luò)結(jié)構(gòu)，它由輸入層、輸出層和中間層（隱層）組成。 X1X2XnOmO2O1輸出層隱藏層輸入層圖4-34.1.3.2 BP算法

17、BP算法由信號的正向傳播和誤差的反向傳播兩個過程組成。(1) 正向傳播，輸入樣本從輸入層進(jìn)入網(wǎng)絡(luò)，經(jīng)隱層逐層傳遞至輸入層，如果輸入層的實(shí)際輸出與期望輸出（導(dǎo)師信號）不同，則轉(zhuǎn)至誤差反向傳播；如果輸出層的實(shí)際輸出與期望輸出（導(dǎo)師信號）相同，結(jié)束學(xué)習(xí)算法。(2) 反向傳播，將輸出誤差（期望輸出與實(shí)際輸出之差）按原通路反傳計算，通過隱層反向，直至輸入層，在反傳過程中將誤差分?jǐn)偨o各層的各個神經(jīng)元，獲得各層各神經(jīng)元的誤差信號，并將其作為修正各單元權(quán)值的根據(jù)。這一計算過程使用梯度下降法完成，在不停地調(diào)整各層神經(jīng)元的權(quán)值和閾值后，使誤差信號減小到最低限度。4.1.3.3算法學(xué)習(xí)規(guī)則對于輸入輸出對，網(wǎng)絡(luò)的實(shí)際

18、輸出為，為前一層第個神經(jīng)元輸入到后一層第個神經(jīng)元的權(quán)重，當(dāng)神經(jīng)元為輸入層單元時，。 激發(fā)函數(shù)為半線性函數(shù)。BP算法的學(xué)習(xí)規(guī)則為：推理過程：（注意：表示上一層到下一層的輸入，不同函數(shù)的不同）帶"勢態(tài)項(xiàng)"的BP算法學(xué)習(xí)規(guī)則：其中a為常數(shù)，它決定過去權(quán)重的變化對目前權(quán)值變化的影響程度。為上一次權(quán)值的變化量。4.1.3.4算法步驟以激活函數(shù)全部取為例，則BP算法步驟詳細(xì)描述如下：(1) 置各權(quán)值或閾值的初始值：, 為小的隨機(jī)數(shù)。(2) 提供訓(xùn)練樣本：輸入矢量， ，期望輸出， 對每個輸入樣本進(jìn)行下面(3)到(5)的迭代。(3) 計算網(wǎng)絡(luò)的實(shí)際輸出及隱層單元的狀態(tài)：(4) 計算訓(xùn)練誤差

19、：(5) 修正權(quán)值和閾值：(6) 當(dāng)每經(jīng)歷1至后, 計算為網(wǎng)絡(luò)實(shí)際輸出。如果，則到(7)，否則到(3)。(7) 結(jié)束。4.1.3.5優(yōu)缺點(diǎn)優(yōu)點(diǎn)：（1）具有強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入；（2）應(yīng)用廣泛，如：函數(shù)逼近、模式識別和分類、數(shù)據(jù)壓縮等。缺點(diǎn)：（1）需要較長的訓(xùn)練時間；（2）BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個局部極小解；（3）泛化性能只對被訓(xùn)練的輸入輸出對最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差。4.2反饋神經(jīng)網(wǎng)絡(luò)模型反饋神經(jīng)網(wǎng)絡(luò)

20、模型可用一完備的無向圖表示。從系統(tǒng)的觀點(diǎn)看，反饋神經(jīng)網(wǎng)絡(luò)模型是一反饋動力學(xué)系統(tǒng)，它具有極復(fù)雜的動力學(xué)特性。在反饋神經(jīng)網(wǎng)絡(luò)模型中，我們關(guān)心的是其穩(wěn)定性，穩(wěn)定性是神經(jīng)網(wǎng)絡(luò)相聯(lián)存儲性質(zhì)的體現(xiàn)，可以說穩(wěn)定就意味著完成回憶。從計算的角度講，反饋神經(jīng)網(wǎng)絡(luò)模型具有比前饋神經(jīng)網(wǎng)絡(luò)模型更強(qiáng)的計算能力，它包括Hopfield神經(jīng)網(wǎng)絡(luò)、海明神經(jīng)網(wǎng)絡(luò)和雙向聯(lián)想存儲器。4.2.1 Hopfield神經(jīng)網(wǎng)絡(luò)1982年，美國神經(jīng)網(wǎng)絡(luò)學(xué)者霍普菲爾德（J.J.Hopfield）提出了反饋型的全連接神經(jīng)網(wǎng)絡(luò)，是一種對記憶功能的較好模擬。Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)是：每一個神經(jīng)元的輸出信號通過其它神經(jīng)元后，反饋到自己的輸入

21、端。這種反饋方式有利于通過聯(lián)想記憶實(shí)現(xiàn)最優(yōu)化，經(jīng)過分析比較與判斷確定最優(yōu)解決問題的方法。網(wǎng)絡(luò)狀態(tài)的演變是一種非線性動力學(xué)系統(tǒng)的行為描述過程，作為一種非線性動力學(xué)系統(tǒng)，系統(tǒng)從初始化出發(fā)后，系統(tǒng)狀態(tài)經(jīng)過演變可能發(fā)生如下結(jié)果：(1)漸進(jìn)穩(wěn)定形成穩(wěn)定點(diǎn)，又稱為吸引子。(2) 極限環(huán)狀態(tài)。(3) 混沌狀態(tài)。(4) 發(fā)散狀態(tài)。發(fā)散狀態(tài)是不希望看到的。對于人工神經(jīng)網(wǎng)絡(luò)而言，由于選取網(wǎng)絡(luò)的變換函數(shù)為一個有界函數(shù)，因此系統(tǒng)狀態(tài)不會演變成發(fā)散。在Hopfield網(wǎng)絡(luò)中，如果其傳輸函數(shù)是一個二值型的硬函數(shù)，則稱此網(wǎng)絡(luò)為離散型Hopfield網(wǎng)絡(luò)；如果傳輸函數(shù)是一個連續(xù)單調(diào)上升的有界函數(shù)，則稱此網(wǎng)絡(luò)為連續(xù)型Hopfi

22、eld網(wǎng)絡(luò)。4.2.1.1網(wǎng)絡(luò)結(jié)構(gòu)（1）離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)離散Hopfield網(wǎng)絡(luò)是單層全互連的， 共有個神經(jīng)元。每個神經(jīng)元都通過連接權(quán)接收所有其他神經(jīng)元輸出反饋來的信息，其目的是為了讓任一神經(jīng)元的輸出能接受所有神經(jīng)元輸出的控制，從而使各神經(jīng)元能相互制約。為神經(jīng)元的閾值；為神經(jīng)元與的連接權(quán)值。圖4-4為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-4（2）連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 模仿生物神經(jīng)元及其網(wǎng)絡(luò)的主要特性，連續(xù)型Hopfield網(wǎng)絡(luò)利用模擬電路構(gòu)造了反饋人工神經(jīng)網(wǎng)絡(luò)的電路模型，圖4-5為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-54.2.1.2 學(xué)習(xí)算法Hopfield網(wǎng)絡(luò)按動力學(xué)方式運(yùn)行，其工作過程為狀態(tài)的演化過

23、程，即從初始狀態(tài)按“能量”減小的方向進(jìn)行演化，直到達(dá)到穩(wěn)定狀態(tài)，穩(wěn)定狀態(tài)即為網(wǎng)絡(luò)的輸出狀態(tài)。4.2.1.3 Hopfield網(wǎng)絡(luò)工作方式Hopfield網(wǎng)絡(luò)的工作方式主要有兩種形式：（1）串行（異步）工作方式：在任一時刻，只有某一神經(jīng)元（隨機(jī)或確定的選擇）變化，而其他神經(jīng)元的狀態(tài)不變。（2）并行（同步）工作方式：在任一時刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時改變。4.2.1.4 Hopfield網(wǎng)絡(luò)運(yùn)行步驟下面以串行方式為例說明Hopfield網(wǎng)絡(luò)的運(yùn)行步驟：（1）對網(wǎng)絡(luò)進(jìn)行初始化；（2） 從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元；（3）求出神經(jīng)元的輸入： （4） 求出神經(jīng)元的輸出，此時網(wǎng)絡(luò)中的其他神經(jīng)元的輸

24、出保持不變；說明：,為激勵函數(shù)，可取階躍函數(shù)或符號函數(shù)。如取符號函數(shù)，則Hopfield網(wǎng)絡(luò)的神經(jīng)元輸出取離散值1或1，即：（5）判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件，則結(jié)束；否則轉(zhuǎn)至第二步繼續(xù)運(yùn)行。這里網(wǎng)絡(luò)的穩(wěn)定狀態(tài)定義為：若網(wǎng)絡(luò)從某一時刻以后，狀態(tài)不再發(fā)生變化。即：。4.2.1.5優(yōu)缺點(diǎn)優(yōu)點(diǎn)：Hopfield網(wǎng)絡(luò)主要用于從片段中進(jìn)行圖像和數(shù)據(jù)的完全恢復(fù)。缺點(diǎn)：處理單元間連接權(quán)值需預(yù)先設(shè)置，并且單元之間的連接是要對稱的，它沒有學(xué)習(xí)能力。4.2.2海明神經(jīng)網(wǎng)絡(luò)（Hamming）海明（Hamming）網(wǎng)絡(luò)由匹配子網(wǎng)和競爭子網(wǎng)組成。匹配子網(wǎng)在學(xué)習(xí)階段將若干類別的樣本記憶存儲在網(wǎng)絡(luò)

25、的連接權(quán)值中；在工作階段（回憶階段），該子網(wǎng)計算輸入模式和各個樣本模式的匹配程度，并將結(jié)果送入競爭子網(wǎng)中，由競爭子網(wǎng)選擇出匹配子網(wǎng)中最大的輸出。從而，實(shí)現(xiàn)了對離散輸入模式進(jìn)行在海明距離最小意義下的識別和分類。4.2.2.1網(wǎng)絡(luò)結(jié)構(gòu)圖4-6為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-64.2.2.2學(xué)習(xí)算法（1）Hamming距離如果將模式用向量來表示，Hamming距離是指兩個模式不同元素的個數(shù)。如：A(0 0 1 1 0) ，B=(1 0 1 0 1）則：H(A, B)=3。（2）Hamming網(wǎng)絡(luò)的學(xué)習(xí)之權(quán)值設(shè)置競爭子網(wǎng)的連接權(quán)值設(shè)置方法：匹配子網(wǎng)的連接權(quán)值設(shè)置方法：（3）Hamming網(wǎng)絡(luò)的學(xué)習(xí)之閾值設(shè)置：競爭

26、子網(wǎng)神經(jīng)元的閾值設(shè)置為0；匹配子網(wǎng)神經(jīng)元閾值的設(shè)置為：；為匹配子網(wǎng)中神經(jīng)元的個數(shù)。（4）Hamming網(wǎng)絡(luò)學(xué)習(xí)算法描述網(wǎng)絡(luò)的學(xué)習(xí)過程采用競爭學(xué)習(xí)算法，而競爭學(xué)習(xí)包含以下主要過程：網(wǎng)絡(luò)對刺激做出響應(yīng)，具有最大響應(yīng)的神經(jīng)元被激活，該神經(jīng)元成為獲勝神經(jīng)元并獲得學(xué)習(xí)的機(jī)會，更改獲勝神經(jīng)元的權(quán)值。其中，只有最大響應(yīng)的神經(jīng)元被激活的這一特征被稱為“勝者為王”機(jī)制。其具體學(xué)習(xí)算法描述如下：設(shè)置變量和參量：為輸入向量，其元素均為二進(jìn)制元素。，為前向子網(wǎng)絡(luò)的權(quán)值向量；為競爭子網(wǎng)絡(luò)的權(quán)值。為實(shí)際輸出。為學(xué)習(xí)速率，代表Hamming網(wǎng)絡(luò)的第次訓(xùn)練，為競爭子網(wǎng)絡(luò)迭代過程中的迭代步數(shù)，而為預(yù)設(shè)的總的訓(xùn)練次數(shù)。初始化：對

27、于前向子網(wǎng)絡(luò)權(quán)值，用小的隨機(jī)值進(jìn)行初始化并滿足約束條件對于（），而神經(jīng)元的輸出函數(shù)選取線性函數(shù)并且給定總的迭代次數(shù)。選取訓(xùn)練樣本。計算競爭子網(wǎng)絡(luò)神經(jīng)元的初始輸入即前向子網(wǎng)絡(luò)的輸出： 計算競爭子網(wǎng)絡(luò)的迭代過程：觀察競爭子網(wǎng)絡(luò)的輸出，當(dāng)輸出達(dá)到要求時（只有一個輸出為正，其余為零）轉(zhuǎn)第七步，否則等于，轉(zhuǎn)到第五步繼續(xù)迭代。將輸出最大的神經(jīng)元定為獲勝神經(jīng)元，并將其輸出置為1，其他神經(jīng)元的輸出置為0，實(shí)現(xiàn)“勝者為王”。更新獲勝神經(jīng)元的權(quán)值向量： 其中，為在輸入向量中元素為1的個數(shù)。 判斷網(wǎng)絡(luò)的當(dāng)前訓(xùn)練次數(shù)是否大于，如果小于，則等于，回到第三步進(jìn)行新的一次訓(xùn)練，否則結(jié)束網(wǎng)絡(luò)訓(xùn)練過程。4.2.2.3特點(diǎn)Ham

28、ming網(wǎng)絡(luò)與Hopfield網(wǎng)絡(luò)不同，它分別計算未知輸入模式與每個已知標(biāo)準(zhǔn)樣本模式的Hamming距離，對應(yīng)距離最小的那個標(biāo)準(zhǔn)樣本模式即是可以和輸入模式匹配的模式。而對Hopfield網(wǎng)絡(luò)而言，作為一識別器，要么精確地找到一個可以匹配的標(biāo)準(zhǔn)樣本模式，要么找不到，即得到“不能匹配”的結(jié)果。4.2.3雙向聯(lián)想存儲器（BAM）雙向聯(lián)想存儲器（BAM）是由日本的Kosko提出的一種神經(jīng)網(wǎng)絡(luò)模型，它是ART網(wǎng)絡(luò)模型的一種簡化形式， 是一種異聯(lián)想存儲器。它能存儲成對的模式，。和是不同向量空間中的向量。如果模式輸入到BAM，輸出是模式，且若與最為接近，就是在BAM所存儲的向量。BAM網(wǎng)絡(luò)模型中的神經(jīng)元為非

29、線性單元，每個神經(jīng)元的作用相當(dāng)于一個非線性函數(shù)，這個函數(shù)一般取為型函數(shù)：。4.2.3.1 網(wǎng)絡(luò)結(jié)構(gòu)在中有個處理單元，在中有個處理單元。每一個域中的神經(jīng)元均與另一個域中所有神經(jīng)元相連。圖4-7為其網(wǎng)絡(luò)結(jié)構(gòu)：圖4-74.2.3.2學(xué)習(xí)算法（1）BAM模型神經(jīng)元的輸出一般情況下，每個處理單元的輸出取0,1之間的值，但在應(yīng)用中通常取輸出值為二值：0或1，這樣按處理單元門限規(guī)定，每個處理單元要么為開狀態(tài)，要么為關(guān)狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當(dāng)輸入與閾值相等時，處理單元輸出保持原來狀態(tài)不變。（2）BAM模型的信息存儲在雙向聯(lián)想存儲模型中，所有的信息都是包含在一個的矩陣中的

30、。這個矩陣實(shí)際上是一個權(quán)值矩陣，信息就是由這個權(quán)值矩陣來表達(dá)。如果產(chǎn)生一個穩(wěn)定的雙向聯(lián)想存儲器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。由于要將不同的聯(lián)想模式對收斂到局部能量極小點(diǎn)上，所以所要學(xué)習(xí)的模式對或聯(lián)想個數(shù)必須小于域和域中處理單元的個數(shù)，即：（3）BAM模型學(xué)習(xí)基礎(chǔ)：雙極矩陣（向量）：雙極矩陣（或向量）是在二元矩陣（或向量）的基礎(chǔ)上，將0代之以1而得到的。如： 二元向量和，其相應(yīng)的雙極向量為和。雙向聯(lián)想存儲器在學(xué)習(xí)時，先將二元向量對轉(zhuǎn)換成雙極向量對，然后計算雙極伴隨矩陣，最后將所有的雙極伴隨矩陣相加起來便得到權(quán)值矩陣，即：（4）BAM模型記憶模式擦除要從雙向聯(lián)想存儲器中擦去某個記

31、憶模式，例如要去掉模式對，只要在權(quán)值矩陣中減去該聯(lián)想對的雙極伴隨矩陣，即：（5） BAM模型的聯(lián)想過程聯(lián)想過程是一個自適應(yīng)調(diào)整過程，目的是使最后的輸出能夠更加逼近理論上的輸出值。（6） BAM模型的學(xué)習(xí)過程：將輸入模式送入雙向聯(lián)想存儲器域中。域中的各神經(jīng)元計算其接收值,對于域中的處理單元有： 域中每個神經(jīng)元也可計算其接收值，即：修改域和域中各處理單元的狀態(tài)：當(dāng)或時，則神經(jīng)元保持原來狀態(tài)不變。然后重復(fù)上述過程，直到系統(tǒng)進(jìn)入穩(wěn)定狀態(tài)，也即與的狀態(tài)不再改變?yōu)橹?。這時域的輸出即為最終所得結(jié)果。4.2.3.4優(yōu)缺點(diǎn)優(yōu)點(diǎn)：BAM模型的聯(lián)想和學(xué)習(xí)方式具有糾錯功能，也就是說當(dāng)輸入模式與學(xué)習(xí)模式不完全相同時，它

32、可以聯(lián)想出正確的模式；主要用作按內(nèi)容尋址的相聯(lián)存儲。缺點(diǎn)：存儲容量小而且需很好地進(jìn)行編碼。5.人工神經(jīng)網(wǎng)絡(luò)發(fā)展趨勢以及待解決的關(guān)鍵問題神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已經(jīng)得到了很好的應(yīng)用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學(xué)習(xí)、自組織以及非線性映射等優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)與其他技術(shù)的結(jié)合以及由此而來的混合方法和混合系統(tǒng)，已成為一大研究熱點(diǎn)。由于其他方法也有它們各自的優(yōu)點(diǎn)，所以將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合，取長補(bǔ)短。繼而可以獲得更好的應(yīng)用效果。目前這方面工作有神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論和灰色系統(tǒng)分等的融合。下面主要就神經(jīng)網(wǎng)絡(luò)與小波分析、混沌、粗集理

33、論、分形理論的融合進(jìn)行分析。5.1 與小波分析的結(jié)合傳統(tǒng)的信號理論，是建立在基礎(chǔ)上的，而Fourier變換作為一種全局性的變化，其有一定的局限性，如不具備局部化分析能力、不能分析非平穩(wěn)信號等。在實(shí)際應(yīng)用中人們開始對Fourier變換進(jìn)行各種改進(jìn)，以改善這種局限性，如（短時傅立葉變換）。由于STFT采用的的滑動窗函數(shù)一經(jīng)選定就固定不變，故決定了其時頻分辨率固定不變，不具備自適應(yīng)能力，而很好的解決了這個問題。小波分析是一種新興的分支，它是、Fourier分析、的最完美的結(jié)晶；在應(yīng)用領(lǐng)域，特別是在、以及眾多領(lǐng)域，它被認(rèn)為是繼Fourier分析之后的又一有效的時頻分析方法。小波變換與Fourier變換

34、相比，是一個時間和頻域的局域變換因而能有效地從信號中提取信息，通過平移等運(yùn)算功能對或信號進(jìn)行多尺度細(xì)化分析（Multiscale Analysis），解決了Fourier變換不能解決的許多困難問題。小波神經(jīng)網(wǎng)絡(luò)將小波變換良好的時頻局域化特性和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能相結(jié)合，因而具有較強(qiáng)的逼近能力和容錯能力。在結(jié)合方法上，可以將小波函數(shù)作為傳遞函數(shù)構(gòu)造神經(jīng)網(wǎng)絡(luò)形成小波網(wǎng)絡(luò)，或者小波變換作為前饋神經(jīng)網(wǎng)絡(luò)的輸入前置處理工具，即以小波變換的多分辨率特性對過程狀態(tài)信號進(jìn)行處理，實(shí)現(xiàn)信噪分離，并提取出對加工誤差影響最大的狀態(tài)特征，作為神經(jīng)網(wǎng)絡(luò)的輸入。5.1.1小波神經(jīng)網(wǎng)絡(luò)的應(yīng)用小波神經(jīng)網(wǎng)絡(luò)在電機(jī)故障診斷、電壓

35、電網(wǎng)故障信號處理與保護(hù)研究。軸承等機(jī)械故障診斷以及許多方面都有應(yīng)用，將小波神經(jīng)網(wǎng)絡(luò)用于感應(yīng)伺服電機(jī)的智能控制，使該系統(tǒng)具有良好的跟蹤控制性能，以及好的魯棒性，利用小波神經(jīng)網(wǎng)絡(luò)進(jìn)行心血管疾病的智能診斷，小波層進(jìn)行時頻域的自適應(yīng)特征提取，前向神經(jīng)網(wǎng)絡(luò)用來進(jìn)行分類，正確分類率達(dá)到94%。5.1.2待解決的關(guān)鍵技術(shù)問題小波神經(jīng)網(wǎng)絡(luò)雖然應(yīng)用于很多方面，但仍存在一些不足。（1）從提取精度和小波變換實(shí)時性的要求出發(fā)，有必要根據(jù)實(shí)際情況構(gòu)造一些適應(yīng)應(yīng)用需求的特殊小波基，以便在應(yīng)用中取得更好的效果；（2）在應(yīng)用中的實(shí)時性要求，也需要結(jié)合DSP的發(fā)展，開發(fā)專門的處理芯片，從而滿足這方面的要求。5.2混沌神經(jīng)網(wǎng)絡(luò)由

36、于神經(jīng)網(wǎng)絡(luò)是高度非線性動力學(xué)系統(tǒng)，而混沌又具有上述的特性，因此神經(jīng)網(wǎng)絡(luò)與混沌密切相關(guān)，所以混沌神經(jīng)網(wǎng)絡(luò)被認(rèn)為是可實(shí)現(xiàn)其真實(shí)世界計算的智能信息處理系統(tǒng)之一。目前對混沌神經(jīng)網(wǎng)絡(luò)的研究還處于初始階段，其研究主要限于認(rèn)識單個的混沌特性和對簡單混沌神經(jīng)網(wǎng)絡(luò)的行為分析。1990年，Aihara等在前人推導(dǎo)和的基礎(chǔ)上，給出了一個混沌神經(jīng)網(wǎng)絡(luò)模型。大量的生物實(shí)驗(yàn)表明，腦神經(jīng)系統(tǒng)具有、混沌和奇怪吸引子行為，然而，神經(jīng)網(wǎng)絡(luò)作為一個極其復(fù)雜的是否也具有類似的動力學(xué)行為呢？下面先介紹兩種混沌神經(jīng)元的基本模型，并對特性進(jìn)行分析，進(jìn)而引出了混沌神經(jīng)網(wǎng)絡(luò)模型。目前廣泛研究的混沌神經(jīng)網(wǎng)絡(luò)模型是在Hopfield神經(jīng)網(wǎng)絡(luò)中引入

37、了一個具有混沌特性的項(xiàng)，進(jìn)而得到了混沌神經(jīng)網(wǎng)絡(luò)模型，因此在深入研究混沌神經(jīng)網(wǎng)絡(luò)之前，有必要先介紹一下Hopfield神經(jīng)網(wǎng)絡(luò)。美國物理學(xué)家J.J.Hopfield首先提出一種單層反饋網(wǎng)絡(luò)系統(tǒng)，這種單層就稱為Hopfield網(wǎng)絡(luò)。的非線性和高維數(shù)，使得現(xiàn)有工具難以確定其狀態(tài)軌跡，甚至可能出現(xiàn)。由于具有混沌特性的神經(jīng)網(wǎng)絡(luò)其特性十分復(fù)雜，因此獲得了廣泛研究。5.2.1混沌神經(jīng)網(wǎng)絡(luò)的應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)由于其復(fù)雜的動力學(xué)特性，在動態(tài)聯(lián)想記憶。系統(tǒng)優(yōu)化、信息提取、人工智能等領(lǐng)域受到人們極大的關(guān)注。混沌吸引子的吸引域存在，形成了混沌神經(jīng)網(wǎng)絡(luò)固有容錯功能。這對復(fù)雜的模式識別、圖像處理等工程應(yīng)用發(fā)揮著重要作用。5.2.2待解決的關(guān)鍵技術(shù)問題為了更好地應(yīng)用混沌神經(jīng)網(wǎng)絡(luò)的動力學(xué)特性，并對其存在的混沌現(xiàn)象進(jìn)行有效