人工神經網絡綜述

1、 /26 /26目錄TOC o 1-5 h z HYPERLINK l bookmark6 人工神經網絡算法的工作原理3 HYPERLINK l bookmark8 人工神經網絡研究內容4 HYPERLINK l bookmark10 人工神經網絡的特點5 HYPERLINK l bookmark12 典型的神經網絡結構6 HYPERLINK l bookmark14 4.1前饋神經網絡模型6 HYPERLINK l bookmark16 4.1.1自適應線性神經網絡（Adaline）6 HYPERLINK l bookmark20 網絡結構6 HYPERLINK l bookmark24 4

2、.1.1.2學習算法步驟7 HYPERLINK l bookmark26 4.1.1.3優(yōu)缺點7 HYPERLINK l bookmark28 4.1.2單層感知器8 HYPERLINK l bookmark30 網絡結構8 HYPERLINK l bookmark34 4.1.2.2學習算法步驟9 HYPERLINK l bookmark42 4.1.2.3優(yōu)缺點9 HYPERLINK l bookmark44 4.1.3多層感知器和BP算法10 HYPERLINK l bookmark46 網絡結構：10 HYPERLINK l bookmark50 BP算法10 HYPERLINK l

3、bookmark52 4.1.3.3算法學習規(guī)則11 HYPERLINK l bookmark56 4.1.3.4算法步驟11 HYPERLINK l bookmark64 4.1.3.5優(yōu)缺點12 HYPERLINK l bookmark66 4.2反饋神經網絡模型13 HYPERLINK l bookmark68 Hopfield神經網絡13 HYPERLINK l bookmark70 網絡結構13 HYPERLINK l bookmark80 4.2.1.2學習算法15 HYPERLINK l bookmark82 Hopfield網絡工作方式15 HYPERLINK l bookma

4、rk84 Hopfield網絡運行步驟15 HYPERLINK l bookmark92 4.2.1.5優(yōu)缺點16 HYPERLINK l bookmark94 4.2.2海明神經網絡（Hamming）16 HYPERLINK l bookmark96 網絡結構16 HYPERLINK l bookmark100 4.2.2.2學習算法17 HYPERLINK l bookmark128 4.2.2.3特點18 HYPERLINK l bookmark130 4.2.3雙向聯(lián)想存儲器（BAM）19 HYPERLINK l bookmark134 網絡結構19 HYPERLINK l bookm

5、ark138 4.2.3.2學習算法194.2.3.4優(yōu)缺點21 HYPERLINK l bookmark156 5.人工神經網絡發(fā)展趨勢以及待解決的關鍵問題22 HYPERLINK l bookmark158 5.1與小波分析的結合22 HYPERLINK l bookmark160 小波神經網絡的應用23 HYPERLINK l bookmark162 5.1.2待解決的關鍵技術問題23 HYPERLINK l bookmark164 5.2混沌神經網絡23 HYPERLINK l bookmark166 混沌神經網絡的應用24 HYPERLINK l bookmark168 5.2.2待

6、解決的關鍵技術問題24 HYPERLINK l bookmark170 5.3基于粗集理論245.3.1粗集與神經網絡結合的應用25 HYPERLINK l bookmark172 5.3.2待解決的關鍵技術問題25 HYPERLINK l bookmark174 5.4分形神經網絡25 HYPERLINK l bookmark176 5.4.1分形神經網絡的應用25 HYPERLINK l bookmark178 5.4.2待解決的關鍵技術問題25 HYPERLINK l bookmark180 參考文獻26 /26 /26人工神經網絡綜述人工神經網絡(ArtificialNeuralNet

7、works,ANN)系統(tǒng)是20世紀40年代后出現(xiàn)的。它是由眾多的神經元可調的連接權值連接而成，具有大規(guī)模并行處理、分布式信息存儲、良好的自組織自學習能力等特點。BP(BackPropagation)算法又稱為誤差反向傳播算法，是人工神經網絡中的一種監(jiān)督式的學習算法。BP神經網絡算法在理論上可以逼近任意函數(shù)，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。而且網絡的中間層數(shù)、各層的處理單元數(shù)及網絡的學習系數(shù)等參數(shù)可根據具體情況設定，靈活性很大，在優(yōu)化、信號處理與模式識別、智能控制、故障診斷等許多領域都有著廣泛的應用前景。人工神經網絡算法的工作原理人工神經元的研究起源于腦神經元學說。19

8、世紀末，在生物、生理學領域，Waldeger等人創(chuàng)建了神經元學說。人們認識到復雜的神經系統(tǒng)是由數(shù)目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數(shù)萬個，它們互相聯(lián)結形成神經網絡，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統(tǒng)內，經過對信息的分析和綜合，再通過運動神經發(fā)出控制信息，以此來實現(xiàn)機體與內外環(huán)境的聯(lián)系，協(xié)調全身的各種機能活動。神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態(tài)比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作

9、為輸出端的突起，它只有一個。樹突是細胞體的延伸部分，它由細胞體發(fā)出后逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯(lián)系，形成所謂“突觸”。在突觸處兩神經元并未連通，它只是發(fā)生信息傳遞功能的結合部，聯(lián)系界面之間間隙約為(1550)x10米。突觸可分為興奮性與抑制性兩種類型，它相應于神經元之間耦合的極性。每個神經元的突觸數(shù)目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，并且都可調整、基于這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯(lián)接組成人工神經網絡可顯示出人的大腦的某些特征。人工神經網絡是由大量的簡單基本元件神經元相互聯(lián)接而成的自適應非線性動態(tài)系統(tǒng)。每個神經元的結構和功

10、能比較簡單，但大量神經元組合產生的系統(tǒng)行為卻非常復雜。人工神經網絡反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡化和抽象。與數(shù)字計算機比較，人工神經網絡在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運算，而是能夠自身適應環(huán)境、總結規(guī)律、完成某種運算、識別或過程控制。人工神經網絡首先要以一定的學習準則進行學習，然后才能工作?，F(xiàn)以人工神經網絡對于寫“A”、“B”兩個字母的識別為例進行說明，規(guī)定當“A”輸入網絡時，應該輸出T”，而當輸入為“B”時，輸出為“0”。所以網絡學習的準則應該是：如果網絡作出錯誤的的判決，則通過網絡的學習，應使得網絡減少下次

11、犯同樣錯誤的可能性。首先，給網絡的各連接權值賦予（0,1）區(qū)間內的隨機值，將“A”所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。在此情況下，網絡輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”（結果正確），則使連接權值增大，以便使網絡再次遇到“A”模式輸入時，仍然能作出正確的判斷。如果輸出為“0”（即結果錯誤），則把網絡連接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網絡下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網絡輪番輸入若干個手寫字母“A”、“B”后，經過網絡按以上學習方法

12、進行若干次學習后，網絡判斷的正確率將大大提高。這說明網絡對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。一般說來，網絡中所含的神經元個數(shù)越多，則它能記憶、識別的模式也就越多。人工神經網絡研究內容神經網絡的研究內容相當廣泛，反映了多學科交叉技術領域的特點。目前，主要的研究工作集中在以下幾個方面：（1）生物原型研究從生理學，心理學、剖析學、腦科學、病理學等生物科學方面研究神經細胞、神經網絡、神經系統(tǒng)的生物原型結構及其功能基理。（2）建立理論模型根據生物原型的研究，建立神經元、神經網絡的理論模型，包

13、括概念模型、知識模型、物理化學模型、數(shù)學模型等。（3）網絡模型與算法研究在理論模型研究的基礎上構建具體的神經網絡模型，以實現(xiàn)計算機模擬或準備制作硬件，包括網絡學習算法的研究。這方面的工作也被稱為技術模型研究。神經網絡用到的算法就是向量乘法，并且廣泛應用符號函數(shù)及其各種逼近。并行、容錯、可以硬件實現(xiàn)以及自我學習特征，是神經網絡的幾個基本優(yōu)點，也是神經網絡計算方法與傳統(tǒng)方法的區(qū)別所在。（4）人工神經網絡應用系統(tǒng)在網絡模型與算法研究的基礎上，利用人工神經網絡組成實際的應用系統(tǒng)，例如，完成某種信號處理活模式識別的功能、構建專家系統(tǒng)、制成機器人等。人工神經網絡的特點人工神經網絡主要具有以下幾個特點：（1

14、）自適應能力。人類大腦有很強的自適應與自組織特性，后天的學習與訓練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運用手勢；訓練有素的運動員可以表現(xiàn)出非凡的運動技巧等等。普通計算機的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結編制程序將十分困難。人工神經網絡也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環(huán)境的要求。同一網絡因學習方式及內容不同可具有不同的功能。人工神經網絡是一個具有學習能力的系統(tǒng)，可以發(fā)展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監(jiān)督或稱有導師的學習，這時利用給定的樣本標準

15、進行分類或模仿；另一種是無監(jiān)督學習或稱無為導師學習，這時，只規(guī)定學習方式或某些規(guī)則，則具體的學習內容隨系統(tǒng)所處環(huán)境（即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。（2）泛化能力泛化能力指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有噪聲的樣本，網絡具備很好的預測能力。（3）非線性映射能力當對系統(tǒng)對于設計人員來說，很透徹或者很清楚時，則一般利用數(shù)值分析，偏微分方程等數(shù)學工具建立精確的數(shù)學模型，但當對系統(tǒng)很復雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時，建立精確的數(shù)學模型很困難時，神經網絡的非線性映射能力則表現(xiàn)出優(yōu)勢，因為它不需要對系統(tǒng)進行透徹的了解，但

16、是同時能達到輸入與輸出的映射關系，這就大大簡化設計的難度。（4）高度并行性并行性具有一定的爭議性。承認具有并行性理由：神經網絡是根據人的大腦而抽象出來的數(shù)學模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經網絡也應具備很強的并行性。典型的神經網絡結構網絡的拓撲結構是神經網絡的重要特性，神經網絡的各種模型層出不窮，但最常見的結構是前饋神經網絡和反饋神經網絡兩大類。前饋神經網絡模型4.11自適應線性神經網絡（Adaline）自適應線性神經網絡（AdaptiveLinear，簡稱Adaline）是由威德羅(Widrow)和霍夫(Hoff)首先提出的。它與感知器的主要不同之處在于其神經元有一

17、個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。它采用的是W-H學習法則，也稱最小均方差(LMS)規(guī)則對權值進行訓練。自適應線性元件的主要用途是線性逼近一個函數(shù)式而進行模式聯(lián)想。4.1.1.1網絡結構圖4-1為其網絡結構：訓韓號期望輸出圖4-14.1.1.2學習算法步驟(1)設置變量和參量：X(n)=1,x(n),x(n),x(n)為輸入向量，或稱12m訓練樣本。W(n)=b(n),w(n),w(n),w(n)為權值向量。b(n)為偏差，y(n)12m為實際輸出，d(n)為期望輸出，耳為學習速率，n為迭代次數(shù)。(2)初始化，賦給W(0)各一個較小的隨機非零值，n

18、=0。j(3)對于一組輸入樣本X(n)二1,x(n),x(n),x(n)和對應的期望輸出12md，計算：e(n)二d(n)XT(n)W(n)W(n+1)二W(n)+nX(n)e(n)(4)判斷是否滿足條件，若滿足算法條件，則結束。若不滿足，將n值加1，轉第三步重新執(zhí)行。4.1.1.3優(yōu)缺點優(yōu)點：Adaline網絡可以學習輸入輸出矢量之間的線性關系，并產生一個具有誤差平方和最小的線性逼近；對于一些實際問題，常常并不需要求出其完美的零誤差時的解。也就是說允許存在一定的誤差。這時，采用Adaline網絡求解，可以很快地訓練出滿足一定要求的網絡權值。缺點：輸入和輸出之間的非線性關系不能用Adaline

19、網絡精確地設計出。對于特別簡單的問題，采用自適應線性網絡的訓練不一定能夠得到足夠精確的解。因為當訓練誤差達到期望誤差值后，訓練即被終止。4.1.2單層感知器單層感知器(Perceptron)是由美國計算機科學家羅森布拉特(F.Roseblatt)于1957年提出的。它是一個具有單層神經元的網絡，由線性閾值邏輯單元所組成。它的輸入可以是非離散量，而且可以通過學習而得到，這使單層感知器在神經網絡研究中有著重要的意義和地位：它提出了自組織、自學習的思想，對能夠解決的問題，有一個收斂的算法，并從數(shù)學上給出了嚴格的證明。4.1.2.1網絡結構當給定一個輸入向量X,在閾值9和權值W的作用下，單層感知器的輸

20、出為：Y=f(因Wxiii=11-1Wx0iii=1Wx0iii=14-1)如果輸入向量X有k個樣本，即Xp,p=1,2,.,k，把樣本Xp看作是n維空間的一個向量，那么k個樣本就是輸入空間的k個向量。由于單層感知器神經元的輸出只有兩種可能，即1或-1。這樣方程(4-1)就把這n維輸入空間分為兩個子空間，其分界線為n-1維的超平面。通過調節(jié)權值W和閾值9可以改變i這個n-1維超平面的位置以達到對樣本的正確劃分。圖4-2為其網絡結構：圖4-24.1.2.2學習算法步驟單層感知器的具體學習步驟如下：給定初始值：各賦給W(0)和9一個較小的隨機非零值，這里W(t)為tii時刻第i個輸入上的權(1in

21、)。輸入一樣本X二(x,xx)和它的希望輸出d，如果XeA類，d=1；12n如果XeB類，d=-1。計算實際輸出：Y(t)二f(1W(t)x-9)iii=1修正權W:W(t+1)=W(t)+ndY(t)x，i=1,2,.,n+1iii式中0耳0ijjiv(t+1)=ij=1Vj*i一1,工wv(t)+b0。4.2.1.5優(yōu)缺點優(yōu)點：Hopfield網絡主要用于從片段中進行圖像和數(shù)據的完全恢復。缺點：處理單元間連接權值需預先設置，并且單元之間的連接是要對稱的，它沒有學習能力。422海明神經網絡（Hamming）海明（Hamming）網絡由匹配子網和競爭子網組成。匹配子網在學習階段將若干類別的樣本

22、記憶存儲在網絡的連接權值中；在工作階段（回憶階段），該子網計算輸入模式和各個樣本模式的匹配程度，并將結果送入競爭子網中，由競爭子網選擇出匹配子網中最大的輸出。從而，實現(xiàn)了對離散輸入模式進行在海明距離最小意義下的識別和分類。4.2.2.1網絡結構圖4-6為其構ESJTF1726盍爭干網m網絡結 /26 /26圖4-64.2.2.2學習算法(1)Hamming距離如果將模式用向量來表示，Hamming距離是指兩個模式不同元素的個數(shù)。如：A=(00110),B=(l0101)則:H(A,B)=3。Hamming網絡的學習之權值設置1k二l競爭子網的連接權值設置方法：=屮|klk豐lJ匹配子網的連接權

23、值設置方法：=x川2ijiHamming網絡的學習之閾值設置：競爭子網神經元的閾值設置為0；匹配子網神經元閾值的設置為：0=-N;N為匹配子網中神經元的個j2數(shù)。Hamming網絡學習算法描述網絡的學習過程采用競爭學習算法，而競爭學習包含以下主要過程：網絡對刺激做出響應，具有最大響應的神經元被激活，該神經元成為獲勝神經元并獲得學習的機會，更改獲勝神經元的權值。其中，只有最大響應的神經元被激活的這一特征被稱為“勝者為王”機制。其具體學習算法描述如下：設置變量和參量：X(n)=x(n),x(n),x(n)T為輸入向量，其元素均12N為二進制元素。Wi(n)=wi(n),wi(n),wi(n)t,i

24、二1,2,M為前向子網絡ii1i2iN的權值向量；W為競爭子網絡的權值。Y(n)=y(n),y(n),y(n)T為實際輸kl12M出。n為學習速率，n代表Hamming網絡的第n次訓練，n為競爭子網絡迭代過程中的迭代步數(shù)，而N為預設的總的訓練次數(shù)。初始化：對于前向子網絡權值wi，用小的隨機值進行初始化并滿足約束ij條件wi=1,i=1,2,Mijj=1+1當kl對于wii(k,/=1,2,M)，wii斗:而神經元的輸出函數(shù)klkl-,當k主/f(.),f(.)選取線性函數(shù)并且給定總的迭代次數(shù)N。12選取訓練樣本X。計算競爭子網絡神經元的初始輸入即前向子網絡的輸出(、y(0)=Vi=fwix,i

25、=1,2,Mki1ijjIj=1丿計算競爭子網絡的迭代過程：yk(n1+1)=f2k=1,2,M觀察競爭子網絡的輸出，當輸出達到要求時(只有一個輸出為正，其余為零)轉第七步，否則n等于n+1，轉到第五步繼續(xù)迭代。11將輸出最大的神經元c定為獲勝神經元，并將其輸出y(n)置為1,其他c神經元的輸出置為0,實現(xiàn)“勝者為王”。更新獲勝神經元的權值向量：Wi(n+1)=Wi(n)+ncc(X-Wi(n)其中,p為在輸入向量X(X,X,X)中元素為1的個數(shù)。12M判斷網絡的當前訓練次數(shù)n是否大于N，如果小于，則n等于n+1，回到第三步進行新的一次訓練，否則結束網絡訓練過程。4.2.2.3特點Hammin

26、g網絡與Hopfield網絡不同，它分別計算未知輸入模式與每個已知標準樣本模式的Hamming距離，對應距離最小的那個標準樣本模式即是可以和輸入模式匹配的模式。而對Hopfield網絡而言，作為一識別器，要么精確地找到一個可以匹配的標準樣本模式，要么找不到，即得到“不能匹配”的結果。4.2.3雙向聯(lián)想存儲器(BAM)雙向聯(lián)想存儲器(BAM)是由日本的Kosko提出的一種神經網絡模型，它是ART網絡模型的一種簡化形式，是一種異聯(lián)想存儲器。它能存儲成對的模式(A,B)，(A,B),(A,B)。A和B是不同向量空間中的向量。如果模式1122NNiiA輸入到BAM，輸出是模式B，且若A與A最為接近，B

27、就是在BAM所存儲i的向量B。iBAM網絡模型中的神經元為非線性單元，每個神經元的作用相當于一個非線性函數(shù)，這個函數(shù)一般取為S型函數(shù)：y二1+exp-x4.2.3.1網絡結構在F中有n個處理單元F=a,a,a，在F中有p個處理單元AA12nBF=b,b,b。每一個域中的神經元均與另一個域中所有神經元相連。圖B12p4-7為其網絡結構：圖4-74.2.3.2學習算法BAM模型神經元的輸出一般情況下，每個處理單元的輸出取0,1之間的值，但在應用中通常取輸出值為二值：0或1，這樣按處理單元門限規(guī)定，每個處理單元要么為開狀態(tài)，要么為關狀態(tài)。若輸入大于閾值，則輸出為1；若輸入小于閾值，則輸出為0；當輸入

28、與閾值相等時，處理單元輸出保持原來狀態(tài)不變。BAM模型的信息存儲在雙向聯(lián)想存儲模型中，所有的信息都是包含在一個nxp的矩陣M中的。這個矩陣M實際上是一個權值矩陣，信息就是由這個權值矩陣來表達。如果M產生一個穩(wěn)定的雙向聯(lián)想存儲器，則所有的輸入都可以很快地映射到穩(wěn)定的輸出模式。由于要將不同的聯(lián)想模式對(A,B)收斂到局部能量極小點上，所以所要學ii習的模式對或聯(lián)想個數(shù)m必須小于域F和域F中處理單元的個數(shù)，即：ABm0I(i=1,2,n)BMj(j=h2，.，p)AMj0、JAMj0當BMj=9或AMj=9時,ji則神經元保持原來狀態(tài)不變。然后重復上述過程，直到系統(tǒng)進入穩(wěn)定狀態(tài)，也即a與b的狀態(tài)不再

29、改ij變?yōu)橹埂＿@時域F的輸出即為最終所得結果。B4234優(yōu)缺點優(yōu)點:BAM模型的聯(lián)想和學習方式具有糾錯功能，也就是說當輸入模式與學習模式不完全相同時，它可以聯(lián)想出正確的模式；主要用作按內容尋址的相聯(lián)存儲。缺點：存儲容量小而且需很好地進行編碼。5.人工神經網絡發(fā)展趨勢以及待解決的關鍵問題神經網絡在很多領域已經得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學習、自組織以及非線性映射等優(yōu)點的神經網絡與其他技術的結合以及由此而來的混合方法和混合系統(tǒng)，已成為一大研究熱點。由于其他方法也有它們各自的優(yōu)點，所以將神經網絡與其他方法相結合，取長補短。繼而可以獲得更好的應用效果。目

30、前這方面工作有神經網絡與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論和灰色系統(tǒng)分等的融合。下面主要就神經網絡與小波分析、混沌、粗集理論、分形理論的融合進行分析。與小波分析的結合傳統(tǒng)的信號理論，是建立在Fourier分析基礎上的，而Fourier變換作為一種全局性的變化，其有一定的局限性，如不具備局部化分析能力、不能分析非平穩(wěn)信號等。在實際應用中人們開始對Fourier變換進行各種改進，以改善這種局限性，如STFT(短時傅立葉變換)。由于STFT采用的的滑動窗函數(shù)一經選定就固定不變，故決定了其時頻分辨率固定不變，不具備自適應能力，而小波分析很好的解決了這個問題。小波分析是一種

31、新興的數(shù)學分支，它是泛函數(shù)、Fourier分析、調和分析、數(shù)值分析的最完美的結晶；在應用領域，特別是在信號處理、圖像處理、語音處理以及眾多非線性科學領域，它被認為是繼Fourier分析之后的又一有效的時頻分析方法。小波變換與Fourier變換相比，是一個時間和頻域的局域變換因而能有效地從信號中提取信息，通過伸縮和平移等運算功能對函數(shù)或信號進行多尺度細化分析(MultiscaleAnalysis)，解決了Fourier變換不能解決的許多困難問題。小波神經網絡將小波變換良好的時頻局域化特性和神經網絡的自學習功能相結合，因而具有較強的逼近能力和容錯能力。在結合方法上，可以將小波函數(shù)作為傳遞函數(shù)構造神

32、經網絡形成小波網絡，或者小波變換作為前饋神經網絡的輸入前置處理工具，即以小波變換的多分辨率特性對過程狀態(tài)信號進行處理，實現(xiàn)信噪分離，并提取出對加工誤差影響最大的狀態(tài)特征，作為神經網絡的輸入。5.1.1小波神經網絡的應用小波神經網絡在電機故障診斷、電壓電網故障信號處理與保護研究。軸承等機械故障診斷以及許多方面都有應用，將小波神經網絡用于感應伺服電機的智能控制，使該系統(tǒng)具有良好的跟蹤控制性能，以及好的魯棒性，利用小波神經網絡進行心血管疾病的智能診斷，小波層進行時頻域的自適應特征提取，前向神經網絡用來進行分類，正確分類率達到94%。5.1.2待解決的關鍵技術問題小波神經網絡雖然應用于很多方面，但仍存

33、在一些不足。（1）從提取精度和小波變換實時性的要求出發(fā)，有必要根據實際情況構造一些適應應用需求的特殊小波基，以便在應用中取得更好的效果；（2）在應用中的實時性要求，也需要結合DSP的發(fā)展，開發(fā)專門的處理芯片，從而滿足這方面的要求。5.2混沌神經網絡由于神經網絡是高度非線性動力學系統(tǒng)，而混沌又具有上述的特性，因此神經網絡與混沌密切相關，所以混沌神經網絡被認為是可實現(xiàn)其真實世界計算的智能信息處理系統(tǒng)之一。目前對混沌神經網絡的研究還處于初始階段，其研究主要限于認識單個神經元的混沌特性和對簡單混沌神經網絡的行為分析。1990年，Aihara等在前人推導和動物實驗的基礎上，給出了一個混沌神經網絡模型。大

34、量的生物實驗表明，腦神經系統(tǒng)具有分岔、混沌和奇怪吸引子動力學行為，然而，神經網絡作為一個極其復雜的非線性系統(tǒng)是否也具有類似的動力學行為呢？下面先介紹兩種混沌神經元的基本模型，并對神經元模型特性進行分析，進而引出了混沌神經網絡模型。目前廣泛研究的混沌神經網絡模型是在Hopfield神經網絡中引入了一個具有混沌特性的負反饋項，進而得到了混沌神經網絡模型，因此在深入研究混沌神經網絡之前，有必要先介紹一下Hopfield神經網絡。美國物理學家J.J.Hopfield首先提出一種單層反饋網絡系統(tǒng)，這種單層反饋網絡就稱為Hopfield網絡。反饋神經網絡的非線性和高維數(shù)，使得現(xiàn)有工具難以確定其狀態(tài)軌跡，甚

35、至可能出現(xiàn)混沌現(xiàn)象。由于具有混沌特性的神經網絡其動力學特性十分復雜，因此獲得了廣泛研究。5.2.1混沌神經網絡的應用混沌神經網絡由于其復雜的動力學特性，在動態(tài)聯(lián)想記憶。系統(tǒng)優(yōu)化、信息提取、人工智能等領域受到人們極大的關注。混沌吸引子的吸引域存在，形成了混沌神經網絡固有容錯功能。這對復雜的模式識別、圖像處理等工程應用發(fā)揮著重要作用。5.2.2待解決的關鍵技術問題為了更好地應用混沌神經網絡的動力學特性，并對其存在的混沌現(xiàn)象進行有效的控制，仍需要對混沌神經網絡的結構進行進一步的改進和調整，以及對混沌神經網絡算法的進一步研究。5.3基于粗集理論粗糙集理論作為智能計算的科學研究，無論是在理論方面還是在應用實踐方面都取得了很大的進