外文翻譯--RBF 神經(jīng)網(wǎng)絡(luò).doc

附錄A2RBF神經(jīng)網(wǎng)絡(luò)2.1神經(jīng)網(wǎng)絡(luò)原理人腦存儲(chǔ)的信息是分布式地存儲(chǔ)在腦細(xì)胞之間的關(guān)聯(lián)上，而不是保存在腦細(xì)胞的內(nèi)部。腦細(xì)胞通過(guò)它們之間的作用關(guān)系(如激勵(lì)和抑制)來(lái)存儲(chǔ)。人工模擬這種映射關(guān)系的系統(tǒng)稱為(人工)神經(jīng)網(wǎng)絡(luò)(ANN)。神經(jīng)網(wǎng)絡(luò)是一個(gè)具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力系統(tǒng)，是由大量的處理單元(神經(jīng)元)廣泛互連而形成的網(wǎng)絡(luò)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，反映了腦功能的基本特征。但它并不是人腦的真實(shí)描寫(xiě)，而只是它的某種抽象、簡(jiǎn)化與模擬。網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來(lái)實(shí)現(xiàn)，知識(shí)與信息的存儲(chǔ)表現(xiàn)為網(wǎng)絡(luò)元件互連間分布式的物理聯(lián)系，網(wǎng)絡(luò)的學(xué)習(xí)和計(jì)算決定于各神經(jīng)元連接權(quán)系的動(dòng)態(tài)演化過(guò)程。其中，神經(jīng)元構(gòu)成了網(wǎng)絡(luò)的基本運(yùn)算單元，每個(gè)神經(jīng)元具有自己的閡值，每個(gè)神經(jīng)元的輸入信號(hào)是所有與其相連的神經(jīng)元的輸出信號(hào)和加權(quán)后的和。而輸出信號(hào)是其凈輸入信號(hào)的非線性函數(shù)。如果輸入信號(hào)的加權(quán)集合高于其閑值，該神經(jīng)元便被激活而輸出相應(yīng)的值。在人工神經(jīng)網(wǎng)絡(luò)中所存儲(chǔ)的是單元之間連接的加權(quán)值陣列。神經(jīng)網(wǎng)絡(luò)的工作過(guò)程主要由兩個(gè)階段組成:一個(gè)階段是工作期。此時(shí)各連接權(quán)值固定，計(jì)算單元的狀態(tài)變化，以求達(dá)到穩(wěn)定狀態(tài)。另一階段是學(xué)習(xí)期(自適應(yīng)期，或設(shè)計(jì)期)。此時(shí)各計(jì)算單元狀態(tài)不變，各連接權(quán)值可修改(通過(guò)學(xué)習(xí)樣本或其他方法)。前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM)。后一階段慢的多，權(quán)及連接方式亦稱長(zhǎng)期記(LTM)。目前神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有近百種之多，算法更無(wú)法記數(shù)。根據(jù)網(wǎng)絡(luò)特性，神經(jīng)網(wǎng)絡(luò)大致可以分為靜態(tài)和動(dòng)態(tài)兩類。靜態(tài)網(wǎng)絡(luò)當(dāng)前的輸出僅僅反映當(dāng)前輸入數(shù)據(jù)的處理結(jié)果。動(dòng)態(tài)網(wǎng)絡(luò)是有記憶能力的網(wǎng)絡(luò)，記憶能力可以是由于神經(jīng)元傳遞函數(shù)是微分或差分方程導(dǎo)致的；也可以是由于網(wǎng)絡(luò)的輸出或網(wǎng)絡(luò)內(nèi)部的狀態(tài)反饋到網(wǎng)絡(luò)的輸入端產(chǎn)生的。下面對(duì)于一些常見(jiàn)于控制系統(tǒng)中的網(wǎng)絡(luò)結(jié)構(gòu)和算法作簡(jiǎn)要的介紹。2.1.1神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)類型1.神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單神經(jīng)元相互連接構(gòu)成的復(fù)雜網(wǎng)絡(luò)。圖2-1是一個(gè)典型的單層神經(jīng)網(wǎng)絡(luò)模型，它具有R維輸入，S個(gè)神經(jīng)元。p為RXI維的輸入矢量，網(wǎng)絡(luò)層由權(quán)值矩陣W(SxR)、閉值矢量b(Sxl)、求和單元。和傳遞函數(shù)運(yùn)算單元f組成，S個(gè)神經(jīng)元的輸出組成了Sxl維的神經(jīng)網(wǎng)絡(luò)輸出矢量a。其中，輸入層網(wǎng)絡(luò)權(quán)值矩陣W和閥值矢量b的具體形式如下:在單層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上可以構(gòu)造多層神經(jīng)網(wǎng)絡(luò)。一個(gè)典型的三層神經(jīng)網(wǎng)絡(luò)模型2.神經(jīng)網(wǎng)絡(luò)的分類神經(jīng)網(wǎng)絡(luò)的類型多種多樣，它們是從不同角度對(duì)生物神經(jīng)系統(tǒng)不同層次的抽象和模擬【18】。一般來(lái)說(shuō)，當(dāng)神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及其功能主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)主要可分為前饋型和反饋型兩種19，13。（1）饋型網(wǎng)絡(luò)。各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒(méi)有反饋，結(jié)點(diǎn)分為兩類，即輸入單元和計(jì)算單元，每一計(jì)算單元可有多個(gè)輸入，但只有一個(gè)輸出(它可藕合到任意多個(gè)其他結(jié)點(diǎn)作為其輸入)。通常前饋網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i一1層輸出相連，輸入和輸出結(jié)點(diǎn)與外界相連，而其他中間層則稱為隱層。（2）饋型網(wǎng)絡(luò)。所有結(jié)點(diǎn)都是計(jì)算單元，同時(shí)也可接受輸入，并向外界輸出，可畫(huà)成一個(gè)無(wú)向圖，如圖2-4(a)，其中每個(gè)連接弧都是雙向的，也可畫(huà)成如圖2-4(b)的形式。若總單元數(shù)為n，則每一個(gè)結(jié)點(diǎn)有n-1個(gè)輸入和一個(gè)輸出。神經(jīng)網(wǎng)絡(luò)的工作過(guò)程主要分為兩個(gè)階段:第一個(gè)階段是學(xué)習(xí)期，此時(shí)各計(jì)算單元狀態(tài)不變，各連接上的權(quán)值可通過(guò)學(xué)習(xí)來(lái)修改；第二階段是工作期，此時(shí)各連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀從作用效果看，前饋網(wǎng)絡(luò)主要是函數(shù)映射，可用于模式識(shí)別和函數(shù)逼近。反饋網(wǎng)絡(luò)按對(duì)能量函數(shù)的極小點(diǎn)的利用來(lái)分類有兩種:第一類是能量函數(shù)的所有極小點(diǎn)都起作用，這一類主要用作各種聯(lián)想存儲(chǔ)器；第二類只利用全局極小點(diǎn)，它主要用于求解最優(yōu)化問(wèn)題。2.1.2神經(jīng)網(wǎng)絡(luò)在控制中的應(yīng)用K.J.Hunt和D.Sbrabaro等總結(jié)了神經(jīng)網(wǎng)絡(luò)用于控制系統(tǒng)最吸引人的幾個(gè)特征:神經(jīng)網(wǎng)絡(luò)是本質(zhì)的非線性系統(tǒng)、具有高度并行的結(jié)構(gòu)、某些網(wǎng)絡(luò)可以硬件實(shí)現(xiàn)、具有學(xué)習(xí)和自適應(yīng)性、可以同時(shí)處理定性的和定量的數(shù)據(jù)、多變量系統(tǒng)等特點(diǎn)。神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中無(wú)論是作為控制器還是作為實(shí)際系統(tǒng)的辯識(shí)模型，都是以神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力為基礎(chǔ)的。有兩種基本的神經(jīng)網(wǎng)絡(luò)的應(yīng)用方式:正模型(辯識(shí))和逆模型(控制器)正模型法通過(guò)訓(xùn)練使一個(gè)神經(jīng)網(wǎng)絡(luò)逼近一個(gè)系統(tǒng)的正向模型，以模型和實(shí)際系統(tǒng)輸出的差值作為網(wǎng)絡(luò)訓(xùn)練的誤差信號(hào)來(lái)修正網(wǎng)絡(luò)權(quán)值。假設(shè)系統(tǒng)的模型訓(xùn)練可以一直采用實(shí)際系統(tǒng)的數(shù)據(jù)y以保證訓(xùn)練的穩(wěn)定性，或者在一定的訓(xùn)練步數(shù)后采用神經(jīng)網(wǎng)絡(luò)以前的輸出作為網(wǎng)絡(luò)輸入來(lái)避免有噪聲的數(shù)據(jù)對(duì)辯識(shí)結(jié)果的影響。逆模型法通過(guò)訓(xùn)練得到系統(tǒng)動(dòng)態(tài)的逆模型或控制器，串聯(lián)在原系統(tǒng)前面使系統(tǒng)簡(jiǎn)化或滿足一定的控制要求。有兩種基本的神經(jīng)網(wǎng)絡(luò)求逆結(jié)構(gòu):直接逆結(jié)構(gòu)和間接逆結(jié)構(gòu)直接逆結(jié)構(gòu)輸入一個(gè)信號(hào)到實(shí)際系統(tǒng)，其輸出作為神經(jīng)網(wǎng)絡(luò)的輸入，把網(wǎng)絡(luò)的輸出和加入信號(hào)的差值作為誤差訓(xùn)練網(wǎng)絡(luò)。直接逆結(jié)構(gòu)有兩個(gè)嚴(yán)重的缺點(diǎn):(l)由于神經(jīng)網(wǎng)絡(luò)逆模型的輸入是由實(shí)際系統(tǒng)的輸出得到的，可能不完全覆蓋逆問(wèn)題的輸入空間；(2)如果系統(tǒng)不是一對(duì)一的，在不能得到全部輸入空間特征訓(xùn)練點(diǎn)集的情況下，可能得到錯(cuò)誤的逆模型。采用神經(jīng)網(wǎng)絡(luò)間接逆結(jié)構(gòu)可以部分地克服上面兩點(diǎn)缺點(diǎn)。間接逆結(jié)構(gòu)輸入信號(hào)到神經(jīng)網(wǎng)絡(luò)，然后把網(wǎng)絡(luò)輸出送到實(shí)際系統(tǒng)，系統(tǒng)輸出與輸入到網(wǎng)絡(luò)的信號(hào)差值用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。采用該結(jié)構(gòu)，網(wǎng)絡(luò)的輸入可以人工選擇，可以使輸入的信號(hào)能夠代表逆系統(tǒng)輸入空間的特征。當(dāng)網(wǎng)絡(luò)不是一對(duì)一的時(shí)候，可以學(xué)習(xí)得到具有某些特定性質(zhì)的部分逆模型。2.2徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法徑向基函數(shù)(RadialBasisFunction)神經(jīng)網(wǎng)絡(luò)是由J.Moody和C.Darken在20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)，它是具有單隱層的三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接收域(或稱感受野一RecePtiveField)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，徑向基函數(shù)(徑向基)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，即對(duì)于輸入空間的某一局部區(qū)域只存在少數(shù)的神經(jīng)元用于決定網(wǎng)絡(luò)的輸出。已證明它能以任意精度逼近任意連續(xù)函數(shù)。徑向基函數(shù)理論是一種對(duì)多輸入、多輸出非線性系統(tǒng)的辨識(shí)方法，以此而建立的徑向基網(wǎng)絡(luò)可實(shí)現(xiàn)對(duì)非線性系統(tǒng)的模式識(shí)別與分類。2.2.1徑向基函數(shù)神經(jīng)元模型一個(gè)具有R維輸入的徑向基函數(shù)神經(jīng)元模型如圖2一7所示。圖中的dist模塊表示求取輸入矢量和權(quán)值矢量的距離。此模型中采用高斯函數(shù)radbas作為徑向基函數(shù)神經(jīng)元的傳遞函數(shù)，其輸n入為輸入矢量p和權(quán)值矢量w的距離乘以閡值b。高斯函數(shù)是典型的徑向基函數(shù)，其表達(dá)式為f(x)=e-x2其函數(shù)曲線如圖2一8所示中心與寬度是徑向基函數(shù)神經(jīng)元的兩個(gè)重要參數(shù)。神經(jīng)元的權(quán)值矢量w確定了徑向基函數(shù)的中心，當(dāng)輸入矢量p與w重合時(shí)，徑向基函數(shù)神經(jīng)元的輸出達(dá)到最大值，當(dāng)輸入矢量p距離w越遠(yuǎn)時(shí)，神經(jīng)元輸出就越小。神經(jīng)元的閉值b確定了徑向基函數(shù)的寬