機(jī)器學(xué)習(xí)翻譯

現(xiàn)代機(jī)器學(xué)習(xí)理論英文文獻(xiàn)翻譯文獻(xiàn)名：DeterministicLearningandRapidDynamicalPatternRecognition學(xué)院：電子工程學(xué)院專業(yè)：電路與系統(tǒng)學(xué)號：學(xué)生姓名：確定性學(xué)習(xí)及快速動態(tài)模式識別摘要時變或動態(tài)模式識別是最困難的模式識別任務(wù)中的一種。本文基于近來得到確實定性學(xué)習(xí)理論的成果，提出一種用于快速的動態(tài)模式識別確實定性結(jié)構(gòu)。第一，通過確定性學(xué)習(xí)，一個隨著時間變化的動態(tài)模式可以有效的以時間和空間分布的方式表示出來；第二，基于動態(tài)模式固有的系統(tǒng)動態(tài)學(xué)，給出了動態(tài)模式的特征相似性的定義；第三，提出了一種快速的動態(tài)模式識別機(jī)制，如果通過一種內(nèi)部的在系統(tǒng)動態(tài)學(xué)上的動態(tài)匹配能夠到達(dá)狀態(tài)同步，那么一個測試動態(tài)模式可以通過該機(jī)制以類似于訓(xùn)練動態(tài)模式的方式得到驗證。該同步錯誤可以視為測試模式和訓(xùn)練模式的相似度的衡量。本文最重要的是提出了一種完整的動態(tài)方法，通過這種方法，將動態(tài)模式識別問題轉(zhuǎn)化為識別過失系統(tǒng)的穩(wěn)定性和收斂性問題。仿真研究用來說明所提出的方法的有效性。索引：確定性學(xué)習(xí)，動態(tài)模式識別，表示，相似性，同步性一.緒論人們通常很擅長識別時變模式，人們對時變模式的識別是一種集成過程，在此過程中，隨時間推移的信息模式可以被有效地驗證、表示、識別和分類。人類識別過程的一個顯著特點(diǎn)是，它從感知時變模式這一開始就能夠迅速進(jìn)行，而且時變模式可以直接在輸入空間上進(jìn)行處理并用于特征提取和模式匹配[10]。這些識別機(jī)制，盡管還沒有得到充分肯定，但是很可能不同于現(xiàn)存的神經(jīng)網(wǎng)絡(luò)和其他模式識別的統(tǒng)計方法。至今，在靜態(tài)模式識別中已經(jīng)取得了很大的成績(如[7]–[9],和[19]–[21])，但是快速時變模式識別方面僅僅取得了有限的成績。時空模式分類的一個早期成果是Grossberg’s正式雪崩結(jié)構(gòu)[28]。時變模式處理的一個很常見的方法就是構(gòu)造短期儲存模型〔STM〕，包括延遲線[33]、衰變軌跡[30][34]和指數(shù)內(nèi)核[31]。這些短期儲存模型然后被嵌入到不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)上。例如，結(jié)合多層感知器與延遲線模型提出時延神經(jīng)網(wǎng)絡(luò)[33]，在這種短期儲存模型中，時變模式用一個模式狀態(tài)序列來表述，并且時變模式的識別與靜態(tài)模式的識別很類似。另一方面，已經(jīng)得到證實的是：反應(yīng)或者周期性神經(jīng)網(wǎng)絡(luò)才是更加自然的去處理時變模式的典型結(jié)構(gòu)[29][32][35][36]。一般意義上來講，時變模式識別的一個重要問題在于如何恰當(dāng)?shù)谋硎倦S時間變化的模式。時域編碼和典型的神經(jīng)表示方法的使用，近來己成為神經(jīng)系統(tǒng)科學(xué)及相關(guān)領(lǐng)域的一個重要話題(參見[11]中的例子)。在所有該領(lǐng)域中未解決的問題中，一個最根本的問題是如何以時間獨(dú)立的方式將時變模式表示出來，另外一個當(dāng)前正研究的重要問題是如何定義兩個時變模式之間的相似度，這存在困難，原因在于，當(dāng)我們考慮參數(shù)發(fā)生變化、存在噪聲和干擾等因素時，那就與僅考慮兩個時變模式時的情況大不相同。當(dāng)由于時變模式是隨著時間發(fā)生變化的，所以已形成的那種對靜態(tài)模式的相似度的衡量方式，可能并不適合時變模式。鑒于上述原因，在現(xiàn)在的一些文獻(xiàn)中已經(jīng)列出了一些諸如對時變模式的有效性表示、標(biāo)準(zhǔn)相似度定義和快速識別等成果。本文我們研究一類時變模式的識別，該類時變模式被稱為動態(tài)模式，它是由一般非線性動態(tài)系統(tǒng)所產(chǎn)生：〔1〕其中是系統(tǒng)狀態(tài)，且，是一個系統(tǒng)參數(shù)向量，表示系統(tǒng)動態(tài)學(xué)，每一個是一個未知的、連續(xù)的非線性函數(shù)。一個動態(tài)模式被定義為由上述動態(tài)系統(tǒng)所產(chǎn)生的周期動態(tài)軌跡。這類周期軌跡包括定期、準(zhǔn)周期、幾乎周期以及混沌軌跡，他們涵蓋了由非線性動態(tài)系統(tǒng)所產(chǎn)生的最重要的軌跡類型〔盡管不是所有類型〕〔參見[24]中的周期軌跡的嚴(yán)格定義〕。非線性動態(tài)系統(tǒng)理論應(yīng)用于各種領(lǐng)域內(nèi)的動態(tài)模式的形成，這些領(lǐng)域包括：流體力學(xué)，海洋學(xué)，氣象學(xué)，生物地貌以及半導(dǎo)體[25][26][27]。換句話說，非線性動態(tài)系統(tǒng)能夠形成各種不同類型的動態(tài)模式。因此前面所定義的動態(tài)模式覆蓋了文獻(xiàn)中所研究的時變模式的一大類。動態(tài)模式的一般識別過程通常由兩階段組成：認(rèn)證階段和識別階段。在這里，“認(rèn)證階段”就是要涉及得到一個模式的最根本特征，通過這些特征還不能識別，而“識別階段”那么意味著觀察模式并且驗證它與我們之前看到的某個模式完全相同或極其相似。針對動態(tài)模式的認(rèn)證階段，我們?yōu)榉蔷€性動態(tài)系統(tǒng)提出了確定性學(xué)習(xí)理論[23][38]，通過該理論，我們對動態(tài)模式的底層系統(tǒng)動態(tài)學(xué)做了局部精準(zhǔn)的神經(jīng)網(wǎng)絡(luò)逼近，而該逼近方法我們可以使用局部徑向基函數(shù)〔RBF〕神經(jīng)網(wǎng)絡(luò)得到。通過確定性學(xué)習(xí)，就可以得到動態(tài)模式的根本信息并將它作為常量徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)重儲存起來。本文基于確定性學(xué)習(xí)理論，為有效性表示、相似度定義和快速動態(tài)模式識別提出了一個統(tǒng)一確實定性機(jī)制。我們首先提出，通過使用確定性學(xué)習(xí)得到的常量徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，隨時間變化的動態(tài)模式就能夠被系統(tǒng)動態(tài)學(xué)的局部精準(zhǔn)神經(jīng)網(wǎng)絡(luò)近似有效地表述。這種表述是時不變的，也就是說獨(dú)立于時間屬性的，并且是空間分布式的，因此將底層信息及動態(tài)模式的狀態(tài)軌跡一起儲存在一系列的分布式神經(jīng)元中。因此，模式狀態(tài)和底層系統(tǒng)動態(tài)學(xué)的完整信息被用來恰當(dāng)?shù)谋硎緞討B(tài)模式。空間分布式信息說明，使用有限個提取的特征〔例如在靜態(tài)模式識別〕的表示很可能是對動態(tài)模式的不完整表示，它還說明這種表示是相似度定義和快速動態(tài)模式識別的根底。第二，給出了基于系統(tǒng)動態(tài)學(xué)的動態(tài)模式的相似度的定義。從非線性動態(tài)系統(tǒng)的定性分析中可以看出，我們可以將兩個動態(tài)行為之間的相似度理解為兩個動態(tài)系統(tǒng)拓?fù)涞葍r程度(參加[24]有更多的討論)。這就暗示著，動態(tài)模式的相似度由它內(nèi)部的系統(tǒng)動態(tài)學(xué)的相似度決定。因此，本文我們基于系統(tǒng)動態(tài)學(xué)和模式狀態(tài)的信息提出了動態(tài)模式的形似度的定義：如果1〕模式A的狀態(tài)保持在模式B的狀態(tài)的一個局部區(qū)域內(nèi)，或者2〕沿著模式A的狀態(tài)軌跡相應(yīng)于兩個模式狀態(tài)的系統(tǒng)動態(tài)學(xué)之間的差異很小，那么我們可以認(rèn)為動態(tài)模式A相似于動態(tài)模式B。可以看出，相似度定義與動態(tài)模式的時間屬性無關(guān)。第三，我們研究快速動態(tài)模式是別的機(jī)制。為了能由訓(xùn)練動態(tài)模式集得到測試動態(tài)模式的識別，一個可行的方法就是將測試動態(tài)模式的系統(tǒng)動態(tài)學(xué)驗證到一個常量徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)〔正如訓(xùn)練動態(tài)模式通過確定性學(xué)習(xí)的操作那樣〕，然后將它的系統(tǒng)動態(tài)學(xué)與訓(xùn)練動態(tài)模式的系統(tǒng)動態(tài)學(xué)做比擬。這種方法存在的一個問題在于對系統(tǒng)動態(tài)學(xué)的神經(jīng)網(wǎng)絡(luò)逼近的比擬需要在時間上是可計算的。對測試動態(tài)模式的快速識別，最好是無需再次驗證系統(tǒng)動態(tài)學(xué)，并且要盡可能防止復(fù)雜計算，而是簡單、快速的識別。基于時不變表示和相似度定義，我們提出一種用于快速動態(tài)模式識別的方法。構(gòu)造一個動態(tài)模式集來替代訓(xùn)練動態(tài)模式，在認(rèn)證階段所產(chǎn)生的此集合的常量徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)將被嵌入。常量徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)能夠迅速的調(diào)用已學(xué)習(xí)到的知識，而這些知識是通過精確逼近一個訓(xùn)練動態(tài)模式之前學(xué)習(xí)的系統(tǒng)動態(tài)學(xué)得到的。當(dāng)一個測試模式表述為一個動態(tài)模式時就會產(chǎn)生一個識別錯誤系統(tǒng)，該系統(tǒng)由產(chǎn)生測試模式的系統(tǒng)和對應(yīng)于訓(xùn)練模式的動態(tài)模式組成。如果沒有測試模式的系統(tǒng)動態(tài)學(xué)的認(rèn)證，同時沒有對借助于數(shù)值計算得到的相應(yīng)的動態(tài)模式的系統(tǒng)動態(tài)學(xué)的比擬，那么在識別過失系統(tǒng)中將進(jìn)行一種對測試模式和訓(xùn)練模式的系統(tǒng)動態(tài)學(xué)的內(nèi)部的動態(tài)匹配，狀態(tài)同步性錯誤與系統(tǒng)動態(tài)學(xué)存在局部差異也將得到近似證明。因而，同步性錯誤別視為對測試動態(tài)模式和訓(xùn)練動態(tài)模式之間的相似度的衡量，如果某個動態(tài)模式的狀態(tài)及其接近的同步于測試動態(tài)模式的狀態(tài)，那么可得出結(jié)論：該測試動態(tài)模式被識別為與某個訓(xùn)練模式相似。本文的重要性也就是它的新穎之處就在于，在沒有使用短期儲存模型的情況下提出一種時變、動態(tài)模式識別的動態(tài)結(jié)構(gòu)。與以Grossberg與他的同事所作的工作為例的其他許多在反應(yīng)神經(jīng)網(wǎng)路的穩(wěn)定性和收斂性分析方面的成果相比[29][32]，我們在本文中從自適應(yīng)控制和動態(tài)系統(tǒng)方面使用了更加先進(jìn)的概念和理論，如持續(xù)鼓勵條件、周期性軌跡和拓?fù)涞葍r等。特別地，1)在周期性軌跡滿足持續(xù)鼓勵條件下，通過確定性學(xué)習(xí)，可以將一個時變的動態(tài)模式以時不變的方式表示出來；2〕基于兩個動態(tài)模式的系統(tǒng)動態(tài)學(xué)之間的差異，使用拓?fù)涞葍r概念可以給出動態(tài)模式相似度的定義。此外，一個測試動態(tài)模式的快速識別的問題被轉(zhuǎn)化為時變過失系統(tǒng)的穩(wěn)定性和同步性的問題，這樣一來，表示和相似度的定義都以動態(tài)方式出現(xiàn)?？梢钥闯觯瑢σ粋€測試動態(tài)模式的快速識別發(fā)生在測試模式的狀態(tài)的測量之初，并且隨著識別過失系統(tǒng)的變化而變化，他并不需要任何的有關(guān)模式匹配和特征提取的數(shù)值計算〔而在現(xiàn)存的靜態(tài)模式識別方法中一般都是需要的〕。這種明確給出相似度衡量的識別機(jī)制，通過使用諸如最小距離或最近鄰分類等自覺識別機(jī)理[8]，可以進(jìn)一步的得到模式識別系統(tǒng)的結(jié)構(gòu)。這種結(jié)構(gòu)化的識別系統(tǒng)能夠通過使用不同的權(quán)重來區(qū)分和分類動態(tài)模式，并且依據(jù)系統(tǒng)動態(tài)學(xué)的相似度將動態(tài)模式分配到預(yù)定義的類中。本文中我們總假定可以得到所有系統(tǒng)狀態(tài)的精確測量，然而實際中并不是這樣，因此，在那種在噪聲環(huán)境下的只有局部狀態(tài)可以測量，甚至僅有一個單獨(dú)的輸出可以測量的情形下開展這個工作具有很重要的意義，使用可變神經(jīng)網(wǎng)絡(luò)來考慮局部可測量狀態(tài)下的動態(tài)模式的學(xué)習(xí)與識別也是很有必要的〔參見[37]中的例子〕。由于空間有限，所以本文中并沒有在這方面做進(jìn)一步的探討，本文其他局部安排如下。第二局部介紹了確定性學(xué)習(xí)理論，第三局部討論了動態(tài)模式的表示和相似度，第四局部研究快速動態(tài)模式的識別機(jī)制，同時，第三、第四局部還包括一些仿真結(jié)果，第五局部是論文總結(jié)。二.動態(tài)模式的認(rèn)證在這一局部，我們對文獻(xiàn)[23]和[38]中得出確實定性學(xué)習(xí)理論做一下簡單的表述。確定性學(xué)習(xí)理論最近被提出來用于周期性的非線性動態(tài)系統(tǒng)的認(rèn)證，通過使用局部徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，證明了滿足偏重持續(xù)鼓勵條件，即滿足沿著周期性系統(tǒng)軌跡的徑向基函數(shù)構(gòu)造確實定衰減子向量的持續(xù)鼓勵條件，這種偏重持續(xù)鼓勵條件使得認(rèn)證過失系統(tǒng)沿周期系統(tǒng)軌跡呈指數(shù)穩(wěn)定性。因此，在周期系統(tǒng)軌跡的局部區(qū)域內(nèi)，能夠得到系統(tǒng)動態(tài)學(xué)的精準(zhǔn)神經(jīng)網(wǎng)絡(luò)逼近。因為這種學(xué)習(xí)機(jī)制是通過使用自適應(yīng)控制和動態(tài)系統(tǒng)的概念和理論形成的〔如[1][2][24]中的例子〕，而非對靜態(tài)原理得來的算法，因此也就有了與著名的靜態(tài)學(xué)習(xí)相對的“確定性學(xué)習(xí)”。這種確定性學(xué)習(xí)理論是訓(xùn)練動態(tài)模式的系統(tǒng)動態(tài)學(xué)認(rèn)證的根本理論?？紤]一個非線性動態(tài)系統(tǒng)〔1〕，假設(shè)從初始條件開始，〔1〕產(chǎn)生一個周期或近似周期的系統(tǒng)軌跡，該系統(tǒng)軌跡被視為一個動態(tài)模式，在本文中簡記為或，時變系統(tǒng)狀態(tài)為動態(tài)模式的狀態(tài)，從非線性系統(tǒng)研究〔如[22]中的例子〕知道，不同的，不同的，得到不同的動態(tài)模式。[23]中確定性學(xué)習(xí)的目的在于構(gòu)成神經(jīng)系統(tǒng)認(rèn)證器，該認(rèn)證器應(yīng)用神經(jīng)網(wǎng)絡(luò)能夠精確認(rèn)證動態(tài)模式的動態(tài)學(xué)。動態(tài)局部RBF神經(jīng)網(wǎng)絡(luò)下面的動態(tài)RBF神經(jīng)網(wǎng)絡(luò)被用作〔1〕的認(rèn)證：〔2〕其中是動態(tài)RBF神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量，是〔1〕的狀態(tài)，是一個對角矩陣，為設(shè)置常數(shù)，是局部RBF神經(jīng)網(wǎng)絡(luò)，用來逼近〔1〕中未知的。局部RBF神經(jīng)網(wǎng)絡(luò)的應(yīng)用原因在于它具有以下的性質(zhì)[23]。線性參數(shù)形式。RBF神經(jīng)網(wǎng)絡(luò)屬于一類線性參數(shù)化的神經(jīng)網(wǎng)絡(luò)，可以表述為以下形式：〔3〕其中是輸入向量，是權(quán)向量，是神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)個數(shù)，，是RBFs。常用的RBFs包括Gaussian函數(shù)和翻轉(zhuǎn)的Hardy配點(diǎn)函數(shù)，他們都是局部基函數(shù)，當(dāng)時有意義[6]。全局近似。在[6]中展示了對任意的連續(xù)函數(shù)，其中是一個緊集合，和神經(jīng)網(wǎng)絡(luò)近似數(shù)〔3〕〔節(jié)點(diǎn)個數(shù)足夠大〕，都存在一個理想的常數(shù)權(quán)向量，這里，對每一個，〔4〕其中〔今后被簡化為〕。此外，在[13]中說明，在上以規(guī)那么晶格為中心的Gaussian節(jié)點(diǎn)的數(shù)目為有限長〔也為做夠大〕時，并且方差固定的Gaussian神經(jīng)網(wǎng)絡(luò)，在由〔4〕確定的任意可選范圍內(nèi)都能夠一致近似于一個平滑函數(shù)。空間局部化學(xué)習(xí)。對局部RBF神經(jīng)網(wǎng)絡(luò)，空間局部學(xué)習(xí)能力說明，對緊集合內(nèi)的任意的點(diǎn)，或者任意的邊界軌跡，使用該點(diǎn)的鄰域內(nèi)或者沿該軌跡的局部區(qū)域內(nèi)的有限個神經(jīng)元可以將近似。〔5〕其中，是一個很小的正常數(shù)，，并且是近似誤差，很小，可以看出，是的一個降維子向量。偏重持續(xù)鼓勵條件的滿足。持續(xù)鼓勵條件在自適應(yīng)系統(tǒng)是個很重要的概念[1][2]，標(biāo)量形式的持續(xù)鼓勵條件的定義如下。定義1：一個分段連續(xù)、均勻有界的向量函數(shù)據(jù)說滿足持續(xù)鼓勵條件，當(dāng)存在正常數(shù)，和，使得〔6〕對所有的單位向量。對非線性系統(tǒng)的認(rèn)證，很難得到持續(xù)鼓勵的特征和先驗驗證。依據(jù)近來持續(xù)鼓勵條件方面的成果[3][4][5]，我們將很明確的知道，對任何周期性軌跡[23]，只要它在規(guī)那么晶格內(nèi)的長度足夠長，就能夠成為一個由中心位于的鄰域內(nèi)的RBFs組成的降維子向量的持續(xù)鼓勵，查看文獻(xiàn)[38]可以看到更詳細(xì)的分析。引理1：[23]中考慮的都是一個周期或近似周期軌跡，假定在緊集合中是一個連續(xù)映射，并且在中有界，那么對局部RBF神經(jīng)網(wǎng)絡(luò)，中心位于規(guī)那么晶格內(nèi)時，在〔5〕中定義的降維子向量，在〔6〕有意義的條件下是持續(xù)鼓勵。冪指數(shù)穩(wěn)定性和精確認(rèn)證〔2〕中的權(quán)估計通過基于Lyapunov的學(xué)習(xí)法那么得到更新，〔7〕其中，，是的估計，，，且是一個很小的值。沿著狀態(tài)軌跡，認(rèn)證過失系統(tǒng)由非線性動態(tài)系統(tǒng)〔1〕、動態(tài)RBF神經(jīng)網(wǎng)絡(luò)〔2〕和神經(jīng)網(wǎng)絡(luò)權(quán)重學(xué)習(xí)法那么〔7〕組成，被表示為：〔8〕〔9〕其中下標(biāo)和分別代表沿軌跡方向的趨近區(qū)域和遠(yuǎn)離區(qū)域，是的子向量，是相應(yīng)的權(quán)子向量，靠近。因為引理1保證了的持續(xù)鼓勵條件，依據(jù)[1]中給出的穩(wěn)定性結(jié)果，我們可以使得系統(tǒng)〔8〕的標(biāo)稱局部在時到達(dá)冪指數(shù)穩(wěn)定性。因此，由狀態(tài)過失和參數(shù)過失可以得出在零周圍的一些小的鄰域內(nèi)冪指數(shù)收斂，鄰域的大小由和決定。收斂指的是收斂于的鄰域，沿著軌跡，我們有〔10〕其中接近于和。另一方面，應(yīng)用了RBFs的局部性質(zhì)，我們可以得出，沿著軌跡整個RBF神經(jīng)網(wǎng)絡(luò)可以近似未知的為〔11〕其中，比接近于和。由于收斂，使用〔12〕其中，表示一段過程后的時間段，我們可以得到一個常神經(jīng)網(wǎng)絡(luò)權(quán)重向量。從〔10〕中可以看出，使用常RBF神經(jīng)網(wǎng)絡(luò)權(quán)重，沿著軌跡的系統(tǒng)動態(tài)學(xué)可以表示為〔13〕其中是的子向量，且很小且接近于。此外，應(yīng)用了RBF神經(jīng)網(wǎng)絡(luò)的局部性質(zhì)，由〔11〕我們可得到〔14〕其中很小且接近于。這樣就得到定理1。定理1：文獻(xiàn)[23]中考慮的認(rèn)證過失系統(tǒng)〔8〕和〔9〕，他們由非線性動態(tài)系統(tǒng)〔1〕、動態(tài)RBF神經(jīng)網(wǎng)絡(luò)〔2〕和NN權(quán)重更新法那么〔7〕組成。對任意一個周期軌跡，當(dāng)從初始條件為和初始值為的初始狀態(tài)出發(fā)，如〔8〕式給出的神經(jīng)網(wǎng)絡(luò)權(quán)重在它們的最優(yōu)值的很小的鄰域內(nèi)收斂，并且沿著狀態(tài)軌跡可以得到未知的的局部精確NN近似值。注釋1：注意在非線性認(rèn)證系統(tǒng)文獻(xiàn)中〔參見[14][17][18]中的例子〕，已經(jīng)得到了狀態(tài)的精確跟蹤方法，但是，對底層系統(tǒng)動態(tài)學(xué)建模的問題并沒有得到進(jìn)一步的研究。盡管在文獻(xiàn)[5]及[13]--[16]中的例子里已經(jīng)得到了基于Lyapunov的學(xué)習(xí)法那么〔7〕，但是由于很難滿足持續(xù)鼓勵條件，至今NN認(rèn)證文獻(xiàn)里都沒能得到動態(tài)學(xué)的精確近似。當(dāng)滿足〔引理1建立的〕的偏重持續(xù)鼓勵條件時，在定理1中嚴(yán)格證明了系統(tǒng)動態(tài)學(xué)的局部精確NN近似的存在，而該局部精確認(rèn)證是在充分利用與局部RBF神經(jīng)網(wǎng)絡(luò)有關(guān)，尤其是關(guān)于持續(xù)鼓勵條件方面的性質(zhì)得到的。注釋2：周期性軌跡表示的是由非線性系統(tǒng)產(chǎn)生的一大類行為，和與此相應(yīng)的各種動態(tài)模式，這些模式包括周期、準(zhǔn)周期、近似周期及他們的混合[24]。周期性軌跡滿足持續(xù)鼓勵條件使得各種動態(tài)模式的底層系統(tǒng)動態(tài)學(xué)得以精確認(rèn)證。三.表示及相似度在靜態(tài)模式識別中，一個模式通常是一個向量或矩陣表示的時不變觀測結(jié)果的集合。通過使用顯著的特征集使得向量或矩陣表示的位數(shù)盡可能的小，這樣做的目的是減少冗余信息和改善分類性能，例如，在靜態(tài)模式識別中，用個特征或維特征向量來表示一個模式，得到一個維特征空間，當(dāng)維特征空間被劃分為緊集合和非緊集合區(qū)域時，緊接著要完成識別和分類任務(wù)，并且要在特征空間中找到一條決定邊界線，該線用于將不同區(qū)域劃分為不同類的模式[8][9]。對動態(tài)模式，由于所測量結(jié)果是時變的，因此以前的靜態(tài)模式識別結(jié)構(gòu)不適合于動態(tài)模式的表示。由文獻(xiàn)[10]說明，如果不能夠恰當(dāng)?shù)奶幚頃r間屬性，獨(dú)立于時間的表示方法所存在的分辨能力和分類精確度的喪失問題將成為時變或動態(tài)模式識別的一個難題。此外，如果不能恰當(dāng)?shù)谋硎緞討B(tài)模式，如何定義兩個動態(tài)模式間的相似度的問題將成為另外一個難題。A．時不變和空間分布式表示在第二局部介紹了，沿著一個動態(tài)模式的周期性軌跡，該動態(tài)模式的系統(tǒng)動態(tài)學(xué)在一個局部區(qū)域內(nèi)近似為。常RBF神經(jīng)網(wǎng)絡(luò)由兩種類型的神經(jīng)網(wǎng)絡(luò)權(quán)重組成：1〕對那些中心靠近軌跡的神經(jīng)元，它們的權(quán)重在一個很小的鄰域內(nèi)冪指數(shù)收斂于它們的最優(yōu)值；2〕對那些中心遠(yuǎn)離軌跡的神經(jīng)元，它們的權(quán)重保持不變，例如，近似為零。因此，對整個RBF神經(jīng)網(wǎng)絡(luò)的所有神經(jīng)元都能獲得常神經(jīng)網(wǎng)絡(luò)權(quán)重，從而我們能定理1和〔13〕、〔14〕得到對一個動態(tài)模式的如下表示方法。1〕使用常RBF神經(jīng)網(wǎng)絡(luò)，可以得到動態(tài)模式的表示，它是用一個時不變的系統(tǒng)動態(tài)學(xué)來NN近似。這種基于從動態(tài)模式上提取的根本信息的表示方法是不依賴與時間屬性，該NN近似僅在沿著軌跡的局部區(qū)域內(nèi)是精確的〔正如表示一樣〕，這種局部精確NN近似提供應(yīng)我們有效解決時變動態(tài)模式的表示方法。2〕表示是空間分布式的，即相關(guān)的信息被存放在沿著一個動態(tài)系統(tǒng)的狀態(tài)軌跡分布的大量神經(jīng)元中，這說明采用合理的動態(tài)模式表示，將用到所有的模式狀態(tài)和底層系統(tǒng)動態(tài)學(xué)的完整信息，特別地，使用動態(tài)模式的狀態(tài)軌跡的信息〔起始于某個初始條件〕和沿著該狀態(tài)軌跡的底層系統(tǒng)狀態(tài)學(xué)來表示一個動態(tài)模式。很容易想到，空間分布式信息說明使用有限個提取的特征來表示動態(tài)模式在很多情形是不完整的。對局部精準(zhǔn)NN近似方法，局部區(qū)域定義為〔15〕其中，和的常數(shù)，是近似誤差，在內(nèi)接近于。這些知識被儲存在中，并在NN輸入落入?yún)^(qū)域內(nèi)時，被RBF神經(jīng)網(wǎng)絡(luò)調(diào)用來準(zhǔn)確近似之前學(xué)到的系統(tǒng)動態(tài)學(xué)。注意用表示并不會直接用來識別，例如，直接比擬對應(yīng)的神經(jīng)網(wǎng)絡(luò)權(quán)重來識別。相反，對一個訓(xùn)練動態(tài)模式，我們使用構(gòu)造一個冬天模型〔16〕其中，是動態(tài)模型的狀態(tài)，是一個由〔1〕生成的輸入模式的狀態(tài)，是通過確定性學(xué)習(xí)所獲得的常RBF神經(jīng)網(wǎng)絡(luò)，是一個對角矩陣，且一般小于〔由〔2〕式給出〕。很顯然動態(tài)模式的表示完全不同于靜態(tài)模式的表示。將在第四局部做一詳細(xì)論述，〔16〕式所示的動態(tài)模型將替代訓(xùn)練動態(tài)模式來快速識別測試動態(tài)模式。B．根本的相似度的衡量在模式識別領(lǐng)域里，時變或動態(tài)模式間的特征相似度是另外一個相當(dāng)重要的問題。我們知道已經(jīng)有很對靜態(tài)模式的相似度的定義，它們中的大多數(shù)都是基于距離的，例如，基于Euclidean距離，Manhattan距離以及Cosine距離[9]。為了定義兩個動態(tài)模式的相似度，已經(jīng)形成的對靜態(tài)模式的相似度定義可能并不適合。動態(tài)模式與時間有關(guān)，并且會受到初始條件的影響，系統(tǒng)參數(shù)也會影響動態(tài)模式的產(chǎn)生。為了具體說明，我們來考慮一個動態(tài)模式〔由〔1〕式給出〕和另外一個動態(tài)模式〔表示為或〕，它由下述非線性動態(tài)系統(tǒng)產(chǎn)生〔17〕其中它的初始條件，系統(tǒng)參數(shù)向量和非線性向量場可能都不同于動態(tài)模式的。因為或〔或者〔1〕中的〕的微小變化都會引起的有大的改變，所以不可能僅僅使用模式的時變狀態(tài)或從提取的有限個特征來創(chuàng)立動態(tài)模式和之間的相似度。在非線性動態(tài)系統(tǒng)的定性分析中〔參見[24]中的例子〕，對兩個動態(tài)行為間的相似度的理解在于兩個動態(tài)系統(tǒng)的拓?fù)涞葍r性。通過對非線性動態(tài)系統(tǒng)的研究很容易理解，動態(tài)模式的相似度是由它們的系統(tǒng)動態(tài)學(xué)的相似度所決定。因此，本文中我們提出了動態(tài)模式相似度的以下定義。定義2：動態(tài)模式〔〔17〕式給出〕與動態(tài)模式相似〔〔1〕式給出〕，當(dāng)模式的狀態(tài)在模式的狀態(tài)的鄰域內(nèi)，且沿著模式的狀態(tài)，對應(yīng)的系統(tǒng)動態(tài)學(xué)的差異很小，如〔18〕其中，是兩個動態(tài)模式的相似度的衡量。注釋3：可以看出，前面定義的相似度與兩個動態(tài)模式的狀態(tài)和系統(tǒng)動態(tài)學(xué)有關(guān)，它是將基于如和兩個模式的系統(tǒng)動態(tài)學(xué)的根本信息的，并且被定義為時變的。定義中用到了兩個模式的狀態(tài)信息，但是，并不需要兩模式匹配在相位空間的狀態(tài)〔確切的說〕，或者說它們是相同的，換句話說，相似度定義中沒必要考慮動態(tài)模式的時間屬性。在定義2中可以發(fā)現(xiàn)，盡管兩個動態(tài)模式的狀態(tài)是可以測量的，但是和的相似度卻沒法衡量。通過確定性學(xué)習(xí)，模式的系統(tǒng)動態(tài)學(xué)可以得到精確認(rèn)證，并且可以被有效地表示為常RBF神經(jīng)網(wǎng)絡(luò)?；谶@種學(xué)習(xí)，我們進(jìn)一步的研究模式是如何識別為近似于模式的。結(jié)合〔15〕和〔18〕，當(dāng)模式的狀態(tài)局部區(qū)域內(nèi)時，有〔19〕式中給出用和來表示模式和的系統(tǒng)動態(tài)學(xué)的差異。因此，我們有以下結(jié)論。定義3：動態(tài)模式〔〔17〕式給出〕被識別為近似于模式〔基于的認(rèn)證〕，如果模式的狀態(tài)在局部區(qū)域時〔〔15〕式定義〕，并且沿著模式的狀態(tài)，如〔19〕式所描述的那樣對應(yīng)的系統(tǒng)動態(tài)學(xué)間的差異很小。注釋4：注意在定義2和定義3中都用到了兩個動態(tài)模式的系統(tǒng)動態(tài)學(xué)和狀態(tài)的所有信息。不同于靜態(tài)模式的相似度定義，模式相似于〔或者被識別為相似于〕模式不一定說明反過來也是正確的。換句話說，動態(tài)模式的初始條件對相似度的衡量來講并不重要，因為動態(tài)模式的時間屬性已經(jīng)被有效去除了?！?9〕式中的模式的系統(tǒng)動態(tài)學(xué)不易得到，正如第四局部要講的，定義3將用來對模式的快速識別中的相似度做一具體的衡量。C．仿真由Duffing振子〔參見[22]中的例子〕產(chǎn)生的兩個動態(tài)模式表示為〔20〕其中，是狀態(tài)，，，，和都是常數(shù)，系統(tǒng)動態(tài)學(xué)是一個未知的平滑的非線性函數(shù)，是一個周期項，它使得Duffing振子更有意義[22]，Duffing振子能夠產(chǎn)生各種類型的動態(tài)行為，包括周期、準(zhǔn)周期和非周期模式。周期模式和非周期模式〔在圖1中，分別表示為和〕用來說明這局部的結(jié)果，周期模式由〔20〕式產(chǎn)生，其中初始條件，系統(tǒng)參數(shù)，，，及，非周期模式由除了外的相同系統(tǒng)參數(shù)的〔20〕式產(chǎn)生。下面的動態(tài)RBF神經(jīng)網(wǎng)絡(luò)是由〔2〕式稍加改良的結(jié)果，用于鑒別兩個訓(xùn)練動態(tài)模式和〔21〕RBF神經(jīng)網(wǎng)絡(luò)建立在節(jié)點(diǎn)數(shù)，中心均勻分布在上，寬帶為的規(guī)那么晶格上，RBF神經(jīng)網(wǎng)絡(luò)的權(quán)重根據(jù)式〔7〕更新，式〔21〕和〔7〕的設(shè)計參數(shù)為：，及，初始權(quán)重為。動態(tài)模式的相位特性如圖2〔a〕，與之對應(yīng)的系統(tǒng)動態(tài)學(xué)如圖2〔b〕，通過確定性學(xué)習(xí)，動態(tài)模式的系統(tǒng)動態(tài)學(xué)能夠被局部精確認(rèn)證。根據(jù)定理1，可以得到一個閉環(huán)認(rèn)證系統(tǒng)的指數(shù)收斂性，如〔的一個子向量〕的收斂性。如圖2〔c〕可以看出，一些權(quán)估計〔那些中心靠近模式軌跡的神經(jīng)元〕收斂于常數(shù)，而另外一些權(quán)估計〔那些中心遠(yuǎn)離模式軌跡的神經(jīng)元〕那么幾乎為零。沿著周期模式的軌跡，的局部精確NN近似如圖2〔d〕和2〔e〕所示。在圖2〔f〕中，動態(tài)模式被常RBF神經(jīng)網(wǎng)絡(luò)所替換，這是時不變的，基于系統(tǒng)動態(tài)學(xué)的根本信息的表示方法。它也屬空間分布式的，即大量的神經(jīng)元沿著動態(tài)模式軌跡分布。NN近似方法僅僅在周期模式的鄰域內(nèi)是精確地，沒有研究模式軌跡的其他區(qū)域，沒有進(jìn)行學(xué)習(xí)，對應(yīng)為圖2〔f〕的零平面，即在未研究區(qū)域的較小的一個值。確實定性學(xué)習(xí)〔a〕為模式的相位特性，〔b〕為模式的系統(tǒng)動態(tài)學(xué)，〔c〕為偏重參數(shù)收斂，〔d〕為函數(shù)近似：“—”，“---”，及“…”，〔e〕沿模式軌跡的近似：“—”，“---”，及“…”，〔f〕用表示周期模式。類似的，考慮非周期模式，是由〔20〕式產(chǎn)生，初始條件為，系統(tǒng)參數(shù)為，，，及。如圖3〔a〕和〔b〕，我們看到非周期模式的相位特性和系統(tǒng)動態(tài)學(xué)；圖3〔c〕說明偏重參數(shù)收斂；如圖3〔d〕和〔e〕，沿著模式的軌跡系統(tǒng)動態(tài)學(xué)局部精確近似；圖3〔f〕為非周期模式的時不變表示。這說明，盡管非周期模式看似比周期模式復(fù)雜，但卻有著與周期動態(tài)模式相同的表示方法。圖3.非周期模式確實定性學(xué)習(xí)〔a〕為模式的相位特性，〔b〕為模式的系統(tǒng)動態(tài)學(xué)，〔c〕為偏重參數(shù)收斂，〔d〕為函數(shù)近似：“—”，“---”，及“…”，〔e〕沿模式軌跡的近似：“—”，“---”，及“…”，〔f〕用表示周期模式。四.快速動態(tài)模式識別這局部我們給出一個動態(tài)機(jī)制，通過它可以通過同步來實現(xiàn)動態(tài)模式的快速識別。A.提出問題考慮一個包含動態(tài)模式的訓(xùn)練集，第k個訓(xùn)練模式由下式產(chǎn)生〔22〕其中，是系統(tǒng)參數(shù)向量。正如第二局部給出的，系統(tǒng)動態(tài)學(xué)能夠被精確認(rèn)證并儲存在常RBF神經(jīng)網(wǎng)絡(luò)中。將動態(tài)模式〔如〔17〕式給出〕作為一個測試模式，在測試模式的系統(tǒng)動態(tài)學(xué)還沒有得到認(rèn)證的情況下，識別問題就是在定義3的意義下，快速的找出那些與所給測試動態(tài)模式相似的訓(xùn)練模式，B．通過同步達(dá)快速識別下面，將給出如何得到動態(tài)模式的快速識別。使用時不變表示，可以構(gòu)造出第k個訓(xùn)練模式的動態(tài)模型〔第三局部已給出〕為〔23〕其中，動態(tài)模型〔模板〕的狀態(tài)，是由〔17〕式產(chǎn)生的一個輸入測試模式的狀態(tài)，是一個對角矩陣，且對所有的訓(xùn)練模式都相同，是一個不是很大的值。然后，對于測試模式和動態(tài)模型〔23〕〔訓(xùn)練模式〕，我們得到以下的識別過失系統(tǒng)：〔24〕其中，是狀態(tài)追蹤〔同步〕誤差。注意如果沒有認(rèn)證測試模式的系統(tǒng)動態(tài)學(xué)，測試模式和訓(xùn)練模式的差異，如是不能通過直接計算得到的。然而，下面將給出系統(tǒng)動態(tài)學(xué)間的差異可以用來清楚地衡量。因此，如果動態(tài)模型〔23〕的狀態(tài)很接近的跟蹤〔或同步于〕動態(tài)模式的狀態(tài)，例如當(dāng)很小時，那么在定義3的意義下測試模式能夠被識別為相似于訓(xùn)練模式。定理2給出了如何在一個動態(tài)過程中通過同步性將一個測試動態(tài)模式快速識別。定理2：考慮對應(yīng)于測試模式的識別過失系統(tǒng)〔24〕和訓(xùn)練模式的動態(tài)模型〔23〕。同步誤差冪指數(shù)收斂于零的一個鄰域，該鄰域的大小正比于測試模式和訓(xùn)練模式的系統(tǒng)動態(tài)學(xué)間的差異。進(jìn)而，測試模式被識別為近似于訓(xùn)練模式，當(dāng)同步誤差很小時，例如，當(dāng)動態(tài)模型〔23〕的狀態(tài)非常接近地跟蹤測試模式的狀態(tài)。證明：為了簡化寫法，下面的推導(dǎo)中我們省略上標(biāo)。對識別過失系統(tǒng)〔24〕，考慮Lyapunov函數(shù)，它的導(dǎo)數(shù)是。注意〔25〕然后，我們有〔26〕記，那么〔26〕化為〔27〕由〔27〕我們有〔28〕那說明，對于已給定的，存在一個有限數(shù)T，對于所有的，狀態(tài)跟蹤誤差將冪指數(shù)收斂于零的一個鄰域，例如，，鄰域的大小與成正比。當(dāng)測試模式狀態(tài)保持在對應(yīng)于訓(xùn)練動態(tài)模式的局部區(qū)域內(nèi)，如，可以如〔19〕式給出的表示在范圍內(nèi)，因此，將冪指數(shù)收斂于零的一個鄰域，鄰域的大小用如式給出，與成正比，與成反比。由于當(dāng)訓(xùn)練模式得到精確認(rèn)證時很小，也不大，〔對有限大的T〕正比于，因此，我們得出測試模式和訓(xùn)練模式的系統(tǒng)動態(tài)學(xué)之間的差異可以用來清楚地衡量，因此，也可是。于是，如果動態(tài)模型〔23〕的狀態(tài)很接近地跟蹤〔同步與〕測試模式的狀態(tài)，例如，當(dāng)很小時，那么在定義3的意義下測試模式被識別為近似于訓(xùn)練模式。注釋5：很顯然，通過系統(tǒng)動態(tài)學(xué)的內(nèi)部匹配的同步性來到達(dá)動態(tài)模式的快速識別，為了從訓(xùn)練動態(tài)模式集合中識別出一個測試動態(tài)模式，同步過失自然被視為測試模式和訓(xùn)練模式間的相似度的衡量，識別問題也因此轉(zhuǎn)變?yōu)樽R別過失系統(tǒng)〔24〕的穩(wěn)定性和收斂性分析問題，識別那么隨著識別過失系統(tǒng)〔24〕的變化自動進(jìn)行。注釋6：對一個測試動態(tài)模式的識別過程很迅速，原因是該識別過程從對測試模式的狀態(tài)衡量開始就已經(jīng)進(jìn)行著了，時不變表示和相似度定義均以一種動態(tài)的方式出現(xiàn)在此識別過程中，這種表示、相似度定義和識別機(jī)制是本文提出的識別方法的三個重要組成局部。C．仿真為了驗證第四局部的結(jié)果，將模式和模式看作兩訓(xùn)練動態(tài)模式，使用第三局部得到的時不變表示，依據(jù)〔23〕式兩個訓(xùn)練模式的動態(tài)模型構(gòu)造為〔29〕其中是動態(tài)模型的狀態(tài)，是由〔17〕式產(chǎn)生的一個測試模式的狀態(tài)，是一個設(shè)計常數(shù)，且它不應(yīng)該很大〔本文中〕。如圖4所示為兩個周期模式分別作為測試模式1和測試模式2。測試模式1由系統(tǒng)〔20〕產(chǎn)生，初始條件為，系統(tǒng)參數(shù)為，，，及，測試模式2除了以外，其它的初始條件和系統(tǒng)參數(shù)與模式1完全相同。圖4.〔a〕測試模式1：相位特性；〔b〕測試模式1：時間響應(yīng)；〔c〕測試模式2：相位特性；〔d〕測試模式2：時間響應(yīng)。首先，考慮用訓(xùn)練模式1來識別測試模式1，從圖5〔a〕中可以看出，訓(xùn)練模式1的動態(tài)模型的狀態(tài)很接近的跟蹤于測試模式1的狀態(tài)，如圖5〔b〕所示得到了狀態(tài)同步且同步過失很小。因此，測試模式1被識別為近似于訓(xùn)練模式1。然后，用訓(xùn)練模式2來識別測試模式1，訓(xùn)練模式2的動態(tài)模型的狀態(tài)也很接近的跟蹤于測試模式1的狀態(tài)，圖5〔c〕和〔d〕分別為狀態(tài)同步和同步過失，同時可以看到圖5〔b〕中的同步過失小于5〔d〕中的過失，但是在測試模式1的兩次識別中使用的是相同的，這說明測試模式1更相似于訓(xùn)練模式1而非訓(xùn)練模式2。圖5.用訓(xùn)練模式1和2來識別測試模式1。〔a〕動態(tài)模型狀態(tài)“—”和測試模式狀態(tài)“---”；〔b〕同步過失；〔c〕動態(tài)模型狀態(tài)“—”和測試模式狀態(tài)“---”；〔d〕同步過失；類似的，在測試動態(tài)模式2的識別中，從圖6〔a〕---〔d〕可以看出，測試模式2更相似于非周期訓(xùn)練模式2而不是周期訓(xùn)練模式1。另外可以看出，在很短的時間內(nèi)就能得到快速狀態(tài)同步，那說明測試模式能夠很快的被識別與某個訓(xùn)練模式相似或不相似。圖6.用訓(xùn)練模式1和2來識別測試模式2〔a〕動態(tài)模型狀態(tài)“—”和測試模式狀態(tài)“---”；〔b〕同步過失；〔c〕動態(tài)模型狀態(tài)“—”和測試模式狀態(tài)“---”；〔d〕同步過失；五．總結(jié)本文中我們提出了一種對動態(tài)模式的快速識別方法。該識別方法包括下面幾局部：1〕一種對動態(tài)模式的時不變的、空間分布式的表示，2〕基于系統(tǒng)動態(tài)學(xué)的相似度衡量，3〕依據(jù)狀態(tài)同步到達(dá)動態(tài)模式的快速識別機(jī)制。本文還給出了通過使用動態(tài)模式的狀態(tài)軌跡和沿著狀態(tài)軌跡的底層系統(tǒng)動態(tài)學(xué)的完整信息，能夠有效地表示一個時變動態(tài)模式，基于所提出的對動態(tài)模式的相似度衡量方法，給出了一種動態(tài)模式的快速識別機(jī)制。在沒有傳統(tǒng)方法的特征提取的情況下，快速識別仍能夠在動態(tài)識別過程中自動的進(jìn)行，識別過程的結(jié)果，如同步過失，自然被視為測試模式與訓(xùn)練模式間的相似度的衡量。這種動態(tài)模式識別過程無需通過任何形式的數(shù)值計算來直接比擬測試模式和訓(xùn)練模式的狀態(tài)或系統(tǒng)動態(tài)學(xué)。本文提出的方法與人們對時變模式的感知機(jī)理相符合，并且從動態(tài)學(xué)的角度給出了對自然感知系統(tǒng)的理解，同時還給出了一種新的信息處理模型，例如，一種連續(xù)、模擬的動態(tài)并行分布式處理方式。本文的結(jié)果有助于時變、動態(tài)模式的識別系統(tǒng)的進(jìn)一步構(gòu)建，特別地，可以使用許多動態(tài)模型〔如〔23〕式描述〕來構(gòu)建識別系統(tǒng)。每一個動態(tài)模型表示一個訓(xùn)練動態(tài)模式，因為測試動態(tài)模式與訓(xùn)練動態(tài)模式間的相似度可以使用同步過失來衡量，因此可以使用最近鄰分類算法——模式識別中普遍使用的一種分類算法來構(gòu)建識別系統(tǒng)[8]。構(gòu)建的系統(tǒng)不僅能夠區(qū)分不同類的動態(tài)模式，還能夠區(qū)分同一類所產(chǎn)生的不同動態(tài)模式集。目前的工作將沿著這個方向作進(jìn)一步的擴(kuò)展。致謝在此感謝G.Chen教授關(guān)于動態(tài)系統(tǒng)的討論，C.-H.Wang教授關(guān)于模式識別的討論，以及所有提出建設(shè)性的意見的匿名評審員和副編輯。參考文獻(xiàn)[1]K.S.NarendraandA.M.Annaswamy,StableAdaptiveSystems.EnglewoodCliffs,NJ:Prentice-Hall,1989.[2]S.S.SastryandM.Bodson,AdaptiveControl:Stability,Convergence,andRobustness.EnglewoodCliff[3]D.Gorinevsky,“Onthepersistancyofexcitationinradialbasisfunctionnetworkidenti?cationofnonlinearsystems,”IEEETrans.NeuralNetw.,vol.6,no.5,pp.1237–1244,Sep.1995.[4]A.J.Kurdila,F.J.Narcowich,andJ.D.Ward,“Persistancyofexcitationinidenti?cationusingradialbasisfunctionapproximants,”SIAMJ.ControlOptim.,vol.33,no.2,pp.625–642,1995.[5]S.LuandT.Basar,“Robustnonlinearsystemidenti?cationusingneural-networkmodels,”IEEETrans.NeuralNetw.,vol.9,no.3,pp.407–429,May1998.[6]M.J.D.Powell,“Thetheoryofradialbasisfunctionapproximationin1990,”inAdvancesinNumericalAnalysisII:Wavelets,Subdivision,Algorithms,andRadialBasisFunctions,W.A.Light,Ed.London,U.K.:OxfordUniv.Press,1992,pp.105–210.[7]C.Bishop,NeuralNetworksforPatternRecognition.London,U.K.[8]A.K.Jain,R.P.W.Duin,andJ.Mao,“Statisticalpatternrecognition:Areview,”IEEETrans.PatternAnal.Mach.Intell.,vol.22,no.1,pp.4–37,Jan.2000.[9]A.R.Webb,StatisticalPatternRecognition,2nded.NewYork[10]E.Covey,H.L.Hawkins,andR.F.Port[11]D.L.Wang,W.J.Freeman,R.Kozma,A.G.Lozowski,andA.A.Mizai,Eds.,“Specialissueontemporalcodingforneuralinformationprocessing,”IEEETrans.NeuralNetw.,vol.15,no.5,Sep.2004.[12]T.vanGelderandR.Port,“It’sabouttime:Anoverviewofthedynamicalapproachtocognition,”inMindasMotion:ExplorationsintheDynamicsofCognition.Cambridge,[13]R.M.SannerandJ.E.Slotine,“Gaussiannetworksfordirectadaptivecontrol,”IEEETrans.NeuralNetw.,vol.3,no.6,pp.837–863,Nov.1992.[14]D.JiangandJ.Wang,“On-linelearningofdynamicalsystemsinthepresenceofmodelmismatchanddisturbances,”IEEETrans.NeuralNetw.,vol.11,no.6,pp.1272–1283,Nov.2000.[15]S.S.GeandC.Wang,“DirectadaptiveNNcontrolofaclassofnonlinearsystems,”IEEETrans.NeuralNetw.,vol.13,no.1,pp.214–221,Jan.2002.[16]J.Farrell,“Stabilityandapproximatorconvergenceinnonparametricnonlinearadaptivecontrol,”IEEETrans.NeuralNetw.,vol.9,no.5,pp.1008–1020,Sep.1998.[17]V.M.Becerraetal.,“Anef?cientparameterizationofdynamicneuralnetworksfornonlinearsystemidenti?cation,”IEEETrans.NeuralNetw.,vol.16,no.4,pp.983–988,Jul.2005.[18]S.A.BillingsandH.Wei,“Anewclassofwaveletnetworksfornonlinearsystemidenti?cation,”IEEETrans.NeuralNetw.,vol.16,no.4,pp.862–874,Jul.2005.[19]S.Haykin,NeuralNetworks:AComprehensiveFoundation,2nded.EnglewoodCliffs,NJ:Prentice-Hall,1999.[20]B.Yegnanarayana,Arti?cialNeuralNetworks.NewDelhi,[21]V.N.Vapnik,TheNatureofStatisticalLearningTheory,2nded.NewYork:Springer-Verlag,2000.[22]G.ChenandX.Dong,FromChaostoOrder:Methodologies,PerspectivesandApplications.Singapore:WorldScienti?c,1998.[23]C.Wang,D.J.Hill,andG.Chen,“Deterministiclearningofnonlineardynamicalsystems,”inProc.18thIEEEInt.Symp.Intell.Control,Houston,[24]L.P.Shilnikovetal.,MethodsofQualitativeTheoryinNonlinearDynamics.Singapore:WorldScienti?c,2001.[25]P.Ball,TheSelf-MadeTapestry:PatternFormationinNature.NewYork:[26]M.Golubitsky,D.Luss,andS.H.Strogatz,Eds.,PatternFormationinContinuousandCoupledSystems:ASurveyVolume.NewYork:Springer-Verlag,1999.[27]