FPGA實(shí)現(xiàn)自建式模糊類神經(jīng)網(wǎng)路的推論輸出

1、FPGA實(shí)現(xiàn)自建式模糊類神經(jīng)網(wǎng)路的推論輸出林瑞昌2 翁萬德1 薛仲達(dá)1 沈仲晃21國立雲(yún)林科技大學(xué)電機(jī)工程系 2南開技術(shù)學(xué)院電資學(xué)群.tw摘 要SCFNN（Self constructing fuzzy neural network）是一個(gè)可即時(shí)學(xué)習(xí)自行建立系統(tǒng)的模糊類神經(jīng)網(wǎng)路12。以FPGA硬體實(shí)現(xiàn)模糊類神經(jīng)網(wǎng)路的論文也陸續(xù)被發(fā)表16,17，但是具自建結(jié)構(gòu)與學(xué)習(xí)能力的模糊類神經(jīng)硬體網(wǎng)路比較少見。硬體實(shí)現(xiàn)SCFNN，必須對(duì)原始的演算法與方程式略作修改以適用於硬體實(shí)現(xiàn)。本小組進(jìn)行SCFNN數(shù)位通道等化器模擬與FPGA硬體實(shí)現(xiàn)實(shí)現(xiàn)已一段時(shí)間18。受限於篇幅本文簡短描述SCF

2、NN的演算法與修改SCFNN的推論輸出演算法成為可硬體實(shí)現(xiàn)的形式。1 簡介類神經(jīng)網(wǎng)路在通訊領(lǐng)域有廣泛的應(yīng)用範(fàn)圍 1，因其輸出入間的非線性對(duì)應(yīng)關(guān)係很適用於非線性分類問題，因此使用類神經(jīng)網(wǎng)路來執(zhí)行等化器工作是適當(dāng)?shù)摹］^常用來處理數(shù)位通道等化問題的類神經(jīng)網(wǎng)路有多層神經(jīng)元類神經(jīng)網(wǎng)路 ( multi layer perceptron ,MLP ) 2、輻狀基底類神經(jīng)網(wǎng)路 ( radial basis function, RBF ) 3、回授型類神經(jīng)網(wǎng)路 ( recurrent neural network, RNN ) 4、函數(shù)鏈結(jié)人工類神經(jīng)網(wǎng)路 ( functional link artificial

3、 neural network, FLANN ) 5。近來以模糊類神經(jīng)網(wǎng)路理念建立系統(tǒng)模型的做法逐漸風(fēng)行，在很多領(lǐng)域諸如：控制、通訊、系統(tǒng)辨識(shí)都有工程人員建立模糊類神經(jīng)網(wǎng)路去解決他們所碰到的問題 6-7。專業(yè)人員以適當(dāng)?shù)姆椒ǘǔ瞿：?guī)則與類神經(jīng)網(wǎng)路結(jié)構(gòu)，並輔以適當(dāng)演算法調(diào)整歸屬函數(shù)與類神經(jīng)網(wǎng)路鏈結(jié)參數(shù)，完成學(xué)習(xí)動(dòng)作後的模糊類神經(jīng)網(wǎng)路即代替過去系統(tǒng)的數(shù)學(xué)模型來操控系統(tǒng)。除此之外，模糊類神經(jīng)網(wǎng)路相較於單獨(dú)的使用模糊推論方法或類神經(jīng)網(wǎng)路，模糊類神經(jīng)網(wǎng)路方法包含上述二個(gè)方法的優(yōu)點(diǎn)，它將低階學(xué)習(xí)與類神經(jīng)網(wǎng)路的計(jì)算能量帶入模糊系統(tǒng)，也將高階類似人類思考模式與模糊系統(tǒng)的推論引入類神經(jīng)網(wǎng)路 8-9。Juang

4、 10等提出一個(gè)具有線上自建構(gòu)能力的類神經(jīng)模糊推論網(wǎng)路 ( on-line self-constructing neural fuzzy inference network, SONFIN )，在線上學(xué)習(xí)期間，SONFIN可同時(shí)進(jìn)行結(jié)構(gòu)與相關(guān)參數(shù)調(diào)整機(jī)制找出結(jié)構(gòu)的最佳參數(shù)，因此SONFIN不必事先指定任何模糊規(guī)則，即使面對(duì)一個(gè)複雜系統(tǒng)的模型，也能產(chǎn)生適當(dāng)?shù)臍w屬函數(shù)與規(guī)則。經(jīng)過不同領(lǐng)域像控制、通訊、信號(hào)處理的模擬，他們證實(shí)SONFIN可以應(yīng)用在數(shù)種領(lǐng)域。Lin 11等提出SCFNN並實(shí)現(xiàn)於永久磁鐵式同步馬達(dá)速度控制器 ( speed controller for permanent-magnet

5、ic synchronous motor drive )，這是一個(gè)具有線上結(jié)構(gòu)學(xué)習(xí)與參數(shù)學(xué)習(xí)能力的模糊類神經(jīng)網(wǎng)路，相較於SONFIN的複雜與實(shí)用性較困難，SCFNN的推論輸出與參數(shù)學(xué)習(xí)都較為簡單容易實(shí)現(xiàn)。而ANFIS ( artificial neural fuzzy inference system ) 在1993年由Jang 12所提出是近年來頗具代表性的類神經(jīng)模糊推論系統(tǒng)，在不同的領(lǐng)域有許多成功的應(yīng)用實(shí)例，例如Altug的馬達(dá)故障偵測系統(tǒng) 13、Djukanovic的動(dòng)態(tài)電力負(fù)載系統(tǒng) 14、Chang的水庫即時(shí)操作系統(tǒng) 15。貝氏最佳解法 ( Bayesian decision theo

6、ry ) 首先計(jì)算測試樣本與所有訓(xùn)練樣本之間的歐式距離 ( Euclidean distance )，再依計(jì)算結(jié)果判別測試中的樣本對(duì)應(yīng)輸出值應(yīng)是1或0，亦即分析訓(xùn)練樣本的群聚現(xiàn)象，直接計(jì)算判別測試樣本的輸出。本論文描述以FPGA ( field programmable gate array ) 硬體實(shí)現(xiàn)SCFNN的部份動(dòng)作?；旧嫌搀w實(shí)現(xiàn)SCFNN數(shù)位通道等化器已由本實(shí)驗(yàn)室開發(fā)完成，在維持SCFNN原始演算法精神下，本小組提出適合硬體實(shí)現(xiàn)的改良演算法，並且利用分時(shí)多工的方法大幅降低了硬體成本，我們也對(duì)硬體化的效能做詳細(xì)的評(píng)估與分析，受限於篇幅此次論文僅描述修改SCFNN的自建結(jié)構(gòu)成為在FPG

7、A環(huán)境下可以執(zhí)行的形式。2 SCFNN結(jié)構(gòu)與推論輸出SCFNN是一個(gè)四層結(jié)構(gòu)的模糊類神經(jīng)網(wǎng)路，圖1是SCFNN的結(jié)構(gòu)，運(yùn)作之初僅有輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)，隨著即時(shí)學(xué)習(xí) ( on line learning ) 的進(jìn)行，訓(xùn)練樣本逐一進(jìn)入SCFNN，然後是結(jié)構(gòu)學(xué)習(xí)、計(jì)算推論輸出值、參數(shù)學(xué)習(xí)三個(gè)動(dòng)作直至學(xué)習(xí)完成。所謂學(xué)習(xí)完成有兩個(gè)要點(diǎn)，一是建立完整的模糊規(guī)則其次是調(diào)整相關(guān)參數(shù)至最佳值?；叵?( recalling ) 是SCFNN另外一個(gè)重要的動(dòng)作，也可以說是測試學(xué)習(xí)完成的SCFNN工作表現(xiàn)。以本文模擬的數(shù)位通道信號(hào)重建為例，我們將失真信號(hào)輸入給完成學(xué)習(xí)動(dòng)作的SCFNN，檢視SCFNN輸出，並與正確輸出

8、值比較，計(jì)算位元錯(cuò)誤率就是SCFNN的回想動(dòng)作。SCFNN的推論輸出值依下列的過程計(jì)算：Layer 1：此層是輸入節(jié)點(diǎn)，數(shù)位序列r1(k)與r2(k)透過此節(jié)點(diǎn)進(jìn)入下一層，並沒有計(jì)算動(dòng)作。其中r1(k)：傳送端經(jīng)通道效應(yīng)與白色高斯雜訊後的同相數(shù)位序列ri(k)；r2(k)：傳送端經(jīng)通道效應(yīng)與白色高斯雜訊後的正交相數(shù)位序列rq(k)。Layer 2：此層的每一節(jié)點(diǎn)相當(dāng)於是第一層輸入變數(shù)的語意項(xiàng) ( linguistic label )，亦即算出輸入變數(shù)i屬於此歸屬函數(shù)的程度Aji，本研究中採用高斯函數(shù)做為歸屬函數(shù) ( membership function )(1)mji：信號(hào)ri(k)對(duì)第j個(gè)

9、歸屬函數(shù)的中點(diǎn)（mean）；ji ：信號(hào)ri(k)對(duì)第j個(gè)歸屬函數(shù)的標(biāo)準(zhǔn)差 ( standard deviation ）。Layer 3：此層的每一節(jié)點(diǎn)表示模糊規(guī)則的後鍵部 ( consequent part )，其函數(shù)是 (2)亦即此層各節(jié)點(diǎn)的輸出是輸入信號(hào)的乘積。Layer 4：此層僅有一個(gè)節(jié)點(diǎn)主要的動(dòng)作是解模糊化 ( defuzzify )，若以表示推論輸出值，則 (3)其中 表示第三層的輸出，表示第三層每一節(jié)點(diǎn)與第四層輸出節(jié)點(diǎn)之間的鏈結(jié)權(quán)重，M是系統(tǒng)學(xué)習(xí)過程中已建立的規(guī)則數(shù)。圖1 自建型模糊類神經(jīng)網(wǎng)路結(jié)構(gòu)圖3 SCFNN 結(jié)構(gòu)學(xué)習(xí)演算法當(dāng)?shù)谝还P訓(xùn)練樣本進(jìn)入，則SCFNN直接建立2個(gè)高斯

10、型歸屬函數(shù)，以輸入變數(shù)值為高斯函數(shù)中點(diǎn)m，標(biāo)準(zhǔn)差採固定值，完成第一個(gè)模糊規(guī)則建立SCFNN的雛形。自第二筆訓(xùn)練樣本起，對(duì)已建立之歸屬函數(shù)依公式(1)，求出2M個(gè)歸屬函數(shù)值（M是目前已存在的歸屬函數(shù)數(shù)目）。接著，在每一組Aj1與Aj2中，尋找較小的值令為Aj,min，並且在所有的Aj,min中，尋找出最大的值令為Amax。最後，將Amax與既定值Umin做比較，若Amax大於Umin則表示目前規(guī)則適當(dāng)可涵蓋所有資料分佈，不必增加新的規(guī)則，否則需建立一個(gè)新的規(guī)則以涵蓋這筆資料；亦即第二層每群增加一個(gè)歸屬函數(shù)，增加的兩個(gè)歸屬函數(shù)平均值mji分別等於r1(k)與r2(k)，標(biāo)準(zhǔn)差ji則採隨機(jī)值。因?yàn)獒?/p>

11、續(xù)尚需調(diào)整，第三層增加一個(gè)乘積運(yùn)作節(jié)點(diǎn)，鏈結(jié)權(quán)重值j亦採隨機(jī)值。這個(gè)動(dòng)作在每筆訓(xùn)練樣本進(jìn)入SCFNN時(shí)都會(huì)執(zhí)行一次，Umin的數(shù)值設(shè)定為0.01以控制建立規(guī)則數(shù)在一定範(fàn)圍內(nèi)。4 SCFNN參數(shù)學(xué)習(xí)演算法SCFNN的參數(shù)學(xué)習(xí)與計(jì)算推論輸出值方向相反，由離輸出端最近的參數(shù)先調(diào)整，逐步調(diào)整相關(guān)的參數(shù)。首先定義誤差函數(shù)E如下： (4)y：對(duì)應(yīng)每一訓(xùn)練樣本的正確輸出值，y*：SCFNN推論輸出值。Layer 4：鏈結(jié)權(quán)重j變化量j及更新方式如下： (5)其中j是第三層節(jié)點(diǎn)編號(hào)，是計(jì)算鏈結(jié)權(quán)重差距量的係數(shù).。計(jì)算出鏈結(jié)權(quán)重j的變化量，j之後，以 (6)更新j，其中N是樣本序號(hào)。Layer 3：歸屬函數(shù)的平

12、均值 （mean）與標(biāo)準(zhǔn)差 （standard deviation）之差距量公式如下： (7) (8)上式中分別是歸屬函數(shù)平均值與標(biāo)準(zhǔn)差差距量的係數(shù)，可用錯(cuò)誤嘗試法調(diào)整以得到較快較好的收斂。接著以 (9) (10)更新高斯歸屬函數(shù)的與。每一筆訓(xùn)練樣本進(jìn)入SCFNN，上述三個(gè)動(dòng)作都需完整執(zhí)行一次，所有訓(xùn)練樣本都執(zhí)行過一次叫一個(gè)學(xué)習(xí)循環(huán) （learning cycle），一般用均方根值 （mean square error，MSE）評(píng)估SCFNN是否完成學(xué)習(xí)，均方根值的定義如下式： (11)P：總訓(xùn)練樣本數(shù)，y：期望輸出值或正確輸出值，y*：SCFNN推論輸出值。在模擬過程中，為了達(dá)即時(shí)控制效果，

13、我們都僅執(zhí)行一個(gè)學(xué)習(xí)循環(huán)。5 SCFNN推論輸出的硬體實(shí)現(xiàn)在圖2中，因?yàn)榭紤]到結(jié)構(gòu)自建的因素，而將完整的推論輸出部份切割分成前推論輸出與後推論輸出兩部份，其細(xì)部方塊圖如圖3(a)(b)所示。圖3(a)即是前推論輸出部份，此圖在實(shí)體上存在著相同的兩個(gè)部份，一個(gè)輸入為ri，另一個(gè)的輸入則為rq，基於圖形的簡單化，只畫出一組為示意圖。前推論輸出部份的輸入變數(shù)為r (ri與rq)，系統(tǒng)參數(shù)m (m1與m2)與(1與2)，輸出值為與。其中r為通訊系統(tǒng)接收端所接受到的信號(hào)大小，在此系統(tǒng)中以15位元的定點(diǎn)數(shù)來表示，最高1位元表示符號(hào)，接下來的2位元表示整數(shù)，剩下的12位元均用來表示小數(shù)。m為系統(tǒng)參數(shù)，就是高

14、斯歸屬函數(shù)中的平均值參數(shù)，其定點(diǎn)數(shù)的表示方式也跟r是相同地。系統(tǒng)參數(shù)也是高斯歸屬函數(shù)中的標(biāo)準(zhǔn)差參數(shù)，其只用了9位元來表示。此參數(shù)只有正數(shù)，故不用符號(hào)位元，整數(shù)用1位元表示，8位元表示小數(shù)。輸出值由1-bit sign與16-bits unsigned number所組成，儲(chǔ)存到暫存器供參數(shù)修正使用。為12-bits unsigned number，此數(shù)值為前推輸出部份的最後一級(jí)輸出，提供到結(jié)構(gòu)學(xué)習(xí)運(yùn)算，決定是否進(jìn)行結(jié)構(gòu)增加。圖2 (a) SCFNN運(yùn)作流程 (b) 訓(xùn)練過程運(yùn)作流程圖3 (a) 前推論輸出部份圖3 (b) 後推論輸出部分(12)根據(jù)公式(1)-(3)，我們推導(dǎo)出公式(12)，以

15、清楚的表示整個(gè)推論輸出得運(yùn)算過程。並且此公式簡化了原始的演算法，將原來的exp(a)*exp(b)化簡成exp(a+b)，間接的影響了之後硬體實(shí)現(xiàn)的成本。依照公式(12)運(yùn)算的順序，從最高順序的括弧算起由內(nèi)到外，第一個(gè)運(yùn)算是r(k)-m，配合到圖3(a)即做減法運(yùn)算，其結(jié)果為16-bits signed number?？山逵捎^察圖3(a)可得知，下一個(gè)運(yùn)算方塊為除法運(yùn)算，此除法器方塊為無號(hào)數(shù)除法。因此，必須將符號(hào)與數(shù)值分開表示，將其轉(zhuǎn)換為1-bit sign與16-bits unsigned number。經(jīng)除法器運(yùn)算可得到1-bit signed與16-bits unsigned numbe

16、r，此數(shù)值部份為12位元表示整數(shù)，4位元表示小數(shù)。在實(shí)際的運(yùn)算上，的數(shù)值範(fàn)圍大約介於-4到4之間，故整數(shù)部分並不需要用到12位元來表示。為了節(jié)省運(yùn)算量與硬體成本，我們在除法器之後增加了限制器，此運(yùn)算並不包含在原始演算法裡。限制器將16-bits unsigned number縮減到6-bits unsigned number，僅用2位元表示整數(shù)，小數(shù)部份依舊用4位元表示。限制器的輸出除了進(jìn)入乘法器做平方運(yùn)算，另一方面則儲(chǔ)存到暫存器供參數(shù)修正使用。此乘法器的大小為輸入6*6-bits，輸出為12-bits unsigned number (整數(shù)4位元，小數(shù)8位元)。前推論輸出部份的運(yùn)算至此已經(jīng)告

17、一段落，接下來將進(jìn)入結(jié)構(gòu)學(xué)習(xí)的部份。但是，為求文章的一貫性，結(jié)構(gòu)學(xué)習(xí)的部份將留待下一節(jié)再詳細(xì)說明，本節(jié)先只討論推論輸出部份。在完成結(jié)構(gòu)學(xué)習(xí)的步驟後，即繼續(xù)執(zhí)行後推論輸出的部份，如圖3(b)所示。後推論輸出部分的輸入即為前推論輸出的輸出值，包含了兩個(gè)部份與。假若在經(jīng)過結(jié)構(gòu)學(xué)習(xí)後，隱藏層的節(jié)點(diǎn)有再增加，則新增的節(jié)點(diǎn)其輸入值設(shè)定為0。為系統(tǒng)內(nèi)部參數(shù)，屬於類神經(jīng)網(wǎng)路中的鏈結(jié)權(quán)重值，用13-bits signed number ( 1-bit符號(hào)，1-bit整數(shù)，12-bits小數(shù)) 來表示。第一個(gè)輸出值u只有正數(shù)，故只需用10-bits unsigned number所表示，其所有位元均為小數(shù)；第二個(gè)

18、輸出值u由1-bit sign與13-bits unsigned number ( 1-bit整數(shù)，12-bits小數(shù)) 所組成，以上兩個(gè)輸出值均儲(chǔ)存到暫存器供參數(shù)修正使用。後推論輸出的最後一級(jí)輸出值為y*，為整個(gè)SCFNN的最終結(jié)果，用15-bits signed number ( 1-bit符號(hào)，2-bits整數(shù)，12-bits小數(shù)) 來表示。圖3所顯示的後推論輸出是公式(12)的運(yùn)算流程。首先，將兩部分的做相加運(yùn)算，得到結(jié)果為13-bits unsigned number ( 5-bits整數(shù)，8-bits小數(shù))。藉由觀察公式(12)顯示，接下來要做的運(yùn)算為exp(-S)，S為加法器的輸

19、出。對(duì)於exp(-S)的運(yùn)算，我們採用查表法的方式來實(shí)現(xiàn)，將對(duì)映到exp(-S)的數(shù)值儲(chǔ)存到唯讀記憶體。爲(wèi)了減少記憶體的容量，先在exp(-S)查表前先加入一個(gè)限制器，exp(-S)函數(shù)映射到的數(shù)值範(fàn)圍，輸入一但超過7，其輸出可視為0。限制器將數(shù)值限制在8以下；此外，小數(shù)也只需取到10-bits即可達(dá)到精確度的要求。因此，限制器的輸出為11-bits unsigned number ( 3-bits整數(shù)，8-bits小數(shù))。唯讀記憶體為11-bits的輸入，輸出10-bits unsigned number，由於exp()函數(shù)的輸出並無負(fù)數(shù)，故不需符號(hào)位元。換言之，此唯讀記憶體有11條位址線，

20、共有2048個(gè)位址，每個(gè)位址儲(chǔ)存10-bits的資料。若未加入限制器，則此記憶體的容量會(huì)是目前的4倍。如此，以增加限制器的成本來換取記憶體容量是很劃算的考量。查表所得到的值將會(huì)先儲(chǔ)存到暫存器，供參數(shù)學(xué)習(xí)使用。在做乘法前，必須先將由14-bits signed number轉(zhuǎn)換成1-bit sign與13-bits unsigned number，才能送到乘法器做無號(hào)數(shù)乘法。乘法器的輸出為1-bit sign與23-bits unsigned number ( 1-bit整數(shù)，22-bits小數(shù))，而小數(shù)只需要取12-bits即足夠，變成13-bits unsigned number ( 1-b

21、it整數(shù)，12-bits小數(shù))。根據(jù)圖3(b)所示，輸出值u依然存到暫存器供參數(shù)學(xué)習(xí)使用。依照公式(12)，將所有的項(xiàng)做加總動(dòng)作即可得到最後的推論輸出值。此加總的作法，在本文中採用階層式加法器來完成。所謂的階層式加法器即為一個(gè)狀似二元樹的加法器，每一個(gè)節(jié)點(diǎn)都是一個(gè)加法器。再加入一個(gè)限制器，將其範(fàn)圍限制在-4到4之間，輸出為15-bits signed number ( 1-bit符號(hào)，2-bits整數(shù)，12-bits小數(shù))。最後，將推論輸出值y*儲(chǔ)存到暫存器中，送到差距量方塊計(jì)算差距量，即成完整的推論輸出部份。6 結(jié)論本文數(shù)位通道等化器為範(fàn)例簡短描述自建型模糊類神經(jīng)網(wǎng)路（SCFNN）的演算法與

22、硬體實(shí)現(xiàn)SCFNN推論輸出的技術(shù)。硬體實(shí)現(xiàn)過程中加上部分限制器，雖然會(huì)引起些許誤差但都在可接受範(fàn)圍之內(nèi)；規(guī)劃部分暫存器儲(chǔ)存重複使用的資料；指數(shù)計(jì)算部份則以查表法處理，上述皆對(duì)執(zhí)行速度有顯著的助益。本研究小組進(jìn)行SCFNN數(shù)位通道等化器模擬與FPGA硬體實(shí)現(xiàn)實(shí)現(xiàn)已一段時(shí)間18。受限於篇幅本文簡短描述SCFNN的演算法與SCFNN的推論輸出演算法硬體實(shí)現(xiàn)的技術(shù)。參考文獻(xiàn)1 M. Ibnkahla. Applications of neural networks to digital communications. Signal Processing, pp. 1185-1215, 80(2000)

23、.2 S. Chen, G. Gibson, C. Cowan, and P. Grant. Adaptive equalization of finite non-linear channels using multi-layer perceptron. Signal Processing, pp.107-119, 20(1990).3 S. Chen, B. Mulgrew, and P. M. Grant. A clustering technique for digital communica- tion channel equalization. IEEE Trans. on Sig

24、nal Processing, pp. 107-119, 20(1990).4 G. Kechriotis, E. Zervas, and E. S. Manolakos. Using recurrent neural networks for adaptive communication channel equalization. IEEE Trans. on Neural Networks, vol. 5, pp. 267- 278, Mar. 1994.5 J. C. Patra, R. N. Pal, R. Baliarsinghn and G. Panda. Nonlinear ch

25、annel equalization for QAM signal constellation using artificial neural networks. IEEE Trans. on System, Man, Cybernetics, vol. 29, no. 2, Apr. 1999.6 S. Ong, S. Choi, C. You and D. Hong. A decision feedback recurrent equalizer for digital communication. IEEE Trans. on magnetic, vol. 33, pp. 2967-29

26、69, Sep. 1997.7 S. Horokawa, T. Furnhashi, and Y. Uchikawa. On fuzzy modeling using neural networks with the backpropagation algorithm. IEEE Trans. on Neural Networks, vol. 3, pp. 801- 806, Sep. 1992.8 Y. Lin and G. A. Cunningham. A new approach to fuzzy-neural system modeling. IEEE Trans. on Fuzzy

27、System, vol. 3, pp. 190-197, May 1995.9 B. Kosko. Neural networks and fuzzy systems. Englewood Cliffs, NJ: Prentice-Hall, 1992.10 C. T. Lin. Neural fuzzy control systems with structure and parameter learning. New York: World Scientific, 1994.11 I. Cha and S. Kassam. Channel equalization using adapti

28、ve complex radial basis function networks. IEEE J. Select. Areas Commun., vol. 13, pp122-131, Jan. 1995.12 F. J. Lin, C. H. Lin, and P. H. Shen, Self-constructing fuzzy neural network speed controller for permanent-magnetic synchro- nous motor drive, IEEE Trans. on Fuzzy System, vol. 9, no.5, pp.751-759, Oct. 2001.13 J. Shing and R. Jang. ANFIS: Adaptive- network-based fuzzy inference system. IEEE Trans. on Systems, Man, and Cybernetics, vol. 23, no.3, pp. 665-685, May/Jun. 1993.14 Altug S., Chow M. Y. and Trussell H. J. Fuzzy inference system implemented on neural network architectu