基于決策樹改進CART算法的ANFIS結(jié)構(gòu)辨識技術(shù)課件

1、基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)1基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)2 a n f i s 作 為 一 種 模 糊 工 具 ， 具 有 信 息 記 憶 能 力 和 神 經(jīng)網(wǎng)絡(luò)函數(shù)的訓(xùn)練能力，可以有效的學(xué)習(xí)專家知識、處理不確定性問題、增強對未知和不確定環(huán)境的學(xué)習(xí)和適應(yīng)能力，使整個系統(tǒng)朝著自適應(yīng)、自組織和自學(xué)習(xí)的方向發(fā)展。但anfis的學(xué)習(xí)法則以及任何其他的參數(shù)自適應(yīng)方法僅涉及參數(shù)辨識，在進行任何參數(shù)調(diào)節(jié)過程之前，還需要用結(jié)構(gòu)辨識方法確定一個初始的anfis結(jié)構(gòu)，有了可靠的結(jié)構(gòu)和參數(shù)辨識方法，方可完成模糊建模的周期

2、。這里引入改進cart算法對anfis進行結(jié)構(gòu)辨識。1 1 、引言、引言基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)32 2 、 cart cart算法的原理算法的原理 決策樹是把數(shù)據(jù)集的輸入空間劃分為互斥區(qū)域，每個區(qū)域賦予一個標(biāo)示、一個值和一個表示該區(qū)域內(nèi)數(shù)據(jù)點的動作。為了構(gòu)造一個合適的決策樹，cart首先基于采樣本數(shù)據(jù)集廣延的生長樹，然后，基于最小復(fù)雜性代價準(zhǔn)則，再回頭修剪這棵樹，這樣得到一系列不同大小的樹，最后所選擇的那棵樹為用另一組獨立的數(shù)據(jù)時具有最好性能的樹。cart算法由兩部分組成：樹生長和樹剪枝?；跊Q策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)41 1） 樹生長樹生長 通

3、過將訓(xùn)練數(shù)據(jù)劃分為不相連的子集的一個個分叉（決策邊界），cart生長為一棵樹。從包括所有訓(xùn)練數(shù)據(jù)的根節(jié)點開始，為求最能減少誤差指標(biāo)的分叉，做一次窮盡搜索。一旦確定最佳分叉，數(shù)據(jù)集相應(yīng)的劃分成不相連的子集；這些子集用源于根節(jié)點的子節(jié)點表示。然后再對子節(jié)點實施同樣的劃分。當(dāng)于一個節(jié)點有關(guān)的誤差值小于某個閾值時，或當(dāng)進一步劃分樹，誤差的減小不超過某個閾值時，這個遞歸過程終止。下面詳細說明遞歸樹的生成?；跊Q策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)5 遞歸樹用于解決遞歸問題，用一個對象的多數(shù)性確定其一個或多個數(shù)值屬性。對于一個遞歸樹，結(jié)點t誤差指標(biāo)常取為擬合節(jié)點數(shù)據(jù)集的局部模型的平方誤差或殘差：

4、tniiiixdyte12,min式中， 是典型的數(shù)據(jù)點； 是結(jié)點t的局部模型（ 可變）。iiyx ,iixd基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)6 把結(jié)點t分解成 和 的任意分叉s，誤差測度的變化可表示為 最好的分叉 為誤差測度降低最多的分叉： 生成遞歸樹的策略是反復(fù)的分叉結(jié)點，這樣最大限度地減 小遞歸樹的整體誤差測度e(t)。因此，遞歸樹的目標(biāo)是：以一步超前，貪婪的方式，遞歸的分解分叉結(jié)點，是給定的合理誤差測度最小。 rltetetetse,tsetse,max,*lt*srt基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)72 2）樹剪枝）樹剪枝 由以上算法生成的樹常常規(guī)

5、模很大，而且與訓(xùn)練數(shù)據(jù)集有偏差，必須進行剪枝處理，基于最小復(fù)雜性或最弱子樹收斂原理是最有效的方法之一，其步驟如下： （1）對于任意子樹 ，定義其復(fù)雜度為t中的終結(jié)點數(shù)目 。那么代價復(fù)雜性測度 定義為 ttete式中， 是代價復(fù)雜度參數(shù)。maxtt t)(te基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)8（2）對于每個 ，對應(yīng)于給定的 ,可以找到一個最小子樹 ：（3）當(dāng) 值增大時， 一直保持最小，直到到達一 個跳躍點 ，此時， 樹成為新的最小樹。設(shè) 有l(wèi)個終結(jié)點。采用逐步向上進行樹剪枝的思想使得滿足： 式中， 有i個終結(jié)點。 tetettmaxmin max11tttttlli te t

6、t11tmaxtit基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)9（4）求樹t的下一棵最小樹。對于t中的每一個內(nèi)節(jié)點t，求 為下一棵最小樹 值，記為 ： 1ttttteteaitt t基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)10（5）選擇具有最小 的內(nèi)結(jié)點作為剪枝的目標(biāo)結(jié)點。樹的剪枝過程為： 1.計算ti中每一個內(nèi)節(jié)點t的 值； 2.求最小 ，并選擇 為下次最小樹； 3.判斷是否只有一個根結(jié)點，若不是，則轉(zhuǎn)1。 4.用獨立測試（檢驗）數(shù)據(jù)集的方法選擇最優(yōu)規(guī)模樹。tttitt 基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)113 3、改進、改進cartcart算法算法 為構(gòu)造

7、有恒定輸出的終結(jié)點的遞歸樹，先前描述的cart算法可以辨識出適當(dāng)規(guī)模的樹，并確定樹不需要的無關(guān)輸入，但如果終結(jié)點是用線性方程來描述其特征的，為求相關(guān)輸入，需要更大的計算量，這是很不方便的。為此，本文提出降低計算量的方法-rlse（遞歸最小二乘估計器），即在新數(shù)據(jù)和新參數(shù)適應(yīng)過程中遞歸地得到最小二乘估計器?；跊Q策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)12對于矛盾方程 （其中 的第k行表示為 ），最小二乘估計器為:yaya mkyaktk1 ,yaaattk1基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)13 為了利用已得的 ，以最小代價計算 ，而不是使用所有可得的數(shù)據(jù)重新計算，引入遞歸

8、最小二乘估計器，它可按下式計算k1kktktkkkkkkktkktkkkkkayapapapaappp11111111111式中， ，最終的 等于 ，即使用所有m個數(shù)據(jù)對的估計器。11mkm基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)14 此外，在使用cart算法構(gòu)造樹的整個輸入輸出映射中，會產(chǎn)生不希望的不連續(xù)邊界，為了光滑每個分叉點上的不連續(xù)邊界，可采用模糊集的方法，將決策樹轉(zhuǎn)化為模糊問題進行處理?；跊Q策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)154 4、anfisanfis的結(jié)構(gòu)辨識的結(jié)構(gòu)辨識 改進cart算法用于 anfis的結(jié)構(gòu)辨識的優(yōu)勢在于隱含權(quán)值的歸一化定理。命題命題：c

9、art構(gòu)造的anfis網(wǎng)絡(luò)中隱含權(quán)值的歸一化。即在把決策樹轉(zhuǎn)化為推理系統(tǒng)時，如果： 式中，x是任意的輸入向量； 是x的任意分 叉點； 為隸屬函數(shù)。 1)(xxxx基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)16以二叉樹為例，該決策樹可等效于一組確定的規(guī)則集，如圖1所示。ycybxa1fz 2fz 3fz 4fz ynynyn4321,fzthencyandaxiffzthencyandaxiffzthenbyandaxiffzthenbyandaxif圖1 二叉樹等效成模糊集基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)17本文利用改進的cart算法，得出anfis結(jié)構(gòu)如圖2所示。n

10、nnninvinvinvaxbycy1f2f3f4fz第四層(最終輸出)第三層(規(guī)則輸出)第二層(測試強度)第一層（mf）1w2w3w4w圖2 anfis的結(jié)構(gòu)xy基于決策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)18 由于圖2中的anfis結(jié)構(gòu)的隱含權(quán)值歸一化，在整個訓(xùn)練中保持不變，消除了歸一化層的需要，也減少了訓(xùn)練和應(yīng)用的計算時間以及舍入誤差?；跊Q策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)195 5、結(jié)語、結(jié)語 決策樹激勵透明，便于按照樹結(jié)構(gòu)解釋如何做出一個決策。而cart算法是最具有代表性的決策樹歸納方法，cart算法能迅速地確定一個模糊推理系統(tǒng)的大致結(jié)構(gòu)，然后對沒有歸一化層的有效a

11、nfis結(jié)構(gòu)，選擇合適的隸屬函數(shù)和輸出函數(shù)。cart能選擇相關(guān)的輸入，并對輸入空間進行樹劃分，而anfis可改善其劃分結(jié)果，并使該結(jié)果處處光滑連續(xù)。可以說cart和anfis在功能上是互補的。本文只著眼于遞歸問題，類似的方法也能用于分類問題?；跊Q策樹改進cart算法的anfis結(jié)構(gòu)辨識技術(shù)20參考文獻：參考文獻：1 breiman l,friendman j h,olshen r a, etal,classification and regression treem.californiz:wadsworth inc belmont,1984.2 jang j s r.structure determination in fuzzy modeling:afuzzy cart approachc.orlando,florida;in proceedings of ieee international conference on fuzzy system,1994.3