基于決策樹(shù)改進(jìn)CART算法的ANFIS結(jié)構(gòu)辨識(shí)技術(shù)課件

1、基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)1基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)2 a n f i s 作 為 一 種 模 糊 工 具 ， 具 有 信 息 記 憶 能 力 和 神 經(jīng)網(wǎng)絡(luò)函數(shù)的訓(xùn)練能力，可以有效的學(xué)習(xí)專家知識(shí)、處理不確定性問(wèn)題、增強(qiáng)對(duì)未知和不確定環(huán)境的學(xué)習(xí)和適應(yīng)能力，使整個(gè)系統(tǒng)朝著自適應(yīng)、自組織和自學(xué)習(xí)的方向發(fā)展。但anfis的學(xué)習(xí)法則以及任何其他的參數(shù)自適應(yīng)方法僅涉及參數(shù)辨識(shí)，在進(jìn)行任何參數(shù)調(diào)節(jié)過(guò)程之前，還需要用結(jié)構(gòu)辨識(shí)方法確定一個(gè)初始的anfis結(jié)構(gòu)，有了可靠的結(jié)構(gòu)和參數(shù)辨識(shí)方法，方可完成模糊建模的周期

2、。這里引入改進(jìn)cart算法對(duì)anfis進(jìn)行結(jié)構(gòu)辨識(shí)。1 1 、引言、引言基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)32 2 、 cart cart算法的原理算法的原理 決策樹(shù)是把數(shù)據(jù)集的輸入空間劃分為互斥區(qū)域，每個(gè)區(qū)域賦予一個(gè)標(biāo)示、一個(gè)值和一個(gè)表示該區(qū)域內(nèi)數(shù)據(jù)點(diǎn)的動(dòng)作。為了構(gòu)造一個(gè)合適的決策樹(shù)，cart首先基于采樣本數(shù)據(jù)集廣延的生長(zhǎng)樹(shù)，然后，基于最小復(fù)雜性代價(jià)準(zhǔn)則，再回頭修剪這棵樹(shù)，這樣得到一系列不同大小的樹(shù)，最后所選擇的那棵樹(shù)為用另一組獨(dú)立的數(shù)據(jù)時(shí)具有最好性能的樹(shù)。cart算法由兩部分組成：樹(shù)生長(zhǎng)和樹(shù)剪枝?；跊Q策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)41 1） 樹(shù)生長(zhǎng)樹(shù)生長(zhǎng) 通

3、過(guò)將訓(xùn)練數(shù)據(jù)劃分為不相連的子集的一個(gè)個(gè)分叉（決策邊界），cart生長(zhǎng)為一棵樹(shù)。從包括所有訓(xùn)練數(shù)據(jù)的根節(jié)點(diǎn)開(kāi)始，為求最能減少誤差指標(biāo)的分叉，做一次窮盡搜索。一旦確定最佳分叉，數(shù)據(jù)集相應(yīng)的劃分成不相連的子集；這些子集用源于根節(jié)點(diǎn)的子節(jié)點(diǎn)表示。然后再對(duì)子節(jié)點(diǎn)實(shí)施同樣的劃分。當(dāng)于一個(gè)節(jié)點(diǎn)有關(guān)的誤差值小于某個(gè)閾值時(shí)，或當(dāng)進(jìn)一步劃分樹(shù)，誤差的減小不超過(guò)某個(gè)閾值時(shí)，這個(gè)遞歸過(guò)程終止。下面詳細(xì)說(shuō)明遞歸樹(shù)的生成。基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)5 遞歸樹(shù)用于解決遞歸問(wèn)題，用一個(gè)對(duì)象的多數(shù)性確定其一個(gè)或多個(gè)數(shù)值屬性。對(duì)于一個(gè)遞歸樹(shù)，結(jié)點(diǎn)t誤差指標(biāo)常取為擬合節(jié)點(diǎn)數(shù)據(jù)集的局部模型的平方誤差或殘差：

4、tniiiixdyte12,min式中， 是典型的數(shù)據(jù)點(diǎn)； 是結(jié)點(diǎn)t的局部模型（ 可變）。iiyx ,iixd基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)6 把結(jié)點(diǎn)t分解成 和 的任意分叉s，誤差測(cè)度的變化可表示為 最好的分叉 為誤差測(cè)度降低最多的分叉： 生成遞歸樹(shù)的策略是反復(fù)的分叉結(jié)點(diǎn)，這樣最大限度地減 小遞歸樹(shù)的整體誤差測(cè)度e(t)。因此，遞歸樹(shù)的目標(biāo)是：以一步超前，貪婪的方式，遞歸的分解分叉結(jié)點(diǎn)，是給定的合理誤差測(cè)度最小。 rltetetetse,tsetse,max,*lt*srt基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)72 2）樹(shù)剪枝）樹(shù)剪枝 由以上算法生成的樹(shù)常常規(guī)

5、模很大，而且與訓(xùn)練數(shù)據(jù)集有偏差，必須進(jìn)行剪枝處理，基于最小復(fù)雜性或最弱子樹(shù)收斂原理是最有效的方法之一，其步驟如下： （1）對(duì)于任意子樹(shù) ，定義其復(fù)雜度為t中的終結(jié)點(diǎn)數(shù)目 。那么代價(jià)復(fù)雜性測(cè)度 定義為 ttete式中， 是代價(jià)復(fù)雜度參數(shù)。maxtt t)(te基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)8（2）對(duì)于每個(gè) ，對(duì)應(yīng)于給定的 ,可以找到一個(gè)最小子樹(shù) ：（3）當(dāng) 值增大時(shí)， 一直保持最小，直到到達(dá)一 個(gè)跳躍點(diǎn) ，此時(shí)， 樹(shù)成為新的最小樹(shù)。設(shè) 有l(wèi)個(gè)終結(jié)點(diǎn)。采用逐步向上進(jìn)行樹(shù)剪枝的思想使得滿足： 式中， 有i個(gè)終結(jié)點(diǎn)。 tetettmaxmin max11tttttlli te t

6、t11tmaxtit基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)9（4）求樹(shù)t的下一棵最小樹(shù)。對(duì)于t中的每一個(gè)內(nèi)節(jié)點(diǎn)t，求 為下一棵最小樹(shù) 值，記為 ： 1ttttteteaitt t基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)10（5）選擇具有最小 的內(nèi)結(jié)點(diǎn)作為剪枝的目標(biāo)結(jié)點(diǎn)。樹(shù)的剪枝過(guò)程為： 1.計(jì)算ti中每一個(gè)內(nèi)節(jié)點(diǎn)t的 值； 2.求最小 ，并選擇 為下次最小樹(shù)； 3.判斷是否只有一個(gè)根結(jié)點(diǎn)，若不是，則轉(zhuǎn)1。 4.用獨(dú)立測(cè)試（檢驗(yàn)）數(shù)據(jù)集的方法選擇最優(yōu)規(guī)模樹(shù)。tttitt 基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)113 3、改進(jìn)、改進(jìn)cartcart算法算法 為構(gòu)造

7、有恒定輸出的終結(jié)點(diǎn)的遞歸樹(shù)，先前描述的cart算法可以辨識(shí)出適當(dāng)規(guī)模的樹(shù)，并確定樹(shù)不需要的無(wú)關(guān)輸入，但如果終結(jié)點(diǎn)是用線性方程來(lái)描述其特征的，為求相關(guān)輸入，需要更大的計(jì)算量，這是很不方便的。為此，本文提出降低計(jì)算量的方法-rlse（遞歸最小二乘估計(jì)器），即在新數(shù)據(jù)和新參數(shù)適應(yīng)過(guò)程中遞歸地得到最小二乘估計(jì)器?；跊Q策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)12對(duì)于矛盾方程 （其中 的第k行表示為 ），最小二乘估計(jì)器為:yaya mkyaktk1 ,yaaattk1基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)13 為了利用已得的 ，以最小代價(jià)計(jì)算 ，而不是使用所有可得的數(shù)據(jù)重新計(jì)算，引入遞歸

8、最小二乘估計(jì)器，它可按下式計(jì)算k1kktktkkkkkkktkktkkkkkayapapapaappp11111111111式中， ，最終的 等于 ，即使用所有m個(gè)數(shù)據(jù)對(duì)的估計(jì)器。11mkm基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)14 此外，在使用cart算法構(gòu)造樹(shù)的整個(gè)輸入輸出映射中，會(huì)產(chǎn)生不希望的不連續(xù)邊界，為了光滑每個(gè)分叉點(diǎn)上的不連續(xù)邊界，可采用模糊集的方法，將決策樹(shù)轉(zhuǎn)化為模糊問(wèn)題進(jìn)行處理。基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)154 4、anfisanfis的結(jié)構(gòu)辨識(shí)的結(jié)構(gòu)辨識(shí) 改進(jìn)cart算法用于 anfis的結(jié)構(gòu)辨識(shí)的優(yōu)勢(shì)在于隱含權(quán)值的歸一化定理。命題命題：c

9、art構(gòu)造的anfis網(wǎng)絡(luò)中隱含權(quán)值的歸一化。即在把決策樹(shù)轉(zhuǎn)化為推理系統(tǒng)時(shí)，如果： 式中，x是任意的輸入向量； 是x的任意分 叉點(diǎn)； 為隸屬函數(shù)。 1)(xxxx基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)16以二叉樹(shù)為例，該決策樹(shù)可等效于一組確定的規(guī)則集，如圖1所示。ycybxa1fz 2fz 3fz 4fz ynynyn4321,fzthencyandaxiffzthencyandaxiffzthenbyandaxiffzthenbyandaxif圖1 二叉樹(shù)等效成模糊集基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)17本文利用改進(jìn)的cart算法，得出anfis結(jié)構(gòu)如圖2所示。n

10、nnninvinvinvaxbycy1f2f3f4fz第四層(最終輸出)第三層(規(guī)則輸出)第二層(測(cè)試強(qiáng)度)第一層（mf）1w2w3w4w圖2 anfis的結(jié)構(gòu)xy基于決策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)18 由于圖2中的anfis結(jié)構(gòu)的隱含權(quán)值歸一化，在整個(gè)訓(xùn)練中保持不變，消除了歸一化層的需要，也減少了訓(xùn)練和應(yīng)用的計(jì)算時(shí)間以及舍入誤差?；跊Q策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)195 5、結(jié)語(yǔ)、結(jié)語(yǔ) 決策樹(shù)激勵(lì)透明，便于按照樹(shù)結(jié)構(gòu)解釋如何做出一個(gè)決策。而cart算法是最具有代表性的決策樹(shù)歸納方法，cart算法能迅速地確定一個(gè)模糊推理系統(tǒng)的大致結(jié)構(gòu)，然后對(duì)沒(méi)有歸一化層的有效a

11、nfis結(jié)構(gòu)，選擇合適的隸屬函數(shù)和輸出函數(shù)。cart能選擇相關(guān)的輸入，并對(duì)輸入空間進(jìn)行樹(shù)劃分，而anfis可改善其劃分結(jié)果，并使該結(jié)果處處光滑連續(xù)?？梢哉f(shuō)cart和anfis在功能上是互補(bǔ)的。本文只著眼于遞歸問(wèn)題，類似的方法也能用于分類問(wèn)題?；跊Q策樹(shù)改進(jìn)cart算法的anfis結(jié)構(gòu)辨識(shí)技術(shù)20參考文獻(xiàn)：參考文獻(xiàn)：1 breiman l,friendman j h,olshen r a, etal,classification and regression treem.californiz:wadsworth inc belmont,1984.2 jang j s r.structure determination in fuzzy modeling:afuzzy cart approachc.orlando,florida;in proceedings of ieee international conference on fuzzy system,1994.3