多元自適應(yīng)樣條回歸模型

1、多元自適應(yīng)樣條回歸模型多元自適應(yīng)回歸樣條法是一種專門針對高維數(shù)據(jù)擬合的回歸方法口。 因其建模速度快，可解釋性強得到廣泛的應(yīng)用。該方法以樣條函數(shù)的 張量積作為基函數(shù)，自動選擇插入基函數(shù)的節(jié)點，構(gòu)成基函數(shù)集合來 逼近樣本數(shù)據(jù)。MARS算法自提出后，很多學(xué)者做了研究和改進。由 Friedman提出的Fast MARS算法能在略微降低模型精度的同時加快建 模速度。Sergey Bakin等提出的BMARS使用了并行算法，加快建模速 度，同時使模型變得光滑。但是當(dāng)樣本數(shù)據(jù)存在一定干擾時，MARS 可能在干擾點處插入基函數(shù)，建立的模型會貼近干擾點，后向剪枝過 程不能刪除這樣的基函數(shù)，導(dǎo)致模型在干擾點附近的

2、預(yù)測能力下降。 多元自適應(yīng)回歸樣條(MARS)是由Fried-man引入的一種回歸分析形 式，它是一種非參數(shù)回歸技術(shù)，可以看作模擬變量之間的非線性和相 互作用的線性模型的擴展，MARS模型的一般插入點。為了能夠增加 模型的魯棒性，準(zhǔn)確反映系統(tǒng)特征，對樣本數(shù)據(jù)采用10折交叉驗證 的建模方法，確保所有數(shù)據(jù)都有機會參與模型的訓(xùn)練和預(yù)測。MARS 是一種基于分段策略的非線性、非參數(shù)回歸方法。該方法無需假設(shè)輸 入變量與輸出變量之間潛在的特定函數(shù)關(guān)系，而是將數(shù)據(jù)的訓(xùn)練集劃 分為獨立的不同梯度的分段線段，每個分段線段稱為基函數(shù);各段的 端點稱為結(jié)點，一個結(jié)點標(biāo)記數(shù)據(jù)的一個區(qū)域的結(jié)束和下一個區(qū)域的 開始。由此

3、得到的基函數(shù)將給予模型更大的靈活性，允許產(chǎn)生彎曲、 閡值他偏離線性的情況。MARS通過逐步搜索以生成基函數(shù)，利用自 適應(yīng)回歸算法以選擇結(jié)點位置。MARS算法分為前向選擇、后向剪枝2個步驟:前向選擇過程是對輸入的樣本數(shù)據(jù)進行劃分處理，用樣條函 數(shù)代替劃分的小區(qū)間擬和得到新的基函數(shù)，繼而得到一個擬合模型； 后向剪枝過程是對所產(chǎn)生的基函數(shù)進行篩選處理，剔除對模型擬合貢 獻較小的基函數(shù)，以避免出現(xiàn)過擬合情況，進而產(chǎn)生最優(yōu)模型。MARS 是一個數(shù)據(jù)建模的過程，為使模型符合式，應(yīng)先對數(shù)據(jù)的訓(xùn)練集進行 前向選擇程序。通過采用常數(shù)項和基函數(shù)對生成模型，盡量減小訓(xùn)練 誤差;對含有N個基函數(shù)的模型，下一對加入模型

4、的基函數(shù)形式中月 利用最小二乘法求得。模型加入新的基函數(shù)時，也會考慮其與模型中 已有基函數(shù)之間的相互作用。若基函數(shù)數(shù)目達到模型預(yù)定的最大數(shù)量， 將產(chǎn)生一個過擬合的模型。分子是MARS模型數(shù)據(jù)訓(xùn)練集的均方誤差，分母為懲罰函數(shù)。模型復(fù)雜度越高，方差就會越大。二不僅決 定模型的基函數(shù)數(shù)目，而且影響結(jié)點數(shù)。一般默認d值取3 3。 后向過程中，在已預(yù)設(shè)最大基函數(shù)個數(shù)的前提下，該算法通過不斷地 剔除基函數(shù)使式(5)取得最小值，直至找到一個合適的模型。由于基函 數(shù)的選擇和可變結(jié)點的位置是依據(jù)數(shù)據(jù)和具體研究問題決定的，因此 MARS是一種自適應(yīng)的模型。得出最優(yōu)MARS模型后，通過將涉及同 一個變量的所有基函數(shù)組合在一起，并采用方差分析比較變量的統(tǒng)計 學(xué)顯著性，以此來評價輸入變量和基函數(shù)的貢獻。另外，由于最大基函數(shù)個數(shù)是事先預(yù)設(shè)的，若預(yù)設(shè)值不合理，可 能導(dǎo)致最終的模型并不是最優(yōu)模型。因此可以試驗多組預(yù)設(shè)值