機器學習matlab13降維與特征選擇

第一 第二 第四 第五 第六 支持向量機（SupportVectorMachine,第七 極限學習機（ExtremeLearningMachine, 第九 遺傳算法（GeneticAlgorithm,第十 粒子群優(yōu)化（ParticleSwarmOptimization,PSO）算第十一 蟻群算法（AntColonyAlgorithm,第十二 模擬退火算法（SimulatedAnnealing,第十三 降維不特征選主成分分析（Principle ysis,

x

......x1k...... X

2kx ...... n2 nk

1Xt1

Var(P) 21t'X'Xt V1X'

n 1Lt'Vt 1 L2Vt2t

1

VtL(t't1)

1 1 111 1由此可知，t

是V的一個標準化特征向量

Var(Pt'Vtt'

t't

Pm前m個主成分攜帶的信息總和 Var(Pi) 偏最小二乘法（PartialLeastSquares,PCA方法提取出的前若干個主成分攜帶了原輸入變量矩陣的大部分信息，消除了相互部分的信息。并沒有考慮主成分

......x1k......

y1yX

2k

Y2 ......

...y n nk nt1u1

Xw1Yc1

w1c1t1應盡可能大地攜帶輸入變量矩陣X②u1應盡可能大地攜帶輸出變量矩陣 的信息t1和u1由主成分分析原理可知，條件（1）和條件（2）t1u1Var(t1)Var(u1)根據(jù)典型相關分析，條件（3）t1u1r(t1,u1)上述問題可以轉化為計算t1和u1Cov(t,u)t'uw'X'Yc 1 st:w11

Lw'X'Yc(w'w1)(c'c 1

X'Yc2w 1 2 1 2

w'X'Y2c

X'Yc X'YY'Xw222w'X'YcCov(t,u

Y'Xwc

Y'XX'Yc''

L(c'c1)111c1t1

是對應于矩陣Y'XX'Y最大特征值的單位特征向Xtp'

X Ytr'Y 1若回歸方程的精度已經(jīng)滿足要求，則停止；否則，利用殘差矩陣X 和Y，計算第二主成分，并重新建立回歸方程。以主成主成分回歸分偏最小二乘pCOEFF=p(X)performsprincipalcomponents ysis(PCA)onthen-by-pdatamatrixX,andreturnstheprincipalcomponentcoefficients,alsoknownasloadings.b=regress(y,X)returnsap-by-1vectorbofcoefficientestimatesforamultilinearregressionoftheinyonthepredictorsin[XL,YL]=plsregress(p)computesapartialleast-squares(PLS)regressionofYonX,usingpPLScomponents,andreturnsthepredictorandresponseloadingsinXLandYL,respectively.Filtervs.搜索正則化方法（L1范數(shù)、… 前向選擇后向選擇廣義方FSPPlotandSETFeatureSelectionPath

Sparsity-ErrorTrade-off65selectedgeneralisationselectedgeneralisation 2numberofselected

11

numberofselected Dataguru（煉數(shù)成金）是與業(yè)數(shù)據(jù)分析，提供教育，，內(nèi)容，社區(qū)，，數(shù)據(jù)分析業(yè)務等服務。我們的課程采用新興的互聯(lián)網(wǎng)教育形式，獨創(chuàng)地發(fā)展了逆向式網(wǎng)絡培訓課程模式。既繼承傳統(tǒng)教育重學習氛圍，重競