大數據技術與應用項目R語言高級分類方法原理1

大數據技術與應用項目——R語言高級分類方法原理1

項目來自北京諾程佳華教育科技有限公司教學目標?熟悉bagging和boosting算法的基本概念；?熟悉在R語言中做樸素貝葉斯和線性判別式分類預測;?熟悉在R語言中做bagging和boosting分類預測。

R語言高級分類方法原理

1.基于模型的分類算法基于模型的分類算法的基本思想是，假設數據服從某種概率分布，并利用貝葉斯理論獲得最佳的分類器。其優(yōu)點是，可以利用數據的結構特點，并且在計算上非常方便高效。但它也有相應的缺點，對于數據附加了額外的假設（即數據服從某種概率分布），如果這種假設不成立則會嚴重影響模型準確率。

R語言高級分類方法原理我們的目的是建立條件概率P(Y=k|X=x)的參數化模型。利用貝葉斯理論，可以得到Pr(Y=k|X=x)==Pr(X=x|Y=k)Pr(Y=k)ΣK?=1Pr(X=x|Y=?)Pr(Y=?)fk(x)πkΣK?=1f?(x)π?一般而言，先驗概率πk提前就已確定，并且選擇fk(x)=1σk2π√e?(x?μk)2σ2k，即服從正態(tài)分布?？梢詮臄祿型茢喑鰠郸蘫和σ2k。最后將分類樣本時選擇P(Y=k|X=x)最大的類。

R語言高級分類方法原理利用這種方法的模型主要包括：?線性判別分析（lineardiscriminantanalysis），假設fk(x)?服從協方差相同的多元正態(tài)分布；?二次判別分析（quadraticdiscriminantanalysis），假設fk(x)服從協方差不同的多元正態(tài)分布；?樸素貝葉斯（naiveBayes），假設變量之間相互獨立。

R語言高級分類方法原理2.線性判別分析為了比較類別Y=k和Y=j的概率，可以查看比率，取對數后可以得到logPr(Y=k|X=x)Pr(Y=j|X=x)==logfk(x)fj(x)+logπkπjlogπkπj?12(μk+μj)TΣ?1(μk+μj)+xTΣ?1(μk?μj)其中，Σ?1是預測變量的協方差矩陣，xT是預測變量的集合。可以看出，結果的前兩項保持不變，而最后一項的形式為Xβ，即為直線或超平面，該直線或超平面稱為決策邊界。

R語言高級分類方法原理最終，判別函數定義為δk(x)=xTΣ?1μk?12μkΣ?1μk+log(μk)選擇能夠最大化δk(x)的k作為最終的預測類別，即Y^(x)=argmaxkδk(x)。假設需要通過2個變量將一組數據分成3個類別，3條線將數據分成3個正態(tài)分布，3條線分成的每個區(qū)域都代表了概率最高的一個類別，結果如下圖所示。

R語言高級分類方法原理

R語言高級分類方法原理R語言中可調用程序包MASS中的函數lda(y~.,data=train)建立線性判別分析模型，返回一個類型為lda的對象。也可以調用程序包caret中的函數lda<-train(outcome~predictors,data=training,method="lda")建立線性判別分析模型，返回一個類型