dmc之svm報(bào)告材料3 r實(shí)現(xiàn)

支持向量機(jī)（SVM）——R實(shí)現(xiàn)

匯報(bào)人：

姚啟坤

目錄一、基本說明二、支持向量分類器三、支持向量機(jī)

模型比較超參數(shù)選擇四、參考文獻(xiàn)

一、基本說明R包：e1071svm()函數(shù)：生成分類器基本形式如下：svm（formula,data,subset,na.action=na.omit,kernel,degree=3,gamma=1/數(shù)據(jù)維數(shù),cost=1……）formula分類模型形式，y~x：即y相當(dāng)于標(biāo)簽，x相當(dāng)于特征data數(shù)據(jù)框subset可以指定數(shù)據(jù)集的一部分作為訓(xùn)練數(shù)據(jù)na.action缺失值處理，默認(rèn)為刪除缺失數(shù)據(jù)

一、基本說明svm（formula,data,subset,na.action=na.omit,kernel,degree=3,gamma=1/數(shù)據(jù)維數(shù),cost=1……）kernel非線性邊界：核函數(shù)，默認(rèn)為高斯核常見核：線性核：u'*v多項(xiàng)式核：(gamma*u'*v+coef0)^degreeSigmoid(S型)核：tanh(gamma*u'*v+coef0)degree多項(xiàng)式核的次數(shù)，默認(rèn)為3gamma除線性核外，其他核的參數(shù)，默認(rèn)為1/數(shù)據(jù)維數(shù)cost設(shè)置懲罰項(xiàng)C：觀測穿過間隔的代價(jià)

一、基本說明R包：e1071tune()函數(shù)：交叉驗(yàn)證調(diào)最優(yōu)參數(shù)基本形式如下：tune(method,formula,data,kernel,ranges=list(cost,degree,gamma))svm

二、支持向量分類器模擬數(shù)據(jù)不能完全線性可分：案例數(shù)據(jù)取自：AnIntroductiontoStatisticalLearning

二、支持向量分類器set.seed(1)tune.out<-tune(svm,y~.,data=dat,kernel="linear",ranges=list(cost=c(0.001,0.01,0.1,1,5,10,100)))summary(tune.out)#bestparameters:cost0.1svmfit<-svm(y~.,data=dat,kernel="linear",cost=0.1,scale=FALSE)summary(svmfit)plot(svmfit,dat)code

二、支持向量分類器Call:svm(formula=y~.,data=dat,kernel="linear",cost=0.1,scale=FALSE)Parameters:SVM-Type:C-classificationSVM-Kernel:linearcost:0.1gamma:0.5NumberofSupportVectors:16(88)NumberofClasses:2Levels:-11

二、支持向量分類器生成測試集評(píng)價(jià)最優(yōu)模型（cost=0.1）svmfit=svm(y~.,data=dat,kernel="linear",cost=0.1,scale=FALSE)Truthpredict-11-1101118正確率：90%

三、支持向量機(jī)非線性邊界數(shù)據(jù)：案例數(shù)據(jù)取自：MachineLearningforHackers

三、支持向量機(jī)邏輯回歸好不好？logit.fit<-glm(Label~X+Y,family=binomial(link='logit'),data=df)logit.predictions<-ifelse(predict(logit.fit)>0,1,0)mean(with(df,logit.predictions==Label))#[1]0.5156mean(with(df,0==Label))#[1]0.5156模型比較（一）

三、支持向量機(jī)svm.fit<-svm(Label~X+Y,data=df)svm.predictions<-ifelse(predict(svm.fit)>0,1,0)mean(with(df,svm.predictions==Label))#[1]0.7204模型比較（一）

三、支持向量機(jī)模型比較（一）

三、支持向量機(jī)不同核函數(shù)模型比較：模型比較（二）

三、支持向量機(jī)調(diào)最優(yōu)參數(shù)提高分類正確率：####polynomial####degree####分別展示degree=3、4、6、8超參數(shù)選擇（一）

三、支持向量機(jī)超參數(shù)選擇（一）Parametertuningof‘svm’:-samplingmethod:10-foldcrossvalidation-bestparameters:degree4-bestperformance:0.1432364-Detailedperformanceresults:degreeerrordispersion130.43840230.02715377240.14323640.01130042350.43841550.02715559460.19274840.01322402570.43558550.02745985680.23165020.01406628

三、支持向量機(jī)超參數(shù)選擇（二）####radial####cost####分別展示cost=0.001、1、1000

三、支持向量機(jī)cost=c(0.001,0.01,0.1,1,10,100,1000)超參數(shù)選擇（二）

三、支持向量機(jī)####sigmoid####gamma####gamma=seq(0.1,1,length.out=10)超參數(shù)選擇（三）

三、支持向量機(jī)超參數(shù)選擇（三）####sigmoid####gamma####分別展示gamma=0.5、0.8、0.3

四、參考文獻(xiàn)[