數(shù)據(jù)挖掘與數(shù)據(jù)分析：基于R語言- 課件 第六章-隨機(jī)森林

DataMiningandDataAnalysiswithR數(shù)據(jù)挖掘與數(shù)據(jù)分析：基于R語言第六章隨機(jī)森林隨機(jī)森林方法原理01模型理解02R語言編程03章節(jié)內(nèi)容6.1隨機(jī)森林方法原理應(yīng)用背景介紹隨機(jī)森林作為一種經(jīng)典的集成學(xué)習(xí)方法，在許多任務(wù)上均有領(lǐng)先于一般單一模型的性能。所謂集成學(xué)習(xí)方法就是模擬人類的合作行為，通過多個(gè)模型對(duì)同一任務(wù)進(jìn)行具體的操作（比如分類或回歸）。隨機(jī)森林中的基礎(chǔ)模型是熟知的決策樹模型，通過各個(gè)決策樹對(duì)任務(wù)進(jìn)行綜合評(píng)估最終得出結(jié)果。bagging介紹由于隨機(jī)森林是基于bagging的一種集成學(xué)習(xí)方法，因此在對(duì)隨機(jī)森林方法介紹之前，首先探討集成學(xué)習(xí)的相關(guān)內(nèi)容。作為并行式集成學(xué)習(xí)方法的典型，bagging的特點(diǎn)便是采用隨機(jī)采樣的方法，讓各個(gè)“基學(xué)習(xí)器”隨機(jī)地學(xué)習(xí)整體樣本中采樣出來的一部分，進(jìn)而綜合給出最終的輸出。

bagging介紹隨機(jī)森林

6.2模型理解隨機(jī)森林作為一種用于分類和回歸的集成學(xué)習(xí)方法，其目標(biāo)是通過多個(gè)CART決策樹共同從數(shù)據(jù)特征推斷出簡單決策規(guī)則，從而達(dá)到預(yù)測目標(biāo)變量類別或值的目的。一般而言，隨機(jī)森林中的CART決策樹的深度越深，決策規(guī)則越復(fù)雜，模型適用的范圍越廣。隨機(jī)森林模型的優(yōu)點(diǎn)隨機(jī)森林的訓(xùn)練可以高度并行化，這對(duì)于大數(shù)據(jù)時(shí)代的大樣本訓(xùn)練具有很大的優(yōu)勢，可以大大提升訓(xùn)練速度。由于隨機(jī)森林可以隨機(jī)選擇決策樹節(jié)點(diǎn)劃分特征，這在樣本特征維度很高的時(shí)候，仍然能高效地訓(xùn)練模型。隨機(jī)森林在訓(xùn)練后，可以給出各個(gè)特征對(duì)于輸出的重要性，從而可以針對(duì)不同的問題確定出重要特征和非重要特征。由于隨機(jī)森林采用了隨機(jī)采樣，訓(xùn)練出的模型的方差較小，從而具有更強(qiáng)的泛化能力。隨機(jī)森林模型的優(yōu)缺點(diǎn)隨機(jī)森林原理簡單，容易實(shí)現(xiàn)且計(jì)算開銷小，這對(duì)于大數(shù)據(jù)集而言，具有十分明顯的優(yōu)勢。隨機(jī)森林模型對(duì)部分特征缺失不敏感，因此，允許原始數(shù)據(jù)集中存在一定的數(shù)據(jù)缺失，具有較強(qiáng)的魯棒性。隨機(jī)森林模型的缺點(diǎn)隨機(jī)森林模型在某些噪音比較大的數(shù)據(jù)集上，容易陷入過擬合，使得模型在新的數(shù)據(jù)集上的預(yù)測或分類性能表現(xiàn)差。隨機(jī)森林模型對(duì)于取值劃分比較多的特征對(duì)應(yīng)的數(shù)據(jù)集不易產(chǎn)生令人滿意的模型擬合效果。隨機(jī)森林模型的優(yōu)缺點(diǎn)

隨機(jī)森林模型應(yīng)用

隨機(jī)森林模型應(yīng)用6.3R語言編程本節(jié)利用R語言將隨機(jī)森林建模的整個(gè)過程進(jìn)行實(shí)踐。對(duì)于一個(gè)新的問題，隨機(jī)森林建模主要包括四個(gè)部分：數(shù)據(jù)導(dǎo)入、數(shù)據(jù)預(yù)處理、隨機(jī)森林模型訓(xùn)練、隨機(jī)森林模型驗(yàn)證。數(shù)據(jù)導(dǎo)入首先導(dǎo)入讀取數(shù)據(jù)的相關(guān)庫，并利用fread函數(shù)讀取原始數(shù)據(jù)集PurchasePredictionDataset.csv（下載鏈接：/Apress/machine-learning-using-r/blob/master/Dataset/Chapter%206.zip）。該數(shù)據(jù)集共包含12個(gè)屬性信息，具體的屬性信息可以通過str(Data_Purchase)進(jìn)行查看：#相關(guān)庫導(dǎo)入library(data.table)library(C50)library(splitstackshape)library(rattle)library(rpart.plot)library(data.table)library(knitr)#讀取數(shù)據(jù)集Data_Purchase<-fread("./PurchasePredictionDataset.csv",header=T,verbose=FALSE,showProgress=FALSE)str(Data_Purchase)#查看數(shù)據(jù)信息table(Data_Purchase$ProductChoice)數(shù)據(jù)預(yù)處理首先，選定了部分相關(guān)列作為用于隨機(jī)森林模型訓(xùn)練的屬性，包括用戶ID、用戶選擇的產(chǎn)品類型、用戶的會(huì)員積分、收入類別、顧客傾向性和產(chǎn)品最終購買時(shí)間。隨機(jī)森林對(duì)于缺失值是敏感的，因此對(duì)數(shù)據(jù)集中的缺失值實(shí)行了刪除操作。#獲取相關(guān)數(shù)據(jù)集的相關(guān)列Data_Purchase<-Data_Purchase[,.(CUSTOMER_ID,ProductChoice,MembershipPoints,IncomeClass,CustomerPropensity,LastPurchaseDuration)]#刪除缺失值Data_Purchase<-na.omit(Data_Purchase)Data_Purchase$CUSTOMER_ID<-as.character(Data_Purchase$CUSTOMER_ID)#分層抽樣Data_Purchase_Model<-stratified(Data_Purchase,group=c("ProductChoice"),size=10000,replace=FALSE)print("TheDistributionofequalclassesisasbelow")table(Data_Purchase_Model$ProductChoice)預(yù)處理結(jié)束后，還需要對(duì)該數(shù)據(jù)集進(jìn)行劃分，形成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集兩部分。其中訓(xùn)練數(shù)據(jù)集用于對(duì)隨機(jī)森林進(jìn)行訓(xùn)練，而測試數(shù)據(jù)集則用于評(píng)估隨機(jī)森林的泛化能力。Data_Purchase_Model$ProductChoice<-as.factor(Data_Purchase_Model$ProductChoice)Data_Purchase_Model$IncomeClass<-as.factor(Data_Purchase_Model$IncomeClass)Data_Purchase_Model$CustomerPropensity<-as.factor(Data_Purchase_Model$CustomerPropensity)#在訓(xùn)練數(shù)據(jù)（Set_1）上建立隨機(jī)森林，然后測試數(shù)據(jù)（Set_2）將被用于性能測試set.seed(917)train<-Data_Purchase_Model[sample(nrow(Data_Purchase_Model),size=nrow(Data_Purchase_Model)*(0.7),replace=FALSE,prob=NULL),]train<-as.data.frame(train)test<-Data_Purchase_Model[!(Data_Purchase_Model$CUSTOMER_ID%in%train$CUSTOMER_ID),]print(test)數(shù)據(jù)預(yù)處理隨機(jī)森林模型訓(xùn)練準(zhǔn)備好訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集后，接下來便利用隨機(jī)森林模型在訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練，學(xué)習(xí)數(shù)據(jù)中蘊(yùn)含的規(guī)則。模型訓(xùn)練代碼如下：#導(dǎo)入相關(guān)庫library(gmodels)library(ggplot2)library(lattice)library(caret)control<-trainControl(method="repeatedcv",number=5,repeats=2)#RandomForestset.seed(100)rfModel<-train(ProductChoice~CustomerPropensity+LastPurchaseDuration+MembershipPoints,data=train,method="rf",trControl=control)隨機(jī)森林模型驗(yàn)證為了評(píng)估隨機(jī)森林模型，需要對(duì)模型在訓(xùn)練數(shù)據(jù)集上的效果進(jìn)行驗(yàn)證。predict函數(shù)的輸入為原始的測試數(shù)據(jù)集特征，輸出為對(duì)應(yīng)的標(biāo)簽，即ProductChoice的預(yù)測值，接著利用CrossTable函數(shù)對(duì)ProductChoice的預(yù)測值和真實(shí)值進(jìn)行分析，便可以得到整個(gè)隨機(jī)森林模型的評(píng)估結(jié)果。具體結(jié)果如圖所示：purchase_pred_test<-predict(rfModel,test)CrossTable(test$ProductChoice,purchase_pred_test,prop.chisq=FALSE,prop.c=FALSE,prop