模塊7 集成技術(shù)《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》教學(xué)課件

《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》?精品課件合集《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》

第7章集成技術(shù)7.2隨機(jī)森林

7.1基本集成技術(shù)主要內(nèi)容

7.3提升樹

7.5類不平衡問題

7.4案例一、基本的集成技術(shù)

集成技術(shù)是數(shù)據(jù)挖掘中的一個(gè)重要研究領(lǐng)域。它的特點(diǎn)是，不采用單一的模型進(jìn)行分類，而是通過構(gòu)造多個(gè)獨(dú)立模型的組合，來建立一個(gè)性能更優(yōu)的分類器或回歸器?；镜募杉夹g(shù)主要包含三種：裝袋（Bagging）、提升（Boosting）和堆疊（Stacking）。一、基本的集成技術(shù)

一、基本的集成技術(shù)

一、基本的集成技術(shù)Scikit-learn的sklearn.ensemble模塊實(shí)現(xiàn)了BaggingClassifier類能輕松創(chuàng)建一個(gè)裝袋模型，它的基本語法為：BaggingClassifier(base_estimator=None,

n_estimators=10,

max_samples=1.0,max_features=1.0,

bootstrap=True,

bootstrap_features=False)一、基本的集成技術(shù)

一、基本的集成技術(shù)

一、基本的集成技術(shù)一、基本的集成技術(shù)

一、基本的集成技術(shù)2.提升(Boosting)Scikit-learn的sklearn.ensemble模塊實(shí)現(xiàn)了Adaboost算法，它的基本語法如下：AdaboostClassifier(base_estimator=None,

n_estimators=50,

learning_rate=1.0,

algorithm='SAMME.R')一、基本的集成技術(shù)3.堆疊(Stacking)

堆疊(Stacking),也稱作元集成（metaensembling）。與裝袋、提升算法不同，堆疊是一種將多種不同類型的分類器組合在一起的集成技術(shù)。

一、基本的集成技術(shù)3.堆疊(Stacking)

堆疊(Stacking),也稱作元集成（metaensembling）。與裝袋、提升算法不同，堆疊是一種將多種不同類型的分類器組合在一起的集成技術(shù)。

它是一種兩層的集成模型，首先在訓(xùn)練數(shù)據(jù)集上采用不同的算法獨(dú)立地訓(xùn)練幾個(gè)基分類器（模型）作為第一層；再組合第一層模型的輸出生成新的數(shù)據(jù)集（原始的數(shù)據(jù)集中的標(biāo)簽仍作為新數(shù)據(jù)集的標(biāo)簽），并在新數(shù)據(jù)集上訓(xùn)練第二層的分類器（也稱為“元模型”）。一、基本的集成技術(shù)3.堆疊(Stacking)

一、基本的集成技術(shù)3.堆疊(Stacking)

生成元模型的訓(xùn)練集和測(cè)試集的過程如下：一、基本的集成技術(shù)3.堆疊(Stacking)

Scikit-learn的sklearn.ensemble模塊提供了StackingClassifier類來完成基于堆疊的集成分類模型，其基本語法為：StackingClassifier(estimators,

final_estimator=None,

cv=None,

stack_method='auto')二、隨機(jī)森林

二、隨機(jī)森林

隨機(jī)森林的算法步驟如下：二、隨機(jī)森林

在Scikit-learn的sklearn.ensemble模塊提供了RandomForestClassifier類實(shí)現(xiàn)一個(gè)隨機(jī)森林模型，它的基本語法為：RandomForestClassifier(n_estimators=100,

criterion='gini',

max_depth=None,

bootstrap=True)三、提升樹

提升樹（BoostedTree）又稱為梯度提升樹（GradientBoostedTree，GBT)，梯度提升決策樹（GradientBoostedDecisionTree，GBDT),多重累加回歸樹（MutipleAdditiveRegressionTree，MART）等。

提升樹是一種回歸的集成模型，它的基模型是CART回歸樹。與隨機(jī)森林基于裝袋思想構(gòu)造集成模型的方式不同，提升樹采用提升的思想集成多棵樹。三、提升樹

以下面的一個(gè)回歸預(yù)測(cè)問題為例來說明提升樹的使用。假設(shè)我們希望對(duì)家庭成員喜好游戲的程度進(jìn)行評(píng)分。如果已經(jīng)訓(xùn)練好了提升樹，它有兩棵CART回歸樹。

每個(gè)家庭成員的特征包括：{年齡，是否使用計(jì)算機(jī)}。三、提升樹

對(duì)于每條測(cè)試數(shù)據(jù)，每棵回歸樹會(huì)在葉子節(jié)點(diǎn)產(chǎn)生一個(gè)預(yù)測(cè)評(píng)分，最終模型的預(yù)測(cè)結(jié)果是多棵樹的評(píng)分之和。

例如，如果新的測(cè)試數(shù)據(jù)是小明，他的特征是：{年齡<18,使用計(jì)算機(jī)}，則模型會(huì)給出2.9的評(píng)分；如果新的測(cè)試數(shù)據(jù)是爸爸，他的特征是：{年齡>18,使用計(jì)算機(jī)}，他會(huì)得到-0.1的評(píng)分。三、提升樹

三、提升樹

三、提升樹

提升樹的原理：

提升樹通過加入新樹，不斷減小損失函數(shù)的值，和梯度下降方法的目標(biāo)是一致的。所以，提升樹也稱作梯度提升樹（GradientBoostingTree）。三、提升樹

sklearn.ensemble模塊中的GradientBoostingClassifier類能幫我們輕松創(chuàng)建一個(gè)提升樹分類模型，它的基本語法為：

GradientBoostingClassifier(loss=‘deviance’,、

learning_rate=0.1,n_estimators=100,subsample=1.0,

validation_fraction=0.1)四、案例：電信客戶流失預(yù)測(cè)目標(biāo)：建立客戶流失預(yù)測(cè)模型。數(shù)據(jù)集：一共有7043條數(shù)據(jù)和21個(gè)特征。類分布的柱狀圖四、案例：電信客戶流失預(yù)測(cè)模型的性能比較：提升樹的準(zhǔn)確度:0.7614663926499033,平衡準(zhǔn)確度:0.7223020243731618隨機(jī)森林的準(zhǔn)確度:0.7577742182462928,平衡準(zhǔn)確度:0.7683200372943599Adaboost的準(zhǔn)確度:0.7621746050934881,平衡準(zhǔn)確度:0.6793865234032379五、類別不平衡問題有時(shí)數(shù)據(jù)集種存在嚴(yán)重的類不平衡問題，即訓(xùn)練集中某一個(gè)類別的樣本數(shù)遠(yuǎn)遠(yuǎn)多于另外一個(gè)類別。

許多分類模型往往在多數(shù)類樣本上表現(xiàn)良好，而在少數(shù)類樣本上表現(xiàn)很差。

解決類不平衡問題的方法主要包括：抽樣方法、代價(jià)敏感方法和集成學(xué)習(xí)的方法。五、類別不平衡問題

“抽樣方法”通過對(duì)原始數(shù)據(jù)集的不同類別進(jìn)行抽樣，產(chǎn)生新的平衡數(shù)據(jù)集，它包括：過抽樣（over-sampling）、欠抽樣（under-sampling）、合成數(shù)據(jù)等多種方法。過抽樣通過對(duì)少數(shù)類上的樣本進(jìn)行多次抽樣，以產(chǎn)生和多數(shù)類數(shù)量相等的樣本，顯然，過抽樣可能改變少數(shù)類的分布；欠抽樣是從多數(shù)類中抽取一定比例的樣本，數(shù)量和少數(shù)類相當(dāng)，以便實(shí)現(xiàn)數(shù)據(jù)類別的平衡，顯然，欠抽樣方法將導(dǎo)致一部分?jǐn)?shù)據(jù)信息的丟失。五、類別不平衡問題

“代價(jià)敏感的學(xué)習(xí)”（cost-sensitivelearning）的思想是對(duì)每一類樣本設(shè)置不同的錯(cuò)分代價(jià)，其中，少數(shù)類樣本的代價(jià)更高，以減少其被錯(cuò)分的概率。

前面介紹的許多模型都提供了設(shè)置樣本權(quán)重或者類別權(quán)重的方法，例如，決策樹（DecisionTreeClassifier類）、支持向量機(jī)(SVC類)、隨機(jī)森林（RandomForestClassifier類）和提升樹（GradientBoostingClassifier類），它們?cè)趧?chuàng)建模型時(shí)或者模型的訓(xùn)練函數(shù)fit()中，都可以設(shè)置類別權(quán)重或樣本權(quán)重。這實(shí)際上是使用代價(jià)敏感學(xué)習(xí)方法處理不平衡數(shù)據(jù)。五、類別不平衡問題

另外一種處理不平衡數(shù)據(jù)的方法是采用集成學(xué)習(xí)的思想。既然裝袋方法的每個(gè)基分類器只抽樣了部分?jǐn)?shù)據(jù)集進(jìn)行訓(xùn)練，那么，我們也可以從多數(shù)類中抽樣一定比例的樣本，將它和少數(shù)類樣本一起構(gòu)成平衡數(shù)據(jù)集，進(jìn)而訓(xùn)練基分類器，最后組合多個(gè)基分類器構(gòu)成集成模型。

easyensemble和balancecascade就是兩種代表性的利用集成學(xué)習(xí)處理不平衡數(shù)據(jù)的模型。五、類別不平衡問題1.SMOTE（SyntheticMinorityOver-samplingTechnique）

它通過過抽樣少數(shù)類來生成平衡數(shù)據(jù)集的技術(shù)。它通過在少數(shù)類上使用過抽樣技術(shù)生成合成的新樣本，而不是簡單的重復(fù)抽樣。五、類別不平衡問題2.ADASYN（AdaptiveSyntheticSamplingApproachforImbalancedLearning）它自適應(yīng)地在少數(shù)類上合成樣本的方法。根據(jù)少數(shù)類的分布，從少數(shù)類中比較難被學(xué)習(xí)的樣本產(chǎn)生新的數(shù)據(jù)五、類別不平衡問題3.easyensemble

它采用集成學(xué)習(xí)的思想解決類不平衡問題。

easyensemble是2009年周志華教授提出的算法，它首先在多數(shù)類上使用欠抽樣技術(shù)獲得一個(gè)規(guī)模與少數(shù)類相當(dāng)?shù)淖蛹?，然后和少?shù)類一起構(gòu)成平衡數(shù)據(jù)集，并在它上面訓(xùn)練一個(gè)Adaboost集成模型。然后重復(fù)多次這樣的操作，將訓(xùn)練的多個(gè)Adaboost模型再組合起來。五、類別不平衡問題3.easyensemble

五、類別不平衡問題不平衡數(shù)據(jù)處理的Python實(shí)現(xiàn)Python的imbalanced-learn模塊提供了多種不平衡數(shù)據(jù)的處理方法。該模塊需要在Anaconda命令行窗口中執(zhí)行pipinstallimbalanced-learn命令來安裝。下面我們簡要介紹基于其中的SMOTE、ADASYN和easyEnsemble類的使用。五、類別不平衡問題1.SMOTE類SMOTE(sampling_strategy='auto',

random_state=None,k_neighbors=5)2.ADASYN類ADASYN(sampling_strategy='auto',

random_state=None,n_neighbors=5)五、類別不平衡問題3.

EasyEnsembleClassifier類imbalanced-learn的over_sampling模塊中EasyEnsem