《數(shù)據(jù)挖掘與機器學(xué)習(xí)》 課件9.3 構(gòu)建電信運營商用戶流失預(yù)測模型

構(gòu)建電信運營商用戶流失預(yù)測模型電信運營商用戶分析任務(wù)描述電信企業(yè)為了最大程度地控制客戶流失、挽留現(xiàn)存在網(wǎng)用戶，分析不同群體用戶的使用規(guī)律，識別各群體客戶流失的重要特征。為了系統(tǒng)地描述電信運營商用戶流失的規(guī)律，引入數(shù)學(xué)模型對電信運營商用戶數(shù)據(jù)進(jìn)行分析。運營商要實現(xiàn)控制客戶流失、挽留現(xiàn)存在網(wǎng)用戶，必須深入貫徹以人民為中心的發(fā)展思想。本任務(wù)的具體目標(biāo)是基于電信運營商用戶分群模型建立邏輯回歸模型、決策樹模型和樸素貝葉斯模型，選取最優(yōu)的用戶流失模型。任務(wù)要求分析不同群體用戶的使用規(guī)律，識別各群體客戶流失的重要特征。建立不同群體用戶流失模型，建立邏輯回歸模型、決策樹模型和樸素貝葉斯模型，判斷模型建立的效果。選取最優(yōu)的用戶流失模型。相關(guān)知識所有與消費者掛鉤行業(yè)都會關(guān)注客戶流失。由于發(fā)展一個新客戶是需要一定成本的，如果客戶流失，不僅浪費了拉新成本，還需要花費更多的用戶召回成本。因此，基于電信行業(yè)在競爭日益激烈的情況，如何挽留更多用戶成為一項關(guān)鍵業(yè)務(wù)指標(biāo)。為了更好運營用戶，這就要求要了解流失用戶的特征，分析流失原因，預(yù)測用戶流失，確定挽留目標(biāo)用戶并制定有效方案，提升企業(yè)核心競爭力。特征值提取構(gòu)建電信商用戶流失預(yù)測模型特征值提取基于樹的特征選擇導(dǎo)入開發(fā)庫特征變量選取特征抽取是數(shù)據(jù)挖掘任務(wù)最為重要的一個環(huán)節(jié)，一般而言，它對最終結(jié)果的影響要高過數(shù)據(jù)挖掘算法本身。只有先把現(xiàn)實用特征表示出來，才能借助數(shù)據(jù)挖掘的力量找到問題的答案。特征選擇的另一個優(yōu)點在于：降低真實世界的復(fù)雜度，模型比現(xiàn)實更容易操縱。特征選擇能夠降低復(fù)雜度、降低噪音和增加模型可讀性?；跇涞奶卣鬟x擇單個特征和某一類別之間相關(guān)性的計算方法有很多，比較有效的有卡方檢驗（chi2）以及互信息和信息熵，本文選擇基于信息熵的方法來選取特征變量。信息熵是在決策樹中廣泛使用的一個變量，用以獲取最優(yōu)劃分的節(jié)點?；跇涞念A(yù)測模型能夠用來計算特征的重要程度，能用來去除不相關(guān)的特征。因此選擇基于樹的特征選擇（Tree-basedfeatureselection）來獲取特征變量?；跇涞奶卣鬟x擇使用from和import導(dǎo)入sklearn.ensemble中的ExtraTreesClassifier類與sklearn.feature_selection中的SelectFromModel類。導(dǎo)入開發(fā)庫用于從模型中選擇重要的特征用于構(gòu)建極端隨機樹分類器由基于樹的特征選擇，使用sklearn庫導(dǎo)入信息熵的樹及特征值篩選模塊，使用for循環(huán)獲取前10個重要程度的特征變量，結(jié)果如下。特征變量選擇低費用'年齡','在網(wǎng)時長','本地通話次數(shù)','國內(nèi)長途通話次數(shù)','國內(nèi)漫游通話次數(shù)','上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'中低費用'年齡','在網(wǎng)時長','本月費用','本地通話次數(shù)','國內(nèi)長途通話次數(shù)','國內(nèi)漫游通話次數(shù)','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'一般費用'年齡','在網(wǎng)時長','本地通話次數(shù)','國內(nèi)長途通話次數(shù)','國內(nèi)漫游通話次數(shù)','短信發(fā)送數(shù)','上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)'中高費用'年齡','在網(wǎng)時長','本地通話次數(shù)','國內(nèi)長途通話次數(shù)','國內(nèi)漫游通話次數(shù)','短信發(fā)送數(shù)','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'高費用'年齡','在網(wǎng)時長','平均本地通話時長','本地通話次數(shù)','國內(nèi)長途通話次數(shù)','國內(nèi)漫游通話次數(shù)','國內(nèi)漫游上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)'類型選取的變量構(gòu)建電信商用戶流失預(yù)測模型自定義模型構(gòu)建函數(shù)構(gòu)建邏輯回歸模型構(gòu)建決策樹模型構(gòu)建樸素貝葉斯模型選擇最優(yōu)模型由于不同的模型構(gòu)建過程類似，為了避免代碼贅余，因此自定義一個evaluate_model函數(shù)用于模型的構(gòu)建與檢測。evaluate_model函數(shù)操作的流程如下。自定義模型構(gòu)建函數(shù)基于特征變量的篩選結(jié)果，循環(huán)獲取不同用戶類型的重點特征提取特征和目標(biāo)變量數(shù)據(jù)對數(shù)據(jù)進(jìn)行欠采樣處理自定義模型構(gòu)建函數(shù)劃分特征和目標(biāo)變量，并劃分訓(xùn)練集和測試集對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理構(gòu)建相關(guān)的模型，并對模型進(jìn)行評估由于不同的模型構(gòu)建過程類似，為了避免代碼贅余，因此自定義一個evaluate_model函數(shù)用于模型的構(gòu)建與檢測。evaluate_model函數(shù)操作的流程如下。邏輯回歸也被稱為廣義線性回歸模型，它與線性回歸模型的形式基本上相同，最大的區(qū)別就在于它們的因變量不同，如果是連續(xù)的，就是多重線性回歸；如果是二項分布，就是Logistic回歸。導(dǎo)入構(gòu)建邏輯回歸模型需要的一些開發(fā)庫。調(diào)用構(gòu)建的evaluate_model函數(shù)，即可構(gòu)建邏輯回歸模型，并計算模型的準(zhǔn)確率、召回率、AUC值。構(gòu)建邏輯回歸模型決策樹是一種樹狀結(jié)構(gòu)，它的每一個葉節(jié)點對應(yīng)著一個分類，非葉節(jié)點對應(yīng)著在某個屬性上的劃分，根據(jù)樣本在該屬性上的不同取值將其劃分成若干個子集。對于非純的葉節(jié)點，多數(shù)類的標(biāo)號給出到達(dá)這個節(jié)點的樣本所屬的類。導(dǎo)入構(gòu)建決策樹模型需要的一些開發(fā)庫。調(diào)用構(gòu)建的evaluate_model函數(shù)，即可構(gòu)建決策樹模型，并計算模型的準(zhǔn)確率、召回率、AUC值。構(gòu)建決策樹模型樸素貝葉斯模型是一種基于貝葉斯定理和特征條件獨立性假設(shè)的概率統(tǒng)計分類模型。它假設(shè)每個特征在給定類別下是獨立的，并且通過計算每個類別下特征的條件概率來進(jìn)行分類。導(dǎo)入構(gòu)建樸素貝葉斯模型需要的一些開發(fā)庫。調(diào)用構(gòu)建的evaluate_model函數(shù)，即可構(gòu)建樸素貝葉斯模型，并計算模型的準(zhǔn)確率、召回率、AUC值。構(gòu)建樸素貝葉斯模型比較邏輯回歸、決策樹、樸素貝葉斯三個模型的正確率、召回率、以及AUC值，選擇各個類的最優(yōu)模型。選擇最優(yōu)模型

低費用中低費用一般費用中高費用高費用邏輯回歸準(zhǔn)確率0.75780.77980.78400.76700.7774召回率0.77070.81270.81500.79150.8027AUC值0.8293084570.84360.83610.8459決策樹準(zhǔn)確率0.70690.71460.7092073380.7100召回率0.70240.71400.72130.70710.7AUC值0.70680.71450.70930.71370.71樸素貝葉斯準(zhǔn)確率0.73280.75220.75700.74560.7442召回率0.80630.83980.84570.81960.8205AUC值0.80120.80530.81950.80380.8100不同的運行環(huán)境，得到的結(jié)果可能存在一定的差異性。以低費用為例，邏輯回歸模型在準(zhǔn)確率、AUC值方面表現(xiàn)出色，召回率方面也相對較好，顯示出較好的分類性能。決策樹模型在準(zhǔn)確率、召回率、AUC值方面表現(xiàn)較低，相對而言不是最佳選擇。樸素貝葉斯模型的準(zhǔn)確率、AUC值都比邏輯回歸模型的低，召回率會比邏輯回歸模型好一些。綜合考慮準(zhǔn)確率、召回率和AUC值，邏輯回歸模型在整體上表現(xiàn)出較