第9章用決策樹預(yù)測電信用戶離網(wǎng)

第9 與數(shù) 者共同成ID

與數(shù) 者共同成生活中的決策行

長 丑

短

行行 不星行

… regressiontree》書里提出了CART算法；決策樹是以樹型結(jié)構(gòu)組織的規(guī)則集有3無1月無1無0月………………預(yù)測A無40無？？B無63有 88.31 有3無10…無月1無……………有3無1月無1無0月……………… 82%

11

2A無40無？？B無63有 A無40無01B無63有 非82%

決策樹的一條路徑解釋了預(yù)

82% 82% 與數(shù) 者共同成例子：訓(xùn)練數(shù) e例子：期待輸出的結(jié)ttcredit no 算法 問拆分規(guī)

（ID3C4.5、

（CART）

與數(shù) 者共同成ID3決策樹原理介ID3選擇最有解釋力度的變對于每個變量選擇最優(yōu)分前向剪枝：控制生成樹的規(guī)后項剪枝：刪除沒有意義的分ID3算Information?? =??????, +????(??,??)+????(??, =????×??.??????

×??

×??. A1v.sA2v.sA3v.sA4A1、A2v.s.A3v.s.A4A1、A2、A3v.sA4A1、A3v.s.A2

熵增益率(x1)的點為“分割點2（w10）”

是否？

比

是否 否 否比

R中的C5.0算法(Python目前沒有實現(xiàn)QuinlanR(1993).C4.5:ProgramsforMachineLearning.MorganKaufmann 與數(shù) 者共同成CART決策樹原理介選擇最有解釋力度的變對于每個變量選擇最優(yōu)分前向剪枝：控制生成樹的規(guī)后項剪枝：刪除沒有意義的分 決策樹建樹原CART采用Gini系數(shù)測度輸出變量的異質(zhì)性其數(shù)學(xué)定義為： ????

??????????=1?

=1

S為T

??

??????????

????????

S1，S2與T1，T2

計算計算基尼系劃分劃分gini =1=152?2≈10T20?2gini55515?gini=1?2?52?5= =T=×0.5×0.375≈劃分?22gini =1?≈10T20?2gini??1=174316gini =143?2?72≈2≈ ×0.463×0.266≈CART算最佳分割點的確定方法與最佳分組變量的確定是同時進行計算示 eCART變量重要性選指標(biāo)為基尼系

單個分類或等級變量:決策樹遍歷搜 決策樹方法總樹 與數(shù) 者共同成剪 剪些不具有一般代表性的葉節(jié)點或，是一個邊修剪邊檢驗的過程。在修剪過程中，應(yīng)不斷計算當(dāng)前決策對測試樣本集的預(yù)測精度或誤差，并判斷應(yīng)繼續(xù)修剪還是停CART采用的后修剪技術(shù)稱為最小代價復(fù)雜性修剪法（MinimalCostPruning,M