決策樹方法應(yīng)用實(shí)例

決策樹方法應(yīng)用實(shí)例第一頁，共十六頁，2022年，8月28日解：由題意可知：

s＝14，類標(biāo)號(hào)屬性“購買電腦”有兩個(gè)不同值（即｛會(huì)購買，不會(huì)購買｝），因此有兩個(gè)不同的類（即m＝2）。設(shè)類C1對應(yīng)于“會(huì)購買”，類C2對應(yīng)于“不會(huì)購買”。則s1＝9，s2＝5，p1＝9/14，p2=5/14。①計(jì)算對給定樣本分類所需的期望信息：②計(jì)算每個(gè)屬性的熵。先計(jì)算屬性“年齡”的熵。對于年齡＝“<=30”：s11＝2，s21＝3，p11=2/5，p21=3/5，

對于年齡＝“31…40”：s12=4，s22=0，p12=4/4=1，p22=0，

第二頁，共十六頁，2022年，8月28日對于年齡＝“>40”：s13=3，s23=2，p13=3/5，p23=2/5，如果樣本按“年齡”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(年齡)=I(s1,s2)-E(年齡)=0.246。計(jì)算“收入”的熵。對于收入＝“高”：s11=2，s21=2，p11=0.5，p21=0.5，對于收入＝“中等”：s12=4，s22=2，p12=4/6，p22=2/4，第三頁，共十六頁，2022年，8月28日對于收入＝“低”：s13=3，s23=1，p13=3/4，p23=1/4，如果樣本按“收入”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(收入)=I(s1,s2)-E(收入)=0.940-0.911＝0.029。計(jì)算“學(xué)生”的熵。對于學(xué)生＝“是”：s11=6，s21=1，p11=6/7，p21=1/7，第四頁，共十六頁，2022年，8月28日對于學(xué)生＝“否”：s12=3，s22=4，p12=3/7，p22=4/7，如果樣本按“學(xué)生”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(學(xué)生)=I(s1,s2)-E(學(xué)生)=0.940-0.789＝0.151。計(jì)算“信用等級(jí)”的熵。對于信用等級(jí)＝“一般”：s11=6，s21=2，p11=6/8，p21=2/8，對于信用等級(jí)＝“良好”：s12=3，s22=3，p12=3/6，p22=3/6，第五頁，共十六頁，2022年，8月28日如果樣本按“信用等級(jí)”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(信用等級(jí))=I(s1,s2)-E(信用等級(jí))=0.940-0.892＝0.048。由于“年齡”屬性具有最高信息增益，它被選作測試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“年齡”標(biāo)記，并對每個(gè)屬性值引出一個(gè)分支。樣本據(jù)此劃分，如圖所示。第六頁，共十六頁，2022年，8月28日收入學(xué)生信用等級(jí)類高否一般會(huì)購買低是良好會(huì)購買中等否良好會(huì)購買高是一般會(huì)購買收入學(xué)生信用等級(jí)類高否一般不會(huì)購買高否良好不會(huì)購買中等否一般不會(huì)購買低是一般會(huì)購買中等是良好會(huì)購買收入學(xué)生信用等級(jí)類中等否一般會(huì)購買低是一般會(huì)購買低是良好不會(huì)購買中等是一般會(huì)購買中等否良好不會(huì)購買<=3031…40>40年齡第七頁，共十六頁，2022年，8月28日收入學(xué)生信用等級(jí)類高否一般不會(huì)購買高否良好不會(huì)購買中等否一般不會(huì)購買低是一般會(huì)購買中等是良好會(huì)購買表1年齡<=30當(dāng)年齡<=30時(shí)，對應(yīng)于表1。S＝5，設(shè)類C1對應(yīng)于“會(huì)購買”，類C2對應(yīng)于“不會(huì)購買”。則s1＝2，s2＝3，p1＝2/5，p2=3/5。①計(jì)算對給定樣本分類所需的期望信息：②計(jì)算每個(gè)屬性的熵。先計(jì)算屬性“收入”的熵。對于收入＝“高”：s11＝0，s21＝2，p11=0，p21=1，第八頁，共十六頁，2022年，8月28日對于收入＝“中等”：s12=1，s22=1，p12=1/2，p22=1/2，

對于收入＝“低”：s13=1，s23=0，p13=1，p23=0，如果樣本按“收入”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(收入)=I(s1,s2)-E(收入)=0.971-0.0.4＝0.571。第九頁，共十六頁，2022年，8月28日計(jì)算“學(xué)生”的熵。對于學(xué)生＝“是”：s11＝2，s21＝0，p11=1，p21=0，對于學(xué)生＝“否”：s12＝0，s22＝3，p12=0，p22=1，如果樣本按“學(xué)生”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(學(xué)生)=I(s1,s2)-E(學(xué)生)=0.971-0＝0.971。第十頁，共十六頁，2022年，8月28日計(jì)算“信用等級(jí)”的熵。對于信用等級(jí)＝“一般”：s11＝1，s21＝2，p11=1/3，p21=2/3，對于信用等級(jí)＝“良好”：s12＝1，s22＝1，p12=1/2，p22=1/2，如果樣本按“信用等級(jí)”劃分，對一個(gè)給定的樣本分類所需的期望信息為：因此，這種劃分的信息增益是

Gain(信用等級(jí))=I(s1,s2)-E(信用等級(jí))=0.971-0.951＝0.02。第十一頁，共十六頁，2022年，8月28日由于“學(xué)生”屬性具有最高信息增益，它被選作測試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“學(xué)生”標(biāo)記，并對每個(gè)屬性值引出一個(gè)分支。同理，對表2進(jìn)行計(jì)算。得出屬性“信用等級(jí)”具有最高信息增益，它被選作測試屬性。創(chuàng)建一個(gè)節(jié)點(diǎn)，用“信用等級(jí)”標(biāo)記，并對每個(gè)屬性值引出一個(gè)分支。最終構(gòu)造的決策樹如下圖所示。收入學(xué)生信用等級(jí)類中等否一般會(huì)購買低是一般會(huì)購買低是良好不會(huì)購買中等是一般會(huì)購買中等否良好不會(huì)購買表2年齡>40第十二頁，共十六頁，2022年，8月28日年齡?學(xué)生?信用等級(jí)?會(huì)購買不會(huì)購買會(huì)購買會(huì)購買不會(huì)購買<=3031…40>40一般良好是否“購買電腦”的決策樹第十三頁，共十六頁，2022年，8月28日由決策樹產(chǎn)生分類規(guī)則

對上圖進(jìn)行分析，提取的關(guān)聯(lián)規(guī)則是：IF年齡＝“<=30”AND學(xué)生＝“否”THEN購買電腦＝“不會(huì)購買”IF年齡＝“<=30”AND學(xué)生＝“是”THEN購買電腦＝“會(huì)購買”IF年齡＝“31...40”THEN購買電腦＝“會(huì)購買”IF年齡＝“>40”AND信用等級(jí)＝“良好”THEN購買電腦＝“不會(huì)購買”IF年齡＝“>40”AND信用等級(jí)＝“一般”THEN購買電腦＝“會(huì)購買”第十四頁，共十六頁，2022年，8月28日論文中的應(yīng)用題目：決策樹算法的研究與應(yīng)用作者：楊靜1，張楠男2，李建1，劉延明1，梁美紅1(1．西南石油大學(xué)，四川成都610500；2．西南油氣田分公司信息中心，四川成都610500)發(fā)表期刊：計(jì)算機(jī)技術(shù)與發(fā)展第20卷．第2期2010年2月

摘要：主要研究了數(shù)據(jù)挖掘中決策樹算法的基本思想和算法。針對目前鉆井過程故障診斷的需求，結(jié)合決策樹算法的特點(diǎn)，提出了一種基于決策樹的鉆井過程故障診斷專家系統(tǒng)模型。分析了鉆井系統(tǒng)事故狀態(tài)下的相關(guān)特征參數(shù)，并對基于決策樹的鉆井過程狀態(tài)和知識(shí)獲取進(jìn)行了詳細(xì)的論述。通過實(shí)例運(yùn)用ID3算法實(shí)現(xiàn)了決策樹的建立，為鉆井過程故障診斷奠定了堅(jiān)實(shí)的基礎(chǔ)。最后提出了對算法的改進(jìn)，綜合對實(shí)際數(shù)據(jù)的處理結(jié)果表明，基于數(shù)據(jù)挖掘的決策樹算法可以很好地識(shí)別鉆井過程中的不同狀態(tài)，