基于weka的數(shù)據分類分析實驗報告

1、數(shù)據挖掘實驗報告 xxx 201021030483基于weka的數(shù)據分類分析實驗報告1實驗基本內容本實驗的基本內容是通過使用weka中的三種常見分類方法（樸素貝葉斯，KNN和決策樹C4.5）分別在訓練數(shù)據上訓練出分類模型，并使用校驗數(shù)據對各個模型進行測試和評價，找出各個模型最優(yōu)的參數(shù)值，并對三個模型進行全面評價比較，得到一個最好的分類模型以及該模型所有設置的最優(yōu)參數(shù)。最后使用這些參數(shù)以及訓練集和校驗集數(shù)據一起構造出一個最優(yōu)分類器，并利用該分類器對測試數(shù)據進行預測。2數(shù)據的準備及預處理2.1格式轉換方法原始數(shù)據是excel文件保存的xlsx格式數(shù)據，需要轉換成Weka支持的arff文件格式或cs

2、v文件格式。由于Weka對arff格式的支持更好，這里我們選擇arff格式作為分類器原始數(shù)據的保存格式。轉換方法：在excel中打開“movie_given.xlsx”，選擇菜單文件->另存為，在彈出的對話框中，文件名輸入“total_data”，保存類型選擇“CSV（逗號分隔）”，保存，我們便可得到“total_data.csv”文件；然后，打開Weka的Exporler，點擊Open file按鈕，打開剛才得到的“total_data”文件，點擊“save”按鈕，在彈出的對話框中，文件名輸入“total_data”，文件類型選擇“Arff data files（*.arff）”，這樣

3、得到的數(shù)據文件為“total_data.arff”。2.2如何建立數(shù)據訓練集，校驗集和測試集數(shù)據的預處理過程中，為了在訓練模型、評價模型和使用模型對數(shù)據進行預測能保證一致性和完整性，首先要把movie_given.xslx和test.xslx合并在一起，因為在生成arff文件的時候，可能會出現(xiàn)屬性值不一樣的情況，否則將為后來的測試過程帶來麻煩。通過統(tǒng)計數(shù)據信息，發(fā)現(xiàn)帶有類標號的數(shù)據一共有100行，為了避免數(shù)據的過度擬合，必須把數(shù)據訓練集和校驗集分開，目前的拆分策略是各50行。類標號為female的數(shù)據有21條，而類標號為male的數(shù)據有79條，這樣目前遇到的問題是，究竟如何處理僅有的21條fe

4、male數(shù)據？為了能在訓練分類模型時有更全面的信息，所以決定把包含21條female類標號數(shù)據和29條male類標號數(shù)據作為模型訓練數(shù)據集，而剩下的另49條類標號類male的數(shù)據將全部用于校驗數(shù)據集，這是因為在校驗的時候，兩種類標號的數(shù)據的作用區(qū)別不大，而在訓練數(shù)據模型時，則更需要更全面的信息，特別是不同類標號的數(shù)據的合理比例對訓練模型的質量有較大的影響。2.3預處理具體步驟第一步：合并movie_given.xlsx和test.xlsx，保存為total_data.xlsx；第二步：在total_data.xlsx中刪除多余的ID列信息；第三步：在excel中打開“total_data.xl

5、sx”，選擇菜單文件->另存為，在彈出的對話框中，文件名輸入“total_data”，保存類型選擇“CSV（逗號分隔）”；第四步：使用UltraEdit工具把total_data.csv中的數(shù)據缺失部分補上全局常量？；第五步：打開Weka的Exporler，點擊Open file按鈕，打開剛才得到的“total_data.csv”文件，點擊“save”按鈕，在彈出的對話框中，文件名輸入“total_data”，文件類型選擇“Arff data files（*.arff）”，這樣得到的數(shù)據文件為“total_data.arff”。第六步：從total_data.arff文件里面剪切所有沒有

6、分類標號的數(shù)據作為預測數(shù)據集（test.arff），共26項。第七步：把剩下含有類標號數(shù)據的total_data.arff文件復制一份，作為總的訓練數(shù)據集。文件名稱為build_model.arff。第八步：從total_data.arff文件中剩下的數(shù)據里面選取所有分類標號為male的49行數(shù)據作為校驗數(shù)據集（validate_data.arff）。第九步：從把剩下的total_data.arff文件改名為train_data.arff。3. 實驗過程及結果截圖3.1決策樹分類用“Explorer”打開剛才得到的“train-data.arff”，并切換到“Class”。點“Choose”按

7、鈕選擇“tree (weka.classifiers.trees.j48)”，這是WEKA中實現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點擊“start”按鈕：訓練數(shù)據集訓練決策樹得出的結果使用不同配置訓練參數(shù)，得到的實驗數(shù)據：配置不同的葉子節(jié)點的實例個數(shù)實例數(shù)/葉節(jié)點23456準確率54%60%56%56%56%結果分析：使用決策樹時，每個葉子節(jié)點最優(yōu)的實例個數(shù)為3。校驗數(shù)據集校驗決策樹得出的結果初步結果分析：使用決策樹進行分類，對于已知的49個類標號為male的數(shù)據都進行了準確的分類，并且達到100%；雖然是個很好的數(shù)據，但是完美背后隱藏了缺陷，是以對f

8、emale類的低準確率作為代價的，因為這樣會說明該分類器很有可能偏向male類。3.2 K最近鄰算法分類點“Choose”按鈕選擇“l(fā)aze->ibk”，這是WEKA中實現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點擊“start”按鈕：訓練數(shù)據集訓練KNN得出的結果使用不同配置訓練參數(shù)，得到的實驗數(shù)據：配置不同的葉子節(jié)點的實例個數(shù)K值12345678910準確率52%54%56%58%60%58%60%68%62%62%結果分析：使用KNN算法分類時，K最優(yōu)值為8。校驗數(shù)據集校驗KNN得出的結果初步結果分析：對使用k=8訓練出來的分類模型進行校驗的結果

9、，準確率達到77.6%，算是一個比較合理的分類結果。3.3 樸素貝葉斯分類點“Choose”按鈕選擇“bayes”，這是WEKA中實現(xiàn)的決策樹算法。選擇Cross-Validatioin folds=10，然后點擊“start”按鈕：訓練數(shù)據集訓練Naïve Bayes得出的結果校驗數(shù)據集校驗Naïve Bayes得出的結果初步結果分析：評價結果中準確率僅僅達到59.1%，結果不是很讓人滿意。3.4 三類分類方法的校驗結果比較決策樹K最近鄰樸素貝葉斯校驗準確率100%77.55%59.18%訓練混淆矩陣校驗混淆矩陣標準誤差0.420.46540.5918比較結果分析： 根據

10、上述數(shù)據，雖然決策樹有最高的完美的準確率和相對較好的標準誤差，但是這種完美的背后，很有可能是以類標號female的較大錯誤率作為代價，這點可以從訓練混淆矩陣中得到印證；而樸素貝葉斯分類算法的準確率相對較低，而標準誤差也較高，綜合評價可以得知，當前最好的分類算法是KNN算法，并且它是最優(yōu)設置參數(shù)為k=8。3.5 訓練最優(yōu)模型使用預處理中的buildmodel_data.arff數(shù)據文件訓練分類模型，算法為k=8的KNN。數(shù)據集訓練KNN得出的結果使用最終模型對測試集進行預測結果4.三種算法在進行測試的性能比較 4.1實驗結果決策樹的測試結果：KNN測試結果：樸素貝葉斯測試結果：比較分析結論： 性能分析應該包括兩個部分，一個部分是測試速度，另一個部分是測試的質量。由于本次使用所使用的數(shù)據量太少，在測試速度的對比上相差太少，無法進行準確的分析。而在測試質量上，可以從上述數(shù)據中得到，決策樹依然是由于它對與male類標號的偏愛，導