分類器評價指標總結(jié)

1、對于分類器(分類算法)，評價指標主要有:PrecisionRecallF-scoreAaccuracyROCAUC首先，介紹混淆矩陣的概念。混淆矩陣是監(jiān)督學習中的一種可視化工具，主要用于比較分類結(jié)果和實例的真實信息。 矩陣中的每一行代表實例的預(yù)測類別，每一列代表實例的真實類別。act u al valuepn toialpredict ionoutcometotalTruePositiveFalsePositiveFalseTrueNe-gativeNegativePN圖1混淆矩陣如圖1所示，在混淆矩陣中，每一個實例可以劃分為以下四種類型之一:真正(True Positive , TP)：被模

2、型預(yù)測為正的正樣本假正(False Positive , FP)：被模型預(yù)測為正的負樣本假負(False Negative ,FN)：被模型預(yù)測為負的正樣本真負(True Negative , TN)：被模型預(yù)測為負的負樣本真正率(True Positive Rate , TPR)【靈敏度(sensitivity)】：TPR = TP /(TP + FN)，即正樣 本預(yù)測結(jié)果數(shù)/正樣本實際數(shù)假負率(False Negative Rate , FNR) : FNR = FN /(TP + FN)，即被預(yù)測為負的正樣本結(jié)果 數(shù)/正樣本實際數(shù)假正率(False Positive Rate , FPR

3、) : FPR = FP /(FP + TN)，即被預(yù)測為正的負樣本結(jié)果 數(shù) /負樣本實際數(shù)真負率(True Negative Rate , TNR)【特指度(specificity)】：TNR = TN /(TN + FP)，即負 樣本預(yù)測結(jié)果數(shù)/負樣本實際數(shù)然后，由混淆矩陣計算評價指標。精確度(Precision): P = TP/(TP+FP)召回率(Recall): R = TP/(TP+FN)，即真正率F-score：查準率和查全率的調(diào)和平均值 更接近于P, R兩個數(shù)較小的那個:F=2* P* R/(P+ R)準確率(Aaccuracy):分類器對整個樣本的判定能力，即將正的判定為正

4、，負的判定為負:A = (TP + TN)/(TP + FN + FP + TN)ROC(Receiver Operating CharacteristicROC的主要分析工具是一個畫在ROC空間的曲線ROC curve，橫坐標為false positive rate(FPR)，縱坐標為 true positive rate(TPR)。 如何畫ROC曲線？對于二值分類問題，實例的值往往是連續(xù)值，通過設(shè)定一個閾值，將實例分類到正類或 者負類(比如大于閾值劃分為正類)。因此，可以變化閾值，根據(jù)不同的閾值進行分類，根 據(jù)分類結(jié)果計算得到ROC空間中相應(yīng)的點，連接這些點就形成ROC curveo RO

5、C curve經(jīng) 過(0,0) (1,1)，實際上(0,0)和(1,1)連線形成的ROC curve實際上代表的是一個隨機分類器。一 般情況下，這個曲線都應(yīng)該處于(0,0)和(1,1)連線的上方，如圖2所示。Fid*已 pOhicive jiite圖2 ROC曲線 ROC曲線上幾個關(guān)鍵點的解釋(TPR=0,FPR=0)：把每個實例都預(yù)測為負類的模型(TPR=1,FPR=1)：把每個實例都預(yù)測為正類的模型(TPR=1,FPR=0)：理想模型一個好的分類模型應(yīng)該盡可能靠近圖形的左上角，而一個隨機猜測模型應(yīng)位于連接點 (TPR=0,FPR=0)和(TPR=1,FPR=1)的主對角線上。為什么使用ROC曲線？既然已經(jīng)這么多評價標準，為什么還要使用ROC和AUC呢？因為ROC曲線有個很好 的特性：當測試集中的正負樣本的分布變化的時候，ROC曲線能夠保持不變。在實際的數(shù) 據(jù)集中經(jīng)常會出現(xiàn)類不平衡(class imbalance)現(xiàn)象，即負樣本比正樣本多很多(或者相反)，而 且測試數(shù)據(jù)中的正負樣本的分布也可能隨著時間變化。6) AUC (AreaUnderrocCurve )AUC的值就是處于ROC curve下方的那部分面積的大小。通常，AUC的值介于0.5到 1.0之間，較大的AUC代表了較好