R語(yǔ)言數(shù)據(jù)分析與挖掘 課件 第7章 模型評(píng)估

第7章模型評(píng)估Part/

01K折交叉驗(yàn)證什么是交叉驗(yàn)證為了確保模型能夠?qū)ξ粗獙?duì)象進(jìn)行正確預(yù)測(cè)，需要對(duì)模型性能進(jìn)行評(píng)估，避免模型可能存在的過(guò)度適應(yīng)問(wèn)題。我們可以利用caret、rminer和rocr這樣的算法包來(lái)評(píng)估模型性能以防止過(guò)度適應(yīng)問(wèn)題。對(duì)模型性能進(jìn)行評(píng)估有助于得到更優(yōu)化的模型，以便準(zhǔn)確預(yù)測(cè)未知數(shù)據(jù)什么是交叉驗(yàn)證k折交叉驗(yàn)證方法能夠解決過(guò)度適應(yīng)問(wèn)題，因此被廣泛應(yīng)用于分類(lèi)器性能評(píng)測(cè)領(lǐng)域。k折交叉驗(yàn)證方法不需要使用整個(gè)數(shù)據(jù)集，它會(huì)將數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集兩部分。這樣，基于訓(xùn)練集得到的模型就可以通過(guò)測(cè)試集來(lái)完成性能評(píng)測(cè)。重復(fù)執(zhí)行完n次k折交叉驗(yàn)證后，就能根據(jù)n次檢驗(yàn)的平均準(zhǔn)確率實(shí)現(xiàn)對(duì)模型性能的真實(shí)評(píng)估。接下來(lái)就詳細(xì)內(nèi)容實(shí)施k折交叉驗(yàn)證的過(guò)程。Part/

02變量重要性排序重要性排序?qū)τ诒O(jiān)督學(xué)習(xí)模型，可以通過(guò)改變輸入值，比較給定模型輸出效果的變化敏感程度來(lái)評(píng)估不同特征對(duì)模型的重要性。接下來(lái)將展示如何使用caret包給變量重要性排序。重要性排序除了可以使用caret包來(lái)判別變量的重要性外，還可以使用rminer包來(lái)完成相同的任務(wù)。接下來(lái)將探討如何使用rminer包來(lái)分析一個(gè)訓(xùn)練好的模型中變量的重要性。Part/

03特征選擇特征選擇在執(zhí)行回歸或分類(lèi)操作之前，如果能夠提前去掉某些高度關(guān)聯(lián)的屬性，訓(xùn)練模型的性能則會(huì)更好。caret算法包中的findCorrelation函數(shù)可以用來(lái)找到相互高度關(guān)聯(lián)的屬性，接下來(lái)將介紹如何借助caret包來(lái)找到那些高度關(guān)聯(lián)的屬性。特征選擇在執(zhí)行回歸或分類(lèi)操作之前，如果能夠提前去掉某些高度關(guān)聯(lián)的屬性，訓(xùn)練模型的性能則會(huì)更好。caret算法包中的findCorrelation函數(shù)可以用來(lái)找到相互高度關(guān)聯(lián)的屬性，接下來(lái)將介紹如何借助caret包來(lái)找到那些高度關(guān)聯(lián)的屬性。特征選擇特征選擇方法可以挑選出那些預(yù)測(cè)誤差最低的屬性子集，有助于判斷究竟應(yīng)該使用哪些特征才能建立一個(gè)精確的模型。在caret包中有一個(gè)遞歸特征排除函數(shù)rfe，它能夠自動(dòng)挑選出符合要求的特征。Part/

04模型的性能評(píng)估評(píng)測(cè)回歸模型的性能通過(guò)計(jì)算預(yù)測(cè)值和實(shí)際值之間的差值大小可以評(píng)估回歸模型預(yù)測(cè)性能的優(yōu)劣，常用的誤差評(píng)測(cè)標(biāo)準(zhǔn)包括均方差誤差(rootmeansquareerror，RMSE)、相對(duì)平方差(relativesquareerror，RSE)以及可決系數(shù)(R-square)。利用混淆矩陣

評(píng)測(cè)模型的預(yù)測(cè)能力對(duì)分類(lèi)模型進(jìn)行性能評(píng)估，可以基于預(yù)測(cè)結(jié)果和實(shí)際分類(lèi)結(jié)果產(chǎn)生一個(gè)分類(lèi)表，然后基于混淆矩陣來(lái)獲得如模型的精確度、召回率、特異性以及準(zhǔn)確率等性能指標(biāo)。接下來(lái)將探討如何使用caret包來(lái)生成混淆矩陣。利用ROCR評(píng)測(cè)模型的預(yù)測(cè)能力受試者工作特征曲線(xiàn)(ReceiverOperatingCharacteristic，ROC)是一種常見(jiàn)的二元分類(lèi)系統(tǒng)性能展示圖形，在曲線(xiàn)上分別標(biāo)注了不同切點(diǎn)的真正率和假正率。我們通常會(huì)基于ROC曲線(xiàn)計(jì)算處于曲線(xiàn)下方的面積AUC(AreaUnderCurve)，并以此面積來(lái)衡量相應(yīng)分類(lèi)模型的性能。。利用CARET包比較ROCR曲線(xiàn)每種算法都有其優(yōu)缺點(diǎn)，因此當(dāng)面對(duì)具體問(wèn)題應(yīng)該選擇哪種算法最合適時(shí)，首先必須能夠?qū)Σ煌A(yù)測(cè)模型的性能進(jìn)行評(píng)估。為了簡(jiǎn)化這個(gè)比較過(guò)程，可以使用caret包來(lái)生成并比較不同的模型及其性能。接下來(lái)將探討如何利用caret包提供的函數(shù)對(duì)同一個(gè)數(shù)據(jù)集基于不同算法建立的模型進(jìn)行性能比較。。利用CARET包比較模型性能差異我們介紹了生成模型的ROC曲線(xiàn)的方法，并將不同模型的ROC曲線(xiàn)繪制在一個(gè)圖中。除了使用ROC曲線(xiàn)外，我們還可以通過(guò)重復(fù)采樣的