機(jī)器學(xué)習(xí)——模型評(píng)估與選擇

1、胡鵬第二章：模型評(píng)估與選擇大綱經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差閱讀材料經(jīng)驗(yàn)誤差與過(guò)擬合錯(cuò)誤率&誤差：錯(cuò)誤率: 錯(cuò)分樣本的占比：誤差：樣本真實(shí)輸出與預(yù)測(cè)輸出之間的差異訓(xùn)練(經(jīng)驗(yàn))誤差：訓(xùn)練集上測(cè)試誤差：測(cè)試集泛化誤差：除訓(xùn)練集外所有樣本由于事先并不知道新樣本的特征，我們只能努力使經(jīng)驗(yàn)誤差最小化；很多時(shí)候雖然能在訓(xùn)練集上做到分類(lèi)錯(cuò)誤率為零，但多數(shù)情況下這樣的學(xué)習(xí)器并不好經(jīng)驗(yàn)誤差與過(guò)擬合過(guò)擬合:學(xué)習(xí)器把訓(xùn)練樣本學(xué)習(xí)的“太好”，將訓(xùn)練樣本本身的特點(diǎn)當(dāng)做所有樣本的一般性質(zhì)，導(dǎo)致泛化性能下降優(yōu)化目標(biāo)加正則項(xiàng)early stop欠擬合：對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)好決策樹(shù):拓展分支神經(jīng)網(wǎng)絡(luò):

2、增加訓(xùn)練輪數(shù)經(jīng)驗(yàn)誤差與過(guò)擬合過(guò)擬合：學(xué)習(xí)器把訓(xùn)練樣本本身特點(diǎn)當(dāng)做所有潛在樣本都會(huì)具有的一般性質(zhì).欠擬合：訓(xùn)練樣本的一般性質(zhì)尚未被學(xué)習(xí)器學(xué)好.大綱經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差閱讀材料評(píng)估方法現(xiàn)實(shí)任務(wù)中往往會(huì)對(duì)學(xué)習(xí)器的泛化性能、時(shí)間開(kāi)銷(xiāo)、存儲(chǔ)開(kāi)銷(xiāo)、可解釋性等方面的因素進(jìn)行評(píng)估并做出選擇我們假設(shè)測(cè)試集是從樣本真實(shí)分布中獨(dú)立采樣獲得，將測(cè)試集上的“測(cè)試誤差”作為泛化誤差的近似，所以測(cè)試集要和訓(xùn)練集中的樣本盡量互斥。評(píng)估方法留出法：直接將數(shù)據(jù)集劃分為兩個(gè)互斥集合訓(xùn)練/測(cè)試集劃分要盡可能保持?jǐn)?shù)據(jù)分布的一致性一般若干次隨機(jī)劃分、重復(fù)實(shí)驗(yàn)取平均值訓(xùn)練/測(cè)試樣本比例通常為2:14:1通常將

3、包含個(gè) 樣本的數(shù)據(jù)集拆分成訓(xùn)練集 和測(cè)試集 ：評(píng)估方法交叉驗(yàn)證法：將數(shù)據(jù)集分層采樣劃分為k個(gè)大小相似的互斥子集，每次用k-1個(gè)子集的并集作為訓(xùn)練集，余下的子集作為測(cè)試集，最終返回k個(gè)測(cè)試結(jié)果的均值，k最常用的取值是10.評(píng)估方法與留出法類(lèi)似，將數(shù)據(jù)集D劃分為k個(gè)子集同樣存在多種劃分方式，為了減小因樣本劃分不同而引入的差別，k折交叉驗(yàn)證通常隨機(jī)使用不同的劃分重復(fù)p次，最終的評(píng)估結(jié)果是這p次k折交叉驗(yàn)證結(jié)果的均值，例如常見(jiàn)的“10次10折交叉驗(yàn)證”假設(shè)數(shù)據(jù)集D包含m個(gè)樣本，若令 ，則得到留一法：不受隨機(jī)樣本劃分方式的影響結(jié)果往往比較準(zhǔn)確當(dāng)數(shù)據(jù)集比較大時(shí)，計(jì)算開(kāi)銷(xiāo)難以忍受評(píng)估方法自助法：以自助采樣法

4、為基礎(chǔ)，對(duì)數(shù)據(jù)集 有放回采樣 次得到訓(xùn)練集 , 用做測(cè)試集。實(shí)際模型與預(yù)期模型都使用 個(gè)訓(xùn)練樣本約有1/3的樣本沒(méi)在訓(xùn)練集中出現(xiàn) 從初始數(shù)據(jù)集中產(chǎn)生多個(gè)不同的訓(xùn)練集，對(duì)集成學(xué)習(xí)有很大的好處自助法在數(shù)據(jù)集較小、難以有效劃分訓(xùn)練/測(cè)試集時(shí)很有用；由于改變了數(shù)據(jù)集分布可能引入估計(jì)偏差，在數(shù)據(jù)量足夠時(shí)，留出法和交叉驗(yàn)證法更常用。大綱經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差閱讀材料性能度量性能度量是衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn)，反映了任務(wù)需求；使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果在預(yù)測(cè)任務(wù)中，給定樣例集評(píng)估學(xué)習(xí)器的性能 也即把預(yù)測(cè)結(jié)果 和真實(shí)標(biāo)記比較. 回歸任務(wù)最常用的性能度量是“均方誤差

5、”：性能度量對(duì)于分類(lèi)任務(wù),錯(cuò)誤率和精度是最常用的兩種性能度量：錯(cuò)誤率：分錯(cuò)樣本占樣本總數(shù)的比例精度：分對(duì)樣本占樣本總數(shù)的比率分類(lèi)錯(cuò)誤率精度性能度量信息檢索、Web搜索等場(chǎng)景中經(jīng)常需要衡量正例被預(yù)測(cè)出來(lái)的比率或者預(yù)測(cè)出來(lái)的正例中正確的比率，此時(shí)查準(zhǔn)率和查全率比錯(cuò)誤率和精度更適合。統(tǒng)計(jì)真實(shí)標(biāo)記和預(yù)測(cè)結(jié)果的組合可以得到“混淆矩陣”查準(zhǔn)率查全率性能度量根據(jù)學(xué)習(xí)器的預(yù)測(cè)結(jié)果按正例可能性大小對(duì)樣例進(jìn)行排序，并逐個(gè)把樣本作為正例進(jìn)行預(yù)測(cè)，則可以得到查準(zhǔn)率-查全率曲線(xiàn)，簡(jiǎn)稱(chēng)“P-R曲線(xiàn)”平衡點(diǎn)是曲線(xiàn)上“查準(zhǔn)率=查全率”時(shí)的取值，可用來(lái)用于度量P-R曲線(xiàn)有交叉的分類(lèi)器性能高低性能度量比P-R曲線(xiàn)平衡點(diǎn)更用常用的

6、是F1度量：比F1更一般的形式 ,: 標(biāo)準(zhǔn)F1: 偏重查全率(逃犯信息檢索)：偏重查準(zhǔn)率(商品推薦系統(tǒng))性能度量類(lèi)似P-R曲線(xiàn)，根據(jù)學(xué)習(xí)器的預(yù)測(cè)結(jié)果對(duì)樣例排序，并逐個(gè)作為正例進(jìn)行預(yù)測(cè)，以“假正例率”為橫軸，“真正例率”為縱軸可得到ROC曲線(xiàn),全稱(chēng)“受試者工作特征”.ROC圖的繪制：給定 個(gè)正例和 個(gè)負(fù)例，根據(jù)學(xué)習(xí)器預(yù)測(cè)結(jié)果對(duì)樣例進(jìn)行排序，將分類(lèi)閾值設(shè)為每個(gè)樣例的預(yù)測(cè)值，當(dāng)前標(biāo)記點(diǎn)坐標(biāo)為 ,當(dāng)前若為真正例，則對(duì)應(yīng)標(biāo)記點(diǎn)的坐標(biāo)為 ;當(dāng)前若為假正例，則對(duì)應(yīng)標(biāo)記點(diǎn)的坐標(biāo)為 ,然后用線(xiàn)段連接相鄰點(diǎn).性能度量若某個(gè)學(xué)習(xí)器的ROC曲線(xiàn)被另一個(gè)學(xué)習(xí)器的曲線(xiàn)“包住”，則后者性能優(yōu)于前者；否則如果曲線(xiàn)交叉，可以根

7、據(jù)ROC曲線(xiàn)下面積大小進(jìn)行比較，也即AUC值.假設(shè)ROC曲線(xiàn)由的點(diǎn)按序連接而形成 ，則：AUC可估算為：AUC衡量了樣本預(yù)測(cè)的排序質(zhì)量。代價(jià)敏感錯(cuò)誤率現(xiàn)實(shí)任務(wù)中不同類(lèi)型的錯(cuò)誤所造成的后果很可能不同，為了權(quán)衡不同類(lèi)型錯(cuò)誤所造成的不同損失，可為錯(cuò)誤賦予“非均等代價(jià)”。以二分類(lèi)為例，可根據(jù)領(lǐng)域知識(shí)設(shè)定“代價(jià)矩陣”，如下表所示，其中 表示將第i類(lèi)樣本預(yù)測(cè)為第j類(lèi)樣本的代價(jià)。損失程度越大， 與 值的差別越大。在非均等代價(jià)下，不再最小化錯(cuò)誤次數(shù)，而是最小化“總體代價(jià)”，則“代價(jià)敏感”錯(cuò)誤率相應(yīng)的為：代價(jià)曲線(xiàn)在非均等代價(jià)下，ROC曲線(xiàn)不能直接反映出學(xué)習(xí)器的期望總體代價(jià)，而“代價(jià)曲線(xiàn)”可以。代價(jià)曲線(xiàn)的橫軸是取

8、值為0,1的正例概率代價(jià)縱軸是取值為0,1的歸一化代價(jià)代價(jià)曲線(xiàn)代價(jià)曲線(xiàn)圖的繪制：ROC曲線(xiàn)上每個(gè)點(diǎn)對(duì)應(yīng)了代價(jià)曲線(xiàn)上的一條線(xiàn)段，設(shè)ROC曲線(xiàn)上點(diǎn)的坐標(biāo)為(TPR,FPR),則可相應(yīng)計(jì)算出FNR,然后在代價(jià)平面上繪制一條從(0,FPR)到(1,FNR)的線(xiàn)段，線(xiàn)段下的面積即表示了該條件下的期望總體代價(jià)；如此將ROC曲線(xiàn)上的每個(gè)點(diǎn)轉(zhuǎn)化為代價(jià)平面上的一條線(xiàn)段，然后取所有線(xiàn)段的下界，圍成的面積即為所有條件下學(xué)習(xí)器的期望總體代價(jià)。大綱經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差閱讀材料性能評(píng)估關(guān)于性能比較：測(cè)試性能并不等于泛化性能測(cè)試性能隨著測(cè)試集的變化而變化很多機(jī)器學(xué)習(xí)算法本身有一定的隨機(jī)性直接選

9、取相應(yīng)評(píng)估方法在相應(yīng)度量下比大小的方法不可?。〖僭O(shè)檢驗(yàn)為學(xué)習(xí)器性能比較提供了重要依據(jù)，基于其結(jié)果我們可以推斷出若在測(cè)試集上觀察到學(xué)習(xí)器A比B好，則A的泛化性能是否在統(tǒng)計(jì)意義上優(yōu)于B，以及這個(gè)結(jié)論的把握有多大。二項(xiàng)分布（Binomial Distribution）即重復(fù)n次的伯努利實(shí)驗(yàn)，用表示隨機(jī)試驗(yàn)的結(jié)果。如果事件發(fā)生的概率是P，則不發(fā)的概率q=1-p，N次獨(dú)立重復(fù)試驗(yàn)中發(fā)生K次的概率是有一些隨機(jī)事件是只具有兩種互斥結(jié)果的離散型隨機(jī)事件，稱(chēng)為二項(xiàng)分類(lèi)變量（dichotomous variable），如對(duì)病人治療結(jié)果的有效與無(wú)效，某種化驗(yàn)結(jié)果的陽(yáng)性與陰性，接觸某傳染源的感染與未感染等。二項(xiàng)分布（

10、binomial distribution）就是對(duì)這類(lèi)只具有兩種互斥結(jié)果的離散型隨機(jī)事件的規(guī)律性進(jìn)行描述的一種概率分布。二項(xiàng)式分布由二項(xiàng)式分布的定義知，隨機(jī)變量X是n重伯努利實(shí)驗(yàn)中事件A發(fā)生的次數(shù)，且在每次試驗(yàn)中A發(fā)生的概率為p。因此，可以將二項(xiàng)式分布分解成n個(gè)相互獨(dú)立且以p為參數(shù)的（0-1）分布隨機(jī)變量之和.設(shè)隨機(jī)變量X（k）(k=1,2,3.n)服從（0-1）分布，則X=X(1)+X(2)+X(3).X(n).因X(k)相互獨(dú)立，所以期望： 方差： 二項(xiàng)式分布已知有正誤題10題，問(wèn)答題者答對(duì)幾題才能認(rèn)為他是真會(huì)，或者說(shuō)答對(duì)幾題，才能認(rèn)為不是出于猜測(cè)因素?二項(xiàng)檢驗(yàn)給定測(cè)試錯(cuò)誤率 ,對(duì)上式求導(dǎo)

11、，可知在 時(shí)，概率最大，這符合二項(xiàng)分布，如右圖所示，若 ,則10個(gè)樣本中3個(gè)被誤分類(lèi)的概率最大 記泛化錯(cuò)誤率為 ，測(cè)試錯(cuò)誤率為 意味著：m個(gè)樣本中恰有 *m個(gè)被誤分類(lèi)，假定測(cè)試樣本從樣本總體分布中獨(dú)立采樣而來(lái)，對(duì)于泛化錯(cuò)誤率為 的學(xué)習(xí)器恰 *m個(gè)樣本誤分類(lèi)的概率如下：二項(xiàng)檢驗(yàn) 在 的顯著度下，假設(shè) 不能被拒絕, 也即能以 的置信度認(rèn)為，模型的泛化錯(cuò)誤率不大于考慮假設(shè) ,在 的概率內(nèi)所能觀察到的最大錯(cuò)誤率如下： 反映了結(jié)論的置信度，如果此時(shí)測(cè)試結(jié)果 小于臨界值 ,則根據(jù)二項(xiàng)檢驗(yàn)可得出結(jié)論：t檢驗(yàn)很多時(shí)候，我們并非僅做一次留出法估計(jì),而是面對(duì)多次重復(fù)留出法或者交叉驗(yàn)證法進(jìn)行多次訓(xùn)練/測(cè)試，這樣會(huì)得

12、到多個(gè)測(cè)試錯(cuò)誤率，此時(shí)可使用“t檢驗(yàn)”。t檢驗(yàn)交叉驗(yàn)證t檢驗(yàn)現(xiàn)實(shí)任務(wù)中，更多時(shí)候需要對(duì)不同學(xué)習(xí)器的性能進(jìn)行比較對(duì)兩個(gè)學(xué)習(xí)器A和B,若k折交叉驗(yàn)證得到的測(cè)試錯(cuò)誤率分別為和 ，可用k折交叉驗(yàn)證“成對(duì)t檢驗(yàn)”進(jìn)行比較檢驗(yàn)。若兩個(gè)學(xué)習(xí)器的性能相同，則他們使用相同的訓(xùn)練/測(cè)試集得到的測(cè)試錯(cuò)誤率應(yīng)相同，即 .交叉驗(yàn)證t檢驗(yàn)假設(shè)檢驗(yàn)的前提是測(cè)試錯(cuò)誤率為泛化錯(cuò)誤率的獨(dú)立采樣，然而由于樣本有限，使用交叉驗(yàn)證導(dǎo)致訓(xùn)練集重疊，測(cè)試錯(cuò)誤率并不獨(dú)立，從而過(guò)高估計(jì)假設(shè)成立的概率，為緩解這一問(wèn)題，可采用“5*2交叉驗(yàn)證”法.5*2交叉驗(yàn)證法所謂5*2折交叉驗(yàn)證就是做5次二折交叉驗(yàn)證，每次二折交叉驗(yàn)證之前將數(shù)據(jù)打亂，使得5次

13、交叉驗(yàn)證中的數(shù)據(jù)劃分不重復(fù)。為緩解測(cè)試數(shù)據(jù)錯(cuò)誤率的非獨(dú)立性，僅計(jì)算第一次2折交叉驗(yàn)證結(jié)果的平均值 和每次二折實(shí)驗(yàn)計(jì)算得到的方差 ,則變量服從自由度為5的t分布。McNemar檢驗(yàn)對(duì)于二分類(lèi)問(wèn)題，留出法不僅可以估計(jì)出學(xué)習(xí)器A和B的測(cè)試錯(cuò)誤率，還能獲得兩學(xué)習(xí)器分類(lèi)結(jié)果的差別，如下表所示假設(shè)兩學(xué)習(xí)器性能相同則 應(yīng)服從正態(tài)分布，且均值為1，方差為 ，則服從自由度為1的 分布。Friedman檢驗(yàn)交叉驗(yàn)證t檢驗(yàn)和McNemar檢驗(yàn)都是在一個(gè)數(shù)據(jù)集上比較兩個(gè)算法的性能，可以用Friedman檢驗(yàn)在一組數(shù)據(jù)集上對(duì)多個(gè)算法進(jìn)行比較。假定用 四個(gè)數(shù)據(jù)集對(duì)算法 進(jìn)行比較。先使用留出法或者交叉驗(yàn)證法得到每個(gè)算法在每

14、個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果，然后在每個(gè)數(shù)據(jù)集上根據(jù)性能好壞排序，并賦序值1,2,;若算法性能相同則平分序值,繼而得到每個(gè)算法的平均序值 .Friedman檢驗(yàn)得到表格如下所示，由平均序值進(jìn)行Friedman檢驗(yàn)來(lái)判斷這些算法是否性能都相同。則變量：服從自由度為k-1的 分布其中N，k表示數(shù)據(jù)集和算法數(shù)目Nemenyi后續(xù)檢驗(yàn)若“所有算法的性能相同”這個(gè)假設(shè)被拒絕，說(shuō)明算法的性能顯著不同，此時(shí)可用Nemenyi后續(xù)檢驗(yàn)進(jìn)一步區(qū)分算法。Nemenyi檢驗(yàn)計(jì)算平均序值差別的臨界閾值如果兩個(gè)算法的平均序值之差超出了臨界閾值CD，則以相應(yīng)的置信度拒絕“兩個(gè)算法性能相同”這一假設(shè)。Friedman檢驗(yàn)圖根據(jù)上例

15、的序值結(jié)果可繪制如下Friedman檢驗(yàn)圖，橫軸為平均序值，每個(gè)算法圓點(diǎn)為其平均序值，線(xiàn)段為臨界閾值的大小。 若兩個(gè)算法有交疊(A和B)，則說(shuō)明沒(méi)有顯著差別; 否則有顯著差別(A和C),算法A明顯優(yōu)于算法C.大綱經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差閱讀材料偏差與方差通過(guò)實(shí)驗(yàn)可以估計(jì)學(xué)習(xí)算法的泛化性能，而“偏差-方差分解”可以用來(lái)幫助解釋泛化性能。偏差-方差分解試圖對(duì)學(xué)習(xí)算法期望的泛華錯(cuò)誤率進(jìn)行拆解。對(duì)測(cè)試樣本 ,令 為 在數(shù)據(jù)集中的標(biāo)記， 為 的真實(shí)標(biāo)記，為訓(xùn)練集 上學(xué)得模型 在 上的預(yù)測(cè)輸出。以回歸任務(wù)為例：學(xué)習(xí)算法的期望預(yù)期為：使用樣本數(shù)目相同的不同訓(xùn)練集產(chǎn)生的方差為噪聲為偏

16、差與方差期望輸出與真實(shí)標(biāo)記的差別稱(chēng)為偏差，即為便與討論，假定噪聲期望為0，也即 , 對(duì)泛化誤差分解偏差與方差又由假設(shè)中噪聲期望為0，可得于是： 也即泛化誤差可分解為偏差、方差與噪聲之和。偏差與方差偏差度量了學(xué)習(xí)算法期望預(yù)測(cè)與真實(shí)結(jié)果的偏離程度；即刻畫(huà)了學(xué)習(xí)算法本身的擬合能力；方差度量了同樣大小訓(xùn)練集的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化；即刻畫(huà)了數(shù)據(jù)擾動(dòng)所造成的影響；噪聲表達(dá)了在當(dāng)前任務(wù)上任何學(xué)習(xí)算法所能達(dá)到的期望泛化誤差的下界；即刻畫(huà)了學(xué)習(xí)問(wèn)題本身的難度。泛化性能是由學(xué)習(xí)算法的能力、數(shù)據(jù)的充分性以及學(xué)習(xí)任務(wù)本身的難度所共同決定的。給定學(xué)習(xí)任務(wù)為了取得好的泛化性能，需要使偏差小(充分?jǐn)M合數(shù)據(jù))而且方差較

17、小(減少數(shù)據(jù)擾動(dòng)產(chǎn)生的影響)。偏差與方差一般來(lái)說(shuō)，偏差與方差是有沖突的，稱(chēng)為偏差-方差窘境。如右圖所示，假如我們能控制算法的訓(xùn)練程度：在訓(xùn)練不足時(shí)，學(xué)習(xí)器擬合能力不強(qiáng)，訓(xùn)練數(shù)據(jù)的擾動(dòng)不足以使學(xué)習(xí)器的擬合能力產(chǎn)生顯著變化，此時(shí)偏差主導(dǎo)泛化錯(cuò)誤率；隨著訓(xùn)練程度加深，學(xué)習(xí)器擬合能力逐漸增強(qiáng)，方差逐漸主導(dǎo)泛化錯(cuò)誤率；訓(xùn)練充足后，學(xué)習(xí)器的擬合能力非常強(qiáng)，訓(xùn)練數(shù)據(jù)的輕微擾動(dòng)都會(huì)導(dǎo)致學(xué)習(xí)器的顯著變化，若訓(xùn)練數(shù)據(jù)自身非全局特性被學(xué)到則會(huì)發(fā)生過(guò)擬合。大綱經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差閱讀材料閱讀材料自助采樣法在機(jī)器學(xué)習(xí)中有重要用途,Efron and Tibshirani, 1993對(duì)此有詳細(xì)討論。ROC曲線(xiàn)在二十世紀(jì)八十年代后期被引入機(jī)器學(xué)習(xí)Spackman, 1989,AUC則是從九十年代中期起在機(jī)器學(xué)習(xí)領(lǐng)域廣為使用Bradley,1997.Hand and Till,2001將ROC曲線(xiàn)從二分類(lèi)任務(wù)推廣到多分類(lèi)任務(wù).Fawcett,2006綜述了ROC曲線(xiàn)的用途.Drummond and Holte,2006發(fā)明了代價(jià)曲線(xiàn).代價(jià)敏感學(xué)習(xí)Elkan,2001;Zhou and Liu,2006專(zhuān)門(mén)研究非均等代價(jià)下的學(xué)習(xí)。閱讀材料Dietterich,199