AdaBoost算法及提升樹(shù)課件

需要解決的問(wèn)題如何在每一輪改變訓(xùn)練數(shù)據(jù)的權(quán)值如何將弱分類(lèi)器組合成一個(gè)強(qiáng)分類(lèi)器需要解決的問(wèn)題1AdaBoost算法的解決方案如何在每一輪改變訓(xùn)練數(shù)據(jù)的權(quán)值提高前一輪弱分類(lèi)器錯(cuò)誤分類(lèi)樣本的權(quán)值，降低被正確分類(lèi)樣本的權(quán)值如何將弱分類(lèi)器組合成強(qiáng)分類(lèi)器增加分類(lèi)誤差率小的弱分類(lèi)器的權(quán)值，使其起較大的決定作用，同時(shí)減小分類(lèi)誤差率大的弱分類(lèi)器的權(quán)值。AdaBoost算法的解決方案如何在每一輪改變訓(xùn)練數(shù)據(jù)的權(quán)值2AdaBoost算法

AdaBoost算法

3系數(shù)系數(shù)4權(quán)值更新

當(dāng)正確分類(lèi)時(shí)，，相應(yīng)的權(quán)值會(huì)降低，相反相應(yīng)的權(quán)值會(huì)增大權(quán)值更新

當(dāng)正確分類(lèi)時(shí)，5AdaBoost誤差分析AdaBoost算法最終分類(lèi)器的訓(xùn)練誤差界為AdaBoost誤差分析AdaBoost算法最終分類(lèi)器的訓(xùn)練6AdaBoost誤差分析對(duì)于二分類(lèi)問(wèn)題AdaBoost訓(xùn)練誤差界為其中AdaBoost誤差分析對(duì)于二分類(lèi)問(wèn)題AdaBoost訓(xùn)練誤7不等式的證明，等價(jià)于證明只需證明采用做差、求導(dǎo)的方法即可證明上式說(shuō)明，AdaBoost的訓(xùn)練誤差是以指數(shù)速率下降的！AdaBoost誤差分析不等式的證明，等價(jià)于證明AdaBoost誤差分析8AdaBoost算法及提升樹(shù)課件9前向分步算法AdaBoost算法中的基本分類(lèi)器的線(xiàn)性組合為這是一個(gè)加法模型。在給定訓(xùn)練數(shù)據(jù)及損失函數(shù)L(y,f(x))條件下，學(xué)習(xí)加法模型f(x)成為損失函數(shù)極小化問(wèn)題前向分步算法AdaBoost算法中的基本分類(lèi)器的線(xiàn)性組合為10前向分步算法但是求解這個(gè)問(wèn)題非常復(fù)雜。而前向分步算法的思想是每次只學(xué)習(xí)一組參數(shù)，保證每一輪都最優(yōu)，然后逐步逼近最優(yōu)目標(biāo)函數(shù)，即注意前后兩個(gè)公式的差別前向分步算法但是求解這個(gè)問(wèn)題非常復(fù)雜。而前向分步算法的思想是11前向分步算法定理8.3的證明中，8.21、8.22。前向分步算法定理8.3的證明中，8.21、8.22。12提升樹(shù)模型以決策樹(shù)為基函數(shù)的提升方法稱(chēng)為提升樹(shù)。二叉分類(lèi)樹(shù)二叉決策樹(shù)提升樹(shù)模型以決策樹(shù)為基函數(shù)的提升方法稱(chēng)為提升樹(shù)。13提升樹(shù)算法仍然采用前向分步算法不同問(wèn)題的提升樹(shù)學(xué)習(xí)算法，主要區(qū)別在于使用損失函數(shù)不同比如回歸樹(shù)，采用平方誤差損失函數(shù)，因此引入了殘差。例題8.2。提升樹(shù)算法仍然采用前向分步算法