2023學(xué)年完整公開課版Boosting

Boosting1.熟悉Boosting基本概念

2.了解AdaBoost運(yùn)行過程

3.掌握過擬合overfitting的基本概念Boosting基本概念A(yù)daBoost運(yùn)行過程12過擬合overfitting31.Boosting基本概念Boosting是一個迭代的過程，用來自適應(yīng)地改變訓(xùn)練樣本的分布，使得基分類器聚焦在那些很難分的樣本上Boosting是一種與bagging很類似的技術(shù)Bagging中的分類器權(quán)重是相等的Boosting分類的結(jié)果是基于所有分類器的加權(quán)求和結(jié)果的Boosting的分類器是通過串行訓(xùn)練而獲得的每個新分類器都根據(jù)已訓(xùn)練出的分類器的性能來進(jìn)行訓(xùn)練通過集中關(guān)注被已有分類器錯分的那些數(shù)據(jù)來獲得新的分類器2.AdaBoost運(yùn)行過程權(quán)重初始化成相等值在訓(xùn)練數(shù)據(jù)上訓(xùn)練出一個弱分類器并計(jì)算該分類器的錯誤率在同一數(shù)據(jù)集上再次訓(xùn)練弱分類器，并重新調(diào)整每個樣本的權(quán)重2.AdaBoost運(yùn)行過程權(quán)重初始化成相等值在訓(xùn)練數(shù)據(jù)上訓(xùn)練出一個弱分類器并計(jì)算該分類器的錯誤率在同一數(shù)據(jù)集上再次訓(xùn)練弱分類器，并重新調(diào)整每個樣本的權(quán)重*如果某個樣本xi被正確分類，那么該樣本的權(quán)重Di降低*如果某個樣本xi被錯分，那么該樣本的權(quán)重Di提高AdaBoost開始進(jìn)入下一輪迭代，直到訓(xùn)練錯誤率為0或者弱分類器的數(shù)目達(dá)到用戶的指定值為止最終分類器的結(jié)果是所有分類器的結(jié)果Ri與其權(quán)重alpha的乘積的總和：class=sign(Σ(i=1,N)(αi*Ri))3.過擬合overfitting對于表現(xiàn)好的數(shù)據(jù)集，AdaBoost會達(dá)到一個穩(wěn)定的測試錯誤率，而并不會隨分類器數(shù)目的增多而提高隨著分類器數(shù)目的增多，測試錯誤率在達(dá)到了一個最小值之后又開始上升了過擬合，也稱過學(xué)習(xí)，表示模型過度擬合了訓(xùn)練數(shù)據(jù)，而在測試數(shù)據(jù)上效果較差3.過擬合overfitting分類器數(shù)量錯誤率對于表現(xiàn)好的數(shù)據(jù)集，AdaBoost會達(dá)到一個穩(wěn)定的測試錯誤率，而并不會隨分類器數(shù)目的增多而提高隨著分類器數(shù)目的增多，測試錯誤率在達(dá)到了一個最小值之后又開始上升了過擬合，也稱過學(xué)習(xí)，表示模型過度擬合了訓(xùn)練數(shù)據(jù)，而在測試數(shù)據(jù)上效果較差1.Boosting