Adaboost算法流程和證明

1、Adaboost算法簡介Adaboost算法是Freund和Schapire根據(jù)在線分配算法提出的,他們詳細分析了Adaboost算法錯誤率的上界，以及為了使強分類器到達錯誤率，算法所需要的最多迭代次數(shù)等相關(guān)問題。與Boosting算法不同的是，Adaboost算法不需要預(yù)先知道弱學習算法學習正確率的下限即弱分類器的誤差，并且最后得到的強分類器的分類精度依賴于所有弱分類器的分類精度，這樣可以深入挖掘弱分類器算法的能力。2、Adaboost算法根本原理Adaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器（弱分類器），然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器（強分類器）。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權(quán)值。將修改正權(quán)值的新數(shù)據(jù)集送給下層分類器進展訓練，最后將每次訓練得到的分類器最后融合起來，作為最后的決策分類器。使用Adaboost分類器可以排除一些不必要的訓練數(shù)據(jù)特征，并將關(guān)鍵放在關(guān)鍵的訓練數(shù)據(jù)上面。Adaboost算法中不同的訓練集是通過調(diào)整每個樣本對應(yīng)的權(quán)重來實現(xiàn)的。開始時，每個樣本對應(yīng)的權(quán)重是一樣的，即其中燈為樣本個數(shù)，在此樣本分布下訓練出一弱分類器。對于分類錯誤的樣本，加大其對應(yīng)的權(quán)重；而對于分類正確的樣本，降低其權(quán)重，這樣分錯的樣本就被突出出來，從而得到一個新的樣本分布。在新的樣本分布下，再次對弱分類器進展訓練，得到弱分類器。依次類推，經(jīng)過丁次循環(huán)，得到T個弱分類器，把這T個弱分類器按一定的權(quán)重疊加（boost）起來，得到最終想要的強分類器。Adaboost算法的具體步驟如下：設(shè)輸入的〃個訓練樣本為：｛區(qū)/）（小乃），居上其中不是輸入的訓練樣本，分別表示正樣本和負樣本，其中正樣本數(shù)為/，負樣本數(shù)加。H具體步驟如下：⑴初始化每個樣本的權(quán)重叫/eD（i）；⑵對每個I=1,…,7（7為弱分類器的個數(shù)）：①把權(quán)重歸一化為一個概率分布②對每個特征/，訓練一個弱分類器h,計算對應(yīng)所有特征的弱分類器的加權(quán)錯誤率③選取最優(yōu)的弱分類器可（擁有最小錯誤率）：的④按照這個最優(yōu)弱分類器，調(diào)整權(quán)重其中4=0表示被正確地分類，%=1，表示被錯誤地分類⑶最后的強分類器為：'T 1T打、1 也⑶之不￡?，11,=^m 2日，-log—0 uthet^'iae3、Adaboost算法應(yīng)用隨著Adaboost算法的開展，目前Adaboost算法廣泛的應(yīng)用于人臉檢測、目標識別等領(lǐng)域，其中有在人臉識別、汽車識別、駕駛員眨眼識別的方面的應(yīng)用和研究。Discete-Adaboost算法1、給定訓練集：(西,乂),「％,為)，其中，表示X,的正確的類別標簽，，勒G)表示第i副圖像的第/個特征值2、訓練集上樣本的初始分布：R(i)=L3、尋找弱分類器人(”1…7)t 7 7⑴對于每個樣本中的第/個特征，可以得到一個弱分類器乙即可得到閾值q和方向入，使得￡廣之0仙帕科切到達最小，而弱分

/=|類器/為:J其中〃.決定不等式的方向只有+1兩種情況。J -4、將所有特征(J)中摘要出一個具有最小誤差的弱分類器力ot t5、對所有的樣本權(quán)重進展更新其中4是使f；q,G)=］得歸一化因子。1=16、經(jīng)過T輪訓練得到T個最優(yōu)的弱分類器，此時組成一個強分類器；在Adaboost算法的弱學習中，將產(chǎn)生錯誤率為&5…g的弱分類器。如果每個錯誤率芭如此強分類器的總錯誤率e<2所不一切都從強分類器的錯誤率開始首先權(quán)值更新其中，工一然后強分類器的錯誤率使這個錯誤率快速下降?Z為歸一化因子。t轉(zhuǎn)化為求z的最小值了！t此時我們用貪心算法求出Z的一個局部最小值t對Z中的比求導［此時將￡固定］t 1 t令導數(shù)為零/二0解出此時繪制Z關(guān)于￡的曲線圖t t從這幅圖上我們可以看出，當錯誤率越小或者越大〔只要不在中點處徘徊）的時候Z快速收斂到0。t越小：說明錯誤越小的分類器能快速識別出正例。越大：說明錯誤越大的分類器也能快速識別出正例。既然最大，只要我把弱分類器取反，這樣錯誤率就是最小，這樣還是收斂到0o從以上的證明，我們知道只要是弱分類器的錯誤率都取最小，于是我們就能組合得到一個強分類器。接下來我們就找出一個弱分類器九⑶錯誤率山很小。找T個聯(lián)合起來就得到了強分類器工怎么找弱分類器？決策樹ID3,C4.5,C5.0ID3生成樹用〔CIG類別屬性增益法〕C4.5生成樹用〔GainRatio增益比率法〕修剪樹用（Rulepost-pruning規(guī)如此修剪）C5.0生成樹用（Giniindex基尼指數(shù)）修剪樹用（CRAT回歸樹修剪）然后給出YoavFreund論文中給出的尋找方法排序令閾值兒⑴/"⑻，e立D（x）|h（x）中yI0other j、ttjii- i=1內(nèi)容總結(jié)（1）Adaboost算法1、Adaboost算法簡介Adaboost算法是Freund和Schapire根據(jù)在線分配算法提出的，他們詳細分析了Adabo