Adaboost算法流程和證明

1、Adaboost算法1、Adaboost算法簡(jiǎn)介Adabboosst算法法是Frreunnd和Schhapiire根根據(jù)在線線分配算算法提出出的，他他們?cè)敿?xì)細(xì)分析了了Adaabooost算算法錯(cuò)誤誤率的上上界，以以及為了了使強(qiáng)分分類器達(dá)達(dá)到錯(cuò)誤誤率，算算法所需需要的最最多迭代代次數(shù)等等相關(guān)問問題。與與Booostiing算算法不同同的是，Adaabooost算算法不需需要預(yù)先先知道弱弱學(xué)習(xí)算算法學(xué)習(xí)習(xí)正確率率的下限限即弱分分類器的的誤差，并且最最后得到到的強(qiáng)分分類器的的分類精精度依賴賴于所有有弱分類類器的分分類精度度，這樣樣可以深深入挖掘掘弱分類類器算法法的能力力。2、Addabooostt算

2、法基基本原理理Adabboosst是一種種迭代算算法，其其核心思思想是針針對(duì)同一一個(gè)訓(xùn)練練集訓(xùn)練練不同的的分類器器(弱分類類器)，然后后把這些些弱分類類器集合合起來(lái)，構(gòu)成一一個(gè)更強(qiáng)強(qiáng)的最終終分類器器(強(qiáng)分類類器)。其算算法本身身是通過過改變數(shù)數(shù)據(jù)分布布來(lái)實(shí)現(xiàn)現(xiàn)的，它它根據(jù)每每次訓(xùn)練練集之中中每個(gè)樣樣本的分分類是否否正確，以及上上次的總總體分類類的準(zhǔn)確確率，來(lái)來(lái)確定每每個(gè)樣本本的權(quán)值值。將修修改過權(quán)權(quán)值的新新數(shù)據(jù)集集送給下下層分類類器進(jìn)行行訓(xùn)練，最后將將每次訓(xùn)訓(xùn)練得到到的分類類器最后后融合起起來(lái)，作作為最后后的決策策分類器器。使用用Adaabooost分分類器可可以排除除一些不不必要的的訓(xùn)練數(shù)數(shù)

3、據(jù)特征征，并將將關(guān)鍵放放在關(guān)鍵鍵的訓(xùn)練練數(shù)據(jù)上上面。Adabboosst算法法中不同同的訓(xùn)練練集是通通過調(diào)整整每個(gè)樣樣本對(duì)應(yīng)應(yīng)的權(quán)重重來(lái)實(shí)現(xiàn)現(xiàn)的。開開始時(shí)，每個(gè)樣樣本對(duì)應(yīng)應(yīng)的權(quán)重重是相同同的，即即其中為為樣本個(gè)個(gè)數(shù)，在在此樣本本分布下下訓(xùn)練出出一弱分分類器。對(duì)于分分類錯(cuò)誤誤的樣本本，加大大其對(duì)應(yīng)應(yīng)的權(quán)重重；而對(duì)對(duì)于分類類正確的的樣本，降低其其權(quán)重，這樣分分錯(cuò)的樣樣本就被被突出出出來(lái)，從從而得到到一個(gè)新新的樣本本分布。在新的的樣本分分布下，再次對(duì)對(duì)弱分類類器進(jìn)行行訓(xùn)練，得到弱弱分類器器。依次次類推，經(jīng)過次次循環(huán)，得到個(gè)個(gè)弱分類類器，把把這個(gè)弱弱分類器器按一定定的權(quán)重重疊加(booost)起來(lái)，得

4、到最最終想要要的強(qiáng)分分類器。Adabboosst算法法的具體體步驟如如下：設(shè)輸入的的個(gè)訓(xùn)練練樣本為為：,其中是輸輸入的訓(xùn)訓(xùn)練樣本本，分別表表示正樣樣本和負(fù)負(fù)樣本，其中正正樣本數(shù)數(shù)為，負(fù)樣本本數(shù)。，具體體步驟如如下：初始化化每個(gè)樣樣本的權(quán)權(quán)重；對(duì)每個(gè)個(gè)(為弱分分類器的的個(gè)數(shù))：把權(quán)重重歸一化化為一個(gè)個(gè)概率分分布對(duì)每個(gè)個(gè)特征，訓(xùn)練一一個(gè)弱分分類器計(jì)計(jì)算對(duì)應(yīng)應(yīng)所有特特征的弱弱分類器器的加權(quán)權(quán)錯(cuò)誤率率選取最最佳的弱弱分類器器(擁有最最小錯(cuò)誤誤率)：按照這這個(gè)最佳佳弱分類類器，調(diào)調(diào)整權(quán)重重其中表示示被正確確地分類類，表表示被錯(cuò)錯(cuò)誤地分分類最后的的強(qiáng)分類類器為：，3、Addaboosst算法法應(yīng)用隨著Ad

5、daboosst算法法的發(fā)展展，目前前Adaaboosst算法法廣泛的的應(yīng)用于于人臉檢檢測(cè)、目目標(biāo)識(shí)別別等領(lǐng)域域，其中中有在人人臉識(shí)別別、汽車車識(shí)別、駕駛員員眨眼識(shí)識(shí)別的方方面的應(yīng)應(yīng)用和研研究。Disccetee-Addabooostt算法1、給定定訓(xùn)練集集：，其其中，表表示的正正確的類類別標(biāo)簽簽， ,表示第第副圖像像的第個(gè)個(gè)特征值值2、訓(xùn)練練集上樣樣本的初初始分布布：3、尋找找弱分類器器()對(duì)于每每個(gè)樣本本中的第第個(gè)特征征，可以以得到一一個(gè)弱分類器器，即可得得到閾值值和方向向，使得達(dá)到到最小，而弱分分類器為為：其中決定定不等式式的方向向,只有有兩種情情況。4、將所所有特征征()中中挑選出出一

6、個(gè)具具有最小小誤差的的弱分類類器。5、對(duì)所所有的樣樣本權(quán)重重進(jìn)行更更新其中是使使得歸一一化因子子。6、經(jīng)過過輪訓(xùn)練練得到個(gè)個(gè)最優(yōu)的的弱分類類器，此此時(shí)組成成一個(gè)強(qiáng)強(qiáng)分類器器；在Adaabooost算算法的弱弱學(xué)習(xí)中中，將產(chǎn)產(chǎn)生錯(cuò)誤誤率為的的弱分類類器。如如果每個(gè)個(gè)錯(cuò)誤率率，則強(qiáng)強(qiáng)分類器器的總錯(cuò)錯(cuò)誤率一切都從從強(qiáng)分類類器的錯(cuò)錯(cuò)誤率開開始首先權(quán)值值更新其中然后強(qiáng)分分類器的的錯(cuò)誤率率使這個(gè)錯(cuò)錯(cuò)誤率快快速下降降？為歸一化化因子。轉(zhuǎn)化為求求的最小小值了！此時(shí)我們們用貪心心算法求求出的一一個(gè)局部部最小值值對(duì)中的求求導(dǎo)此此時(shí)將固固定令導(dǎo)數(shù)為為零解出出此時(shí)繪制關(guān)于于的曲線線圖從這幅圖圖上我們們可以看看出，當(dāng)當(dāng)

7、錯(cuò)誤率率越小或或者越大大（只要要不在中中點(diǎn)處徘徘徊）的的時(shí)候快快速收斂斂到0。越?。赫f(shuō)說(shuō)明錯(cuò)誤誤越小的的分類器器能快速速識(shí)別出出正例。越大: 說(shuō)明錯(cuò)錯(cuò)誤越大大的分類類器也能快速速識(shí)別出出正例。既然最大大，只要要我把弱弱分類器器取反，這樣錯(cuò)錯(cuò)誤率就就是最小小，這樣樣還是收收斂到00。從以上的的證明，我們知知道只要要是弱分分類器的的錯(cuò)誤率率都取最最小，于于是我們們就能組組合得到到一個(gè)強(qiáng)強(qiáng)分類器器。接下來(lái)我我們就找找出一個(gè)弱分分類器錯(cuò)錯(cuò)誤率很很小。找找個(gè)聯(lián)合合起來(lái)就就得到了了強(qiáng)分類類器！怎么找弱弱分類器器？決策樹IID3，C4.5，CC5.00ID3 生成樹樹用（CCIG類類別屬性性增益法法）C4.55 生成成樹用（Gaiin RRatiio增益益比率法法）修剪剪樹用(Rulle pp