Adaboos算法流程和證明

Adaboost算法1、Adaboost算法簡介Adaboost算法是Freund和Schapire根據(jù)在線分配算法提出的，他們詳細(xì)分析了Adaboost算法錯(cuò)誤率的上界，以及為了使強(qiáng)分類器達(dá)到錯(cuò)誤率，算法所需要的最多迭代次數(shù)等相關(guān)問題。與Boosting算法不同的是，Adaboost算法不需要預(yù)先知道弱學(xué)習(xí)算法學(xué)習(xí)正確率的下限即弱分類器的誤差，并且最后得到的強(qiáng)分類器的分類精度依賴于所有弱分類器的分類精度，這樣可以深入挖掘弱分類器算法的能力。2、Adaboost算法基本原理Adaboost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。其算法本身是通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。使用Adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征，并將關(guān)鍵放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。Adaboost算法中不同的訓(xùn)練集是通過調(diào)整每個(gè)樣本對應(yīng)的權(quán)重來實(shí)現(xiàn)的。開始時(shí)，每個(gè)樣本對應(yīng)的權(quán)重是相同的，即其中為樣本個(gè)數(shù)，在此樣本分布下訓(xùn)練出一弱分類器。對于分類錯(cuò)誤的樣本，加大其對應(yīng)的權(quán)重；而對于分類正確的樣本，降低其權(quán)重，這樣分錯(cuò)的樣本就被突出出來，從而得到一個(gè)新的樣本分布。在新的樣本分布下，再次對弱分類器進(jìn)行訓(xùn)練，得到弱分類器。依次類推，經(jīng)過次循環(huán)，得到個(gè)弱分類器，把這個(gè)弱分類器按一定的權(quán)重疊加(boost)起來，得到最終想要的強(qiáng)分類器。Adaboost算法的具體步驟如下：設(shè)輸入的個(gè)訓(xùn)練樣本為：,其中是輸入的訓(xùn)練樣本，分別表示正樣本和負(fù)樣本，其中正樣本數(shù)為，負(fù)樣本數(shù)。，具體步驟如下：⑴初始化每個(gè)樣本的權(quán)重；⑵對每個(gè)(為弱分類器的個(gè)數(shù))：①把權(quán)重歸一化為一個(gè)概率分布②對每個(gè)特征，訓(xùn)練一個(gè)弱分類器計(jì)算對應(yīng)所有特征的弱分類器的加權(quán)錯(cuò)誤率③選取最佳的弱分類器(擁有最小錯(cuò)誤率)：④按照這個(gè)最佳弱分類器，調(diào)整權(quán)重魯其中營表示姑被正吩確地課分類鄙，緩，表光示被紐錯(cuò)誤萍地分修類事⑶湊最后己的強(qiáng)丑分類廚器為日：，績3滅、盞Ad檢a跌b四oo后st肅算法春應(yīng)用飄啦隨著腔Ad抹a咬b姐oo訓(xùn)st胖算法奴的發(fā)握展，換目前借Ad新a泥b觀oo統(tǒng)st創(chuàng)算法美廣泛箏的應(yīng)迎用于裹人臉災(zāi)檢測知、目疤標(biāo)識紛別等屋領(lǐng)域泛，其漆中有鑄在人露臉識耽別、允汽車憑識別尿、駕嫩駛員甲眨眼扶識別盆的方扶面的露應(yīng)用塵和研優(yōu)究。遺Di蒼sc借et春e-侄Ad冷ab明oo籠st對算法幕1、普給定初訓(xùn)練鼠集：黑，其炭中隨，表法示灑的正蛾確的料類別析標(biāo)簽掏，并,碗表示芹第輕副圖躍像的乏第貧個(gè)特串征值榨2、貢訓(xùn)練莊集上家樣本檢的初警始分正布：瓶3、造尋找蹄弱趟分類康器剛(染)烘⑴蔬對于及每個(gè)憂樣本乏中的齒第忽個(gè)特問征，慢可以廢得到拍一個(gè)墾弱捕分類量器眠，綱即可株得到童閾值慶和方糕向景，里使得連達(dá)到棄最小瓶，而正弱分煉類器杜為：義其中盯決定族不等影式的叛方向頸,弊譽(yù)只有盛兩種暈情況活。懇4、挽將所艙有特汗征(真)中粘挑選攏出一殿個(gè)具烈有最焰小誤跡差么的弱妥分類筆器辱。懷5、肚對所昆有的叉樣本莊權(quán)重寒進(jìn)行厘更新案其中鍬是使貴得歸爬一化身因子斃。逢6、穴經(jīng)過梳輪訓(xùn)抄練得渣到往個(gè)最蔽優(yōu)的抱弱分鋒類器勁，此忍時(shí)組道成一割個(gè)強(qiáng)龍分類屋器；超在攏Ad嗓ab惕oo濫st縣算法國的弱鮮學(xué)習(xí)嫁中，片將產(chǎn)皺生錯(cuò)丈誤率馬為尾的弱淋分類簡器。悠如果葡每個(gè)掠錯(cuò)誤診率聽，則坡強(qiáng)分滅類器寶的總飄錯(cuò)誤縫率向一切悅都從賠強(qiáng)分奔類器咸的錯(cuò)墾誤率壟開始紙首先探權(quán)值漲更新其中帳然后性強(qiáng)分桌類器單的錯(cuò)躺誤率膽使這耕個(gè)錯(cuò)建誤率奴快速予下降服？紫為歸淘一化璃因子附。千轉(zhuǎn)化脅為求惜的最搭小值雞了！芽此時(shí)慕我們經(jīng)用貪聲心算滲法求慎出綁的一彈個(gè)局洲部最媽小值駁對疾中的諒求導(dǎo)萍[此英時(shí)將旁固定恥]慨令攜導(dǎo)數(shù)汁為零哀解出此時(shí)伯繪制密關(guān)于柏的曲病線圖顛從這概幅圖藏上我那們可收以看拿出，偽當(dāng)錯(cuò)律誤率狹越小毛或者羞越大妹（只永要不球在中谷點(diǎn)處宗徘徊醬）的便時(shí)候孩快速笨收斂疼到0仆。寸越小歸：說統(tǒng)明錯(cuò)兆誤越洗小的拳分類員器能嚼快速先識別卡出正赤例。翻越大呈:桂說明浩錯(cuò)誤僑越大華的分直類器衫也錦能快胖速識記別出禁正例君。獅既然痕最大揭，只畜要我促把弱廢分類疼器取錄反，甘這樣府錯(cuò)誤超率就伴是最挎小，拒這樣蘿還是黨收斂口到0狂。筋從鞏以上影的證裕明，乏我們時(shí)知道欲只要任是弱溫分類戀器的押錯(cuò)誤卸率都臘取最獻(xiàn)小，蔥于是渠我們流就能享組合烘得到蓋一個(gè)站強(qiáng)分輪類器祝。宵接下戰(zhàn)來我內(nèi)們就紅找出典一澆個(gè)弱些分類醬器內(nèi)錯(cuò)誤塵率資很小備。找基個(gè)聯(lián)酸合起炭來就輸?shù)玫綋?jù)了強(qiáng)賞分類濱器束！惜怎么嫁找弱慧分類券器？姻決策騰樹I銜D3券，C摟4.辰5，鑄C5硬.0旬ID蓬3但生成棉樹用啄（C擺IG慌類別泄屬性洗增益刷法）性C4研.5鈔生鋤成樹裙用（辭Ga設(shè)in短R賽at監(jiān)io莊增益絮比率練法）盾 夢 撕修剪咐樹用租(R索ul慚e談po沃st曲-p足ru擊ni源ng爪規(guī)則蹲修剪完)度