人工智能經(jīng)典電子書ml-18-20180922-Boosting

Boosting課程大綱2018.9.15集成學(xué)習(xí)實戰(zhàn)2018.9.22Boosting與Adaboost實戰(zhàn)2018.9.29Bagging與隨機(jī)森林實戰(zhàn)背景Boosting思想源于三個臭皮匠，勝過諸葛亮

Findingmanyroughrulesofthumbcanbealoteasierandmoreeffectivethanfindingasingle,highlypredictionrule.原理引入天氣預(yù)報 預(yù)測明天是晴是雨？ 傳統(tǒng)觀念：依賴于專家系統(tǒng)（AperfectExpert)原理引入AperfectexpertRealityCNN(Perfect!)ABCCBSXXX原理引入Boosting：basedon“Nobodyisperfect”，combinecommonreportertoobtainperfectexpert更加符合自然界的現(xiàn)實CNNABCCBSRealityXXXXX原理引入MONTUEWEDTHUREALITYMAJORITYCNNABCCBSFOXTOTAL32/828/826/815/837/4XXXXXXX11111/211111/41/211/41/21/8121XXBoosting—concepts(1)機(jī)器學(xué)習(xí)（MachineLearning)：將一些已知的并已被成功解決的問題作為范例輸入計算機(jī),機(jī)器通過學(xué)習(xí)這些范例總結(jié)并生成相應(yīng)的規(guī)則,這些規(guī)則具有通用性,使用它們可以解決某一類的問題。

人臉識別文本分類網(wǎng)絡(luò)安全生物信息工程學(xué)習(xí)機(jī)（learner)：機(jī)器學(xué)習(xí)得到的規(guī)則或者模型。樣本：所研究問題的實例，一般在訓(xùn)練集中包括正樣本和負(fù)樣本。

一張人臉圖像，一篇文章，一個病毒代碼，一個生物的遺傳編碼訓(xùn)練：采用某種方法，用已知屬性的樣本作為輸入，得到相應(yīng)規(guī)則的過程。訓(xùn)練集：由已知屬性的樣本組成的集合，作為訓(xùn)練過程的輸入數(shù)據(jù)。測試集：由已知屬性的樣本組成的集合，作為測試過程的輸入數(shù)據(jù)。假設(shè)：學(xué)習(xí)機(jī)對樣本做出的判斷，即是否符合需要判定的事實。

某張臉是否是張三的，某篇文章是否屬于新聞類別Boosting—concepts(2)特征選?。簭膶嶋H數(shù)據(jù)中抽取反映其本質(zhì)規(guī)律的屬性。

傳統(tǒng)人臉識別中人臉圖像向量做PCA變換得到特征向量的投影系數(shù) 對文本進(jìn)行語法分析后表示成關(guān)于詞的特征向量機(jī)器學(xué)習(xí)系統(tǒng)結(jié)構(gòu)表示Boosting—concepts(3)弱學(xué)習(xí)機(jī)（weaklearner):對一定分布的訓(xùn)練樣本給出假設(shè)（僅僅強(qiáng)于隨機(jī)猜測）

根據(jù)有云猜測可能會下雨強(qiáng)學(xué)習(xí)機(jī)（stronglearner):根據(jù)得到的弱學(xué)習(xí)機(jī)和相應(yīng)的權(quán)重給出假設(shè)（最大程度上符合實際情況：almostperfectexpert)

根據(jù)CNN,ABC,CBS以往的預(yù)測表現(xiàn)及實際天氣情況作出綜合準(zhǔn)確的天氣預(yù)測弱學(xué)習(xí)機(jī)強(qiáng)學(xué)習(xí)機(jī)BoostingBoosting流程(loop1)強(qiáng)學(xué)習(xí)機(jī)弱學(xué)習(xí)機(jī)原始訓(xùn)練集加權(quán)后的訓(xùn)練集加權(quán)后的假設(shè)X>1?1:-1弱假設(shè)Boosting流程(loop2)強(qiáng)學(xué)習(xí)機(jī)弱學(xué)習(xí)機(jī)原始訓(xùn)練集加權(quán)后的訓(xùn)練集加權(quán)后的假設(shè)Y>3?1:-1弱假設(shè)Boosting流程(loop3)強(qiáng)學(xué)習(xí)機(jī)弱學(xué)習(xí)機(jī)原始訓(xùn)練集加權(quán)后的訓(xùn)練集加權(quán)后的假設(shè)Z>7?1:-1弱假設(shè)流程描述Step1:原始訓(xùn)練集輸入，帶有原始分布Step2:給出訓(xùn)練集中各樣本的權(quán)重Step3:將改變分布后的訓(xùn)練集輸入已知的弱學(xué)習(xí)機(jī)，弱學(xué)習(xí)機(jī)對每個樣本給出假設(shè)Step4:對此次的弱學(xué)習(xí)機(jī)給出權(quán)重Step5:轉(zhuǎn)到Step2,直到循環(huán)到達(dá)一定次數(shù)或者某度量標(biāo)準(zhǔn)符合要求Step6:將弱學(xué)習(xí)機(jī)按其相應(yīng)的權(quán)重加權(quán)組合形成強(qiáng)學(xué)習(xí)機(jī)核心思想樣本的權(quán)重沒有先驗知識的情況下，初始的分布應(yīng)為等概分布，也就是訓(xùn)練集如果有N個樣本，每個樣本的分布概率為1/N每次循環(huán)一后提高錯誤樣本的分布概率，分錯樣本在訓(xùn)練集中所占權(quán)重增大，使得下一次循環(huán)的弱學(xué)習(xí)機(jī)能夠集中力量對這些錯誤樣本進(jìn)行判斷。弱學(xué)習(xí)機(jī)的權(quán)重準(zhǔn)確率越高的弱學(xué)習(xí)機(jī)權(quán)重越高循環(huán)控制：損失函數(shù)達(dá)到最小在強(qiáng)學(xué)習(xí)機(jī)的組合中增加一個加權(quán)的弱學(xué)習(xí)機(jī)，使準(zhǔn)確率提高，損失函數(shù)值減小。簡單問題演示（Boosting訓(xùn)練過程）算法—問題描述訓(xùn)練集{(x1,y1),(x2,y2),…,(xN,yN)}xiRm,yi{-1,+1}Dt

為第t次循環(huán)時的訓(xùn)練樣本分布（每個樣本在訓(xùn)練集中所占的概率，Dt總和應(yīng)該為1）ht:X{-1,+1}為第t次循環(huán)時的Weaklearner，對每個樣本給出相應(yīng)的假設(shè)，應(yīng)該滿足強(qiáng)于隨機(jī)猜測：wt為ht的權(quán)重

為t次循環(huán)得到的Stronglearner算法—樣本權(quán)重思想：提高分錯樣本的權(quán)重反映了stronglearner對樣本的假設(shè)是否正確采用什么樣的函數(shù)形式？

算法—弱學(xué)習(xí)機(jī)權(quán)重思想：錯誤率越低，該學(xué)習(xí)機(jī)的權(quán)重應(yīng)該越大為學(xué)習(xí)機(jī)的錯誤概率采用什么樣的函數(shù)形式？

和指數(shù)函數(shù)遙相呼應(yīng)：算法--Adaboost理論分析--最優(yōu)化如何求弱學(xué)習(xí)機(jī)的權(quán)重？最基本的損失函數(shù)表達(dá)形式為了便于計算，采用以下的目標(biāo)函數(shù)Boosting的循環(huán)過程就是沿著損失函數(shù)的負(fù)梯度方向進(jìn)行最優(yōu)化的過程。通過調(diào)整樣本的分布Dt和選擇弱學(xué)習(xí)機(jī)的權(quán)重wt來達(dá)到這個目的。每循環(huán)一次，增加一項，使損失函數(shù)以最快速度下降。理論分析—熵映射給定當(dāng)前分布和選定的弱學(xué)習(xí)機(jī)，如何求下一次的分布？

Boosting的設(shè)計思想：改變分布，提高錯誤樣本概率，使下一次的弱學(xué)習(xí)機(jī)能夠集中精力針對那些困難樣本。調(diào)整分布后的訓(xùn)練集對當(dāng)前學(xué)習(xí)機(jī)具有最大的隨機(jī)性，正確率50%（恰好為隨機(jī)猜測）

理論分析—熵映射相對熵原理（最小鑒別信息原理）

已知隨機(jī)變量X（樣本集）的先驗分布（Dt），并且已知所求未知分布Dt+1滿足條件(Dt+1*Ut=0)，那么所求得的未知分布估計值具有如下形式：

物理意義：在只掌握部分信息的情況下要對分布作出判斷時，應(yīng)該選取符合約束條件但熵值取得最大的概率分布。從先驗分布到未知分布的計算應(yīng)該取滿足已知條件，不確定度（熵）變化最小的解。應(yīng)用—人臉識別應(yīng)用—人臉識別應(yīng)用—文本分類應(yīng)用—文本分類總結(jié)Boosting的思想源泉：三個臭皮匠，勝過諸葛亮將一系列粗略的規(guī)則加權(quán)組合起來得到高度精確的規(guī)則。Boosting的數(shù)學(xué)實質(zhì)：對目標(biāo)函數(shù)（損失函數(shù)）的最優(yōu)化問題。Boosting的理論聯(lián)系：最優(yōu)化熵映射Boosting的應(yīng)用人臉識別文本分類參考資料Internet站點

推薦論文ABriefIntroductiontoBoostingExperimentswithaNewBoostingAlgorithmAdditiveLogisticRegression:aStatisticalViewofBoostingTheBoosting