《機(jī)器學(xué)習(xí)項目案例開發(fā)》課件 13.1集成算法-隨機(jī)森林

人工智能技術(shù)與應(yīng)用13.集成算法概述課程概況—基本情況PART01集成算法什么是集成算法常用的集成算法集成算法的對比集成算法的概念集成算法(ensemblelearning)：集成學(xué)習(xí):集成學(xué)習(xí)是通過構(gòu)建并結(jié)合多個學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)，如右圖所示，其過程是：先產(chǎn)生一組“個體學(xué)習(xí)器”，再用某種策略將它們結(jié)合起來。個體學(xué)習(xí)器:決策樹，神經(jīng)網(wǎng)絡(luò)等。同質(zhì)和異質(zhì)同質(zhì)，個體學(xué)習(xí)器全是同一類型，這時個體學(xué)習(xí)器又稱“基學(xué)習(xí)器”；異質(zhì)是指個體學(xué)習(xí)器包含不同類型得學(xué)習(xí)算法。一般我們常用的都是同質(zhì)的，即個體學(xué)習(xí)器都是同一類型的參考：https:///u012328159/article/details/89740430

集成算法的概念Bagging模型Bagging模型(bootstrapaggregation)：原理：并行訓(xùn)練多個分類器，相互獨立的隨機(jī)的建立多個模型典型應(yīng)用：隨機(jī)森林隨機(jī)：特征隨機(jī)采樣、數(shù)據(jù)隨機(jī)采樣關(guān)注點：從偏差-方差分解的角度，關(guān)注降低方差Bagging模型(bootstrapaggregation)：原理：并行訓(xùn)練多個分類器，相互獨立的隨機(jī)的建立多個模型自助采樣(bootstrapsampling)：對數(shù)據(jù)集D做隨機(jī)采樣，每一個樣本每次被抽樣的概率相同，且每次抽完之后放回。包括隨機(jī)選擇數(shù)據(jù)和特征。

Bagging

Bagging基于自助采樣法，通過多次自助采樣得到不同的訓(xùn)練集，并基于訓(xùn)練集得到基學(xué)習(xí)器，最后再將這些基學(xué)習(xí)器的預(yù)測結(jié)果結(jié)合，得到最終的學(xué)習(xí)器的預(yù)測。一般在分類問題中，采用簡單投票法結(jié)合預(yù)測結(jié)果，在回歸問題中則采用簡單平均法。關(guān)注點：從偏差-方差分解的角度，關(guān)注降低方差Bagging模型Bagging實現(xiàn)步驟：實現(xiàn)步驟：輸入：數(shù)據(jù)集D，訓(xùn)練輪數(shù)T輸出：最終預(yù)測模型G(1)迭代訓(xùn)練基學(xué)習(xí)器：a.從數(shù)據(jù)集D中自助采樣得到訓(xùn)練集D'b.通過訓(xùn)練集D'訓(xùn)練得到基學(xué)習(xí)器C(2)組合預(yù)測結(jié)果：Bagging模型Random

Forest隨機(jī)森林(Random

Forest)：隨機(jī)森林：隨機(jī)森林是一個包含多個決策樹的分類器，并且其輸出的類別是由個別樹輸出的類別的眾數(shù)而定。Treee：單個的決策樹絕對多數(shù)投票法Majorityvoting就是將樣本X,訓(xùn)練出不同的模型,然后進(jìn)行測試,進(jìn)行投票,得票最多的模型則被被認(rèn)為是最好.隨機(jī)森林(RandomForest)：數(shù)據(jù)的隨機(jī)抽樣：從原始的數(shù)據(jù)集中采取有放回的抽樣，構(gòu)造子數(shù)據(jù)集，子數(shù)據(jù)集的數(shù)據(jù)量是和原始數(shù)據(jù)集相同的。不同子數(shù)據(jù)集的元素可以重復(fù)，同一個子數(shù)據(jù)集中的元素也可以重復(fù)。第二，利用子數(shù)據(jù)集來構(gòu)建子決策樹，將這個數(shù)據(jù)放到每個子決策樹中，每個子決策樹輸出一個結(jié)果。如圖3，假設(shè)隨機(jī)森林中有3棵子決策樹，2棵子樹的分類結(jié)果是A類，1棵子樹的分類結(jié)果是B類，那么隨機(jī)森林的分類結(jié)果就是A類。Random

Forest隨機(jī)森林(RandomForest)：特征的隨機(jī)抽樣：與數(shù)據(jù)集的隨機(jī)選取類似，隨機(jī)森林中的子樹的每一個分裂過程并未用到所有的待選特征，而是從所有的待選特征中隨機(jī)選取一定的特征，之后再在隨機(jī)選取的特征中選取最優(yōu)的特征。這樣能夠使得隨機(jī)森林中的決策樹都能夠彼此不同，提升系統(tǒng)的多樣性，從而提升分類性能。Random

Fores