《集成學(xué)習(xí)方法綜述》1400字

集成學(xué)習(xí)方法綜述隨著科學(xué)技術(shù)的飛速發(fā)展，需要解決的實(shí)際任務(wù)越來(lái)越復(fù)雜，因此產(chǎn)生一種具有較強(qiáng)泛化能力的分類器成為研究者面臨的一項(xiàng)具有挑戰(zhàn)性的任務(wù)，實(shí)驗(yàn)表明在大多數(shù)情況下，多個(gè)基學(xué)習(xí)器結(jié)合起來(lái)的犯法能力會(huì)更好相比于單個(gè)學(xué)習(xí)器。事實(shí)上，集成學(xué)習(xí)之所以被人們廣泛使用原因在于一個(gè)預(yù)測(cè)性能比較差的學(xué)習(xí)器經(jīng)過(guò)一定的結(jié)合策略可以提高其性能使變成一個(gè)強(qiáng)學(xué)習(xí)器預(yù)測(cè)性能變強(qiáng)，所以基學(xué)習(xí)器通常也被稱為弱學(xué)習(xí)器ADDINEN.CITE<EndNote><Cite><Author>SánchezCrisostomo</Author><Year>2014</Year><RecNum>81</RecNum><DisplayText><styleface="superscript">[33,34]</style></DisplayText><record><rec-number>81</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615226267">81</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>SánchezCrisostomo,Juan</author><author>Alejo,Roberto</author><author>LópezGonzález,Erika</author><author>Valdovinos,Rosa</author><author>PachecoSánchez,J</author></authors></contributors><titles><title>EmpiricalAnalysisofAssessmentsMetricsforMulti-classImbalanceLearningontheBack-PropagationContext</title></titles><dates><year>2014</year></dates><urls></urls></record></Cite><Cite><Author>Zhai</Author><Year>2017</Year><RecNum>82</RecNum><record><rec-number>82</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615226298">82</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Zhai,Junhai</author><author>Zhang,Sufang</author><author>Wang,Chenxi</author></authors></contributors><titles><title>TheclassificationofimbalancedlargedatasetsbasedonMapReduceandensembleofELMclassifiers</title><secondary-title>InternationalJournalofMachineLearning&Cybernetics</secondary-title></titles><periodical><full-title>InternationalJournalofMachineLearning&Cybernetics</full-title></periodical><pages>1009-1017</pages><volume>8</volume><number>3</number><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[33,34]，集成學(xué)習(xí)過(guò)程如圖2.1所示。圖2.SEQ圖2.\*ARABIC3 集成學(xué)習(xí)過(guò)程示意圖集成學(xué)習(xí)是機(jī)器學(xué)習(xí)算法之一，應(yīng)用范圍十分廣泛，涉及到的領(lǐng)域眾多，許多學(xué)者對(duì)集成學(xué)習(xí)的研究日益深入。關(guān)于集成學(xué)習(xí)的研究熱點(diǎn)可以歸結(jié)兩種，一是Hansen和SalamonADDINEN.CITE<EndNote><Cite><Author>Hansen</Author><Year>2002</Year><RecNum>75</RecNum><DisplayText><styleface="superscript">[35,36]</style></DisplayText><record><rec-number>75</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615225503">75</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Hansen,L.K.</author><author>Salamon,Peter</author></authors></contributors><titles><title>Neuralnetworkensembles</title><secondary-title>IEEETransactionsonPatternAnalysis&MachineIntelligence</secondary-title></titles><periodical><full-title>IEEETransactionsonPatternAnalysis&MachineIntelligence</full-title></periodical><pages>993-1001</pages><volume>12</volume><number>10</number><dates><year>2002</year></dates><urls></urls></record></Cite><Cite><Author>Kearns</Author><Year>1994</Year><RecNum>77</RecNum><record><rec-number>77</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615225614">77</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Kearns,MichaelJ.</author><author>Li,Ming</author><author>Valiant,LeslieG.</author></authors></contributors><titles><title>LearningBooleanFormulae</title><secondary-title>JournaloftheAcm</secondary-title></titles><periodical><full-title>JournaloftheAcm</full-title></periodical><pages>1298-1328</pages><volume>41</volume><number>6</number><dates><year>1994</year></dates><urls></urls></record></Cite></EndNote>[35,36]提出的由一組分類器組合而成的預(yù)測(cè)結(jié)果通常比最好的一個(gè)分類器的預(yù)測(cè)結(jié)果更為準(zhǔn)確一點(diǎn)。另一個(gè)是Schapire的結(jié)論，他認(rèn)為弱學(xué)習(xí)器可以被提升為強(qiáng)學(xué)習(xí)器ADDINEN.CITE<EndNote><Cite><Author>Schapire</Author><Year>1989</Year><RecNum>78</RecNum><DisplayText><styleface="superscript">[37]</style></DisplayText><record><rec-number>78</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615225736">78</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Schapire,R.E.</author></authors></contributors><titles><title>Thestrengthofweaklearnability</title><secondary-title>ProceedingsoftheSecondAnnualWorkshoponComputationalLearningTheory</secondary-title></titles><periodical><full-title>ProceedingsoftheSecondAnnualWorkshoponComputationalLearningTheory</full-title></periodical><pages>197-227</pages><volume>5</volume><number>2</number><dates><year>1989</year></dates><urls></urls></record></Cite></EndNote>[37]。集成學(xué)習(xí)的思想主要是基于集合的泛化能力通常強(qiáng)于單個(gè)學(xué)習(xí)器這一理論基礎(chǔ)，Dieterich給出了以下三個(gè)解釋：第一，訓(xùn)練數(shù)據(jù)集不能為選擇一個(gè)最佳學(xué)習(xí)器提供足夠的信息；二是搜索過(guò)程中的學(xué)習(xí)算法可能不完善；第三是假設(shè)被搜索的空間可能不包含真實(shí)的目標(biāo)函數(shù)。集成學(xué)習(xí)主要分為兩個(gè)過(guò)程：訓(xùn)練弱學(xué)習(xí)器和有選擇地將各個(gè)基學(xué)習(xí)器組合成強(qiáng)學(xué)習(xí)器。所以如何選擇學(xué)習(xí)算法和訓(xùn)練數(shù)據(jù)集，并對(duì)所選算法進(jìn)行參數(shù)化，使學(xué)習(xí)能力較弱的學(xué)習(xí)器盡可能多樣化以及如何根據(jù)基學(xué)習(xí)器的不同輸出最終確定學(xué)習(xí)結(jié)果是集成學(xué)習(xí)的重點(diǎn)。為了提高基學(xué)習(xí)器的多樣性，目前普遍采用以下幾種方法訓(xùn)練，第一種是對(duì)于不同的基學(xué)習(xí)器我們通常采用不同的學(xué)習(xí)算法進(jìn)行訓(xùn)練，或者對(duì)每個(gè)學(xué)習(xí)器使用不同參數(shù)設(shè)置來(lái)訓(xùn)練；第二種是用不同的數(shù)據(jù)集訓(xùn)練基學(xué)習(xí)器，例如對(duì)訓(xùn)練樣本進(jìn)行二次抽樣，對(duì)屬性進(jìn)行操作。第三種方法就是上述兩種方法的混合即同時(shí)使用多種機(jī)制?？赡軙?huì)認(rèn)為使用更多的基學(xué)習(xí)器會(huì)帶來(lái)更好的效果，然而，Zhou等人證明了在生成一組基礎(chǔ)學(xué)習(xí)者后，選擇部分基學(xué)習(xí)器而不是全部基學(xué)習(xí)器組成一個(gè)整體效果更好ADDINEN.CITE<EndNote><Cite><Author>Zhou</Author><Year>2002</Year><RecNum>152</RecNum><DisplayText><styleface="superscript">[38]</style></DisplayText><record><rec-number>152</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1620376665">152</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Zhou,Z.H.</author><author>Wu,J.</author><author>Tang,W.</author></authors></contributors><titles><title>Ensemblingneuralnetworks:Manycouldbebetterthanall</title><secondary-title>ArtificialIntelligence</secondary-title></titles><periodical><full-title>ArtificialIntelligence</full-title></periodical><pages>239-263</pages><volume>137</volume><number>1–2</number><dates><year>2002</year></dates><urls></urls></record></Cite></EndNote>[38]。集成學(xué)習(xí)中最具代表的就是Boosting和Bagging兩種算法。（1）Boosting算法 Boosting算法是一個(gè)監(jiān)督分類方法，將多個(gè)弱學(xué)習(xí)器結(jié)合成為一個(gè)強(qiáng)學(xué)習(xí)器，具體步驟包括在：給每個(gè)樣本賦予相等的權(quán)重，所有基學(xué)習(xí)器的訓(xùn)練在一個(gè)循環(huán)中完成，在循環(huán)過(guò)程中，選擇一個(gè)學(xué)習(xí)算法進(jìn)行訓(xùn)練，計(jì)算當(dāng)前基學(xué)習(xí)器在這個(gè)數(shù)據(jù)集上產(chǎn)生的錯(cuò)誤率以此來(lái)確定該基學(xué)習(xí)器的權(quán)重，最后不斷調(diào)整這個(gè)樣本的權(quán)重，調(diào)整權(quán)重的目的將那些分類錯(cuò)誤的數(shù)據(jù)進(jìn)性調(diào)整使其下一輪分類正確，經(jīng)過(guò)多次訓(xùn)練后得到一個(gè)效果好的學(xué)習(xí)器。圖2.SEQ圖2.\*ARABIC4 Boosting算法族的框架（2）Bagging算法 利用不同的數(shù)據(jù)訓(xùn)練個(gè)體學(xué)習(xí)器是提高基學(xué)習(xí)器多樣性的一種有效途徑，Bagging算法就是受這個(gè)思想的啟發(fā)，1996年Breimen提出BaggingADDINEN.CITE<EndNote><Cite><Author>Bbeiman</Author><Year>2010</Year><RecNum>153</RecNum><DisplayText><styleface="superscript">[39]</style></DisplayText><record><rec-number>153</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1620377939">153</key></for