《機器學(xué)習(xí)分類算法綜述》1400字

機器學(xué)習(xí)分類算法綜述1.1支持向量機分類算法支持向量機REF_Ref68554841\r\h[28]REF_Ref68554842\r\h[29]（SVM）算法是傳統(tǒng)機器學(xué)習(xí)算法的代表，是由廣義的肖像算法發(fā)展而來。其分類模式就是找到一個超平面，在分開兩類樣本的同時，盡可能是分離間隔最大，使得超平面的魯棒性最佳。設(shè)訓(xùn)練集為，得超平面。（2.1）其中：和分別為系數(shù)和偏置，T中所有元素滿足下式。（2.2）為求最優(yōu)的，將線性方程組轉(zhuǎn)化成相應(yīng)的對偶問題[28,29]，建立凸二次規(guī)劃。（2.3）其中：為解中每一個點對應(yīng)拉格朗日乘子，，求解得，計算得到，。（2.4）（2.5）（2.6）（2.7）1.4K近鄰算法K近鄰算法REF_Ref68554984\r\h[33]（K-NearestNeighbor）是屬于數(shù)據(jù)挖掘中非常簡單的一種算法，分類方法就是用兩點間距離去衡量的。K近鄰算法的核心思想是把所有的樣本放到同一個空間內(nèi)，和它相距不超過K的距離的都會判定為同一個類別。K近鄰算法計算方式比較簡單，但是耗時間。算法示意圖如圖2.3所示。圖2.3K近鄰算法K近鄰算法發(fā)展較早，是一種比較成熟的分類算法，它在進行分類的時候，只與少數(shù)的距離比較近的樣本有關(guān)聯(lián)，所以它適合的樣本集也是需要有特定特征的，例如交叉或者重疊比較多的分類樣本集。易于弄懂，容易實現(xiàn)，但其劣勢之處在于你如果新加入一個新樣本時，會打破原有的平衡，很容易導(dǎo)致分類結(jié)果發(fā)生錯誤。另外一個劣勢就是在于對于每一個樣本，每兩個樣本都需要計算一次距離，計算量很大，時間成本高，這也是K近鄰算法應(yīng)用在情感分析較少的原因。1.2XGBoost分類算法XGBoost作為集成學(xué)習(xí)的代表，有著其獨到的優(yōu)勢，大家都說單一決策樹的泛化能力比較弱，很容易發(fā)生過擬合，但是XGBoost就完完全全沒有這個弱點。這一算法一經(jīng)陳天奇提出以后，引發(fā)了各大公司的廣泛應(yīng)用，而且在各大類數(shù)據(jù)競賽中表現(xiàn)良好，成為公司和學(xué)者的寵兒?；贐oosting的算法每個分類器之前都有著千絲萬縷的聯(lián)系，所以算法的核心都是為了讓真實值和預(yù)測值差距更小，XGBoost就是通過其獨到的方式，產(chǎn)生多棵樹，而且不斷增加，最后將所有樹的分數(shù)加起來作為最后的預(yù)測值，而且所有算法都要求泛化能力，這也是衡量一個算法的好壞，所以這其實也是一個泛函最優(yōu)化問題。首先設(shè)算法目標函數(shù)如（2.8）所示。（2.8）為損失函數(shù)。為正則項函數(shù)。為L2正則項，其中是權(quán)重，通過L2為懲罰項，為了防止過擬合，加強泛化能力而設(shè)置。基于Boosting思想每次分裂都引入一個基分類器去優(yōu)化損失函數(shù)，得目標函數(shù)為（2.9）式。（2.9）二階泰勒展開式如（2.10）式。（2.10）對目標函數(shù)做二階泰勒展開可以得到：（2.11）其中：和分別為和。是定值，計算可得到（2.12）式。（2.12）由于每一個基分類器都對應(yīng)一個葉子結(jié)點，則目標函數(shù)可以簡化為（2.13）式。（2.13）通過對求導(dǎo)等于0，可以得到目標函數(shù)的最優(yōu)權(quán)重，如（2.14）式。（2.14）將帶入目標函數(shù)得到（2.13）式。（2.15）1.3樸素貝葉斯在介紹樸素貝葉斯時REF_Ref68554952\r\h[32]，首先就是要弄清楚他的理論。樸素貝葉斯也屬于分類算法，對于所有分類算法來說，目的都是看分類的準確率，而貝葉斯分類是利用概率和來進行分類判別。對于類別分類任務(wù)，記類別為，計算得期望損失。（2.16）根據(jù)貝葉斯判定準則，只要每個樣本風險最小，那么最后的加和風險也就達到最低值，可以得到（2.18）式。（2.17）此時，稱為貝葉斯最佳分類器。如果我的目標是最小化分類錯誤率，就會選擇后驗概率作為標記，貝葉斯最佳分類器可表示為（2.19）式。（2.18）樸素貝葉斯就是貝葉斯這個理論大廈的基石，樸素貝葉斯是假定個樣本相互獨立的，但是事實上很多樣