常見算法的優(yōu)缺點比較

常見算法的優(yōu)缺點比較機(jī)器學(xué)習(xí)算法數(shù)不勝數(shù)，要想找到一個合適的算法并不是一件簡單的事情。通常在對精度要求較高的情況下，最好的方法便是通過交叉驗證來對各個算法一一嘗試，進(jìn)行比較后再調(diào)整參數(shù)以確保每個算法都能達(dá)到最優(yōu)解，并從優(yōu)中擇優(yōu)。但是每次都進(jìn)行這一操作不免過于繁瑣，下面小編來分析下各個算法的優(yōu)缺點，以助大家有針對性地進(jìn)行選擇，解決問題。1.樸素貝葉斯樸素貝葉斯的思想十分簡單，對于給出的待分類項，求出在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率，以概率大小確定分類項屬于哪個類別。優(yōu)點：1）樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，因此有著堅實的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率；2）算法較簡單，常用于文本分類；3）對小規(guī)模的數(shù)據(jù)表現(xiàn)很好，能夠處理多分類任務(wù)，適合增量式訓(xùn)練。缺點：1）需要計算先驗概率；2）對輸入數(shù)據(jù)的表達(dá)形式很敏感；3）分類決策存在錯誤率。2.邏輯回歸優(yōu)點：1）實現(xiàn)簡單，廣泛地應(yīng)用于工業(yè)問題上；2）可以結(jié)合L2正則化解決多重共線性問題；3）分類時計算量非常小，速度很快，存儲資源低；缺點：1）不能很好地處理大量多類特征或變量；2）容易欠擬合，一般準(zhǔn)確度較低；3）對于非線性特征，需要進(jìn)行轉(zhuǎn)換；4）當(dāng)特征空間很大時，邏輯回歸的性能不是很好；5）只能處理兩分類問題（在該基礎(chǔ)上衍生出來的softmax可以用于多分類），且必須線性可分。3.線性回歸線性回歸與邏輯回歸不同，它是用于回歸的，而不是用于分類。其基本思想是用梯度下降法對最小二乘法形式的誤差函數(shù)進(jìn)行優(yōu)化。優(yōu)點：實現(xiàn)簡單，計算簡單；缺點：不能擬合非線性數(shù)據(jù)。4.最近鄰算法優(yōu)點：1）對數(shù)據(jù)沒有假設(shè)，準(zhǔn)確度高；2）可用于非線性分類；3）訓(xùn)練時間復(fù)雜度為O(n)；4）理論成熟，思想簡單，既可以用來做分類也可以用來做回歸。缺點：1）計算量大；2）需要大量的內(nèi)存；3）樣本不平衡問題（即有些類別的樣本數(shù)量很多，而其它樣本的數(shù)量很少）。5.決策樹優(yōu)點：1）能夠處理不相關(guān)的特征；2）在相對短的時間內(nèi)能夠?qū)Υ笮蛿?shù)據(jù)源做出可行且效果良好的分析；3）計算簡單，易于理解，可解釋性強(qiáng)；4）比較適合處理有缺失屬性的樣本。缺點：1）忽略了數(shù)據(jù)之間的相關(guān)性；2）容易發(fā)生過擬合（隨機(jī)森林可以很大程度上減少過