支持向量機學習總結(jié)

1、商柳 2013.1.17Vladimir Vapnik和Corinna Cortes于1995年首先提出支持向量：簡單來說，就是支持或支撐平面上把兩類類別劃分開來的超平面的向量點機（machine,機器）：算法。在機器學習領域，常把一些算法看做是一個機器，如分類機(也叫做分類器)，而支持向量機本身便是一種監(jiān)督式學習的方法，它廣泛的應用于統(tǒng)計分類以及回歸分析中。在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢y=1y=-1函數(shù)間隔(Functional Margin) 定義函數(shù)間隔為： 定義超平面(w，b)關于訓練數(shù)據(jù)集T的函數(shù)間隔為：超平面(w，b)關于T中所有樣本點(xi，yi)的函

2、數(shù)間隔最小值 問題：當w和b成倍增加時幾何間隔（Geometrical Margin） 對法向量w加些約束條件，使其表面上看起來規(guī)范化 點到超平面的距離目標函數(shù) SVM SVM 通過使用通過使用最大間最大間隔分類器來隔分類器來設計設計決策決策最最優(yōu)分類優(yōu)分類超平面超平面 支撐兩個超平面的點支撐兩個超平面的點叫做支持向量叫做支持向量supportsupportvectorvector使用通用的QP優(yōu)化包來求解通過拉格朗日對偶變換到對偶變量進行求解 更加高效簡單的求解方法 可以很自然地引入核函數(shù)，進而推廣到非線性分類問題問題滿足KKT條件，所以d*=p*得到關于a的優(yōu)化問題：SMO算法這里的形式的

3、有趣之處在于，對于新點x 的預測，只需要計算它與訓練數(shù)據(jù)點的內(nèi)積即可（這里 , 表示向量內(nèi)積）所有非 Supporting Vector 所對應的系數(shù) 都是等于零的，因此對于新點的內(nèi)積計算實際上只要針對少量的“支持向量”而不是所有的訓練數(shù)據(jù)即可。前面介紹了SVM處理線性可分的情況對于非線性情況： 選擇一個核函數(shù) ( , ) ，通過將數(shù)據(jù)映射到高維空間，來解決在原始空間中線性不可分的問題假設原始的數(shù)據(jù)是非線性的，我們通過一個映射 ?( ) 將其映射到一個高維空間中，數(shù)據(jù)變得線性可分了 維數(shù)呈爆炸性增長，出現(xiàn)計算問題 其實只關心在高維空間中內(nèi)積的值核函數(shù)：接受兩個低維空間里的向量，能夠計算出經(jīng)過某

4、個變換后在高維空間里的向量內(nèi)積值映射到高維空間之后還是線性不可分不是數(shù)據(jù)本身的非線性結(jié)構，outliersSVM允許一些點到分類平面的距離不滿足原先的要求(軟間隔)其中 被稱為松弛變量目標函數(shù)變?yōu)?其中C 是一個參數(shù)，用于控制目標函數(shù)中兩項（“尋找 margin 最大的超平面”和“保證數(shù)據(jù)點偏差量最小”）之間的權重需要求解的優(yōu)化問題變?yōu)橹С窒蛄繖C就是使用了核函數(shù)的軟間隔線性分類法由Microsoft Research的John C. Platt在1998年提出，并成為最快的二次規(guī)劃優(yōu)化算法特別針對線性SVM和數(shù)據(jù)稀疏時性能更優(yōu)Sequential Minimal Optimization A Fast Al