2024支持向量機講義

支持向量機支持向量機SupportVectorMachine要解決的問題：什么樣的決策邊界才是最好的呢？特征數(shù)據(jù)本身如果就很難分，怎么辦呢？計算復雜度怎么樣？能實際應用嗎？目標：基于上述問題對SVM進行推導SupportVectorMachine決策邊界：選出來離雷區(qū)最遠的（雷區(qū)就是邊界上的點，要LargeMargin）距離的計算數(shù)據(jù)標簽定義數(shù)據(jù)集：(X1,Y1)(X2,Y2)…(Xn,Yn)Y為樣本的類別：當X為正例時候Y=+1當X為負例時候Y=-1決策方程： （其中是對數(shù)據(jù)做了變換，后面繼續(xù)說）=> =>優(yōu)化的目標通俗解釋：找到一個條線（w和b），使得離該線最近的點（雷區(qū)）能夠最遠將點到直線的距離化簡得：（由于 所以將絕對值展開原始依舊成立）目標函數(shù)放縮變換：對于決策方程（w,b）可以通過放縮使得其結果值|Y|>=1=>（之前我們認為恒大于0，現(xiàn)在嚴格了些優(yōu)化目標：由于 ，只需要考慮 （目標函數(shù)搞定！）目標函數(shù)當前目標

1||??||

，約束條件：常規(guī)套路：將求解極大值問題轉(zhuǎn)換成極小值問題

??,??

1??22如何求解：應用拉格朗日乘子法求解拉格朗日乘子法帶約束的優(yōu)化問題： 原式轉(zhuǎn)換：我們的式子：（約束條件不要忘： ）SVM求解分別對w和b求偏導,分別得到兩個條件（由于對偶性質(zhì)）->對w求偏導：對b求偏導：SVM求解帶入原始：其中 完成了第一步求解SVM求解條件：極大值轉(zhuǎn)換成求極小值：條件：SVM求解實例數(shù)據(jù)：3個點，其中正例X1(3,3)，X2(4,3)，負例X3(1,1)求解：約束條件：SVM求解實例原式： ，將數(shù)據(jù)代入由于： 化簡可得：SVM求解實例分別對ɑ1和ɑ2求偏導，偏導等于0可得：（并不滿足約束條件，所以解應在邊界上）帶入原式=-0.153（不滿足約束帶入原式=-0.25 （滿足啦?。┳钚≈翟?0.25,0,0.25)處取得SVM求解實例將ɑ結果帶入求解??=

1?1?4

13,3?11,111223,3?11,11122,1?1?18+1?44?1 ?6??=???Σ?? ????

??)=1??? ??=1 ??

?? ??

=?2+2=0SVM求解實例支持向量：真正發(fā)揮作用的數(shù)據(jù)點，ɑ值不為0的點soft-margin軟間隔：有時候數(shù)據(jù)中有一些噪音點，如果考慮它們咱們的線就不太好了之前的方法要求要把兩類點完全分得開，這個要求有點過于嚴格了，我們來放松一點！為了解決該問題，引入松弛因子soft-margin新的目標函數(shù)：當C趨近于很大時：意味著分類嚴格不能有錯誤當C趨近于很小時：意味著可以有更大的錯誤容忍C是我們需要指定的一個參數(shù)！soft-margin拉格朗日乘子法：約束： 同樣的解法：低維不可分問題核變換：既然低維的時候不可分，那我給它映射到高維呢？低維不可分問題目標：