SVM線性與非線性支持向量機(jī)

1、支持向量機(jī)SVM 2015.11.25 主要內(nèi)容 數(shù)據(jù)線性可分的情況 數(shù)據(jù)非線性可分的情況 支持向量機(jī)(Support Vector Machine, SVM)一種對(duì)線性 和非線性數(shù)據(jù)進(jìn)行分類的方法。 SVM是一種算法，使用一種非線性映射，把原訓(xùn)練數(shù)據(jù)映 射到較高的維上；在新的維上，搜索最優(yōu)分離超平面。 數(shù)據(jù)線性可分的情況 首先考慮最簡(jiǎn)單的情況兩類問題，是線性可分的。 最佳標(biāo)準(zhǔn)：分類間隔 分類間隔：兩類樣本 中離分類面最近的樣 本到分類面的距離稱 作分類間隔。 數(shù)據(jù)線性可分的情況 如何找出最佳最佳超平面？ SVM通過搜索最大間隔超平面(Maximum Marginal Hyperplane,

2、MMH)來處理該問題。 分離超平面： 由最優(yōu)超平面定義的分類 決策函數(shù)為： 0g xWXb sgnfxg x 數(shù)據(jù)線性可分的情況 由點(diǎn)到線的距離公式可得： 從分離超平面到H1上的任意點(diǎn)的距離 是 1 W 因?yàn)閃是超平面的法向量，所以W實(shí) 際上只由在H1平面上的樣本點(diǎn)確定。 在H1上的點(diǎn)叫做支持向量，它們撐起 了分界線。 數(shù)據(jù)線性可分的情況 于是問題便轉(zhuǎn)換為了求 很容易看出當(dāng)|W|=0的時(shí)候就得到了目標(biāo)函數(shù)的最小值。 反映在圖中，就是H1與H2兩條直線間的距離無限大，所有 樣本都進(jìn)入了無法分類的灰色地帶。 解決方案：加一個(gè)約束條件對(duì)所有樣本正確分類 21 min 2 w 數(shù)據(jù)線性可分的情況 數(shù)據(jù)線性可分的情況 數(shù)據(jù)線性可分的情況 數(shù)據(jù)線性可分的情況 數(shù)據(jù)線性可分的情況 數(shù)據(jù)線性可分的情況 決策 數(shù)據(jù)線性可分的情況 改進(jìn)：加入 松弛變量 ：允許實(shí)際分類中一定的不準(zhǔn)確 性的存在 懲罰因子C：為了避免系統(tǒng)輕易放棄一些重要 的數(shù)據(jù)，減小系統(tǒng)損失 i 數(shù)據(jù)線性不可分的情況 對(duì)于上述的SVM，處理能力還是很弱，僅僅能處理線性可分的數(shù)據(jù)。如果數(shù) 據(jù)線性不可分的時(shí)候，我們就將低維的數(shù)據(jù)映射到更高的維低維的數(shù)據(jù)映射到更高的維，以此使數(shù)據(jù)重 新線性可分。這轉(zhuǎn)化的關(guān)鍵便是核函數(shù)核函數(shù)。 數(shù)據(jù)線性不可分的情況 數(shù)據(jù)線性不可分的情況 數(shù)據(jù)線性不可分的情況 數(shù)據(jù)線性不可分的情況 數(shù)據(jù)線性不可分的情況