SVM難點(diǎn)解讀.pptx

1、SVM難點(diǎn)解讀,助教：曹揚(yáng),直觀理解為何要最大化間隔,如右圖所示，假設(shè)我們已經(jīng)學(xué)習(xí)了一個(gè)模型，將平面線性分割為兩部分。 A離分界面很遠(yuǎn)，所以我們很有信心A的類型應(yīng)該是x。 C離分界面很近，很小的波動(dòng)就可能使它跑到分界面下方，所以我們對(duì)C的類型是x信心不大。,直觀理解為何要最大化間隔,總的來(lái)說(shuō)，一個(gè)點(diǎn)離分界面越遠(yuǎn)，我們對(duì)預(yù)測(cè)結(jié)果就越有信心。 因此，我們希望模型能讓所有訓(xùn)練數(shù)據(jù)都離分界面盡量遠(yuǎn)。 一個(gè)例子：某次考試以60分為界，高于60分定為優(yōu)生，低于60分定為差生。某學(xué)生成績(jī)?yōu)?0分，我們很有信心他是優(yōu)生；某學(xué)生成績(jī)?yōu)?5分，我們不太確定他確實(shí)為優(yōu)生。,SVM記號(hào)（接下來(lái)討論的基礎(chǔ)）,輸入為。

2、輸出為 1, 1 。（注意不是0, 1） 這樣，參數(shù)為(, )的SVM的表達(dá)式可寫(xiě)為 =( +) 其中 = 1, 0 1, 0 ，為系數(shù)，為截距（SVM中通常會(huì)把截距單獨(dú)表示出來(lái)，而不是在中加一項(xiàng)常數(shù)1以便用表示截距）。從表達(dá)式可知該SVM分界面為 +=0。,SVM中的概念（接下來(lái)討論的基礎(chǔ)）,函數(shù)間隔 幾何間隔,函數(shù)間隔,給定一個(gè)訓(xùn)練數(shù)據(jù)( , )，和參數(shù)為(, )的SVM，該訓(xùn)練數(shù)據(jù)在該SVM下的函數(shù)間隔定義為 () = ( () +) 從該表達(dá)式可以看出，當(dāng)和一定的時(shí)候，離分界面越遠(yuǎn)的訓(xùn)練數(shù)據(jù)函數(shù)間隔越大（可根據(jù) 的正負(fù)分情況討論得出）。,將上圖想象為一個(gè)3維空間。該SVM輸入為2維，因

3、此 = +為三維空間中一個(gè)平面。,分界面即為 +=0，也就是 = +與水平面相交形成的直線。,比較A點(diǎn)和B點(diǎn)的函數(shù)間隔,可見(jiàn)A的函數(shù)間隔較大,函數(shù)間隔,但是，函數(shù)間隔并不適合作為優(yōu)化的依據(jù)。假設(shè)我們把和都擴(kuò)大為原來(lái)2倍，由函數(shù)間隔的定義可知，函數(shù)間隔也會(huì)擴(kuò)大為原來(lái)2倍。但這樣的擴(kuò)大是沒(méi)有意義的，因?yàn)镾VM的分界面并沒(méi)有變（依然是 +=0）。 所以，我們需要在滿足某種歸一化條件的基礎(chǔ)上來(lái)最大化函數(shù)間隔。通常這個(gè)歸一化條件是|=1。這就是幾何間隔的定義。,分界面沒(méi)有變化，函數(shù)間隔擴(kuò)大為原來(lái)2倍，沒(méi)有意義。,幾何間隔,當(dāng)我們限制|=1時(shí)，函數(shù)間隔就是幾何間隔。 （可以想象為固定 = +平面與水平面的

4、夾角為45，此時(shí)構(gòu)成的三角形為等腰直角三角形，函數(shù)間隔與幾何間隔分別為兩條腰，所以相等） 從右圖可以看出。幾何間隔，其實(shí)就是點(diǎn)到分界面的距離。（這也是幾何間隔的定義） SVM要最大化間隔，需要的是最大化幾何間隔，也就是最大化|=1時(shí)的函數(shù)間隔。,函數(shù)間隔,幾何間隔,一個(gè)等腰直角三角形,如何最大化幾何間隔,最大化幾何間隔，是指通過(guò)調(diào)整SVM的兩個(gè)模型參數(shù)（和），來(lái)使得所有訓(xùn)練數(shù)據(jù)中最小的幾何間隔（注意，每個(gè)訓(xùn)練數(shù)據(jù)都有自己的幾何間隔）最大。 翻譯為數(shù)學(xué)表達(dá)式，可得,max , s.t. + , =1, |=1,上式中是我們優(yōu)化的對(duì)象。第一個(gè)限制條件說(shuō)明所有訓(xùn)練數(shù)據(jù)的間隔都大等于，第二個(gè)限制條件說(shuō)明這里的間隔是幾何間隔。,如何最大化幾何間隔,上述表達(dá)式直接求解很困難。 通過(guò)一定的轉(zhuǎn)化（大家可以自行嘗試），我們可以得到右圖中的表達(dá)式。 然后就可以用最優(yōu)化的方法來(lái)解決該問(wèn)題（超出本課程討論范