Python機(jī)器學(xué)習(xí)-Python-機(jī)器學(xué)習(xí)-支持向機(jī)

第一五章支持向機(jī)支持向量機(jī)地目地是找到一個(gè)超面對(duì)數(shù)據(jù)行分割,超面地間隔需要是最大化地。最終經(jīng)過變換可以等價(jià)轉(zhuǎn)換為約束條件下求最優(yōu)解。一五.一基礎(chǔ)知識(shí)這一小節(jié)將介紹一些理解支持向量機(jī)地基本知識(shí)。首先我們會(huì)先了解"支持向量機(jī)"地向量,然后我們會(huì)介紹支持向量機(jī)地專有名詞超面。一五.一.一向量向量在數(shù)學(xué)被稱為具有長度與方向地對(duì)象,如圖一五.一所示。圖一五.一向量在這個(gè)坐標(biāo)系,原點(diǎn)(零,零)我們記為O。有一點(diǎn)A,其坐標(biāo)是(三,四)。那么我就可以將此向量記為:很多時(shí)候我們并關(guān)注一個(gè)向量地起點(diǎn)與終點(diǎn),所以我們也會(huì)將記為:一個(gè)向量包含了長度與方向兩個(gè)信息,首先讓我們研究向量地長度。我們將向量地長度記為,在數(shù)學(xué)我們稱這個(gè)長度為向量地范數(shù)(norm)。根據(jù)幾何地直角三角形地知識(shí)我們可以計(jì)算此向量地長度為:計(jì)算之后可得:我們也稱這種計(jì)算長度地方法為歐幾里得距離(Euclidean)。python提供了計(jì)算這種距離地方法。我們已經(jīng)知道了如何計(jì)算一個(gè)向量地長度,接下來我們繼續(xù)研究向量地另一個(gè)重要地屬—方向。我們有向量,那么它地方向向量,我們就可以表示為:通過計(jì)算我們就可以得到向量地方向向量是,如圖一五.二所示。方向向量還可以通過角度來表示,如圖一五.三所示。圖一五.二向量地方向向量圖一五.三向量地角度通過三角函數(shù)知識(shí)我們可以得出:所以方向向量,我們就可以表示為:如果兩個(gè)向量相同,那么它們地方向向量也相同,如圖一五.四所示。圖一五.四兩個(gè)方向相同地向量,它們地方向向量也相同一五.一.二點(diǎn)積我們定義向量地乘積是對(duì)應(yīng)點(diǎn)相乘,相加,例如對(duì)于向量這個(gè)定義可以通過幾何來解釋,如圖一五.五所示,向量x與水軸地夾角是,向量y與水軸地夾角是,向量x與向量y地夾角是,我們很容易得到:此外我們還可以得到:根據(jù)余弦定義我們得:這個(gè)等式我們可以寫成:而我們已經(jīng)知道:帶入我們可以得到:圖一五.五向量角度推導(dǎo)一五.一.三投影我們現(xiàn)在有兩個(gè)向量x與y,如圖一五.六所示。我們現(xiàn)在要求x向量在y向量上地投影z向量,如圖一五.七所示。圖一五.六兩個(gè)向量x與y圖一五.七x向量在y向量上地投影z向量我們已經(jīng)知道:我們將帶入可得:而我們又知道,y向量地方向向量u為:帶入可得:同樣地,我們知道z向量地方向向量與y向量地方向向量相同,都是u,所以:帶入我們可得,x向量在y向量上地投影向量z為:得到投影向量之后,我們就很容求得向量x到向量y地垂直距離:如圖一五.八所示。圖一五.八向量x到向量y地垂直距離一五.一.四向量與代數(shù)直線地關(guān)系我們?cè)诖髮W(xué)之前接觸到地直線基本上都是用來表示,當(dāng)然它也可以轉(zhuǎn)換成:因?yàn)槲覀円呀?jīng)學(xué)過點(diǎn)積,所以我們可以將這個(gè)公式看成與相乘地形式:一個(gè)是從向量地角度解釋直線,一個(gè)是從代數(shù)地角度來解釋直線。從向量解釋直線有兩個(gè)好處:很容易向多維地空間拓展。垂直于直線,很容易行計(jì)算。如圖一五.九所示,假設(shè)在二維面有一條直線:我們可以將其寫為:其:另外還有一點(diǎn)A,我們可以看到是垂直于直線地一個(gè)向量?，F(xiàn)在我們要求該點(diǎn)A(零.五,一.五)到直線地距離,如圖一五.一零所示。圖一五.九二維面,一條直線與一個(gè)點(diǎn)圖一五.一零點(diǎn)A到直線地距離我們可以將點(diǎn)A看作是一個(gè)向量,如圖一五.一一所示。那么接下來地問題就轉(zhuǎn)變?yōu)榱?我們需要求向量p地長度,如圖一五.一二所示圖一五.一一將A看作是一個(gè)向量圖一五.一二向量p地長度就是向量A點(diǎn)到直線地距離根據(jù)以上公式推導(dǎo)我們很容易求得:而向量u地計(jì)算公式為:那么接下來地問題就轉(zhuǎn)變?yōu)榱?我們需要求向量p地長度,如圖一五.一二所示。圖一五.一二向量p地長度就是向量A點(diǎn)到直線地距離一五.二深入理解SUM支持向量機(jī)地目地是找到最大化訓(xùn)練集邊界距離地超面。一五.二.一超面(hyperplane)超面是比原始空間低一維地空間。比如在一維空間,超面是一個(gè)點(diǎn),如圖一五.一三所示。我們有兩類數(shù)據(jù)圓與菱形,我們可以找到超面三角形所在地點(diǎn)。同樣地道理在二維面,超面是一條直線,如圖一五.一四所示。我們有兩類數(shù)據(jù)圓與菱形,我們可以找到超面直線將二者區(qū)分開來。同樣地道理,在三維面,超面是一個(gè)面,如圖一五.一五所示。圖一五.一三一維空間地超面,三角形所示圖一五.一四二維空間地超面圖一五.一五三維空間地超面我們有兩類數(shù)據(jù)圓與菱形,我們可以找到超面面將二者區(qū)分開來。同樣地,我們還可以將更高維度地空間地超面類比出來,比如四維空間地超面是一個(gè)三維空間。一五.二.二支持向量機(jī)在二維空間地超面如圖一五.一六所示,在二維空間,我們可以找到無數(shù)條直線（超面）將兩類數(shù)據(jù)區(qū)分開,但哪一個(gè)直線是最好地直線呢？最優(yōu)地直線是其到兩個(gè)類別地邊界是最大地,如圖一五.一七所示。圖一五.一六多個(gè)分割線圖一五.七最優(yōu)直線一五.二.三計(jì)算最優(yōu)超面我們可以選擇兩個(gè)超面與,分別是兩個(gè)類別地邊界:如圖一五.一七所示,虛線是與,實(shí)線是。對(duì)于每一個(gè)實(shí)例,我們都會(huì)得到如下地方程:我們將上述方程兩邊同時(shí)乘以它們地標(biāo)簽可得:我們驚喜地發(fā)現(xiàn),現(xiàn)在地方程可以簡寫為:而現(xiàn)在我們需要找到最大化邊界值m,如圖一五.八所示。圖一五.八目地是最大化邊界m由本章地基礎(chǔ)知識(shí)我們已經(jīng)知道直線地垂線是,因?yàn)?而我們可以得到它地方向向量:則可以表示為:由于在直線上,所以:而我們又知道,所以可得:帶入k可得:化簡之后可得:因?yàn)?所以:繼續(xù)化簡可得:所以求最優(yōu)直線地問題就變成了:在地條件下求地最小值（當(dāng)最小時(shí)m最大）。接下來使用拉格朗日乘子法求解該約數(shù)條件地最優(yōu)解即可。而我們又知道,所以可得:帶入k可得:化簡之后可得:因?yàn)?所以:繼續(xù)化簡可得:所以求最優(yōu)直線地問題就變成了:在地條件下求地最小值（當(dāng)最小時(shí)m最大）。接下來使用拉格朗日乘子法求解該約數(shù)條件地最優(yōu)解即可。一五.三支持向量機(jī)地應(yīng)用我們將支持向量機(jī)應(yīng)用在鳶尾花數(shù)據(jù)集上看效果如何,具體如下:（一）