支持向量機(jī)(SVM )

1、巫義銳計(jì)算機(jī)與信息學(xué)院Email：支持向量機(jī)(SVM )目錄支持向量機(jī)推導(dǎo)要點(diǎn)支持向量機(jī)研究現(xiàn)狀支持向量機(jī)總結(jié)線性分類器：超平面線性分類器：超平面幾何間隔示意圖線性分類器存在多個(gè)劃分超平面將兩類訓(xùn)練樣本分開(kāi)線性分類器對(duì)樣本A的分類最可信，B其次，C最差。因此，超平面應(yīng)該使訓(xùn)練樣本與超平面之間的距離最大。SVM形式化描述 轉(zhuǎn)化為數(shù)學(xué)式子： 進(jìn)一步簡(jiǎn)化：SVM形式化描述 轉(zhuǎn)化為數(shù)學(xué)式子： 進(jìn)一步簡(jiǎn)化：SVM形式化描述簡(jiǎn)化目標(biāo)函數(shù)：支持向量示意圖訓(xùn)練完成后，最終模型僅與支持向量有關(guān)線性支持向量機(jī)學(xué)習(xí)算法SVM對(duì)偶形式該式為凸二次規(guī)劃(convex quadratic programming)的問(wèn)題，

2、可通過(guò)拉格朗日乘子法轉(zhuǎn)化為其對(duì)偶問(wèn)題：轉(zhuǎn)化過(guò)程：SVM對(duì)偶形式求解上式是二次規(guī)劃問(wèn)題，有許多高效解法，比如SMO(Sequential Minimal Optimization)算法。線性不可分問(wèn)題若不存在一個(gè)能正確劃分兩類樣本的超平面，怎么辦？將樣本從原始空間映射到一個(gè)更高維的特征空間，使樣本在這個(gè)特征空 間內(nèi)線性可分。特征空間映射如果原始空間是有限維(屬性數(shù)有限)，那么一定存在一個(gè)高維特征空間使樣本可分線性不可分問(wèn)題對(duì)偶形式僅依賴內(nèi)積：核函數(shù)繞過(guò)顯式考慮特征映射、以及計(jì)算高維內(nèi)積的困難Mercer定理：若一個(gè)對(duì)稱函數(shù)所對(duì)應(yīng)的核矩陣半正定，則它就能作為核函數(shù)來(lái)使用任何一個(gè)核函數(shù)，都隱式的定義

3、了一個(gè)RKHS(Reproducing kernel Hilbert Space, 再生核希爾伯特空間)“核函數(shù)選擇”成為決定支持向量機(jī)性能的關(guān)鍵！核函數(shù)目錄支持向量機(jī)推導(dǎo)要點(diǎn)支持向量機(jī)研究現(xiàn)狀支持向量機(jī)總結(jié)支持向量機(jī)實(shí)現(xiàn)SVMlight - 2.private:/usr/local/binsvm_learn, svm_classifybsvm - 2.private:/usr/local/binsvm-train, svm-classify, svm-scalelibsvm - 2.private:/usr/local/binsvm-train, svm-predict, svm-scale

4、, svm-toymySVMMATLAB svm toolbox研究現(xiàn)狀應(yīng)用研究支持向量機(jī)研究支持向量機(jī)算法研究應(yīng)用研究SVM的應(yīng)用主要于模式識(shí)別領(lǐng)域貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn)分類器錯(cuò)誤率人工表現(xiàn)2.5%決策樹(shù)C4.516.2%最好的兩層神經(jīng)網(wǎng)絡(luò)5.9%SVM4.0%SVM與神經(jīng)網(wǎng)絡(luò)（NN）的對(duì)比SVM的理論基礎(chǔ)比NN更堅(jiān)實(shí)，更像一門嚴(yán)謹(jǐn)?shù)摹翱茖W(xué)”（三要素：?jiǎn)栴}的表示、問(wèn)題的解決、證明）SVM 嚴(yán)格的數(shù)學(xué)推理NN 強(qiáng)烈依賴于工程技巧推廣能力取決于“經(jīng)驗(yàn)風(fēng)險(xiǎn)值”和“置信范圍值”，NN不能控制兩者中的任何一個(gè)。NN設(shè)計(jì)者用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷設(shè)計(jì)特殊的結(jié)構(gòu)，利用啟發(fā)式算法

5、，有時(shí)能得到出人意料的好結(jié)果。“我們必須從一開(kāi)始就澄清一個(gè)觀點(diǎn)，就是如果某事不是科學(xué)，它并不一定不好。比如說(shuō)，愛(ài)情就不是科學(xué)。因此，如果我們說(shuō)某事不是科學(xué)，并不是說(shuō)它有什么不對(duì)，而只是說(shuō)它不是科學(xué)。” by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley同理，與SVM相比，NN不像一門科學(xué)，更像一門工程技巧，但并不意味著它就一定不好！主要應(yīng)用領(lǐng)域手寫數(shù)字識(shí)別語(yǔ)音識(shí)別人臉識(shí)別文本分類支持向量機(jī)研究如何針對(duì)不同的問(wèn)題選擇不同的核函數(shù)仍然是一個(gè)懸而未決的問(wèn)題。標(biāo)準(zhǔn)的SVM對(duì)噪聲是不具有魯棒性的,如何選擇合適的目標(biāo)函數(shù)以實(shí)

6、現(xiàn)魯棒性是至關(guān)重要的。支持向量機(jī)算法研究支持向量機(jī)的本質(zhì)是解一個(gè)二次規(guī)劃問(wèn)題,雖然有一些經(jīng)典（如對(duì)偶方法、內(nèi)點(diǎn)算法等）,但當(dāng)訓(xùn)練集規(guī)模很大時(shí),這些算法面臨著維數(shù)災(zāi)難問(wèn)題。為此,人們提出了許多針對(duì)大規(guī)模數(shù)據(jù)集的SVM訓(xùn)練算法。目錄支持向量機(jī)推導(dǎo)要點(diǎn)支持向量機(jī)研究現(xiàn)狀支持向量機(jī)總結(jié)支持向量機(jī)總結(jié) 支持向量機(jī)(support vector machines, SVM)是一種二類分類模型. 它的基本模型是定義在特征空間上的間隔最大的線性分類器. 支持向量機(jī)的學(xué)習(xí)策略就是間隔最大化，可形式化為一個(gè)求解凸二次規(guī)劃(convex quadratic programming)的問(wèn)題. 核技巧使支持向量機(jī)成為實(shí)

7、質(zhì)上的非線性分類器支持向量機(jī)總結(jié) 核函數(shù)(kernel fimction)表示將輸入從輸入空間映射到特征空間得到的特征向量之間的內(nèi)積. 通過(guò)使用核函數(shù)可以學(xué)習(xí)非線性支持向量機(jī)，等價(jià)于隱式地在高維的特征空間中學(xué)習(xí)線性支持向量機(jī).這樣的方法稱為核技巧. 核方法(kemel method)是比支持向量機(jī)更為一般的機(jī)器學(xué)習(xí)方法.主要參考文獻(xiàn)：A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery,1998,2(2)Vapnik V N. The Nature o

8、f Statistical Learning Theory, NY: Springer-Verlag, 1995（中譯本：張學(xué)工譯.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì).清華大學(xué)出版社,2000）Introduction to Support Vector Machine.Vapnik V N. 著，張學(xué)工譯. 統(tǒng)計(jì)學(xué)習(xí)理論.人民郵電出版社.張學(xué)工. 關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī). 自動(dòng)化學(xué)報(bào), 2000年第1期.史朝輝. SVM算法研究及在HRRP分類中的應(yīng)用. 空軍工程大學(xué)碩士學(xué)位論文, 2005.主要參考文獻(xiàn)（續(xù)）：要有正確的人生態(tài)度；人生需要有規(guī)劃；讀研究生應(yīng)該是可選項(xiàng)；工作應(yīng)該更加注重未來(lái)發(fā)展；學(xué)會(huì)合理包裝自己；把握機(jī)遇；暑期天有興趣一起做點(diǎn)事情的，歡迎聯(lián)系。我的一些建議我的一些建議第