支持向量機(jī)原理及

1、支持向量機(jī)(SVM)原理及應(yīng)用概支持向量機(jī)3河)原理及應(yīng)用一、SVM的產(chǎn)生與發(fā)展自1995年Vapnik (瓦普尼克)在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識別的新方法 之后，SVM直倍受關(guān)注。同年，Vapnik和Cortes提出軟間隔(soft margin)SVM，通過引進(jìn) 松弛變量&I度量數(shù)據(jù)七的誤分類(分類出現(xiàn)錯誤時& 1大于0)，同時在目標(biāo)函數(shù)中增加一個分量 用來懲罰非零松弛變量(即代價函數(shù))，SVM的尋優(yōu)過程即是大的分隔間距和小的誤差補(bǔ)償之 間的平衡過程；1996年，Vapnik等人又提出支持向量回歸(Support Vector Regression， SVR)的方法用于解決擬

2、合問題。SVR同SVM的出發(fā)點(diǎn)都是尋找最優(yōu)超平面(注：一維空間為點(diǎn); 二維空間為線；三維空間為面；高維空間為超平面。)，但SVR的目的不是找到兩種數(shù)據(jù)的分 割平面，而是找到能準(zhǔn)確預(yù)測數(shù)據(jù)分布的平面，兩者最終都轉(zhuǎn)換為最優(yōu)化問題的求解；1998 年，Weston等人根據(jù)SVM原理提出了用于解決多類分類的SVM方法(Multi-Class Support Vector Machines，Multi-SVM)，通過將多類分類轉(zhuǎn)化成二類分類，將SVM應(yīng)用于多分類問題 的判斷：此外，在SVM算法的基本框架下，研究者針對不同的方面提出了很多相關(guān)的改進(jìn)算 法。例如，Suykens提出的最小二乘支持向量機(jī)(Le

3、ast Square Support Vector Machine， LSSVM)算法，Joachims等人提出的SVMTight，張學(xué)工提出的中心支持向量機(jī)(Central Support Vector Machine，CSVM)，Scholkoph和Smola基于二次規(guī)劃提出的v-SVM等。此后， 臺灣大學(xué)林智仁(Lin Chih-Jen)教授等對SVM的典型應(yīng)用進(jìn)行總結(jié)，并設(shè)計(jì)開發(fā)出較為完善 的SVMH具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM是一個通 用的SVM軟件包，可以解決分類、回歸以及分布估計(jì)等問題。二、支

4、持向量機(jī)原理SVM方法是20世紀(jì)90年代初Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方 法，它以結(jié)構(gòu)風(fēng)險最小化原則為理論基礎(chǔ)，通過適當(dāng)?shù)剡x擇函數(shù)子集及該子集中的判別函數(shù)， 使學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險達(dá)到最小，保證了通過有限訓(xùn)練樣本得到的小誤差分類器，對獨(dú)立測 試集的測試誤差仍然較小。支持向量機(jī)的基本思想：首先，在線性可分情況下，在原空間尋找兩類樣本的最優(yōu)分類 超平面。在線性不可分的情況下，加入了松弛變量進(jìn)行分析，通過使用非線性映射將低維輸 入空間的樣本映射到高維屬性空間使其變?yōu)榫€性情況，從而使得在高維屬性空間采用線性算 法對樣本的非線性進(jìn)行分析成為可能，并在該特征空間中尋找最優(yōu)分類超平面

5、。其次，它通 過使用結(jié)構(gòu)風(fēng)險最小化原理在屬性空間構(gòu)建最優(yōu)分類超平面，使得分類器得到全局最優(yōu)，并 在整個樣本空間的期望風(fēng)險以某個概率滿足一定上界。其突出的優(yōu)點(diǎn)表現(xiàn)在：基于統(tǒng)計(jì)學(xué)習(xí)理論中結(jié)構(gòu)風(fēng)險最小化原則（注： 所謂 的結(jié)構(gòu)風(fēng)險最小化就是在保證分類精度（經(jīng)驗(yàn)風(fēng)險）的 同時，降低學(xué)習(xí)機(jī)器的VC維，可以使學(xué)習(xí)機(jī)器在整個 樣本集上的期望風(fēng)險得到控制。）和VC維理論（注：VC維（Vapnik-Chervonenkis Dimension）的概念是為了研究 學(xué)習(xí)過程一致收斂的速度和推廣性，由統(tǒng)計(jì)學(xué)理論定義 的有關(guān)函數(shù)集學(xué)習(xí)性能的一個重要指標(biāo)。），具有良好的泛化能力，即由有限的訓(xùn)練樣本得到的小的誤差能夠保證使

6、獨(dú)立的測試集仍保持小的誤差。支 持向量機(jī)的求解問題對應(yīng)的是一個凸優(yōu)化問題，因此局部最優(yōu)解一定是全局最優(yōu)解。核 函數(shù)的成功應(yīng)用，將非線性問題轉(zhuǎn)化為線性問題求解。分類間隔的最大化，使得支持向 量機(jī)算法具有較好的魯棒性。由于，四自身的突出優(yōu)勢，因此被越來越多的研究人員作為強(qiáng) 有力的學(xué)習(xí)工具，以解決模式識別、回歸估計(jì)等領(lǐng)域的難題。1 .最優(yōu)分類面和廣義最優(yōu)分類面SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來的，基本思想可用圖1來說明。對于一維 空間中的點(diǎn)，二維空間中的直線，三維空間中的平面，以及高維空間中的超平面，圖中實(shí)心 點(diǎn)和空心點(diǎn)代表兩類樣本，H為它們之間的分類超平面，H1，電分別為過各類中離分類面

7、最近 的樣本且平行于分類面的超平面，它們之間的距離叫做分類間隔（margin）。圖1最優(yōu)分類面示意圖W所謂最優(yōu)分類面要求分類面不但能將兩類正確分開，而且使分類間隔最大。將兩類正確 分開是為了保證訓(xùn)練錯誤率為0，也就是經(jīng)驗(yàn)風(fēng)險最小(為O)。使分類空隙最大實(shí)際上就是使 推廣性的界中的置信范圍最??？，從而使真實(shí)風(fēng)險最小。推廣到高維空間，最優(yōu)分類線就成 為最優(yōu)分類面。設(shè)線性可分樣本集為(x , y ),i = 1,.,n,x e Rd, y e +1,-1是類別符號。d維空間中線性判 別函數(shù)的一般形式為是類別符號。d維空間中線性判別函數(shù)的一般形式為g(x) = w x + b (主: 可代表Hilbe

8、rt空間中權(quán)向量；b代表閾值。)，分類線方程為w x + b = 0 ？。將判別函數(shù)進(jìn)行 歸一化，使兩類所有樣本都滿足I g(x)l= 1，也就是使離分類面最近的樣本的I g(x)l= 1，此時 分類間隔等于2/II w II ？，因此使間隔最大等價于使II w II (或II w II2 )最小。要求分類線對所有 樣本正確分類，就是要求它滿足y (w x) + b -1 0, i = 1,2,., ni滿足上述條件（1-1）,并且使II W 112最小的分類面就叫做最優(yōu)分類面，過兩類樣本中離分 類面最近的點(diǎn)且平行于最優(yōu)分類面的超平面H1, H2上的訓(xùn)練樣本點(diǎn)就稱作支持向量（support v

9、ector），因?yàn)樗鼈儭爸С帧绷俗顑?yōu)分類面。利用Lagrange （拉格朗日）優(yōu)化方法可以把上述最優(yōu)分類面問題轉(zhuǎn)化為如下這種較簡單 的對偶問題，即：在約束條件，a = 0i ii=1（1-2a）a . 0, i = 1,2,., n（1-2b）下面對a.（主：對偶變量即拉格朗日乘子）求解下列函數(shù)的最大值：i TOC o 1-5 h z Q（a）= a -1 a a yy （n ）？i 2 i j i j i ji=1i,j=1（1-3）若a *為最優(yōu)解，則w* = a * ya.（1-4）i=1即最優(yōu)分類面的權(quán)系數(shù)向量是訓(xùn)練樣本向量的線性組合。注釋（1-3）式由來：利用Lagrange函數(shù)計(jì)算

10、如下，L(w,Z?,a) =(y -(x -w) + Z?)-l)i=lddL(w,Z?,oc) = 0 L(w,Z?,a) = 0 dbdw工a y = 0i iW(a) i=lw =工 a y xi i iyz=1+乙 aayy(xjr)2LjTy =0i ii=l/3) = sgn(Yyoc -(x-x) + Z?)i=實(shí)例計(jì)算:圖略，可參見PPTxlx2x3x4=(0,=(1,=(2,=(0,0),0),0),2),yi =y2 =y3 =y4 =+1+1-1-12(a) (a +ai+ oc23+oc )-i(oc2 -4oc a +4cc2 +4(X2)4222 334可調(diào)用Mat

11、 lab中的二次規(guī)劃程序，求得al, a2, a3, a4的值，進(jìn)而求得w和b的值。a =01a =12a =3/43以=1/44211_i r一3一222_0b = -_ 34g(x) = 3-2x -lx = 0121212這是一個不等式約束下的二次函數(shù)極值問題，存在唯一解。根據(jù)ktlhn-Tucker條件，解中將只有一部分(通常是很少一部分)a 1不為零，這些不為0解所對應(yīng)的樣本就是支持向量。 求解上述問題后得到的最優(yōu)分類函數(shù)是：f (x) = sgn(w* - x) + b* = sgnXa *y (x - x) + b* i=1(1-5)根據(jù)前面的分析，非支持向量對應(yīng)的a i均為0，

12、因此上式中的求和實(shí)際上只對支持向量進(jìn)行。b *是分類閾值，可以由任意一個支持向量通過式(1-1)求得(只有支持向量才滿足其中 的等號條件)，或通過兩類中任意一對支持向量取中值求得。從前面的分析可以看出，最優(yōu)分類面是在線性可分的前提下討論的，在線性不可分的情 況下，就是某些訓(xùn)練樣本不能滿足式(1-1)的條件，因此可以在條件中增加一個松弛項(xiàng)參數(shù) i 0，變成：y. (w - x.) + b -1 + s . 0, i = 1,2,., n(1-6)對于足夠小的s0，只要使F ( )=弟i=1(1-7)最小就可以使錯分樣本數(shù)最小。對應(yīng)線性可分情況下的使分類間隔最大，在線性不可分 情況下可引入約束：I

13、I W 1|2 Ck(1-8)在約束條件(1-6)冪1(1-8)下對式(1-7)求極小，就得到了線性不可分情況下的最優(yōu)分類 面，稱作廣義最優(yōu)分類面。為方便計(jì)算，取s=1。為使計(jì)算進(jìn)一步簡化，廣義最優(yōu)分類面問題可以迸一步演化成在條件(1-6)的約束條件 下求下列函數(shù)的極小值：(w,)=上(w,w) + C(X& )i=1(1-9)其中C為某個指定的常數(shù)，它實(shí)際上起控制對錈分樣本懲罰的程度的作用，實(shí)現(xiàn)在錯分樣本的比例與算法復(fù)雜度之間的折衷。求解這一優(yōu)化問題的方法與求解最優(yōu)分類面時的方 法相同，都是轉(zhuǎn)化為一個二次函數(shù)極值問題，其結(jié)果與 可分情況下得到的(1-2)到(1-5)幾乎完全相同，但是條件 (

14、1-2b)變?yōu)椋? a . C, i = 1,., n(1-10)2. SVM的非線性映射對于非線性問題，可以通過非線性交換轉(zhuǎn)化為某個高維空間中的線性問題，在變換空間 求最優(yōu)分類超平面。這種變換可能比較復(fù)雜，因此這種思路在一般情況下不易實(shí)現(xiàn)。但是我 們可以看到，在上面對偶問題中，不論是尋優(yōu)目標(biāo)函數(shù)(1-3 )還是分類函數(shù)(1-5)都只涉及 訓(xùn)練樣本之間的內(nèi)積運(yùn)算(x x)。設(shè)有非線性映射:Rd t H將輸入空間的樣本映射到高維 (可能是無窮維)的特征空間H中，當(dāng)在特征空間H中構(gòu)造最優(yōu)超平面時，訓(xùn)練算法僅使用空間 中的點(diǎn)積，即8(xi)叫)，而沒有單獨(dú)的$ (xi)出現(xiàn)。因此，如果能夠找到一個函

15、數(shù)K使得K (x x .) = 8 成)。(x.)(1-11)這樣在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算，而這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí) 現(xiàn)的，我們甚至沒有必要知道變換中的形式。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)K(xt x) W足Mercer條件，它就對應(yīng)某一變換空間中的內(nèi)積。因此，在最優(yōu)超平面中采用適當(dāng)?shù)膬?nèi)積 函數(shù)K(xt xj)就可以實(shí)現(xiàn)某一非線性變換后的線性分類，而計(jì)算復(fù)雜度卻沒有增加。此時目 標(biāo)函數(shù)(1-3)變?yōu)椋篞 (a) = X a - aa yyK (x x )i 2 i i i i i ii =1i, i =11(1-12)而相應(yīng)的分類函數(shù)也變?yōu)閒 (x) = sgn工 a

16、 * y K (x - x ) + b * i i i j i=1(1-13)算法的其他條件不變，這就是SVM。概括地說SVM就是通過某種事先選擇的非線性映射將輸入向量映射到一個高維特征空間，在這個特征空間中構(gòu)造最優(yōu)分類超平面。在形式上SVM分類函數(shù)類似于一個神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點(diǎn)的線性組合，每個中間節(jié)點(diǎn)對應(yīng)于一個支持向量，如圖2所示圖2 SVM示意圖其中，輸出(決策規(guī)則)：y = sgnXa y K(x - x ) + b，權(quán)值w =a y， K(x - x )為基于S i iii i iii =1個支持向量x , x ,., x的非線性變換(內(nèi)積)，x = (x1, x 2,., xd

17、)為輸入向量。12 s3 .核函數(shù)選擇滿足Mercer條件的不同內(nèi)積核丞數(shù)，就構(gòu)造了不同的SVM,這樣也就形成了不同的 算法。目前研究最多的核函數(shù)主要有三類：多頊?zhǔn)胶撕瘮?shù)(1-14)K (x, x ) = (x - x ) +1 q其中q是多項(xiàng)式的階次，所得到的是q階多項(xiàng)式分類器。徑向基函數(shù)(RBF)K(x, x ) = exp -1 x W 1C 2所得的SVM是一種徑向基分類器，它與傳統(tǒng)徑向基函數(shù)方法的基本區(qū)別是，這里每一個 基函數(shù)的中心對應(yīng)于一個支持向量，它們以及輸出權(quán)值都是由算法自動確定的。徑向基形式 的內(nèi)積函數(shù)類似人的視覺特性，在實(shí)際應(yīng)用中經(jīng)常用到，但是需要注意的是，選擇不同的S 參

18、數(shù)值，相應(yīng)的分類面會有很大差別。(3)S形核函數(shù)K(x, x ) = tanhv(x - x ) + c(1-16)這時的SVM算法中包含了一個隱層的多層感知器網(wǎng)絡(luò)，不但網(wǎng)絡(luò)的權(quán)值、而且網(wǎng)絡(luò)的隱 層結(jié)點(diǎn)數(shù)也是由算法自動確定的，而不像傳統(tǒng)的感知器網(wǎng)絡(luò)那樣由人憑借經(jīng)驗(yàn)確定。此外， 該算法不存在困擾神經(jīng)網(wǎng)絡(luò)的局部極小點(diǎn)的問題。在上述幾種常用的核函數(shù)中，最為常用的是多項(xiàng)式核函數(shù)和徑向基核函數(shù)。除了上面提 到的三種核函數(shù)外，還有指數(shù)徑向基核函數(shù)、小波核函數(shù)等其它一些核函數(shù)，應(yīng)用相對較少。 事實(shí)上，需要進(jìn)行訓(xùn)練的樣本集有各式各樣，核函數(shù)也各有優(yōu)劣。B.Bacsens和S.Viaene等 人曾利用LS-SV

19、M分類器，采用。6數(shù)據(jù)庫，對線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)進(jìn) 行了實(shí)驗(yàn)比較，從實(shí)驗(yàn)結(jié)果來看，對不同的數(shù)據(jù)庫，不同的核函數(shù)各有優(yōu)劣，而徑向基核函 數(shù)在多數(shù)數(shù)據(jù)庫上得到略為優(yōu)良的性能。三、支持向量機(jī)的應(yīng)用研究現(xiàn)狀SVM方法在理論上具有突出的優(yōu)勢，貝爾實(shí)驗(yàn)室率先對美國郵政手寫數(shù)字庫識別研究方 面應(yīng)用7SVM方法，取得了較大的成功。在隨后的近幾年內(nèi)，有關(guān)SVM的應(yīng)用研究得到了很多 領(lǐng)域的學(xué)者的重視，在人臉檢測、驗(yàn)證和識別、說話人/語音識別、文字/手寫體識別、圖像 處理、及其他應(yīng)用研究等方面取得了大量的研究成果，從最初的簡單模式輸入的直接的SVM 方法研究，進(jìn)入到多種方法取長補(bǔ)短的聯(lián)合應(yīng)用研究，

20、對SVM方法也有了很多改進(jìn)。人臉檢測、驗(yàn)證和識別Osuna最早將SVM應(yīng)用于人臉檢測.并取得了較好的效果。其方法是汽接訓(xùn)練非線性SVM 分類器完成人臉與非人臉的分類。由于SVM的訓(xùn)練需要大量的存儲空間，并且非線性SVM分類 器需要較多的支持向量，速度很慢。為此，馬勇等提出了一種層次型結(jié)構(gòu)的SVM分類器，它 由一個線性SVM組合和一個非線性SVM組成。檢測時，由前者快速排除掉圖像中絕大部分背景 窗口，而后者只需對少量的候選區(qū)域做出確認(rèn)；訓(xùn)練時，在線性SVM組臺的限定下，與“自 舉（bootstrapping）”方法相結(jié)合可收集到訓(xùn)練非線性SVM的更有效的非人臉樣本，簡化SVM 訓(xùn)I練的難度，大量

21、實(shí)驗(yàn)結(jié)果表明這種方法不僅具有較高的檢測率和較低的誤檢率，而且具有 較快的速度。人臉檢測研究中更復(fù)雜的情況是姿態(tài)的變化。葉航軍等提出了利用支持向量機(jī)方法進(jìn)行 人臉姿態(tài)的判定，將人臉姿態(tài)劃分成6個類別，從一個多姿態(tài)人臉庫中手工標(biāo)定訓(xùn)練樣本集和 測試樣本集，訓(xùn)練基于支持向量機(jī)姿態(tài)分類器，分類錯誤率降低到1.67%。明顯優(yōu)于在傳統(tǒng) 方法中效果最好的人工神經(jīng)元網(wǎng)絡(luò)方法。在人臉識別中，面部特征的提取和識別可看作是對3D物體的2D投影圖像進(jìn)行匹配的問 題。由于許多不確定性因素的影響，特征的選取與識別就成為一個難點(diǎn)。凌旭峰等及張燕昆 等分別提出基于PCA與SVM相結(jié)合的人臉識別算法，充分利用了 PCA在特征提

22、取方面的有效性 以及SVM在處理小樣本問題和泛化能力強(qiáng)等方面的優(yōu)勢，通過SVM與最近鄰距離分類器相結(jié) 合，使得所提出的算法具有比傳統(tǒng)最近鄰分類器和BP網(wǎng)絡(luò)分類器更高的識別率。王宏漫等在 PCA基礎(chǔ)上進(jìn)一步做ICA，提取更加有利于分類的面部特征的主要獨(dú)立成分；然后采用分階段 淘汰的支持向量機(jī)分類機(jī)制進(jìn)行識別。對兩組人臉圖像庫的測試結(jié)果表明，基于SVM的方法 在識別率和識別時間等方面都取得了較好的效果。（二）說話人/語音識別說話人識別屬于連續(xù)輸入信號的分類問題，SVM是一個很好的分類器，但不適合處理連 續(xù)輸入樣本。為此，忻棟等引入隱式馬爾可夫模型HMM，建立7SVM和HMM的混合模型。HMM適 合

23、處理連續(xù)信號，而SVM適臺于分類問題；HMM的結(jié)果反映了同類樣本的相似度，而SVM的輸 出結(jié)果則體現(xiàn)了異類樣本間的差異。為了方便與HMM組成混合模型，首先將SVM的輸出形式改 為概率輸出。實(shí)驗(yàn)中使用YOH O數(shù)據(jù)庫，特征提取采用12階的線性預(yù)測系數(shù)分析及其微分，組 成24維的特征向量。實(shí)驗(yàn)表明HMM和SVM的結(jié)合達(dá)到了很好的效果。（三）文字/手寫體識別貝爾實(shí)驗(yàn)室對美國郵政手寫數(shù)字庫進(jìn)行的實(shí)驗(yàn)，人工識別平均錯誤率是2.5%，專門針對 該特定問題設(shè)計(jì)的5層神經(jīng)網(wǎng)絡(luò)錯誤率為5.1% （其中利用了大量先驗(yàn)知識），而用3種SVM方法 保用3種核函數(shù)）得到的錯誤率分別為4.0%、4.1%和4.2%，且是直

24、接采用16X16的字符點(diǎn)陣作為輸入，表明7Svm的優(yōu)越性能。手寫體數(shù)字。9的特征可以分為結(jié)構(gòu)特征、統(tǒng)計(jì)特征等。柳回春等在UKM理測試自動 分析系統(tǒng)中組合SVM和其他方法成功地進(jìn)行了手寫數(shù)字的識別實(shí)驗(yàn)。另外，在手寫漢字識別 方面，高學(xué)等提出了一種基于SVM的手寫漢字的識別方法，表明了SVM對手寫漢字識別的有效 性。圖像處理圖像過濾。一般的互聯(lián)網(wǎng)色情網(wǎng)圖像過濾軟件主要采用網(wǎng)址庫的形式來封鎖色情網(wǎng) 址或采用入工智能方法對接收到的中、英文信息進(jìn)行分析甄別。段立娟等提出一種多層次特 定類型圖像過濾法，即以綜合膚色模型檢驗(yàn)，支持向量機(jī)分類和最近鄰方法校驗(yàn)的多層次圖 像處理框架，達(dá)到85%以上的準(zhǔn)確率。視頻

25、字幕提取。攬頻字幕蘊(yùn)含了豐富語義，可用于對相應(yīng)視頻流進(jìn)行高級語義標(biāo)注。 莊越挺等提出并實(shí)踐了基于，例的視頻字幕自動定位和提取的方法。該方法首先將原始圖像 幀分割為N*N的子塊，提取每個子塊的灰度特征；然后使用預(yù)先訓(xùn)練好的SVM分類機(jī)進(jìn)行字幕 子塊和非字幕子塊的分類；最后結(jié)合金字塔模型和后期處理過程，實(shí)現(xiàn)視頻圖像字幕區(qū)域的 自動定位提取。實(shí)驗(yàn)表明該方法取得了良好的效果。圖像分類和檢索。由于計(jì)算機(jī)自動抽取的圖像特征和人所理解的語義間存在巨大的 差距，圖像檢索結(jié)果難以令人滿意。近年來出現(xiàn)了相關(guān)反饋方法，張磊等以SVM為分類器， 在每次反饋中對用戶標(biāo)記的正例和反例樣本進(jìn)行學(xué)習(xí)，并根據(jù)學(xué)習(xí)所得的模型進(jìn)行

26、檢索，使 用由9 9 18幅圖像組成的圖像庫進(jìn)行實(shí)驗(yàn)，結(jié)果表明，在有限訓(xùn)練樣本情況下具有良好的 泛化能力。目前3D虛擬物體圖像應(yīng)用越來越廣泛，肖俊等提出了一種基于SVM對相似3D物體識別與 檢索的算法。該算法首先使用細(xì)節(jié)層次模型對31)物體進(jìn)行三角面片數(shù)量的約減，然后提取3D 物體的特征，由于所提取的特征維數(shù)很大，因此先用獨(dú)立成分分析進(jìn)行特征約減，然后使用 SVM進(jìn)行識別與檢索。將該算法用于3D丘陵與山地的地形識別中，取得了良好效果。其他應(yīng)用研究(1)由于SVM的優(yōu)越性，其應(yīng)用研究目前開展已經(jīng)相當(dāng)廣泛。陳光英等設(shè)計(jì)并實(shí)現(xiàn)了一種 基于$四分類機(jī)的網(wǎng)絡(luò)入侵檢測系統(tǒng)。它收集并計(jì)算除服務(wù)器端口之外 T

27、CP / IP的流量特 征.使用SVM算法進(jìn)行分類，從而識別出該連接的服務(wù)類型，通過與該連接服務(wù)器端口所表 明服務(wù)類型的比較，檢測出異常的TCP連接。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)能夠有效地檢測出異常TCP 連接?？诹钫J(rèn)證簡便易實(shí)現(xiàn)，但容易被盜用。劉學(xué)軍等提出利用SVM進(jìn)行鍵入特性的驗(yàn)真， 并通過實(shí)驗(yàn)將其與BP、RBF、PNN和LVQ 4種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比。證實(shí)了采用，四進(jìn)行鍵入 特性驗(yàn)真的有效性。李曉黎等提出了一種將SVM與無監(jiān)督聚類相結(jié)合的新分類算法，并應(yīng)用于網(wǎng)頁分類問 題。該算法首先利用無監(jiān)督聚類分別對訓(xùn)練集中正例和反例聚類.然后挑選一些例子訓(xùn)練SVM 并獲得SVM分類器。任何網(wǎng)頁可以通過比較其與聚類中心的距離決定采用無監(jiān)督聚類方法或 SVM分類器進(jìn)行分類。該算法充分利用7SVM準(zhǔn)確率高與無監(jiān)督聚類速