神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)課件_Ch12_支持向量機(jī)SVM網(wǎng)絡(luò)

1、支持向量機(jī)（SVM）網(wǎng)絡(luò)最優(yōu)線性分界面（二分類問(wèn)題）-對(duì)線性可分集，總能找到使樣木正確劃分的分界面，而且 有無(wú)窮多個(gè)，哪個(gè)是最優(yōu)的？-一種最優(yōu)的分界準(zhǔn)則（從對(duì)樣本及參數(shù)的件棒性看）是使 兩類模式向號(hào)分開(kāi)的間隔最大。/ff.1支持向量機(jī)口最優(yōu)線性分界i-兩分類的線性-方 Hg(x) = O;： 全分開(kāi)。設(shè)W日+1,-1,-由訓(xùn)練集線 規(guī)則為：7、+b J：+ b -進(jìn)一步合并有布的確定判別函數(shù)的一般表達(dá)式為：g(x) =、/x+b o E義了一個(gè)超平面H,它把兩類訓(xùn)練樣本完 個(gè)樣本為：(、，%)，汽2，%)，6nTn),、wR： 則有分類規(guī)則：-N+bNO, y=+lvvTxi +b y, =-

2、l件可分，改變權(quán)向量的摸，總可改寫分類0 一化.媼*+b21, Yi =+1 “N+1)4-1, Yj =-1緊湊式：Tx;+b)l 同樣還有：g(%)|NlzC支持向量機(jī)口最優(yōu)線性分界-g(x)可以看成 把X表示成:X = 則有：g(x) =、X 乂: n旬的確定(續(xù))是從X到超平面的距離的-種度量，見(jiàn)圖。二Xp + r u/|h| ,北中是X到H的垂直距離， vT(xp+ru/|u|) + b = r網(wǎng)，B|J：r = g(x)/阿，力，g(x) =。/最優(yōu)線性分界面的確定（續(xù)）-間隔：離分界面H最近的樣本點(diǎn)（即使g（x）|=l的樣本點(diǎn)） 與分界面的距離，它是g（x）/同=1/忖|。這樣，

3、兩類模 式間隔的距離為2/同o-最優(yōu)分界面：為使兩類間隔最大，應(yīng)相同最小，等價(jià)于 使隔z最小。所以，最優(yōu)分界面應(yīng)滿足：min wTw 和 （/ Xj + b） 1w 2支持向量：距離最優(yōu)分界面最近的位于間隔邊界上的那 些樣本向易，也就是使得等號(hào)丫8飛+b）=l或| g（、）|=l 成立的那些樣本向量。0的樣木對(duì)權(quán)起作用，而此 時(shí)必有（w、+b）-l=0,即相應(yīng)的樣本是支持向量。 故解向量w是由支持向量構(gòu)建的，它們決定分類結(jié)果。12+支持向量機(jī)最優(yōu)分界面的求解(續(xù))-根據(jù)Lagrange優(yōu)化方法，用對(duì)偶定理求乘f q最優(yōu)解。展開(kāi)Lagrang叫數(shù)有：區(qū)N NM w, b , &)=弓(w1 w)

4、 一之 6 y, w1、- b % y + 之 6N / N II I將亞=之6%和力4%=代入上式，則有：il- N| N NQ(a) = L(w, b, a) = q - 立 Z qaj y 力 j= j=求上式的最大值，可得最優(yōu)解a：,則最優(yōu)權(quán)向量為：, 凡 W =，CL V X( 2是支持向量的個(gè)數(shù))最優(yōu)偏置可選用一個(gè)支持向量樣本求得:by-v。-最優(yōu)分界面是：wx + b* =012+支持向量機(jī)線性不可分問(wèn)題-向高維空間(特征空間)映射模式可分性的Covei定理將復(fù)雜的模式分類問(wèn)題非線性地投射到高維空間將比投射到低維 空間更可能是線性可分的基本原理通過(guò)某種II線性映射z=Bx) =

5、g(x),例(x),0n(x)將樣 本映射到一個(gè)高維空間(特征空間)，在這個(gè)高維空間中構(gòu)造最 優(yōu)分類超平而：wEx) + b =。N在特征空間用紋件可分的結(jié)果，即w =()代入上式得苫6乂雙天尸入二。這樣在映射到高家空間也只須進(jìn)行內(nèi)積運(yùn)算,這是可以用原空間 的函數(shù)實(shí)現(xiàn)的。根據(jù)泛函理論，只要核函數(shù)4、)=力(、)T中00 滿足Mercer條件，它就為應(yīng)某個(gè)變換空間中的內(nèi)枳。12+支持向量機(jī)線性不可分問(wèn)題（續(xù)）-向高維空間（特征空間）映射只要找到適當(dāng)?shù)暮撕瘮?shù)K（,Xj）就可實(shí)現(xiàn)某個(gè)非線性變換后的 線性分類，類似線性可分情形在-對(duì)q求以卜函數(shù)的極大值Ni N NQ（a）=Z-弓EZ q巴/（）1-1

6、/ i-1 j-1N滿足約束條件工6=。和, 0 1-1-設(shè)最優(yōu)解為a；,則最優(yōu)分界面可寫為:Za：yiK（,x） + b. = 0i-1支持向量機(jī)線性不可分問(wèn)題（續(xù)）-向高維空間（特征空間）映射不同的核函數(shù)將形成不同的修法，常用的有:多項(xiàng)式核函數(shù)：K（x，x）=（xTx;+11ir向基函數(shù)：K（ x . x） = exp（- - -1）支持向量機(jī)的結(jié)構(gòu)圖N12+支持向量機(jī)線性不可分問(wèn)題（續(xù)）（映射后也不能保證線性可分）-增加松弛項(xiàng)，使分界面在訓(xùn)練集上平均分類誤差最小。原問(wèn)題為：J找權(quán)向和圖置的最優(yōu)值，使得它們們滿足約束條件 丫（#%+功21 ，和 NO. i = 1.2.NK中松池變量，=0

7、時(shí)，%是支持向量松弛變量0彳41，%落入間隔區(qū)，在分界面的正確側(cè)松弛變量1，時(shí)，、落入分界面的錯(cuò)誤,側(cè)此時(shí)，使籽權(quán)向敏和松弛變敏最小化代價(jià)函數(shù)為 TOC o 1-5 h z 1NVP（W,1）= WTW-bCygt i*l其中C。是個(gè)常數(shù)，由使用者選定控制對(duì)鉗分樣木的懲罰程度Lagrange函數(shù)為：NL（w, b, a） = （wT w） - 2 （ X（wT +b）-l + j 2ii/12s對(duì)偶問(wèn)題為：J找Lagrange乘廣最大化目標(biāo)函數(shù)N N NQ（a） = 2% -311 1-1尸】滿足約束條件之a(chǎn), Y = 0和0 W q W C （此項(xiàng)與線性可分情況結(jié)果不同） 1-1解必須滿足最

8、優(yōu)化理論的KTT條件改為：aj （、/ + b） -1+ 優(yōu)=0、i = L2 ,N最終得到的最優(yōu)解計(jì)算式與線性可分情況一樣，即:w=2：yi 4b* = yw、i=l支持向量機(jī)的設(shè)計(jì)算法-在能夠進(jìn)行變換？（X）的情況下：（1）在約束條件a,y,=O和/NO （或0a, MC）下求函數(shù)IN N NQ（a）二七 -：火火q%yy,lx,）0（、）極大值點(diǎn),；1- I J-I（2）計(jì)算最優(yōu)權(quán)值和偏置值：w, = a：y/D（N）, b* = yw；1-1（3）支持向量機(jī)的最優(yōu)分界而為：f：yb（N）（x）+ b= .-在選擇核函數(shù)用?避免其管變換情況下，不同處有：.（1 ）求函數(shù)Q（a）=12%-

9、1工。）丫卜（4）極大值點(diǎn)：I / tl JlN.（2）計(jì)算最優(yōu)權(quán)值:w=2片乂少，其中立是隱層輸;H；ilN夕 cc y. K（x, x） + b* = 0（3）支持向量機(jī)的最優(yōu)分界而為； .支持向量機(jī)的優(yōu)點(diǎn)-適合對(duì)小樣本數(shù)據(jù)的學(xué)習(xí)，注重樣本自身信息，而非產(chǎn) 生樣本的規(guī)律（概率及條件概率等）。-網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單.，只需一層（線性可分情況）或最多一個(gè) 陷層（線性不可分情況），隱層的節(jié)點(diǎn)數(shù)由所求得的支 持向量個(gè)數(shù)自動(dòng)決定。-可以根據(jù)核函數(shù)的選擇自動(dòng)計(jì)算聿要的網(wǎng)絡(luò)參數(shù)。-在解決模式分類問(wèn)題方面，能提供較好的泛化性能。X.人A支持向量機(jī)支持向量機(jī)的不足-有些參數(shù)(如控制對(duì)錯(cuò)分樣本懲罰程度的C)不易確定。

10、雖然可以不需知道非線性映射中()的具體形式，但齒線 性映射的核函數(shù)K(斗X)不易得。判定個(gè)給定的核函數(shù) 是否滿足Mercer定理?xiàng)l件是一件困難事。在待分類的模式為線性不可分時(shí)，怎樣控制支持向量的 選擇是一個(gè)困難的問(wèn)題。沒(méi)有一個(gè)統(tǒng)一的解決多分類(大于二類)的方法。支持向量機(jī)類型的RBF網(wǎng)絡(luò)和MLP網(wǎng)絡(luò)-RBF網(wǎng)絡(luò)Gauss核函數(shù)K(X.X)= exp(*|X-X|).5對(duì)所有核相同，由設(shè)計(jì)者預(yù)先指定:陷層節(jié)點(diǎn)的數(shù)后由支持向量的個(gè)數(shù)H動(dòng)決定：中心由支持向量的值自動(dòng)決定.-單隱層MLP網(wǎng)絡(luò) Sigmoid核函數(shù)KlXXutanmKXTX + K),其中只有一些特定 的X，K值滿足Mercer定理：陶

11、乂打點(diǎn)的個(gè)數(shù)由支撲向量的個(gè)數(shù)臼動(dòng)決定：除節(jié)點(diǎn)的權(quán)值由支持向小的值H動(dòng)決定。12+支持向量機(jī)支持向量機(jī)設(shè)計(jì)舉例一XOR問(wèn)題-訓(xùn)練樣本：,(-L+D,+D,(+L-D,+D,(-方法一：選擇非線性映射函數(shù)：6()=1,片.右、孫石.心王.以廣將 二維輸入樣本映射到一個(gè)六維特征空間.(1)求極值M M MN| N NQ(a) = Z% 一彳ZZ。泮乂鹿內(nèi)咫為) TOC o 1-5 h z -tl )!=% + % + ? + a + 2aq - 2a2a4 + 9of - 203a4+ 9a；)滿足約束條件：4-+; + -4 = 0(即必嬖條件2:1y.=0)at 0 i = 1,23.4.支持向

12、量機(jī)設(shè)計(jì)舉例一XOR問(wèn)題(續(xù))-方法一(續(xù))：Q(a)對(duì)名求導(dǎo)并令導(dǎo)數(shù)為零，得到卜列聯(lián)立方程組：9% -%-% + / = 1一% 9az + a, + a4 = 1- 4 +a:+ 9% - 4 = 1%-%-% + 9% =1解得極值點(diǎn)為 =，i = L2,3.40 O可見(jiàn)4個(gè)樣本都是支持向量。(2)計(jì)算最優(yōu)權(quán)值和偏置?。?TOC o 1-5 h z 21 = 2；0()= 1(-0( Xl) + (X2)+O(X3)-O(XJ1-13=tl l VI i.-后 /5)+a i, - VI i. _ VIO)+a i, - VI i, V2,-/2)-(ij, V2j,在 V2)-=(o,

13、o,-i/V?,o,o,o)/12+支持向量機(jī)支持向量機(jī)設(shè)計(jì)舉例一XOR問(wèn)題（續(xù)）-方法一（續(xù)）：一其中期風(fēng)）=I - （0,0, -1/0,0、0.0）3-1,1）= 1-（0,0,-1/, 0,0,0XL1, -0，-拉,物=1-1=0（3）支持向最機(jī)的最優(yōu)分界而為：（V）丁6（） + 1/ = （0,0,-1/10,0,0）（1,（.伍冬國(guó),伍,盡）丁=一%=支持向量機(jī)支持向量機(jī)設(shè)計(jì)舉例一XOR問(wèn)題（續(xù)）-方法二：選擇核函數(shù)為：1（%其）=（1+乂丁工）將、=（&圣）T和X=（、,%）T代入上式，核函數(shù)可表為：K（X，X） = 1 + nX +2、+將各訓(xùn)練樣本代入，可計(jì)算出4*4對(duì)稱矩

14、陣為：（XXJKCXKXX，%） KIX,%、911119 11119 1K(%，X)K(XX1)K(XX3)K(X-XJK(X35 X,)K(X3, X:) K(X3. X) K(X3.X)5（。入木（%，%）2%,%） KI%,%/ “119/ （1）用拉格朗日乘子法求極大值點(diǎn)：i N NQ()=E.-1 E y. yjK(& Xj) 11 11=% + % + % + a4 - (9Oj： - 21% - 物% + 四。49a + 2a2% - 2a:a4 + 9a； - 2a3a4 + 9a：)12+ -方法二(續(xù))：支持向量機(jī)Q(對(duì) i求導(dǎo)并令導(dǎo)數(shù)為零，得到下列 聯(lián)立方程組：？支持向量機(jī)設(shè)計(jì)舉例一XOR問(wèn)題(續(xù))9 1234 11 9 234 112 9 34 1 123 9 4 1 1234解得極值點(diǎn)：1 8。由于4個(gè)樣本都是支持向 量，隱層應(yīng)有4個(gè)節(jié)點(diǎn)，各節(jié)點(diǎn)的輸出為： K(Xi,X Q XiTX2, i L234y#(2)計(jì)算最優(yōu)權(quán)值和偏置值：*” (1,1.1,1 9 i liiil 其中 w* ( K(Xl,Xj4 1K(X2,Xj4 18K(X3.Xjl4 1 K(X4,Xj4 12b tP12+ -方法二(續(xù))：支持向量機(jī)4 ?支持向量機(jī)設(shè)計(jì)舉例 一XOR