支持向量機(jī)論文

任課教師：一、命題局部二、評(píng)分標(biāo)準(zhǔn)三、教師評(píng)語(yǔ)請(qǐng)根據(jù)您確定的評(píng)分標(biāo)準(zhǔn)詳細(xì)評(píng)分，給定成績(jī)，填入“成績(jī)”局部。閱卷教師評(píng)語(yǔ)成績(jī)?cè)u(píng)閱教師簽字：200年月日____________________________注1：本頁(yè)由學(xué)生填寫(xiě)卷頭和“任課教師”局部，其余由教師填寫(xiě)。其中藍(lán)色字體局部請(qǐng)教師在命題時(shí)刪除。提交試卷時(shí)含本頁(yè)。學(xué)生從第二頁(yè)開(kāi)始寫(xiě)作，要求見(jiàn)藍(lán)色字體局部。注2：“閱卷教師評(píng)語(yǔ)”局部請(qǐng)教師用紅色或黑色碳素筆填寫(xiě)，不可用電子版。無(wú)“評(píng)語(yǔ)”視為不合標(biāo)準(zhǔn)。注3：試題、評(píng)分標(biāo)準(zhǔn)、評(píng)語(yǔ)盡量控制在本頁(yè)。注4：不符合標(biāo)準(zhǔn)試卷需修改標(biāo)準(zhǔn)后提交。支持向量機(jī)簡(jiǎn)述提要傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的漸進(jìn)理論，但在實(shí)際問(wèn)題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實(shí)際表現(xiàn)卻可能不盡如人意。針對(duì)小樣本，Vapnik等人提出了統(tǒng)計(jì)學(xué)習(xí)理論，并以此為根底提出了支持向量機(jī)這一有力工具。本文對(duì)支持向量機(jī)進(jìn)行了簡(jiǎn)單介紹，并以分類(lèi)器為根底介紹了支持向量機(jī)的一些核心概念。關(guān)鍵字支持向量機(jī)統(tǒng)計(jì)學(xué)習(xí)理論支持向量機(jī)簡(jiǎn)介支持向量機(jī)〔SupportVectorMachine〕是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中有許多特有的優(yōu)勢(shì)，并能推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中[1]。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理根底上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最正確折衷，以期獲得最好的推廣能力[2]。VC維定義1.1(N(F,))：設(shè)F是一個(gè)假設(shè)集，即由在上取值為-1或1的假設(shè)干函數(shù)組成的集合。記=為X中的ｍ個(gè)點(diǎn)組成的集合?？紤]當(dāng)取遍F中的所有可能的假設(shè)時(shí)產(chǎn)生的m維向量((),(),…())。定義N(F,))為上述m維向量中不同的向量個(gè)數(shù)。定義1.2〔被F打散〕：設(shè)F是一個(gè)假設(shè)集，=為X中的m個(gè)點(diǎn)組成的集合。稱被F打散，或F打散。定義1.3〔VC維〕：設(shè)假設(shè)集F是一個(gè)由X上取值為-1或1的函數(shù)組成的集合。定義F的VC維為max{m|N(F,)=}.VC維反映了函數(shù)集的學(xué)習(xí)能力。一般而言，VC維越大，學(xué)習(xí)機(jī)器越復(fù)雜。但目前沒(méi)有通用的關(guān)于任意VC維計(jì)算的理論，只對(duì)一些特殊函數(shù)集的VC維可以計(jì)算。如何利用理論和實(shí)驗(yàn)的方法計(jì)算VC維是當(dāng)前統(tǒng)計(jì)學(xué)習(xí)理論中一個(gè)待研究的問(wèn)題[3]。結(jié)構(gòu)風(fēng)險(xiǎn)最小化機(jī)器學(xué)習(xí)本質(zhì)上是一種對(duì)問(wèn)題真實(shí)模型的逼近，由于真實(shí)世界的模型往往無(wú)法精確給出，我們給出的模型與真實(shí)模型就存在一個(gè)誤差，這個(gè)與真實(shí)模型之間的誤差積累就叫做風(fēng)險(xiǎn)。統(tǒng)計(jì)學(xué)習(xí)理論系統(tǒng)地研究了對(duì)于各種類(lèi)型的函數(shù)集，經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間的關(guān)系，即泛化誤差界。統(tǒng)計(jì)學(xué)習(xí)理論指出：經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間至少以1-η的概率滿足如下關(guān)系其中，l是樣本數(shù)，h是函數(shù)集的VC維。 這一結(jié)論說(shuō)明，統(tǒng)計(jì)學(xué)習(xí)的實(shí)際風(fēng)險(xiǎn)由兩局部組成：一個(gè)是經(jīng)驗(yàn)風(fēng)險(xiǎn)，另一個(gè)是置信風(fēng)險(xiǎn)。置信風(fēng)險(xiǎn)反映了真實(shí)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)差值的上確界，和VC維h記樣本數(shù)l有關(guān)。可簡(jiǎn)單地表示為在有限的訓(xùn)練樣本下，學(xué)習(xí)機(jī)器的復(fù)雜性越高，VC維越大，置信風(fēng)險(xiǎn)就越大，就會(huì)導(dǎo)致真實(shí)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)間的差異越大。如下圖這就解釋了為什么有些學(xué)習(xí)機(jī)器訓(xùn)練階段的準(zhǔn)確率可以到達(dá)100%而泛化能力卻很差。結(jié)構(gòu)風(fēng)險(xiǎn)最小化原那么〔StructuralRiskMinimization,SRM〕就是為了取得經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信風(fēng)險(xiǎn)的最小和。統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論就是為了努力最小化結(jié)構(gòu)風(fēng)險(xiǎn)。即不僅要使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，還要使VC維最小。線性分類(lèi)器線性分類(lèi)器是最簡(jiǎn)單也是很有效的分類(lèi)器形式，SVM就是是從線性可分情況下的最優(yōu)分類(lèi)面開(kāi)展而來(lái)的[4]。2.1線性可分 當(dāng)一個(gè)線性函數(shù)能將樣本完全正確地分開(kāi)時(shí)，此時(shí)這些樣本就是線性可分的。否那么就稱為非線性可分的。線性函數(shù)指形如f(x)=wx+b的一次函數(shù)，此函數(shù)值為0時(shí)確定了一個(gè)n維空間的超平面(HyperPlane)。w、x為n維向量，b為常數(shù)。2.2最優(yōu)分類(lèi)面 方形和圓形為兩類(lèi)樣本，H為分類(lèi)線，分別為過(guò)各類(lèi)分類(lèi)線最近的樣本，且與分類(lèi)線平行，他們之間的距離margin稱為分類(lèi)間隔。當(dāng)分類(lèi)線H不但能將兩類(lèi)正確分開(kāi)，而且使分類(lèi)間隔最大時(shí)，此分類(lèi)線稱為最優(yōu)分類(lèi)線。對(duì)分類(lèi)線方程wx+b=0進(jìn)行歸一化處理，使得對(duì)線性可分的樣本集，滿足此時(shí)分類(lèi)間隔等于，使間隔最大等價(jià)于使最小。滿足上述條件的分類(lèi)面就叫最優(yōu)分類(lèi)面，上的訓(xùn)練樣本點(diǎn)就稱作支持向量。 使分類(lèi)間隔最大實(shí)際上就是對(duì)推廣能力的控制，這是SVM的核心思想之一。統(tǒng)計(jì)學(xué)習(xí)理論指出，在N維空間中，設(shè)樣本分布在一個(gè)半徑為R的超球范圍內(nèi)，那么滿足條件的正那么超平面構(gòu)成的指示函數(shù)集〔sgn()為符號(hào)函數(shù)〕的VC維滿足下面的界因此，使最小就是使VC維的上界最小，從而實(shí)現(xiàn)SRM準(zhǔn)那么中對(duì)函數(shù)復(fù)雜性的選擇。 于是問(wèn)題就轉(zhuǎn)換成一個(gè)有約束的非線性規(guī)劃問(wèn)題：稱上二式組成的最優(yōu)化問(wèn)題為原始優(yōu)化問(wèn)題。由于此為凸二次尋優(yōu)問(wèn)題，根據(jù)最優(yōu)化理論，這個(gè)問(wèn)題存在唯一全局最小解。其Lagrange函數(shù)為：其中，是約束的Lagrange乘子。 根據(jù)KKT條件〔Karush-Kuhn-Tucker〕有：根據(jù)wolf對(duì)偶理論，經(jīng)運(yùn)算將原始優(yōu)化問(wèn)題轉(zhuǎn)為解此最優(yōu)化問(wèn)題，可確定最優(yōu)超平面。且通常只有一小局部不為0，這些非零解對(duì)應(yīng)的樣本就是支持向量。此時(shí)得到的最優(yōu)分類(lèi)函數(shù)是不難看出，式中的求和實(shí)際上只對(duì)支持向量進(jìn)行?？捎扇我恢С窒蛄炕卮蟮?。此時(shí)，我們就得到了一個(gè)樣本線性可分時(shí)的線性分類(lèi)器。核函數(shù)線性可分的問(wèn)題可以由上述的線性分類(lèi)器求解，當(dāng)待分類(lèi)樣本為非線性可分時(shí)，可以通過(guò)非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問(wèn)題，在變換空間求最優(yōu)分類(lèi)面。如圖當(dāng)〔a,b〕范圍內(nèi)的樣本為一類(lèi)，其余局部為一類(lèi)時(shí)，在二維空間無(wú)法找到一個(gè)線性函數(shù)將其正確分開(kāi)，但我們可以找到一條曲線，如此時(shí)該函數(shù)表達(dá)式為新建一個(gè)向量將g(x)轉(zhuǎn)化為，此時(shí)f(y)與g(x)等價(jià)，且為四維空間中的線性函數(shù)。這樣，我們就將低維的非線性可分問(wèn)題轉(zhuǎn)化為了高維的線性可分問(wèn)題。 但遺憾的是，目前還沒(méi)有一種系統(tǒng)地將低維向量映射到高維的方法[5]。 事實(shí)上，計(jì)算過(guò)程中我們只關(guān)心高維向量之間的內(nèi)積，只要找出一種方法可以求出此值就得到了我們想要的結(jié)果。 核函數(shù)〔kernelfunction〕正是為了求出低維空間的向量經(jīng)過(guò)變換后在高維空間的內(nèi)積而提出的。并且由于其輸入為原空間中的低維向量，避開(kāi)了高維變換計(jì)算問(wèn)題，使得問(wèn)題大大簡(jiǎn)化了。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)滿足Mercer條件，它就對(duì)應(yīng)某一變換空間中的內(nèi)積[6]。Mercer條件：對(duì)任意的對(duì)稱函數(shù),它是某個(gè)特征空間中的內(nèi)積運(yùn)算的充分必要條件是，對(duì)任意，且，有用核函數(shù)替換內(nèi)積函數(shù)后，此時(shí)的最優(yōu)分類(lèi)目標(biāo)函數(shù)變?yōu)榇藭r(shí)由于計(jì)算仍在原空間進(jìn)行，分類(lèi)器的計(jì)算復(fù)雜度沒(méi)有增加[4]。目前，常用的核函數(shù)有以下幾種：線性核函數(shù)：多項(xiàng)式核函數(shù)：徑向基函數(shù)〔RBF〕：Sigmoid函數(shù)：這時(shí)SVM實(shí)現(xiàn)的是包含一個(gè)隱層的多層感知器，隱層節(jié)點(diǎn)數(shù)是由算法自動(dòng)確定的，而且算法不存在困擾神經(jīng)網(wǎng)絡(luò)方法的局部極小點(diǎn)問(wèn)題。松弛變量及懲罰因子核函數(shù)解決了低維向高維空間映射的計(jì)算問(wèn)題，但如果映射到高維空間之后有少量樣本的存在使得問(wèn)題仍然是非線性可分的，這種造成少量錯(cuò)分的問(wèn)題稱為近似線性可分。如圖4.1松弛變量此時(shí)我們對(duì)錯(cuò)分樣本點(diǎn)i引入一非負(fù)松弛變量使其間隔可以大于規(guī)定的間隔。并使用一個(gè)懲罰因子C衡量其帶來(lái)的損失。此時(shí)，我們的原始優(yōu)化問(wèn)題就變?yōu)椋簃in subjectto此時(shí)，近似線性可分問(wèn)題就轉(zhuǎn)為了線性可分問(wèn)題。由此得到的分類(lèi)器稱為軟間隔分類(lèi)器，之前未參加松弛變量得到的分類(lèi)器為硬間隔分類(lèi)器。引入松弛變量可以獲得更大的分類(lèi)間隔，但同時(shí)也使分類(lèi)器的精確分類(lèi)能力降低了。4.2懲罰因子 懲罰因子C代表了對(duì)離群點(diǎn)的重視程度，C越大，表示不能舍棄該樣本的程度越大，在極端的情況下，C趨于無(wú)窮時(shí)退化為硬間隔分類(lèi)問(wèn)題。懲罰因子可用來(lái)解決數(shù)據(jù)集偏斜的問(wèn)題，即分別給正類(lèi)、負(fù)類(lèi)的樣本點(diǎn)賦予不同的懲罰因子，由此區(qū)分對(duì)兩類(lèi)樣本的重視程度。 數(shù)據(jù)集偏斜是指參與分類(lèi)的兩類(lèi)樣本數(shù)量差距很大，此時(shí)對(duì)于數(shù)量少的樣本應(yīng)予以重視，不能輕易舍棄，應(yīng)賦予較大的懲罰因子。 此時(shí)我們目標(biāo)函數(shù)中因松弛變量而損失的局部就變?yōu)槠渲校琲=1..p為正樣本，j=p+1…p+q為負(fù)樣本。 、的比例選取應(yīng)根據(jù)實(shí)際情況具體問(wèn)題具體分析，如當(dāng)兩類(lèi)樣本分部情況類(lèi)似時(shí)，正負(fù)類(lèi)懲罰因子的比例可以由數(shù)量之比確定，當(dāng)一類(lèi)與另一類(lèi)相比樣本較集中時(shí)，可以用覆蓋兩類(lèi)的超球半徑之比來(lái)確定。SVM用于多類(lèi)分類(lèi)由于SVM屬于二類(lèi)分類(lèi)器，一個(gè)分類(lèi)器只能完成二類(lèi)分類(lèi)，在處理多類(lèi)分類(lèi)問(wèn)題時(shí)，需要用到多個(gè)分類(lèi)器共同完成分類(lèi)工作。常用的多類(lèi)分類(lèi)方法有：一類(lèi)對(duì)余類(lèi)〔1-a-r〕、一對(duì)一類(lèi)(1-a-1)和有向無(wú)環(huán)圖支持向量機(jī)(DAGSMV)1-a-r方法是指，訓(xùn)練時(shí)，每次選取一個(gè)類(lèi)的樣本作為正類(lèi)樣本，其余為負(fù)類(lèi)樣本，此時(shí)生成的分類(lèi)器個(gè)數(shù)為n。分類(lèi)時(shí)，將待分類(lèi)樣本代入每個(gè)分類(lèi)器進(jìn)行運(yùn)算。1-a-r方法由于分類(lèi)器較少，所以分類(lèi)速度較快，但會(huì)出現(xiàn)分類(lèi)重疊或不可分類(lèi)現(xiàn)象，并且由于訓(xùn)練階段正負(fù)類(lèi)數(shù)量差距較大，這就人為造成了數(shù)據(jù)集偏斜。1-a-1方法是指，訓(xùn)練時(shí)，選取一個(gè)樣本作為正類(lèi)樣本，分別取其余樣本中的一類(lèi)為負(fù)類(lèi)樣本進(jìn)行訓(xùn)練，此時(shí)生成的分類(lèi)器個(gè)數(shù)為n(n-1)個(gè)。分類(lèi)時(shí)，將待分類(lèi)樣本代入每個(gè)分類(lèi)器進(jìn)行運(yùn)算，采用每個(gè)分類(lèi)器投票的方式?jīng)Q定樣本類(lèi)別。1-a-r方法的優(yōu)點(diǎn)在于，由于訓(xùn)練階段正負(fù)類(lèi)樣本數(shù)量較少，整體上來(lái)說(shuō)，速度要優(yōu)于1-a-r方法，雖然仍然存在分類(lèi)重疊現(xiàn)象，但防止了不可分類(lèi)現(xiàn)象，缺點(diǎn)在于分類(lèi)器個(gè)數(shù)過(guò)多，分類(lèi)過(guò)程會(huì)較慢。DAGSMV方法是指，訓(xùn)練時(shí)，按照1-a-1的方法求出分類(lèi)器，在分類(lèi)階段，以有向無(wú)環(huán)圖的形式選取分類(lèi)器進(jìn)行運(yùn)算，最終得到分類(lèi)結(jié)果，如圖 DAGSVM的優(yōu)點(diǎn)在于分類(lèi)時(shí)不必遍歷所有的分類(lèi)器，具有較高的分類(lèi)效率。但一旦根節(jié)點(diǎn)分類(lèi)錯(cuò)誤，那么后面將無(wú)法修正錯(cuò)誤并導(dǎo)致錯(cuò)誤的分類(lèi)。故一般根節(jié)點(diǎn)都會(huì)使用差異較大的兩類(lèi)分類(lèi)器。SVM算法的改良目前針對(duì)SVM應(yīng)用中出現(xiàn)的問(wèn)題，主要針對(duì)SVM的一些缺乏之處進(jìn)行如下改良和完善。6.1對(duì)學(xué)習(xí)訓(xùn)練速度的改良SVM訓(xùn)練速度與支持向量的數(shù)量有關(guān)，支持向量個(gè)數(shù)越大，訓(xùn)練的計(jì)算量就越大，識(shí)別的計(jì)算量也同樣很大。于是，就需要提高SVM的計(jì)算速度，以便處理大規(guī)模問(wèn)題。因此，降低支持向量數(shù)目、簡(jiǎn)化支持向量成為一項(xiàng)非常有意義的工作[7][8]。6.2對(duì)SVM多分類(lèi)算法的研究 經(jīng)典SVM算法在二類(lèi)分類(lèi)問(wèn)題上得到了很好的研究和應(yīng)用，但現(xiàn)實(shí)中的問(wèn)題往往需要多類(lèi)分類(lèi)問(wèn)題。如何將SVM良好的二分類(lèi)處理能力有效地延伸到多累分類(lèi)問(wèn)題上，是擴(kuò)大SVM應(yīng)用領(lǐng)域的實(shí)際要求，是目前研究的一個(gè)重要方面[9][10]。6.3對(duì)過(guò)學(xué)習(xí)問(wèn)題的優(yōu)化 當(dāng)訓(xùn)練樣本兩類(lèi)樣本混雜較嚴(yán)重時(shí)，SVM也可能出現(xiàn)過(guò)學(xué)習(xí)現(xiàn)象，使得決策面過(guò)于復(fù)雜而降低了泛化能力。因此，對(duì)過(guò)學(xué)習(xí)問(wèn)題的研究和尋找防止方法也是研究之一[11]。6.4對(duì)SVM樣本孤立點(diǎn)和噪點(diǎn)處理的改良 改良對(duì)訓(xùn)練樣本中噪點(diǎn)的處理提高其泛化能力，因?yàn)镾VM在構(gòu)造最優(yōu)分類(lèi)面時(shí)所有樣本具有相同的作用，因此，存在對(duì)噪聲或野值敏感的問(wèn)題。于是，如何消除噪點(diǎn)影響也是改良SVM的研究方向之一[12]。6.5核函數(shù)的構(gòu)造和參數(shù)的選擇理論研究 基于各個(gè)不同的應(yīng)用領(lǐng)域，可以構(gòu)造不同的核函數(shù)，能或多或少的引入領(lǐng)域知識(shí)?，F(xiàn)在核函數(shù)廣泛應(yīng)用的類(lèi)型有：多項(xiàng)式逼近、貝葉斯分類(lèi)器、徑向基函數(shù)、多層感知器等。參數(shù)的選擇現(xiàn)在多利用交叉驗(yàn)證的方法來(lái)確認(rèn)。6.6主動(dòng)學(xué)習(xí)的SVM 主動(dòng)學(xué)習(xí)在學(xué)習(xí)過(guò)程中可以根據(jù)學(xué)習(xí)進(jìn)程，選擇最有利于分類(lèi)器性能的樣本來(lái)進(jìn)一步訓(xùn)練分類(lèi)器，它能有效地減少評(píng)價(jià)樣本的數(shù)量，也就是通過(guò)某種標(biāo)準(zhǔn)對(duì)樣本分類(lèi)的有效性進(jìn)行排序，然后選擇有效樣本進(jìn)行訓(xùn)練。SVM的應(yīng)用由于SVM堅(jiān)實(shí)的理論根底以及分類(lèi)器較低的系統(tǒng)資源占用，使得SVM成為一種較有力的工具。7.1在函數(shù)擬合上的應(yīng)用 SVM方法可以很好地應(yīng)用于函數(shù)擬合問(wèn)題中，其思路與在模式識(shí)別中十分相似，一般支持向量都是在函數(shù)變化比擬劇烈的位置上的樣本[4]。但凡涉及內(nèi)積運(yùn)算的只要用核函數(shù)來(lái)計(jì)算就可以實(shí)現(xiàn)非線性函數(shù)擬合。7.2在高維模式識(shí)別上的應(yīng)用 由于SVM的分類(lèi)器十分簡(jiǎn)潔，使得SVM在高維模式識(shí)別方面有特有的優(yōu)勢(shì)。如文本分類(lèi)領(lǐng)域，即使計(jì)算高維樣本也不會(huì)對(duì)計(jì)算機(jī)造成太大的負(fù)擔(dān)。而其他方法，如KNN方法，在樣本維數(shù)及樣本數(shù)過(guò)高時(shí)效率會(huì)非常低下。7.3在一般模式識(shí)別上的應(yīng)用 但凡能夠量化為向量形式的問(wèn)題都可以將SVM作為工具來(lái)使用，如人臉識(shí)別、三維物體識(shí)別、遙感圖像分析、時(shí)間序列預(yù)測(cè)、波束成型等。 在現(xiàn)實(shí)應(yīng)用中，SVM在手寫(xiě)識(shí)別[13]，波束成形[14]等應(yīng)用領(lǐng)域取得了良好的效果。討論由于統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)建立了一套較好的在小樣本下機(jī)器學(xué)習(xí)的理論框架和通用方法，既有嚴(yán)格的理論根底，又能較好地解決小樣本、非線性、高維和局部極小點(diǎn)等實(shí)際問(wèn)題，因此成為繼神經(jīng)網(wǎng)絡(luò)之后的有一個(gè)研究方向。但從文中我們可以看出，支持向量機(jī)還有許多領(lǐng)域有待研究，如VC維確實(shí)定、核函數(shù)的選擇、如何找到一個(gè)更好反映學(xué)習(xí)機(jī)器的參數(shù)和得到更緊的界等。在應(yīng)用方面，支持向量機(jī)在性能上有各種出色的表現(xiàn)，目前，支持向量機(jī)更趨向于與其他機(jī)器學(xué)習(xí)方法的融合，如SVM與KNN算法、SVM與神經(jīng)網(wǎng)絡(luò)等等。參考文獻(xiàn)[1]劉霞，盧葦.SVM在文本分類(lèi)中的應(yīng)用研究，計(jì)算機(jī)教育，2007.1[2]唐春生，張磊.文本分類(lèi)研究進(jìn)展[3]VapnikV,LevinE,LeCunY.MeasuringtheVC2dimensionofalearningmachine.NeuralComputation,1994,6:851～876.[4]張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)，自動(dòng)化學(xué)報(bào)，2000.1[5]Jasper'sJavaJacal.SVM入門(mén)〔七〕為何需要核函數(shù)，[6]VapnikVN.TheNatureofStatisticalLearningTheory,NY:Springer2Verlag,1995張學(xué)工譯.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì).北京:清華大學(xué)出版社,1999[7]CJCBurges.Simplifiedsupportvectordecisionrule[A].Proc13