模式識(shí)別課程報(bào)告(礦大)

1、 中國(guó)礦業(yè)大學(xué) 級(jí)本科生課程報(bào)告課程名稱(chēng) 模式識(shí)別 報(bào)告時(shí)間 2014-6-14 學(xué)生姓名 學(xué) 號(hào) 專(zhuān) 業(yè) 任課教師 任課教師評(píng)語(yǔ)任課教師評(píng)語(yǔ)（對(duì)課程基礎(chǔ)理論的掌握；對(duì)課程知識(shí)應(yīng)用能力的評(píng)價(jià)；對(duì)課程報(bào)告相關(guān)實(shí)驗(yàn)、作品、軟件等成果的評(píng)價(jià)；課程學(xué)習(xí)態(tài)度和上課紀(jì)律；課程成果和報(bào)告工作量；總體評(píng)價(jià)和成績(jī)；存在問(wèn)題等）：對(duì)課程基礎(chǔ)理論的掌握；對(duì)課程知識(shí)應(yīng)用能力的評(píng)價(jià)；對(duì)課程報(bào)告相關(guān)實(shí)驗(yàn)、作品、軟件等成果的評(píng)價(jià)；課程學(xué)習(xí)態(tài)度和上課紀(jì)律；課程成果和報(bào)告工作量；總體評(píng)價(jià)和成績(jī)；存在問(wèn)題等成 績(jī)： 任課教師簽字： 年 月 日摘要支持向量機(jī)是一種有監(jiān)督學(xué)習(xí)方法，可被廣泛應(yīng)用于統(tǒng)計(jì)分類(lèi)以及線(xiàn)性回歸。vapnik等人

2、在多年研究統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上對(duì)線(xiàn)性分類(lèi)器提出了另一種設(shè)計(jì)最佳準(zhǔn)則。其原理也從線(xiàn)性可分說(shuō)起，然后擴(kuò)展到線(xiàn)性不可分的情況。甚至擴(kuò)展到使用非線(xiàn)性函數(shù)中去，這種分類(lèi)器被稱(chēng)為支持向量機(jī)。本次課題的選擇來(lái)源于一次模式識(shí)別的實(shí)驗(yàn)，在該課題中對(duì)實(shí)驗(yàn)進(jìn)行了擴(kuò)展，從線(xiàn)性可分的數(shù)據(jù)樣本集擴(kuò)展到了線(xiàn)性不分的數(shù)據(jù)樣本集。在本次報(bào)告中，將著重介紹使用支持向量機(jī)對(duì)線(xiàn)性不可分樣本的分類(lèi)方法。開(kāi)發(fā)環(huán)境使用的是matlab。為了更直觀、更清晰地支持向量機(jī)的原理和強(qiáng)大功能，報(bào)告中將介紹一個(gè)驗(yàn)證性實(shí)驗(yàn)，從實(shí)例中表現(xiàn)實(shí)驗(yàn)結(jié)果。通過(guò)實(shí)驗(yàn)，最后得出結(jié)論：支持向量機(jī)在解決線(xiàn)性不可分樣本集的分類(lèi)問(wèn)題上具有超強(qiáng)的本領(lǐng)。abstractsuppo

3、rt vector machine is a kind of supervised learning method, which can be widely used in statistical classification and linear regression. vapnik et al study theory is another design criterion of optimal linear classifier is proposed in years of research and statistics. the principle from the linear s

4、eparable about, and then extended to linear inseparable case. even extended to the use of nonlinear function, this classifier called support vector machine.select a source of this subject in an experimental pattern recognition, in this topic has been extended to experiment, from linearly separable d

5、ata set is extended to the linear regardless of the data set. in this report, will focus on support vector machine classification method using the linear inseparable samples.development environment using matlab. in order to more intuitive, more clearly the principle of support vector machine and pow

6、erful functions, the report will introduce a verification experiment, performance results from the instance.through the experiment, finally draws the conclusion: support vector machine has strong ability in classification problem solving linear inseparable sample set.關(guān)鍵詞：svm；matlab；線(xiàn)性不可分；高維。 目 錄1.引言

7、12.原理分析13.理論說(shuō)明34.實(shí)現(xiàn)步驟流程45.實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析46.結(jié)論61. 引言分類(lèi)問(wèn)題大體有三種類(lèi)型，以我們第一次模式識(shí)別實(shí)驗(yàn)中的兩種分類(lèi)為例來(lái)說(shuō)，很容易用一條直線(xiàn)把訓(xùn)練樣本集正確地分開(kāi)，即兩類(lèi)點(diǎn)分別在直線(xiàn)的兩側(cè)，沒(méi)有錯(cuò)分點(diǎn)，這類(lèi)問(wèn)題稱(chēng)為線(xiàn)性可分問(wèn)題；用一條直線(xiàn)也能大全上把訓(xùn)練樣本集正確分開(kāi)，僅有較少的錯(cuò)分點(diǎn)，這類(lèi)問(wèn)題稱(chēng)為近似線(xiàn)性可分問(wèn)題；當(dāng)用一條直線(xiàn)，無(wú)論怎么放都會(huì)產(chǎn)生很大誤差時(shí)，這類(lèi)問(wèn)題稱(chēng)為線(xiàn)性不可分問(wèn)題。在感知準(zhǔn)則函數(shù)實(shí)驗(yàn)中，雖然實(shí)驗(yàn)數(shù)據(jù)是想讓我們實(shí)現(xiàn)近似線(xiàn)性劃分，而我們所完成的也僅僅是最簡(jiǎn)單的線(xiàn)性劃分。對(duì)于線(xiàn)性不可分樣本集的分類(lèi)問(wèn)題，感知準(zhǔn)則函數(shù)就有些吃力了，而支持向量機(jī)

8、在處理這方面問(wèn)題時(shí)有著得天獨(dú)厚的優(yōu)勢(shì)。此外，支持向量機(jī)在解決小樣本、高維模式識(shí)別問(wèn)題方面，也表現(xiàn)出超強(qiáng)的本領(lǐng)。2. 原理分析對(duì)于線(xiàn)性可分問(wèn)題，svm的方法與感知準(zhǔn)則函數(shù)的方法相同，都是著重去找最優(yōu)分類(lèi)面。如下圖所示：圖1 線(xiàn)性可分情況下的最優(yōu)分類(lèi)線(xiàn) 為將兩類(lèi)完全正確分開(kāi)的分類(lèi)線(xiàn)，和分別為過(guò)兩類(lèi)樣本中離分類(lèi)線(xiàn)最近的點(diǎn)且平行于分類(lèi)線(xiàn)的直線(xiàn)，也稱(chēng)為支撐線(xiàn)，和之間的距離即為兩類(lèi)的分類(lèi)間隔。最優(yōu)分類(lèi)線(xiàn)不但能將兩類(lèi)樣本無(wú)錯(cuò)誤地分開(kāi)，而且要能使兩類(lèi)的分類(lèi)間隔最大。前者是保證經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，在線(xiàn)性可分的情況下，沒(méi)有錯(cuò)分樣本，經(jīng)驗(yàn)風(fēng)險(xiǎn)為0，后者實(shí)際上是為了使推廣性的界中的置信區(qū)間最小，從而使期望風(fēng)險(xiǎn)最小，這是結(jié)構(gòu)

9、風(fēng)險(xiǎn)最小化原則的具體實(shí)現(xiàn)。對(duì)于線(xiàn)性不可分問(wèn)題，經(jīng)驗(yàn)風(fēng)險(xiǎn)不為0，因此需要從srm原則的一般性概念來(lái)構(gòu)造學(xué)習(xí)機(jī)，也就是首先找能使得經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍的和最小的某個(gè)子集，然后在這個(gè)子集中最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)。用松弛變量來(lái)表示經(jīng)驗(yàn)風(fēng)險(xiǎn)： ，i= 1,2,l （2.1）這樣，經(jīng)驗(yàn)風(fēng)險(xiǎn)就可表示為： （2.2）給定樣本數(shù)據(jù)之后，在容許結(jié)構(gòu)的某個(gè)子集下最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)。最小化泛函： （2.3）約束條件： 等價(jià)約束條件： （2.4）求解這個(gè)優(yōu)化問(wèn)題的技術(shù)與上面線(xiàn)性可分的情況相似，原問(wèn)題的對(duì)偶形式為： （2.5）約束條件變?yōu)椋?,i=1,2,l 這樣原問(wèn)題的解為： （2.6）其中c是一個(gè)變化的量，由用戶(hù)在機(jī)器進(jìn)行學(xué)習(xí)前指

10、定。對(duì)應(yīng)于線(xiàn)性可分情況下的硬間隔，一般把在線(xiàn)性不可分情況下得到的超平面稱(chēng)為軟間隔超平面。支持向量機(jī)的高維映射：在低維輸入空間向高維特征空間映射過(guò)程中，由于空間維數(shù)迅速增長(zhǎng)，這就使得在大多數(shù)情況下難以直接在特征空間計(jì)算最優(yōu)分類(lèi)面或是計(jì)算過(guò)于復(fù)雜。支持向量機(jī)通過(guò)定義核函數(shù)，巧妙地把這一問(wèn)題轉(zhuǎn)化到初始空間進(jìn)行計(jì)算。也就是說(shuō)，雖然將數(shù)據(jù)映射到了高維空間，但計(jì)算還是在低維空間，或者說(shuō)計(jì)算的復(fù)雜程度還維持在低維空間沒(méi)有變。在核函數(shù)的定義下，二次規(guī)劃問(wèn)題如下： ，i= 1,2,l相應(yīng)的判別函數(shù)式： （2.7）這就是svm方法。這種非線(xiàn)性變換是通過(guò)定義適當(dāng)?shù)暮撕瘮?shù)來(lái)實(shí)現(xiàn)的，升維后只是改變了內(nèi)積運(yùn)算，并沒(méi)有使算

11、法復(fù)雜性隨著維數(shù)的增加而增加。3. 理論說(shuō)明支持向量機(jī)（support vector machines，svm），又稱(chēng)支持矢量機(jī)，是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，主要應(yīng)用于人工智能、模式識(shí)別領(lǐng)域。它是繼經(jīng)典的參數(shù)統(tǒng)計(jì)估計(jì)算法、人工神經(jīng)網(wǎng)絡(luò)之后的第三種基于數(shù)據(jù)的機(jī)器學(xué)習(xí)方法。svm的基本思想是：把訓(xùn)練數(shù)據(jù)集非線(xiàn)性地映射到一個(gè)高維特征空間去，通過(guò)映射，將原本線(xiàn)性不可分的數(shù)據(jù)集變成在高維特征空間中線(xiàn)性可分的數(shù)據(jù)集，隨后再利用線(xiàn)性可分的方法進(jìn)行分類(lèi)，分完后再返回初始空間。svm基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論（srm），即使經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信范圍的和最小化。這需要通過(guò)控制兩個(gè)因素來(lái)完成，即經(jīng)驗(yàn)風(fēng)險(xiǎn)的值和置信范

12、圍的值。神經(jīng)網(wǎng)絡(luò)采用的是：保持置信范圍固定并最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)。支持向量機(jī)采用的是第二種方法：保持經(jīng)驗(yàn)風(fēng)險(xiǎn)值固定并最小化置信范圍。svm的目標(biāo)就是要根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原理，構(gòu)造一個(gè)目標(biāo)函數(shù)將兩類(lèi)模式盡可能地區(qū)分開(kāi)來(lái)。svm的理論基礎(chǔ)之一vc維理論：對(duì)一個(gè)指求函數(shù)集，如果存在個(gè)樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開(kāi)，則稱(chēng)函數(shù)集能夠把個(gè)樣本找散，函數(shù)數(shù)集的vc維是。對(duì)于一個(gè)指示函數(shù)集，如果其生長(zhǎng)函數(shù)是線(xiàn)性的，則它的vc維為無(wú)窮大；而如果生長(zhǎng)函數(shù)以參數(shù)為的對(duì)數(shù)函數(shù)為界，則函數(shù)的vc維是有界的且等于。根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論中關(guān)于函數(shù)集的推廣性的結(jié)論，對(duì)于指示函數(shù)集,如果損失函數(shù)r 取值為0或1，則有如

13、下定理：對(duì)于指示函數(shù)集中的所有函數(shù)，經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間至少以的概率滿(mǎn)足如下關(guān)系。 （3.1）其中，為函數(shù)集 的vc維，為訓(xùn)練集規(guī)模。由上式可以看出，在學(xué)習(xí)系統(tǒng)的vc維與訓(xùn)練集規(guī)模的比值很大時(shí)，即使經(jīng)驗(yàn)風(fēng)險(xiǎn)較小，也無(wú)法保證期望風(fēng)險(xiǎn)較小，即無(wú)法保證學(xué)習(xí)系統(tǒng)具有較好的泛化能力。因此，要獲得一個(gè)泛化性能較好的學(xué)習(xí)系統(tǒng)，就需要在學(xué)習(xí)系統(tǒng)的vc維與訓(xùn)練集的規(guī)模之間達(dá)成一定的均衡。該定理也被稱(chēng)為推廣性的界。這一結(jié)論從理論上說(shuō)明了學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)是由兩部分組成的：一部分是經(jīng)驗(yàn)風(fēng)險(xiǎn)，另一部分是置信范圍。4. 實(shí)現(xiàn)步驟流程1、選定線(xiàn)性不可分的樣本集；2、將數(shù)據(jù)映射到高維特征空間；3、選擇合適的核函數(shù)（本實(shí)驗(yàn)

14、選的是高斯徑向基核函數(shù)，2）；4、用matlab編程實(shí)現(xiàn)算法并輸出結(jié)果。5. 實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析x1x2y0.50002.000011.00001.000011.00002.500012.00004.000012.00000.500013.00000.500013.00003.500014.00001.500014.00000.500011.50001.5000-11.50002.5000-12.50001.5000-12.50002.5000-12.50003.0000-13.00003.0000-1表1 樣本數(shù)據(jù)圖2 初始樣本圖像圖3 分類(lèi)輸出圖像：support vectors : 6

15、(40.0%)對(duì)于線(xiàn)性不可分的樣本集，用直線(xiàn)劃分會(huì)產(chǎn)生很大的誤差，所以必須使用非線(xiàn)性函數(shù)，本實(shí)驗(yàn)用二次函數(shù)將訓(xùn)練樣本集分類(lèi)。由輸出圖像可知，原本線(xiàn)性不可分的樣本集，經(jīng)svm分類(lèi)后，以一個(gè)橢圓將其正確分類(lèi)，虛線(xiàn)上的樣本為支持向量，虛線(xiàn)為支持分界線(xiàn)。6. 結(jié)論svm，這一基于統(tǒng)計(jì)學(xué)習(xí)理論中的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的一種機(jī)器學(xué)習(xí)，解決了對(duì)非線(xiàn)性函數(shù)求解超平面的問(wèn)題。它的主要思想有兩點(diǎn)：1.它是針對(duì)線(xiàn)性可分情況進(jìn)行分析的，對(duì)于線(xiàn)性不可分的情況，它運(yùn)用一步映射，將線(xiàn)性不可分的情況變換為高維線(xiàn)性可分的，從而將復(fù)雜的問(wèn)題簡(jiǎn)單化。其中核函數(shù)的運(yùn)用無(wú)疑是最重要的，它的存在使得升維后計(jì)算復(fù)雜度并不增加，為升維提供了現(xiàn)

16、實(shí)可能性。核函數(shù)方法的優(yōu)點(diǎn)：（1） 減少了直接變換時(shí)特征空間的運(yùn)算，能極大地降低計(jì)算的代價(jià)，避免了“維災(zāi)難”；（2） 采取核函數(shù)的方法后，就不必要知道非線(xiàn)性變換函數(shù)的開(kāi)式；（3） 特征空間的維數(shù)不受限制；（4） 核函數(shù)比較容易確定，只要滿(mǎn)足mercer條件的函數(shù)都可。另外，svm可以有效地解決小樣本、非線(xiàn)性及高維模式識(shí)別問(wèn)題。svm用于模式分類(lèi)的觀點(diǎn)可以簡(jiǎn)單地闡述為：無(wú)論問(wèn)題是不為線(xiàn)性，選擇相應(yīng)的核函數(shù)，均可將輸入向量映射到一個(gè)高維空；其次，用最優(yōu)化理論方法尋求最優(yōu)超平面將兩類(lèi)分開(kāi)。自20世紀(jì)90年代貝爾實(shí)驗(yàn)室的vapnik教授首次提出支持向量機(jī)的基本理論和概念以來(lái)，在國(guó)際范圍內(nèi)引起研究支持向

17、量機(jī)理論和應(yīng)用的熱潮，各種雜志紛紛撰文介紹svm的內(nèi)容，許多學(xué)者紛紛將svm理論應(yīng)用于不同領(lǐng)域，如模式識(shí)別、回歸分析、自動(dòng)控制、函數(shù)逼近等。我國(guó)對(duì)支持向量機(jī)的研究雖略晚于國(guó)外，但近年來(lái)關(guān)于支持向量機(jī)理論和應(yīng)用的研究越來(lái)越受到研究者和技術(shù)開(kāi)發(fā)界的關(guān)注。相信隨著支持向量機(jī)基本原理、方法和應(yīng)用技巧的深入研究和發(fā)展，其應(yīng)用范圍將越來(lái)越廣泛。參考文獻(xiàn)：1 孫即祥.現(xiàn)代模式識(shí)別（第二版）m.北京：高等教育出版社，2008：624650.2 李晶皎.模式識(shí)別m.北京：電子工業(yè)出版社，2010：149188.3 孫亮.模式識(shí)別原理m.北京：北京工業(yè)大學(xué)出版社，2009：149206.4 丁世飛.人工智能m.北

18、京：清華大學(xué)出版社，2011：169181.5 方瑞明.支持向量機(jī)理論及其應(yīng)用分析m.北京：中國(guó)電力出版社，2007：165.6 張克.基于地震正演模擬和svm的煤與瓦斯突出危險(xiǎn)區(qū)預(yù)測(cè)研究d.徐州：中國(guó)礦業(yè)大學(xué).7 程鳳偉.動(dòng)態(tài)粒度svm學(xué)習(xí)算法j.模式識(shí)別與人工智能，2014，27（4）：372376. cheng feng-wei.dynamic grannlar svm learning algorithmj.pattern recognition and artificial intelligence, 2014，27（4）：372376.8 田中大.基于emd與lssvm的網(wǎng)絡(luò)控制系

19、統(tǒng)時(shí)延預(yù)測(cè)方法j.電子學(xué)報(bào)，2014，42（5）：868873. tian zhong-da.time-delay prediction method of networked control system based on emd and ls-svmj.acta electronica sinica, 2014，42（5）：868873.9 顧嘉運(yùn).基于svm的大樣本數(shù)據(jù)回歸預(yù)測(cè)改進(jìn)算法j.計(jì)算機(jī)工程，2014，40（1）：161166. gu jia-yun.a modified regression prediction algorithm of large sample data based on svmj.computer engineering, 2014，40（1）：161166.10 肖佳林.基于hmm與svm的語(yǔ)言活動(dòng)栓測(cè)j.計(jì)算機(jī)工程，2014，40（1）：203208. xiao jia-lin.voice activity detection based on hmm and svmj.computer engineering, 2014，40（1）：203208.附：實(shí)驗(yàn)代碼clearx1= 0.5000;1.0000;1.00