數(shù)據(jù)庫系統(tǒng)原理-福建醫(yī)科大學(xué)ppt課件

.,1,數(shù)據(jù)挖掘?qū)д?福建醫(yī)科大學(xué)鄭偉成,.,2,支持向量機,支持向量機(SupportVectorMachine，SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中。在機器學(xué)習(xí)中，支持向量機（SVM，還支持矢量網(wǎng)絡(luò)）是與相關(guān)的學(xué)習(xí)算法有關(guān)的監(jiān)督學(xué)習(xí)模型，可以分析數(shù)據(jù)，識別模式，用于分類和回歸分析。,.,3,支持向量機（SVM）是90年代中期發(fā)展起來的基于統(tǒng)計學(xué)習(xí)理論的一種機器學(xué)習(xí)方法，通過尋求結(jié)構(gòu)化風(fēng)險最小來提高學(xué)習(xí)機泛化能力，實現(xiàn)經(jīng)驗風(fēng)險和置信范圍的最小化，從而達到在統(tǒng)計樣本量較少的情況下，亦能獲得良好統(tǒng)計規(guī)律的目的。通俗來講，它是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，即支持向量機的學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個凸二次規(guī)劃問題的求解。,什么是支持向量機SVM,.,4,在講SVM之前，必須先弄清楚一個概念：線性分類器算法考慮一個兩類的分類問題，數(shù)據(jù)點用x來表示，這是一個n維向量，wT中的T代表轉(zhuǎn)置，而類別用y來表示，可以取1或者-1，分別代表兩個不同的類。一個線性分類器的學(xué)習(xí)目標(biāo)就是要在n維的數(shù)據(jù)空間中找到一個分類超平面，其方程可以表示為,線性分類,.,5,一個二維平面(一個超平面，在二維空間中的例子就是一條直線)，如下圖所示，平面上有兩種不同的點，分別用兩種不同的顏色表示，一種為紅顏色的點，另一種則為藍顏色的點，紅顏色的線表示一個可行的超平面。,分類超平面,.,6,從上圖中我們可以看出，這條紅顏色的線把紅顏色的點和藍顏色的點分開來了。而這條紅顏色的線就是超平面，也就是說，這個超平面把這兩種不同顏色的數(shù)據(jù)點分隔開來，在超平面一邊的數(shù)據(jù)點所對應(yīng)的y全是-1，而在另一邊全是1,分類超平面,.,7,應(yīng)用分類函數(shù)顯然，如果f(x)=0，那么x是位于超平面上的點。我們不妨要求對于所有滿足f(x)0則對應(yīng)y=1的數(shù)據(jù)點。,應(yīng)用超平面進行分類,.,8,分類超平面,.,9,對于圖示數(shù)據(jù)，無法找到一個二維超平面進行正確分類,非線性可分,.,10,線性不可分的高緯解,.,11,可以看到兩個支撐著中間間隔的超平面，它們到中間的純紅線到兩個分割平面的距離相等，即我們所能得到的最大的幾何距離，而“支撐”這兩個超平面的必定會有一些點，而這些“支撐”的點便叫做支持向量SupportVector。,支持向量,.,12,很顯然，由于這些supportingvector剛好在邊界上，所以它們滿足（Y的取值為1或-1）那么支持向量機的分類過程，就是找到這些支撐點過程，通過求解WT與B，學(xué)習(xí)建立分類器,支撐點,.,13,簡而言之：在線性不可分的情況下，支持向量機通過某種事先選擇的非線性映射(核函數(shù))將輸入變量映射到一個高維特征空間，在這個空間中構(gòu)造最優(yōu)分類超平面。我們使用SVM進行數(shù)據(jù)集分類工作的過程首先是同預(yù)先選定的一些非線性映射將輸入空間映射到高維特征空間,核函數(shù),.,14,當(dāng)出現(xiàn)線性不可分的情況，利用核函數(shù)隱