機器學(xué)習(xí)原理與應(yīng)用電子教案 5.6支持向量機

備課日期：年月日授課時間課時（理論+實驗）周次星期:節(jié)次:授課課題支持向量機教學(xué)目標(biāo)1.理解支持向量機的基本原理。2.理解支持向量機的數(shù)學(xué)模型構(gòu)建方法。3.掌握Scikit-learn支持向量機庫使用方法。教學(xué)重點1.支持向量機基本思想；2.模型構(gòu)建方法；3.Scikit-learn支持向量機庫使用。教學(xué)準(zhǔn)備PPT、點名冊等。教學(xué)方法指導(dǎo)閱讀、案例法。教學(xué)過程設(shè)計備注課題引入【思政】在成功構(gòu)建“九章二號”兩年后，中國科學(xué)家宣布已成功構(gòu)建量子計算原型機“九章三號”，求解特定問題的速度比目前全球最快的超級計算機快一億億倍。根據(jù)公開正式發(fā)表的最優(yōu)經(jīng)典精確采樣算法，“九章三號”處理高斯玻色取樣的速度比上一代“九章二號”提升100萬倍?！熬耪氯枴痹诎偃f分之一秒時間內(nèi)所處理的最高復(fù)雜度的樣本，需要當(dāng)前最快的超級計算機“前沿”花費超過200億年的時間。中國科大官網(wǎng)稱，這一成果再度刷新了光量子信息的技術(shù)水平和量子計算優(yōu)越性的世界紀(jì)錄，進(jìn)一步鞏固了中國在光量子計算領(lǐng)域的國際領(lǐng)先地位。【引入】兩分類問題中，距離分類邊界不同距離的樣本對分類邊界的影響程度?！緯r間】分鐘。教學(xué)步驟及主要內(nèi)容【主板書】§3.6.支持向量機一、基本原理【主板】基本原理1.使不同類別的樣本均距離決策邊界盡可能遠(yuǎn)，為此，只需保證距離分類邊界最近的不同類別的樣本距離盡可能大即可。例1：香港警匪片中的將兩幫派分開實例?！绢惐取繋皖^：支持向量；成員：樣本。2.如何度量樣本距離決策邊界之間的間隔？（1）假設(shè)樣本線性可分，分類界線為直線。（2）分類界線兩側(cè)樣本滿足的基本條件。〖PPT〗支持向量、分類界線等。（3）兩類中的支持向量所在直線L1與L2。（4）直線L1與L2之間的距離。（5）兩側(cè)樣本滿足共同的條件（即距離L1或L2越遠(yuǎn)越好）：（4）構(gòu)建目標(biāo)函數(shù)。（5）目標(biāo)函數(shù)的轉(zhuǎn)換。（6）約束條件的松馳化：允許一些樣本被錯分。（7）整體松馳因子的約束與目標(biāo)函數(shù)轉(zhuǎn)換。3.樣本集線性不可分時的解決辦法：核函數(shù)。（1）核函數(shù)的含義。（2）核函數(shù)的類型。（3）核函數(shù)的選擇。〖PPT〗核函數(shù)?！緯r間】分鐘?！咎釂枴?。二、Scikit-learn庫的使用【主板書】Scikit-learn庫的使用1.庫導(dǎo)入fromsklearnimportsvm或fromsklearn.svmimportSVC（分類）fromsklearn.svmimportSVR（回歸）2.模型構(gòu)建與求解SVC(C=1.0,kernel=’rbf’,gamma=’auto’)C：錯誤項的懲罰系數(shù)。kernel：算法中采用的核函數(shù)類型，可選參數(shù)有l(wèi)inear（線性核函數(shù)）、poly（多項式核函數(shù)）、rbf（高斯核）、sigmod（sigmod核函數(shù)）。gamma：核函數(shù)系數(shù)（默認(rèn)為auto），只對高斯核、多項式核函數(shù)、sigmod核函數(shù)有效。【副板書】gamma的含義。3.常用方法與屬性。4.應(yīng)用實例〖PPT〗。例1：線性可分?！緩娀c拓展】不同類別樣本的顯示：np.ravel(X[Y==1,1]例2：線性不可分。例3：多類分類?！緩娀c拓展】一對多法（one-versus-rest）：訓(xùn)練時依次把某個類別的樣本歸為一類，其他剩余的樣本歸為另一類，這樣k個類別的樣本就構(gòu)造出了k個SVM；分類時將未知樣本分類為具有最大分類函數(shù)值的那類。

（2）一對一法（one-versus-one）：在任意兩類樣本之間設(shè)計一個SVM，因此k個類別的樣本就需要設(shè)計k(k-1)/2個SVM。當(dāng)對一個未知樣本進(jìn)行分類時，最后得票最多的類別即為該未知樣本的類別。例4：回歸〖PPT〗。主函數(shù)：SVR(kernel=’rbf’,

gamma=’auto_deprecated’,C=1.0,

epsilon=0.1)（1）產(chǎn)生數(shù)據(jù)：正弦曲線。（2）采用不同的核函數(shù)進(jìn)行擬合。（3）結(jié)果輸出。【時間】分鐘?！咎釂枴?。課堂練習(xí)其他無小結(jié)與作業(yè)課堂小結(jié)SVM是一種具有堅實理論基礎(chǔ)的小樣本學(xué)習(xí)方法，其核心在于最大劃分類邊界，其目標(biāo)在于利用核函數(shù)將低維特征空間向高維特征空間進(jìn)行非線性映射并確定特征空間劃分的最優(yōu)超平面。支持向量是在SVM分類決策中起決定作用的樣本；SVM的最終決策函數(shù)只由少數(shù)的支持向量所確定，計算的復(fù)雜性取決于支持向量的數(shù)目，而不是樣本空間的維數(shù)，這在某種意義上避免了“維數(shù)災(zāi)難”。少數(shù)支持向量決定了最終結(jié)果，這不但可以有助于把握關(guān)鍵樣本、“剔除”大量冗余樣本，而且使得該方法不但簡單，而且具有較好的“魯棒”性。本課作業(yè)利用Scikit-learn庫生成make_moons數(shù)據(jù)（兩類）并將數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)兩部分。fromsklearn.datasetsimportmake_moonsx,y=make_moons(100,noise=0.5)#產(chǎn)生數(shù)據(jù)fromsklearn.model_selectionimporttrain_test_split

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.4)#訓(xùn)練與測試數(shù)據(jù)劃分（測試數(shù)據(jù)點40%）請完成以下實驗：（1）不同核函數(shù)對預(yù)測精度的影響。將核函數(shù)分別設(shè)置為'linear'、'poly'、'rbf'，求測試數(shù)據(jù)的預(yù)測精度并畫出相應(yīng)的折