物流人工智能-支持向量機(jī)-SVM

機(jī)器學(xué)習(xí)——支持向量機(jī)算法內(nèi)容綱要線性SVM分類間隔123能力提升在于實(shí)踐456對(duì)偶問題與KKT條件軟間隔與正則化核函數(shù)SMO算法SVM的總結(jié)與碎碎念7相關(guān)API與超參數(shù)全面推動(dòng)學(xué)習(xí)者能力提升升級(jí)實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法線性SVM分類間隔線性SVM分類間隔支持向量機(jī)(SupportVectorMachine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)。準(zhǔn)確線性SVM分類間隔類別1類別2更高維度線性SVM分類間隔X1X2是這個(gè)線性分類問題的解但只是無數(shù)個(gè)解之中的一個(gè)因?yàn)檫@樣的超平面有無數(shù)個(gè)這些無數(shù)w,b參數(shù)都可以解決分類問題線性SVM分類間隔X1X2顯而易見在諸多w,b決定的超平面中必定有一個(gè)是魯棒性泛化能力組好的線性SVM分類間隔X1X2我們希望找到一對(duì)w,b使得分類超平面“最保險(xiǎn)”我們只需要關(guān)注超平面最近的點(diǎn)這也是SVM的一大成就“分類邊界的構(gòu)造其實(shí)只與少數(shù)樣本有關(guān)”線性SVM分類間隔X1X2我們希望找到一對(duì)w,b使得分類超平面“最保險(xiǎn)”“限制條件”線性SVM分類間隔X1X2支持向量“限制條件”線性SVM分類間隔X1X21-1如何判斷分類正確線性SVM分類間隔X1X21-1線性SVM分類間隔X1X21-1函數(shù)間隔間隔越大，說明分類置信度越高線性SVM分類間隔X1X21-1幾何間隔線性SVM分類間隔X1X21-1||w||=1時(shí)，函數(shù)間隔和幾何間隔相同線性SVM分類間隔定義:SVM中的”間隔“兩個(gè)支持向量到超平面距離之和線性SVM分類間隔最優(yōu)的分類超平面：同時(shí)還要保證分類正確：準(zhǔn)確:理論上的最優(yōu)解線性SVM分類間隔目標(biāo)：求最大間隔的凸優(yōu)化問題還是那種帶不等式約束的全面推動(dòng)學(xué)習(xí)者能力提升升級(jí)實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法對(duì)偶問題與KKT條件對(duì)偶問題與KKT條件優(yōu)化問題對(duì)偶問題與KKT條件帶有約束的優(yōu)化問題有請(qǐng)拉格朗日對(duì)偶問題與KKT條件拉格朗日乘子法是一種經(jīng)典的求解條件極值的解析方法，可將所有約束的優(yōu)化模型問題轉(zhuǎn)化為無約束極值問題的求解。拉格朗日乘子法的一般形式是對(duì)偶問題與KKT條件拉格朗日乘子法是一種經(jīng)典的求解條件極值的解析方法，可將有d個(gè)變量與k個(gè)約束條件的優(yōu)化問題轉(zhuǎn)換為具有d+k個(gè)變量的無約束優(yōu)化問題。拉格朗日乘子法的一般形式是在我們的問題中，有2個(gè)變量，1個(gè)約束對(duì)偶問題與KKT條件定義拉格朗日系數(shù)乘以約束函數(shù)并與目標(biāo)函數(shù)相加得到如下的拉格朗日函數(shù)對(duì)偶問題與KKT條件因?yàn)闈M足約束條件的w,b會(huì)使得為零不滿足約束條件時(shí)，因此可取正無窮(讓為正無窮即可）最小化就成了一個(gè)無解的問題

對(duì)偶問題與KKT條件所以必須滿足約束條件的情況下，將目標(biāo)轉(zhuǎn)化為一個(gè)無約束問題（融合約束條件）對(duì)偶問題與KKT條件

仍然不好求，我們轉(zhuǎn)化為他的對(duì)偶問題-對(duì)偶問題的對(duì)偶是原問題-無論原始問題是否是凸的，對(duì)偶問題都是凸優(yōu)化問題-對(duì)偶問題可以給出原始問題一個(gè)下界-當(dāng)滿足一定條件時(shí)，原始問題與對(duì)偶問題的解是完全等價(jià)的對(duì)偶問題與KKT條件原問題對(duì)偶問題max和min換了一下，其最優(yōu)解是相等的嗎？弱對(duì)偶性:d*≤p*強(qiáng)對(duì)偶性:d*=p*任何優(yōu)化問題成立滿足KKT條件時(shí)成立對(duì)偶問題與KKT條件對(duì)w和b偏導(dǎo)為0對(duì)偶問題與KKT條件兩邊求偏導(dǎo)(分別對(duì)w與b)，并令其=0對(duì)偶問題與KKT條件將結(jié)果帶回原拉格朗日方程并對(duì)偶表達(dá)用已知量x,y和拉格朗日系數(shù)阿爾法代替了w消去了b對(duì)偶問題與KKT條件帶回支持向量即可求b對(duì)偶問題與KKT條件到這里，SVM的基本分類表達(dá)形式已經(jīng)明確了全面推動(dòng)學(xué)習(xí)者能力提升升級(jí)實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法核函數(shù)核函數(shù)準(zhǔn)確:理論上的最優(yōu)解炫酷:解決線性不可分核函數(shù)x1x2核函數(shù)(x1,x2)線性不可分(x1,x2,x1*x2)線性可分核函數(shù)核函數(shù)定義核函數(shù)關(guān)鍵問題：求也就是求訓(xùn)練集點(diǎn)與測(cè)試點(diǎn)在映射之后高維度上的內(nèi)積核函數(shù)注意其中m是數(shù)據(jù)的維度（原始特征數(shù)量）核函數(shù)蘊(yùn)含了從低維到高維的映射思想，從而避免直接計(jì)算高維的內(nèi)積核函數(shù)核函數(shù)核函數(shù)核函數(shù)不需要每次都具體計(jì)算出原始樣本映射的新的無窮維度的樣本點(diǎn)直接使用映射后的新樣本點(diǎn)的乘就散公式即可減少計(jì)算量減少儲(chǔ)存空間核函數(shù)

高斯核可映射到任意維：

多項(xiàng)式核可映射到n維：

多項(xiàng)式核其實(shí)就是線性可分布SVM：核函數(shù)全面推動(dòng)學(xué)習(xí)者能力提升升級(jí)實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法軟間隔與正則化軟間隔與正則化線性不可分，映射到高維度軟間隔與正則化X1X2軟間隔與正則化X1X2軟間隔與正則化X1X2考慮所有的點(diǎn)構(gòu)造硬間隔無解軟間隔與正則化如果我們能忽略掉噪聲點(diǎn)松弛變量X1X2軟間隔與正則化X1X2對(duì)于點(diǎn)(i=1...n)，不要求所有的點(diǎn)都能都滿足而是對(duì)于少數(shù)的點(diǎn)，可以放寬條件構(gòu)造軟間隔軟間隔與正則化X1X2避免了分類面向個(gè)別點(diǎn)移動(dòng)使得分類面間隔更大，或者從無解到有解丟棄了對(duì)某些點(diǎn)的精確分類使得分類器整體受到了損失軟間隔與正則化使用軟間隔：避免了分類面向個(gè)別點(diǎn)移動(dòng)使得分類面間隔更大或者從無解到有解丟棄了對(duì)某些點(diǎn)的精確分類使得分類器整體受到了損失+-軟間隔與正則化懲罰系數(shù)懲罰系數(shù)C是一個(gè)超參數(shù)，不是求解的目標(biāo)懲罰系數(shù)C越大，說明我們?cè)讲辉敢夥艞夁@些點(diǎn)懲罰系數(shù)C小，說明我們對(duì)于這些點(diǎn)的死活毫不在意軟間隔與正則化拉格朗日乘子軟間隔與正則化軟間隔與正則化硬間隔軟間隔全面推動(dòng)學(xué)習(xí)者能力提升升級(jí)實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法SMO算法SMO算法軟間隔線性不可分：核函數(shù)軟間隔+核函數(shù)，SVM完全體SMO算法如何求解αSMO算法SMO算法求解α的過程是一個(gè)二次規(guī)劃+啟發(fā)式算法的過程每一對(duì)α都要滿足KKT條件每一輪優(yōu)化一對(duì)α直到結(jié)束如何選擇該輪此優(yōu)化的α如何優(yōu)化解本輪的αSMO算法如何優(yōu)化解本輪的α基本型SVMKKT條件完全體SVMKKT條件現(xiàn)在假設(shè)我們已經(jīng)選定了一對(duì)αSMO算法如何優(yōu)化解本輪的α目標(biāo)函數(shù)展開本對(duì)α(1,2)剩余α(3,4.....n)SMO算法y=±1SMO算法只包含，令偏導(dǎo)等于=0求起來吧SMO算法SMO算法設(shè)定邊界L,HSMO算法SMO算法如何選擇該輪此優(yōu)化的α如何優(yōu)化解本輪的α更新求解的目的是使得每對(duì)α都符合KKT條件第一個(gè)變量，選違反KKT條件最嚴(yán)重的那個(gè)SMO算法第二個(gè)變量，選E1-E2最大的，使得更新能有最大限度的變化SMO算法全面推動(dòng)學(xué)習(xí)者能力提升升級(jí)實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法SVM的碎碎念SVM算法的碎碎念SMO算法當(dāng)前阿爾法對(duì)的選擇更新α查看是否滿足停止條件停止并輸出YNSVM算法的碎碎念優(yōu)點(diǎn)缺點(diǎn)-少量'支持向量'提供分類依據(jù)，避免了冗余信息-很好的非線性效果-魯棒性較強(qiáng)-避開了統(tǒng)計(jì)學(xué)