物流人工智能-支持向量機(jī)-SVM

機(jī)器學(xué)習(xí)——支持向量機(jī)算法內(nèi)容綱要線性SVM分類間隔123能力提升在于實踐456對偶問題與KKT條件軟間隔與正則化核函數(shù)SMO算法SVM的總結(jié)與碎碎念7相關(guān)API與超參數(shù)全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法線性SVM分類間隔線性SVM分類間隔支持向量機(jī)(SupportVectorMachine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢。準(zhǔn)確線性SVM分類間隔類別1類別2更高維度線性SVM分類間隔X1X2是這個線性分類問題的解但只是無數(shù)個解之中的一個因為這樣的超平面有無數(shù)個這些無數(shù)w,b參數(shù)都可以解決分類問題線性SVM分類間隔X1X2顯而易見在諸多w,b決定的超平面中必定有一個是魯棒性泛化能力組好的線性SVM分類間隔X1X2我們希望找到一對w,b使得分類超平面“最保險”我們只需要關(guān)注超平面最近的點(diǎn)這也是SVM的一大成就“分類邊界的構(gòu)造其實只與少數(shù)樣本有關(guān)”線性SVM分類間隔X1X2我們希望找到一對w,b使得分類超平面“最保險”“限制條件”線性SVM分類間隔X1X2支持向量“限制條件”線性SVM分類間隔X1X21-1如何判斷分類正確線性SVM分類間隔X1X21-1線性SVM分類間隔X1X21-1函數(shù)間隔間隔越大，說明分類置信度越高線性SVM分類間隔X1X21-1幾何間隔線性SVM分類間隔X1X21-1||w||=1時，函數(shù)間隔和幾何間隔相同線性SVM分類間隔定義:SVM中的”間隔“兩個支持向量到超平面距離之和線性SVM分類間隔最優(yōu)的分類超平面：同時還要保證分類正確：準(zhǔn)確:理論上的最優(yōu)解線性SVM分類間隔目標(biāo)：求最大間隔的凸優(yōu)化問題還是那種帶不等式約束的全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法對偶問題與KKT條件對偶問題與KKT條件優(yōu)化問題對偶問題與KKT條件帶有約束的優(yōu)化問題有請拉格朗日對偶問題與KKT條件拉格朗日乘子法是一種經(jīng)典的求解條件極值的解析方法，可將所有約束的優(yōu)化模型問題轉(zhuǎn)化為無約束極值問題的求解。拉格朗日乘子法的一般形式是對偶問題與KKT條件拉格朗日乘子法是一種經(jīng)典的求解條件極值的解析方法，可將有d個變量與k個約束條件的優(yōu)化問題轉(zhuǎn)換為具有d+k個變量的無約束優(yōu)化問題。拉格朗日乘子法的一般形式是在我們的問題中，有2個變量，1個約束對偶問題與KKT條件定義拉格朗日系數(shù)乘以約束函數(shù)并與目標(biāo)函數(shù)相加得到如下的拉格朗日函數(shù)對偶問題與KKT條件因為滿足約束條件的w,b會使得為零不滿足約束條件時，因此可取正無窮(讓為正無窮即可）最小化就成了一個無解的問題

對偶問題與KKT條件所以必須滿足約束條件的情況下，將目標(biāo)轉(zhuǎn)化為一個無約束問題（融合約束條件）對偶問題與KKT條件

仍然不好求，我們轉(zhuǎn)化為他的對偶問題-對偶問題的對偶是原問題-無論原始問題是否是凸的，對偶問題都是凸優(yōu)化問題-對偶問題可以給出原始問題一個下界-當(dāng)滿足一定條件時，原始問題與對偶問題的解是完全等價的對偶問題與KKT條件原問題對偶問題max和min換了一下，其最優(yōu)解是相等的嗎？弱對偶性:d*≤p*強(qiáng)對偶性:d*=p*任何優(yōu)化問題成立滿足KKT條件時成立對偶問題與KKT條件對w和b偏導(dǎo)為0對偶問題與KKT條件兩邊求偏導(dǎo)(分別對w與b)，并令其=0對偶問題與KKT條件將結(jié)果帶回原拉格朗日方程并對偶表達(dá)用已知量x,y和拉格朗日系數(shù)阿爾法代替了w消去了b對偶問題與KKT條件帶回支持向量即可求b對偶問題與KKT條件到這里，SVM的基本分類表達(dá)形式已經(jīng)明確了全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法核函數(shù)核函數(shù)準(zhǔn)確:理論上的最優(yōu)解炫酷:解決線性不可分核函數(shù)x1x2核函數(shù)(x1,x2)線性不可分(x1,x2,x1*x2)線性可分核函數(shù)核函數(shù)定義核函數(shù)關(guān)鍵問題：求也就是求訓(xùn)練集點(diǎn)與測試點(diǎn)在映射之后高維度上的內(nèi)積核函數(shù)注意其中m是數(shù)據(jù)的維度（原始特征數(shù)量）核函數(shù)蘊(yùn)含了從低維到高維的映射思想，從而避免直接計算高維的內(nèi)積核函數(shù)核函數(shù)核函數(shù)核函數(shù)不需要每次都具體計算出原始樣本映射的新的無窮維度的樣本點(diǎn)直接使用映射后的新樣本點(diǎn)的乘就散公式即可減少計算量減少儲存空間核函數(shù)

高斯核可映射到任意維：

多項式核可映射到n維：

多項式核其實就是線性可分布SVM：核函數(shù)全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法軟間隔與正則化軟間隔與正則化線性不可分，映射到高維度軟間隔與正則化X1X2軟間隔與正則化X1X2軟間隔與正則化X1X2考慮所有的點(diǎn)構(gòu)造硬間隔無解軟間隔與正則化如果我們能忽略掉噪聲點(diǎn)松弛變量X1X2軟間隔與正則化X1X2對于點(diǎn)(i=1...n)，不要求所有的點(diǎn)都能都滿足而是對于少數(shù)的點(diǎn)，可以放寬條件構(gòu)造軟間隔軟間隔與正則化X1X2避免了分類面向個別點(diǎn)移動使得分類面間隔更大，或者從無解到有解丟棄了對某些點(diǎn)的精確分類使得分類器整體受到了損失軟間隔與正則化使用軟間隔：避免了分類面向個別點(diǎn)移動使得分類面間隔更大或者從無解到有解丟棄了對某些點(diǎn)的精確分類使得分類器整體受到了損失+-軟間隔與正則化懲罰系數(shù)懲罰系數(shù)C是一個超參數(shù)，不是求解的目標(biāo)懲罰系數(shù)C越大，說明我們越不愿意放棄這些點(diǎn)懲罰系數(shù)C小，說明我們對于這些點(diǎn)的死活毫不在意軟間隔與正則化拉格朗日乘子軟間隔與正則化軟間隔與正則化硬間隔軟間隔全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法SMO算法SMO算法軟間隔線性不可分：核函數(shù)軟間隔+核函數(shù)，SVM完全體SMO算法如何求解αSMO算法SMO算法求解α的過程是一個二次規(guī)劃+啟發(fā)式算法的過程每一對α都要滿足KKT條件每一輪優(yōu)化一對α直到結(jié)束如何選擇該輪此優(yōu)化的α如何優(yōu)化解本輪的αSMO算法如何優(yōu)化解本輪的α基本型SVMKKT條件完全體SVMKKT條件現(xiàn)在假設(shè)我們已經(jīng)選定了一對αSMO算法如何優(yōu)化解本輪的α目標(biāo)函數(shù)展開本對α(1,2)剩余α(3,4.....n)SMO算法y=±1SMO算法只包含，令偏導(dǎo)等于=0求起來吧SMO算法SMO算法設(shè)定邊界L,HSMO算法SMO算法如何選擇該輪此優(yōu)化的α如何優(yōu)化解本輪的α更新求解的目的是使得每對α都符合KKT條件第一個變量，選違反KKT條件最嚴(yán)重的那個SMO算法第二個變量，選E1-E2最大的，使得更新能有最大限度的變化SMO算法全面推動學(xué)習(xí)者能力提升升級實踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——支持向量機(jī)算法SVM的碎碎念SVM算法的碎碎念SMO算法當(dāng)前阿爾法對的選擇更新α查看是否滿足停止條件停止并輸出YNSVM算法的碎碎念優(yōu)點(diǎn)缺點(diǎn)-少量'支持向量'提供分類依據(jù)，避免了冗余信息-很好的非線性效果-魯棒性較強(qiáng)-避開了統(tǒng)計學(xué)