基于加權(quán)策略的SVM多元分類器PPT課件

1、 華南理工大學(xué)信息網(wǎng)絡(luò)工程研究中心華南理工大學(xué)信息網(wǎng)絡(luò)工程研究中心 廣東省計(jì)算機(jī)網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室廣東省計(jì)算機(jī)網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室 曹鴻曹鴻 董守斌董守斌 張凌張凌全國搜索引擎與網(wǎng)上信息學(xué)術(shù)研討會目錄 算法描述算法描述 傳統(tǒng)一對多（傳統(tǒng)一對多（OVA）方法）方法 加權(quán)閾值策略（OVA-WWT） 系統(tǒng)模塊 實(shí)驗(yàn)結(jié)果 結(jié)論傳統(tǒng)OVA（One-Vs-All）方法：主要思路 主要思路 訓(xùn)練N個不同的二元分類器，第i個分類器用第i類中的訓(xùn)練樣本作為正的訓(xùn)練樣本，而將其他樣本作為負(fù)的訓(xùn)練樣本 當(dāng)對一個新文檔進(jìn)行分類時，分別運(yùn)行N個二元分類器，選擇輸出相似度值最大的那個分類器的結(jié)果 傳統(tǒng)一對多（OVA）方法：形式化描

2、述 給定個l訓(xùn)練樣例( , ), ( , )，其中 , i =1, l, 且 是xi的類標(biāo)簽，則第i個SVM分類器要解決下面的最優(yōu)化問題: 用下面的k個決策方程計(jì)算x與k個類別的相似度： 最終判定x隸屬于決策方程輸出相似度最高的那個類別： Class of x = 1x1ylxlyniRx ,.1kyiljijiiiibiwCww1T)(21minl,jiybxiwi ybxiwijiijijiijij.10, if,1-)()(if,1)()(s.t.TTkibxiwxfii,.1,)()()(T)()(maxargT,.1ikibxiw閾值策略 閾值策略：把一篇文檔歸屬到某些相關(guān)類別中的方

3、法 RCut、PCut和SCut 傳統(tǒng)OVA使用的是RCut策略傳統(tǒng)一對多（OVA）方法：缺點(diǎn)1）比較文檔對N個類別的相似度，簡單地取相似度最大的那個類別，由于這N個相似度是由N個不同的分類器產(chǎn)生，簡單地取最大值作為閾值策略并不合適；2）對所有類別一視同仁，而實(shí)際上，有些類別屬于“弱勢類”，其類別信息容易被“強(qiáng)勢類”所淹沒，導(dǎo)致“弱勢類”文檔被誤分到“強(qiáng)勢類”中的不公平現(xiàn)象。本文對OVA的改進(jìn) 提出加權(quán)閾值策略(Weighted RCut: WRCut) 通過給不同類別的相似度結(jié)果賦以一定的權(quán)重值后再進(jìn)行比較，實(shí)現(xiàn)“弱勢類”和“強(qiáng)勢類”之間的勢力均衡，以消除使用單一的RCut策略所造成的不公平

4、現(xiàn)象 目錄 算法描述 傳統(tǒng)一對多（OVA）方法 加權(quán)閾值策略（加權(quán)閾值策略（OVA-WWT） 系統(tǒng)模塊 實(shí)驗(yàn)結(jié)果 結(jié)論加權(quán)閾值策略（OVA-WWT）算法描述算法描述： 先解SVM最優(yōu)化問題，用決策方程計(jì)算出文檔對N個類別的相似度，再對各類別運(yùn)用WRCut閾值策略，文檔x屬于加權(quán)相似度最大的類別 Class of x = ai也可以通過對訓(xùn)練集的學(xué)習(xí)而得。)()(maxargT,.1iikibxiwaiiiECa 目錄 傳統(tǒng)一對多（OVA）方法 加權(quán)閾值策略（OVA-WWT） 系統(tǒng)模塊系統(tǒng)模塊 實(shí)驗(yàn)結(jié)果 結(jié)論系統(tǒng)模塊結(jié)構(gòu)目錄 算法描述 傳統(tǒng)一對多（OVA）方法 加權(quán)閾值策略（OVA-WWT） 系

5、統(tǒng)模塊 實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)結(jié)果 結(jié)論實(shí)驗(yàn)結(jié)果 數(shù)據(jù)集：北京大學(xué)網(wǎng)絡(luò)實(shí)驗(yàn)室提供的CWT100G數(shù)據(jù)集之200M訓(xùn)練集（11個類別） 模型：200M數(shù)據(jù)的2/3用于構(gòu)建分類器模型，剩余1/3作開放測試集進(jìn)行分類測試。SVM使用線性核函數(shù)。 評測標(biāo)準(zhǔn)：微平均準(zhǔn)確率、宏平均準(zhǔn)確率、宏平均召回率、宏平均F1值和時間，其中時間是包括訓(xùn)練和分類的總時間 實(shí)驗(yàn)結(jié)果1：分類器的比較(1)分類方法微平均準(zhǔn)確率（）宏平均準(zhǔn)確率（）宏平均召回率（）宏平均F1（）時間（s)SVMmultic64.3527.1925.6526.401795.53SVMTorch44.3575.6135.9548.7325034.3Rainbo

6、wSVM80.1376.9575.7376.3313205.5MSVMlight88.6490.7085.9988.311108.5實(shí)驗(yàn)結(jié)果1：分類器的比較(2) 性能曲線圖 時間柱狀圖實(shí)驗(yàn)2：閾值策略的比較（1） 對WRCut中各類別的權(quán)重值，本文將訓(xùn)練集隨機(jī)劃分為訓(xùn)練-訓(xùn)練集(占3/4)和訓(xùn)練-測試集（占1/4），從經(jīng)驗(yàn)值出發(fā)，在反復(fù)訓(xùn)練的過程中自動調(diào)整權(quán)重值。 權(quán)重調(diào)整范圍為0.91.9，每個類的權(quán)重分別遞增0.1，當(dāng)權(quán)重的增加使得精度下降時，該權(quán)重減0.1，取宏觀F1達(dá)到最大值時各類別所得權(quán)重，總訓(xùn)練時間為58.587秒，這個時間對總訓(xùn)練時間而言是可忽略的。 實(shí)驗(yàn)2：閾值策略的比較（2

7、）類別編號類別權(quán)重值01人文與藝術(shù)1.903商業(yè)與經(jīng)濟(jì)1.704娛樂與休閑1.905計(jì)算機(jī)與因特網(wǎng)1.907教育1.908各國風(fēng)情0.910自然科學(xué)0.911政府與政治1.912社會科學(xué)1.913醫(yī)療與健康1.914社會與文化1.1經(jīng)過學(xué)習(xí)得到的11個類別各自的權(quán)重值 實(shí)驗(yàn)2：閾值策略的比較（3）RCut策略與WRCut策略精度比較曲線 目錄 算法描述 傳統(tǒng)一對多（OVA）方法 加權(quán)閾值策略（OVA-WWT） 系統(tǒng)模塊 實(shí)驗(yàn)結(jié)果 結(jié)論結(jié)論結(jié)論 本文提出了一對多算法的改進(jìn)版本OVA-WWT算法 基于OVA-WWT和SVMlight二元分類算法，實(shí)現(xiàn)了SVMlight的多元分類器MSVMlight。 在CWT100G上進(jìn)行了一系列開放性實(shí)驗(yàn)，通過與多種分類器進(jìn)行性能比較，證明對CWT100G數(shù)據(jù)集而言，MSVMlight在準(zhǔn)確率和時間性能要優(yōu)于