基于半監(jiān)督的SVM遷移學習算法研究

基于SVM的半監(jiān)督遷移學習的算法研究摘要在數(shù)據(jù)挖掘中，合理的采用相關(guān)數(shù)據(jù)域去幫助新的數(shù)據(jù)域分類已經(jīng)成了一項重要課題。半監(jiān)督學習已經(jīng)廣泛應(yīng)用于數(shù)據(jù)挖掘、機器學習的分類等研究中，但結(jié)合遷移學習方式的方法卻較少見。SVM在處理大數(shù)據(jù)方面也越受到關(guān)注，不同學習方式結(jié)合SVM的算法也陸續(xù)提出。本文結(jié)合半監(jiān)督SVM（Semi-supervisedSVM）算法與遷移學習的方法，給出了一種半監(jiān)督遷移SVM分類方法，通過對輔助數(shù)據(jù)域的局部與目標域的全局一致學習（LLGC）得到目標方程，并以半監(jiān)督的方式對目標方程進行迭代，收斂得到最終的SVM分類器，對目標任務(wù)中未標記樣本得到最終標簽。應(yīng)用該方法得到分類器具有較高的精確度。關(guān)鍵詞數(shù)據(jù)挖掘；半監(jiān)督學習；遷移學習；一致學習1引言在傳統(tǒng)分類方法中，大部分都是有監(jiān)督的，即用帶標簽的數(shù)據(jù)來訓練分類模型，并且只局限于目標數(shù)據(jù)域。然而，收集帶標簽的實例是非常困難且要耗費巨大的[1]，不帶標簽的數(shù)據(jù)卻是相當巨大，很容易獲取。如果只有少量的帶標簽的數(shù)據(jù)和大量未標記的數(shù)據(jù)可用，那么半監(jiān)督學習在一定程度上便能彌補因訓練數(shù)據(jù)不足而導(dǎo)致過擬化的分類誤區(qū)。很多機器學習的方法，無論是傳統(tǒng)的機器學習還是半監(jiān)督學習問題，都是建立在一個共同假設(shè)：測試數(shù)據(jù)與訓練數(shù)據(jù)屬于統(tǒng)一數(shù)據(jù)分布與同一特征空間。一旦數(shù)據(jù)分布有差異，很多學習方法便無法表現(xiàn)的很好。于是又要重新標記大量數(shù)據(jù)去訓練模型來適應(yīng)新的數(shù)據(jù)分布，這樣的代價是昂貴的?；谶@個局限，便引入了遷移學習[3]，目的是從其他相關(guān)輔助數(shù)據(jù)域中遷移知識去幫助目標域中解決學習任務(wù)。例如，在網(wǎng)頁分類中，我們能利用遷移學習從大學網(wǎng)頁遷移知識來幫助F分類任務(wù)訓練一個分類器[4]。雖然大學網(wǎng)頁與社交網(wǎng)絡(luò)的數(shù)據(jù)分布十分不同，但是始終存在一些共同的分類知識來構(gòu)建知識遷移的橋梁幫助提高分類器性能。近年來，隨著研究的深入，半監(jiān)督、遷移學習等方法也逐漸應(yīng)用于數(shù)據(jù)分類、社交網(wǎng)絡(luò)分析和圖像處理等方面。如QiangYang等人遷移學習對于文本挖掘的應(yīng)用[5]。目前，在解決實際的文本分類問題中，人們提出了不同類型文本分類方法，很多針對文本像基于貝葉斯的文本分類方法[6]、基于SVM的文本分類方法[7][8]以及基于KNN的文本分類方法[9]等。隨后基于這些基本方法的遷移學習也成為了當今熱點，如跨域SVM方法[10][11]。而遷移學習在各領(lǐng)域的應(yīng)用也是層出不窮，如在社交網(wǎng)絡(luò)的推薦系統(tǒng)中便提出了跨域推薦(CDR)[20]和社交網(wǎng)絡(luò)中的異構(gòu)遷移對于圖像聚類的方法[21]，在圖像處理和信號處理方面也有應(yīng)用[22][23][24]。在這篇文章，我們提出了一種基于SVM的半監(jiān)督遷移學習方法，我們的貢獻有：（1）我們合理的利用了目標域中未標記的數(shù)據(jù)與少量帶標簽的數(shù)據(jù)，并采用局部化SVM(LSVM)進行局部和全局一致學習（LLGC），采用半監(jiān)督的學習方式來加強分類器精度[12][18]。并給出了這種方法的目標方程;（2）為了給分類器得到更好的泛化誤差，我們引入了遷移學習的方法對目標方程進行迭代，給出了迭代終止目標函數(shù)，產(chǎn)生更為精確的分類器并得到數(shù)據(jù)標簽[13]。本文的組織結(jié)構(gòu)如下。在第二節(jié)，我們將簡要介紹一下基于SVM的半監(jiān)督學習和基于SVM的遷移學習方法(TLSVM)。在第三節(jié)，我們提出基于SVM的半監(jiān)督遷移學習方法。實驗部分的內(nèi)容則在第四節(jié)。最后，第五節(jié)是我們對以后工作的總結(jié)。2相關(guān)工作由于我們關(guān)注的是基于SVM的半監(jiān)督(4)s.t.類似A-SVM[19]，我們也想要保證這個新的決策邊界在舊的輔助數(shù)據(jù)的判別屬性，但是這個技術(shù)有個特別的優(yōu)點：就是沒有強迫這個正規(guī)項限制新決策邊界相似于舊的。代替這個，基于本地化的主意，這個判別屬性僅在與目標數(shù)據(jù)有相似分布的重要輔助數(shù)據(jù)樣本中被處理。特別地，采用了高斯函數(shù)的形式：(5)控制來自的重要支持向量的退化速度。越大，支持向量的影響就越小同時也就遠離。當非常大，一個新的決策邊界單獨基于新的訓練數(shù)據(jù)學習得到。相反，當非常小，來自的支持向量和目標數(shù)據(jù)集同等對待并且算法相當于運用共同訓練一個SVM分類器。通過這樣控制，與傳統(tǒng)方法對比，這個算法更一般化和靈活?？刂茀?shù)實際上能通過系統(tǒng)驗證試驗來優(yōu)化。對于上面所產(chǎn)生的一個初始弱SVM分類器，我們得到了目標域中未標記數(shù)據(jù)的一組初始標簽，接著把加入訓練集中一起訓練，就形成了我們所提出的半監(jiān)督遷移的方法。其基于SVM的半監(jiān)督遷移學習算法的分類器對于兩類問題的定義如下：(6)s.t.3.2半監(jiān)督遷移算法的描述對于目標域數(shù)據(jù)，假設(shè)是包含個樣本且給定標簽的訓練集，是包含個樣本且未帶標簽。本文提出的基于SVM的半監(jiān)督遷移算法的步驟如下：利用目標域中少量帶標簽的數(shù)據(jù)集和輔助數(shù)據(jù)集中經(jīng)過預(yù)處理得到一組支持向量作為原始訓練集，訓練出一個弱分類器SVM1。利用SVM1標記目標數(shù)據(jù)域中未標記的數(shù)據(jù)，獲得初始一組標簽。將目標域中未標記數(shù)據(jù)集加入訓練集中，共同訓練出分類器SVM2，并得到其各參數(shù)和。此時的標簽為。迭代下去，