基于半監(jiān)督的SVM遷移學(xué)習(xí)開題PPT

論文題目：基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法研究

姓名：***年級：專業(yè)：指導(dǎo)教師：碩士研究生開題報告開題內(nèi)容1算法的提出及研究意義2國內(nèi)外同類技術(shù)研究現(xiàn)狀3研究內(nèi)容與研究方法4技術(shù)路線5算法簡易描述碩士研究生開題報告

我們生活在大量數(shù)據(jù)日積月累的年代。每天，來自網(wǎng)絡(luò)、商業(yè)、社會、科學(xué)和工程、醫(yī)學(xué)以及我們?nèi)粘Ｉ畹姆椒矫婷娴臄?shù)兆兆字節(jié)或數(shù)千兆兆字節(jié)的數(shù)據(jù)注入我們的計算機(jī)網(wǎng)絡(luò)、萬維網(wǎng)和各種數(shù)據(jù)存儲設(shè)備。世界范圍的商業(yè)活動產(chǎn)生了巨大的數(shù)據(jù)集，包括銷售事務(wù)、股票交易記錄、產(chǎn)品描述、促銷、公司利潤和業(yè)績以及顧客反饋?？茖W(xué)和工程實(shí)踐持續(xù)不斷地從遙感、過程測量、科學(xué)實(shí)驗、系統(tǒng)實(shí)施、工程觀測和環(huán)境監(jiān)測中產(chǎn)生多達(dá)數(shù)千兆兆字節(jié)的數(shù)據(jù)。數(shù)據(jù)的爆炸式增長、廣泛可用和巨大數(shù)量使得我們的時代成為真正的數(shù)據(jù)時代。而將數(shù)據(jù)轉(zhuǎn)換成有價值的信息的其中一個重要的步驟是分類。分類可以從內(nèi)容豐富、蘊(yùn)含大量信息的數(shù)據(jù)庫中提取描述重要信息的數(shù)據(jù)類，從而作出智能的商務(wù)決策，其應(yīng)用非常廣泛。然而針對不同類型的數(shù)據(jù)，分類的方法卻有很多，如貝葉斯分類，支持向量機(jī)(SVM)分類，C4.5等。

SVM是機(jī)器學(xué)習(xí)中的重要算法，近年來也得到了廣闊的發(fā)展，特別是在生物信息、文本分類等領(lǐng)域中。而基本的SVM算法是有監(jiān)督的的學(xué)習(xí)算法，它是基于統(tǒng)計學(xué)習(xí)理論的原理性方法。其主要思想是：建立一個最優(yōu)決策超平面，使得該平面兩側(cè)距平面最近的兩類樣本之間的距離最大化。從而

1算法的提出及研究意義碩士研究生開題報告1.1算法的提出

對分類問題提供良好的泛化能力，所采用的數(shù)據(jù)往往都需要滿足一定條件。

然而在傳統(tǒng)的SVM分類方法中，大部分都是有監(jiān)督的，即用帶標(biāo)簽的數(shù)據(jù)來訓(xùn)練分類模型，并且只局限于目標(biāo)數(shù)據(jù)域。然而，收集帶標(biāo)簽的實(shí)例是非常困難且要耗費(fèi)巨大的，不帶標(biāo)簽的數(shù)據(jù)卻是相當(dāng)巨大，很容易獲取。如果只有少量的帶標(biāo)簽的數(shù)據(jù)和大量未標(biāo)記的數(shù)據(jù)可用，那么半監(jiān)督學(xué)習(xí)在一定程度上便能彌補(bǔ)因訓(xùn)練數(shù)據(jù)不足而導(dǎo)致過擬化的分類誤區(qū)。很多機(jī)器學(xué)習(xí)的方法，無論是傳統(tǒng)的機(jī)器學(xué)習(xí)還是半監(jiān)督學(xué)習(xí)問題，都是建立在一個共同假設(shè)：測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)屬于統(tǒng)一數(shù)據(jù)分布與同一特征空間。一旦數(shù)據(jù)分布有差異，很多學(xué)習(xí)方法便無法表現(xiàn)的很好。重新標(biāo)記大量數(shù)據(jù)，這樣的代價是昂貴的。基于這個局限，我們便引入了遷移學(xué)習(xí)，目的是從其他相關(guān)輔助數(shù)據(jù)域中遷移知識去幫助目標(biāo)域中解決學(xué)習(xí)任務(wù)。因此，遷移學(xué)習(xí)的出現(xiàn)使的這些問題可以迎刃而解。遷移學(xué)習(xí)(TransferLearning)的目標(biāo)是將從一個環(huán)境中學(xué)習(xí)的知識用來幫助新環(huán)境中的學(xué)習(xí)任務(wù)。如QiangYang等人遷移學(xué)習(xí)對于文本挖掘的應(yīng)用。遷移學(xué)習(xí)不但解決了訓(xùn)練數(shù)據(jù)匱乏的問題，而且在某種程度上可能充分的利用了數(shù)據(jù)的價值。于是我們提出了基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法。碩士研究生開題報告首先，相對于傳統(tǒng)SVM算法，基于SVM的半監(jiān)督遷移學(xué)習(xí)算法很好的利用相關(guān)領(lǐng)域數(shù)據(jù)大量帶標(biāo)簽的數(shù)據(jù)來幫助我們目標(biāo)領(lǐng)域數(shù)據(jù)的分類萬挖掘，在某種程度上既提高了SVM分類器的準(zhǔn)確率，又節(jié)約了大量的人力物力去標(biāo)記樣本來滿足分類器訓(xùn)練的要求。在Web領(lǐng)域方面，還能充分利用過時的數(shù)據(jù)來幫助新形成的領(lǐng)域進(jìn)行分析。避免了數(shù)據(jù)的浪費(fèi)。其次，結(jié)合半監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí)的算法是現(xiàn)今比較缺乏的研究方向，遷移學(xué)習(xí)方法理論上可以使得很多傳統(tǒng)的分類器的準(zhǔn)確率得到進(jìn)一步的提升，因而遷移學(xué)習(xí)的研究可以擴(kuò)展到其他比較經(jīng)典的數(shù)據(jù)挖掘算法中，來提高數(shù)據(jù)分析的準(zhǔn)確率。

碩士研究生開題報告1.2研究意義2國內(nèi)外研究現(xiàn)狀及分析碩士研究生開題報告

近幾年來，基于SVM分類算法的擴(kuò)展越來越受到研究者的關(guān)注，隨著相關(guān)研究的不斷深入，與其他學(xué)習(xí)方法結(jié)合的SVM算法應(yīng)運(yùn)而生。目前，人們在基于SVM算法與各種學(xué)習(xí)技術(shù)相結(jié)合，提出了不同類型的基于SVM分類方法，以解決不同的實(shí)際問題。其方法也陸續(xù)被提了出來，像自訓(xùn)練半監(jiān)督SVM算法、局部化SVM優(yōu)化方法以及跨域SVM算法方法等。目前遷移學(xué)習(xí)技術(shù)的發(fā)展勢頭強(qiáng)勁，不乏大量遷移學(xué)習(xí)分類的算法，如TrAdaboost、CDSVM已證實(shí)了這一點(diǎn)。究其原因主要是遷移學(xué)習(xí)在現(xiàn)實(shí)中有著廣泛的應(yīng)用前景，如文本分類、Web挖掘、社交網(wǎng)絡(luò)分析、生物信息學(xué)等。SVM算法的難點(diǎn)在于優(yōu)化SVM分類器目標(biāo)函數(shù)找到支持向量來構(gòu)建最優(yōu)超平面。V.Vapnik提出了基本的SVM分類網(wǎng)絡(luò)，利用帶標(biāo)簽數(shù)據(jù)進(jìn)行有監(jiān)督的訓(xùn)練分類器，最終得到最優(yōu)分類超平面。由于訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的分布不一致，訓(xùn)練得到的分類器可能效果不怎么好。碩士研究生開題報告

傳統(tǒng)的SVM是有監(jiān)督的學(xué)習(xí)方法。由于半監(jiān)督學(xué)習(xí)方法的流行，于是半監(jiān)督SVM的研究也被提出。如C.G.YuanqingLi、HuiqiLi和ZhengyangChin提出了半監(jiān)督SVM算法，便很好的利用了測試集的未標(biāo)記數(shù)據(jù)與帶標(biāo)簽的訓(xùn)練數(shù)據(jù)結(jié)合一起訓(xùn)練分類器，不僅在一定程度上解決了訓(xùn)練數(shù)據(jù)匱乏的問題，而且使分類器對測試數(shù)據(jù)分類更加準(zhǔn)確。同時，YongMa和LiZhao[在此基礎(chǔ)上提出了一種改進(jìn)的半監(jiān)督SVM算法，它就是在SVM分類器目標(biāo)函數(shù)優(yōu)化時引入了類散度矩陣，使分類平面更加精確，但是計算量大大增大了。半監(jiān)督SVM的簡易原理圖如下：帶標(biāo)簽訓(xùn)練集SVM分類器未標(biāo)記測試集碩士研究生開題報告

遷移學(xué)習(xí)的出現(xiàn)，使的各類分類算法對于所面臨的數(shù)據(jù)匱乏問題得到了一種很好解決方案，由于半監(jiān)督學(xué)習(xí)也只是在稍微緩解了帶標(biāo)簽訓(xùn)練數(shù)據(jù)不足的問題。遷移學(xué)習(xí)可以從其他相關(guān)數(shù)據(jù)域遷移大量帶標(biāo)簽數(shù)據(jù)來幫助目標(biāo)任務(wù)訓(xùn)練分類器。遷移學(xué)習(xí)的出現(xiàn)吸引了越來越多研究人員的目光，也相繼在相關(guān)領(lǐng)域提出了基于傳統(tǒng)算法的遷移學(xué)習(xí)方法。對于傳統(tǒng)的SVM算法，出現(xiàn)了基于SVM的遷移學(xué)習(xí)方法。也相繼提出了有關(guān)基于SVM的遷移學(xué)習(xí)的相關(guān)理論與方法。目前，基于SVM的遷移學(xué)習(xí)已經(jīng)被廣泛應(yīng)用于文本分類、圖像識別和視頻識別等應(yīng)用領(lǐng)域，這些應(yīng)用領(lǐng)域都存在一個共同點(diǎn)：就是存在大量的未標(biāo)簽數(shù)據(jù)或者很容易收集到海量的無標(biāo)簽數(shù)據(jù)集，但標(biāo)簽數(shù)據(jù)樣本卻往往異常匱乏，而且這些數(shù)據(jù)都是不斷自增的?；赟VM的遷移學(xué)習(xí)的研究有很多，像QiangYang等人遷移學(xué)習(xí)對于文本挖掘的應(yīng)用，利用以前的文本數(shù)據(jù)對現(xiàn)在不斷出現(xiàn)的新的文本域數(shù)據(jù)進(jìn)行分類。Jain.A等人提出的遷移學(xué)習(xí)利用合適的支持向量對圖像進(jìn)行分類。近幾年，半監(jiān)督學(xué)習(xí)方法和遷移學(xué)習(xí)方法也不斷被提出。像基于SVM的半監(jiān)督學(xué)習(xí)方法提出了一種自訓(xùn)練方式，這種方式使未標(biāo)記的測試數(shù)據(jù)帶上初始標(biāo)簽，可以與訓(xùn)練集一起迭代訓(xùn)練。使分類器的泛化誤差最小。而遷移學(xué)習(xí)也在不同的算法上都有應(yīng)用，但是半監(jiān)督與遷移學(xué)習(xí)結(jié)合在一起的方法較少，YuanShi等人提出了一種在半監(jiān)督學(xué)習(xí)中擴(kuò)展共同訓(xùn)練的方法(COITL)，COITL很好的將半監(jiān)督學(xué)習(xí)擴(kuò)展到直導(dǎo)式遷移學(xué)習(xí)中。

碩士研究生開題報告下面對比一下傳統(tǒng)機(jī)器學(xué)習(xí)與遷移學(xué)習(xí)不同的學(xué)習(xí)過程，如下圖所示：

3研究內(nèi)容與研究方法碩士研究生開題報告基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法，我們研究的內(nèi)容及方法分為以下幾點(diǎn)：通過局部和全局的一致性學(xué)習(xí)(LLGC)方法完成對SVM分類器的構(gòu)造；對輔助數(shù)據(jù)域進(jìn)行預(yù)處理，選取能代表其數(shù)據(jù)域分類信息的一組支持向量；對傳統(tǒng)的SVM方法結(jié)合遷移過來的一組支持向量，利用近鄰影響權(quán)重構(gòu)成基于SVM的遷移學(xué)習(xí)分類器；然后對此遷移分類器進(jìn)行半監(jiān)督迭代處理，形成我們提出的基于SVM的半監(jiān)督遷移學(xué)習(xí)方法的分類器。碩士研究生開題報告再優(yōu)化獲取構(gòu)建最優(yōu)分類超平面的支持向量；構(gòu)建最終的分類決策函數(shù)，對測試數(shù)據(jù)進(jìn)行預(yù)測，得到最終的預(yù)測準(zhǔn)確率；碩士研究生開題報告4技術(shù)路線我們提出的基于SVM的半監(jiān)督遷移學(xué)習(xí)算法的原理圖如下：

碩士研究生開題報告對于所提出的方法的目標(biāo)優(yōu)化函數(shù)定義如下：