Hadoop平臺中支持向量機分類算法的實現(xiàn)開題答辯

Hadoop平臺中支持向量機分類算法的實現(xiàn)導師:李學俊答辯人:齊夏新學號：E01214190專業(yè):軟件工程主要內(nèi)容1234156研究背景及意義Hadoop及SVM簡介SVM原理SVM優(yōu)點及應用舉例研究步驟時間進度安排研究背景及意義

分類問題是實際應用中普遍存在的問題，也是及其領域?qū)W習的基礎條件之一，快速發(fā)展的信息技術(shù)對其在理論研究和實際應用中提出了許多新的難題和挑戰(zhàn)。支持向量機是建立在統(tǒng)計學習理論基礎上的新型機器學習方法。它根據(jù)有限樣本信息在模型的復雜和期望風險之間尋求最佳方式，從而獲得更好的泛化性能。支持向量機專門針對有限樣本情況,得到現(xiàn)有信息下的最優(yōu)解,很大程度上解決了模型選擇、過學習、非線性、維數(shù)災難等問題。與傳統(tǒng)的學習方法相比,支持向量機具有泛化能力強、維數(shù)不敏感、收斂到全局最優(yōu)等優(yōu)點,較好地解決了傳統(tǒng)算法容易出現(xiàn)的過學習、局部極值、維數(shù)災難等棘手問題,成為近幾年機器學習領域中的一個非?；钴S的研究熱點。Hadoop簡介Hadoop是一個分布式系統(tǒng)基礎架構(gòu)，具有高可靠性、高擴展性、高效性、高容錯性等優(yōu)點hadoop由兩部分組成，分別是分布式文件系統(tǒng)HDFS和分布式計算框架MapReduce。HDFS主要用于大規(guī)模數(shù)據(jù)的分布式存儲，而MapReduce則構(gòu)建在分布式文件系統(tǒng)之上，對存儲在分布式文件系統(tǒng)中的數(shù)據(jù)進行分布式計算。HDFS是一個具有高度容錯性的分布式文件系統(tǒng)，適合部署在廉價的機器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用。HDFS架構(gòu)圖同HDFS一樣，HadoopMapReduce也采用了Master/Slave（M/S）架構(gòu)，它主要由以下幾個組件組成：Client、JobTracker、TaskTracker和Task。HadoopMapReduce架構(gòu)圖SVM簡介支持向量機（SupportVectorMachine或SVM）是一種建立在統(tǒng)計學習理論StatisticalLearningTheory或SLT基礎上的機器學習方法。與傳統(tǒng)統(tǒng)計學相比，統(tǒng)計學習理論SLT是一種專門研究小樣本情況下及其學習規(guī)律的理論。該理論是建立在一套較堅實的理論基礎之上的為解決有限樣本學習問題提供了一個統(tǒng)一的框架。它能將許多現(xiàn)有方法納入其中有望幫助解決許多原來難以解決的問題。SVM原理支持向量機SVM是一種分類算法，通過尋求結(jié)構(gòu)化風險最小來提高學習機泛化能力，實現(xiàn)經(jīng)驗風險和置信范圍最小化，從而達到在統(tǒng)計樣本量較少的情況下，亦能獲得良好統(tǒng)計規(guī)律的目的。1.在n維空間中找到一個分類超平面，將空間上的點分類。SVM原理2.一般而言，一個點距離超平面的遠近可以表示為分類預測的確信或準確程度。SVM就是要最大化這個間隔值。而在虛線上的點便叫做支持向量SupprotVerctor。SVM優(yōu)點及舉例

SVM學習問題可以表示為凸優(yōu)化問題，因此可以利用已知的有效算法發(fā)現(xiàn)目標函數(shù)的全局最小值。而其他分類方法（如基于規(guī)則的分類器和人工神經(jīng)網(wǎng)絡）都采用一種基于貪心學習的策略來搜索假設空間，這種方法一般只能獲得局部最優(yōu)解。應用舉例：假設現(xiàn)在你是一個農(nóng)場主，圈養(yǎng)了一批羊群，但為預防狼群襲擊羊群，你需要搭建一個籬笆來把羊群圍起來。但是籬笆應該建在哪里呢？你很可能需要依據(jù)牛群和狼群的位置建立一個“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個很完美的解決方案。

研究步驟1.對所選課題進行分析，Hadoop平臺中支持向量機分類算法的實現(xiàn)，了解Hadoop平臺，對資源管理模型（yarn），計算模型（mapreduce），存儲模型（hdfs）有一定的認識。2.結(jié)合支持向量機的方法及其原理，利用分布式編程來實現(xiàn)支持向量機的分類算法，最后在分布式系統(tǒng)Hadoop中來運行。3.完成支持向量機的分類算法，并在數(shù)據(jù)集中進行測試。時間進度安排1.2.21-3.21

學習Hadoop，mapreduce的概念及原理，準備開題報告2.3.22-4.10

開題答辯。Hadoop集群操作，使用mapreduce編程實踐3.4.