暨南大學(xué)并行計(jì)算實(shí)驗(yàn)室MapReduce研究現(xiàn)狀

暨南大學(xué)并行計(jì)算實(shí)驗(yàn)室MapReduce研究現(xiàn)狀第1頁/共19頁摘要MapReduce研究調(diào)試、監(jiān)控等優(yōu)化、擴(kuò)展等常用APIHadoop改造數(shù)據(jù)挖掘項(xiàng)目RedpollCanopy,k-meansNaivebayes,SVM第2頁/共19頁調(diào)試標(biāo)準(zhǔn)輸出,標(biāo)準(zhǔn)出錯Web顯示(50030,50060,50070)NameNode,JobTracker,DataNode,TaskTracker日志本地重現(xiàn):LocalRunnerDistributedCache中放入調(diào)試代碼第3頁/共19頁P(yáng)rofiling

目的：查性能瓶頸，內(nèi)存泄漏，線程死鎖等工具：jmap,jstat,hprof,jconsole,jprofilermat,jstack對JobTracker的Profile對各slave節(jié)點(diǎn)TaskTracker的Profile對各slave節(jié)點(diǎn)某Child進(jìn)程的Profile(可能存在單點(diǎn)執(zhí)行速度過慢)第4頁/共19頁監(jiān)控目的：監(jiān)控集群或單個節(jié)點(diǎn)I/O,內(nèi)存及CPU工具：Ganglia第5頁/共19頁調(diào)優(yōu)點(diǎn)(1)I/Oio.sort.mbio.sort.percentio.sort.record.percentio.sort.spill.percentShuffletasktracker.http.threadsmapred.reduce.parallel.copiesmapred.job.shuffle.input.buffer.percent…第6頁/共19頁調(diào)優(yōu)點(diǎn)(2)數(shù)據(jù)壓縮推測性執(zhí)行(同時執(zhí)行同一Task,殺死運(yùn)行慢的)同一節(jié)點(diǎn)的Child重用jvm重寫Partitioner,使分布到各Reducer的數(shù)據(jù)均勻設(shè)置堆空間大小第7頁/共19頁常用APIMapper,ReducerWritable,ComparableWritableInputFormat,OutputFormatPartitionerComparatorDistributedCacheStreaming(bash/python)第8頁/共19頁Hadoop改造JobTracker與作業(yè)調(diào)度耦合性太強(qiáng)JobHistory應(yīng)獨(dú)立為一個jvm進(jìn)程,邏輯不應(yīng)與JobTracker耦合太強(qiáng)在HDFS之上整合MPI,統(tǒng)一作業(yè)調(diào)度Shuffle過程只需一次I/O單塊磁盤失效導(dǎo)致整個節(jié)點(diǎn)失效問題(改DFSClient)第9頁/共19頁Hadoop改造文件系統(tǒng)兼容posix使Map的key輸出不排序,只分區(qū)NameNode單點(diǎn)故障問題RPC支持大數(shù)據(jù)(如文件)傳輸集群資源分配權(quán)限管理第10頁/共19頁大規(guī)模數(shù)據(jù)挖掘:Redpoll文本數(shù)據(jù)挖掘分布式分詞分布式向量空間模型距離度量語料搜狗新聞20newsgroupwikipedia第11頁/共19頁前提：假定一個屬性值對分類的影響?yīng)毩⒂谄渌麑傩缘闹?。（類條件獨(dú)立）樸素貝葉斯分類工作過程每個數(shù)據(jù)樣本用一個n維特征向量表示，分別描述對n個屬性樣本的n個度量假設(shè)有m個類。給定一個未知的數(shù)據(jù)樣本X，分類法將預(yù)測具有最高后驗(yàn)概率（條件X下）的類。即是找最大化的。根據(jù)貝葉斯定理有樸素貝葉斯分類第12頁/共19頁P(yáng)(X)對所有類為常數(shù)，最大化，對的考慮分析：等概率，或類條件獨(dú)立的樸素假定：， （k=1，2，n）可以由訓(xùn)練樣本估值是分類屬性，則根據(jù)樣本估值是連續(xù)值屬性，則通常假定其服從高斯分布，因而樸素貝葉斯分類(續(xù))第13頁/共19頁Canopy大容量,高維數(shù)據(jù)集聚類使用兩步聚類不同的距離度量節(jié)省計(jì)算時間適用范圍較廣K-meansEMGAC第14頁/共19頁大規(guī)模支持向量機(jī)解的稀疏性及問題的凸性將大規(guī)模的原問題分解成小規(guī)模的子問題,迭代求解子問題,直到收斂至原問題的解.選塊算法分解算法序列最小最優(yōu)化法(sequentialminimaloptimization,SMO)第15頁/共19頁并行實(shí)現(xiàn)第16頁/共19頁ThinkinginMapReduceBADAACBCBCDGroupCo-