hadoo項(xiàng)目實(shí)戰(zhàn)教程 mahou數(shù)據(jù)挖掘工具

Hadoop大數(shù)據(jù)解決方案進(jìn)階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）Mahout數(shù)據(jù)挖掘工具(3)數(shù)據(jù)分析工具常見(jiàn)算法的Map-Reduce化Mahout的起源和特點(diǎn)課程目標(biāo)頻繁模式挖掘數(shù)據(jù)分析工具常用傳統(tǒng)數(shù)據(jù)分析工具排行傳統(tǒng)數(shù)據(jù)分析工具的困境R，SAS，SPSS等典型應(yīng)用場(chǎng)景為實(shí)驗(yàn)室工具處理數(shù)據(jù)量受限于內(nèi)存，因此無(wú)法處理海量數(shù)據(jù)使用Oracle數(shù)據(jù)庫(kù)等處理海量數(shù)據(jù)，但缺乏有效快速專(zhuān)業(yè)的分析功能可以采用抽樣等方法，但有局限性，比如對(duì)于聚類(lèi)，推薦系統(tǒng)則無(wú)法使用抽樣解決方向：Hadoop集群和Map-Reduce并行計(jì)算常見(jiàn)算法的Map-Reduce化常見(jiàn)算法的Map-Reduce化Mahout起源ApacheMahout起源于2008年，當(dāng)時(shí)是ApacheLucene的子項(xiàng)目使用Hadoop庫(kù)，可以將其功能有效地?cái)U(kuò)展到ApacheHadoop云平臺(tái)ApacheLucene是一個(gè)著名的開(kāi)源搜索引擎，實(shí)現(xiàn)了先進(jìn)的信息搜索、文本挖掘功能一些ApacheLucene的開(kāi)發(fā)者最終轉(zhuǎn)而開(kāi)發(fā)機(jī)器學(xué)習(xí)算法，這些算法也就形成了最初的ApacheMahoutMahout不久又吸收了名為T(mén)aste的開(kāi)源協(xié)同過(guò)濾算法的項(xiàng)目2010年4月ApacheMahout最終成為Apache的頂級(jí)項(xiàng)目Ma流ho稼ut特點(diǎn)Ma墻ho庫(kù)ut的主素要母爽的是膜實(shí)現(xiàn)究針對(duì)天大規(guī)亮模數(shù)美據(jù)集債的可掀伸縮級(jí)的機(jī)熊器學(xué)羞習(xí)算艘法（波就是老算法白的M-跌R化）Ma觸ho糧ut的算乞法運(yùn)猛行在Ha咬do重op平臺(tái)設(shè)下，女通過(guò)Ma葬pR話ed辜uc騾e模式勵(lì)實(shí)現(xiàn)寧。但并笑不嚴(yán)水格要昌求算敘法的胖實(shí)現(xiàn)恐基于Ha喜do爺op平臺(tái)暑，單菊個(gè)節(jié)英點(diǎn)或駕非Ha黎do凍op平臺(tái)自也可喜以目標(biāo)俱是幫凡助開(kāi)孤發(fā)人害員快什速建臣立具橋有機(jī)裂器智郊能的衛(wèi)應(yīng)用噴程序目前網(wǎng)比較浴成熟衣和活浸躍的微主要靠包括聚類(lèi)分類(lèi)推薦玻引擎頻繁足項(xiàng)集妄的挖勺掘Ma府ho石ut算法悉集算法類(lèi)算法名中文名分類(lèi)算法LogisticRegression邏輯回歸

Bayesian貝葉斯

SVM支持向量機(jī)

Perceptron感知器算法

NeuralNetwork神經(jīng)網(wǎng)絡(luò)

RandomForests隨機(jī)森林

RestrictedBoltzmannMachines有限波爾茲曼機(jī)聚類(lèi)算法CanopyClusteringCanopy聚類(lèi)

K-meansClusteringK均值算法

FuzzyK-means模糊K均值

ExpectationMaximizationEM聚類(lèi)（期望最大化聚類(lèi)）

MeanShiftClustering均值漂移聚類(lèi)

HierarchicalClustering層次聚類(lèi)

DirichletProcessClustering狄里克雷過(guò)程聚類(lèi)

LatentDirichletAllocationLDA聚類(lèi)

SpectralClustering譜聚類(lèi)關(guān)聯(lián)規(guī)則挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回歸LocallyWeightedLinearRegression局部加權(quán)線性回歸降維/維約簡(jiǎn)SingularValueDecomposition奇異值分解

PrincipalComponentsAnalysis主成分分析

IndependentComponentAnalysis獨(dú)立成分分析

GaussianDiscriminativeAnalysis高斯判別分析進(jìn)化算法并行化了Watchmaker框架

推薦/協(xié)同過(guò)濾Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）

DistributedRecommendersItemCF向量相似度計(jì)算RowSimilarityJob計(jì)算列間相似度

VectorDistanceJob計(jì)算向量間距離非Map-Reduc