基于大數(shù)據(jù)推薦引擎教程

行為建模、行為序列分析

文本挖掘長(zhǎng)文本挖掘、短文本挖掘用戶個(gè)體行為建模和預(yù)測(cè)基于個(gè)人歷史行為的概率序列模型馬爾可夫模型或最大熵模型基于網(wǎng)絡(luò)結(jié)構(gòu)的條件隨機(jī)模型條件隨機(jī)場(chǎng)模型基于主題模型的行為預(yù)測(cè)主題模型LDA和擴(kuò)展模型DTM基于隨機(jī)模型的用戶群體行為建模、基于智能體的用戶群體行為建模與預(yù)測(cè)用戶瀏覽行為與用戶瀏覽興趣用戶瀏覽行為與用戶瀏覽興趣用戶的來源地區(qū)、來路域名和頁面；用戶在網(wǎng)站的停留時(shí)間、跳出率、回訪者、新訪問者、回訪次數(shù)、回訪相隔天數(shù)；注冊(cè)用戶和非注冊(cè)用戶，分析兩者之間的瀏覽習(xí)慣；用戶所使用的搜索引擎、關(guān)鍵詞、關(guān)聯(lián)關(guān)鍵詞和站內(nèi)關(guān)鍵字；用戶選擇什么樣的入口形式（廣告或者網(wǎng)站入口鏈接）更為有效；用戶訪問網(wǎng)站流程，用來分析頁面結(jié)構(gòu)設(shè)計(jì)是否合理；用戶在頁面上的網(wǎng)頁熱點(diǎn)圖分布數(shù)據(jù)和網(wǎng)頁覆蓋圖數(shù)據(jù)；用戶在不同時(shí)段的訪問量情況等：用戶是否對(duì)于網(wǎng)站的字體顏色的喜好程度。算法評(píng)測(cè)AUC、F-measure、準(zhǔn)確率、召回率標(biāo)簽畫像模型算法分類與回歸決策樹、撲素貝葉斯向量支持向量機(jī)SVMsMLR（softmaxRegreesion）二元分類SvmWithSGDLogisticRegressionWithSGD、RF&GBDT、邏輯回歸、線性回歸聚類k-means、canopyEM(Expectation-Maximization）吉布斯（GibbsSampling）模糊聚類、狄利克雷線性模型SlopeOne圖計(jì)算Pagerank時(shí)序模型BP、GA梯度下降GradientDescent特征提取轉(zhuǎn)換TF-IDF推薦引擎模型算法模型常用算法基于物品推薦item—base

CF（冷啟動(dòng)、熱啟動(dòng)）基于用戶推薦user-base

CF（冷啟動(dòng)、熱啟動(dòng)）基于協(xié)同過濾推薦Simarnk基于模型推薦RandomWalk、pLSA、SVD、SVD++基于關(guān)聯(lián)規(guī)則推薦Apriori、AprioriTid、DHP、FP-tree基于知識(shí)推薦基于效用推薦混合的推薦機(jī)制加權(quán)的混合、切換的混合、分區(qū)的混合、分層的混合相似度算法K-neighborhoods、User-CF、Item-CF顯性反饋ALS隱性反饋ALS情景感知推薦Context-Aware相似度推薦歷史矩陣、共生矩陣、標(biāo)識(shí)符矩陣Spark推薦引擎Mahout算法模型算法類算法名中文名分類算法LogisticRegression邏輯回歸Bayesian貝葉斯SVM支持向量機(jī)Perceptron感知器算法NeuralNetwork神經(jīng)網(wǎng)絡(luò)RandomForests隨機(jī)森林RestrictedBoltzmannMachines有限波爾茲曼機(jī)聚類算法CanopyClusteringCanopy聚類K-meansClusteringK均值算法FuzzyK-means模糊K均值ExpectationMaximizationEM聚類（期望最大化聚類）MeanShiftClustering均值漂移聚類HierarchicalClustering層次聚類DirichletProcessClustering狄里克雷過程聚類LatentDirichletAllocationLDA聚類SpectralClustering譜聚類關(guān)聯(lián)規(guī)則挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回歸LocallyWeightedLinearRegression局部加權(quán)線性回歸降維/維約簡(jiǎn)SingularValueDecomposition奇異值分解PrincipalComponentsAnalysis主成分分析IndependentComponentAnalysis獨(dú)立成分分析GaussianDiscriminativeAnalysis高斯判別分析進(jìn)化算法并行化了Watchmaker框架

推薦/協(xié)同過濾Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）DistributedRecommendersItemCF向量相似度計(jì)算RowSimilarityJob計(jì)算列間相似度VectorDistanceJob計(jì)算向量間距離非Map-Reduce算法HiddenMarkovModels隱馬爾科夫模型集合方法擴(kuò)展Collections擴(kuò)展了java的Collections類SPARK對(duì)算法模型支撐推薦引擎人口統(tǒng)計(jì)學(xué)的推薦內(nèi)容的推薦三、協(xié)