大數(shù)據(jù)平臺及在推薦廣告的應(yīng)用(20張)課件

1、大數(shù)據(jù)平臺及在推薦廣告方面的應(yīng)用第1頁，共21頁。何為大數(shù)據(jù)第2頁，共21頁。大數(shù)據(jù)平臺架構(gòu)數(shù)據(jù)存儲實時離線FTPHDFSMRSqoopFumeNG數(shù)據(jù)采集數(shù)據(jù)處理存儲層建模KafkaZookeeperStorm/Spark streamingHbase MysqlRedis數(shù)據(jù)可視化GangliaSparkNagiosOzzie監(jiān)控管理調(diào)度特征工程機器學習算法庫Mahout/MLlib應(yīng)用搜索BI推薦廣告分類/回歸聚類主題預(yù)測Log Server商品庫用戶庫用戶行為非結(jié)構(gòu)化結(jié)構(gòu)化降維優(yōu)化PUSHHIVESpark sql離線實時第3頁，共21頁。從Hadoop1.0到Y(jié)arn單點資源管理和調(diào)

2、度分離資源劃分：slot到container第4頁，共21頁。從Hadoop到SparkInputIter.1Iter.2HadoopSpark第5頁，共21頁。大數(shù)據(jù)生態(tài)圈one stack to rule them allStorm流計算 Impalad(Ad-hoc query/迭代)Hive/MR(批處理)Hadoop第6頁，共21頁。crawler搜索引擎HBaseMQ1、writeLog2、write商品pic(insert/update/delete)3、indexLog4、finish(可靠)數(shù)據(jù)平臺數(shù)據(jù)源Sdk(插件/App/b5m)爬蟲Log serverMR/SparkY

3、ARN離線計算實時計算用戶行為數(shù)據(jù)數(shù)據(jù)平臺應(yīng)用FlumeNGStormspark steaming推薦廣告mysql商品、訂單應(yīng)用平臺監(jiān)控第7頁，共21頁。平臺應(yīng)用-爬蟲數(shù)據(jù)處理平臺第8頁，共21頁。爬蟲數(shù)據(jù)處理平臺StormSpark Streaming第9頁，共21頁。推薦系統(tǒng)典故啤酒與尿布老板、首頁、性保健品第10頁，共21頁。推薦舉例商品詳情第11頁，共21頁。推薦舉例購物車結(jié)算第12頁，共21頁。推薦舉例首頁/支付完成頁第13頁，共21頁。推薦的價值流量用戶粘性CTRGMV減少購物路徑用戶體驗多樣性新穎性流量投放給目標用戶精準轉(zhuǎn)化率CVRROI第14頁，共21頁。推薦(廣告、搜索)的

4、架構(gòu)候選集待推薦商品索引過離線檢索(相關(guān)性)過實體實體特征實時 model訓練過離線實時排序、過濾過推薦列表第15頁，共21頁。算法簡介候選集店鋪信譽更新時間人氣價格評價退貨率scoreTCL手機0.20.540.20.7聯(lián)想手機0.3.相關(guān)性 協(xié)同過濾 關(guān)聯(lián)推薦 分類興趣 聚類排序 預(yù)估點擊率 pCTR 邏輯回歸 GBDT 第16頁，共21頁。推薦系統(tǒng)的架構(gòu)特征-內(nèi)容用戶-特征離線Jacarrd/cosine/CF/content Base/FPGrowth/LDA/LR/DT 算法庫場景在線觸點PC無線意圖(聚焦、發(fā)散)+畫像融合過濾排序用戶行為（反饋）推薦效果驗證A/

5、B TestingF1RMSEAUC數(shù)據(jù)存儲中心 Hadoop Hive HbaseMysqlredis索引構(gòu)建內(nèi)容質(zhì)量評分 model訓練ruleUser(f1,f2,f3,)內(nèi)容候選用戶行為應(yīng)用庫(類別、標簽)語義分析關(guān)聯(lián)計算配置管理監(jiān)控候選排序相似度協(xié)同相關(guān)性第17頁，共21頁。用戶畫像體系基本維度性別、年齡、地域、終端、網(wǎng)絡(luò)、渠道、興趣、標簽維度商業(yè)維度品類、品牌、新老用戶、頻次、購買頻次、ARPU、購買時間語義挖掘行為標注引擎網(wǎng)絡(luò)爬蟲引擎知識庫自我學習結(jié)構(gòu)化電商數(shù)據(jù)開放智能推薦廣告經(jīng)分預(yù)測用戶畫像非結(jié)構(gòu)化 短期 瀏覽、購買、搜索、長期數(shù)據(jù)合作第18頁，共21頁。廣告廣告聯(lián)盟搜索推廣廣

6、告主業(yè)務(wù)平臺營銷推廣定向投放檢索統(tǒng)計監(jiān)控分析計費CPC數(shù)據(jù)存儲同步相關(guān)性排序pCtr*Bid興趣標簽、同類相似關(guān)鍵詞效果回收精準第19頁，共21頁。總結(jié)數(shù)據(jù)、算法、產(chǎn)品 第20頁，共21頁。1、不是井里沒有水，而是你挖的不夠深。不是成功來得慢，而是你努力的不夠多。2、孤單一人的時間使自己變得優(yōu)秀，給來的人一個驚喜，也給自己一個好的交代。3、命運給你一個比別人低的起點是想告訴你，讓你用你的一生去奮斗出一個絕地反擊的故事，所以有什么理由不努力!4、心中沒有過分的貪求，自然苦就少?？诶锊徽f多余的話，自然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒有過分欲，自然憂就少。大悲是無淚的，同樣大悟無言。緣

7、來盡量要惜，緣盡就放。人生本來就空，對人家笑笑，對自己笑笑，笑著看天下，看日出日落，花謝花開，豈不自在，哪里來的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽光自然就會蔓延開來。陽光那么好，何必自尋煩惱，過好每一個當下，一萬個美麗的未來抵不過一個溫暖的現(xiàn)在。6、無論你正遭遇著什么，你都要從落魄中站起來重振旗鼓，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過一樣。7、生命的美麗，永遠展現(xiàn)在她的進取之中;就像大樹的美麗，是展現(xiàn)在它負勢向上高聳入云的蓬勃生機中;像雄鷹的美麗，是展現(xiàn)在它搏風擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現(xiàn)在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺

8、皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強。人生無完美，曲折亦風景。別把失去看得過重，放棄是另一種擁有;不要經(jīng)常艷羨他人，人做到了，心悟到了，相信屬于你的風景就在下一個拐彎處。10、有些事想開了，你就會明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎樣，最后收拾殘局的還是要靠你自己。11、人生的某些障礙，你是逃不掉的。與其費盡周折繞過去，不如勇敢地攀登，或許這會鑄就你人生的高點。12、有些壓力總是得自己扛過去，說出來就成了充滿負能量的抱怨。尋求安慰也

9、無濟于事，還徒增了別人的煩惱。13、認識到我們的所見所聞都是假象，認識到此生都是虛幻，我們才能真正認識到佛法的真相。錢多了會壓死你，你承受得了嗎?帶，帶不走，放，放不下。時時刻刻發(fā)悲心，饒益眾生為他人。14、夢想總是跑在我的前面。努力追尋它們，為了那一瞬間的同步，這就是動人的生命奇跡。15、懶惰不會讓你一下子跌倒，但會在不知不覺中減少你的收獲;勤奮也不會讓你一夜成功，但會在不知不覺中積累你的成果。人生需要挑戰(zhàn)，更需要堅持和勤奮!16、人生在世：可以缺錢，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不能盜名;可以低落，但不能墮落;可以放松，但不能放縱;可以虛榮，但不能虛偽;可以平凡，但不能平庸;可以浪漫，但不能浪蕩;可以生氣，但