Topsummit從零開始搭建大數(shù)據(jù)平臺-樂視網(wǎng)白德鑫

從零開始搭建大數(shù)據(jù)平臺白德鑫@leoobai摘要屌絲的數(shù)據(jù)分析土豪要和屌絲做朋友屌絲的進(jìn)化屌絲變土豪構(gòu)建電視分析數(shù)據(jù)平臺本案例是在為在為超級電視及樂視盒子數(shù)據(jù)提供用戶行為的數(shù)據(jù)分析及挖掘服務(wù)而啟動的數(shù)據(jù)平臺項目的過程和經(jīng)驗分享。對超級電視的用戶行為數(shù)據(jù)進(jìn)行實時和離線分析，為運營提供決策支持。通過對電視數(shù)據(jù)挖掘來進(jìn)行系統(tǒng)優(yōu)化和服務(wù)提升。

白德鑫來自樂視網(wǎng)TV開放平臺事業(yè)部歷經(jīng)電信、游戲、互聯(lián)網(wǎng)三個行業(yè)，互聯(lián)網(wǎng)電視拓荒者，目前負(fù)責(zé)樂視網(wǎng)超級電視運營平臺、LetvStore、TV數(shù)據(jù)挖掘分析平臺、TV開放平臺項目建設(shè)。微博:@leoobai

G粉，釣魚迷和摩托迷屌絲如何成為糕富帥苦逼屌絲配置兩臺MySQL（主從）記錄日志，通過CronJob加上SQL方式在Slave進(jìn)行統(tǒng)計分析發(fā)奮圖強(qiáng)的屌絲嘗試使用Cassandra將日志存儲，使用Hadoop進(jìn)行計算，然后把結(jié)果塞到MySQL里太多的數(shù)據(jù)組合，屌絲嘗試使用MySQL集群加上Kettle進(jìn)行統(tǒng)計分析鳥槍換炮屌絲開始使用大規(guī)模殺傷性武器Kafka、Storm、Hadoop、Hbase、Hive、Oozie、Sqoop苦逼屌絲的數(shù)據(jù)起點數(shù)據(jù)越來越大，需求越來越多，土豪上門了人員離職造成系統(tǒng)失控，Cassandra沒人維護(hù)了人員離職對系統(tǒng)影響很大不一定時刻都有合適的人接替招聘成本很高，因為有技術(shù)的土豪都不愿意和屌絲做朋友人員流失往往帶來技術(shù)的流失一個蘿卜一個坑，蘿卜走了坑要很久才能填上重回屌絲時代土豪和我們做朋友了數(shù)據(jù)量從年初的3個月翻一倍到目前每個月翻一倍數(shù)據(jù)每月一億條增長到每周一億條只用了半年不到超級電視及盒子的快速增長引起需求快速變化，從設(shè)備行為快速向用戶行為轉(zhuǎn)變一邊找土豪一邊增強(qiáng)自身能力為此成立了獨立的數(shù)據(jù)研發(fā)團(tuán)隊及數(shù)據(jù)分析人員從年初我們也開始了鳥槍換炮的工作增強(qiáng)內(nèi)功數(shù)據(jù)研發(fā)團(tuán)隊通過將近半年的努力，逐步搭建并完善了新的平臺新平臺通過Kafka接收其他系統(tǒng)、超級電視、樂視盒子等業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、以及其他元數(shù)據(jù)（包括內(nèi)容、應(yīng)用）然后整合加工Storme通過整合Kafka加工之后的數(shù)據(jù)存入MySQL及Hbase中去通過Hadoop及數(shù)據(jù)服務(wù)為AD-HOC、開放數(shù)據(jù)平臺、數(shù)據(jù)門戶對各個業(yè)務(wù)部門提供數(shù)據(jù)服務(wù)這些是人才依靠招聘和內(nèi)部自薦的方式進(jìn)行擴(kuò)充屌絲的豪華七件套數(shù)據(jù)入門第一套測試服務(wù)器兩臺4corecpu,6Gmemory，20個線程數(shù)據(jù)入門第一套測試服務(wù)器1臺4corecpu,6Gmemory，20個線程數(shù)據(jù)入門第一套測試服務(wù)器1臺4corecpu,6Gmemory，20個線程數(shù)據(jù)入門第二套Storm集群SpoutSpoutSpout…ParserBoltParserBoltParserBolt…BoltBoltBolt…CbaseKafka消息隨機(jī)…WriterBoltWriterBoltWriterBolt…組合計算數(shù)據(jù)入門第三套案例ROI分析數(shù)據(jù)量每月基本翻一倍，原有的系統(tǒng)架構(gòu)根本無法滿足新的數(shù)據(jù)需求Kettle方式的數(shù)據(jù)整合時間越來越久采用Hadoop+Storm等方案，數(shù)據(jù)量增長不會對數(shù)據(jù)挖掘產(chǎn)生特別大的影響。數(shù)據(jù)從原來每日抽取報表到實時數(shù)據(jù)隨意查詢整合還有很多事情要做案例啟示不同的階段選擇不同的方案人員流失會導(dǎo)致技術(shù)流失技術(shù)儲備和內(nèi)部自薦要比招聘牛人更快對于新業(yè)務(wù)