美團(tuán)實(shí)時計(jì)算平臺

1、美團(tuán)實(shí)時計(jì)算實(shí)踐與應(yīng)用OutlineBackgroundArchitectureFeaturesCustomers & BenefitsLessons LearnedQ&AOutlineBackground美團(tuán)數(shù)據(jù)倉庫業(yè)務(wù)場景多：2500+指標(biāo)數(shù)，600+分析師/運(yùn)營/數(shù)據(jù)RD；業(yè)務(wù)變化快：40K 任務(wù)/天，500+ 報(bào)表，半年翻倍；數(shù)據(jù)量大：4P+總數(shù)據(jù)量，30T/天增量；實(shí)時計(jì)算技術(shù)以Kafka, Storm為代表的流式計(jì)算技術(shù)蓬勃發(fā)展，解決了大數(shù)據(jù)處理的時效性問題；OutlineArchitecture數(shù)據(jù)處理架構(gòu)實(shí)時計(jì)算架構(gòu)OutlineFeatures開發(fā)者困惑開發(fā)一個實(shí)時應(yīng)用，除了

2、寫業(yè)務(wù)邏輯外，我還要做什么？拓?fù)淇蚣芡負(fù)?應(yīng)用邏輯+可配置框架開發(fā)者困惑準(zhǔn)備開發(fā)前，我要怎樣引入數(shù)據(jù)流？程序中間狀態(tài)存在哪？結(jié)果存在哪？解決方案應(yīng)用拓?fù)?流+計(jì)算框架+Se+結(jié)果解決方案應(yīng)用拓?fù)?流+計(jì)算框架+Se+結(jié)果開發(fā)者困惑準(zhǔn)備開工啦！那我在哪開發(fā)？在哪測試？測試開發(fā)化Git整合、版本管理、開發(fā)測試，線上運(yùn)維；開發(fā)者困惑拓?fù)浣K于上線啦！如何控制延遲？拓?fù)錉顟B(tài)？如何延遲統(tǒng)計(jì)日志流轉(zhuǎn)全流程的延遲延遲統(tǒng)計(jì)日志流轉(zhuǎn)全流程的延遲定制化服務(wù)用戶自定義Metrics的服務(wù)定制化服務(wù)用戶自定義Metrics的服務(wù)開發(fā)者困惑運(yùn)行了一段時間，開始考慮：撲和別人的拓?fù)鋾粫屬Y源？拓資源分組按等級/部門對資源

3、進(jìn)行分組調(diào)度策略優(yōu)化機(jī)器獨(dú)占、拓?fù)洫?dú)占、拓?fù)涔蚕黹_發(fā)者困惑是否有公共數(shù)據(jù)可以用？能否使用其它拓?fù)洚a(chǎn)出的結(jié)果？如何管理數(shù)據(jù)？拓?fù)湟蕾囮P(guān)系清晰展示拓?fù)浜蛿?shù)據(jù)之間的關(guān)系功能特性拓?fù)淇蚣?；的解決方案；測試開發(fā)化；延遲統(tǒng)計(jì)服務(wù)；定制化服務(wù)；資源分組和調(diào)度策略優(yōu)化；拓?fù)湟蕾囮P(guān)系；OutlineCustomers & Benefits應(yīng)用領(lǐng)域風(fēng)控安全、反爬蟲機(jī)群指標(biāo)統(tǒng)計(jì)業(yè)務(wù)指標(biāo)統(tǒng)計(jì)（新客，銷售額等）100+個Topology；record/s的實(shí)時數(shù)據(jù)；期4GB/s，60萬收益節(jié)省開發(fā)時間：5Days-Hours；2W-1W；反爬蟲：獲得線性擴(kuò)容能力；延遲從3小時降到十幾秒；在現(xiàn)有框架下增加新的封禁分析功能，幾個小時就完成從開發(fā)到上線觀察效果；安全：獲得實(shí)時性，完成異30s內(nèi)；別從3-4小時降到收益：準(zhǔn)實(shí)時反饋，CTR和訪購率5-10%;實(shí)時的用戶行為分析，2%；效果較大，點(diǎn)擊下單提高效果展示：實(shí)時看到策略的效果，查找問題從2天縮短到當(dāng)天，加快了算法迭代速度；風(fēng)控刷機(jī)項(xiàng)目：項(xiàng)目開發(fā)、測試、上線只用了不到2周，節(jié)省了分布式數(shù)據(jù)流和分布式計(jì)算框架的開發(fā)，只需要關(guān)注邏輯模塊的開發(fā)，節(jié)省了70%的工作量；OutlineLessons Learned經(jīng)驗(yàn)教訓(xùn)擁抱開源：受益于開源，跟進(jìn)社區(qū)發(fā)展，積極回饋社區(qū)；Storm管理系統(tǒng)嘗試開源；解決方案：輸入、輸出、狀態(tài)、警、延遲等，以開發(fā)者為中心；報(bào)貼近用戶做產(chǎn)