企業(yè)實(shí)時(shí)大數(shù)據(jù)系統(tǒng)介紹

1、企業(yè)實(shí)時(shí)大數(shù)據(jù)系統(tǒng)介紹技術(shù)創(chuàng)新，變革未來目錄我們的實(shí)時(shí)數(shù)據(jù)平臺-Prism從這里開始演進(jìn)集群規(guī)劃監(jiān)控規(guī)模Prism是什么宗旨以數(shù)據(jù)可視化為出發(fā)點(diǎn)以降低數(shù)據(jù)和數(shù)據(jù)分析軟件獲取成本為己任的實(shí)時(shí)數(shù)據(jù)平臺提供哪些服務(wù)日志實(shí)時(shí)監(jiān)控 - ELK數(shù)據(jù)總線 - Kafka數(shù)據(jù)實(shí)時(shí)分析 - Spark Streaming/Storm/Flink數(shù)據(jù)存儲 - Elasticsearch as a ServiceOLAP/試驗(yàn)平臺 - Zeppelin+Spark/FlinkPrism數(shù)據(jù)流圖這里開始Dev成為問題定位的瓶頸ELKELK大受歡迎部署方式和問題部署方式申請?zhí)摂M機(jī)/添加賬號使用salt部署面臨的問題無法

2、快速構(gòu)建業(yè)務(wù)流無法快速增減容量怎么辦？我們的方案解決了問題快速增減容量新工具快速支持提高硬件資源利用率降低數(shù)據(jù)軟件的使用成本角色Mesos管理的資源Marathon和Spark的位置在Mesos上運(yùn)行無狀態(tài)服務(wù)宿主節(jié)點(diǎn)快照找到Kibana網(wǎng)絡(luò)方案-net=hostCalicoCNI (Mesos version = 1.0)請求路由/服務(wù)發(fā)現(xiàn)（HTTP）多機(jī)房日志流匯聚日志平臺接入Portal新需求新的需求實(shí)時(shí)推薦多數(shù)據(jù)源實(shí)時(shí)JOINLogstash能力不足以支撐新的需求引入Spark on MesosSoftware on Mesos一個(gè)真實(shí)的業(yè)務(wù)場景規(guī)模實(shí)時(shí)日志分析：300模塊，kafka

3、峰值帶寬6GSpark Streaming任務(wù)：50個(gè)Storm集群：5個(gè)Flink集群：2個(gè)集群規(guī)劃宗旨基礎(chǔ)設(shè)施這一層技術(shù)收斂Fail Over多租戶資源隔離QuotaBootstrap Version 3.0All in Docker監(jiān)控監(jiān)控?cái)?shù)據(jù)處理模塊拓?fù)浔O(jiān)控業(yè)務(wù)統(tǒng)計(jì)監(jiān)控隊(duì)列堆積：Kafka Topic Lag流量：Search Count/Message Count錯(cuò)誤：Reject/Exception基礎(chǔ)監(jiān)控/容量監(jiān)控IO使用率CPU使用率內(nèi)存使用率JVM/GC等集群資源使用量數(shù)據(jù)處理模塊拓?fù)浔O(jiān)控實(shí)時(shí)流監(jiān)控Esaas某ES集群監(jiān)控基礎(chǔ)監(jiān)控Mesos資源統(tǒng)計(jì)廣告 pyadvisor/QunarOPS/pyadvisor規(guī)模計(jì)算集群120+； 2600+ 容器ES中存儲的日志160T，4萬ShardsEsaas 50+;47 ES集群； 600+ 容器總結(jié)我們做的事兒實(shí)時(shí)數(shù)據(jù)治理解決數(shù)據(jù)軟件的部署的門檻解決Mesos環(huán)境