存儲計算應(yīng)用的三層平臺服務(wù)架構(gòu)探索

1、存放計算應(yīng)用三層平臺服務(wù)架構(gòu)探索第1頁目 錄1服務(wù)化必要性2數(shù)據(jù)平臺服務(wù)化理論實踐3從服務(wù)化到云化理論實踐第2頁電商營銷目標百分點推薦引擎服務(wù)場景：個性化推薦消費者用戶行為用戶全網(wǎng)行為偏好用戶當(dāng)前購物需求客戶行業(yè)運行規(guī)則個性化推薦算法輸出個性化推薦結(jié)果第3頁ACL )Zookeeper(數(shù)據(jù)采集業(yè)務(wù)數(shù)據(jù)聚集用戶行為埋點采集互聯(lián)網(wǎng)數(shù)據(jù)抓取數(shù)據(jù)清洗業(yè)務(wù)數(shù)據(jù)清洗系統(tǒng)用戶行為數(shù)據(jù)清洗系統(tǒng)互聯(lián)網(wǎng)公開數(shù)據(jù)清洗系統(tǒng)數(shù)據(jù)標準化用戶多重ID歸一化系統(tǒng)商品歸一化系統(tǒng)數(shù)據(jù)平臺安全認證權(quán)限監(jiān)控配置及報警電子商城個性化系統(tǒng)移動商城個性化系統(tǒng)媒體網(wǎng)站個性化系統(tǒng)個性化推薦引擎（BRE）微信商城個性化系統(tǒng)結(jié)果輸出用戶標簽商品

2、標簽(文本)點擊率模型協(xié)同過濾結(jié)果關(guān)聯(lián)規(guī)則結(jié)果HDFS(全量數(shù)據(jù))Kafka(匯聚分發(fā))Redis(活動數(shù)據(jù))Solr(索引數(shù)據(jù))MapReduce+HQL計算資源管控（YARN自動+工單手動）增量計算進程 SQL類存放層其它計算方式自動化運維服務(wù)化必要性 從一枝獨秀到遍地開花第4頁ACL )Zookeeper(數(shù)據(jù)平臺電子商城個性化系統(tǒng)移動商城個性化系統(tǒng)媒體網(wǎng)站個性化系統(tǒng)個性化推薦引擎（BRE）數(shù)據(jù)采集業(yè)務(wù)數(shù)據(jù)聚集用戶行為埋點采集互聯(lián)網(wǎng)數(shù)據(jù)抓取微信商城個性化系統(tǒng)結(jié)果輸出用戶標簽商品標簽(文本)點擊率模型協(xié)同過濾結(jié)果關(guān)聯(lián)規(guī)則結(jié)果HDFS(全量數(shù)據(jù))Kafka(匯聚分發(fā))Redis(活動數(shù)據(jù))S

3、olr(索引數(shù)據(jù))MapReduce+HQL計算資源管控（YARN自動+工單手動）增量計算進程 SQL類存放層其它計算方式在線營銷支持系統(tǒng)門店營銷支持系統(tǒng)會員營銷支持系統(tǒng)全網(wǎng)市場監(jiān)控系統(tǒng)輿情管家商情管家用戶洞察系統(tǒng)自動化營銷引擎（BME）數(shù)據(jù)清洗業(yè)務(wù)數(shù)據(jù)清洗系統(tǒng)用戶行為數(shù)據(jù)清洗系統(tǒng)互聯(lián)網(wǎng)公開數(shù)據(jù)清洗系統(tǒng)大數(shù)據(jù)分析引擎（BAE）數(shù)據(jù)標準化用戶多重ID歸一化系統(tǒng)商品歸一化系統(tǒng)服務(wù)化必要性 從一枝獨秀到遍地開花安全認證權(quán)限監(jiān)控配置及報警自動化運維第5頁更多開發(fā)者更多應(yīng)用更多樣化數(shù)據(jù)流怎樣防止依賴雪崩？怎樣防止數(shù)據(jù)篡改？第6頁數(shù)據(jù)采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)（數(shù)據(jù)橋接）日志數(shù)據(jù)（LogStash）用戶實時線上行為

4、數(shù)據(jù)（數(shù)據(jù)探頭）互聯(lián)網(wǎng)數(shù)據(jù)（數(shù)據(jù)爬?。╇x線數(shù)據(jù)數(shù)據(jù)分發(fā)消息隊列（Kafka）離線數(shù)據(jù)存放及處理（Hadoop）數(shù)據(jù)服務(wù)REST APIHDFSMRHiveHbase對外服務(wù)數(shù)據(jù)存放Redis MySQLMongoDB ES/Solr實時數(shù)據(jù)處理StormSparkWEB應(yīng)用從數(shù)據(jù)到應(yīng)用：經(jīng)典數(shù)據(jù)流第7頁消息隊列圖床RDB日志存放海量對象存放集群協(xié)作zookeeperK-V緩存分布式OLAPDB(GP)列式DB全文索引文檔DBMapReduce任務(wù)腳本任務(wù)任務(wù)調(diào)度實時統(tǒng)計（流計算）增量算法OLAP任務(wù)REST API 微服務(wù)（商品檢索）數(shù)據(jù)管理應(yīng)用數(shù)據(jù)服務(wù)應(yīng)用標準Web應(yīng)用自定義程序任務(wù)數(shù)據(jù)流轉(zhuǎn)

5、換REST API微服務(wù)（資訊檢索）REST API微服務(wù)（用戶畫像）REST API微服務(wù)（用戶篩選）數(shù)據(jù)洞察應(yīng)用深入，對任意web應(yīng)用三層抽象：應(yīng)用層計算層Lambda計算存放層多樣性存放第8頁目 錄1服務(wù)化必要性2數(shù)據(jù)平臺服務(wù)化理論實踐3從服務(wù)化到云化理論實踐第9頁服務(wù)SLA數(shù)據(jù)可靠性服務(wù)可用率災(zāi)備成本控制低碳API,SDK,Doc 開箱即用 兼容原生APISDK 引導(dǎo)性文檔 FAQ元服務(wù) 服務(wù)元數(shù)據(jù) 服務(wù)狀態(tài)發(fā)布 服務(wù)公布框架 服務(wù)能力體系服務(wù)代理 高性能4層代理 RPC代理 代理端認證和配額服務(wù)依賴 計算和存放依賴 應(yīng)用和微服務(wù)依賴 應(yīng)用、微服務(wù)和存放計算依賴平臺服務(wù)化理論和實踐服務(wù)

6、化關(guān)鍵元素第10頁Client API callService dashboardWeb UIRESTIDC1Raw HDFSRESTIDC2Raw HDFSRESTIDC3Raw HDFSIDC aware jobsIDC aware jobsClient API callClient API callAdmin ViewL4 Proxy+AuthHDFS FederationUser View存放服務(wù)化HDFS aaS第11頁A云中心proxycodisRedis云服務(wù)器節(jié)點Redis云 UIAproxycodisAcodisslaveAAAproxyAAproxycodisAAdashb

7、dAproxycodisAAAdashbdclientRegistryclient存放服務(wù)化Redis云第12頁項目任務(wù)任務(wù)任務(wù)任務(wù)任務(wù)Developer任務(wù)調(diào)度workflow資源調(diào)度yarnJob2任務(wù)監(jiān)控用量統(tǒng)計Job1Job2Job2Job1Job3Job2計算服務(wù)化MapReduce服務(wù)化第13頁SQL預(yù)分析系統(tǒng)中間層基礎(chǔ)層主題層數(shù)據(jù)存放RESTAPI存放計算服務(wù).事實表LOGS維度表HIVEWEB REQHIVECLICK SERVERBIHIVE/MYSQLProfilesHIVE/HBASEEnginesGP元數(shù)據(jù)管理系統(tǒng)存放引擎管理數(shù)據(jù)字典數(shù)據(jù)規(guī)范數(shù)據(jù)流向圖SQL盤點配置中心

8、權(quán)限管理系統(tǒng)離線任務(wù)調(diào)度系統(tǒng)產(chǎn)品應(yīng)用層多引擎自助查詢層自助查詢SQL市場圖例外部系統(tǒng)數(shù)據(jù)倉庫組件服務(wù)調(diào)用數(shù)據(jù)接入規(guī)則UI規(guī)則配置標準化清洗規(guī)則庫數(shù)據(jù)服務(wù)化第14頁Bypass Proxy User-DBServicesServicesServicesPPPPAuthconn+authinfodeny ortokenrequestzerocopy服務(wù)Proxy-bypassClient第15頁3目 錄1服務(wù)化必要性2數(shù)據(jù)平臺服務(wù)化理論實踐從服務(wù)化到云化理論實踐第16頁挖掘任務(wù)ETL迭代計算效果分析BI任務(wù)ETLAnalyze存放、計算資源傾斜業(yè)務(wù)相互影響吞吐和延遲不可兼得硬件利用率低大規(guī)模服務(wù)化

9、之后第17頁增量算法應(yīng)用云(App Engine)REST API 微服務(wù)（商品）計算云服務(wù)MapReduce服務(wù)腳本提交服務(wù)數(shù)據(jù)服務(wù)應(yīng)用標準Web應(yīng)用任務(wù)調(diào)度存放云服務(wù)消息隊列kafka云(服務(wù)式)海量對象存放HDFS(服務(wù)式)K-V緩存Redis云(實例式)列式DBHbase(服務(wù)式)日志存放Logstash容器全文索引ES云(實例式)L4 Proxy + Auth計量中心資源調(diào)度數(shù)據(jù)管理應(yīng)用數(shù)據(jù)洞察應(yīng)用REST API微服務(wù) REST API微服務(wù)（資訊） （用戶）L4 Proxy + Auth自定義程序任務(wù) 實時統(tǒng)計（流計算）OLAP(SQL)服務(wù)云中心元服務(wù)構(gòu)建云平臺第18頁deph

10、tt云中心DashBoardSiriusServerLogStashData jobs元服務(wù)HDFSESRedisHBaseKafkaHttp RouterYarn應(yīng)用服務(wù)器節(jié)點App-1計算服務(wù)器節(jié)點ContainerState Monitor圖例應(yīng)用編排數(shù)據(jù)流計算任務(wù)數(shù)據(jù)流NodemanagerloyrequestsprequestL4 proxy構(gòu)建云平臺第19頁SiriusServerMR-MapMR-MapBDMSHadoopClient服務(wù)元數(shù)據(jù)庫HDFSESRedisHBaseKafkaServiceDiscoverYarn服務(wù)器組擴展服務(wù)器組MR-ReduceDockerState Monitor圖例應(yīng)用編排數(shù)據(jù)流計算任務(wù)數(shù)據(jù)流Nodemanager構(gòu)建云平臺計算任務(wù)數(shù)據(jù)流圖云中心DashBoard第20頁metricstatusconnOKqpsHightrafficHighABCDEapp微服務(wù)存放服務(wù)計算服務(wù)存放服務(wù)依賴管理，故障歸因第21頁IDC2客戶方當(dāng)?shù)財?shù)據(jù)洞察應(yīng)用que