袋鼠云申杭大數(shù)據(jù)平臺(tái)的演進(jìn)之路課件(PPT 20頁(yè))

1、大數(shù)據(jù)平臺(tái)的演進(jìn)之路第1頁(yè)，共20頁(yè)。大數(shù)據(jù)平臺(tái)的發(fā)展歷程數(shù)據(jù)中臺(tái)介紹數(shù)棧產(chǎn)品介紹數(shù)據(jù)中臺(tái)案例第2頁(yè)，共20頁(yè)。大數(shù)據(jù)平臺(tái)的發(fā)展歷程面臨的問(wèn)題傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)計(jì)算引擎ClientSMP代表：小型機(jī)DB磁盤(pán)Client磁盤(pán)DBDBDBDB共享磁盤(pán)代表：Oracle RACClientDBDBDBDBMPP代表：Greenplum,Teradata磁盤(pán)磁盤(pán)磁盤(pán)磁盤(pán)在數(shù)據(jù)量爆發(fā)性增長(zhǎng)的情況下，計(jì)算能力面臨瓶頸主要面向離線(xiàn)計(jì)算處理，缺少對(duì)實(shí)時(shí)計(jì)算/機(jī)器學(xué)習(xí)/即系查詢(xún)等場(chǎng)景的支持?jǐn)?shù)據(jù)管理/數(shù)據(jù)治理能力弱第3頁(yè)，共20頁(yè)。4大數(shù)據(jù)平臺(tái)的發(fā)展歷程新時(shí)代的計(jì)算平臺(tái)架構(gòu)監(jiān)控與警報(bào)業(yè)務(wù)數(shù)據(jù)服務(wù)硬件數(shù)據(jù)應(yīng)用流量統(tǒng)計(jì)用戶(hù)

2、行為分析用戶(hù)畫(huà)像推薦廣告數(shù)據(jù)應(yīng)用平臺(tái)元信息管理作業(yè)管理交互分析多維分析可視化數(shù)據(jù)基礎(chǔ)平臺(tái)計(jì)算層調(diào)度層存儲(chǔ)層接入層MRHIVEStormSparkKylinCaffe/Tensorflow.YarnKubernetesHDFSHbaseKafkaCanal/SqoopFleme平臺(tái)管理流程權(quán)限配額升級(jí)版本機(jī)器第4頁(yè)，共20頁(yè)。大數(shù)據(jù)平臺(tái)的發(fā)展歷程數(shù)據(jù)計(jì)算的頻率OLTP/OLAP混用離線(xiàn)準(zhǔn)實(shí)時(shí)實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)性越來(lái)越高容錯(cuò)性高處理量越來(lái)越多特點(diǎn):第5頁(yè)，共20頁(yè)。大數(shù)據(jù)平臺(tái)的發(fā)展歷程輔助決策-數(shù)據(jù)業(yè)務(wù)化成本中心-利潤(rùn)中心價(jià)值模糊-可量化人群透視人群圈選人群放大用戶(hù)畫(huà)像廣告精準(zhǔn)營(yíng)銷(xiāo)搜索優(yōu)化搜索AI個(gè)性化

3、推薦圖像識(shí)別風(fēng)控自然語(yǔ)言處理大數(shù)據(jù)價(jià)值第6頁(yè)，共20頁(yè)。大數(shù)據(jù)平臺(tái)的發(fā)展歷程數(shù)據(jù)抽取工具選型數(shù)據(jù)計(jì)算平臺(tái)選型服務(wù)器數(shù)據(jù)應(yīng)用廠(chǎng)商大數(shù)據(jù)平臺(tái)建設(shè)步驟存儲(chǔ)數(shù)據(jù)服務(wù)廠(chǎng)商InformaticaDatastageKettleOracleGreenPlumIBMHPEMCBOTableauCognos東軟IBM GDC缺點(diǎn)產(chǎn)品分散，廠(chǎng)商多，周期長(zhǎng)IOE體系,產(chǎn)品費(fèi)用高運(yùn)維管理成本高第7頁(yè)，共20頁(yè)。數(shù)據(jù)中臺(tái)介紹數(shù)據(jù)模型數(shù)據(jù)服務(wù)數(shù)據(jù)計(jì)算和萃取數(shù)據(jù)資產(chǎn)數(shù)據(jù)采集數(shù)據(jù)治理數(shù)據(jù)中臺(tái)定位做為企業(yè)全域數(shù)據(jù)的共享能力中心，旨在提供數(shù)據(jù)采集、數(shù)據(jù)模型、數(shù)據(jù)計(jì)算和萃取、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)等全鏈路的一站式產(chǎn)品+技術(shù)+方

4、法論服務(wù)，構(gòu)建面向業(yè)務(wù)應(yīng)用的數(shù)據(jù)智能平臺(tái)數(shù)據(jù)中臺(tái)第8頁(yè)，共20頁(yè)。決策管理層“大中臺(tái)、小前臺(tái)”戰(zhàn)略創(chuàng)新的決心驅(qū)動(dòng)組織和流程進(jìn)化，構(gòu)建全域打通的數(shù)據(jù)中臺(tái)協(xié)調(diào)業(yè)務(wù)部門(mén)和技術(shù)部門(mén)，中臺(tái)戰(zhàn)略的落地重于設(shè)計(jì)降低大數(shù)據(jù)的技術(shù)門(mén)檻在線(xiàn)化知識(shí)沉淀和傳承“方法論+工具保障+合作廠(chǎng)商”降低對(duì)高端人才的依賴(lài)分布式計(jì)算&存儲(chǔ)&調(diào)度架構(gòu)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)流計(jì)算覆蓋大數(shù)據(jù)全生命周期的一站式可視化平臺(tái)數(shù)據(jù)中臺(tái)介紹戰(zhàn)略決心人才投入工具保障企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)應(yīng)用層ADS公共維度模型層CDM操作數(shù)據(jù)層ODS數(shù)據(jù)開(kāi)發(fā)套件數(shù)據(jù)治理套件分布式大數(shù)據(jù)計(jì)算引擎數(shù)據(jù)應(yīng)用引擎實(shí)時(shí)流計(jì)算事件驅(qū)動(dòng)毫秒級(jí)BI報(bào)表DI應(yīng)用智能計(jì)算機(jī)器學(xué)習(xí)深度學(xué)習(xí)第9

5、頁(yè)，共20頁(yè)。數(shù)據(jù)中臺(tái)介紹大數(shù)據(jù)平臺(tái)理念對(duì)比計(jì)算平臺(tái)多樣性離線(xiàn)計(jì)算/流計(jì)算/圖計(jì)算/機(jī)器學(xué)習(xí)/分析引擎，支持更多的應(yīng)用場(chǎng)景開(kāi)發(fā)方式變革純web化開(kāi)發(fā)方式，一站式數(shù)據(jù)處理流程方法論的產(chǎn)品化數(shù)倉(cāng)建設(shè)規(guī)范，標(biāo)準(zhǔn)，產(chǎn)品化數(shù)據(jù)豐富性豐富的采集手段，涵蓋業(yè)務(wù)數(shù)據(jù)，日志數(shù)據(jù)，行為數(shù)據(jù)，IOT數(shù)據(jù)，估計(jì)數(shù)據(jù)，圖片數(shù)據(jù)數(shù)據(jù)治理臟數(shù)據(jù)管理，元數(shù)據(jù)管理，數(shù)據(jù)質(zhì)量，數(shù)據(jù)資產(chǎn)數(shù)據(jù)應(yīng)用BI報(bào)表/大屏/營(yíng)銷(xiāo)引擎/DMP123465第10頁(yè)，共20頁(yè)。11數(shù)據(jù)中臺(tái)介紹數(shù)據(jù)中臺(tái)價(jià)值全面梳理數(shù)據(jù)資產(chǎn)構(gòu)建全域數(shù)據(jù)中心落地戰(zhàn)略和組織保障培養(yǎng)業(yè)務(wù)創(chuàng)新的土壤數(shù)據(jù)資產(chǎn)管理在線(xiàn)化形成數(shù)據(jù)人才成長(zhǎng)的搖籃通過(guò)業(yè)務(wù)的不斷滋養(yǎng)打造業(yè)務(wù)和數(shù)據(jù)的閉環(huán)第

6、11頁(yè)，共20頁(yè)。12數(shù)據(jù)中臺(tái)介紹部署計(jì)算平臺(tái)，開(kāi)發(fā)套件，數(shù)據(jù)治理，數(shù)據(jù)應(yīng)用引擎等產(chǎn)品在平臺(tái)的基礎(chǔ)上構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)治理，數(shù)據(jù)應(yīng)用等服務(wù)持續(xù)迭代，推進(jìn)高層重視，自上而下推動(dòng)組織變更，提升中臺(tái)部門(mén)的戰(zhàn)略地位數(shù)據(jù)中臺(tái)人員配備(數(shù)據(jù)開(kāi)發(fā)/算法開(kāi)發(fā)/分析師/前后端研發(fā)/業(yè)務(wù)人員)數(shù)據(jù)中臺(tái)實(shí)施路徑第12頁(yè)，共20頁(yè)。數(shù)棧產(chǎn)品介紹數(shù)棧：企業(yè)級(jí)一站式數(shù)據(jù)中臺(tái)PaaS業(yè)務(wù)中臺(tái)數(shù)據(jù)應(yīng)用數(shù)據(jù)化運(yùn)營(yíng)可視化大屏輿情監(jiān)控精準(zhǔn)營(yíng)銷(xiāo)個(gè)性化推薦數(shù)據(jù)源RDBMS日志文件ElasticSearchFTPHBaseDT.Trace爬蟲(chóng)智能實(shí)時(shí)全域基礎(chǔ)服務(wù)數(shù)據(jù)應(yīng)用引擎數(shù)據(jù)化運(yùn)營(yíng)集群部署運(yùn)維監(jiān)控多租戶(hù)隔離多集群管理日志分析EasyL

7、og分析引擎大屏引擎EasyV數(shù)據(jù)計(jì)算引擎RD-OSClouderaHortonworksEMR數(shù)據(jù)開(kāi)發(fā)套件數(shù)據(jù)集成實(shí)時(shí)任務(wù)開(kāi)發(fā)任務(wù)運(yùn)維離線(xiàn)任務(wù)開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)主題域用戶(hù)主題域交易主題域商品主題域數(shù)據(jù)治理套件用戶(hù)主題域交易主題域商品主題域第13頁(yè)，共20頁(yè)。14EasyManager安裝部署運(yùn)維監(jiān)控Spark批量計(jì)算引擎Flink流計(jì)算引擎Yarn分布式資源調(diào)度HDFS分布式存儲(chǔ)引擎Kafka分布式消息隊(duì)列Tensorflow深度學(xué)習(xí)引擎DTEngine任務(wù)執(zhí)行引擎DTGatewayAPI網(wǎng)關(guān)DTinsight.IDE開(kāi)發(fā)套件1DTinsight.Valid數(shù)據(jù)質(zhì)量DTinsight.API數(shù)據(jù)A

8、PIFlinkX數(shù)據(jù)同步引擎Console多租戶(hù)隔離多集群管理數(shù)棧產(chǎn)品介紹數(shù)棧產(chǎn)品架構(gòu)第14頁(yè)，共20頁(yè)。數(shù)棧產(chǎn)品介紹數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)地圖運(yùn)維中心數(shù)據(jù)模型數(shù)據(jù)輸入數(shù)據(jù)輸出開(kāi)源生態(tài)兼容可視化操作界面全生命周期覆蓋兼容CDH、HDP、EMR等第三方開(kāi)源分布式計(jì)算引擎全鏈路覆蓋數(shù)據(jù)價(jià)值釋放過(guò)程，支持實(shí)時(shí)、離線(xiàn)和智能計(jì)算屏蔽底層復(fù)雜的分布式計(jì)算引擎，基于Web的開(kāi)發(fā)平臺(tái)，提高開(kāi)發(fā)效率數(shù)據(jù)輸入任務(wù)開(kāi)發(fā)與調(diào)度任務(wù)狀態(tài)監(jiān)控?cái)?shù)據(jù)資產(chǎn)管理數(shù)據(jù)模型規(guī)范數(shù)據(jù)輸出實(shí)時(shí)/離線(xiàn)/智能分布式計(jì)算引擎第15頁(yè)，共20頁(yè)。1616數(shù)棧產(chǎn)品介紹一站式大數(shù)據(jù)平臺(tái)數(shù)據(jù)采集計(jì)算引擎數(shù)據(jù)加工數(shù)據(jù)應(yīng)用數(shù)據(jù)分析機(jī)器學(xué)習(xí)PCAPPWI-FI基站工

9、業(yè)傳感器手環(huán)手表離線(xiàn)計(jì)算實(shí)時(shí)計(jì)算SQL圖計(jì)算廣告MRShell圖形化推薦定向可視化大屏智能語(yǔ)音決策樹(shù)聚類(lèi)神經(jīng)網(wǎng)絡(luò)支持向量機(jī)拖拽ReportDill down打通數(shù)據(jù)生產(chǎn)全鏈條第16頁(yè)，共20頁(yè)。案例1：國(guó)酒茅臺(tái)數(shù)據(jù)中臺(tái)京東方，借助可視化手段實(shí)時(shí)監(jiān)控展會(huì)熱度，客觀(guān)體現(xiàn)展會(huì)成效的同時(shí)，為領(lǐng)導(dǎo)形象匯報(bào)了人員定位數(shù)據(jù)的多重價(jià)值。數(shù)據(jù)智能基礎(chǔ)基礎(chǔ)設(shè)施數(shù)據(jù)智能應(yīng)用數(shù)據(jù)庫(kù)（關(guān)系型、分析型）數(shù)據(jù)/算法 計(jì)算引擎與存儲(chǔ)中間件（負(fù)載均衡等）全局監(jiān)控電商大屏銷(xiāo)售大屏云商大屏業(yè)務(wù)異常監(jiān)控分析數(shù)據(jù)化運(yùn)營(yíng)電商決策門(mén)戶(hù)云商經(jīng)營(yíng)門(mén)戶(hù)官商經(jīng)營(yíng)門(mén)戶(hù)B2C經(jīng)營(yíng)門(mén)戶(hù)營(yíng)銷(xiāo)決策門(mén)戶(hù)分銷(xiāo)經(jīng)營(yíng)門(mén)戶(hù)服務(wù)評(píng)價(jià)分析物流倉(cāng)儲(chǔ)分析電商銷(xiāo)量預(yù)測(cè)組織效能

10、分析渠道銷(xiāo)量預(yù)測(cè)數(shù)據(jù)植入業(yè)務(wù)反黃牛風(fēng)控商圈選址商品推薦廣告營(yíng)銷(xiāo)數(shù)據(jù)打通業(yè)務(wù)業(yè)務(wù)回流數(shù)據(jù)模型設(shè)計(jì)數(shù)據(jù)架構(gòu)和模型設(shè)計(jì)數(shù)據(jù)架構(gòu)設(shè)計(jì)總線(xiàn)矩陣規(guī)范定義數(shù)據(jù)采集數(shù)據(jù)埋點(diǎn)、解析入庫(kù)官方商城茅臺(tái)云商數(shù)據(jù)連接與萃取ID識(shí)別與連接用戶(hù)ID識(shí)別用戶(hù)標(biāo)簽數(shù)據(jù)應(yīng)用層數(shù)據(jù)研發(fā)與運(yùn)維編碼研發(fā)測(cè)試與運(yùn)維數(shù)據(jù)公共層數(shù)據(jù)基礎(chǔ)層流量分析ID識(shí)別與畫(huà)像經(jīng)銷(xiāo)商畫(huà)像產(chǎn)品畫(huà)像經(jīng)銷(xiāo)商參謀價(jià)格監(jiān)測(cè)輿情市場(chǎng)洞察輿情品牌衛(wèi)士輿情渠道管家輿情產(chǎn)品顧問(wèn)輿情第17頁(yè)，共20頁(yè)。18案例1：國(guó)酒茅臺(tái)數(shù)據(jù)中臺(tái)第18頁(yè)，共20頁(yè)。19案例1：國(guó)酒茅臺(tái)數(shù)據(jù)中臺(tái)第19頁(yè)，共20頁(yè)。案例2：中金易云數(shù)據(jù)中臺(tái)數(shù)據(jù)資產(chǎn)資產(chǎn)分析數(shù)據(jù)目錄數(shù)據(jù)權(quán)限數(shù)據(jù)查找數(shù)據(jù)研發(fā)數(shù)倉(cāng)規(guī)劃數(shù)據(jù)建模規(guī)范定義數(shù)據(jù)研發(fā)調(diào)度運(yùn)維統(tǒng)一數(shù)據(jù)應(yīng)用服務(wù)（數(shù)據(jù)同步-搜索引擎+多維分析）萃取數(shù)據(jù)作者出版社讀者發(fā)行集團(tuán)終端門(mén)店書(shū)目公共數(shù)據(jù)采購(gòu)倉(cāng)儲(chǔ)營(yíng)銷(xiāo)交易商品客戶(hù)基礎(chǔ)數(shù)據(jù)豆瓣亞馬孫ERP數(shù)據(jù)額文件采集/接入爬取數(shù)據(jù)計(jì)算與存儲(chǔ)離線(xiàn)計(jì)算實(shí)