滴滴數(shù)據(jù)資產(chǎn)管理實(shí)踐

滴滴數(shù)據(jù)資產(chǎn)管理實(shí)踐目錄

/

Contents010302滴滴的數(shù)據(jù)資產(chǎn)概述平臺(tái)建設(shè)

之

數(shù)據(jù)開發(fā)平臺(tái)04平臺(tái)建設(shè)

之

數(shù)據(jù)應(yīng)用平臺(tái)平臺(tái)建設(shè)

之

資產(chǎn)管理平臺(tái)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)滴滴的數(shù)據(jù)資產(chǎn)概述2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)滴滴的數(shù)據(jù)資產(chǎn)5.5億+1000+座全球城市700億日ETA請(qǐng)求150億日定位數(shù)據(jù)用戶日新增106TB＋數(shù)據(jù)日均處理處理4875+TB數(shù)據(jù)人路車??司機(jī)乘客??靜態(tài)信息：全球、全國、城市等各粒度動(dòng)態(tài)信息：行程軌跡??靜態(tài)信息：歸屬人/公司、車牌號(hào)、車型…動(dòng)態(tài)信息：里程數(shù)、維保記錄2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)滴滴的數(shù)據(jù)特色030201地理位置、軌跡相關(guān)的數(shù)據(jù)占比高實(shí)時(shí)數(shù)據(jù)占比高結(jié)構(gòu)化數(shù)據(jù)為主，價(jià)值密度高2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)滴滴的數(shù)據(jù)平臺(tái)業(yè)務(wù)架構(gòu)?

元數(shù)據(jù)打通，更準(zhǔn)確識(shí)別公司核心數(shù)據(jù)資產(chǎn)，輔助資產(chǎn)信息的完善，從而沉淀數(shù)據(jù)資產(chǎn)業(yè)務(wù)應(yīng)用/DS內(nèi)部用戶/DS大屏用戶數(shù)據(jù)消費(fèi)統(tǒng)一數(shù)據(jù)門戶數(shù)據(jù)大屏PCAPP-H5數(shù)據(jù)應(yīng)用產(chǎn)品平臺(tái)

BI自助分析工具決策分析…看板分析技術(shù)&業(yè)務(wù)元數(shù)據(jù)打通數(shù)數(shù)據(jù)服務(wù)化據(jù)內(nèi)容建設(shè)指標(biāo)管理平臺(tái)資產(chǎn)管理平臺(tái)數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)同步數(shù)據(jù)開監(jiān)控告警數(shù)據(jù)質(zhì)量項(xiàng)目管理權(quán)限管調(diào)度發(fā)理離線引擎實(shí)時(shí)引擎機(jī)器學(xué)習(xí)引擎數(shù)據(jù)接入2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)平臺(tái)建設(shè)之?dāng)?shù)據(jù)開發(fā)平臺(tái)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)數(shù)據(jù)夢(mèng)工場極致簡單數(shù)據(jù)應(yīng)用產(chǎn)品只要會(huì)SQL，人人都是數(shù)據(jù)玩家！數(shù)易BI實(shí)時(shí)監(jiān)控監(jiān)控大屏北極星把脈Omega標(biāo)簽系統(tǒng)智能地圖……一站式智能數(shù)據(jù)開發(fā)、生產(chǎn)平臺(tái)——數(shù)據(jù)中臺(tái)(數(shù)據(jù)夢(mèng)工場)完整閉環(huán)數(shù)據(jù)開發(fā)調(diào)度同步中心數(shù)據(jù)安全機(jī)器學(xué)習(xí)一站式數(shù)據(jù)開發(fā)生產(chǎn)平臺(tái)底層封裝、模塊中心化、平臺(tái)應(yīng)用模塊智能聯(lián)動(dòng)，提升開發(fā)效率??數(shù)據(jù)地圖監(jiān)控告警數(shù)據(jù)質(zhì)量資產(chǎn)管理算法平臺(tái)…安全保障?權(quán)限控制責(zé)任到人，權(quán)限到字段離線計(jì)算引擎Hive

、流計(jì)算引擎Flink數(shù)據(jù)檢索ES消息隊(duì)列Kafka、DDMQHbasePhoenix機(jī)器學(xué)習(xí)TensorFlowSpark?

開發(fā)生產(chǎn)數(shù)據(jù)隔離多種措施保障數(shù)據(jù)安全內(nèi)置衍生規(guī)范產(chǎn)出語義明確的元數(shù)據(jù)更智能化的行業(yè)領(lǐng)先??基于開源引擎基線監(jiān)控機(jī)制，標(biāo)記最核心計(jì)算通路，確保核心數(shù)據(jù)及時(shí)產(chǎn)出平臺(tái)服務(wù)高質(zhì)量的元數(shù)據(jù)經(jīng)驗(yàn)積累國內(nèi)領(lǐng)先的大數(shù)據(jù)體系建設(shè)及數(shù)據(jù)治理經(jīng)驗(yàn)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理穩(wěn)定高效異構(gòu)數(shù)據(jù)源同步服務(wù)。1）集成實(shí)時(shí)、離線兩種方式；2）快速擴(kuò)展，插件式拓展多種同步類型；3）自主運(yùn)維，同步相關(guān)指標(biāo)清晰可見；4）為流計(jì)算提供實(shí)時(shí)數(shù)據(jù)源；2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理針對(duì)數(shù)據(jù)開發(fā)、臨時(shí)查詢場景，為用戶提供更加規(guī)范、順滑的數(shù)據(jù)開發(fā)體驗(yàn)：）智能編輯器，支持各種庫表、函數(shù)、變量想輸入、動(dòng)態(tài)語法檢查等）提供SQL格式化、錯(cuò)誤提示，提供更順滑SQL開發(fā)體驗(yàn)）支持各種SQL（Hive、Spark、Presto）、hell、PySpark等類型任務(wù)支持，）支持文件多版本、任務(wù)回滾；）直通調(diào)度，字段檢測依賴，方便測試和上線任務(wù)。6）提供歷史查詢記錄和大規(guī)模數(shù)據(jù)下載能力（經(jīng)過安全審批）2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理支持百萬級(jí)的離線例行任務(wù)調(diào)度，保障業(yè)務(wù)穩(wěn)定運(yùn)行。1）提供開發(fā)、生產(chǎn)兩套環(huán)境，相互隔離2）支持MR/Hive/Spark/Shell等不太任務(wù)類型的任務(wù)調(diào)度3）支持小時(shí)、天、周、月多種調(diào)度周期配置4）數(shù)據(jù)回溯簡單易用：支持重跑、支持多維度運(yùn)維2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理智能監(jiān)控任務(wù)運(yùn)行情況，異常時(shí)發(fā)出告警。體系化解決“是否警”，

杜絕無效報(bào)警；?表規(guī)則監(jiān)控?數(shù)據(jù)量?流量數(shù)據(jù)接入資源告警?字段規(guī)則監(jiān)控?存儲(chǔ)告警?計(jì)算告警?異常數(shù)據(jù)?自定義監(jiān)控?

抽象“數(shù)據(jù)基線”保證重要數(shù)據(jù)的及時(shí)產(chǎn)出，并動(dòng)態(tài)規(guī)劃相關(guān)任務(wù)優(yōu)先級(jí)。?

結(jié)合算法，預(yù)測可能的數(shù)據(jù)延遲，提前預(yù)警，將影響面降到最低。?

升級(jí)邏輯，避免漏處理。中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理全鏈路的數(shù)據(jù)質(zhì)量管控，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量校驗(yàn)、通知、管理能力1）完整配置

VS

快速配置2）強(qiáng)規(guī)則

VS

弱規(guī)則3）表規(guī)則

VS

字段規(guī)則4）預(yù)設(shè)規(guī)則

VS

SQL規(guī)則41%2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理統(tǒng)一便捷的進(jìn)行項(xiàng)目管理和權(quán)限管理。個(gè)人資產(chǎn)1）項(xiàng)目管理提供項(xiàng)目自身的增刪資產(chǎn)概覽大盤表待辦任務(wù)趨勢(shì)我的資產(chǎn)我的應(yīng)用數(shù)據(jù)管理改查以及項(xiàng)目內(nèi)的人員、角色、生產(chǎn)賬號(hào)、庫表、存儲(chǔ)和隊(duì)列等資產(chǎn)管理功能。資產(chǎn)明細(xì)應(yīng)用概覽單應(yīng)用管理表管理趨勢(shì)&明細(xì)成本管理數(shù)據(jù)編目數(shù)據(jù)加工者數(shù)據(jù)管理者全局資產(chǎn)2）權(quán)限管理針對(duì)人員、角色的權(quán)限申請(qǐng)和主動(dòng)授權(quán)，以及過期權(quán)限、閑置權(quán)限的回收和權(quán)限審計(jì)等功能。資產(chǎn)儀表盤數(shù)據(jù)量表數(shù)據(jù)流趨勢(shì)資產(chǎn)管理資產(chǎn)分析業(yè)務(wù)任務(wù)quota全局管理應(yīng)用血緣2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)夢(mèng)工場-模塊關(guān)系圖同步質(zhì)量實(shí)時(shí)數(shù)據(jù)源質(zhì)量告警觸發(fā)觸發(fā)項(xiàng)目管理提交開發(fā)告警權(quán)限管理提交實(shí)時(shí)任務(wù)告警ML任務(wù)告警2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)夢(mèng)工場-典型的離線場景數(shù)據(jù)庫導(dǎo)入日志數(shù)據(jù)導(dǎo)入實(shí)時(shí)同步其他來源數(shù)據(jù)實(shí)時(shí)同步數(shù)據(jù)導(dǎo)入離線同步實(shí)時(shí)同步日志check導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出計(jì)算1計(jì)算2計(jì)算3計(jì)算4計(jì)算5計(jì)算6計(jì)算7導(dǎo)出3計(jì)算8導(dǎo)出1導(dǎo)出2導(dǎo)出4導(dǎo)出52019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)夢(mèng)工場-優(yōu)先級(jí)上推策略基線(業(yè)務(wù))->任務(wù)

->

調(diào)度機(jī)

->

yarn

全流程打通2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)夢(mèng)工場-業(yè)務(wù)下線數(shù)據(jù)庫導(dǎo)入日志數(shù)據(jù)導(dǎo)入實(shí)時(shí)同步其他來源數(shù)據(jù)實(shí)時(shí)同步數(shù)據(jù)導(dǎo)入離線同步實(shí)時(shí)同步日志check導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出計(jì)算1計(jì)算2計(jì)算3計(jì)算7計(jì)算4計(jì)算5計(jì)算6計(jì)算8業(yè)務(wù)下線導(dǎo)出1導(dǎo)出2導(dǎo)出4導(dǎo)出52019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)平臺(tái)建設(shè)之?dāng)?shù)據(jù)應(yīng)用平臺(tái)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)數(shù)易數(shù)易敏捷、自助的數(shù)據(jù)分析、可視化平臺(tái)。數(shù)易解決用戶三大痛點(diǎn)問題：?

Where：去哪兒看數(shù)據(jù)?

What：數(shù)據(jù)分析、可視化可以產(chǎn)出哪些內(nèi)容？?

How：業(yè)務(wù)需求那么多，如何快速響應(yīng)，更方便、自助實(shí)現(xiàn)數(shù)據(jù)可視化？2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)數(shù)易技術(shù)特點(diǎn)可視化能力開放的

API

接口分析可視化BI層的可擴(kuò)展性無縫對(duì)接主流大數(shù)據(jù)處理套件查詢層查詢層的可擴(kuò)展性開放分析功能的查詢接口擴(kuò)展對(duì)接多種數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)層可對(duì)接實(shí)時(shí)、離線、文件多種源數(shù)據(jù)類型存儲(chǔ)層的可擴(kuò)展性2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)數(shù)據(jù)APP滴滴數(shù)據(jù)App，讓用戶隨時(shí)隨地第一時(shí)間觸達(dá)數(shù)據(jù)，掌握業(yè)務(wù)，結(jié)合數(shù)據(jù)知識(shí)圈子分享，是滴滴內(nèi)部的一站式數(shù)據(jù)移動(dòng)平臺(tái)。2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)標(biāo)簽系統(tǒng)標(biāo)簽系統(tǒng)是基于海量標(biāo)簽進(jìn)行用戶分群、快速圈出特定人群、對(duì)人群進(jìn)行計(jì)算及分析，支持精細(xì)化運(yùn)營和廣告投放等活動(dòng)的運(yùn)營支持服務(wù)系統(tǒng)。數(shù)據(jù)分析產(chǎn)品策略效果追蹤?

分析速度快?

快速制定策略?

提供策略服務(wù)?

尋找相似人群?

策略收益分析?

目標(biāo)人群關(guān)鍵指標(biāo)趨勢(shì)分析?

數(shù)據(jù)顆粒度足夠細(xì)?

數(shù)據(jù)交叉分析2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)標(biāo)簽系統(tǒng)

多維度數(shù)據(jù)分析用戶單一維度構(gòu)成分析交叉維度分析用戶核心路徑漏斗分析重點(diǎn)用戶關(guān)鍵指標(biāo)趨勢(shì)追蹤峰

會(huì)標(biāo)簽系統(tǒng)

策略制定快速圈定目標(biāo)用戶

制定千人千面的策略人群相似性擴(kuò)展

探索業(yè)務(wù)增長2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)業(yè)務(wù)BI監(jiān)控業(yè)務(wù)監(jiān)控大屏監(jiān)控滴滴核心業(yè)務(wù)指標(biāo)，是管理者、產(chǎn)品、運(yùn)營等觀察業(yè)務(wù)狀況的“眼睛”?；趯?shí)時(shí)計(jì)算能力分鐘級(jí)別發(fā)現(xiàn)業(yè)務(wù)故障???圖表配置簡單靈活支持多源數(shù)據(jù)接入支持多維度分析2019監(jiān)控大屏訂單數(shù)據(jù)毫秒級(jí)更新，適配實(shí)時(shí)數(shù)據(jù)彰顯酷炫視覺特效?

實(shí)時(shí)業(yè)務(wù)核心數(shù)據(jù)監(jiān)控+儀表盤的展示?

短信/電話預(yù)警配置?

支持實(shí)時(shí)、離線數(shù)據(jù)大屏?

各類展廳、展會(huì)數(shù)據(jù)大屏2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)平臺(tái)建設(shè)之資產(chǎn)管理平臺(tái)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)一站式資源管理平臺(tái)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)資產(chǎn)管理平臺(tái)?

刪除數(shù)據(jù)?

生命周期管理?

下線任務(wù)?

轉(zhuǎn)交?

團(tuán)隊(duì)視圖?

紅黑榜??

資產(chǎn)概覽?

賬單明細(xì)?

歷史對(duì)比……一體化的元數(shù)據(jù)2019中

國

數(shù)

據(jù)

智

能

管

理

峰

會(huì)數(shù)據(jù)存儲(chǔ)和計(jì)算治理將治理的控制權(quán)交還給每一個(gè)使用者，根據(jù)業(yè)務(wù)的發(fā)展情況，即時(shí)即刻的去管理所屬的存儲(chǔ)和治理需求。個(gè)人資產(chǎn)治理（存儲(chǔ)、計(jì)算）團(tuán)隊(duì)部門存儲(chǔ)治理計(jì)算治理暴利掃描相似計(jì)算無效計(jì)算數(shù)據(jù)傾斜參數(shù)不合理……同源導(dǎo)入