滴滴數(shù)據(jù)資產(chǎn)管理實(shí)踐

1、滴滴數(shù)據(jù)資產(chǎn)管理實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)目錄 / Contents01滴滴的數(shù)據(jù)資產(chǎn)概述02平臺(tái)建設(shè) 之 數(shù)據(jù)開發(fā)平臺(tái)03平臺(tái)建設(shè) 之 數(shù)據(jù)應(yīng)用平臺(tái)04平臺(tái)建設(shè) 之 資產(chǎn)管理平臺(tái)滴滴的數(shù)據(jù)資產(chǎn)概述滴滴的數(shù)據(jù)資產(chǎn)5.5億+用戶1000+座全球城市日新增106TB數(shù)據(jù)日均處理處理4875+TB數(shù)據(jù)人司機(jī)乘客路靜態(tài)信息：全球、全國(guó)、城市等各粒度動(dòng)態(tài)信息：行程軌跡車靜態(tài)信息：歸屬人/公司、車牌號(hào)、車型動(dòng)態(tài)信息：里程數(shù)、維保 記錄700億日ETA請(qǐng)求150億日定位數(shù)據(jù)滴滴的數(shù)據(jù)特色010203結(jié)構(gòu)化數(shù)據(jù)為主，價(jià)值密度高實(shí)時(shí)數(shù)據(jù)占比高地理位置、軌跡相關(guān)的數(shù)據(jù)占比高數(shù)據(jù)同 步數(shù)據(jù)開 發(fā)調(diào)度監(jiān)控告 警數(shù)據(jù)質(zhì) 量

2、項(xiàng)目管 理權(quán)限管 理數(shù)據(jù)開 發(fā)平臺(tái)離線引擎實(shí)時(shí)引擎機(jī)器學(xué)習(xí)引擎數(shù) 據(jù) 內(nèi) 容 建 設(shè)數(shù)據(jù)服務(wù)化決策分析業(yè)務(wù)分析看板分析數(shù)據(jù)應(yīng)用產(chǎn)品平臺(tái) BI自助分析工具統(tǒng)一數(shù)據(jù)門戶PCAPP-H5業(yè)務(wù)應(yīng)用/DS內(nèi)部用戶/DS大屏用戶數(shù)據(jù)公共層數(shù)據(jù)接入數(shù)據(jù)消費(fèi)技 術(shù) & 業(yè) 務(wù) 元 數(shù) 據(jù) 打 通指標(biāo)管理平臺(tái)資產(chǎn)管理平臺(tái)數(shù)據(jù)大屏滴滴的數(shù)據(jù)平臺(tái)業(yè)務(wù)架構(gòu)元數(shù)據(jù)打通，更準(zhǔn)確識(shí)別公司核心數(shù)據(jù)資產(chǎn)，輔助資產(chǎn)信息的完善，從而沉淀數(shù)據(jù)資產(chǎn)平臺(tái)建設(shè) 之 數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)夢(mèng)工場(chǎng)數(shù)易BI實(shí)時(shí)監(jiān)控監(jiān)控大屏北極星把脈數(shù)據(jù)應(yīng)用產(chǎn)品數(shù)據(jù)地圖監(jiān)控告警數(shù)據(jù)質(zhì)量資產(chǎn)管理離線計(jì)算引擎Hive 、SparkOmega標(biāo)簽系統(tǒng)智能地圖 流計(jì)算引擎Fl

3、ink數(shù)據(jù)檢索ES消息隊(duì)列Kafka、DDMQHbase Phoenix機(jī)器學(xué)習(xí)TensorFlow 一站式智能數(shù)據(jù)開發(fā)、生產(chǎn)平臺(tái)數(shù)據(jù)中臺(tái)(數(shù)據(jù)夢(mèng)工場(chǎng))數(shù)據(jù)開發(fā)調(diào)度同步中心數(shù)據(jù)安全機(jī)器學(xué)習(xí)算法平臺(tái)高質(zhì)量的元數(shù)據(jù)內(nèi)置 規(guī)范 產(chǎn)出語(yǔ)義明確的元數(shù)據(jù)衍生更智能化的平臺(tái)服務(wù)極致簡(jiǎn)單只要會(huì)SQL，人人都是數(shù)據(jù)玩家！完整閉環(huán)一站式數(shù)據(jù)開發(fā)生產(chǎn)平臺(tái)底層封裝、模塊中心化、平臺(tái)應(yīng)用模塊智能聯(lián) 動(dòng)，提升開發(fā)效率安全保障權(quán)限控制責(zé)任到人，權(quán)限到字段開發(fā)生產(chǎn)數(shù)據(jù)隔離多種措施保障數(shù)據(jù)安全行業(yè)領(lǐng)先基于開源引擎基線監(jiān)控機(jī)制，標(biāo)記最核心計(jì)算通路，確保核心數(shù)據(jù)及時(shí)產(chǎn)出經(jīng)驗(yàn)積累國(guó)內(nèi)領(lǐng)先的大數(shù)據(jù)體系建設(shè)及數(shù)據(jù)治理經(jīng)驗(yàn)數(shù)據(jù)同步數(shù)據(jù)開發(fā)

4、調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理穩(wěn)定高效異構(gòu)數(shù)據(jù)源同步服務(wù)。1）集成實(shí)時(shí)、離線兩種方式；2）快速擴(kuò)展，插件式拓展多種同步類型；3）自主運(yùn)維，同步相關(guān)指標(biāo)清晰可見；4）為流計(jì)算提供實(shí)時(shí)數(shù)據(jù)源；產(chǎn)品功能產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理針對(duì)數(shù)據(jù)開發(fā)、臨時(shí)查詢場(chǎng)景，為用戶提供更加規(guī)范、順滑的數(shù)據(jù)開發(fā)體驗(yàn)：1）智能編輯器，支持各種庫(kù)表、函數(shù)、變量聯(lián)想輸入、動(dòng)態(tài)語(yǔ)法檢查等2）提供SQL格式化、錯(cuò)誤提示，提供更順滑的SQL開發(fā)體驗(yàn)3）支持各種SQL（Hive、Spark、Presto）、Shell、PySpark等類型任務(wù)支持，4）支持文件多版本、任務(wù)回滾；5）直

5、通調(diào)度，字段檢測(cè)依賴，方便測(cè)試和上 線任務(wù)。 6）提供歷史查詢記錄和大規(guī)模數(shù)據(jù)下載能力（經(jīng)過(guò)安全審批）產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理支持百萬(wàn)級(jí)的離線例行任務(wù)調(diào)度，保障業(yè)務(wù)穩(wěn)定運(yùn)行。1）提供開發(fā)、生產(chǎn)兩套環(huán)境，相互隔離2）支持MR/Hive/Spark/Shell等不太任 務(wù)類型的任務(wù)調(diào)度3）支持小時(shí)、天、周、月多種調(diào)度周期配置 4）數(shù)據(jù)回溯簡(jiǎn)單易用：支持重跑、支持 多維度運(yùn)維產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理智能監(jiān)控任務(wù)運(yùn)行情況，異常時(shí)發(fā)出告警。體系化解決“是警”， 杜絕無(wú)效報(bào)警；抽象“數(shù)據(jù)基線”保證重要數(shù)據(jù)的及時(shí)產(chǎn)出，并動(dòng)態(tài)

6、規(guī)劃相關(guān)任務(wù)優(yōu)先級(jí)。結(jié)合算法，預(yù)測(cè)可能的數(shù)據(jù)延遲，提前預(yù)警， 將影響面降到最低。升級(jí)邏輯，避免漏處理。數(shù)據(jù)量流量異常數(shù)據(jù)數(shù)據(jù)接入表規(guī)則監(jiān)控字段規(guī)則監(jiān) 控自定義監(jiān)控否報(bào)警、何時(shí)報(bào)警、如何報(bào)警、給誰(shuí)報(bào)數(shù)據(jù)任務(wù)出錯(cuò)數(shù)據(jù)任務(wù)延遲加工基線延遲質(zhì)量存儲(chǔ)告警計(jì)算告警資源告警產(chǎn)品功能數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理全鏈路的數(shù)據(jù)質(zhì)量管控，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量校驗(yàn)、通知、管理能力1）完整配置 VS 快速配置2）強(qiáng)規(guī)則 VS 弱規(guī)則3）表規(guī)則 VS 字段規(guī)則4）預(yù)設(shè)規(guī)則 VS SQL規(guī)則41%產(chǎn)品功能個(gè)人資產(chǎn)我的資產(chǎn)我的應(yīng)用數(shù)據(jù)管理資產(chǎn)概覽資產(chǎn)明細(xì)大盤待辦趨勢(shì)應(yīng)用概覽表任務(wù)單應(yīng)用管理趨勢(shì)&明細(xì)成本

7、管理表管理數(shù)據(jù)編目全局資產(chǎn)資產(chǎn)管理資產(chǎn)儀表盤資產(chǎn)分析業(yè)務(wù)全局管理應(yīng)用血緣數(shù)據(jù)量數(shù)據(jù)流趨勢(shì)表任務(wù)quota數(shù)據(jù)加工者數(shù)據(jù)管理者統(tǒng)一便捷的進(jìn)行項(xiàng)目管理和權(quán)限管理。1）項(xiàng)目管理提供項(xiàng)目自身的增刪改查以及項(xiàng)目?jī)?nèi)的人員、角色、生產(chǎn)賬號(hào)、庫(kù)表、存儲(chǔ)和隊(duì)列等資產(chǎn)管理功能。2）權(quán)限管理針對(duì)人員、角色的權(quán)限申請(qǐng)和主動(dòng)授權(quán)，以及過(guò)期權(quán)限、閑置權(quán)限的回收和權(quán)限審計(jì)等功能。數(shù)據(jù)同步數(shù)據(jù)開發(fā)調(diào)度系統(tǒng)監(jiān)控報(bào)警數(shù)據(jù)質(zhì)量項(xiàng)目管理和權(quán)限管理數(shù)據(jù) 同步數(shù)據(jù)開發(fā)實(shí)時(shí)數(shù)據(jù)源離線調(diào)度提交實(shí)時(shí)運(yùn)維提交監(jiān)控告警機(jī)器學(xué)習(xí)數(shù)據(jù) 質(zhì)量提交質(zhì)量告警觸發(fā)觸發(fā)實(shí)時(shí)任務(wù)告警夢(mèng)工場(chǎng)-模塊關(guān)系圖ML任務(wù)告警項(xiàng)目 管理權(quán)限管理夢(mèng)工場(chǎng)-典型的離線場(chǎng)景數(shù)據(jù)庫(kù)導(dǎo)入

8、日志數(shù)據(jù)導(dǎo)入其他來(lái)源數(shù)據(jù)離線同步實(shí)時(shí)同步實(shí)時(shí)同步實(shí)時(shí)同步導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6日志check計(jì)算1計(jì)算2計(jì)算3計(jì)算4計(jì)算5計(jì)算6計(jì)算7計(jì)算8導(dǎo)出1導(dǎo)出2導(dǎo)出3導(dǎo)出4導(dǎo)出5數(shù)據(jù)導(dǎo)入數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出夢(mèng)工場(chǎng)-優(yōu)先級(jí)上推策略355數(shù)據(jù)庫(kù)導(dǎo)入日志數(shù)據(jù)導(dǎo)入其他來(lái)源數(shù)據(jù)離線同步3實(shí)時(shí)同步1實(shí)時(shí)同步5實(shí)時(shí)同步5數(shù)據(jù)導(dǎo)入導(dǎo)入1 2導(dǎo)入2 3導(dǎo)入3 3導(dǎo)入4 3導(dǎo)入5 5導(dǎo)入6 5日志5check數(shù)據(jù)加工23135計(jì)算1計(jì)算2計(jì)算3計(jì)算4計(jì)算5數(shù)據(jù)導(dǎo)出235計(jì)算6計(jì)算7計(jì)算812345導(dǎo)出1導(dǎo)出2導(dǎo)出3導(dǎo)出4導(dǎo)出5基線(業(yè)務(wù))-任務(wù) - 調(diào)度機(jī) - yarn 全流程打通夢(mèng)工場(chǎng)-業(yè)務(wù)下線數(shù)據(jù)庫(kù)導(dǎo)入日志

9、數(shù)據(jù)導(dǎo)入其他來(lái)源數(shù)據(jù)離線同步實(shí)時(shí)同步實(shí)時(shí)同步實(shí)時(shí)同步導(dǎo)入1導(dǎo)入2導(dǎo)入3導(dǎo)入4導(dǎo)入5導(dǎo)入6日志check計(jì)算1計(jì)算2計(jì)算3計(jì)算4計(jì)算5計(jì)算6計(jì)算7計(jì)算8導(dǎo)出1導(dǎo)出2導(dǎo)出4導(dǎo)出5數(shù)據(jù)導(dǎo)入數(shù)據(jù)加工數(shù)據(jù)導(dǎo)出業(yè)務(wù)下線導(dǎo)出3平臺(tái)建設(shè) 之 數(shù)據(jù)應(yīng)用平臺(tái)數(shù)易數(shù)易敏捷、自助的數(shù)據(jù)分析、可視化平臺(tái)。數(shù)易解決用戶三大痛點(diǎn)問(wèn)題：Where：去哪兒看數(shù)據(jù)What：數(shù)據(jù)分析、可視化可以產(chǎn)出哪些內(nèi)容？How：業(yè)務(wù)需求那么多，如何快速響應(yīng)，更方便、自 助實(shí)現(xiàn)數(shù)據(jù)可視化？分析可視化可視化能力開放的 API 接口BI層的可擴(kuò)展性查詢層查詢層的可擴(kuò)展性數(shù)據(jù)存儲(chǔ)層存儲(chǔ)層的可擴(kuò)展性開放分析功能的查詢接口擴(kuò)展對(duì)接多種數(shù)據(jù)源可對(duì)接實(shí)時(shí)、離

10、線、文件多種 源數(shù)據(jù)類型無(wú)縫對(duì)接主 流大數(shù)據(jù)處 理套件數(shù)易技術(shù)特點(diǎn)數(shù)據(jù)APP滴滴數(shù)據(jù)App，讓用戶隨時(shí)隨地第一時(shí)間觸達(dá)數(shù)據(jù)，掌握業(yè)務(wù)，結(jié)合數(shù)據(jù)知識(shí)圈子分享，是滴滴內(nèi)部的一站式數(shù)據(jù)移動(dòng)平臺(tái)。標(biāo)簽系統(tǒng)是基于海量標(biāo)簽進(jìn)行用戶分群、快速圈出特定人群、對(duì)人群進(jìn)行計(jì)算及分析，支持精細(xì)化運(yùn)營(yíng)和廣告投放等活動(dòng)的運(yùn)營(yíng)支持服務(wù)系統(tǒng)。分析速度快數(shù)據(jù)顆粒度足夠細(xì)數(shù)據(jù)交叉分析數(shù)據(jù)分析快速制定策略提供策略服務(wù)尋找相似人群產(chǎn)品策略策略收益分析目標(biāo)人群關(guān)鍵指標(biāo)趨勢(shì)分析效果追蹤標(biāo)簽系統(tǒng)用戶單一維度構(gòu)成分析交叉維度分析用戶核心路徑漏斗分析重點(diǎn)用戶關(guān)鍵指標(biāo)趨勢(shì)追蹤標(biāo)簽系統(tǒng)多維度數(shù)據(jù)分析快速圈定目標(biāo)用戶 制定千人千面的策略人群相似性

11、擴(kuò)展探索業(yè)務(wù)增長(zhǎng)標(biāo)簽系統(tǒng) 策略制定圖表配置簡(jiǎn)單靈活支持多源數(shù)據(jù)接入支持多維度分析業(yè)務(wù)監(jiān)控大屏監(jiān)控滴滴核心業(yè)務(wù)指標(biāo)，是管理者、產(chǎn)品、運(yùn)營(yíng)等觀察業(yè)務(wù)狀況的“眼睛”。基于實(shí)時(shí)計(jì)算能力分鐘級(jí)別發(fā)現(xiàn)業(yè)務(wù)故障業(yè)務(wù)BI監(jiān)控訂單數(shù)據(jù)毫秒級(jí)更新，適配實(shí)時(shí)數(shù)據(jù)彰顯酷炫視覺(jué)特效實(shí)時(shí)業(yè)務(wù)核心數(shù)據(jù)監(jiān)控+儀表盤的展示短信/電話預(yù)警配置支持實(shí)時(shí)、離線數(shù)據(jù)大屏各類展廳、展會(huì)數(shù)據(jù)大屏監(jiān)控大屏平臺(tái)建設(shè) 之 資產(chǎn)管理平臺(tái)一站式資源管理平臺(tái)資產(chǎn)管理平臺(tái)成本透出資產(chǎn)概覽賬單明細(xì)歷史對(duì)比治理抓手刪除數(shù)據(jù)生命周期管理下線任務(wù)轉(zhuǎn)交管理入口團(tuán)隊(duì)視圖紅黑榜一體化的元數(shù)據(jù)數(shù)據(jù)存儲(chǔ)和計(jì)算治理資產(chǎn)治理（存儲(chǔ)、計(jì)算）存儲(chǔ)治理計(jì)算治理個(gè)人 團(tuán)隊(duì) 部門同源導(dǎo)入數(shù)據(jù)相似廢棄表生命周期過(guò)長(zhǎng)暴利掃描相似計(jì)算無(wú)效