滴滴數(shù)據(jù)體系介紹課件

1、滴滴數(shù)據(jù)體系介紹精益生產(chǎn)與敏捷創(chuàng)新第1頁(yè)，共16頁(yè)。滴滴概況 | 交通大數(shù)據(jù)超過(guò)150億日均車(chē)輛定位數(shù)據(jù)超400億次每日處理路徑規(guī)劃請(qǐng)求超過(guò)4800TB每天處理數(shù)據(jù)數(shù)據(jù)覆蓋了交通路況、用戶叫車(chē)信息、司機(jī)駕駛行為、車(chē)輛數(shù)據(jù)等多個(gè)維度滴滴目前對(duì)15分鐘后供需預(yù)測(cè)的準(zhǔn)確度已經(jīng)達(dá)到了85%第2頁(yè)，共16頁(yè)。業(yè)務(wù)發(fā)展驅(qū)動(dòng)數(shù)據(jù)進(jìn)化資產(chǎn)變現(xiàn)化數(shù)據(jù)平民化數(shù)據(jù)服務(wù)化數(shù)據(jù)智能化數(shù)據(jù)資產(chǎn)化打破煙囪，盤(pán)活資產(chǎn)安全合規(guī)與治理從量化到標(biāo)準(zhǔn)到優(yōu)化信息數(shù)據(jù)化從記錄結(jié)果到記錄過(guò)程從副產(chǎn)品到精密設(shè)計(jì)從決策支撐到數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)信息化運(yùn)營(yíng)營(yíng)銷(xiāo)信息化研發(fā)生產(chǎn)信息化企業(yè)管理信息化業(yè)務(wù)煙囪計(jì)算存儲(chǔ)落后數(shù)據(jù)質(zhì)量混亂使用門(mén)檻高創(chuàng)新乏力數(shù)據(jù)文化薄

2、弱高投入低產(chǎn)出變現(xiàn)效率低第3頁(yè)，共16頁(yè)。研發(fā)實(shí)驗(yàn)營(yíng)銷(xiāo)生產(chǎn)運(yùn)營(yíng)平臺(tái)類(lèi)互聯(lián)網(wǎng)企業(yè)滴滴滴滴的同與不同數(shù)據(jù)資源投入-業(yè)務(wù)價(jià)值產(chǎn)出微笑曲線網(wǎng)絡(luò)效應(yīng)數(shù)據(jù)智能第4頁(yè)，共16頁(yè)。中臺(tái)數(shù)據(jù)體系建設(shè)的核心困難想 法分 析數(shù)據(jù)生產(chǎn)價(jià)值質(zhì)量、效率、成本質(zhì)量、效率、成本產(chǎn)品困難：多場(chǎng)景，全鏈路的復(fù)雜需求組織困難：多團(tuán)隊(duì)，多目標(biāo)的協(xié)作需求業(yè)務(wù)人員業(yè)務(wù)分析數(shù)據(jù)科學(xué)數(shù)據(jù)工程產(chǎn)品研發(fā)人工智能數(shù)據(jù)生產(chǎn)價(jià)值線數(shù)據(jù)創(chuàng)新價(jià)值線第5頁(yè)，共16頁(yè)。滴 滴 精 益 數(shù) 據(jù) 管 理 體 系高價(jià)值、高可靠、高效率、低成本的數(shù)據(jù)服務(wù)交付精益數(shù)據(jù)生產(chǎn)價(jià)值鏈分級(jí)監(jiān)控復(fù)盤(pán)自働化敏捷數(shù)據(jù)創(chuàng)新創(chuàng)新網(wǎng)用結(jié)果自配置模仿做自助化智能數(shù)據(jù)目錄發(fā)現(xiàn)、理解、信任、協(xié)

3、作、眾包敏捷數(shù)據(jù)治理數(shù)據(jù)資產(chǎn)、安全合規(guī)服務(wù)驅(qū)動(dòng)、全面量化、重點(diǎn)攻堅(jiān)數(shù)據(jù)文化持續(xù)改進(jìn)，尊重人數(shù)據(jù)基礎(chǔ)設(shè)施數(shù)據(jù)系統(tǒng)工具鏈第6頁(yè)，共16頁(yè)。兩年來(lái)的建設(shè)成果價(jià)值交付NPS從19%到60%精益數(shù)據(jù)生產(chǎn)D0級(jí)事故從 10+降為1核心數(shù)據(jù)產(chǎn)出時(shí)間提前到5點(diǎn)智能數(shù)據(jù)目錄 DataGraph20%員工高頻使用 系統(tǒng)性對(duì)外輸出敏捷數(shù)據(jù)創(chuàng)新非例行任務(wù)從2k+到20k+敏捷數(shù)據(jù)治理 DataRank資產(chǎn)分從40到70數(shù)據(jù)文化150+次改進(jìn)復(fù)盤(pán)，周活1700到5000+數(shù)據(jù)基礎(chǔ)設(shè)施+系統(tǒng)工具鏈：開(kāi)始對(duì)外輸出第7頁(yè)，共16頁(yè)。開(kāi)發(fā)工作臺(tái)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)測(cè)試數(shù)據(jù)發(fā)布數(shù)據(jù)質(zhì)量監(jiān)控告警運(yùn)維數(shù)據(jù)研發(fā)數(shù)據(jù)通道實(shí)時(shí)采集批采集Binlo

4、g采集數(shù)據(jù)中間件實(shí)時(shí)計(jì)算FlinkWoaterDruidHadoop體系HadoopHiveSparkKey-Value & OLAPHBasePrestoClickhouse數(shù)據(jù)架構(gòu)DataGraphOneSearch數(shù)據(jù)字典數(shù)據(jù)圖譜數(shù)據(jù)資產(chǎn)自助查詢協(xié)助模板查詢加速數(shù)據(jù)API數(shù)據(jù)賦能資產(chǎn)價(jià)值分資產(chǎn)歸屬資產(chǎn)優(yōu)化DataRank數(shù)據(jù)建設(shè)數(shù)據(jù)全鏈路分級(jí)保障數(shù)據(jù)治理DataHubkafkaES可視化分析交互分析報(bào)表、儀表盤(pán)Notebook數(shù)據(jù)服務(wù)業(yè)務(wù)分析應(yīng)用埋點(diǎn)運(yùn)營(yíng)分析AB Test地理圍欄產(chǎn)品優(yōu)化營(yíng)銷(xiāo)服務(wù)流程優(yōu)化用戶分層業(yè)務(wù)根因標(biāo)簽畫(huà)像財(cái)務(wù)管控多級(jí)管控財(cái)務(wù)根因CXO儀表盤(pán)移動(dòng)App自助式自服務(wù)高效

5、率全方位全鏈路能力覆蓋滴滴數(shù)據(jù)系統(tǒng)組成第8頁(yè)，共16頁(yè)。統(tǒng)一的元數(shù)據(jù)檢索能力，支持Hive、 報(bào)表等多種數(shù)據(jù)實(shí)體的統(tǒng)一搜索基于數(shù)據(jù)價(jià)值或熱度的綜合排序業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)圖譜眾包協(xié)作的知識(shí)沉淀智能數(shù)據(jù)目錄 讓數(shù)據(jù)越用越好用第9頁(yè)，共16頁(yè)。123核心數(shù)據(jù)5點(diǎn)產(chǎn)出（業(yè)內(nèi)普遍7-8點(diǎn)）開(kāi)發(fā)效率提升35% 指導(dǎo)數(shù)據(jù)優(yōu)化方向分級(jí)保障數(shù)據(jù)圖譜與數(shù)據(jù)中間層成本優(yōu)化數(shù)據(jù)價(jià)值量化數(shù)據(jù)上下游聯(lián)動(dòng)（全鏈路SLA）埋點(diǎn)管理數(shù)據(jù)采集運(yùn)維/質(zhì)量監(jiān)控90%復(fù)盤(pán)率如何做好數(shù)據(jù)的基礎(chǔ)質(zhì)量？穩(wěn)定性建設(shè)如何更快更簡(jiǎn)單的使用數(shù)據(jù)？精細(xì)化建設(shè)建立數(shù)據(jù)委員會(huì)，推進(jìn)業(yè)務(wù)-運(yùn)維-數(shù)據(jù)的協(xié)同機(jī)制一鍵埋點(diǎn)，用戶行為軌跡全記錄數(shù)據(jù)采集秒級(jí)同步，準(zhǔn)確性

6、99.999%數(shù)據(jù)鏈路全監(jiān)控，自動(dòng)定位關(guān)鍵節(jié)點(diǎn)指標(biāo)口徑變動(dòng)100%管控所有元數(shù)據(jù)信息一鍵快速查詢精準(zhǔn)評(píng)估每一張表的數(shù)據(jù)影響和價(jià)值 數(shù)據(jù)開(kāi)放率99.04%隱私數(shù)據(jù)全脫敏，完備的權(quán)限管控機(jī)制，數(shù)據(jù)泄露0事故如何找到需要的數(shù)據(jù)？體系化建設(shè)指標(biāo)口徑管理（數(shù)據(jù)字典）元數(shù)據(jù)（數(shù)據(jù)地圖+OneSearch）資產(chǎn)價(jià)值評(píng)估體系（DataRank）數(shù)據(jù)開(kāi)放數(shù)據(jù)安全規(guī)范精益數(shù)據(jù)生產(chǎn) 讓數(shù)據(jù)持續(xù)可信賴第10頁(yè)，共16頁(yè)。數(shù)據(jù)開(kāi)發(fā)工作臺(tái)監(jiān)控&告警小時(shí)級(jí)延遲近源數(shù)據(jù)層業(yè)務(wù)ER關(guān)系還原中間數(shù)據(jù)層標(biāo)準(zhǔn)多維立方體交互式查詢接口 | 數(shù)據(jù)圖譜 | 數(shù)據(jù)地圖 | DataRank管理 | 數(shù)據(jù)API查詢加速數(shù)據(jù)層各業(yè)務(wù)主題分析數(shù)據(jù)

7、層標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù) 讓數(shù)據(jù)持續(xù)可依靠第11頁(yè)，共16頁(yè)。實(shí)時(shí)數(shù)據(jù)集成服務(wù) 讓活數(shù)據(jù)無(wú)處不在日均查詢2千萬(wàn)次平均響應(yīng)時(shí)間1S穩(wěn)定性99.996%采集集群總規(guī)模約300+數(shù)據(jù)源約4500+個(gè)，Agent數(shù)量27000個(gè)峰值攝入數(shù)據(jù)條數(shù)2900w/s第12頁(yè)，共16頁(yè)?；跀?shù)據(jù)湖解決方案，實(shí)現(xiàn)快速找數(shù)據(jù)、即時(shí)分析數(shù)據(jù)，沉淀并復(fù)用分析過(guò)程分析師/BI可視化洞察數(shù)據(jù)湖找數(shù)據(jù)極速分析工作復(fù)用模板分享定時(shí)執(zhí)行權(quán)限管理收到數(shù)據(jù)需求： 統(tǒng)計(jì)專(zhuān)快車(chē)分 城市的運(yùn)營(yíng)指 標(biāo)周期性數(shù)據(jù)需求，可以制作成模板運(yùn)營(yíng)/業(yè)務(wù)人員已有SQL模板， 可以自己分析 數(shù)據(jù)了專(zhuān)快車(chē)運(yùn)營(yíng)日?qǐng)?bào)關(guān)鍵詞檢索數(shù)據(jù)圖譜知識(shí)推 薦數(shù)據(jù)價(jià)值識(shí)別全類(lèi)數(shù)據(jù)一站式搜索BI求 缺數(shù) 據(jù)， 向提 需傻瓜式操作十余類(lèi)可視化方式敏捷運(yùn)營(yíng)分析 讓業(yè)務(wù)持續(xù)可創(chuàng)新智能SQL IDE標(biāo)準(zhǔn)SQL語(yǔ)法 數(shù)據(jù)科學(xué)B每o日ok超十萬(wàn)任務(wù)比hive/spark快10倍第13頁(yè)，共16頁(yè)。