專7-1-統(tǒng)一數(shù)據(jù)平臺(tái)的實(shí)踐及思考-楊劍飛

數(shù)據(jù)平臺(tái)的實(shí)踐及思考搜狗楊劍飛關(guān)于我分析及治理優(yōu)化CONTENTS1大數(shù)據(jù)的挑戰(zhàn)2數(shù)據(jù)平臺(tái)的建設(shè)3總結(jié)及展望CONTENTS1大數(shù)據(jù)的挑戰(zhàn)2數(shù)據(jù)平臺(tái)的建設(shè)3總結(jié)及展望大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)帶來(lái)的信息風(fēng)暴正在變革我們的生活、工作和思維，大數(shù)據(jù)開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型克托?邁爾?舍恩伯格大數(shù)據(jù)的挑戰(zhàn)T級(jí)別物料數(shù)據(jù)P級(jí)別運(yùn)營(yíng)數(shù)據(jù)P級(jí)別系統(tǒng)日志毫秒級(jí)別實(shí)時(shí)查詢、秒級(jí)別離線處理、時(shí)效性強(qiáng)精細(xì)化運(yùn)營(yíng)提升客戶滿意度優(yōu)化業(yè)務(wù)流程增強(qiáng)業(yè)務(wù)決策能力系統(tǒng)穩(wěn)定性和安全性用戶數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)、系統(tǒng)日志精細(xì)化運(yùn)營(yíng)、精準(zhǔn)化決策、規(guī)范化運(yùn)維、提升客戶滿意度和質(zhì)量大數(shù)據(jù)的挑戰(zhàn)數(shù)據(jù)孤島現(xiàn)象嚴(yán)重?cái)?shù)據(jù)格式參差不齊數(shù)據(jù)分析時(shí)效性弱數(shù)據(jù)安全無(wú)法保證數(shù)據(jù)使用成本過(guò)高CONTENTS1大數(shù)據(jù)的挑戰(zhàn)2數(shù)據(jù)平臺(tái)的建設(shè)3總結(jié)及展望解決思路?解決思路?統(tǒng)一數(shù)據(jù)接入存儲(chǔ)?數(shù)據(jù)校驗(yàn)&格式轉(zhuǎn)換?實(shí)時(shí)分析&離線分析?數(shù)據(jù)治理&權(quán)限控制?OLAP查詢痛點(diǎn)?數(shù)據(jù)孤島現(xiàn)象嚴(yán)重?數(shù)據(jù)質(zhì)量參差不齊?數(shù)據(jù)分析時(shí)效性不強(qiáng)?數(shù)據(jù)安全無(wú)法保證?數(shù)據(jù)使用成本過(guò)高平臺(tái)運(yùn)行監(jiān)控平臺(tái)運(yùn)行監(jiān)控?cái)?shù)據(jù)接入數(shù)據(jù)接入--面臨的挑戰(zhàn)MSrsyncmongo業(yè)務(wù)高峰期每小時(shí)產(chǎn)生G級(jí)別增量數(shù)據(jù)接入數(shù)據(jù)源越多，數(shù)據(jù)源變化概率就越大業(yè)務(wù)場(chǎng)景對(duì)時(shí)效性的要求不同，不同類型數(shù)據(jù)有不同計(jì)算時(shí)效性數(shù)據(jù)接入--離線數(shù)據(jù)接入接入任務(wù)1數(shù)據(jù)源1消息隊(duì)列數(shù)據(jù)源2接入任務(wù)2HBase接入任務(wù)3數(shù)據(jù)源3HDFS數(shù)據(jù)源N接入任務(wù)N數(shù)據(jù)源接入層存儲(chǔ)層數(shù)據(jù)接入--數(shù)據(jù)接入優(yōu)化率不高不易維護(hù)實(shí)時(shí)處理1HDFS數(shù)據(jù)源源MAdaptorMChannel1數(shù)據(jù)源1-2數(shù)據(jù)源2-1數(shù)據(jù)源2-2數(shù)據(jù)源M-1數(shù)據(jù)源源2Adaptor2消息隊(duì)列實(shí)時(shí)處理1HDFS數(shù)據(jù)源源MAdaptorMChannel1數(shù)據(jù)源1-2數(shù)據(jù)源2-1數(shù)據(jù)源2-2數(shù)據(jù)源M-1數(shù)據(jù)源源2Adaptor2消息隊(duì)列實(shí)時(shí)處理2HBaseChannel2消息隊(duì)列實(shí)時(shí)處理2HBase數(shù)據(jù)源源1Adaptor1實(shí)時(shí)處理3Mysql數(shù)據(jù)源1-1實(shí)時(shí)處理1HDFS實(shí)時(shí)處理3MysqlChannelM數(shù)據(jù)源M-2數(shù)據(jù)數(shù)據(jù)接入--優(yōu)化收益數(shù)即可一處修改，所有生效采采集層平臺(tái)運(yùn)行監(jiān)控存儲(chǔ)計(jì)算存儲(chǔ)計(jì)算--面臨的挑戰(zhàn)不同用戶、不同用途的數(shù)據(jù)進(jìn)行隔離，防止多個(gè)用戶冗余存儲(chǔ)，數(shù)據(jù)安全等業(yè)務(wù)快速發(fā)展導(dǎo)致計(jì)算任務(wù)也快速增加，并發(fā)任務(wù)多造成資源利用不均勻一旦某個(gè)數(shù)據(jù)出現(xiàn)問(wèn)題，需要快速評(píng)估影響面及快速恢復(fù)由于計(jì)算任務(wù)所使用的數(shù)據(jù)存在依賴關(guān)系，導(dǎo)致了計(jì)算任務(wù)之間存在復(fù)雜的依賴關(guān)系使用場(chǎng)景存儲(chǔ)策略離線統(tǒng)計(jì)使用場(chǎng)景存儲(chǔ)策略離線統(tǒng)計(jì)Hive分區(qū)表詳情查詢e文件存儲(chǔ) 存儲(chǔ)計(jì)算--數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)計(jì)算--血緣關(guān)系存儲(chǔ)計(jì)算--ETL計(jì)算統(tǒng)一編碼方式、數(shù)據(jù)格式轉(zhuǎn)換產(chǎn)生維度表、計(jì)算業(yè)務(wù)指標(biāo)化、核對(duì)同一口徑下產(chǎn)出數(shù)據(jù)Result1ETL1Result2DataSourceETL2ResultNETLNImporter2Result1ETL1Result2DataSourceETL2ResultNETLNImporter2理工作流，抽取公共計(jì)算邏輯ETL依賴關(guān)系，抽取數(shù)據(jù)血緣關(guān)系Importer1ImporterN存平臺(tái)化?支持多業(yè)務(wù)平臺(tái)化?支持多業(yè)務(wù)統(tǒng)一調(diào)度?提升任務(wù)開(kāi)效率、運(yùn)率可擴(kuò)展性節(jié)點(diǎn)可擴(kuò)展?支持任務(wù)運(yùn)可擴(kuò)展?彈性擴(kuò)展穩(wěn)定性節(jié)點(diǎn)支?節(jié)點(diǎn)宕機(jī)時(shí)不影響任務(wù)正常調(diào)度多任務(wù)依賴?支持多個(gè)前驅(qū)任務(wù)或后任務(wù)?支持任務(wù)依賴執(zhí)行及跟蹤存儲(chǔ)計(jì)算--任務(wù)調(diào)度存儲(chǔ)計(jì)算--任務(wù)調(diào)度存儲(chǔ)計(jì)算--任務(wù)調(diào)度平臺(tái)運(yùn)行監(jiān)控席查詢準(zhǔn)?同一統(tǒng)計(jì)口準(zhǔn)?同一統(tǒng)計(jì)口徑數(shù)據(jù)保持一致?多個(gè)指標(biāo)互相完備易?業(yè)務(wù)使用門檻低?界面操作一站式快?查詢響應(yīng)越快越好?臨時(shí)統(tǒng)計(jì)指標(biāo)緊急支持即席查詢--固定指標(biāo)查詢即席查詢--隨機(jī)指標(biāo)查詢XXXXXX即席查詢--phoenix優(yōu)化(聚合)平臺(tái)運(yùn)行監(jiān)控?cái)?shù)據(jù)訪問(wèn)數(shù)據(jù)訪問(wèn)--可視化展現(xiàn)平臺(tái)運(yùn)行監(jiān)控平臺(tái)監(jiān)控平臺(tái)監(jiān)控應(yīng)用案例CONTENTS1大數(shù)據(jù)的挑戰(zhàn)2數(shù)據(jù)平臺(tái)的建設(shè)HYPERLINK\l