云上數據集成的產品及相關實踐

|云上數據集成的挑戰(zhàn)和實踐騰訊云高級工程師目錄CONTENT0102核心訴求梳理核心訴求梳理03戶經典案例介紹戶經典案例介紹04和平臺分析||0101核心訴求梳理數據端 數據傳輸集成組件計算組件集成產品SqoopDataxKettleFlink數據端 數據傳輸集成組件計算組件集成產品SqoopDataxKettleFlinkSparkMRDPDWDI…數據開發(fā)平臺流計算云數倉數據湖MRMYSQL…數數據源結構化數據交交易數據CRMCRM數據……非結構化數據日志日志數據……半結構化數據行為數據行為數據……成常用方案介紹引擎數據源種類吞吐穩(wěn)定性開源社區(qū)場景Spark應性差Flink數據源親和性差，群訪問配置雜Sqoopadoop比較穩(wěn)定Flink：部分場景吞吐優(yōu)勢，時延低，周期性數倉等場景下靈活性不足、資源利用率低。Sqoop：支持數據源種類少，基于MR框架，穩(wěn)定性高。Spark：吞吐極高，參數配置復雜，穩(wěn)定性差。對數據集成的訴求場景化大數據上云湖/倉搭建線上服務系統海量化持續(xù)運行多樣化源種類多數據源多源的數據格式多服務穩(wěn)定性強恢復運維簡單蔽底層資源置傳輸可視化快速搭建活擴展生態(tài)|面體撐挑戰(zhàn)面體撐||0202和平臺實現集成解決方案設計關鍵設計u業(yè)界類似的解決方案：AWS：kinesis+firehouse(多產品配合)華為：DIS(配套解決方案)阿里：DataHub(配套解決方案)|ComparisonTubeMQComparisonTubeMQKafkaPulsarVerylow，10msVerylow，10mslWsnsumeSupportsclientfilterorserverfilterpportsclienterpportsclienterlecopieslecopiesyeliesonRAIDoveryyHigh,runninginTencentforalmost8yearswith33trillionsofmessageperdaywhentopicsgrowsClientlanguagesupportsJavaorC++ntOfficialort7kindsofclientdelAPorCPP?毫秒級時延：基于毫秒級低時延消息隊列，端到端數據同步秒級時延?高性能：支持切換不同的緩存隊列，基于存算分離架構的MQ在海量吞吐場景下具備更好的性能和穩(wěn)定性?inlong在數據采集和消息隊列間增加DataProxy，用于連接收斂、路由、數據壓縮和協議轉換?消息隊列異常出現發(fā)送失敗時，DataProxy會將消息緩存到本地磁盤進行容災轉發(fā)|成彈性平臺實現原原始日志KAFKA 原始數據庫數據源manager：協調任務管理與資源調度jobjobmanagerresourcemanager 隊列 隊列 隊列 隊列 log_agent db_agent proxy proxy hive_sinkT ck_sinkTtask：執(zhí)行資源，可分布式并行擴展HIVEHIVEHHBASE數據端任務底層抽象容器podpodloadertaskloadertasklo容器podpodloadertaskloadertaskloadermanagerdeploymentCLSCLSCDB云云監(jiān)控設計原則pod任務可以使用多個podmanager可用4.manager和task在不同的pod|成平臺高可用設計ask5ask432Coask5ask432ConfigMapddresstimestamp...manager(dead)manager(dead)1Deploymentmanager(standby)manager(Active)1.第一個創(chuàng)建出ConfigMap的成為Leader2.Leader定期續(xù)租3.Follower檢查租約時間，過期則重新選舉1.Manager發(fā)生故障2.選舉Leader3.發(fā)布Leader信息，并開始服務4.Task感知Leader變化，重新匯報信息5.Leader正式服務||0303數據鏈路務數據鏈路務CCONSOLESDKAPI…PPulsarkafkaTubeMQDataProxy-N存儲層關系型數據庫：大數據：oSQL更多：DataProxy-1…分揀層sortofflinerealtimeSDK采集層SDKEHTTP輕量鏈路緩存層匯聚層資源管理資源管理審計對賬指標告警狀態(tài)監(jiān)控OOpenAPI統一元數據統一調度統一安全審批管理數據源|一體化云生態(tài)融合產品要素一體化云生態(tài)融合產品要素幫助企業(yè)建設全業(yè)務場景的海量數據傳輸通道一站式敏捷體驗海量集成框架業(yè)務價值穩(wěn)定、安全、高性穩(wěn)定、安全、高性能無無門檻、免運維、低成本平平滑適配、全鏈路解決方案|數據開發(fā)治理平臺WeData數據集成(DataInLong)場景化解決方案管理體系多租戶管理項目管理用戶管理數據源管理審批管理多環(huán)境管理平臺開放一體化運營營(DataOpeartion)數據共享數據開發(fā)治理平臺WeData數據集成(DataInLong)場景化解決方案管理體系多租戶管理項目管理用戶管理數據源管理審批管理多環(huán)境管理平臺開放一體化運營營(DataOpeartion)數據共享數據地圖數據洞察成本優(yōu)化(CO)DataOps運營流程：采集治理服務應用數據服務ice數據集成aInLong數據開發(fā)Studio數據建模Model基礎數據支撐服務DataInLongDataInLong提供了開放的技術能力，可與統一調度、統一元數據、統一安全等技術/產品服務快速深度融合。同時，支持平滑無縫升級至騰訊云數據開發(fā)與治理平臺WeData，幫助企業(yè)更好應對快速變化、日益增長的業(yè)務數據需求。獨立獨立DataInLong數據倉庫數據匯聚數據倉庫數據匯聚數據湖數據中臺敏敏捷數據生產數據質量(數據質量(DQ)DataOpsDataOps生產流程：需求規(guī)劃開發(fā)發(fā)布運維數據安全(SecurityCenter數據安全(SecurityCenter)元數據管理(MetaData)統一調度(US)構建發(fā)與治理平臺/數據中臺搭建構建發(fā)與治理平臺/數據中臺搭建倉入湖分析…示…異構數據同步異構數據同步實時/離線數據傳輸數據拉取/主動上報產品融合穩(wěn)定、高效、安全的海量數據傳輸通道，覆蓋數據集成全業(yè)務場景，無縫融合數據生態(tài)||0404戶經典案例分析為支持商戶/個人兩大微信支付業(yè)務場為支持商戶/個人兩大微信支付業(yè)務場穩(wěn)穩(wěn)定、安全?多集群部署百萬億級數據量?實時高性能消息隊列同步?全鏈路數據指標監(jiān)控據來源廣泛、采集點眾多型消息通道和接入方式，支持近百告警和核心指標運營實時呈現。|某電商平臺：DataInLonginWeData個性化推薦用戶洞察商品/訂單/庫存數倉數據開發(fā)信息采集日志分析時數據入湖業(yè)務預測某傳統企業(yè)：DataInLong+DLC全鏈路全鏈路數據平臺?離線數倉與數據同步?離線數據開發(fā)與調度?元數據、數據資產管理與治理企業(yè)云原生數據湖構建?多種同步方式，多種數據源快速搭建云數據湖方案架構應用場景2021金融業(yè)新技術應用創(chuàng)新突出貢獻獎2021年度農村中小金融機構科技創(chuàng)新優(yōu)秀案例網金業(yè)務的指標標簽營銷方案架構應用場景2021金融業(yè)新技術應用創(chuàng)新突出貢獻獎2021年度農村中小金融機構科技創(chuàng)新優(yōu)秀案例網金業(yè)務的指標標簽營銷欺詐智能決策數據探索表客戶痛點數據的開發(fā)、調度分工分散情況嚴重數據質量低、數據落標困難大數據組件運維復雜、缺乏集中統一的運維中心業(yè)務數據務、對公信貸、個人貸款、在線貸、基金、網銀、信用卡、柜面、支付等行客戶數據能力中心建設??統一對接MYSQL/ORACLE/DB2/文件等多種數據源?統一開發(fā)HIVE/SPARK/Shell/Python等多種任務基于事件