基于AnalyticDB-for-MySQL構(gòu)建課件

基于AnalyticDBforMySQL構(gòu)建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)創(chuàng)新，變革未來(lái)基于AnalyticDBforMySQL構(gòu)建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)01 總述DTS實(shí)時(shí)同步SLS準(zhǔn)實(shí)時(shí)投遞DMS企業(yè)版準(zhǔn)實(shí)時(shí)同步總結(jié)內(nèi)容大綱01 總述DTS實(shí)時(shí)同步201

總述01總述3AnalyticDBfor

MySQL生產(chǎn)業(yè)務(wù)數(shù)據(jù)庫(kù)數(shù)據(jù)傳輸實(shí)時(shí)同步MQ流計(jì)算日志數(shù)據(jù)OracleDB2MSSQL

ServerMySQLPolarDBRDSDRDS寫(xiě)入實(shí)時(shí)構(gòu)建大圖DMS/DataworksAnalyticDBforMySQL生產(chǎn)業(yè)務(wù)數(shù)據(jù)庫(kù)數(shù)據(jù)傳4實(shí)時(shí)化分析減少OLTP->OLAP數(shù)據(jù)延時(shí)例如報(bào)表延時(shí)1分鐘內(nèi)查詢速度快解決業(yè)務(wù)庫(kù)上大查詢慢查詢，10X加速OLTP與OLAP隔離簡(jiǎn)單易用快速構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，全面兼容MySQL協(xié)議和BI工具實(shí)時(shí)構(gòu)建ADB數(shù)倉(cāng)優(yōu)點(diǎn)實(shí)時(shí)化分析查詢速度快簡(jiǎn)單易用實(shí)時(shí)構(gòu)建ADB數(shù)倉(cāng)優(yōu)點(diǎn)502

DTS實(shí)時(shí)同步02DTS實(shí)時(shí)同步6DTS數(shù)據(jù)傳輸（Data

Transmission）DTS的數(shù)據(jù)同步功能旨在幫助用戶實(shí)現(xiàn)兩個(gè)數(shù)據(jù)源之間的數(shù)據(jù)實(shí)時(shí)同步。DTS通過(guò)解析數(shù)據(jù)源的增量日志，如binlog，將增量實(shí)時(shí)同步到ADB中。01

多數(shù)據(jù)源支持MySQLDRDSPolarDB庫(kù)：整庫(kù)表：選擇特定表列：表中的某幾列數(shù)據(jù)DML過(guò)濾DDL過(guò)濾02

多粒度庫(kù)映射表映射列名映射多表歸并03

靈活映射同步任務(wù)設(shè)置目標(biāo)表建立靈活定制04

白屏化操作DTS功能介紹參見(jiàn)：/document_detail/26595.html?spm=5176.55326.208404.7.6c9386fb9W8y61DTS01多數(shù)據(jù)源支持庫(kù)：整庫(kù)02多粒度庫(kù)映射03靈活7DTS同步設(shè)置流程1.創(chuàng)建DTS同步2.配置任務(wù)3.同步對(duì)象設(shè)置4.對(duì)象映射5.目標(biāo)表設(shè)置6.預(yù)檢查并啟動(dòng)源庫(kù)類型目標(biāo)庫(kù)ADB同步鏈路規(guī)格源庫(kù)實(shí)例目標(biāo)實(shí)例授權(quán)白名單全量數(shù)據(jù)增量數(shù)據(jù)DDL過(guò)濾DML設(shè)置源庫(kù)對(duì)象目標(biāo)對(duì)象多表歸并字段映射分區(qū)鍵主鍵鍵檢查出錯(cuò)重新修改啟動(dòng)暫停表個(gè)數(shù)限制T8：500T16和T32：1500T52：2500DTSRDS同步到ADB：/document_detail/49082.html?spm=a2c4g.11186623.6.700.1072612epv6gEDDTS同步設(shè)置流程1.創(chuàng)建DTS同步2.配置任務(wù)3.同步對(duì)象803

SLS準(zhǔn)實(shí)時(shí)投遞03SLS準(zhǔn)實(shí)時(shí)投遞9SLS準(zhǔn)實(shí)時(shí)投遞ECSECSOSS自動(dòng)投遞SLS數(shù)據(jù)清洗，分析結(jié)果結(jié)果寫(xiě)入結(jié)果回流海量日志ADBDLASLS：日志投送服務(wù)OSS：對(duì)象存儲(chǔ)服務(wù)DLA

：

數(shù)據(jù)湖分析工具通過(guò)阿里云日志服務(wù)廣泛的日志采集能力，加上DLA

內(nèi)建的靈活可定制的ETL

能力，進(jìn)行數(shù)據(jù)湖投遞、處理、分析同時(shí)將所需要的數(shù)據(jù)投遞到ADB中，以游戲數(shù)據(jù)運(yùn)營(yíng)融合分析為例：OSS直接投遞游戲數(shù)據(jù)運(yùn)營(yíng)最佳實(shí)踐參考：（后續(xù)官網(wǎng)上線）SLS準(zhǔn)實(shí)時(shí)投遞ECSECSOSS自動(dòng)投遞SLS數(shù)據(jù)清洗，10SLS準(zhǔn)實(shí)時(shí)投遞流程1.

SLS日志服務(wù)2.數(shù)據(jù)投遞OSS3.

DLA處理4.

ADB項(xiàng)目Project日志庫(kù)Logstore配置數(shù)據(jù)接入（日志源）OSS投遞選項(xiàng)分區(qū)格式壓縮方式RAM角色投遞時(shí)間直接投遞到ADB配置OSS接入DSL（處理數(shù)據(jù)）投遞到ADB數(shù)據(jù)分析SLS準(zhǔn)實(shí)時(shí)投遞流程1.SLS日志服務(wù)2.數(shù)據(jù)投遞OSS31104

DMS準(zhǔn)實(shí)時(shí)同步04DMS準(zhǔn)實(shí)時(shí)同步12DMS準(zhǔn)實(shí)時(shí)同步數(shù)據(jù)管理（Data

Management）DMS的數(shù)倉(cāng)開(kāi)發(fā)旨在為用戶提供數(shù)據(jù)集成、加工、可視化和價(jià)值挖掘的一站式開(kāi)發(fā)平臺(tái)。提供任務(wù)編排、數(shù)據(jù)倉(cāng)庫(kù)兩種開(kāi)發(fā)模式，均可以實(shí)現(xiàn)周期調(diào)度，滿足用戶不同應(yīng)用場(chǎng)景的數(shù)倉(cāng)開(kāi)發(fā)需求。01

多數(shù)據(jù)源支持MySQLDRDSPolarDBADBDLAPostgreSQLSQL

ServerORACLE月周日小時(shí)分鐘02

多周期DMS官網(wǎng)：/product/dms03

兩種方式增量數(shù)據(jù)遷移跨庫(kù)SQLDMS準(zhǔn)實(shí)時(shí)同步數(shù)據(jù)管理（DataManagement）D13DMS數(shù)倉(cāng)開(kāi)發(fā)-數(shù)據(jù)遷移實(shí)現(xiàn)增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建數(shù)據(jù)遷移節(jié)點(diǎn)3.編排任務(wù)4.配置調(diào)度5.運(yùn)維中心設(shè)置源數(shù)據(jù)設(shè)置目標(biāo)為ADB通過(guò)數(shù)據(jù)遷移實(shí)現(xiàn)DAG任務(wù)節(jié)點(diǎn)順序前置依賴試運(yùn)行指定時(shí)間運(yùn)行調(diào)度類型調(diào)度周期月周日小時(shí)分鐘（e.g

3mins）調(diào)度時(shí)間執(zhí)行日志查看終止重跑暫?；謴?fù)置成功DMS數(shù)據(jù)遷移實(shí)現(xiàn)增量：/document_detail/147250.html?設(shè)置任務(wù)基本信息DMS數(shù)倉(cāng)開(kāi)發(fā)-數(shù)據(jù)遷移實(shí)現(xiàn)增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建數(shù)14DMS數(shù)倉(cāng)開(kāi)發(fā)-跨庫(kù)SQL增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建跨庫(kù)SQL任務(wù)3.編排任務(wù)4.配置調(diào)度5.運(yùn)維中心通過(guò)DBlink獲取數(shù)據(jù)源數(shù)據(jù)抽取SQL，設(shè)置增量變量（e.g.updated_at）變量格式定義DAG任務(wù)節(jié)點(diǎn)順序前置依賴試運(yùn)行指定時(shí)間運(yùn)行調(diào)度類型調(diào)度周期月周日小時(shí)分鐘（e.g

3mins）調(diào)度時(shí)間運(yùn)行時(shí)帶入變量的當(dāng)前值執(zhí)行日志查看終止重跑暫?；謴?fù)置成功DMS跨庫(kù)SQL實(shí)現(xiàn)增量參考：/document_detail/139316.html?設(shè)置任務(wù)基本信息DMS數(shù)倉(cāng)開(kāi)發(fā)-跨庫(kù)SQL增量流程1.創(chuàng)建任務(wù)流2.創(chuàng)建跨庫(kù)1505

總結(jié)05總結(jié)16DTS實(shí)時(shí)同步DMS準(zhǔn)實(shí)時(shí)同步1、白屏化操作2、實(shí)時(shí)同步3、依賴DTS同步日志解析能力OSS準(zhǔn)實(shí)時(shí)投遞1、承接海量日志數(shù)據(jù)，通過(guò)DLA打通結(jié)構(gòu)化和非結(jié)構(gòu)化分析，使得非結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步2、更低成本，DLA融合冷數(shù)據(jù)分析+ADB溫?zé)釘?shù)據(jù)分析3、準(zhǔn)實(shí)時(shí)1、更多數(shù)據(jù)源支持2、更靈活的處理流程3、準(zhǔn)實(shí)時(shí)DTS實(shí)時(shí)同步DMS準(zhǔn)實(shí)時(shí)同步1、白屏化操作OSS準(zhǔn)實(shí)時(shí)投遞17AnalyticDB

for

MySQL

基礎(chǔ)版技術(shù)解密AnalyticDBforMySQL基礎(chǔ)版技術(shù)解密18AnalyticDB

for

MySQL

基礎(chǔ)版輕量云原生架構(gòu)單節(jié)點(diǎn)服務(wù)降低使用門檻高性能同等配置下寫(xiě)入查詢性能約為MySQL

10倍規(guī)格豐富4種規(guī)格可根據(jù)業(yè)務(wù)需求自由升降配簡(jiǎn)單易用、超高性價(jià)比的分布式實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，提供PB數(shù)據(jù)量的高并發(fā)、毫秒級(jí)分析服務(wù)全托管服務(wù)0運(yùn)維超低成本構(gòu)建實(shí)時(shí)數(shù)倉(cāng)AnalyticDBforMySQL基礎(chǔ)版輕量云原生架19AnalyticDBfor

MySQL

基礎(chǔ)版

–

技術(shù)特點(diǎn)輕量容器部署分布式引擎支持復(fù)雜查詢讀寫(xiě)強(qiáng)一致多種優(yōu)化技術(shù)數(shù)據(jù)高可靠AnalyticDBforMySQL基礎(chǔ)版–技術(shù)特20AnalyticDBfor

MySQL

基礎(chǔ)版

–

整體架構(gòu)協(xié)議/鏈路Controller元數(shù)據(jù)優(yōu)化器ParserCoordinator寫(xiě)入Worker

(存儲(chǔ)）增量全量Storage

EngineSSD

云盤OSS數(shù)據(jù)備份控制臺(tái)元數(shù)據(jù)庫(kù)監(jiān)控ZKMPPExecutor

(計(jì)算）AnalyticDBforMySQL基礎(chǔ)版–整體架21AnalyticDB

for

MySQL

優(yōu)化器計(jì)劃評(píng)估RBO+CBOPBO下推優(yōu)化Predicate

PushdownDynamic

Filter下推Cast下推Join

ReorderCost

Calculation實(shí)時(shí)采樣Index-Based

Join解關(guān)聯(lián)優(yōu)化關(guān)系代數(shù)轉(zhuǎn)換避免數(shù)據(jù)膨脹聚合處理聚合優(yōu)化AGG優(yōu)化MultiDistinctTopN優(yōu)化智能化Auto

AnalyzeHBOAnalyticDBforMySQL優(yōu)化器計(jì)劃評(píng)估下推22AnalyticDB

for

MySQL

優(yōu)化器

–

Join

Optimization感知數(shù)據(jù)分布的

Join

Reorder復(fù)合join優(yōu)化技術(shù)Rule-BasedOptimizer

+Cost-Based

OptimizerPattern-Based

Optimizer自適應(yīng)調(diào)優(yōu)技術(shù)Auto

AnalyzeHistory-Based

OptimizerAnalyticDBforMySQL優(yōu)化器–Joi23AnalyticDB

for

MySQL

計(jì)算引擎Pipeline執(zhí)行分布式高并發(fā)低延遲計(jì)算加速Column

Oriented向量執(zhí)行RunTime

CodeGen執(zhí)行優(yōu)化InMemoryMulti-StageAnalyticDBforMySQL計(jì)算引擎Pipel24AnalyticDB

for

MySQL

存儲(chǔ)引擎近存儲(chǔ)計(jì)算部分算子下推過(guò)濾下推內(nèi)存優(yōu)化內(nèi)存Bytes化實(shí)時(shí)尾塊IO優(yōu)化磁盤空間統(tǒng)計(jì)文件數(shù)目?jī)?yōu)化checkpoint優(yōu)化AnalyticDBforMySQL存儲(chǔ)引擎近存儲(chǔ)計(jì)算25ADB

存儲(chǔ)引擎

-行列混存和智能索引ADB存儲(chǔ)引擎-行列混存和智能索引26AnalyticDBfor

MySQL

基礎(chǔ)版

-

極致性能TPC-H

Benchmark由TPC委員會(huì)制定發(fā)布，用于評(píng)測(cè)數(shù)據(jù)庫(kù)的分析型查詢能力8張數(shù)據(jù)表、22條復(fù)雜的SQL查詢，大多數(shù)查詢包含多表Join、子查詢和Group

by聚合測(cè)試配置ADB基礎(chǔ)版T52規(guī)格MySQL52CPUADB基礎(chǔ)版對(duì)比MySQL實(shí)現(xiàn)數(shù)量級(jí)的性能提升表名記錄數(shù)customer1500wlineitem6億nation25orders1.5億