多云多源數(shù)據(jù)管理最佳實踐-讓效能提升5倍

多云多源數(shù)據(jù)管理最佳實踐——讓效能提升5倍葉正盛o

NineData創(chuàng)始人&CEO葉正盛 Ni

n

e

D

at

a創(chuàng)始人&CEO?

資深數(shù)據(jù)庫與云計算領(lǐng)域?qū)＜?曾擔任阿里云數(shù)據(jù)庫產(chǎn)品管理與解決方案部總經(jīng)理，阿里云技術(shù)架構(gòu)與產(chǎn)品決策委員會核心成員?阿里巴巴去

IOE、異地多活、云計算多次技術(shù)變革核心成員?構(gòu)建阿里巴巴&螞蟻集團數(shù)據(jù)庫DevOps體系?創(chuàng)立云計算數(shù)據(jù)傳輸DTS、數(shù)據(jù)管理DMS、數(shù)據(jù)庫備份DBS、數(shù)據(jù)庫自動駕駛服務(wù)DAS等多款云計算數(shù)據(jù)庫產(chǎn)品GO

P

S全球運維大會暨

研運數(shù)智化技術(shù)峰會

2024·上海

站個人簡介目錄客戶實踐

04多云多源架構(gòu)發(fā)展趨勢

01數(shù)據(jù)庫DevOps03數(shù)據(jù)復(fù)制多云多源架構(gòu)發(fā)展趨勢01【多云多源】數(shù)據(jù)基礎(chǔ)架構(gòu)發(fā)展趨勢

云計算（多云/混合云）

+數(shù)據(jù)庫組合解決方案（多源）字節(jié)跳動、小紅書、米哈游、

B站、小米、理想、小鵬、格力、美的、海爾、

Minimax、Volvo中國移動、中國聯(lián)通、中國電信、杭州銀行、建設(shè)銀行、光大銀行、國家電網(wǎng)、中國石化OpenAI、Airbnb、

Netflix、寶馬、沃爾瑪、Spotify、

Dropbox、X(Twitter)多模：文字、表格、文檔、日志架構(gòu)：OLTP、

HTAP、OLAPAI：

圖、向量、模型政策：

國產(chǎn)化（中國）合規(guī)：全球化、國企成本：采購策略技術(shù)選型：彈性、AI、分析避免鎖定：技術(shù)中立75%73%…現(xiàn)在單一主數(shù)據(jù)庫Oracle/MySQLIDC、云平臺多種數(shù)據(jù)庫組合多云/混合云調(diào)研企業(yè)：過去ll

clickHouseoinnuxob鄉(xiāng)red

is?elastic

search數(shù)據(jù)庫系統(tǒng)分類大圖

SQL弱數(shù)據(jù)量NoSQLOLTPOLAP大數(shù)據(jù)大強小分布式關(guān)系型數(shù)據(jù)庫云數(shù)據(jù)庫數(shù)據(jù)倉庫GoldenDBTDSQL星環(huán)大數(shù)據(jù)AntDBGaiaDBOushuDB(2024.10)墨天輪收錄：

225個，

2024年通過國家安全評測17個國產(chǎn)數(shù)據(jù)庫百花齊放神舟Milvus達夢人大金倉巨杉數(shù)據(jù)庫TDengineNebulaGraph南大通用PolarDBOceanBaseGaussDBDoris/SelectDBTiDBStarRocks老牌關(guān)系型數(shù)據(jù)庫NoSQL數(shù)據(jù)庫DevOpsSQL

IDE、

CI/CD、性能優(yōu)化、安全NineData數(shù)據(jù)庫引擎OracleMySQLPolarDBMongoDBClickhouse…DBPaaS資源調(diào)度、安裝配置、備份恢復(fù)、監(jiān)控告警、

HARDSBI數(shù)據(jù)分析、挖掘、大屏PowerBI、帆軟數(shù)據(jù)流(復(fù)制/集成)數(shù)據(jù)遷移、同步、ETL、訂閱、分享NineData數(shù)據(jù)庫與生態(tài)產(chǎn)品

on

goo

e,

?elastic

search

Any

Data

.red

is

Green

plum

…

NineData安全高效的管理無處不在的數(shù)據(jù)AnyWhere跨云/IDC私網(wǎng)連接天翼云移動云騰訊云本地IDCAWS…Azure阿里云華為云GCP》roa

roeclickHouse豐富的數(shù)據(jù)源、云平臺支持

:

RDBMS

、

No

SQL

、數(shù)據(jù)倉庫、大數(shù)據(jù)

產(chǎn)百度智能云IDC數(shù)據(jù)復(fù)制

數(shù)據(jù)庫DevOps安全管控NineData云原生智能數(shù)據(jù)管理平臺數(shù)據(jù)開發(fā)

BI

開發(fā)業(yè)務(wù)運營應(yīng)用開發(fā)者DB

A系統(tǒng)管理云廠商

自建

IDC托管數(shù)據(jù)庫（開源/自研/國產(chǎn)）數(shù)據(jù)倉庫/大數(shù)據(jù)平臺數(shù)據(jù)實時同步ET

L數(shù)據(jù)遷移數(shù)據(jù)容災(zāi)應(yīng)用消息隊列自建數(shù)據(jù)庫托管數(shù)據(jù)庫生產(chǎn)發(fā)布A

I代碼審核數(shù)據(jù)開發(fā)搜索平臺自建

I

DCNine

Data數(shù)據(jù)復(fù)制02

實時數(shù)據(jù)遷移上云/國產(chǎn)化數(shù)據(jù)復(fù)制容災(zāi)ETL數(shù)據(jù)對比MySQL->RDS上海

<->北京Oracle->Doris結(jié)構(gòu)對比Oracle->PG阿里云

<->AWSMySQL->ClickHouse數(shù)據(jù)對比MongoDB->MongoDB云

<->IDCMySQL->TiDB差異數(shù)據(jù)訂正數(shù)據(jù)復(fù)制典型場景

NineData數(shù)據(jù)復(fù)制任務(wù)2

結(jié)構(gòu)復(fù)制（table/view/procedure…）全量數(shù)據(jù)復(fù)制(映射/過濾…)增量數(shù)據(jù)捕獲數(shù)據(jù)傳輸隊列

增量寫入結(jié)構(gòu)對比子任務(wù)協(xié)同GatewayCloud

Linkll

clickHouseGatewayCloud

Link用戶控制臺管理平臺任務(wù)資源調(diào)度（Kubernetes)NineData數(shù)據(jù)復(fù)制架構(gòu)圖任務(wù)配置全量數(shù)據(jù)對比OpenAPI日志存儲增量數(shù)據(jù)對比日志與監(jiān)控阿里云

IDC

…騰訊云

華為云

百度云

移動云

AWS

GCP

數(shù)據(jù)源數(shù)據(jù)源neData數(shù)據(jù)復(fù)制任務(wù)1Ni豐富數(shù)據(jù)源強勁性能跨云內(nèi)網(wǎng)傳輸超遠距離實時傳輸60+10萬

RPS業(yè)界領(lǐng)先業(yè)界首創(chuàng)>10000公里

業(yè)界領(lǐng)先北京遠距離實時數(shù)據(jù)傳輸

(遷移/同步/備份)杭州NineData數(shù)據(jù)復(fù)制特點讓數(shù)據(jù)自由流動，創(chuàng)造更多數(shù)據(jù)價值美國甘肅東數(shù)西算全球業(yè)務(wù)NineDataCanalFlinkCDC某云DTS核心定位多云多源實時數(shù)據(jù)復(fù)制MySQL增量復(fù)制大數(shù)據(jù)實時復(fù)制數(shù)據(jù)遷移上云不足商業(yè)產(chǎn)品僅支持MySQL需要二次開發(fā)易用性、穩(wěn)定性差

需要二次開發(fā)非云中立，優(yōu)先支持

自家云數(shù)據(jù)庫數(shù)據(jù)源60種MySQL9種18種全量數(shù)據(jù)遷移33MB/s32MB/s31MB/s27MB/s增量數(shù)據(jù)遷移2.7萬記錄/s0.83萬記錄/s不穩(wěn)定0.55萬記錄/s結(jié)構(gòu)遷移全量

+增量全量（僅表對象）全量（僅表對象）全量數(shù)據(jù)對比支持××-場景：MySQL

->

MySQL數(shù)據(jù)復(fù)制數(shù)據(jù)庫硬件：

2臺ECS8c16G

，

ESSDNineData數(shù)據(jù)復(fù)制對比03

Nine

Data

數(shù)據(jù)庫DevOps安全穩(wěn)定監(jiān)控告警

漏洞修復(fù)開發(fā)效率安全規(guī)范流程MySQL慢SQL治理備份恢復(fù)MongoDB

DBA

（

OPS）數(shù)據(jù)庫研發(fā)協(xié)同挑戰(zhàn)

應(yīng)用開發(fā)者需求緊急java流程慢mybatispython診斷優(yōu)化Oracle不了解規(guī)

范用戶體驗差SQL開發(fā)沒權(quán)限變更發(fā)布N:1面向一家企業(yè)（阿里巴巴）?

阿里巴巴集團數(shù)據(jù)庫服務(wù)平臺?專注解決數(shù)據(jù)庫研發(fā)效率、數(shù)據(jù)

安全問題?

阿里集團高效數(shù)據(jù)庫服務(wù)平臺-

iDB

(鏈接)@2013VelocityChina

2013

by

葉正盛面向一個云平臺（阿里云）?

阿里云數(shù)據(jù)庫的數(shù)據(jù)管理產(chǎn)品?

十年磨一劍，阿里巴巴企業(yè)級

數(shù)據(jù)管理平臺

DMS（鏈接）@2017阿里云DMS商業(yè)化研發(fā)協(xié)同效能提升5倍以上iDB

DMS面向所有企業(yè)與云平臺?多云、多數(shù)據(jù)庫支持?支持60種數(shù)據(jù)庫?云中立，支持主流云平臺?支持本地一鍵安裝部署?更靈活的DevOps業(yè)務(wù)模型?AI大模型創(chuàng)新NineData數(shù)據(jù)庫

DevOps十四年經(jīng)驗積累2010年2016年2021年~開發(fā)測試環(huán)境發(fā)布?產(chǎn)SQL變更發(fā)布SQL診斷優(yōu)化數(shù)據(jù)庫設(shè)計導(dǎo)入導(dǎo)出歷史數(shù)據(jù)歸檔數(shù)據(jù)追蹤慢

SQL

治理NineData數(shù)據(jù)庫

DevOps專業(yè)解決?案測試數(shù)據(jù)生成SQL

智能審核數(shù)據(jù)查詢數(shù)據(jù)變更A

I

大模型集成規(guī)范與流程版本管理CI

/

CD

集成細粒度權(quán)限管控安全規(guī)范約束敏感數(shù)據(jù)保護操作審計高效協(xié)作數(shù)據(jù)安全測試?代碼智能提示?

ChatDBA?Text2SQL?數(shù)據(jù)庫安全保護?敏感數(shù)據(jù)脫敏?支持60種數(shù)據(jù)庫1基于AI大模型的SQL開發(fā)

IDE（更安全、更高效）Smart

Edit，研發(fā)協(xié)同效率提升5倍基于位置的智能提示與補齊，少寫一半的SQL通用大模型接入拿

拿拿ChatDBAText2SQL智能SQL優(yōu)化數(shù)據(jù)庫Schema智能轉(zhuǎn)換數(shù)據(jù)庫輔助代碼生成SQL智能審核存儲過程轉(zhuǎn)換代碼錯誤修復(fù)文檔生成代碼解讀ChatGPTQwenBaichuanMoonshootLlama文心一言NineData+AI大模型數(shù)據(jù)管理CopilotRAG數(shù)據(jù)庫知識庫數(shù)據(jù)管理Copilot更安全、更高效安全的執(zhí)行策略數(shù)據(jù)庫變更發(fā)布導(dǎo)致60%生產(chǎn)故障系統(tǒng)工單應(yīng)用開發(fā)者

DBA(OPS)?人工執(zhí)行?缺少規(guī)范?無風險識別

?

鎖表?

無備份更高效、更安全的SQL審核與發(fā)布NineData智能SQL審核與發(fā)布傳統(tǒng)發(fā)布定時執(zhí)行影響行數(shù)檢測自動備份數(shù)據(jù)手工執(zhí)行Online

DMLOnline

DDL基于CBO技術(shù)的慢SQL診斷優(yōu)化方案基于研發(fā)規(guī)范及性能的診斷優(yōu)化能力單條SQL優(yōu)化流程SQL診斷建議局部SQL優(yōu)化流程SQL聚合分類SQL解析索引合成代價評估單條SQL優(yōu)化候選索引生成生成索引生成索引

支持歸檔、清理、歸檔

+清理多種策略靈活按需選擇首創(chuàng)的自動數(shù)據(jù)歸檔與清理!

自動調(diào)度當前庫歷史庫

支持單次、周期調(diào)度

支持多種數(shù)據(jù)庫類型完整的

SQL

保護機制完善的SQL

保護(多重)子查詢發(fā)現(xiàn)

函數(shù)操作發(fā)現(xiàn)JOIN操作發(fā)現(xiàn)UNION、窗口函數(shù)按需開啟/關(guān)閉手動開啟與關(guān)閉自動掃描，人工確認完整的SQL

審計完整的操作審計列粒度權(quán)限控制多種遮掩算法基礎(chǔ)全遮掩適用手機的中間遮掩

使用郵箱的前綴遮掩加密遮掩定制遮掩嚴謹?shù)拿舾袛?shù)據(jù)保護手機號碼電子郵箱

銀行卡密碼信息

車牌號SQL腳本編輯敏感數(shù)據(jù)源常見類型自動發(fā)現(xiàn)主動申請管理簡單

到期釋放

賬號暫停角色/分組分配隨角色組管理“環(huán)境”（數(shù)據(jù)源分組）便于組織/企業(yè)管理個人、角色兩級權(quán)限角色實現(xiàn)批量權(quán)限管理

個人支持細粒度組合靈活控制用戶權(quán)限基于環(huán)境/數(shù)據(jù)源分組批量權(quán)限管理不同環(huán)境，不同權(quán)限多種分配方式多權(quán)限、細粒度查詢、

DML、

DDL、導(dǎo)入與導(dǎo)出任務(wù)提交、審批與執(zhí)行支持數(shù)據(jù)源、庫、列權(quán)限

完整的基于角色/分組的權(quán)限管理

面向數(shù)據(jù)庫的RBAC權(quán)限體系NineDataNavicatYearning某堡壘機核心定位企業(yè)級數(shù)據(jù)庫DevOps

專業(yè)解決方案數(shù)據(jù)庫個人客戶端MySQL數(shù)據(jù)庫變更流程平臺跳板機不足商業(yè)產(chǎn)品沒有企業(yè)級數(shù)據(jù)安全、流

程、規(guī)范支持的數(shù)據(jù)庫少功能簡單非數(shù)據(jù)庫專業(yè)解決方案數(shù)據(jù)源70種51種1種（MySQL）10種SQL窗口√√√依靠客戶端變更發(fā)布流程與規(guī)范√×√×SQL代碼審核√×××數(shù)據(jù)導(dǎo)入導(dǎo)出√√××數(shù)據(jù)追蹤√×××數(shù)據(jù)生成√√××數(shù)據(jù)歸檔√×××統(tǒng)一權(quán)限管理√×××敏感數(shù)據(jù)保護√×√（不可用）×AI集成√×××NineData數(shù)據(jù)庫DevOps功能對比客戶實踐04

主要問題與挑戰(zhàn) 客戶本身有很多數(shù)據(jù)需要同步，同時還要提供數(shù)據(jù)復(fù)制產(chǎn)品給他的客戶使用，比如該云的客戶從其他云廠商或自建系統(tǒng)中遷移上云。 應(yīng)用場景復(fù)雜：包括遷移上云、跨云遷移、跨區(qū)域遷移、數(shù)據(jù)容災(zāi)、異地多活等業(yè)務(wù)場景。

網(wǎng)絡(luò)環(huán)境復(fù)雜：

Region

內(nèi)部/

Region之間，和其他云廠商與客戶自有系統(tǒng)之間等各種鏈路。使用成效每天穩(wěn)定運行的數(shù)據(jù)鏈路數(shù)百條。通過

NineData雙向復(fù)制構(gòu)建了超長距離（超過

1000公里）

的異地多活集群，支撐業(yè)務(wù)高穩(wěn)定運行?？蛻舭咐?/p>

中國移動云數(shù)據(jù)復(fù)制

…核心需求：去O、國產(chǎn)化數(shù)據(jù)庫選型、數(shù)據(jù)同步質(zhì)量與性能

…客戶實踐：某銀行數(shù)據(jù)庫國產(chǎn)化遷移同步多種功能支持

統(tǒng)一訪問與權(quán)限管理

SSO

數(shù)據(jù)變更與備份

規(guī)則規(guī)范數(shù)據(jù)庫變更管理On