2025數(shù)據(jù)庫(kù)分布式技術(shù)趨勢(shì)

分布式技術(shù)趨勢(shì)分享2025移動(dòng)云和數(shù)據(jù)庫(kù)團(tuán)隊(duì)簡(jiǎn)介移動(dòng)云立足云服務(wù)商第一陣營(yíng)，入選國(guó)資委首批“創(chuàng)建世界一流專(zhuān)業(yè)領(lǐng)軍示范企業(yè)”名單，開(kāi)啟“成為一流云服務(wù)商”新征程移動(dòng)云數(shù)據(jù)庫(kù)團(tuán)隊(duì)十年前正式誕生，以實(shí)現(xiàn)數(shù)據(jù)庫(kù)核心技術(shù)自主可控為目標(biāo)，目前已構(gòu)建完整產(chǎn)品和市場(chǎng)體系，并實(shí)現(xiàn)大規(guī)模商用。中國(guó)公有云I+P服務(wù)市場(chǎng)份額第五位2014基于開(kāi)源啟動(dòng)商業(yè)版產(chǎn)品打造集團(tuán)內(nèi)部推廣和應(yīng)用蘇州研發(fā)中心2020啟動(dòng)云改，轉(zhuǎn)型云計(jì)算服務(wù)商海山數(shù)據(jù)庫(kù)1.0發(fā)布云能力中心2024云原生進(jìn)階，發(fā)布海山數(shù)據(jù)庫(kù)2.0啟動(dòng)算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)探索和研究規(guī)模200+人蘇州/北京/上海/南京研發(fā)團(tuán)隊(duì)15+31全國(guó)資源覆蓋30萬(wàn)核資源規(guī)模10+中移專(zhuān)業(yè)公司9大重點(diǎn)行業(yè)突破市場(chǎng)推廣多領(lǐng)域市場(chǎng)份額領(lǐng)先專(zhuān)屬云No.2邊緣云No.1政務(wù)云No.2(2023H2)移動(dòng)云數(shù)據(jù)庫(kù)產(chǎn)品矩陣數(shù)據(jù)庫(kù)生態(tài)工具數(shù)據(jù)庫(kù)傳輸

數(shù)據(jù)庫(kù)管理

數(shù)據(jù)庫(kù)自治事務(wù)型RDS數(shù)據(jù)庫(kù)（MySQL、PostgreSQL、達(dá)夢(mèng)、TiDB、SQLServer）分析與檢索海山數(shù)據(jù)庫(kù)數(shù)倉(cāng)版搜索數(shù)據(jù)庫(kù)向量數(shù)據(jù)庫(kù)NoSQL緩存數(shù)據(jù)庫(kù)文檔數(shù)據(jù)庫(kù)多模數(shù)據(jù)庫(kù)*（圖、時(shí)序等）數(shù)據(jù)庫(kù)統(tǒng)一云原生平臺(tái)底座海山數(shù)據(jù)庫(kù)MySQL版*海山數(shù)據(jù)庫(kù)PostgreSQL版海山數(shù)據(jù)庫(kù)

分布式版*L1L1L1L1L1L2L3L2L2算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)*L4*海山數(shù)據(jù)庫(kù)MySQL版和分布式版公測(cè)中，即將上線*多模數(shù)據(jù)庫(kù)正處于研發(fā)階段*算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)正處于前期調(diào)研階段L1移動(dòng)云基于K8s構(gòu)建云原生數(shù)據(jù)庫(kù)底座，全線產(chǎn)品達(dá)云原生L1級(jí)自研海山數(shù)據(jù)庫(kù)系列，采用存算分離架構(gòu)，并全面向Serverless演進(jìn)在中國(guó)移動(dòng)算力網(wǎng)絡(luò)戰(zhàn)略下，大力探索算力網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，積極推進(jìn)相關(guān)技術(shù)以及行業(yè)標(biāo)準(zhǔn)制定移動(dòng)云一站式云原生數(shù)據(jù)庫(kù)服務(wù)海山數(shù)據(jù)庫(kù)（He3DB）集中式版-整體架構(gòu)He3DB計(jì)算引擎：提供SQL解析，計(jì)算能力。所有寫(xiě)請(qǐng)求轉(zhuǎn)化為日志

寫(xiě)，讀請(qǐng)求從Page服務(wù)獲取數(shù)據(jù)He3Store存儲(chǔ)引擎：異步回放日志成Page數(shù)據(jù),最終使用S3作為數(shù)據(jù)持久層，分為日志服務(wù)與Page服務(wù)He3Proxy

智能中間件：能夠感知業(yè)務(wù)負(fù)載，多維度負(fù)載均衡選擇路由，提供讀寫(xiě)一致性能力生態(tài)工具

實(shí)現(xiàn)業(yè)務(wù)零感知的秒級(jí)備份/恢復(fù)能力，提供監(jiān)控工具，遷移工具，Cluster管理工具主要組件主要組件主要組件He3DB云原生版本采用存算分離數(shù)據(jù)共享架構(gòu)。包含PostgreSQL、MySQL兩個(gè)版本，100%兼容PostgreSQL、MySQL協(xié)議，支持1主15備讀寫(xiě)分離底層共用一份數(shù)據(jù)，最大支持100TB數(shù)據(jù)量存儲(chǔ)，RTO故障恢復(fù)時(shí)延可控制在30S以內(nèi)，支持聯(lián)邦內(nèi)存池緩存命中率相對(duì)傳統(tǒng)主備模式提升2倍以上，支持秒級(jí)在線新增實(shí)例，適合大數(shù)據(jù)量實(shí)時(shí)在線交易性業(yè)務(wù)海山單機(jī)、云原生一體化主機(jī)備機(jī)全量數(shù)據(jù)全量數(shù)據(jù)計(jì)算計(jì)算計(jì)算云原生數(shù)據(jù)庫(kù)計(jì)算（主）計(jì)算（從）計(jì)算（從）數(shù)據(jù)存儲(chǔ)服務(wù)1數(shù)據(jù)存儲(chǔ)服務(wù)2本地磁盤(pán)緩存計(jì)算本地磁盤(pán)緩存單機(jī)數(shù)據(jù)庫(kù)計(jì)算無(wú)需重啟

存儲(chǔ)形態(tài)自動(dòng)切換

支持雙向轉(zhuǎn)換共享數(shù)據(jù)（全量）紅色不變藍(lán)色不變綠色新增架構(gòu)在線升級(jí)共享數(shù)據(jù)訪問(wèn)存算一體存算分離計(jì)算本地磁盤(pán)緩存成效：一套代碼同時(shí)支持中小微客戶需求，無(wú)需中斷服務(wù)，實(shí)現(xiàn)數(shù)據(jù)共享與非共享訪問(wèn)模式的無(wú)感切換本地

RDS

云原生數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)遷移場(chǎng)景應(yīng)用示例遷移

①遷移

②本地

遷移

友商：2次遷移自研：1次遷移+1次無(wú)感切換云原生數(shù)據(jù)庫(kù)

海山算力網(wǎng)絡(luò)一體化數(shù)據(jù)庫(kù)服務(wù)

面向未來(lái)算力網(wǎng)絡(luò)場(chǎng)景，打造“一專(zhuān)多能”一體化數(shù)據(jù)庫(kù)，“專(zhuān)”在TP領(lǐng)域，“能”在提供AP、時(shí)序、流、圖、文檔、AI等多模能力，實(shí)現(xiàn)集中式分布式等架構(gòu)一體化、AP/TP場(chǎng)景支撐一體化、多類(lèi)引擎一體化，滿足一站式即開(kāi)即用場(chǎng)景需求。結(jié)合算網(wǎng)需求，在超大規(guī)模、跨域（計(jì)算、傳輸）智能調(diào)度、多模協(xié)同等算網(wǎng)基礎(chǔ)能力，逐步推出算力網(wǎng)絡(luò)一體化數(shù)據(jù)庫(kù)服務(wù)。分布式事務(wù)及GoogleSpannerTrueTime

分布式事務(wù):分布式數(shù)據(jù)庫(kù)的擴(kuò)展性必須需要數(shù)據(jù)分區(qū)，隨之而來(lái)的后果就是必須處理跨數(shù)據(jù)分區(qū)的分布式事務(wù)。綜述:AnEvaluationofDistributedConcurrencyControl(VLDB’2017)。TheEndofaMyth:DistributedTransactionsCanScale(VLDB’2017)Percolator:Google在分布式Key-valuestore(BigTable)上利用TSO和行原子性操作實(shí)現(xiàn)分布式事務(wù)處理協(xié)議.Large-scaleIncrementalProcessingUsingDistributedTransactionsandNoti?cations(OSDI’2010)Spanner:利用原子鐘和CommitWait機(jī)制實(shí)現(xiàn)分布式事務(wù)，保證外部一致性。

Spanner:Google’sGloballyDistributedDatabase(TOCS’2013)Calvin:確定性事務(wù)排序批量執(zhí)行機(jī)制。Calvin:FastDistributedTransactionsforPartitionedDatabaseSystems(SIGMOD’2012)HLC:使用TSO(全局時(shí)間戳)對(duì)分布式事務(wù)進(jìn)行定序，TSO會(huì)成為局部單點(diǎn)，影響擴(kuò)展性，混合邏輯時(shí)鐘根據(jù)事務(wù)相關(guān)性生成時(shí)間戳，解決擴(kuò)展性問(wèn)題。LogicalPhysicalClocksandConsistentSnapshotsinGloballyDistributedDatabasesCockroachDB:TheResilientGeo-DistributedSQLDatabase(SIGMOD’2020)微軟CitusMx功能的原理就是讓其他的worker節(jié)點(diǎn)攜帶元數(shù)據(jù)，相當(dāng)于攜帶元數(shù)據(jù)的worker節(jié)點(diǎn)都支持讀寫(xiě)的能力CitusData2010年成立于加州舊金山。2013年CitusData公布了它們第一個(gè)產(chǎn)品CitusDB。2015年，CitusData開(kāi)始scaleoutPostgreSQL。2016年CitusData開(kāi)始提供PostgreSQL的云服務(wù)。2019年微軟收購(gòu)CitusCitus基于PG的插件分布式線性擴(kuò)。MX功能實(shí)現(xiàn)Worker節(jié)點(diǎn)寫(xiě)擴(kuò)展PolarDB-X透明分布式亞馬遜分布式DSQL

2023年Auroralimitless支持Sharedtable和Referencetable.

通過(guò)指定shared_key,實(shí)現(xiàn)用戶完全透明無(wú)感的分布式。通過(guò)EC2TimeSyncservice實(shí)現(xiàn)和Google的TrueTime類(lèi)似的分布式事務(wù)能力2024年發(fā)布DSQL1、通過(guò)snapshotisolation+EC2TimySyncservice獲取t(start)的版本信息,提交的時(shí)通過(guò)OCC進(jìn)行沖突檢測(cè),如果沒(méi)有沖突,那么就直接進(jìn)行