MongoDB內(nèi)核源碼分布式事務(wù)介紹

1、MongoDB 內(nèi)核源碼分布式事務(wù)介紹技術(shù)創(chuàng)新，變革未來大綱MongoDB 作為Modern Database的High-Level Design存算分離架構(gòu)的GaussDB(for Mongo)DDS團(tuán)隊(duì)在社區(qū)源碼上的實(shí)踐RocksDB支持Timestamp Based TxnMongoRocksDDS對(duì)MongoDB的增強(qiáng)MongoDBs High Level DesignShardingHLC & ChangeStreamReplicationRaft ProtocolRollbackTransactionTimestamp Based Concurrency ControlDistri

2、buted TransactionMongoDBs 2PC ProtocolHLC & ChangeStreamChangeStream 如何成為可能？不同 Shard 上物理時(shí)鐘有偏差ChangeStream 全局有序考慮極端場(chǎng)景：ShardA 物理時(shí)間戳: 2021-01-12-11:30opTime: 8000, .opTime: 8001, .ShardB 物理時(shí)間戳: 2021-01-12-12:30opTime: 10000, .opTime: 10001, .困難：物理時(shí)鐘偏差/跳變，每個(gè)Shard下一條OplogTime不確定8000 - 8001 - 10000 - 1000

3、1 ?混合邏輯時(shí)鐘(HLC)HLC的推進(jìn)(mongod,mongos,configSvr)統(tǒng)一邏輯local.hlc = max(local.hlc, (local.wallclock, 0), request.clusterTime)HLC的分配(shard上,oplog時(shí)間戳)local.hlc = local.wallclock local.hlc.clock ? hlc(local.wallclock, 0) : hlc(local.hlc.clock, local.hlc.count+n)HLC在集群的所有節(jié)點(diǎn)中動(dòng)態(tài)推進(jìn)(gossiping)HLC的分配的唯一來源：Shard上數(shù)據(jù)的

4、寫入，shard 添加,刪除HLC 解決ChangeStream的困難InitialMongos.HLC = 9000ShardA.HLC = 8000ShardB.HLC = 10000Step1: MongoS-ShardA, ShardA.HLC = max(8000, 9000) = 9000Step2: MongoS-ShardBShardB.HLC = max(9000, 10000) = 10000By Response, Mongos.HLC = 10000Step3: ShardA writeShardA.HLC = 9000+1 = 9001Step4: ChangeStr

5、eam8000(ShardA)-8001(ShardA)-9001(ShardA)-10000(ShardB)-10001(ShardB)Replication與Raft協(xié)議MongoDB 基于Raft協(xié)議復(fù)制/選主Raft論文 “In Search of an Understandable Consensus Algorithm”核心差異嚴(yán)格Raft只回滾log，不回滾數(shù)據(jù)(類似于writeConcern=majority)缺點(diǎn)：吞吐低，延時(shí)高改進(jìn)點(diǎn)writeConcern=1時(shí)，數(shù)據(jù)先于raft-protocol commit復(fù)雜性raft rollback時(shí)，database要連帶rol

6、lbackReplication與Raft協(xié)議3.X 系列：RollbackViaRefetch找到本節(jié)點(diǎn)oplog和新主節(jié)點(diǎn)oplog的最近公共祖先走網(wǎng)絡(luò)，拉取主節(jié)點(diǎn)新oplog到本地回放，覆蓋老記錄4.X 系列：Recovery To TimestampWiredTiger 支持FlushBack 到 Raft 的 commit pointMongodb RobackTransaction基于時(shí)間戳(readTs/commitTs/prepareTs)的并發(fā)控制The design of wiredTiger s timestampTransaction and associated co

7、rrectness proofhttps:/15721./spring2020/slides/04- mvcc2.pdf核心點(diǎn)：利用HLC作為oplog的EntryOplog的Entry作為Transaction的commitsMongoDB事務(wù)相關(guān)介紹文章MongoDB 事務(wù)，復(fù)制和分片的關(guān)系MongoDB復(fù)制技術(shù)內(nèi)幕Timestamp Based Txns基于時(shí)間戳的事務(wù)是NewSQL的主流CockRoachDBMongoDBTIDB OCCFoundationDB原生具有時(shí)間戳事務(wù)接口的存儲(chǔ)引擎WiredTigerRocksDBThe proposal of Timestamp Orde

8、ring Transactions Over RocksDBMongoDB的分布式事務(wù)基于CLOCK-SI的2PC協(xié)議PrepareCoordinator向所有節(jié)點(diǎn)廣播Prepare命令所有節(jié)點(diǎn)返回的commitTimestamp = max(prepareTs0, prepareTs1)CommitCoordinator向所有節(jié)點(diǎn)廣播Commit命令分布式事務(wù)在每個(gè)Shard上是一個(gè)個(gè)獨(dú)立的事務(wù)每個(gè)Shard上的事務(wù)提交時(shí)間戳都相等相關(guān)引用/g/wiredtiger-users/c/0MV1LA5lsC4https:/infoscience.epfl.ch/record/187553/fil

9、es/srds2013_clocksi.pdf存儲(chǔ)計(jì)算分離架構(gòu)的GaussDB(for Mongo)秒級(jí)添加Secondary節(jié)點(diǎn)社區(qū)版Mongo小時(shí)級(jí)添加Secondary節(jié)點(diǎn)基于WAL復(fù)制, Secondary節(jié)點(diǎn)無(wú)寫IO從根本上解決社區(qū)版Seconary節(jié)點(diǎn)Oplog脫節(jié)問題Primary/Seconary無(wú)任何IO交互Secondary節(jié)點(diǎn)個(gè)數(shù)理論無(wú)上限, 支持百萬(wàn)OPS的讀事務(wù)能力LSMTree Compaction 計(jì)算/IO卸載到Compaction統(tǒng)一調(diào)度池集中管理,不浪費(fèi)用戶讀寫IO基于共享存儲(chǔ)，Chunk分裂/遷移動(dòng)作不引起真實(shí)IO，只更新路由元數(shù)據(jù)，秒級(jí)分裂/均衡Gaus

10、sDB(for Mongo)GaussDB(for Mongo)DDS在MongoDB源碼上的實(shí)踐背景：云上MongoDB承載更多的業(yè)務(wù)訴求AGPL向左，SSPL向右RocksDB 與 WiredTiger 之爭(zhēng)路線：DDS基于MongoDB4.X基線版本，走國(guó)產(chǎn)化路線兼容4.2,4.4, 同時(shí)開發(fā)國(guó)產(chǎn)化的新特性DDS在 MongoDB 源碼上的實(shí)踐DDS在 MongoDB 源碼上的實(shí)踐集群模式多文檔事務(wù)支持社區(qū)版MongoDB4.0系列，只有副本集部署模式才支持多文檔事務(wù)。華為云MongoDB內(nèi)核團(tuán)隊(duì)打破了這一局限性，使得集 群部署模式下也支持多文檔事務(wù)。為了實(shí)現(xiàn)這一功能，mongos上增加

11、了對(duì)Session的支持，mongos側(cè)的Session對(duì)象跟蹤事 務(wù)執(zhí)行的狀態(tài)并路由到對(duì)應(yīng)的Shard上執(zhí)行。集群模式下的事務(wù)使用方式與副本集上完全一致。相關(guān)的wiki可以參考DDS Cluster Multi-Doc Transactions，與該功能相關(guān) 的提交可以參考mongos session。中文全文檢索db.quotes1.createIndex( content : text ,default_language:chinese)db.quotes1.insert(content: 南京市長(zhǎng)江大橋)db.quotes1.insert(content: 南京市長(zhǎng))db.quotes

12、1.insert(content: 江大橋)db.quotes1.find($text: $search: 南京 ) _id : ObjectId(5ef5706a520ee86cb3cd7528), content : 南京市長(zhǎng) _id : ObjectId(5ef5705f520ee86cb3cd7527), content : 南京市長(zhǎng)江大橋 DDS在 MongoDB 源碼上的實(shí)踐操作審計(jì)功能DDS支持用戶/庫(kù)/表/操作級(jí)別的審計(jì)功能。auditLog: authSuccess: true, format: JSON, opFilter: off, nsFilter: insert:testDB.testColl1, all:test5,path: /mongodb/log/audit.logdb.runCommand( reload: auditOpFilter,param: insert,command)查詢內(nèi)存限制避免并發(fā)查詢下的OOM問題internalQueryStageMemUsageSwitch / 功能開關(guān)/ 查詢計(jì)劃可使用/ 在內(nèi)存滿后，讓internalQueryStageMemUsageMax最大