2024分布式數(shù)據(jù)庫(kù)技術(shù)金融應(yīng)用規(guī)范的技術(shù)架構(gòu)及核心功能的解讀

(e.gmysql

SELECT*FROM

WHERE

Storage

(e.gSETSET…WHEREATE

IncrementDataIncrementDataClientUPDATETABLE_NAMEClientUPDATETABLE_NAMESET…WHERESQLFullkre

MyMySQOrlD2

DataData

DataData

DataDataDD 位置ngMySQOrlD2服務(wù)HAUnixUnixX86架ARM架

——以通用標(biāo)準(zhǔn)的物理服務(wù)器和操作系統(tǒng)為基礎(chǔ)平臺(tái)。數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理在X86、ARM架構(gòu)的物理服務(wù)器上，操作系統(tǒng)為以類Linux作系統(tǒng)為基礎(chǔ)的各類國(guó)產(chǎn)操作系統(tǒng)、商用操作系統(tǒng)、開源操作操作等軟件平臺(tái)上?！獜椥运綌U(kuò)展。使用數(shù)據(jù)分片技術(shù)，將多個(gè)數(shù)據(jù)分片整合成邏輯上統(tǒng)一的分布式事務(wù)數(shù)據(jù)庫(kù)集群，并根據(jù)業(yè)務(wù)發(fā)展需要可隨時(shí)在線動(dòng)態(tài)增加/減少數(shù)據(jù)分片數(shù)量，從而突破集中式數(shù)據(jù)庫(kù)在存儲(chǔ)容量和處理性能上所面臨的限制。CREATETABLET4(IDCREATETABLET4(IDINTUNSIGNEDNOTINSEINITIUL,PRPPAUTNCREMENT,VLUECREATETABLET4(IDINTUNSIGNEDNOTPRIMARYKEYAUTO_INCREMENT,CREATETABLET4(IDINTUNSIGNEDNOTPRIMARYKEYAUTO_INCREMENT,CREATETABLET4(IDINTAUTO_INCREMENTNOTNULL,VALUEINT,PRIMARYKEY(ID));Query1-INSERTINTO301條記錄 Query舉例：（指揮官角色）rmr計(jì)算節(jié)點(diǎn)自增序列號(hào)1-1000，第一個(gè)（集群?jiǎn)⒂?jì)算節(jié)點(diǎn)30003001-INSERT集群?jiǎn)⒂?jì)算節(jié)點(diǎn)30003001-INSERTINTO300條記錄INSERTINTO400條記錄分布式事務(wù)數(shù)據(jù)庫(kù)中使用自增序列方式與單庫(kù)MySQL 舉例：CREATETABLET4IDINTNOTNULLAUTO_INCREMENT,VALUEINTPRIMARY

舉例：通過第二個(gè)計(jì)算節(jié)點(diǎn)插入1001條數(shù)據(jù)時(shí)，因?yàn)樵撚?jì)算節(jié)點(diǎn)僅有1

主從一致延遲超過1秒鐘：

強(qiáng)制某一類讀操作SQL分布式事務(wù)數(shù)據(jù)庫(kù)的并行計(jì)算INSERTINSERTINTOtable_nameVALUESINSERTINTOtable_nameVALUES104100000004,‘中國(guó)INSERTINTOtable_nameVALUES105100000017,‘中國(guó)INSERTINTOtable_nameVALUES305100000013,‘中國(guó)VALUES303100000006

以存儲(chǔ)支付機(jī)構(gòu)號(hào)數(shù)據(jù)的MIDF字段作為分片字段，使用路由算法MATCH機(jī)構(gòu)號(hào)104100000004和305100000013存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN1；機(jī)構(gòu)號(hào)105100000017和303100000006存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN2。305100000003路由規(guī)則為DN1MIDFMIDFMIDFMIDFQueryok,1row 05100000017 03100000006rowaffected3 05100000017 03100000006rowaffected3Queryok,rowaffected1Queryok, 動(dòng)畫演示：數(shù)據(jù)拆分為個(gè)數(shù)據(jù)節(jié)點(diǎn)（D和D），每個(gè)數(shù)據(jù)節(jié)點(diǎn)為經(jīng)典的雙主架構(gòu)（D和D’為一對(duì)，D和D’為一對(duì)）。通過分布式事務(wù)數(shù)據(jù)庫(kù)的分片路由算法及分片函數(shù)CH，控制數(shù)據(jù)行的存儲(chǔ)分布位置。分布式事務(wù)數(shù)據(jù)庫(kù)的并行計(jì)算INSERTINSERTINTObINSERTINTObmeVALUES(104100000004,‘中國(guó)銀行總部’)(105100000017,‘中國(guó)建設(shè)銀行總行(305100000013,‘中國(guó)民生銀行總行(303100000006,‘中國(guó)光大銀行總行INSERTINTOtable_name(104100000004,‘中國(guó)銀行總部INSERTINTOtable_nameINSERTINTOtable_name(104100000004,‘中國(guó)銀行總部INSERTINTOtable_name(105100000017,‘中國(guó)建設(shè)銀行總行INSERTINTOtable_name(303100000006,‘中國(guó)光大銀行總行INSERTINTOtable_nameQueryok,2rows(305100000013,‘中國(guó)民生銀行總行

以存儲(chǔ)支付機(jī)構(gòu)號(hào)數(shù)據(jù)的MIDF字段作為分片字段，使用路由算法MATCH機(jī)構(gòu)號(hào)104100000004和305100000013存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN1；機(jī)構(gòu)號(hào)105100000017和303100000006存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN2。MIDF305100000013DN1,105100000017MIDF rowaffected; rowaffected;3Queryok,rowQueryok,MIDFQueryok,1owaffectedQueryok,1owaffected動(dòng)畫演示：數(shù)據(jù)拆分為個(gè)數(shù)據(jù)節(jié)點(diǎn)（D和D），每個(gè)數(shù)據(jù)節(jié)點(diǎn)為經(jīng)典的雙主架構(gòu)（D和D’為一對(duì)，D和D’為一對(duì)）。通過分布式事務(wù)數(shù)據(jù)庫(kù)的分片路由算法及分片函數(shù)CH，控制數(shù)據(jù)行的存儲(chǔ)分布位置。分布式事務(wù)數(shù)據(jù)庫(kù)的并行計(jì)算UPDATEUPDATEtable_nameSET行”WHERE

機(jī)構(gòu)號(hào)104100000004和305100000013存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN1；機(jī)構(gòu)號(hào)105100000017和303100000006存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN2。 MIDF MIDFMIDFQueryok,1 動(dòng)畫演示：數(shù)據(jù)拆分為個(gè)數(shù)據(jù)節(jié)點(diǎn)（D和D），每個(gè)數(shù)據(jù)節(jié)點(diǎn)為經(jīng)典的雙主架構(gòu)（D和D’為一對(duì)，D和D’為一對(duì)）。通過分布式事務(wù)數(shù)據(jù)庫(kù)的分片路由算法及分片函數(shù)CH，計(jì)算出分片字段值的存儲(chǔ)位置分布，控制Q語(yǔ)句路由到正確的存儲(chǔ)數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行，并返回結(jié)果集給應(yīng)用程序。分布式事務(wù)數(shù)據(jù)庫(kù)的并行計(jì)算UPDATEUPDATEtable_nameSET分行’)WHEREMIDFIN(105100000017305100000013);UPDATEbmeSETUPDATEbmeSETWHEREMIDFIN

機(jī)構(gòu)號(hào)104100000004和305100000013存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)機(jī)構(gòu)號(hào)105100000017和303100000006存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN2EPLACE(ISSUERISSUER=RQueryok,2rowsaffecteEPLACE(ISSUER

分片字段值105100000017，305100000013經(jīng)路由算法MATCH算，得出存儲(chǔ)位置分別為DN1節(jié)點(diǎn)和DN2 MIDF MIDFQueryok,1r MIDFQueryok,1ro 動(dòng)畫演示：數(shù)據(jù)拆分為個(gè)數(shù)據(jù)節(jié)點(diǎn)（D和D），每個(gè)數(shù)據(jù)節(jié)點(diǎn)為經(jīng)典的雙主架構(gòu)（D和D’為一對(duì)，D和D’為一對(duì)）。通過分布式事務(wù)數(shù)據(jù)庫(kù)的分片路由算法及分片函數(shù)CH，計(jì)算出分片字段值的存儲(chǔ)位置分布，控制Q語(yǔ)句路由到正確的存儲(chǔ)數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行，并返回結(jié)果集給應(yīng)用程序。分布式事務(wù)數(shù)據(jù)庫(kù)的并行計(jì)算SELECTSELECT*FROMtable_nameWHEREMIDF=105100000017;

機(jī)構(gòu)號(hào)104100000004和305100000013存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN1；機(jī)構(gòu)號(hào)105100000017和303100000006存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)DN2。 MIDF MIDFMIDF動(dòng)畫演示：數(shù)據(jù)拆分為個(gè)數(shù)據(jù)節(jié)點(diǎn)（D和D），每個(gè)數(shù)據(jù)節(jié)點(diǎn)為經(jīng)典的雙主架構(gòu)（D和D’為一對(duì)，D和D’為一對(duì)）。通過分布式事務(wù)數(shù)據(jù)庫(kù)的分片路由算法及分片函數(shù)C，計(jì)算出分片字段值的存儲(chǔ)位置分布，控制Q語(yǔ)句路由到正確的存儲(chǔ)數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行，并返回結(jié)果集給應(yīng)用程序。分布式事務(wù)數(shù)據(jù)庫(kù)的并行計(jì)算SELECTSELECTO.MIDFASA,O.ISSUERASOISS,ASOJOINMASPONO.MROOT=P.MROOTWHERE

支付機(jī)構(gòu)號(hào)數(shù)據(jù)的MIDF字段+報(bào)文標(biāo)識(shí)號(hào)MROOT字段組合作為分片字段，使用路由算法MATCH約定算法HASH函數(shù)。SELECTP.MIDFSELECTP.MIDFASB,P.ISSUERASPISS,FROMMASPWHERE 分片字段值A(chǔ),FROMMASOWHEREO.MROOT=104100000001;分布式事務(wù)數(shù)據(jù)庫(kù)將SQL語(yǔ)句路由下發(fā)到DN1和DN2數(shù)據(jù)節(jié)點(diǎn)上并行執(zhí)行，返回的結(jié)果集再經(jīng)分布式事務(wù)數(shù)據(jù)庫(kù)內(nèi)置JOIN算法處理，最終返回應(yīng)用程序期望的結(jié)果集

中國(guó)銀行總 中國(guó)銀行總

中國(guó)光大銀行總行 中國(guó)光大銀行總行 動(dòng)畫演示：數(shù)據(jù)拆分為個(gè)數(shù)據(jù)節(jié)點(diǎn)（D、D），每個(gè)數(shù)據(jù)節(jié)點(diǎn)為經(jīng)典的雙主架構(gòu)（D和D’為一對(duì)，D和D’為一對(duì)）。通過分布式事務(wù)數(shù)據(jù)庫(kù)的分片哈希約定算法及分片函數(shù)HH，及分布式事務(wù)數(shù)據(jù)庫(kù)的內(nèi)置JI算法引擎，實(shí)現(xiàn)跨數(shù)據(jù)節(jié)點(diǎn)的JI及數(shù)據(jù)結(jié)果集合并處理再返回正確的結(jié)果集。updateQueryupdateQueryupdateQuery

updateupdateupdateupdate點(diǎn)Query點(diǎn)Query Query

Query

制 存儲(chǔ)節(jié) 存儲(chǔ)節(jié)

存儲(chǔ) 儲(chǔ)節(jié)

T1線程，產(chǎn)生隨機(jī)數(shù)NSTARTTRANST2線程，休眠0.1

NSAC_TESTSETUPDATETRA

查詢T1

后稱該字段為C1，兩行數(shù)據(jù)后稱R1與T1線程，產(chǎn)生一個(gè)新的整型的范圍在1到100UPDATETRANSAC_TESTSETVALUE=VALUE-NWHERE

T2線程，休眠0.1秒，開啟事務(wù)，查詢R1與R2行的C1字段及其和并記錄結(jié)果，休眠

+-+- -1-

Readncmmitted：線程在事務(wù)中的讀取，可能并且應(yīng)該出現(xiàn)字段和不為0的現(xiàn)象RepeatableRead：

數(shù)據(jù)拆分為18meSETUPDATE StartmeSETUPDATE Start總行’,’分行’)WHEREID>1andIameSETdID<1000 Coit行’（ActiveMaster與StandbyUPDATEtableUPDATEtable_nameSETWHEREID>1andID<1000WHERECommit

UPDATEPrepareUPDATEPrepareUPDATE操Commit

CommitCommit

UPDATEPrepareUPDATEPrepareUPDATE操分布StartUPDATEtable_nameSET分行’)WHEREID>1andID<1000able_nameSHEREID>1anPreparedTE分布StartUPDATEtable_nameSET分行’)WHEREID>1andID<1000able_nameSHEREID>1anPreparedTE Coit) 數(shù)據(jù)拆分為18數(shù)據(jù)拆分為18分行’)WHEREID>1andID<1000Commit ‘總行UPDATE障Prepare障Prepare

CommitCommit

UPDATEUPDATEPrepareUPDATEUPDATEPrepareSQL+UPDATE操SQL+CommitOK點(diǎn)（DN1~DN18），每架構(gòu)（ActiveMaster與

分布StartUPDATEtable_nameSETWHERE分布StartUPDATEtable_nameSETWHEREID>1andID<1000dPrepare‘總行’,’分行WHEREStandbyMaster

ID>1and數(shù)據(jù)拆分為18UPDATEUPDATE

‘總 UPDATEUPDATEL

UPDATEUPDATEUPDATE INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;INSERTINTOTABLE_NAME INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;INSERTINTOTABLE_NAMEVALUES（XXX），（XXX）…;DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;SESSIONTRANSACTION1：批量插入1000條數(shù)據(jù)TRANSACTION2：刪除上一步插入的1000條數(shù)據(jù)SELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSESSIONSELECTCOUNT(*)FROMINSERTINTOTABLE_NAMESELECTCOUNT(*0或DELETEFROMTABLE_NAMEVALUES（XXX），（XXX）…;QueryQueryQueryQueryQueryQueryQueryQuery

QueryQuery

COUNT(*)操作，查詢所有節(jié)點(diǎn)的數(shù)據(jù)總數(shù)，QueryQuery SESSION反復(fù)執(zhí)行：批量插入1000SELECTCOUNT(*)FROMQueryQueryQueryQuery

QueryQuery

INSERTINTOTABLE_NAMEINSERTINTOTABLE_NAME INSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMEINSERTINTOTABLE_NAMESELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSELECTCOUNT(*)FROMSESSIONSELECTCOUNT(*)FROMSELECTCOUNT(*)出的結(jié)果為1000QueryQueryQueryQueryQueryQueryINSERTINTOTABLE_NAME(ID,NAME)VALUESINSERTINTOTABLE_NAME(ID,NAME)VALUES(12,'abc’),(13,'abc’),SELECT*FROMTABLE_NAMEWHEREID=11FORSELECT*FROMTABLE_NAMEWHEREID=14FOR依舊在A客戶端繼續(xù)執(zhí)行AUPDATETABLE_NAMESETNAME=‘bcd’WHERE UPDATETABLE_NAMESETNAME=‘bcd’

開啟一個(gè)客戶端執(zhí)行A

ery

INSERTINTOINSERTINTO INSERTINTOINSERTINTOINSERTINTOINSERTINTOSELECT*FROMWHEREID=11FORSELECT*FROMWH