金融科技產(chǎn)業(yè)聯(lián)盟-金融開放平臺數(shù)據(jù)庫轉(zhuǎn)型白皮書-2023

金融開放平臺數(shù)據(jù)庫轉(zhuǎn)型白皮書2023年09月2 1 1 2 3 (四)轉(zhuǎn)型挑戰(zhàn) 4 6 6 7 8 8 82、業(yè)務(wù)流量變化大的業(yè)務(wù) 83、可用性要求高的業(yè)務(wù) 8 9(二)國產(chǎn)化數(shù)據(jù)庫技術(shù)路線分析 9 2、分布式 2、高可用容災(zāi) 20 4、運維方案規(guī)劃設(shè)計 24 25 25 (四)上線割接 1、割接演練 28 29 1、運維保障 (六)風(fēng)險防范 2、路徑上先外圍后核心 3、漏洞及安全 32(一)現(xiàn)狀(GRAM應(yīng)用?) (三)路徑選擇 2.分布式改造 2.部署架構(gòu)選型 (五)遷移和同步，單/并軌 38 401.待工行補充實踐 40 40 41 41 41 42 42 42 43 4 45 12數(shù)據(jù)來源：金融信息化研究所圖3金融業(yè)集中式數(shù)據(jù)庫占比情況示意圖圖3FC網(wǎng)絡(luò) 計算層部署多個無狀態(tài)0racle實例(RAC),通過緩存融合技術(shù)(C4大，大量基于Oracle數(shù)據(jù)庫的應(yīng)用面臨數(shù)據(jù)庫國產(chǎn)化轉(zhuǎn)型的壓力日益增大，而大型業(yè)務(wù)應(yīng)用的0racle數(shù)據(jù)庫具有請求峰值大、數(shù)據(jù)量以工行為例，目前使用0racle數(shù)據(jù)庫的總行應(yīng)用接近200個，其中AB類應(yīng)用超過90個，合計使用了超過36類Oracle對象、24類基礎(chǔ)數(shù)據(jù)類型、166個系統(tǒng)內(nèi)置函數(shù)、67個系統(tǒng)高級包和168個系統(tǒng)視圖，存儲過程總行數(shù)超過2億，數(shù)據(jù)庫對象總數(shù)量超過3000(四)轉(zhuǎn)型挑戰(zhàn)567試),怎么選(按場景目標(biāo)架構(gòu)以集中式+分布式集中式為主)8應(yīng)用9關(guān)系分為SharedStorage/ShareNothing/Sh本文的集中式數(shù)據(jù)庫的共同特點是，數(shù)據(jù)庫訪問同一份數(shù)據(jù)(或數(shù)據(jù)副本),數(shù)據(jù)集中存儲在一起。從使用體驗上看，應(yīng)用看到的數(shù)傳統(tǒng)集中式數(shù)據(jù)庫包括主備HA,主備多副本，共享存儲多寫等架構(gòu)，在去0過程中，出現(xiàn)了一些引入分布式技術(shù)或從分布式數(shù)據(jù)庫(1)傳統(tǒng)集中式外置存儲只讀/異步讀寫只讀/異步12(2)精簡模式主實例備實例備實例存儲(可選)(1)分布式中間件中間件分布式中間件架構(gòu)由分布式中間件+單體數(shù)據(jù)庫組成。分布式中間件實現(xiàn)數(shù)據(jù)的路由、分布式事務(wù)等操作，單體數(shù)據(jù)庫多為單個集中式數(shù)據(jù)庫。(2)原生分布式數(shù)據(jù)庫原生分布式數(shù)據(jù)庫DN1主Rafn原生分布式數(shù)據(jù)庫由分布式事務(wù)調(diào)度管理和數(shù)據(jù)庫引擎等組成，通過分布式一致性協(xié)議保障副本數(shù)據(jù)一致性。相對分布式路由架構(gòu)對acle、SQLServer到開源數(shù)據(jù)庫My制約系統(tǒng)性能容量綜合使用成本圖6數(shù)據(jù)庫綜合使用成本示意圖點級/園區(qū)級異常故障場景下保證數(shù)據(jù)服務(wù)可用性，還需充分考慮新(一)規(guī)劃設(shè)計(1)規(guī)劃設(shè)計原則(2)數(shù)據(jù)庫規(guī)劃業(yè)務(wù)特征支撐能力是是sQL使用量基本未用不影響西通過存算分離架構(gòu)和企業(yè)全閃存儲，數(shù)據(jù)庫可支持>10T存儲容服務(wù)器日志復(fù)制集中式存儲RoCE網(wǎng)絡(luò)集中式存儲服務(wù)器本地盤(3)業(yè)務(wù)改造規(guī)劃數(shù)據(jù)庫驅(qū)動(jdbc、python等)替換、數(shù)據(jù)庫工具(客戶端、(1)遷移評估(2)遷移規(guī)劃設(shè)計(停機(jī))或全量+增量(在線)。(3)遷移實施(4)遷移驗收能測試互補，完成真正的E2E測試。(三)數(shù)據(jù)遷移(1)全量數(shù)據(jù)遷移自帶的數(shù)據(jù)導(dǎo)出和導(dǎo)入工具，如Oracle的數(shù)據(jù)泵，這種方式比較高源庫●不同數(shù)據(jù)庫提供了不同的數(shù)據(jù)導(dǎo)出/導(dǎo)入接口，如pg的copy接口可以把數(shù)據(jù)導(dǎo)出成csv格式，也可以把csv格式的數(shù)據(jù)導(dǎo)入到pg庫。(2)增量數(shù)據(jù)遷移目標(biāo)庫目標(biāo)庫(3)全量+增量遷移接，如0racle數(shù)據(jù)庫提供了scn點機(jī)制，可以在進(jìn)行全量遷移的時候指定scn,當(dāng)全量遷移完成后，再指定scn去進(jìn)行增量同步。目標(biāo)庫(1)割接要求(2)割接演練1)先中斷業(yè)務(wù)(如果業(yè)務(wù)負(fù)載非常輕，也可以嘗試不中斷業(yè)3)監(jiān)控數(shù)據(jù)同步時延是否為0,若為0則必須穩(wěn)定保持一段(1)數(shù)據(jù)庫巡檢(2)數(shù)據(jù)庫管理(3)數(shù)據(jù)庫監(jiān)控(一)現(xiàn)狀(GRAM應(yīng)用?)36類Oracle對象、24類基礎(chǔ)數(shù)據(jù)類型、166個系統(tǒng)內(nèi)置函數(shù)、67前期工具自動化轉(zhuǎn)換率只有70%,改造改造成本非常高。數(shù)據(jù)同步挑戰(zhàn)大：大型業(yè)務(wù)系統(tǒng)高峰期超過300G/小時數(shù)據(jù)歸檔1.原位替換，平滑遷移業(yè)務(wù)占70%以上。2.分布式改造這類業(yè)務(wù)總量不到30%。(四)方案規(guī)劃1.精簡模式性能、容量和高可用能力增強(qiáng)容量在10T以內(nèi)，無法滿足大型業(yè)務(wù)系統(tǒng)Oracle數(shù)據(jù)庫10T以上的案，對GaussDB承載大型業(yè)務(wù)系統(tǒng)Oracle數(shù)據(jù)庫轉(zhuǎn)型的多集群方案信貸應(yīng)用控期部腔測a應(yīng)用(備)容災(zāi)集群步，形成了GaussDB多中心多活的部署方案，實現(xiàn)了同城園區(qū)級和R2、通過存算分離架構(gòu)+華為Dorado集中式全閃存儲，突破了GaussDB數(shù)據(jù)庫10T存儲限制，增強(qiáng)了本地數(shù)據(jù)可靠性，具備了承接大3、采用業(yè)界通用的TPC-C關(guān)系型數(shù)據(jù)庫性能測試模型對GaussD性能呈現(xiàn)線性增長的趨勢，在物理服務(wù)器CPU資源使用率為60-70%時，TPMC達(dá)到68萬(約2.5萬TPS),具備了承接大型業(yè)務(wù)系統(tǒng)0racle數(shù)據(jù)庫轉(zhuǎn)型的性能基礎(chǔ)，滿足平臺核心和應(yīng)用性能需2.部署架構(gòu)選型精簡模式部署(70%)分布式部署(30%)(重要)35片臺其號301地住Du(非重)2381對7申st9不同數(shù)據(jù)庫版本，支持業(yè)務(wù)不中斷灰度升級，用于要求最高的5級及5+級業(yè)務(wù)但不支持故障隔離和灰度升級，用于3-4級業(yè)務(wù)(五)遷移和同步，單/并軌2.應(yīng)用各類型Oracle對象語法轉(zhuǎn)換成功率平均為96.69%3.應(yīng)用各類型0racle對象平均編譯通過率為99%4.存儲過程手工修改率為1.25%,平臺核心的數(shù)據(jù)庫代碼涉及1688個修改點，每個修改點平均約修改10行。整體修改代碼約16880行，修改率2.11%。5.平臺核心各類型0racle對象語法轉(zhuǎn)換成功率平均為99.05%6.平臺核心各類型Oracle對象平均編譯通過率為98.23%,7.平臺核心應(yīng)用存儲過程手工修改率為1.65%,平臺核心的數(shù)據(jù)庫代碼近199萬行，涉及1642個修改點，每個修改點平均約修改10行。整體修改代碼約16420行，修改率0.83%。2.提升異構(gòu)數(shù)據(jù)庫數(shù)據(jù)遷移工具能力參照Oracle原有的UTPlugin自動化測試工具，基于W行自動化案例97個(其中35個核心功能批量),案例執(zhí)行率和通基于存儲過程比對、存儲過程分支比對和SQL語句對比研發(fā)自動每個案例對應(yīng)一個存過；二期測試針對Gram應(yīng)用所有存儲過程的所有分支，比對測試工具自動生成57947個案例，每個案例對應(yīng)一個分支；三期測試針對Gram應(yīng)用中涉及到轉(zhuǎn)換對象的SQL語句，比對測測試人力，為Oracle應(yīng)用遷移提供自動化驗證方案。研發(fā)通過打樁方式統(tǒng)計存儲過程測試覆蓋率的工具，結(jié)合比對測試工具，Gram應(yīng)用存儲過程的測試覆蓋率100%,分支覆蓋率75%,達(dá)到了預(yù)期的覆蓋目標(biāo)，有效解決了測試過程中測試覆蓋率統(tǒng)計問通過技術(shù)攻關(guān)研發(fā)了交易錄放工具，通過抓取0racle數(shù)據(jù)庫的流量抓?。和ㄟ^在交換機(jī)上配置端口鏡像，使用旁路模式把0ra信息，以json格式存儲到ElasticSearch中。(七)運維1.待工行補充實踐1.提升GaussDB性能容量及高可用能力2.提升異構(gòu)數(shù)據(jù)庫數(shù)據(jù)復(fù)制工具的數(shù)據(jù)同步能力通過技術(shù)攻關(guān)最終實現(xiàn)300G/小時的增量數(shù)據(jù)同步，解決了大型業(yè)務(wù)系統(tǒng)Oracle數(shù)據(jù)庫轉(zhuǎn)型后的雙向數(shù)據(jù)同步問題，降低了應(yīng)用遷成GaussDB數(shù)據(jù)庫對象，轉(zhuǎn)換正確率和編譯通過均達(dá)到95%以上，為證方面，研發(fā)流量回放工具，抓取0racle數(shù)據(jù)庫運行的SQL在Gaus“來源：華為云GaussDB數(shù)據(jù)庫(二)基于內(nèi)存池的HTAP,釋放軟硬協(xié)同的潛能斷領(lǐng)針扣斷領(lǐng)針扣生命周期管理性能趨勞預(yù)支律基礎(chǔ)ExplorationCleanlng