金融級(jí)混沌測(cè)試平臺(tái)建設(shè)能力研究

（一）建設(shè)背景 1（二）建設(shè)目標(biāo) 2 3（一）功能要求 3（二）適配性要求 7（三）集成要求 7 8（一）系統(tǒng)構(gòu)成 8（二）技術(shù)架構(gòu) 9（三）功能模塊 10（四）故障種類 12 13（一）測(cè)試目標(biāo) 13（二）測(cè)試內(nèi)容 14（三）測(cè)試過(guò)程 15 271一、混沌測(cè)試平臺(tái)背景與目標(biāo)（一）建設(shè)背景隨著數(shù)字化轉(zhuǎn)型，金融行業(yè)加快了新一代架構(gòu)轉(zhuǎn)型的步伐，由傳統(tǒng)的SOA架構(gòu)向分布式架構(gòu)、去中心化發(fā)展，當(dāng)前還進(jìn)階到注重云化支持和異構(gòu)化微服務(wù)支持的服務(wù)網(wǎng)格模式。系統(tǒng)規(guī)模日益龐大，交易鏈路長(zhǎng)、數(shù)據(jù)流轉(zhuǎn)復(fù)雜，微服務(wù)架構(gòu)由于技術(shù)異構(gòu)性、具備彈性伸縮、可擴(kuò)展性等優(yōu)勢(shì)，得到廣泛推廣；同時(shí)微服務(wù)架構(gòu)在使用過(guò)程中又面臨諸多挑戰(zhàn)，由于系統(tǒng)級(jí)依賴增多而帶來(lái)的不確定性風(fēng)險(xiǎn)指數(shù)級(jí)增長(zhǎng)；通過(guò)傳統(tǒng)手段進(jìn)行高可用驗(yàn)證、代碼健壯性審查、加大測(cè)試范圍、提高監(jiān)控敏感度等手段，都無(wú)法有效發(fā)現(xiàn)系統(tǒng)潛在風(fēng)險(xiǎn)。在微服務(wù)架構(gòu)下，系統(tǒng)的風(fēng)險(xiǎn)管理越來(lái)越重要，提高系統(tǒng)韌性成為必然發(fā)展趨勢(shì)。微服務(wù)架構(gòu)轉(zhuǎn)型的驅(qū)動(dòng)下，“混沌工程”實(shí)踐可以通過(guò)規(guī)范化，流程化的方案對(duì)系統(tǒng)進(jìn)行一定程度的“隨機(jī)破壞”，讓故障在可控范圍內(nèi)頻繁發(fā)生，在此過(guò)程中可以深入地認(rèn)知故障和系統(tǒng)，并達(dá)到持續(xù)改進(jìn)的效果。混沌工程是通過(guò)向系統(tǒng)中引入軟件或硬件的異常狀態(tài)（擾動(dòng)制造故障場(chǎng)景并根據(jù)系統(tǒng)在各種壓力下的行為表現(xiàn)確定優(yōu)化策略的一種系統(tǒng)穩(wěn)定性保障手段。其原則是可量化的穩(wěn)定狀態(tài)、可反映真實(shí)場(chǎng)景，但風(fēng)險(xiǎn)未知的假設(shè)、影響最小化。混沌工程利用實(shí)驗(yàn)提前探知系統(tǒng)風(fēng)險(xiǎn)，通過(guò)架構(gòu)優(yōu)化和運(yùn)維模式的改進(jìn)來(lái)解決系統(tǒng)風(fēng)險(xiǎn)，真正提升系統(tǒng)架構(gòu)韌性，增強(qiáng)故障免疫力。2混沌工程是在分布式系統(tǒng)上進(jìn)行實(shí)驗(yàn)的學(xué)科，首次提出是在在SimainArmy項(xiàng)目中開(kāi)源，SimianArmy成為首個(gè)開(kāi)源的混沌工程工具集。2019年開(kāi)始，國(guó)內(nèi)企業(yè)紛紛引入并實(shí)踐混沌工程?；煦绻こ掏ㄟ^(guò)主動(dòng)向系統(tǒng)中引入軟件或者硬件的異常狀態(tài)（擾動(dòng)制造故障場(chǎng)景并根據(jù)系統(tǒng)在各種壓力下的行為表現(xiàn)確定優(yōu)化策略。應(yīng)用混沌工程可以對(duì)系統(tǒng)抵抗擾動(dòng)并保持正常運(yùn)作的能力進(jìn)行校驗(yàn)和評(píng)估，還可以提前識(shí)別未知隱患并進(jìn)行修復(fù)，進(jìn)而保障系統(tǒng)更好地抵御生產(chǎn)環(huán)境中的失控條件。目前國(guó)內(nèi)混沌工程領(lǐng)域主要集中在一些大型互聯(lián)網(wǎng)企業(yè)，應(yīng)用領(lǐng)域和范圍較小，商業(yè)化程度不高。金融行業(yè)建行、興業(yè)、中并開(kāi)展混沌實(shí)驗(yàn)。例如，建信金科混沌工程故障演練平臺(tái)應(yīng)用于分布式平臺(tái)相關(guān)組件，如應(yīng)用路由、配置中心、分布式緩存、分布式消息、索引維護(hù)服務(wù)、分布式數(shù)據(jù)庫(kù)等；在場(chǎng)景方面，建信金科在兩地三中心多AZ故障、銀行核心沖正交易異常時(shí)序、代收代付慢交易、應(yīng)用路由服務(wù)治理、應(yīng)用路由堵塞問(wèn)題模擬等場(chǎng)1.業(yè)務(wù)目標(biāo)為豐富微服務(wù)和分布式系統(tǒng)的故障測(cè)試手段，解決分布式系統(tǒng)故障高發(fā)且難以預(yù)測(cè)的問(wèn)題，通過(guò)研發(fā)自動(dòng)化水平高、通用性3好、易用性強(qiáng)的混沌工程測(cè)試平臺(tái)，幫助金融機(jī)構(gòu)提升開(kāi)展混沌實(shí)驗(yàn)的效率，降低開(kāi)展混沌實(shí)驗(yàn)的成本，不斷提升分布式系統(tǒng)的穩(wěn)定性和容錯(cuò)能力。在現(xiàn)有研究基礎(chǔ)上，重點(diǎn)突破全類型故障模在金融行業(yè)不同業(yè)務(wù)場(chǎng)景開(kāi)展示范應(yīng)用，進(jìn)一步推動(dòng)混沌工程方法普及，促進(jìn)軟件產(chǎn)業(yè)健康發(fā)展?；煦鐚?shí)驗(yàn)是指在混沌工程測(cè)試平臺(tái)上面向復(fù)雜系統(tǒng)開(kāi)展故障模擬、故障編排、故障注入、狀態(tài)監(jiān)測(cè)和故障恢復(fù)等一系列操作的集合。2.技術(shù)目標(biāo)研究故障編排引擎、深入底層的故障注入、有效控制最小爆炸半徑等關(guān)鍵技術(shù)，在混沌測(cè)試平臺(tái)上提供混沌實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)編排、故障注入、狀態(tài)檢查、監(jiān)控告警、實(shí)驗(yàn)報(bào)告等功能，實(shí)現(xiàn)高度自動(dòng)化和可視化的操作，做到故障對(duì)應(yīng)用無(wú)侵入，減少組件依賴，構(gòu)建完整的混沌工程閉環(huán)生態(tài)。二、混沌測(cè)試平臺(tái)建設(shè)要求主要功能應(yīng)包括混沌實(shí)驗(yàn)?zāi)K、故障模擬發(fā)壓模塊、可觀測(cè)性模塊、權(quán)限管理模塊、專家?guī)炷K5大部分?；煦鐚?shí)驗(yàn)?zāi)K支持對(duì)待測(cè)底層設(shè)施物理機(jī)/虛擬機(jī)、容器進(jìn)行管理；故障模擬發(fā)壓模塊支持對(duì)混沌實(shí)驗(yàn)的過(guò)程進(jìn)行管理，同時(shí)還對(duì)演練過(guò)程混沌實(shí)驗(yàn)事件進(jìn)行標(biāo)注；可觀測(cè)性模塊支持對(duì)實(shí)驗(yàn)全過(guò)程的監(jiān)測(cè)和分析；權(quán)限管理模塊支持進(jìn)行混沌實(shí)驗(yàn)人員管理。專家?guī)炷K支持4沉淀典型故障業(yè)務(wù)場(chǎng)景，提供平臺(tái)人員使用產(chǎn)品的效率。各個(gè)功能模塊具體如下描述：1.混沌實(shí)驗(yàn)?zāi)K混沌實(shí)驗(yàn)調(diào)度組件。該組件基于自定義資源對(duì)象CRD設(shè)計(jì)，可以用來(lái)創(chuàng)建、配置和管理多種類型的混沌實(shí)驗(yàn)，組件接收到混沌實(shí)驗(yàn)對(duì)象的創(chuàng)建、更新等事件后，獲取到具體混沌實(shí)驗(yàn)的最新配置。在通過(guò)解析調(diào)度規(guī)則以及實(shí)驗(yàn)配置后，執(zhí)行具體的混沌實(shí)驗(yàn)。使用該組件，用戶可以通過(guò)YAML文件的方式自定義混沌實(shí)實(shí)現(xiàn)完全無(wú)侵入的故障注入，并且提供了很強(qiáng)的拓展性，用戶可以直接在此組件上增加新的故障注入類型。故障注入組件。組件提供不同類型原子故障的注入和恢復(fù)功能，以DaemonSet方式運(yùn)行在每一個(gè)物理節(jié)點(diǎn)上，在接受來(lái)自調(diào)度組件的故障注入請(qǐng)求后，按照故障請(qǐng)求的配置，修改具體容器的cgroup，或者進(jìn)入具體Pod命名空間下，通過(guò)tc、iptables、ipset等工具干擾具體的網(wǎng)絡(luò)資源對(duì)象。同時(shí)該組件使用eBPF提供了內(nèi)核故障注入的能力。物理節(jié)點(diǎn)（虛擬機(jī)）編排引擎。該引擎提供多節(jié)點(diǎn)混沌實(shí)驗(yàn)編排的能力，用戶將目標(biāo)節(jié)點(diǎn)注冊(cè)到該組件后，可以使用該引擎對(duì)已注冊(cè)的節(jié)點(diǎn)執(zhí)行各類故障注入。用戶可以直接使用該引擎自定義混沌實(shí)驗(yàn)的步驟，配置檢查程序等，并且提供復(fù)用已有的混沌實(shí)驗(yàn)場(chǎng)景能力。該引擎包含任務(wù)定義、任務(wù)調(diào)度、任務(wù)執(zhí)行模5塊，將基于KubernetesCRD事件機(jī)制和Golang語(yǔ)言開(kāi)發(fā)，將每個(gè)可調(diào)度的物理節(jié)點(diǎn)和編排任務(wù)抽象為具體的CRD對(duì)象并使用Watch機(jī)制監(jiān)控任務(wù)的具體變化，并實(shí)現(xiàn)特有的controller組件去處理具體的事件變化，并按照具體的配置解析成具體的任務(wù)交給任務(wù)執(zhí)行模塊，任務(wù)由入口任務(wù)和節(jié)點(diǎn)任務(wù)組成，入口任務(wù)會(huì)被最先調(diào)度，后根據(jù)入口任務(wù)內(nèi)定義的子任務(wù)調(diào)度具體的節(jié)插件系統(tǒng)。不同應(yīng)用由于環(huán)境不同會(huì)產(chǎn)生完全不同的故障場(chǎng)景，很難在一個(gè)平臺(tái)中涵蓋所有可能的故障。為了能夠重復(fù)利用社區(qū)的力量，以及收集實(shí)現(xiàn)世界中可能出現(xiàn)的場(chǎng)景，插件系統(tǒng)提供了用戶自定義故障類型能力。用戶可以使用此插件系統(tǒng)來(lái)定制化自己的混沌故障類型，如RabbitMQChaos、TiDBChaos等。插件系統(tǒng)是整個(gè)混沌工程生態(tài)中關(guān)鍵部分，用戶將自定義的插件提交到插件庫(kù)，這樣其他用戶可以直接復(fù)用此插件，很大程度降低了用戶使用混沌實(shí)驗(yàn)的成本，避免重復(fù)的工作。2.故障模擬發(fā)壓模塊故障模擬發(fā)壓模塊以命令行工具方式提供服務(wù)，用戶可以在物理節(jié)點(diǎn)或者虛擬機(jī)節(jié)點(diǎn)上直接運(yùn)行相關(guān)命令，該工具會(huì)根據(jù)提供的命令配置，解析成對(duì)應(yīng)的故障規(guī)則，隨后執(zhí)行具體操作。使用該組件，用戶可以方便的在單物理節(jié)點(diǎn)或者虛擬機(jī)節(jié)點(diǎn)上，CPU繁忙，內(nèi)存壓力等，同時(shí)提供歷史查詢，故障恢復(fù)等功能，6方便用戶快速的實(shí)現(xiàn)故障的模擬。該故障工具基于Golang語(yǔ)言3.可觀測(cè)性模塊可觀測(cè)性模塊進(jìn)一步降低簡(jiǎn)化混沌實(shí)驗(yàn)的步驟和提供對(duì)混沌實(shí)驗(yàn)的可觀測(cè)性，讓用戶可以通過(guò)鼠標(biāo)和填寫簡(jiǎn)單的表單實(shí)現(xiàn)混沌實(shí)驗(yàn)和場(chǎng)景的設(shè)計(jì)，并且在可觀測(cè)性模塊上提供方便的混沌實(shí)驗(yàn)檢查機(jī)制和完整的實(shí)驗(yàn)報(bào)告。整個(gè)可觀測(cè)性模塊包括獨(dú)立混沌實(shí)驗(yàn)的定義，需要支持定義混沌實(shí)驗(yàn)范圍，實(shí)驗(yàn)具體行為，并且支持暫停和恢復(fù)操作?？捎^測(cè)性模塊還包含設(shè)計(jì)整個(gè)混沌實(shí)驗(yàn)場(chǎng)景，需要滿足應(yīng)用狀態(tài)定義，展示應(yīng)用監(jiān)控信息，多個(gè)混沌實(shí)驗(yàn)場(chǎng)景的編排，以及告警規(guī)則設(shè)置和報(bào)告信息設(shè)置等?？捎^測(cè)性模塊同時(shí)還提供服務(wù)監(jiān)控和健康檢查服務(wù)。在進(jìn)行混沌實(shí)驗(yàn)過(guò)程中，首先需要確認(rèn)系統(tǒng)的穩(wěn)態(tài)，并且基于穩(wěn)定狀態(tài)提出假設(shè)。為了簡(jiǎn)化用戶進(jìn)行混沌實(shí)驗(yàn)操作步驟，本方案計(jì)劃在混沌工程平臺(tái)中提供定義應(yīng)用系統(tǒng)穩(wěn)定狀態(tài)方式，支持用戶在自定義任務(wù)通過(guò)HTTP狀態(tài)接口或者訪問(wèn)健康系統(tǒng)的指標(biāo)方式判斷系統(tǒng)的穩(wěn)定狀態(tài)。具備的應(yīng)用系統(tǒng)穩(wěn)態(tài)的判斷能力，標(biāo)志著混沌系統(tǒng)平臺(tái)具備了混沌工程操作閉環(huán)的能力。4.權(quán)限管理模塊權(quán)限管理模塊。混沌實(shí)驗(yàn)要求能夠有效的控制最小爆炸，并且不同用戶之間有一定的隔離，只有提供有效的安全保障，用戶才能放心的開(kāi)展自己的混沌實(shí)驗(yàn)。為了達(dá)到此目標(biāo)，權(quán)限管理模7塊構(gòu)建自己的權(quán)限機(jī)制，用戶可以根據(jù)混沌實(shí)驗(yàn)的范圍分配實(shí)驗(yàn)人員和實(shí)驗(yàn)環(huán)境的權(quán)限，有效的控制混沌實(shí)驗(yàn)的范圍和保障混沌實(shí)驗(yàn)的安全。同時(shí)用戶可以使用此權(quán)限系統(tǒng)進(jìn)行混沌實(shí)驗(yàn)人員管理，可以創(chuàng)建不同角色的實(shí)驗(yàn)人員，如可以分配至具有查看權(quán)限的觀察者角色等。5.專家?guī)炷K專家故障庫(kù)模塊?？梢跃庉嬇c展示錄入實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)的問(wèn)題，作為平臺(tái)的知識(shí)積累；具有實(shí)驗(yàn)流程說(shuō)明，可指導(dǎo)進(jìn)行實(shí)驗(yàn)設(shè)置與執(zhí)行演練計(jì)劃。沉淀各種典型故障測(cè)試場(chǎng)景，用戶在創(chuàng)建場(chǎng)景時(shí)可以直接導(dǎo)入故障場(chǎng)景，降低故障創(chuàng)建復(fù)雜度和提供產(chǎn)品使用效率。（二）適配性要求混沌測(cè)試平臺(tái)運(yùn)行環(huán)境應(yīng)該運(yùn)行在開(kāi)放的軟硬件平臺(tái)之上，更加貼近國(guó)內(nèi)客戶生產(chǎn)環(huán)境需求，適配多種架構(gòu)與類型分布式數(shù)據(jù)庫(kù)，支持X86、C86、ARM硬件平臺(tái)，支持Windows、統(tǒng)信、麒麟等軟件平臺(tái)。（三）集成要求混沌工程與被測(cè)系統(tǒng)、監(jiān)控系統(tǒng)、上層應(yīng)用、底層設(shè)施等模塊的整體集成部署邏輯分為管控組件和執(zhí)行組件，管控組件需要獨(dú)立部署，支持集成部署在獨(dú)立的物理環(huán)境和Kubernetes環(huán)境，執(zhí)行組件需要部署在應(yīng)用運(yùn)行環(huán)境，并且與控制組件保持網(wǎng)絡(luò)互通，測(cè)試人員只需要通過(guò)控制組件即可完成混沌實(shí)驗(yàn)。8三、混沌測(cè)試平臺(tái)建設(shè)情況混沌測(cè)試平臺(tái)各個(gè)模塊之間通過(guò)一定的調(diào)用關(guān)系來(lái)完成每主要管理整個(gè)平臺(tái)的用戶權(quán)限；場(chǎng)景管理模塊是整個(gè)故障演練的入口，串聯(lián)起發(fā)壓監(jiān)控、混沌實(shí)驗(yàn)一系列故障演練的步驟；對(duì)于有價(jià)值的故障場(chǎng)景則可以通過(guò)推送沉淀到專家?guī)欤㈤_(kāi)放給所有用戶共享使用；實(shí)驗(yàn)報(bào)告模塊為已結(jié)束的實(shí)驗(yàn)提供了可視化的聚合報(bào)告；環(huán)境管理模塊則是發(fā)壓監(jiān)控的前置工作，用戶可以在此上傳壓測(cè)腳本、被測(cè)環(huán)境以及發(fā)壓插件，保證后續(xù)發(fā)壓步驟的順利執(zhí)行。通過(guò)打造混沌測(cè)試平臺(tái)，可以實(shí)現(xiàn)混沌實(shí)驗(yàn)與壓測(cè)、監(jiān)控的集成整合，通過(guò)專家?guī)熘械膶?shí)際案例沉淀與調(diào)用，使混沌實(shí)驗(yàn)具備更好的操作性與可觀測(cè)性，從而達(dá)到混沌實(shí)驗(yàn)?zāi)芊奖氵M(jìn)行常態(tài)化全鏈路壓測(cè)與監(jiān)控的目的。整體系統(tǒng)構(gòu)成情況如下圖1所示：9混沌測(cè)試平臺(tái)基于Kubernetes進(jìn)行部署。主要包含管理系統(tǒng)、監(jiān)控報(bào)表系統(tǒng)、JMeter發(fā)壓系統(tǒng)、混沌實(shí)驗(yàn)系統(tǒng)和部署在待測(cè)系統(tǒng)中的故障注入執(zhí)行介質(zhì)和監(jiān)控代理。其中，管理系統(tǒng)部署在物理機(jī)環(huán)境，監(jiān)控報(bào)表系統(tǒng)、JMeter發(fā)壓系統(tǒng)、混沌實(shí)驗(yàn)系統(tǒng)部署在k8s集群，故障注入執(zhí)行介質(zhì)和監(jiān)控代理的部署方式則根據(jù)待測(cè)系統(tǒng)的不同而不同。平臺(tái)技術(shù)架構(gòu)如下圖2所示：（三）功能模塊實(shí)驗(yàn)報(bào)告、專家?guī)煳鍌€(gè)核心功能模塊。1.權(quán)限管理對(duì)平臺(tái)的登錄進(jìn)行權(quán)限級(jí)別、環(huán)境使用、混沌實(shí)驗(yàn)各個(gè)維度的權(quán)限管理，大的不同程度的隔離。2.發(fā)壓監(jiān)控發(fā)壓提供了整個(gè)故障演練過(guò)程的背景壓力用以模擬真實(shí)生產(chǎn)環(huán)境的流量，監(jiān)控則對(duì)整個(gè)發(fā)壓過(guò)程中涉及的服務(wù)器資源、壓力機(jī)資源、業(yè)務(wù)指標(biāo)、系統(tǒng)指標(biāo)、錯(cuò)誤信息等各種指標(biāo)進(jìn)行實(shí)時(shí)的監(jiān)控展示，同時(shí)還對(duì)演練過(guò)程中的混沌實(shí)驗(yàn)事件進(jìn)行標(biāo)注。3.混沌實(shí)驗(yàn)支持各種常見(jiàn)類型的故障，覆蓋物理機(jī)/虛擬機(jī)、容器不同底層基礎(chǔ)設(shè)施，同時(shí)利用實(shí)驗(yàn)編排可以自動(dòng)定時(shí)實(shí)現(xiàn)故障的并行/串行/掛起模擬注入以及故障的自我恢復(fù)。通過(guò)編排的能力可以構(gòu)造復(fù)雜的故障場(chǎng)景而非只能完成單一故障任務(wù)的模擬。以串行場(chǎng)景編排為例，可以在該場(chǎng)景的workflow中添加多個(gè)故障子任務(wù)，同時(shí)每個(gè)子任務(wù)又可以嵌套多層的子任務(wù)，從而能夠更真實(shí)地模擬生產(chǎn)環(huán)境中遇到的故障。4.實(shí)驗(yàn)報(bào)告為整個(gè)故障演練過(guò)程提供了可視化的聚合報(bào)告，包含了壓測(cè)的數(shù)據(jù)（TPS、響應(yīng)時(shí)間、失敗數(shù)等），監(jiān)控?cái)?shù)據(jù)（CPU、內(nèi)存、IO、網(wǎng)絡(luò)等），混沌實(shí)驗(yàn)數(shù)據(jù)（實(shí)驗(yàn)事件、執(zhí)行事件、執(zhí)行狀態(tài)5.專家?guī)煊靡猿恋砀鞣N高可用典型故障測(cè)試場(chǎng)景，用戶在創(chuàng)建場(chǎng)景時(shí)可直接導(dǎo)入這些典型場(chǎng)景進(jìn)行演練，降低了故障演練的難度同時(shí)提升了故障演練的效率。功能模塊如下圖3所示：（四）故障種類混沌工具支持虛擬機(jī)/K8s容器不同底層基礎(chǔ)設(shè)施的故障模內(nèi)核、HTTP、生命周期等多種故障類型。具體到每種故障類型，又包含了常見(jiàn)的磁盤讀寫、磁盤填充、殺死進(jìn)程、CPU打滿、網(wǎng)絡(luò)延遲、網(wǎng)路丟包等典型故障。混沌工具支持的故障類型豐富，同時(shí)還可以借助混沌測(cè)試平臺(tái)的實(shí)驗(yàn)編排功能，構(gòu)建復(fù)雜的故障演練場(chǎng)景，滿足模擬生產(chǎn)環(huán)境中真實(shí)復(fù)雜場(chǎng)景的需求。故障種類四、混沌平臺(tái)測(cè)試方案與測(cè)試實(shí)踐分布式數(shù)據(jù)庫(kù)是重要的基礎(chǔ)軟件，數(shù)據(jù)庫(kù)發(fā)生故障所引發(fā)的一系列的后果是無(wú)法想象的，對(duì)于分布式數(shù)據(jù)庫(kù)而言，其故障有可能是多種情況組合下才發(fā)生，從而引發(fā)嚴(yán)重的生產(chǎn)事故。傳統(tǒng)的高可用測(cè)試，很難對(duì)各種情況進(jìn)行同時(shí)或不同排列組合的模擬，難以在測(cè)試中進(jìn)行系統(tǒng)性驗(yàn)證。通過(guò)引入混沌測(cè)試的方式可以增強(qiáng)和補(bǔ)充整個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)的健壯性。根據(jù)分布式數(shù)據(jù)庫(kù)產(chǎn)品架構(gòu)和銀行業(yè)務(wù)交易場(chǎng)景，混沌測(cè)試平臺(tái)針對(duì)分布式數(shù)據(jù)庫(kù)產(chǎn)品做以下故障驗(yàn)證測(cè)試：1.模擬分布式數(shù)據(jù)庫(kù)計(jì)算和存儲(chǔ)節(jié)點(diǎn)進(jìn)程故障。2.模擬分布式數(shù)據(jù)庫(kù)數(shù)據(jù)盤讀寫負(fù)載故障。3.模擬分布式數(shù)據(jù)庫(kù)數(shù)據(jù)節(jié)點(diǎn)、控制節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)延遲丟包故障。4.模擬分布式數(shù)據(jù)庫(kù)節(jié)點(diǎn)CPU和內(nèi)存負(fù)載高故障。5.模擬分布式數(shù)據(jù)庫(kù)系統(tǒng)負(fù)載高故障場(chǎng)景。6.模擬分布式數(shù)據(jù)庫(kù)混合故障場(chǎng)景。故障演練平臺(tái)通過(guò)觸發(fā)預(yù)先設(shè)置的故障用例，在生產(chǎn)環(huán)境發(fā)生故障之前把問(wèn)題暴露出來(lái)，分布式數(shù)據(jù)庫(kù)產(chǎn)品盡可能提早地處理這類故障，再加上自動(dòng)化、冗余、回滾策略，以及其他健壯性設(shè)計(jì)的最佳實(shí)踐，分布式數(shù)據(jù)庫(kù)產(chǎn)品