Chaosblade：云原生架構(gòu)下的混沌工程實(shí)踐課件

自我介紹ChaosBlade:

云原生架構(gòu)下的混沌工程探索與實(shí)踐肖長(zhǎng)軍阿里巴巴技術(shù)專家自我介紹ChaosBlade:云原生架構(gòu)下的混沌工程探索1自我介紹肖長(zhǎng)軍，花名穹谷，阿里巴巴高可用架構(gòu)團(tuán)隊(duì)多年應(yīng)用性能監(jiān)控研發(fā)和分布式系統(tǒng)高可用架構(gòu)經(jīng)驗(yàn)阿里云AHAS、APDS

產(chǎn)品核心開發(fā)開源項(xiàng)目ChaosBlade

負(fù)責(zé)人混沌工程布道師自我介紹肖長(zhǎng)軍，花名穹谷，阿里巴巴高可用架構(gòu)團(tuán)隊(duì)2自我介紹目錄混沌實(shí)驗(yàn)工具

ChaosBlade面向云原生的混沌工程實(shí)踐混沌實(shí)驗(yàn)平臺(tái)

AHAS

Chaos自我介紹目錄混沌實(shí)驗(yàn)工具ChaosBlade3自我介紹阿里巴巴混沌工程演進(jìn)2012EOS ????2012???? ????2018ACP2016MonkeyKing ????2015?!?!?! ????20192018??? $+$62019???

??????自我介紹阿里巴巴混沌工程演進(jìn)2012EOS ????20124自我介紹ChaosBlade

開源的背景上手難度大難于控制爆炸半徑使用方式不統(tǒng)一平臺(tái)適配難度大缺少實(shí)驗(yàn)?zāi)Ｐ蛨?chǎng)景難于沉淀缺少場(chǎng)景規(guī)范很難擴(kuò)展場(chǎng)景能力分散自我介紹ChaosBlade開源的背景上手難度大難于控制5自我介紹ChaosBlade

的定位與特點(diǎn)ChaosBlade（混沌之刃）是一款遵循混沌實(shí)驗(yàn)?zāi)Ｐ?，?jiǎn)單易用，功能強(qiáng)大的混沌實(shí)驗(yàn)工具Github地址：/chaosblade-io/chaosblade場(chǎng)景豐富度高使用簡(jiǎn)潔，易于理解動(dòng)態(tài)加載，無侵入場(chǎng)景擴(kuò)展方便自我介紹ChaosBlade的定位與特點(diǎn)ChaosBlad6自我介紹ChaosBlade

的基石-混沌實(shí)驗(yàn)?zāi)Ｐ蛯?shí)驗(yàn)靶點(diǎn)：實(shí)驗(yàn)的組件實(shí)驗(yàn)范圍：集群、機(jī)器、Pod規(guī)則匹配器：匹配條件實(shí)驗(yàn)行為：具體執(zhí)行的實(shí)驗(yàn)規(guī)則TargetScopeMatcherAction簡(jiǎn)潔，層次清晰通俗易懂四層，邊界清晰通用，覆蓋目前所有故障場(chǎng)景基礎(chǔ)資源、應(yīng)用、容器或

serverless

架構(gòu)易實(shí)現(xiàn)，實(shí)驗(yàn)場(chǎng)景共建簡(jiǎn)單定義清晰的接口規(guī)范語(yǔ)言、領(lǐng)域無關(guān)可以擴(kuò)展多語(yǔ)言、多領(lǐng)域?qū)崿F(xiàn)自我介紹ChaosBlade的基石-混沌實(shí)驗(yàn)?zāi)Ｐ蛯?shí)驗(yàn)靶點(diǎn)：7自我介紹ChaosBlade

豐富的實(shí)驗(yàn)場(chǎng)景基礎(chǔ)資源應(yīng)用服務(wù)容器服務(wù)云平臺(tái)chaosblade-exec-oschaosblade-exec-jvmchaosblade-exec-cpluschaosblade-exec-nodejschaosblade-exec-golangchaosblade-exec-dockerchaosblade-exec-k8schaosblade-exec-aliyunchaosblade-exec-awskubernetes…ECSOSSFC…rocketmq/notifydubbo/hsf/httpService

Mesh網(wǎng)關(guān)監(jiān)控度量分布式跟蹤分布式事務(wù)消息RPC

框架服務(wù)發(fā)現(xiàn)緩存熔斷限流定時(shí)任務(wù)web容器數(shù)據(jù)庫(kù)語(yǔ)言本身druid/tddl/mysql/postgresqlnacostair/redissentinelquartzservletdubbo/hsfscgatewayprometheuseagleeyeseataCPU

負(fù)載、內(nèi)存占用、網(wǎng)絡(luò)延遲/丟包/阻塞、殺進(jìn)程、宕機(jī)、重啟、磁盤填充、IO

Hang、IO

burn、shell腳本調(diào)用延遲、異常、超時(shí)打標(biāo)識(shí)別投遞延遲、異常、超時(shí)、重發(fā)調(diào)用延遲、異常、超時(shí)調(diào)用延遲、異常、超時(shí)、修改返回值限流失效、異常請(qǐng)求延遲、異常連接池滿、調(diào)用延遲、異常動(dòng)態(tài)腳本能力（java&groovy），內(nèi)存溢出，進(jìn)程

CPU負(fù)載，指定類和方法做延遲、異常、修改返回值、修改參數(shù)同基礎(chǔ)資源場(chǎng)景、刪、停容器殺

POD、停止

POD、kubelet

異常、斷網(wǎng)、刪容器、容器服務(wù)異常、etcd異常等；容器內(nèi)應(yīng)用進(jìn)程、基礎(chǔ)資源場(chǎng)景自我介紹ChaosBlade豐富的實(shí)驗(yàn)場(chǎng)景基礎(chǔ)資源應(yīng)用服務(wù)8自我介紹ChaosBlade

簡(jiǎn)潔易用完善的命令提示CLI

方式執(zhí)行 Web

方式執(zhí)行自我介紹ChaosBlade簡(jiǎn)潔易用完善的命令提示CLI9自我介紹ChaosBlade

整體架構(gòu)設(shè)計(jì)開箱即用，無需安裝支持命令提示所有變量參數(shù)化所有參數(shù)規(guī)范化模塊化，支持動(dòng)態(tài)擴(kuò)展對(duì)象化，方便管理基礎(chǔ)資源演練執(zhí)行器…K8s演練執(zhí)行器命令初始化Yaml解析器模型實(shí)現(xiàn)解析器CLI

命令轉(zhuǎn)換器命令注冊(cè)（Cobra）實(shí)驗(yàn)?zāi)Ｐ蛯?duì)象NameDescNoArgsRequeiredNameShortDescLongDescExampleActionsFlagsPreExecutorNameShortDescLongDescExampleMatchersFlagsExecutor解析JavaYamlJava執(zhí)行器C++YamlC++執(zhí)行器……自我介紹ChaosBlade整體架構(gòu)設(shè)計(jì)開箱即用，無需安裝10自我介紹ChaosBlade

實(shí)踐案例bladecreatemysql

delay--time

600--database

demo--table

d_discount--sqltype

select--effect-percent

50實(shí)驗(yàn)場(chǎng)景：數(shù)據(jù)庫(kù)調(diào)用延遲監(jiān)控指標(biāo)：慢

SQL

數(shù)，告警信息期望假設(shè)：慢

SQL

數(shù)增加，釘釘群收到慢SQL

告警混沌實(shí)驗(yàn)：對(duì)

demo-provider

注入調(diào)用

mk-demo數(shù)據(jù)庫(kù)延遲故障監(jiān)控指標(biāo)：慢

SQL

數(shù)增加，釘釘群收到告警問題排查：通過

ARMS

慢調(diào)用鏈路排查備注：應(yīng)用架構(gòu)拓?fù)鋱D來自于阿里云

AHAS

產(chǎn)品告警和鏈路跟蹤來自于阿里云

ARMS

產(chǎn)品自我介紹ChaosBlade實(shí)踐案例bladecreat11自我介紹ChaosBlade

實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：數(shù)據(jù)庫(kù)調(diào)用延遲監(jiān)控指標(biāo)：慢

SQL

數(shù)，告警信息期望假設(shè)：慢

SQL

數(shù)增加，釘釘群收到慢SQL

告警混沌實(shí)驗(yàn)：對(duì)

demo-provider

注入調(diào)用

mk-demo數(shù)據(jù)庫(kù)延遲故障監(jiān)控指標(biāo)：慢

SQL

數(shù)增加，釘釘群收到告警問題排查：通過

ARMS

慢調(diào)用鏈路排查備注：應(yīng)用架構(gòu)拓?fù)鋱D來自于阿里云

AHAS

產(chǎn)品告警和鏈路跟蹤來自于阿里云

ARMS

產(chǎn)品自我介紹ChaosBlade實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：數(shù)據(jù)庫(kù)調(diào)用延12自我介紹混沌工程的價(jià)值流程人員驗(yàn)證系統(tǒng)的高可用性-架構(gòu)師提升故障的應(yīng)急效率-開發(fā)&運(yùn)維提早暴露線上問題，降低故障復(fù)發(fā)率-測(cè)試提升用戶體驗(yàn)-產(chǎn)品&設(shè)計(jì)系統(tǒng)韌性-提升系統(tǒng)容錯(cuò)、容災(zāi)能力基礎(chǔ)能力-具備可監(jiān)控、可灰度、可回滾運(yùn)維高可用-提升監(jiān)控運(yùn)維系統(tǒng)的高可用能力故障應(yīng)急-故障等級(jí)劃分的合理性，聯(lián)系人的有效性，緊急預(yù)案的可行性故障復(fù)盤，故障統(tǒng)計(jì)，問題持續(xù)演練驗(yàn)證-故障管理自我介紹混沌工程的價(jià)值流程人員系統(tǒng)故障應(yīng)急-故障等級(jí)劃分的合13自我介紹云原生時(shí)代下，混沌工程的價(jià)值是什么？自我介紹云原生時(shí)代下，混沌工程的價(jià)值是什么？14自我介紹云原生架構(gòu)下的穩(wěn)定性挑戰(zhàn)云設(shè)施微服務(wù)容器服務(wù)網(wǎng)格Serverless自我介紹云原生架構(gòu)下的穩(wěn)定性挑戰(zhàn)云設(shè)施微服務(wù)容器服務(wù)網(wǎng)格Se15自我介紹云原生時(shí)代下，通過混沌工程推進(jìn)“云原生”化自我介紹云原生時(shí)代下，通過混沌工程推進(jìn)“云原生”化16自我介紹面向云原生場(chǎng)景的ChaosBlade

實(shí)現(xiàn)方案ChaosBlade

CRChaosBladeOperatorPodContainerChaosBladeVolumeChaosBladePodChaosBladeNodeapiVersion:chaosblade.io/v1kind:

ChaosBlademetadata:name:

cpu-loadspec:experiments:-scope:

nodetarget:cpuaction:

loaddesc:“cpu50%

load”flags:-name:

cpu-percentvalue:

“50”applyscope:

nodescope:

containerscope:

podmountsidecar聲明式實(shí)驗(yàn)場(chǎng)景配置自我介紹面向云原生場(chǎng)景的ChaosBlade實(shí)現(xiàn)方案Cha17自我介紹面向云原生架構(gòu)的ChaosBlade

實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：隨機(jī)刪除業(yè)務(wù)

Pod，驗(yàn)證業(yè)務(wù)的穩(wěn)定性監(jiān)控指標(biāo)：業(yè)務(wù)指標(biāo)和

Pod數(shù)期望假設(shè)：業(yè)務(wù)不受影響，Pod

副本數(shù)在預(yù)期之內(nèi)混沌實(shí)驗(yàn)：隨機(jī)刪除包含system=demo

標(biāo)簽的Pod，同類

Pod

刪除數(shù)量為1驗(yàn)證結(jié)果：業(yè)務(wù)受影響，不符合預(yù)期apiVersion:chaosblade.io/v1kind:

ChaosBlademetadata:name:random-delete-podsspec:experiments:

scope:podtarget:podaction:

deletedesc:“deletebusinesspods

randomly”flags:

name:modevalue:

randomname:

countvalue:

“1”Matchers:name:

selectorvalue:

“system=demo”

name:

groupKeyvalue:

“app”自我介紹面向云原生架構(gòu)的ChaosBlade實(shí)踐案例實(shí)驗(yàn)場(chǎng)18自我介紹混沌實(shí)驗(yàn)平臺(tái)AHAS

Chaos自我介紹混沌實(shí)驗(yàn)平臺(tái)AHASChaos19自我介紹AHAS

Chaos

平臺(tái)設(shè)計(jì)理念集成&被集成操作簡(jiǎn)潔編排靈活專家經(jīng)驗(yàn)自我介紹AHASChaos平臺(tái)設(shè)計(jì)理念集成&被集成操作簡(jiǎn)20自我介紹AHAS

Chaos

平臺(tái)架構(gòu)設(shè)計(jì)上層業(yè)務(wù)平臺(tái)模塊流程引擎底層能力基礎(chǔ)設(shè)施日常演練突襲演練攻防演練資損演練上云演練…權(quán)限管理機(jī)器集群管理應(yīng)用管理標(biāo)簽管理演練空間演練管理演練運(yùn)行演練通知演練推薦演練計(jì)劃場(chǎng)景分類場(chǎng)景檢索場(chǎng)景擴(kuò)展場(chǎng)景配置演練報(bào)表流程編排流程執(zhí)行節(jié)點(diǎn)擴(kuò)展小程序ChaosBlade應(yīng)用高可用服務(wù)

AHAS阿里云

ACK自建的

Kubernetes阿里云

ECS非

ECS自我介紹AHASChaos平臺(tái)架構(gòu)設(shè)計(jì)上層業(yè)務(wù)平臺(tái)模塊流21自我介紹面向云原生架構(gòu)的AHAS

Chaos

實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：調(diào)用數(shù)據(jù)庫(kù)延遲，驗(yàn)證

Pod的水平擴(kuò)容能力監(jiān)控指標(biāo)：業(yè)務(wù)

RT

和Pod數(shù)期望假設(shè)：業(yè)務(wù)

RT

會(huì)短暫的升高，但很快恢復(fù)混沌實(shí)驗(yàn)：對(duì)指定的業(yè)務(wù)

Pod做數(shù)據(jù)庫(kù)端口訪問延遲自我介紹面向云原生架構(gòu)的AHASChaos實(shí)踐案例實(shí)驗(yàn)場(chǎng)22自我介紹自我介紹23自我介紹ChaosBlade:

云原生架構(gòu)下的混沌工程探索與實(shí)踐肖長(zhǎng)軍阿里巴巴技術(shù)專家自我介紹ChaosBlade:云原生架構(gòu)下的混沌工程探索24自我介紹肖長(zhǎng)軍，花名穹谷，阿里巴巴高可用架構(gòu)團(tuán)隊(duì)多年應(yīng)用性能監(jiān)控研發(fā)和分布式系統(tǒng)高可用架構(gòu)經(jīng)驗(yàn)阿里云AHAS、APDS

產(chǎn)品核心開發(fā)開源項(xiàng)目ChaosBlade

負(fù)責(zé)人混沌工程布道師自我介紹肖長(zhǎng)軍，花名穹谷，阿里巴巴高可用架構(gòu)團(tuán)隊(duì)25自我介紹目錄混沌實(shí)驗(yàn)工具

ChaosBlade面向云原生的混沌工程實(shí)踐混沌實(shí)驗(yàn)平臺(tái)

AHAS

Chaos自我介紹目錄混沌實(shí)驗(yàn)工具ChaosBlade26自我介紹阿里巴巴混沌工程演進(jìn)2012EOS ????2012???? ????2018ACP2016MonkeyKing ????2015?!?!?! ????20192018??? $+$62019???

??????自我介紹阿里巴巴混沌工程演進(jìn)2012EOS ????201227自我介紹ChaosBlade

開源的背景上手難度大難于控制爆炸半徑使用方式不統(tǒng)一平臺(tái)適配難度大缺少實(shí)驗(yàn)?zāi)Ｐ蛨?chǎng)景難于沉淀缺少場(chǎng)景規(guī)范很難擴(kuò)展場(chǎng)景能力分散自我介紹ChaosBlade開源的背景上手難度大難于控制28自我介紹ChaosBlade

的定位與特點(diǎn)ChaosBlade（混沌之刃）是一款遵循混沌實(shí)驗(yàn)?zāi)Ｐ停?jiǎn)單易用，功能強(qiáng)大的混沌實(shí)驗(yàn)工具Github地址：/chaosblade-io/chaosblade場(chǎng)景豐富度高使用簡(jiǎn)潔，易于理解動(dòng)態(tài)加載，無侵入場(chǎng)景擴(kuò)展方便自我介紹ChaosBlade的定位與特點(diǎn)ChaosBlad29自我介紹ChaosBlade

的基石-混沌實(shí)驗(yàn)?zāi)Ｐ蛯?shí)驗(yàn)靶點(diǎn)：實(shí)驗(yàn)的組件實(shí)驗(yàn)范圍：集群、機(jī)器、Pod規(guī)則匹配器：匹配條件實(shí)驗(yàn)行為：具體執(zhí)行的實(shí)驗(yàn)規(guī)則TargetScopeMatcherAction簡(jiǎn)潔，層次清晰通俗易懂四層，邊界清晰通用，覆蓋目前所有故障場(chǎng)景基礎(chǔ)資源、應(yīng)用、容器或

serverless

架構(gòu)易實(shí)現(xiàn)，實(shí)驗(yàn)場(chǎng)景共建簡(jiǎn)單定義清晰的接口規(guī)范語(yǔ)言、領(lǐng)域無關(guān)可以擴(kuò)展多語(yǔ)言、多領(lǐng)域?qū)崿F(xiàn)自我介紹ChaosBlade的基石-混沌實(shí)驗(yàn)?zāi)Ｐ蛯?shí)驗(yàn)靶點(diǎn)：30自我介紹ChaosBlade

豐富的實(shí)驗(yàn)場(chǎng)景基礎(chǔ)資源應(yīng)用服務(wù)容器服務(wù)云平臺(tái)chaosblade-exec-oschaosblade-exec-jvmchaosblade-exec-cpluschaosblade-exec-nodejschaosblade-exec-golangchaosblade-exec-dockerchaosblade-exec-k8schaosblade-exec-aliyunchaosblade-exec-awskubernetes…ECSOSSFC…rocketmq/notifydubbo/hsf/httpService

Mesh網(wǎng)關(guān)監(jiān)控度量分布式跟蹤分布式事務(wù)消息RPC

框架服務(wù)發(fā)現(xiàn)緩存熔斷限流定時(shí)任務(wù)web容器數(shù)據(jù)庫(kù)語(yǔ)言本身druid/tddl/mysql/postgresqlnacostair/redissentinelquartzservletdubbo/hsfscgatewayprometheuseagleeyeseataCPU

負(fù)載、內(nèi)存占用、網(wǎng)絡(luò)延遲/丟包/阻塞、殺進(jìn)程、宕機(jī)、重啟、磁盤填充、IO

Hang、IO

burn、shell腳本調(diào)用延遲、異常、超時(shí)打標(biāo)識(shí)別投遞延遲、異常、超時(shí)、重發(fā)調(diào)用延遲、異常、超時(shí)調(diào)用延遲、異常、超時(shí)、修改返回值限流失效、異常請(qǐng)求延遲、異常連接池滿、調(diào)用延遲、異常動(dòng)態(tài)腳本能力（java&groovy），內(nèi)存溢出，進(jìn)程

CPU負(fù)載，指定類和方法做延遲、異常、修改返回值、修改參數(shù)同基礎(chǔ)資源場(chǎng)景、刪、停容器殺

POD、停止

POD、kubelet

異常、斷網(wǎng)、刪容器、容器服務(wù)異常、etcd異常等；容器內(nèi)應(yīng)用進(jìn)程、基礎(chǔ)資源場(chǎng)景自我介紹ChaosBlade豐富的實(shí)驗(yàn)場(chǎng)景基礎(chǔ)資源應(yīng)用服務(wù)31自我介紹ChaosBlade

簡(jiǎn)潔易用完善的命令提示CLI

方式執(zhí)行 Web

方式執(zhí)行自我介紹ChaosBlade簡(jiǎn)潔易用完善的命令提示CLI32自我介紹ChaosBlade

整體架構(gòu)設(shè)計(jì)開箱即用，無需安裝支持命令提示所有變量參數(shù)化所有參數(shù)規(guī)范化模塊化，支持動(dòng)態(tài)擴(kuò)展對(duì)象化，方便管理基礎(chǔ)資源演練執(zhí)行器…K8s演練執(zhí)行器命令初始化Yaml解析器模型實(shí)現(xiàn)解析器CLI

命令轉(zhuǎn)換器命令注冊(cè)（Cobra）實(shí)驗(yàn)?zāi)Ｐ蛯?duì)象NameDescNoArgsRequeiredNameShortDescLongDescExampleActionsFlagsPreExecutorNameShortDescLongDescExampleMatchersFlagsExecutor解析JavaYamlJava執(zhí)行器C++YamlC++執(zhí)行器……自我介紹ChaosBlade整體架構(gòu)設(shè)計(jì)開箱即用，無需安裝33自我介紹ChaosBlade

實(shí)踐案例bladecreatemysql

delay--time

600--database

demo--table

d_discount--sqltype

select--effect-percent

50實(shí)驗(yàn)場(chǎng)景：數(shù)據(jù)庫(kù)調(diào)用延遲監(jiān)控指標(biāo)：慢

SQL

數(shù)，告警信息期望假設(shè)：慢

SQL

數(shù)增加，釘釘群收到慢SQL

告警混沌實(shí)驗(yàn)：對(duì)

demo-provider

注入調(diào)用

mk-demo數(shù)據(jù)庫(kù)延遲故障監(jiān)控指標(biāo)：慢

SQL

數(shù)增加，釘釘群收到告警問題排查：通過

ARMS

慢調(diào)用鏈路排查備注：應(yīng)用架構(gòu)拓?fù)鋱D來自于阿里云

AHAS

產(chǎn)品告警和鏈路跟蹤來自于阿里云

ARMS

產(chǎn)品自我介紹ChaosBlade實(shí)踐案例bladecreat34自我介紹ChaosBlade

實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：數(shù)據(jù)庫(kù)調(diào)用延遲監(jiān)控指標(biāo)：慢

SQL

數(shù)，告警信息期望假設(shè)：慢

SQL

數(shù)增加，釘釘群收到慢SQL

告警混沌實(shí)驗(yàn)：對(duì)

demo-provider

注入調(diào)用

mk-demo數(shù)據(jù)庫(kù)延遲故障監(jiān)控指標(biāo)：慢

SQL

數(shù)增加，釘釘群收到告警問題排查：通過

ARMS

慢調(diào)用鏈路排查備注：應(yīng)用架構(gòu)拓?fù)鋱D來自于阿里云

AHAS

產(chǎn)品告警和鏈路跟蹤來自于阿里云

ARMS

產(chǎn)品自我介紹ChaosBlade實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：數(shù)據(jù)庫(kù)調(diào)用延35自我介紹混沌工程的價(jià)值流程人員驗(yàn)證系統(tǒng)的高可用性-架構(gòu)師提升故障的應(yīng)急效率-開發(fā)&運(yùn)維提早暴露線上問題，降低故障復(fù)發(fā)率-測(cè)試提升用戶體驗(yàn)-產(chǎn)品&設(shè)計(jì)系統(tǒng)韌性-提升系統(tǒng)容錯(cuò)、容災(zāi)能力基礎(chǔ)能力-具備可監(jiān)控、可灰度、可回滾運(yùn)維高可用-提升監(jiān)控運(yùn)維系統(tǒng)的高可用能力故障應(yīng)急-故障等級(jí)劃分的合理性，聯(lián)系人的有效性，緊急預(yù)案的可行性故障復(fù)盤，故障統(tǒng)計(jì)，問題持續(xù)演練驗(yàn)證-故障管理自我介紹混沌工程的價(jià)值流程人員系統(tǒng)故障應(yīng)急-故障等級(jí)劃分的合36自我介紹云原生時(shí)代下，混沌工程的價(jià)值是什么？自我介紹云原生時(shí)代下，混沌工程的價(jià)值是什么？37自我介紹云原生架構(gòu)下的穩(wěn)定性挑戰(zhàn)云設(shè)施微服務(wù)容器服務(wù)網(wǎng)格Serverless自我介紹云原生架構(gòu)下的穩(wěn)定性挑戰(zhàn)云設(shè)施微服務(wù)容器服務(wù)網(wǎng)格Se38自我介紹云原生時(shí)代下，通過混沌工程推進(jìn)“云原生”化自我介紹云原生時(shí)代下，通過混沌工程推進(jìn)“云原生”化39自我介紹面向云原生場(chǎng)景的ChaosBlade

實(shí)現(xiàn)方案ChaosBlade

CRChaosBladeOperatorPodContainerChaosBladeVolumeChaosBladePodChaosBladeNodeapiVersion:chaosblade.io/v1kind:

ChaosBlademetadata:name:

cpu-loadspec:experiments:-scope:

nodetarget:cpuaction:

loaddesc:“cpu50%

load”flags:-name:

cpu-percentvalue:

“50”applyscope:

nodescope:

containerscope:

podmountsidecar聲明式實(shí)驗(yàn)場(chǎng)景配置自我介紹面向云原生場(chǎng)景的ChaosBlade實(shí)現(xiàn)方案Cha40自我介紹面向云原生架構(gòu)的ChaosBlade

實(shí)踐案例實(shí)驗(yàn)場(chǎng)景：隨機(jī)刪除業(yè)務(wù)

Pod，驗(yàn)證業(yè)務(wù)的穩(wěn)定性監(jiān)控指標(biāo)：業(yè)務(wù)指標(biāo)和

Pod數(shù)期望假設(shè)：業(yè)務(wù)不受影響，Pod

副本數(shù)在預(yù)期之內(nèi)混沌實(shí)驗(yàn)：隨機(jī)刪除包含system=demo

標(biāo)簽的Pod，同