Kubernetes異常配置檢測(cè)框架概述

1、Kubernetes 異常配置檢測(cè)框架概述技術(shù)創(chuàng)新，變革未來1234Kubernetes 典型異常檢測(cè)框架演進(jìn) 生產(chǎn)實(shí)踐總結(jié)Kubernetes 使用日常應(yīng)用部署集群擴(kuò)容組件升級(jí)找出集群不正常工作的原因 : (Kubernetes 典型異常組件異常API Server Load Balancer 異常API Server Pod 異常影響通過 API Server 訪問集群概率失敗升級(jí)集群失敗Load BalancerServiceMasterAPI Server PodMasterAPI Server PodMasterAPI Server PodKubernetes 典型異常網(wǎng)絡(luò)異常安全組

2、、路由表配置錯(cuò)誤節(jié)點(diǎn)防火墻軟件等修改 iptables、內(nèi)核參數(shù)網(wǎng)絡(luò)鏈路長(zhǎng)，手動(dòng)排查成本高異常影響應(yīng)用間無法正常通信集群內(nèi) Controller 無法正常工作YUM 安裝自動(dòng)運(yùn)維工具自動(dòng)安裝依賴 firewalld網(wǎng)絡(luò)未知原因?qū)е庐惓odePodFORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONESeth0調(diào)用 iptables增加阻斷規(guī)則容器網(wǎng)絡(luò)不通異常 VS 異常檢測(cè)？云原生操作系統(tǒng)自檢 安全模式 檢測(cè)工具操作系統(tǒng)NPD運(yùn)行模式集群節(jié)點(diǎn)（DaemonSet /Standalong）問題檢測(cè)硬件（CPU、內(nèi)存、磁盤）操作系統(tǒng)（ NTP、內(nèi)核死鎖、文件系統(tǒng)異常）C

3、ontainer Runtime（無響應(yīng)）問題上報(bào)API serverPrometheusnode-problem-detectorSonobuoy運(yùn)行模式集群節(jié)點(diǎn)（Collector Pod + DaemonSet/One Shot）需要特定版本來對(duì)接兼容的 K8s 版本問題檢測(cè)Kubernetes Conformance-testing（K8s 兼容性檢查）節(jié)點(diǎn)上自定義數(shù)據(jù)的收集(依賴于自定義插件)問題上報(bào)需要采集和分析結(jié)果文件Kube*CIS Kubernetes Benchmark集群安全掃描集群綜合檢查執(zhí)行 bpftrace檢測(cè)工具小結(jié)工具適用場(chǎng)景局限性kube-bench在集群中運(yùn)

4、行 CIS Benchmark檢測(cè)項(xiàng)依賴于 CIS Benchmark 內(nèi)容能發(fā)現(xiàn)集群核心組件配置錯(cuò)誤 無法發(fā)現(xiàn)如 Flannel 組件異常 增加檢查項(xiàng)流程較復(fù)雜kuberhealthy在集群中運(yùn)行 CronJob 實(shí)現(xiàn)檢查 可以自定義檢查項(xiàng)無法檢測(cè)集群核心組件配置 集群異常時(shí)無法進(jìn)行檢測(cè)kube-hunter適用于集群安全檢測(cè)僅能檢測(cè)集群安全性kubectl-trace在集群中運(yùn)行 bpftrace 檢查 Kernel僅能檢測(cè) Kernel 相關(guān)問題 要求熟悉 bpftrace 語言1234Kubernetes 典型異常檢測(cè)框架演進(jìn) 生產(chǎn)實(shí)踐總結(jié)我們的目標(biāo)實(shí)現(xiàn) Kubernetes 集群異常

5、檢測(cè)框架支持集群多維度異常檢測(cè)能力 支持集成開源檢測(cè)組件檢測(cè)框架 Ver.1自動(dòng)化Ver.1 自動(dòng)化Autopilot EngineCommandPolicyExecutorTaskNodeNodeNodeGlobal JobCustom JobNodeScriptImage1. 根據(jù)集群類型、版本、場(chǎng)景生成檢測(cè)策略2. 根據(jù)策略執(zhí)行檢測(cè)任務(wù)3. 檢測(cè)任務(wù)支持腳本或容器鏡像Ver.1 優(yōu)化點(diǎn)快速迭代的 Kubernetes 版本月度發(fā)版版本間的配置、參數(shù)、API 差異多樣集群類型（阿里云容器服務(wù)）托管版集群、Serverless 集群邊緣集群、GPU 集群各類檢測(cè)場(chǎng)景節(jié)點(diǎn)、組件、配置等集群升級(jí)

6、、集群巡檢版本差異*類型差異*場(chǎng)景差異檢測(cè)項(xiàng)Ver.1 優(yōu)化點(diǎn)檢測(cè)代碼在膨脹 檢測(cè)能力迭代需要加速檢測(cè)框架 Ver.2動(dòng)態(tài)定制動(dòng)態(tài)擴(kuò)展Ver.2 DSLDSL (Domain-Specific Language)領(lǐng)域特定語言指專注于某個(gè)應(yīng)用程序領(lǐng)域的計(jì)算機(jī)語言目標(biāo)受眾為非程序員、業(yè)務(wù)員或最終客戶典型的 DSL正則表達(dá)式Ver.2 動(dòng)態(tài)化Dynamic EngineCommandPolicyExecutorTaskNodeNodeNodeGlobal JobCustom JobNodeScriptImageReport BuilderReport ExecutorAutopilot Engine

7、Ver.2 動(dòng)態(tài)定制Report Builder不同集群版本、類型、場(chǎng)景動(dòng)態(tài)定制檢測(cè)報(bào)告不同檢測(cè)點(diǎn)動(dòng)態(tài)定制檢測(cè)策略Reportcluster.version 1.16.1 and cluster.type = Edge and report.type = upgradePolicycluster.addon.terway.version 1.0.9.14Checkpointterway.version terway.statusVer.2 動(dòng)態(tài)擴(kuò)展Report Executor不同檢測(cè)策略動(dòng)態(tài)擴(kuò)展檢測(cè)任務(wù)KCQL + Data Driver = 泛化調(diào)用Policycluster.addon.

8、terway.version 1.0.9.14Expression EngineKCQLcluster.addon.terway.versionCheck Expression$data.expression 1.0.9.14Data Driver1234Kubernetes 典型異常檢測(cè)框架演進(jìn) 生產(chǎn)實(shí)踐總結(jié)生產(chǎn)實(shí)踐望聞問切識(shí)別集群常態(tài)或運(yùn)維操 作后可能存在的問題防患于未然在集群運(yùn)維操作前識(shí)別 導(dǎo)致操作異常的問題集群巡檢現(xiàn)象Node 節(jié)點(diǎn)新增安全組，一段時(shí)間后發(fā)現(xiàn) Node 節(jié)點(diǎn)狀態(tài) 異常原因集群 Master 節(jié)點(diǎn)和 Node 節(jié)點(diǎn)處在不同的安全組中且安 全組并未相互放開。新建安全組僅對(duì)新

9、建連接生效，不會(huì) 攔截已有連接，因此一段時(shí)間后問題才會(huì)浮現(xiàn)預(yù)防配置安全組后可通過集群巡檢功能檢測(cè)集群安全組配置是否 符合預(yù)期安全組 BNodeNodeNode安全組 AMasterMasterMasterX集群網(wǎng)絡(luò)網(wǎng)絡(luò)配置靜態(tài)檢測(cè)集群外部網(wǎng)絡(luò)安全組、路由表節(jié)點(diǎn) iptables、路由、網(wǎng)卡配置網(wǎng)絡(luò)動(dòng)態(tài)異常巡檢全鏈路網(wǎng)絡(luò)異常收集通過 ebpf 追蹤丟包調(diào)用棧PodNodeeth0eth0VPC容器內(nèi)配置錯(cuò)誤Iptables、路由配置錯(cuò)誤 網(wǎng)卡、驅(qū)動(dòng)配置錯(cuò)誤安全組配置錯(cuò)誤VPC 轉(zhuǎn)發(fā)配置錯(cuò)誤Autopilot Engine診斷任務(wù)網(wǎng)絡(luò)檢測(cè)Conntrack 采集網(wǎng)卡丟包事件 所有包采集Flow 采集ebpf 注入trace 讀取集群升級(jí)集群異常檢測(cè)閉環(huán)集群升級(jí)前置檢查集群升級(jí)集群升級(jí)后置檢查Autopilot Engine診斷任務(wù)前置檢查檢測(cè)通過檢測(cè)未通過修復(fù)升級(jí)1.121.16后置檢查檢測(cè)通過檢測(cè)未通過修復(fù)Demo1234Kubernetes 典型異常檢測(cè)框架演進(jìn) 生產(chǎn)實(shí)踐總結(jié)S