K8s超大規(guī)模技術(shù)實踐

1、 k8s 超大規(guī)模技術(shù)實踐阿里巴巴容器的發(fā)展歷程基于 k8s 云原生改造實踐k8s 規(guī)模及性能優(yōu)化實踐云原生應(yīng)用管理演進(jìn)路線主要內(nèi)容阿里巴巴容器的發(fā)展歷程2013初步探索使用容器的方式替換傳統(tǒng)使用 VM 部署應(yīng)用的，基于 lxc 自研 了 t4 容器并構(gòu)建了 AI 集團(tuán)管理 系統(tǒng)2017統(tǒng)一資源池構(gòu)建了 Sigma 調(diào)度系統(tǒng)，收斂了 眾多運(yùn)維平臺之下的資源調(diào)度系 統(tǒng)，并構(gòu)建了集團(tuán)統(tǒng)一資源池， 在此基礎(chǔ)上發(fā)展出彈性、混部等 技術(shù)成果，大幅降低了數(shù)據(jù)中心 的資源成本2019全面擁抱云原生阿里業(yè)務(wù)全面上云，運(yùn)維體系全 面擁抱云原生，基于 k8s 生態(tài)在 阿里內(nèi)部蓬勃發(fā)展。在 2019 雙11 中，k

2、8s 體系支撐了阿里史上 規(guī)模最大的集群，并提供了極速 的應(yīng)用擴(kuò)容體驗2015野蠻生長體驗到使用容器部署應(yīng)用的優(yōu)勢 后，阿里內(nèi)部發(fā)展出眾多的運(yùn)維 平臺，包括 AliSwarm，Zeus， Hippo 等，極大地降低了業(yè)務(wù)運(yùn) 維的成本2018轉(zhuǎn)型 kubernetes從自研的 Sigma 調(diào)度轉(zhuǎn)型到 k8s 體系，初步嘗試面向終態(tài)的運(yùn)維 體系，通過 k8s 的方式將 Sigma 調(diào)度能力提供給客戶為什么 k8s 在阿里能成功繁榮的社區(qū)和生態(tài)系統(tǒng)Available to customers on/under cloud, within/outside alibaba.申明式 APIMatching

3、 Alis design philosophy of the operation and maintenance system.模塊化、可擴(kuò)展的架構(gòu)設(shè)計Sufficient expansion capability to meet the needs of diverse application operations.阿里巴巴的 k8s 集群規(guī)模數(shù)十個集群數(shù)十萬的節(jié)點(diǎn)單集群規(guī)模 10,000 節(jié)點(diǎn)數(shù)萬個應(yīng)用超百萬的容器Online ServiceAI JobFaaSMiddlewareResource management, Scheduling, Automated operation, e

4、tc.WorkloadsContainersCluster ManagementIDCServers Networking神龍裸金屬ECSECI基于 k8s 云原生改造實踐落地 k8s 面臨的兩大難題向全面云化演進(jìn)集群規(guī)模龐大 多種工作負(fù)載業(yè)務(wù)形態(tài)多樣 運(yùn)維鏈路復(fù)雜應(yīng)用定義標(biāo)準(zhǔn)缺失落地 k8s 面臨的主要挑戰(zhàn)What we are moving toCloud Native:almost one hundred sitesmore than a hundred thousand applicationsnearly one million containers面向終態(tài)升級通過面向終態(tài)的應(yīng)用管理

5、理 念提高應(yīng)用運(yùn)維的效率自愈能力升級統(tǒng)一容器與應(yīng)用實例周期簡化 應(yīng)用啟動流程不可變基礎(chǔ)設(shè)施分離基礎(chǔ)設(shè)施與應(yīng)用容器簡化 應(yīng)用運(yùn)維復(fù)雜性面向終態(tài)升級過程式的運(yùn)維有什么問題？例子：升級某服務(wù)的 3000 個實例容 器 平 臺運(yùn) 維 平 臺容 器 平 臺運(yùn) 維 平 臺Kubernetes200最大不可用數(shù)面向終態(tài)的應(yīng)用管理支持終態(tài)副本數(shù)保持支持容器原地升級保持 IP、卷支持并發(fā)更新、容錯暫停支持鏡像預(yù)熱、按需下載鏡像格式面向終態(tài)的風(fēng)險控制運(yùn)維決策分散controllersoperatorsreschedulerkubeletAdmissionKube-apiserverControllersOpera

6、torsKubeletPouch cKounbtealienterCNICSIthrottling/circuit breakerthrottling/circuit breaker風(fēng)險識別自愈能力升級傳統(tǒng)運(yùn)維體系的效率問題應(yīng)用啟動流程復(fù)雜決策鏈路較長狀態(tài)一致性風(fēng)險容器平臺監(jiān)控VIP服務(wù)注冊配置中心運(yùn)維平臺觀察者異常消費(fèi)基礎(chǔ)設(shè)施異常來源統(tǒng)一容器與應(yīng)用實例的生命周期下沉應(yīng)用的冗余度信息容器即應(yīng)用運(yùn)維平臺監(jiān)控VIP服務(wù)注冊配置中心啟動完成應(yīng)用實例的生命周期API ServerEviction ControllerKubernetes Platform沉淀公共運(yùn)維能力Operator Platfor

7、mKubernetes API ServerOperator Managersidecar framework運(yùn)維能力 operatorsidecar framework運(yùn)維能力 operator運(yùn)維平臺運(yùn)維基礎(chǔ) 能力沉淀運(yùn)維平臺運(yùn)維能力 編程框架Kubernetes Platform不可變基礎(chǔ)設(shè)施base osdep2dep1configbinaryDockerK8s PodmainContainerlogtailsshdmonitor業(yè)務(wù)ssh日志監(jiān)控通過 Dockerfile 打包應(yīng)用 鏡像，一次定義多次運(yùn)行通過鏡像提供的組裝機(jī)制 打包應(yīng)用鏡像，包含業(yè)務(wù) 及運(yùn)維基礎(chǔ)設(shè)施進(jìn)程更進(jìn)一步組合多

8、個容器 為一個 Pod，Pod 一次 定義多次運(yùn)行不可變基礎(chǔ)設(shè)施應(yīng)用與運(yùn)維基礎(chǔ)設(shè)施容器分離支持各自獨(dú)立升級SidecarSetOpenKruiseAdvancedStatefulSetSidecarSetBroadcastJobCloneSetUnitedDeployment (coming soon)https:/openkruise.iok8s 規(guī)模及性能優(yōu)化實踐性能優(yōu)化RT/QPS資源使用率鏈路RT/QPS服務(wù)異常隊列長度gRPC監(jiān)控長連接分布請求分布限流AuthorizationAuthenticatio n序列化壓縮版本轉(zhuǎn)換AdmissionCacheStorageFilter Ch

9、ainAPI存儲Kube-APIServerWebhookETCD數(shù)據(jù)構(gòu)建壓測場景壓測環(huán)境壓測報告壓測平臺監(jiān)控&大盤APIServer & ETCD & WebhookLoad balanceETCDWebhookClientKubeletsAPIServerHttp2 - http1.1Upgrade Etcd client v3.3.15周期性重建連接slbslb直連設(shè)置maxSurge客戶端和服務(wù)端的同步機(jī)制List & Watch優(yōu)化 ETCDCachePod AV1Pod AV2Pod AV3ReflectorAPIServerWatch CacheList & WatchInfor

10、merReflectorStoreList & Watch網(wǎng)絡(luò)抖動造成informer重新List & WatchList & Watch優(yōu)化 CacheAPIServer591113Watch CacheInformerStoreKubeletsWatch (rv=3 node=x)Too old version errrv=3FIFO網(wǎng)絡(luò)抖動造成informer重新List & WatchList & Watch優(yōu)化 CacheAPIServer591113Watch CacheInformerStoreKubeletsWatch (rv=11 node=x)Too old version

11、 errrv=3Bookmarkrv=11List & Get的通訊機(jī)制Cache Read & IndexAPIServerClientList / GetETCDPage readrv=nilFilter by conditionAPIServer 緩存一致性讀索引支持動態(tài)新增Cache ReadyCache Read & IndexAPIServerClientlist/get t0ETCDrv=nil1. Get rvt0Cache2. Request NotifyIndexrvReflector3. Wait rv rvt0Add Indexs 1. nodename 2. Namespace 3. LabelsDescribe node5s0.3s穩(wěn)定性保證規(guī)?；萜髡{(diào)度穩(wěn)定資源競爭容災(zāi)負(fù)載均衡CPU精細(xì)化分配 應(yīng)用互斥/親和維度：應(yīng)用、核心應(yīng)用 拓?fù)洌簡螜C(jī)、AZ節(jié)點(diǎn)負(fù)載感知 資源利用率預(yù)測豐富的調(diào)度策略規(guī)?；萜髡{(diào)度APIServerSchedulerWebhook離線特征分析調(diào)度策略中心專家策略調(diào)度規(guī)則 CRUpdate if needcpu分配策略應(yīng)用/單機(jī)打散策略應(yīng)用互斥/親和策略 4. PodCPU精細(xì)化分配應(yīng)用AZ/Node打散CPU敏感Pod打散節(jié)點(diǎn)CPU/Load感知Pod近期最大cpu利用率感知節(jié)