2024云棲大會(huì)容器計(jì)算演講合輯 -阿里云彈性計(jì)算 -澎湃算力 創(chuàng)新動(dòng)力

6 126 195 20166阿里云容器服務(wù)，智算時(shí)代云原生操作系統(tǒng)77越來(lái)越多的客戶(hù)實(shí)現(xiàn)數(shù)字化、智能化創(chuàng)新。容器技術(shù)已經(jīng)成成為了自動(dòng)駕駛、AIfor8899.極致彈性:基于用戶(hù)負(fù)載特征的預(yù)調(diào)度優(yōu)化，大規(guī)模擴(kuò)容速度從7KPod/min提升智算、超算、大數(shù)據(jù)應(yīng)用云原生一體化已成業(yè)界趨勢(shì)。越來(lái)越多的客戶(hù)希望基于行分析預(yù)測(cè)，為應(yīng)用生成資源畫(huà)像?；谶@個(gè)畫(huà)像，我們可以智能化地生成HPA,自動(dòng)駕駛仿真、大模型訓(xùn)練與推理等場(chǎng)景對(duì)計(jì)算資源的巨大需求量，正在突破單個(gè)云為了簡(jiǎn)化服務(wù)網(wǎng)格的使用,我們與阿里云網(wǎng)絡(luò)團(tuán)隊(duì)共同推出了一種新型的SidecarlessACKOne分布式云容器企業(yè)級(jí)落地實(shí)踐下半部分是邊緣部分，可以接入管理數(shù)據(jù)中心或者機(jī)房中的服務(wù)器，包括阿里邊緣云署實(shí)現(xiàn)集群間灰度發(fā)布和異?；貪L。運(yùn)維人員可以通過(guò)多集群組件管理一鍵發(fā)布ACK性、更彈性的容器算力1.更普惠易用、更柔性、更彈性的容器算力第一個(gè)業(yè)務(wù)場(chǎng)景是Java應(yīng)用啟動(dòng)加速場(chǎng)景2.超大規(guī)模容器資源池的技術(shù)體系建設(shè)這樣龐大的ACS算力規(guī)模為我們的客戶(hù)提供了無(wú)與倫比的全面地域覆蓋，也確保了客第二個(gè)點(diǎn)是：面向峰值和突發(fā)流量的高效彈性。使用ACS基于用戶(hù)負(fù)載企業(yè)管理這些負(fù)載的過(guò)程就是資源調(diào)度，而這其中的調(diào)度算法實(shí)際上就是在求解這個(gè)3.柔性容器算力與技術(shù)揭秘我們來(lái)看Oracle在JavaOne大會(huì)上展在這個(gè)階段Java應(yīng)用有超過(guò)一半的資源使用，都是在盡管Java社區(qū)對(duì)于Java應(yīng)用啟動(dòng)慢，進(jìn)入峰值性能慢的問(wèn)題，也提出了非常多的解但我們通過(guò)CIPU自研軟硬件系統(tǒng)解決了直通設(shè)備的熱遷移，以及跨多種h4.ACS產(chǎn)品技術(shù)能力用KubernetesAPI擴(kuò)展機(jī)制，與十幾款阿里云產(chǎn)品無(wú)縫集成，形成完整Serverless雜度由ACS全托管。在大數(shù)據(jù)任務(wù)調(diào)度領(lǐng)域，ACS為用戶(hù)提供了增強(qiáng)的co-scheduling/Gang調(diào)度，1、針對(duì)AI場(chǎng)景典型的Master/Worker架構(gòu)設(shè)計(jì)了增強(qiáng)的Gang調(diào)度能力，滿(mǎn)足鏡像緩存能提前在ACS集群內(nèi)做好鏡像的預(yù)拉取工作，保障了在應(yīng)用彈性時(shí)鏡像拉取5.結(jié)合業(yè)務(wù)更好地使用ACS使用ACS供給的算力即可達(dá)到最優(yōu)的成本和性能模型。引入復(fù)雜的裸金屬和安全沙箱技術(shù)。直接使用基于安全沙阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全應(yīng)鏈安全發(fā)布的規(guī)范標(biāo)準(zhǔn)；第二部分我們會(huì)一起介紹如何基于ACK容器服務(wù)構(gòu)建企業(yè)零信任安全；最后會(huì)介紹ACR容器鏡像服務(wù)在軟件供應(yīng)鏈安全相關(guān)的產(chǎn)品能力發(fā)布和1.容器供應(yīng)鏈安全形勢(shì)和規(guī)范標(biāo)準(zhǔn)阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>包社區(qū)的maintainer，并通過(guò)一系列復(fù)雜的混淆阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>右側(cè)新思科技在今年的開(kāi)源安全風(fēng)險(xiǎn)分析報(bào)告中對(duì)17個(gè)行業(yè)一千多個(gè)商業(yè)員實(shí)施有針對(duì)性的供應(yīng)鏈安全加固措施。SLSA是近兩年在業(yè)界被逐步認(rèn)可采納的供應(yīng)阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>就像食品供應(yīng)鏈中需要成熟的食品安全法和監(jiān)管準(zhǔn)則去確保食品中每一種配料的安全傳統(tǒng)的人工審核卡點(diǎn)角色需要逐步轉(zhuǎn)換為在整個(gè)供應(yīng)鏈開(kāi)發(fā)流程管道中提供自動(dòng)化的阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>2.基于ACK容器服務(wù)構(gòu)建企業(yè)應(yīng)用端到端供應(yīng)鏈安全阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>應(yīng)用市場(chǎng)引入了開(kāi)源組件Ratify，Ratify內(nèi)置了面向通用開(kāi)源簽名工具Cosign或阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>過(guò)在應(yīng)用市場(chǎng)部署imagecleaner插件，以自動(dòng)化方式掃描并清理節(jié)點(diǎn)上閑置的或不阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>3.使用ASM服務(wù)網(wǎng)格實(shí)現(xiàn)應(yīng)用無(wú)感的零信任安全阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>.靈活的擴(kuò)展方式：支持對(duì)接自定義授權(quán)服務(wù)（您可以自行實(shí)現(xiàn)數(shù)據(jù)面代理要求的標(biāo)阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>有了mTLS通信提供的通信雙方的身份，就可以實(shí)現(xiàn)基于X.509證書(shū)身份的授權(quán)。阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>4.ACR軟件供應(yīng)鏈安全產(chǎn)品能力發(fā)布及實(shí)踐阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>首先介紹一下我們ACR新推出的構(gòu)建智能診阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>及版本還有所使用的操作系統(tǒng)等等。這些內(nèi)容將阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>阿里云容器服務(wù)助力企業(yè)構(gòu)建云原生軟件供應(yīng)鏈安全>性新體驗(yàn)其實(shí)具體到實(shí)施環(huán)節(jié)，其實(shí)需要付出的遠(yuǎn)比想象的多。我們走訪(fǎng)了非常多客戶(hù)，自建Master控制面組件托管在阿里云側(cè)，在數(shù)據(jù)容器服務(wù)AI助手集群構(gòu)建.集群規(guī)劃：AI助手提供集群規(guī)劃功能，在創(chuàng)建集群頁(yè)，能夠基于客戶(hù)現(xiàn)有配置和集群運(yùn)維.智能診斷：去年我們推出了集群診斷集群優(yōu)化集群安全.應(yīng)用安全分析：AI助手還可針對(duì)應(yīng)用層面的安全風(fēng)險(xiǎn)進(jìn)行評(píng)集成5.Day0-輔助集群架構(gòu)設(shè)計(jì)在集群創(chuàng)建后，用戶(hù)常常面臨著部署生產(chǎn)環(huán)境應(yīng)用的挑戰(zhàn)。編寫(xiě)一個(gè)生產(chǎn)可用的應(yīng)用7.Day2-業(yè)務(wù)規(guī)?；A段穩(wěn)定性.集群日志分析：會(huì)提供錯(cuò)誤的日志的一鍵分析能力，針對(duì)的的是集群的異常日志。.集群報(bào)警診斷：因?yàn)橛脩?hù)通常收到告警以后，登陸控制臺(tái)第一.工作負(fù)載配置風(fēng)險(xiǎn)掃描：該功能將對(duì).資源配置優(yōu)化：通過(guò)集成資源畫(huà)像功能，我們幫助用戶(hù)找到更合適的資源請(qǐng)求.借助智能分析技術(shù)，客戶(hù)能夠快速識(shí)別并解決集群中的成本浪費(fèi)問(wèn)題阿里云容器服務(wù)在AI智算場(chǎng)景的創(chuàng)新與實(shí)踐2021年，容器服務(wù)開(kāi)始在CNCF社區(qū)推廣云原生AI的概念和參考架構(gòu)，參與建設(shè)《容器服務(wù)在AI智算場(chǎng)景的創(chuàng)新與實(shí)踐》的演講。不僅希望將所做所想與客戶(hù)和社區(qū)3.容器服務(wù)支撐AI智算基礎(chǔ)底座在AI時(shí)代，Kubernetes繼續(xù)快速演進(jìn)，拓展出了新的云原生AI定制化組裝的端到端解決方案。幫助用戶(hù)的K/zh/ack/cloud-native-ai-suite//zh/ack/ack-managed-and-ack-dedicated/product-overview/what-is-ack4.聚焦大模型場(chǎng)景優(yōu)化Dataset和Preload實(shí)現(xiàn)自動(dòng)預(yù)熱遠(yuǎn)程大模型參數(shù)到本地pagecache，通過(guò)FluidFluid既可以用于加速分布式訓(xùn)練任務(wù)讀取訓(xùn)練度的分節(jié)點(diǎn)調(diào)度，也支持共享節(jié)點(diǎn)資源的混部調(diào)度。借助Kube-queue，可以對(duì)阿里云ACK容器服務(wù)生產(chǎn)級(jí)可觀測(cè)體系建設(shè)實(shí)踐(3)最后一部分將介紹容器可觀測(cè)體系作為數(shù)據(jù)驅(qū)動(dòng)力可以如何幫助用戶(hù)建設(shè)如這兩個(gè)場(chǎng)景對(duì)可觀測(cè)體系的場(chǎng)景覆蓋、運(yùn)維O通過(guò)我們阿里云可觀測(cè)團(tuán)隊(duì)的數(shù)據(jù)/監(jiān)控平臺(tái)服務(wù)能力提供強(qiáng)大的數(shù)據(jù)計(jì)算存儲(chǔ)分析能在容器場(chǎng)景上我們也憑借可觀測(cè)數(shù)據(jù)驅(qū)動(dòng)力發(fā)自上而下，我們首先可以更好地進(jìn)行業(yè)務(wù)層感知，剖析容器架構(gòu)上業(yè)務(wù)應(yīng)用的問(wèn)題Tracing方面，容器服務(wù)當(dāng)前提供三個(gè)檔位的tracing能力來(lái)滿(mǎn)足不同場(chǎng)景需求：接下來(lái)想要重點(diǎn)向各位分享匯報(bào)我們近期在客戶(hù)中的重點(diǎn)場(chǎng)景下面對(duì)的新觀測(cè)挑戰(zhàn)以容器網(wǎng)絡(luò)是我們經(jīng)手的最復(fù)雜的場(chǎng)景，我們團(tuán)隊(duì)的容器網(wǎng)絡(luò)專(zhuān)家需要花費(fèi)大量時(shí)間來(lái)首先在處理所有容器服務(wù)對(duì)客問(wèn)題時(shí)，AI助手智的一站式災(zāi)備方案1.K8s集群業(yè)務(wù)為什么需要災(zāi)備？2.業(yè)務(wù)容器化后的災(zāi)備特性與新需求是什么？3.備份中心：ContainerNative的應(yīng)而對(duì)于有完善gitops流程的企業(yè)，也可以通過(guò)備份中心的數(shù)據(jù)4.備份中心控制臺(tái)展示5.ContainerNative集群資源災(zāi)備的難點(diǎn)與備份中心解決方案6.ContainerNatice存儲(chǔ)卷數(shù)據(jù)災(zāi)備的難點(diǎn)與備份中心解決方案7.備份中心原理及組成概述集群資源備份：基于開(kāi)源Velero社區(qū)開(kāi)發(fā)，并通過(guò)內(nèi)源的Plugin兼容阿里云生態(tài)與都將被備份并存儲(chǔ)于備份倉(cāng)庫(kù)中。備份倉(cāng)庫(kù)實(shí)際關(guān)聯(lián)的是用戶(hù)自己提供的OSS8.備份中心在混合云場(chǎng)景的應(yīng)用原地災(zāi)備云端遷移9.更多使用場(chǎng)景與用戶(hù)關(guān)注的能力備份中心發(fā)布后，越來(lái)越多的用戶(hù)通過(guò)備份中心實(shí)現(xiàn)集群跨大版本無(wú)縫遷移、集群跨v1beta1,appsv1beta2,appsv1。默認(rèn)為更安全的同名資源跳過(guò)邏輯，對(duì)于有升級(jí)變更需求的場(chǎng)景，也可嘗試以K8s檢查存儲(chǔ)卷的存儲(chǔ)類(lèi)轉(zhuǎn)換情況，并檢查恢復(fù)后的應(yīng)用，著重檢查L(zhǎng)oadBalancer類(lèi)型11.一圖總結(jié)K8s集群業(yè)務(wù)的災(zāi)備特性與解決方案務(wù)新利器2.ACKOne注冊(cè)集群架構(gòu)及接入流程3.ACKOne注冊(cè)集群云上彈性的優(yōu)勢(shì).豐富的彈性資源選擇：4.創(chuàng)建節(jié)點(diǎn)池并擴(kuò)容。NAMENAMESTATUSROLESAGcn-***.192.168.XX.XXXReadymaster-0906-001Readycontrol-plane4metadata:labels:spec:selector:matchLabels:labels:spec:nodeSelector:/nodepool-id:np6d13af2bb56546128***#此處為注冊(cè)集群節(jié)containers:-image:'/eports:resources:limits:NAMENAMESTATUSROLESAGmaster-0906-001Readycontrol-plane4virtual-kubelet-cn-***Readya--image=-hang(1)通過(guò)注冊(cè)集群運(yùn)維管理或者命令行工具安裝ack-co-scheduler組件。更多關(guān)于組apiVersion:scheduling.alibabacmetadata:spec:selector:units:nodeSelector:/nodepool-id:np6d13af2bb**#此處為云上節(jié)點(diǎn)池ID,當(dāng)IDCapiVersion:scheduling.alibabacmetadata:spec:selector:units:云原生高可用的基石。本次會(huì)以阿里云容器服務(wù)ACK（AlibabaCloudContainer2.Kubernetes集群的高可用場(chǎng)景的錯(cuò)誤案例和痛點(diǎn)！我們先來(lái)看一下Kubernetes集群的高可用場(chǎng)景的錯(cuò)誤案例和痛點(diǎn)，然后再看看ACK3.ACK單集群高可用架構(gòu)控制面實(shí)現(xiàn)可用區(qū)+節(jié)點(diǎn)級(jí)別高可用數(shù)據(jù)面支持客戶(hù)，配置豐富的高可用策略+最佳實(shí)踐PDB等策略提升應(yīng)用負(fù)載的穩(wěn)定性；負(fù)載均衡、虛機(jī)節(jié)點(diǎn)、云盤(pán)等云資源均支持Kubernetes場(chǎng)景下多AZ高可用配置以及相應(yīng)的容器化配置4.單集群高可用，最佳實(shí)踐-節(jié)點(diǎn)/可用區(qū)高可用業(yè)務(wù)按節(jié)點(diǎn)打散分布業(yè)務(wù)按部署集節(jié)點(diǎn)打散分布業(yè)務(wù)按多可用區(qū)打散分布5.單集群高可用，最佳實(shí)踐-工作負(fù)載高可用配置Pod拓?fù)浞植技s束配置Pod健康檢測(cè)與自愈配置不同類(lèi)型的探針來(lái)監(jiān)測(cè)和管理容器的狀態(tài)和可用性，包括存活探針（Liveness）：）：）：6.單集群高可用最佳實(shí)踐-企業(yè)版容器鏡像服務(wù)高可用配置企業(yè)版容器鏡像服務(wù)高可用配置包括可用區(qū)容災(zāi)和可用區(qū)容災(zāi)：使用企業(yè)版容器鏡像服務(wù)及同城冗余OSSBucket跨地域容災(zāi)：使用多地域企業(yè)版容器鏡像服務(wù)，配置異地容災(zāi)7.單集群高可用最佳實(shí)踐-云資源，高可用以及K8s配置界面8.單集群高可用最佳實(shí)踐–應(yīng)用可用性和，可用區(qū)內(nèi)節(jié)點(diǎn)可用性的監(jiān)控告警配置應(yīng)用負(fù)載副本不可用的監(jiān)控告警基于kube-state-metrics與工作負(fù)載副.kube_deployment_status_replicas_unavailable.kube_deployment_status_replicas.kube_daemonset_status_number_unavailable.kube_statefulset_status_replicas.kube_statefulset_status_replicas_available等等集群可用區(qū)內(nèi)不健康節(jié)點(diǎn)百分比的監(jiān)控告警K8s的kube-controller-manager組件有統(tǒng)計(jì)可用區(qū)內(nèi)9.多集群高可用最佳實(shí)踐–多集群通過(guò)ACKOneFleet管理等問(wèn)題。ACKOne艦隊(duì)管理的Fleet實(shí)例是由ACK托管的，可以管理任意環(huán)境的高可用最佳實(shí)踐案例.可用區(qū)高可用：確保可用區(qū)級(jí)別故障不會(huì)影響集群整體服務(wù).節(jié)點(diǎn)高可用：確保單節(jié)點(diǎn)異常不會(huì)影響整體業(yè)務(wù)。模并行計(jì)算大規(guī)模工作流調(diào)度導(dǎo)致集群控制面異常，集群不可用。工作流Result資源泄露、3.全托管ServerlessArgo工作流.全托管：托管了Argoworkflows的核心組件。.簡(jiǎn)單易用的工作流引擎：五分鐘即可開(kāi)啟并提交工作流，并且完全兼.穩(wěn)定高性能：經(jīng)過(guò)控制面調(diào)優(yōu)，修復(fù)社區(qū)版本穩(wěn)定性問(wèn)題，整4.并行數(shù)據(jù)處理/help/zh/ack/overview-12阿里云ACKFinOps成本優(yōu)化最佳實(shí)踐1.如何選擇成本優(yōu)化策略2.集群優(yōu)化例搶占式實(shí)例抗區(qū)版cluster-autoscaler兩種節(jié)點(diǎn)彈性方案，如果集群規(guī)模較大，goatscaler