Serverless場景下Pod創(chuàng)建效率優(yōu)化

1、Serverless 場景下 Pod 創(chuàng)建效率優(yōu)化技術(shù)創(chuàng)新，變革未來Serverless 計算簡介Serverless computing is a cloud computing execution model in which the cloud provider runs the server, and dynamically manages the allocation of machine resources. Pricing is based on the actual amount of resources consumed by an application, rather t

2、han on pre-purchased units of capacity.From: /wiki/Serverless_computingServerless 計算平臺架構(gòu)平 臺 運 維審 計 服 務(wù)監(jiān) 控 服 務(wù)日 志 服 務(wù)K8s masterNodePod (A)Pod (B)Pod (A)Pod (B)PaaSSLBK8s master SLBNodePod (C)Pod (A)Pod (B)Pod (D)K8s masterVirtualKubelet彈性實例彈性實例彈性實例彈性實例管控平面KubernetesSLB (A)SLB (C)數(shù)據(jù)平面Serverless 計算平臺核心

3、競爭力彈性能力Pod 規(guī)模創(chuàng)建 Pod 效率Pod 創(chuàng)建相關(guān)場景創(chuàng)建應(yīng)用創(chuàng)建應(yīng)用 - 調(diào)度 - 創(chuàng)建 Pod升級應(yīng)用升級應(yīng)用 - 調(diào)度 - 創(chuàng)建新 Pod，銷毀舊 Pod創(chuàng)建 Pod 流程調(diào)度拉取鏡像創(chuàng)建容器組下載鏡像解壓鏡像Node鏡像解壓前大小解壓后大小(內(nèi)網(wǎng)) 拉取鏡像總耗時下載鏡像耗時解壓鏡像耗時golang:1.10248.76 MB729.90 MB16.97s3.90s(占比 22.98% )13.07s(占比 77.02%)bde2020/hadoop- namenode:2.0.0-hadoop3.1.1- java8506.87 MB1.29 GB38.87s23.26s(

4、占比 59.84%)15.61s(占比 40.16%)拉取鏡像效率提升 鏡像預(yù)熱調(diào)度拉取鏡像創(chuàng)建容器組Node方式二：調(diào)度中預(yù)熱方式一：調(diào)度前預(yù)熱拉取鏡像效率提升 鏡像預(yù)熱OpenKruise 項目下半年將會推出該服務(wù)拉取鏡像效率提升 解壓效率Image Registryimage layers.pack(tar+gzip)uploadimage layers.unpack(tar+gunzip)downloaddocker pushdocker pull拉取鏡像效率提升 解壓效率壓縮/解壓工具: gzip (單線程) - pigz (多線程)containerd 從 1.2 版本開始支持，節(jié)

5、點上需要安裝 unpigz 工具。Upload / Download 并發(fā)度docker daemon拉取鏡像效率提升 解壓效率鏡像解壓前大小解壓后大小(內(nèi)網(wǎng)) 拉取鏡像總 耗時下載鏡像耗時解壓鏡像耗時解壓效率提升golang:1.10248.76 MB729.90 MB16.97s3.90sGunzip: 13.07s35.88%11.98s3.60sUnpigz: 8.38sbde2020/hadoop- namenode:2.0.0- hadoop3.1.1-java8506.87 MB1.29 GB38.87s15.60sGunzip:23.27s16.41%29.35s9.90sUn

6、pigz 19.45s拉取鏡像效率提升 非壓縮鏡像Image Registryimage layers.pack(tar+gzip)uploadimage layers.unpack(tar+gunzip)downloaddocker pushdocker pullPush 時不壓縮 tar 包，Pull 時會根據(jù) tar 包是否壓縮選擇是否解壓拉取鏡像效率提升 非壓縮鏡像鏡像解壓前大小解壓后大小(內(nèi)網(wǎng)) 拉取鏡像總 耗時下載鏡像耗時解壓鏡像耗時解壓效率提升golang:1.10248.76 MB729.90 MB16.97s3.90s13.07s49.81%13.16s6.60s6.56sb

7、de2020/hadoop- namenode:2.0.0- hadoop3.1.1-java8506.87 MB1.29 GB38.87s15.60s23.27s27.89%33.28s16.50s16.78sNote: docker daemon 暫不支持拉取鏡像效率提升 鏡像分發(fā)現(xiàn)狀I(lǐng)mage RegistryNodecontainer runtimeNodecontainer runtimeNodecontainer runtime下載鏡像的壓力集中在中心式的 Image Registry拉取鏡像效率提升 基于 P2P 鏡像分發(fā)From: https:/d7y.io/en-us/doc

8、s/overview/what_is_dragonfly.html分散 Image Registry 壓力 充分利用內(nèi)網(wǎng)帶寬拉取鏡像效率提升 按需加載鏡像Our analysis shows that pulling packages accounts for 76% of container start time, but only 6.4% of that data is read.From: Slacker: Fast Distribution with Lazy Docker Containers拉取鏡像效率提升 按需加載鏡像改變使用鏡像的方式Image 所有 layers 下載完后才能啟動鏡像- 啟動容器時按需加載鏡像tar 文件沒有索引，gzip 文件不能從任意位置讀取- 使用可索引的文件格式拉取鏡像效率提升 按需加載鏡像From: /google/crfs拉取鏡像效率提升 按需加載鏡像From: /containerd/stargz-snapshotter/blob/master/docs/overview.mdcontainerd/stargz-snapshotter拉取鏡像效率提升 按需加載鏡像商業(yè)化使用：阿里云容器服務(wù) + DADI 加速器From: /