云端部署Kubernetes與容器集群方案

1、云端部署Kubernetes與容器集群方案技術(shù)創(chuàng)新 變革未來如何在云端部署為何客戶選擇將生產(chǎn)負載放在AWS容器環(huán)境AWS VPC 網(wǎng)絡(luò)模式進階的任務(wù)置放策略深度集成 AWS 相關(guān) 服務(wù)ECS CLI全球部署強力的編排引擎自動擴展組CloudWatch 監(jiān)控指標(biāo)負載均衡器為什么開發(fā)者這么青睞Kubernetes？可擴展 性能 服務(wù)廣度 自有數(shù)據(jù)中心C L O U D云計算在哪里運行 Kubernetes 至關(guān)重要底 層 云 平 臺 的 “ 能 力 ”應(yīng) 用 自 身 的 “ 質(zhì) 量 ”用 戶 最 終 體 驗是客戶首選的容器應(yīng)用技術(shù)平臺of Kubernetes workloadsrun on AW

2、S todayCNCF survey在 AWS上如何繼續(xù)使用 Kubernetes？Amazon EC2Kubernetes OperationsTectonic Installer社區(qū)解決方案合作伙伴通過Kops管理Kubernetes集群通用的CloudFormation 或Terraform 腳本/kubernetes/kopsexport AWS_AVAILABILITY_ZONES=$ZONES:-us-east-1b,us- east-1c,us-east-1dexport KOPS_STATE_STORE=s3:/kubernetes-aws-iokops create clus

3、ter cluster.k8s.local -master-count 3 -master-size m4.large -node-count 5 -node-size m4.large -zones $AWS_AVAILABILITY_ZONES -networking calico -yes“ R u nK u b e r n e t e sf o rm e . ”請幫我運行K u b e r n e t e sE L A S T I CC O N T A I N E RS E R V I C EF O RK U B E R N E T E S( E K S )EKS設(shè)計原則和開源K u

4、b e r n e t e s一致體驗U p s t r e a m保持和上游同步支持企業(yè)生產(chǎn)級別 的容器應(yīng)用按需和 AW S 服務(wù) 無縫集成邏輯架構(gòu)MasterMasterMasterWorkersWorkersWorkersAWS ManagedAWS 托管訪問邏輯Availability Zone 1Availability Zone 2Availability Zone 3KubectlEKS 用戶體驗創(chuàng)建 E K S 集群 創(chuàng)建并添加 W o r k e r 節(jié)點 啟動 K 8 S 插件 啟 動 容 器 應(yīng) 用小米生態(tài)云基于Kubernetes的應(yīng)用引擎實踐小米生態(tài)云一站式云服務(wù)平臺

5、，為生態(tài)鏈云端業(yè)務(wù)保駕護航云計算，大數(shù)據(jù)，人工智能數(shù)據(jù)隱私合規(guī)安全、效率、自由全球布局舊版應(yīng)用引擎：基于IaaS公有云Cloud FoundryWeb控制臺用戶與權(quán)限管理小米賬號開箱即用的PaaS平臺完整的組織、用戶和權(quán)限管理成熟穩(wěn)定，非常適用于無狀態(tài)Web 應(yīng)用Buildpack機制和基礎(chǔ)文件系統(tǒng)不靈活，定制難度大無法限制應(yīng)用的CPU絕對用量不支持Cluster應(yīng)用、UDP應(yīng)用Docker支持不完整，非原生體驗自有體系，組件繁多，部署運維復(fù)雜新版應(yīng)用引擎基于CLI瀏覽器APP智能硬件瀏覽器NLB/CLBNLB/CLBNginx Ingress ControllerKubernetes集群We

6、b控制臺用戶與權(quán)限管理日志監(jiān)控報警計量計費鏡像倉庫小米賬號高可用部署MasterNodesetcdetcdMasterNodesetcdAZ 1AZ 2kubectl label nodes node-1 failure-domain.beta.kubernetes.io/region=us-west-2 failure-domain.beta.kubernetes.io/zone=us-west-2akubectl label nodes node-2 failure-domain.beta.kubernetes.io/region=us-west-2 failure-domain.beta

7、.kubernetes.io/zone=us-west-2b多租戶權(quán)限控制資源隔離網(wǎng)絡(luò)隔離權(quán)限控制Kubernetes用戶與權(quán)限管理小米賬號o1-namespace1Org1o1-namespace2Xiaomi IDGroupUserRoleo1-namespace3RBAC AuthzrolerolebindingWebhook Authn/tokenClient123/authenticate45資源隔離應(yīng)用引擎賬號A公司應(yīng)用B公司應(yīng)用A公司賬號B公司賬號數(shù)據(jù)庫緩存數(shù)據(jù)庫緩存VPC對接VPC安全組VPC安全組網(wǎng)絡(luò)策略VPC對接網(wǎng)絡(luò)隔離：容器網(wǎng)絡(luò): CalicoCalico GlobalN

8、etworkPolicy優(yōu)先級從高到低允許某公司的應(yīng)用訪問該公司的VPC網(wǎng)段（egress）允許同一公司的應(yīng)用之間相互訪問（egress+ingress）允許所有應(yīng)用訪問KubeDNS/CoreDNS地址（egress）允許Nginx Ingress Controller訪問所有應(yīng)用（ingress）禁止所有應(yīng)用訪問所有私有地址（egress）允許所有應(yīng)用訪問所有地址（egress）被所有地址/應(yīng)用訪問（ingress）關(guān)閉Source/Dest. CheckCALICO_IPV4POOL_IPIP=always允許同一公司的應(yīng)用之間相互訪問apiVersion: /v3 kind: Glob

9、alNetworkPolicy metadata:name: $ORG-allow-access-among-same-org spec:egress:- action: Allowdestination:selector: org = $ORG source:selector: org = $ORG ingress:- action: Allowdestination: source:selector: org = $ORG order: 800selector: org = $ORG types:IngressEgress應(yīng)用抽象和封裝Application0.1Ingress1Servi

10、ce 1ReplicaSet0.NPod1Deployment日志Amazon S3+VMware Harbor+CoreOSClair日志NodesFluentd AgentSplunkFDSHDFSKafkaFile實時日志離線計算日志下載實時分析監(jiān)控報警監(jiān)控Nginx Ingress Controller + Lua + Open FalconHTTP相關(guān)指標(biāo) 報警Open Falcon短信郵件經(jīng)驗分享log-opts: max-size:100m,max-file:10,live-restore:trueAWS: 關(guān)閉Source/Dest. Check跨子網(wǎng)：CALICO_IPV4POOL_IPIP=always重命名策略: k8s-policy-no-matchKubelet-pod-infra-container-image=gcr.io/google_containers/pause-amd64:3.1-docker-disable-shared-pid=false資源限制ResourceQuotaLimitRangeEvents導(dǎo)出到外部存儲CronJobsuccessfulJobsHistoryLimit, failedJobsHistoryLimitconcurr