云端部署Kubernetes與容器集群方案

1、云端部署Kubernetes與容器集群方案技術(shù)創(chuàng)新 變革未來如何在云端部署為何客戶選擇將生產(chǎn)負(fù)載放在AWS容器環(huán)境AWS VPC 網(wǎng)絡(luò)模式進(jìn)階的任務(wù)置放策略深度集成 AWS 相關(guān) 服務(wù)ECS CLI全球部署強(qiáng)力的編排引擎自動(dòng)擴(kuò)展組CloudWatch 監(jiān)控指標(biāo)負(fù)載均衡器為什么開發(fā)者這么青睞Kubernetes？可擴(kuò)展 性能 服務(wù)廣度 自有數(shù)據(jù)中心C L O U D云計(jì)算在哪里運(yùn)行 Kubernetes 至關(guān)重要底 層 云 平 臺(tái) 的 “ 能 力 ”應(yīng) 用 自 身 的 “ 質(zhì) 量 ”用 戶 最 終 體 驗(yàn)是客戶首選的容器應(yīng)用技術(shù)平臺(tái)of Kubernetes workloadsrun on AW

2、S todayCNCF survey在 AWS上如何繼續(xù)使用 Kubernetes？Amazon EC2Kubernetes OperationsTectonic Installer社區(qū)解決方案合作伙伴通過Kops管理Kubernetes集群通用的CloudFormation 或Terraform 腳本/kubernetes/kopsexport AWS_AVAILABILITY_ZONES=$ZONES:-us-east-1b,us- east-1c,us-east-1dexport KOPS_STATE_STORE=s3:/kubernetes-aws-iokops create clus

3、ter cluster.k8s.local -master-count 3 -master-size m4.large -node-count 5 -node-size m4.large -zones $AWS_AVAILABILITY_ZONES -networking calico -yes“ R u nK u b e r n e t e sf o rm e . ”請(qǐng)幫我運(yùn)行K u b e r n e t e sE L A S T I CC O N T A I N E RS E R V I C EF O RK U B E R N E T E S( E K S )EKS設(shè)計(jì)原則和開源K u

4、b e r n e t e s一致體驗(yàn)U p s t r e a m保持和上游同步支持企業(yè)生產(chǎn)級(jí)別 的容器應(yīng)用按需和 AW S 服務(wù) 無縫集成邏輯架構(gòu)MasterMasterMasterWorkersWorkersWorkersAWS ManagedAWS 托管訪問邏輯Availability Zone 1Availability Zone 2Availability Zone 3KubectlEKS 用戶體驗(yàn)創(chuàng)建 E K S 集群 創(chuàng)建并添加 W o r k e r 節(jié)點(diǎn) 啟動(dòng) K 8 S 插件 啟 動(dòng) 容 器 應(yīng) 用小米生態(tài)云基于Kubernetes的應(yīng)用引擎實(shí)踐小米生態(tài)云一站式云服務(wù)平臺(tái)

5、，為生態(tài)鏈云端業(yè)務(wù)保駕護(hù)航云計(jì)算，大數(shù)據(jù)，人工智能數(shù)據(jù)隱私合規(guī)安全、效率、自由全球布局舊版應(yīng)用引擎：基于IaaS公有云Cloud FoundryWeb控制臺(tái)用戶與權(quán)限管理小米賬號(hào)開箱即用的PaaS平臺(tái)完整的組織、用戶和權(quán)限管理成熟穩(wěn)定，非常適用于無狀態(tài)Web 應(yīng)用Buildpack機(jī)制和基礎(chǔ)文件系統(tǒng)不靈活，定制難度大無法限制應(yīng)用的CPU絕對(duì)用量不支持Cluster應(yīng)用、UDP應(yīng)用Docker支持不完整，非原生體驗(yàn)自有體系，組件繁多，部署運(yùn)維復(fù)雜新版應(yīng)用引擎基于CLI瀏覽器APP智能硬件瀏覽器NLB/CLBNLB/CLBNginx Ingress ControllerKubernetes集群We

6、b控制臺(tái)用戶與權(quán)限管理日志監(jiān)控報(bào)警計(jì)量計(jì)費(fèi)鏡像倉庫小米賬號(hào)高可用部署MasterNodesetcdetcdMasterNodesetcdAZ 1AZ 2kubectl label nodes node-1 failure-domain.beta.kubernetes.io/region=us-west-2 failure-domain.beta.kubernetes.io/zone=us-west-2akubectl label nodes node-2 failure-domain.beta.kubernetes.io/region=us-west-2 failure-domain.beta

7、.kubernetes.io/zone=us-west-2b多租戶權(quán)限控制資源隔離網(wǎng)絡(luò)隔離權(quán)限控制Kubernetes用戶與權(quán)限管理小米賬號(hào)o1-namespace1Org1o1-namespace2Xiaomi IDGroupUserRoleo1-namespace3RBAC AuthzrolerolebindingWebhook Authn/tokenClient123/authenticate45資源隔離應(yīng)用引擎賬號(hào)A公司應(yīng)用B公司應(yīng)用A公司賬號(hào)B公司賬號(hào)數(shù)據(jù)庫緩存數(shù)據(jù)庫緩存VPC對(duì)接VPC安全組VPC安全組網(wǎng)絡(luò)策略VPC對(duì)接網(wǎng)絡(luò)隔離：容器網(wǎng)絡(luò): CalicoCalico GlobalN

8、etworkPolicy優(yōu)先級(jí)從高到低允許某公司的應(yīng)用訪問該公司的VPC網(wǎng)段（egress）允許同一公司的應(yīng)用之間相互訪問（egress+ingress）允許所有應(yīng)用訪問KubeDNS/CoreDNS地址（egress）允許Nginx Ingress Controller訪問所有應(yīng)用（ingress）禁止所有應(yīng)用訪問所有私有地址（egress）允許所有應(yīng)用訪問所有地址（egress）被所有地址/應(yīng)用訪問（ingress）關(guān)閉Source/Dest. CheckCALICO_IPV4POOL_IPIP=always允許同一公司的應(yīng)用之間相互訪問apiVersion: /v3 kind: Glob

9、alNetworkPolicy metadata:name: $ORG-allow-access-among-same-org spec:egress:- action: Allowdestination:selector: org = $ORG source:selector: org = $ORG ingress:- action: Allowdestination: source:selector: org = $ORG order: 800selector: org = $ORG types:IngressEgress應(yīng)用抽象和封裝Application0.1Ingress1Servi

10、ce 1ReplicaSet0.NPod1Deployment日志Amazon S3+VMware Harbor+CoreOSClair日志NodesFluentd AgentSplunkFDSHDFSKafkaFile實(shí)時(shí)日志離線計(jì)算日志下載實(shí)時(shí)分析監(jiān)控報(bào)警監(jiān)控Nginx Ingress Controller + Lua + Open FalconHTTP相關(guān)指標(biāo) 報(bào)警Open Falcon短信郵件經(jīng)驗(yàn)分享log-opts: max-size:100m,max-file:10,live-restore:trueAWS: 關(guān)閉Source/Dest. Check跨子網(wǎng)：CALICO_IPV4POOL_IPIP=always重命名策略: k8s-policy-no-matchKubelet-pod-infra-container-image=gcr.io/google_containers/pause-amd64:3.1-docker-disable-shared-pid=false資源限制ResourceQuotaLimitRangeEvents導(dǎo)出到外部存儲(chǔ)CronJobsuccessfulJobsHistoryLimit, failedJobsHistoryLimitconcurr