百度智能云容器產(chǎn)品布局和創(chuàng)新

揚帆起航百度智能云容器產(chǎn)品布局和創(chuàng)新01020304容器技術(shù)在百度內(nèi)部發(fā)展歷程百度智能云容器的商業(yè)化實踐容器化創(chuàng)新應(yīng)用和解決方案附錄目錄Since

2012自研百度的Borg幾十萬機器單集群上萬千萬級別容器資源利用率資源交付效率混布和混部內(nèi)部所有業(yè)務(wù)托管智能云前記-百度Matrix容器操作系統(tǒng)萌芽階段CRM、報表百AI計算、云原生應(yīng)用萬、十萬2012年2015年變更自動化持續(xù)迭代、交付資源利用率、成本混合云、多云、靈活性2018年（現(xiàn)在所處階段）腳本統(tǒng)計、腳本監(jiān)控、工具化機器級管理、conf、bin制品庫分離cp、mv、restartuid、進(jìn)程ulimit對接內(nèi)部專業(yè)平臺服務(wù)網(wǎng)關(guān)包管理系統(tǒng)、版本管理系統(tǒng)應(yīng)用框架CgroupWarden（CF）專業(yè)平臺原生支持容器開發(fā)框架考慮容器環(huán)境支持鏡像中心、多地域、分發(fā)優(yōu)化鏡像規(guī)范、獨立部署器Matrix-Container、DockerQOSCNCF生態(tài)產(chǎn)品化、互操作性K8S部署模型自定義CRD安全容器、KVM強租戶主要業(yè)務(wù)規(guī)模中間件部署發(fā)布資源隔離發(fā)展階段在線廣告系統(tǒng)幾千檢索后端流行階段資源云化新計算階段內(nèi)部私有云PaaS演化過程一次部署，多次修改熱升級計算和存儲綁定字典索引全局有狀態(tài)上下游耦合藍(lán)綠發(fā)布以空間換效率無狀態(tài)、弱端口業(yè)務(wù)利舊（歷史習(xí)慣、龐大規(guī)模、穩(wěn)定性和效率）新的準(zhǔn)則（互操作性、不可變基礎(chǔ)設(shè)施、可編程性）資源插件化舊世界和新世界-沖突部署基于鏡像的增量發(fā)布容器生命周期接管數(shù)據(jù)配送高性能主機網(wǎng)絡(luò)多端口管理PortAMRouter包管理精細(xì)化版本管理鏡像傳輸優(yōu)化異步編譯和合并依賴模塊組織關(guān)系多模塊單獨管理，合并部署配置模板化舊世界和新世界

-

折衷eth09kube-proxydocker0/24containereth08080containereth080806000160008iptablesKUBE-POSTROUTINGall--anywhere

anywhereDNATtcp--anywhereanywheretcpdpt:56292to:1:8080BNSetcdNATNAT單機解決方案全機房方案內(nèi)網(wǎng)入口不變實現(xiàn)A區(qū)多機房流量調(diào)度核心問題網(wǎng)絡(luò)拓?fù)洌篕8S為容器網(wǎng)絡(luò)有多層虛擬IP，依賴復(fù)雜Iptables（穩(wěn)定性）三層路由必須依賴overlay網(wǎng)絡(luò)（高版本內(nèi)核依賴）Underlay扁平網(wǎng)絡(luò)，容器上萬，IP地址管理（地址耗盡）服務(wù)暴露：流量入口不易遷移還有對內(nèi)部服務(wù)調(diào)用解決方案容器尋址：降維:

放棄容器網(wǎng)絡(luò)，犧牲容器點對點通信端口換IP:

開放宿主機預(yù)留高端口區(qū)域，NAT容器出口全局集中管理全網(wǎng)NAT信息服務(wù)接入：打通統(tǒng)一Naming

Service，以NAT信息注冊服務(wù)舊世界和新世界

-

折衷

-

網(wǎng)絡(luò)接入核心問題設(shè)計理念和需求沖突pets

&

cattle,

提倡cattle內(nèi)部上云場景需要pets業(yè)界沒有方案且需求復(fù)雜增量更新原地重啟不破壞原生功能解決方案富容器定位，當(dāng)輕量級“虛機”進(jìn)程樹模型自定義init，保容器活常駐service進(jìn)程，保業(yè)務(wù)活接管所有外部指令富容器進(jìn)程樹設(shè)計實現(xiàn)舊世界和新世界

-

折衷

-

熱部署20172008201520092010AWSElastic-Beanstalk2012-2014BAE（基礎(chǔ)版下線）JAE（下線）騰訊CEE（下線）ACE（下線）搜狐云景（下線）IBM

BlueMixPivotalWeb

Services201620192018SAEGAEGoogle

GKEAzureACS華為 CCE阿里云

AKS騰訊云

TKE百度云

CCEAzureAKSAWS

FargateGoogle

Anthos公有云CaaS、企業(yè)PaaS公有云PaaS、應(yīng)用托管 Containerized Serverless、多云Vendor

Lock互操作性定位和受眾可運維性安全性公有云泛容器類產(chǎn)品發(fā)展路徑（歷史）ECSEKSFargateAWSPLATFORM

SERVICEAWS

InfrastructureSERVICE

MiddlewarePivotalPASPKSMulti-Cloud

InfraPFSSERVICEBROKERACKECIEDASAliyunInfrastructureSERVICE

MiddlewareFunctionRKEWorkloadMgrHybird/Multi-Cloud

InfraUnifiedClusterMgrRancherCCEBCICNAPBaiduCloudInfrastructureSERVICE

MiddlewareCFCAWS Aliyun Baidu

Cloud以上內(nèi)容來自于各產(chǎn)品介紹，如有侵權(quán)，請聯(lián)系刪除公有云泛容器類產(chǎn)品發(fā)展路徑（現(xiàn)狀）容器運行時容器運行時鏡像環(huán)境隔離進(jìn)程樹資源限制卷虛擬網(wǎng)絡(luò)事件流容器運行時容器運行時容器運行時容器編排容器編排資源管理IP和端口管理調(diào)度、彈性伸縮可用性、負(fù)載均衡容器生命周期管理容器分組、任務(wù)合約可發(fā)現(xiàn)性、連接和依賴性卷管理、遠(yuǎn)程訪問任務(wù)調(diào)度容器編排容器編排容器平臺容器平臺高可用性區(qū)、多集群跨平臺、多云適配安全策略、資源監(jiān)控、多租戶、平臺在線自升級、備份、恢復(fù)容器平臺PaaS應(yīng)用

+

微服務(wù)DockerK8SCaaSPaaS從云原生應(yīng)用中的一個環(huán)節(jié)向現(xiàn)代化應(yīng)用基礎(chǔ)設(shè)施OS轉(zhuǎn)變?nèi)萜骰A(chǔ)設(shè)施的抽像理解產(chǎn)品定位利用容器技術(shù)抹平基礎(chǔ)設(shè)施差異

，降低上層PaaS和物理資源的對接成本加快上層服務(wù)化技術(shù)落地跨云、異構(gòu)等復(fù)雜場景核心適配層，提供一致、透明的資源交付體驗ABC

Stack容器套件 公有云容器服務(wù)容器化邊緣IaaS

+

PaaS標(biāo)準(zhǔn)CCE私有化純裸機容器化CCE容器引擎

BCI容器實例編排CDN邊緣容器實例端設(shè)備統(tǒng)一Runtime混合云連接器云邊協(xié)同控制計算網(wǎng)絡(luò)異構(gòu)資源邊資源基礎(chǔ)資源存儲容器集群管理集群高可用自動擴縮容云資源驅(qū)動 數(shù)據(jù)采集鏡像API基于Kubernetes構(gòu)建的通用容器基礎(chǔ)設(shè)施百度智能云的容器基礎(chǔ)設(shè)施化容器引擎

——

CCE集群管理工作負(fù)載管理Virtual-KubeletHelm倉庫Docker

鏡像倉庫百度云基礎(chǔ)架構(gòu)服務(wù)

——IaaS容器實例

——

BCI邊緣容器

——

BEC業(yè)務(wù)支撐云服務(wù)器BCCGPU服務(wù)器物理服務(wù)器BBC云磁盤CDS容器實例WebShell事件日志訪問管理配置&存儲管理Docker

RuntimeKubernetes

開源標(biāo)準(zhǔn)監(jiān)控訪問入口邊緣容器持久化存儲邊緣服務(wù)云原生微服務(wù)應(yīng)用平臺DevOps

-

效率云區(qū)塊鏈BaaSAI開發(fā)平臺Infinite函數(shù)計算CFC流式計算BSC監(jiān)控事件日志私有網(wǎng)絡(luò)VPC對象存儲BOS文件存儲CFS彈性網(wǎng)卡IPV6百度智能云容器技術(shù)產(chǎn)品生態(tài)https:///PaddlePaddle/product/infinite.html適用于AI場景的容器化實踐數(shù)據(jù)采集傳輸計算與存儲特征工程模型訓(xùn)練在線預(yù)測數(shù)據(jù)存儲平臺資源與效率任務(wù)/數(shù)據(jù)/模型管理Internet

Clientsweb

browsermobile

appsIoT

devicesKubernetesNative

Pipeline適用于AI場景的容器化實踐

–

工程化彈性高性能容錯復(fù)雜作業(yè)模型QoS復(fù)雜作業(yè)資源動態(tài)調(diào)整GPU細(xì)粒度調(diào)度、拓?fù)鋬?yōu)化高性能網(wǎng)絡(luò)適配ElasticDeepLearningController

（CRD）/PaddlePaddle/edl適用于AI場景的容器化實踐

–

關(guān)鍵問題Label&NodeAffinity多型號GPUs（K40,

P40,

V100混合調(diào)度）Pserver&TrainerPod

AffinityScheduler：減小資源碎片優(yōu)化Device

Plugin與Kubelet協(xié)議增加DevicesToAllocate()rpc接口Device

Plugin選擇通信效率的最高的卡適用于AI場景的容器化實踐

-

關(guān)鍵問題舉例Membership&

SponsorshipGoldmemberofCNCFin

2019GoldsponsorofKubeConChina

2019PlatinumsponsorofLC3Beijingin2018（Linux

Foundation）CertificationCertifiedKubernetesConformance

ProgramKubernetesCertifiedService

ProviderContribution2019Q2TotalPullRequestMerged:

70+KubernetesSIGsInvolved: