多快好省運營大規(guī)模彈性云集群

1、多快好省運營大規(guī)模彈性云集群多快好省運營大規(guī)模彈性云集群目錄彈性云v1.0線上運營情況1彈性云v1.0挑戰(zhàn)2彈性云v1.0架構(gòu)3彈性云v1.0 大促備戰(zhàn)4彈性云v1.0容器性能提升5彈性云v2.0起航6目錄彈性云v1.0線上運營情況1彈性云v1.0挑戰(zhàn)2彈性云v彈性云v1.0 線上運營情況618大促前統(tǒng)計15W+，JD全部業(yè)務(wù)均run在彈性云容器之上 彈性云v1.0 線上運營情況618大促前統(tǒng)計15W+，JD全挑戰(zhàn)選擇（2014/6/18）向前兼容第一個核心系統(tǒng)（單品頁）容器性能&穩(wěn)定性大規(guī)模運維成本挑戰(zhàn)選擇（2014/6/18）彈性云v1.0架構(gòu)Openstack Icehouse + do

2、cker1.3 + OVS2.1.3/2.3.2+Centos6.6 Data Center Operating System (OpenStack)VMsPhysical serversContainersJFSOVSDPDK彈性云v1.0架構(gòu)Openstack Icehouse + 彈性云v1.0架構(gòu)彈性云v1.0架構(gòu)彈性云v1.0架構(gòu)OVS-VLAN網(wǎng)絡(luò)模式 彈性云v1.0架構(gòu)OVS-VLAN網(wǎng)絡(luò)模式 彈性云v1.0 業(yè)務(wù)方研發(fā)同事使用對接原有上線系統(tǒng)自助上線 彈性云v1.0 業(yè)務(wù)方研發(fā)同事使用對接原有上線系統(tǒng)彈性云v1.0 運維同事運維系統(tǒng)物理資源管理集群管理異常消息追蹤每日巡檢 彈性

3、云v1.0 運維同事運維系統(tǒng)物理資源管理618備戰(zhàn)資源20倍壓測彈性 scale up & scale out（不是銀彈）調(diào)優(yōu)內(nèi)存即存儲 區(qū)別業(yè)務(wù)特點細到塵埃的監(jiān)控系統(tǒng)高峰流量 提前規(guī)劃資源+彈性scale up618備戰(zhàn)資源堅如磐石穩(wěn)定性性能堅如磐石穩(wěn)定性硬件環(huán)境 服務(wù)器節(jié)能模式的“坑”容器實例密度對local機械磁盤的挑戰(zhàn)不同品牌網(wǎng)卡的困擾CPU:Memory = 1:？計量性能的規(guī)則和手段不同cpu硬件性能帶給業(yè)務(wù)方困擾硬件環(huán)境 服務(wù)器節(jié)能模式的“坑”萬兆NIC 多CPU分攤網(wǎng)卡軟中斷（網(wǎng)卡隊列均衡以及中斷散列）OVS-VLAN， simple flow，no offload，性能與物理

4、網(wǎng)卡相當(dāng)kernel 2.6.32的網(wǎng)絡(luò)namespace對sync報文承受弱，kernel 3.1 fixed優(yōu)化OVS對內(nèi)核鎖的使用Monitor more萬兆NIC 多CPU分攤網(wǎng)卡軟中斷（網(wǎng)卡隊列均衡以及中斷散列Cgroup：CPU CFS （RR/FIFO）流量與CPU%成線性關(guān)系嗎某些容器Load影響其他容器性能嗎cpu set & cpu share & 逃逸Cgroup：CPU CFS （RR/FIFO）Cgroup：Memory%=RSS+Share/TotalOOMCacheSlab JD分散回收時機及回收閾值設(shè)定Swap& Swappiness Monitor more，

5、如swapCgroup：Memory%=RSS+Share/TotalCgroup：資源及隔離用戶隔離（uuid/線程數(shù)）文件句柄限制（file-max）虛擬內(nèi)存（線程數(shù)及overcommit）Cgroup：資源及隔離用戶隔離（uuid/線程數(shù)）大集群 openstack單集群6K臺計算節(jié)點自研調(diào)度系統(tǒng)自研brooder服務(wù)，代替社區(qū)直連和目前的nova-conductor，不依賴MQ，帶redis緩存管理容器生命周期消息tracking，集群任何動作均做tracking，告警Neutron-openvswitch-agent update 平滑，確保容器不中斷，穩(wěn)定控制節(jié)點服務(wù)，計算節(jié)點服務(wù)

6、，依賴DB，內(nèi)核日志均做服務(wù)進程探活監(jiān)控避免使用ceilometer采集simple指標走MQ自研調(diào)度系統(tǒng)，依賴計算節(jié)點資源狀態(tài)信息存放在redis，確保無狀態(tài)調(diào)度進程原子互斥調(diào)度根據(jù)應(yīng)用app-id，夸交換機/機架/物理機；根據(jù)業(yè)務(wù)系統(tǒng)級別，資源特性調(diào)度到不同的zone不同的隔離特點，調(diào)度到不同的network zone某個容器失效，自動觸發(fā)RC（保持IP不變“遷移”）應(yīng)用縮容/擴容，自動CRUD操作LB，DB授權(quán)，服務(wù)框架注冊大集群 openstack單集群6K臺計算節(jié)點自研broo細到塵埃的監(jiān)控平臺獲得技術(shù)尊重 硬件+OS容器平臺業(yè)務(wù)細到塵埃的監(jiān)控平臺獲得技術(shù)尊重 硬件+OS容器平臺業(yè)務(wù)監(jiān)控資源監(jiān)控： CPU，負載，內(nèi)存，SWAP，網(wǎng)絡(luò)出入項流量、報文個數(shù)，網(wǎng)卡錯誤統(tǒng)計，磁盤使用率、讀寫流量、讀寫iops、繁忙程度等。網(wǎng)絡(luò)協(xié)議監(jiān)控： tcp 丟包、重傳、收發(fā)報文，鏈接數(shù)等。其他監(jiān)控： 內(nèi)存申請失敗，進程/線程數(shù)，句柄數(shù)等。業(yè)務(wù)監(jiān)控：定制的部分業(yè)務(wù)監(jiān)控。服務(wù)器硬件監(jiān)控：功率，風(fēng)扇轉(zhuǎn)速，溫度等監(jiān)控。監(jiān)控資源監(jiān)控：監(jiān)控監(jiān)控未來彈性云v1.0 所得所失彈性云v2.0 承上啟下 CaaS基因IaaS基因未來彈性云v1.0 所得所失CaaS