基于容器的彈性云技術(shù)剖析

1、基于容器的彈性云技術(shù)剖析第2頁數(shù)據(jù)中心業(yè)務(wù)運行環(huán)境100%容器化規(guī)模JDOS 架構(gòu)Data Center Operating System (OpenStack)VMsPhysical serversContainersJFSOVSDPDK應(yīng)用研發(fā)上線控制臺運維控制臺第6頁一個容器第7頁容器之CPUCgroupCFS（RR/FIFO）每顆CPU一個Task QueueLoad 宿主機load高會影響同一主機上其他容器嗎導(dǎo)入流量與CPU%成線性增加嗎（lock/可能很少人能寫出把CPU能力榨干的程序）CPU Affinity（/etc/cpu_info）Disk IO消耗CPU嗎監(jiān)控第8頁容器之

2、內(nèi)存Cgroup%=RSS+Share/TotalOOM（like kill -9/namespace）Cache（file binary cache）Slab （inode/dentry/small files）JD分散回收時機 Swap/dev/shm default 64MBShare Memory default 32MBNUMAMemory leak第9頁容器之磁盤IOJD not use cgroup.blkio support QosSAS 10K RAID5 （很普通的機械硬盤,但是現(xiàn)在1:N=物理機:容器）NOOP/CFQ/DeadlineDM/AUFSLVMJDPD(物理分

3、區(qū)技術(shù))JD胖容器：/ + /export /=readonly, /export=LVM/JDPD(JD工具鏈+應(yīng)用系統(tǒng))Unfortunatelysync write第10頁容器之虛擬化網(wǎng)絡(luò)第11頁容器之虛擬化網(wǎng)絡(luò)Disable Docker network，使用JD OVS-VLANContainer IP 一等公民Qos 1:1 權(quán)重 share網(wǎng)卡中斷CPU Affinity, 有效發(fā)揮10Gbps網(wǎng)卡性能優(yōu)勢監(jiān)控完善，包括收發(fā)包，流量Openflow SimplePerformace與物理機相當?shù)?2頁容器之虛擬化網(wǎng)絡(luò)-流表Local VLAN id TO Real VLAN id

4、Local VLAN id TO Real VLAN id第13頁容器之虛擬化網(wǎng)絡(luò)-性能Container TO Container容器之虛擬化網(wǎng)絡(luò)-性能物理機 TO 物理機OpenStack集群規(guī)模-How從F版開始使用自研brooder（default have redis） like nova-conductor自研python RPC (eventlet+msgpack) 內(nèi)部叫yaRPC，收錄到 / neutron-openvswitch-agent update升級 （JD從I版開始支持）Openstack廣泛使用的文件鎖，JD重新寫該函數(shù)消息追蹤，自研yaRPC自帶消息track

5、ing，并記錄到DB大量調(diào)度特性功能比如：應(yīng)用根據(jù)app-id夸交換機/夸機架,根據(jù)業(yè)務(wù)系統(tǒng)級別，資源特性調(diào)度到不同的nova zone，不同隔離特性調(diào)度到不同的網(wǎng)絡(luò)zone開發(fā)JD IDC Network Zone功能，支持IDC不同物理podOVS狀態(tài)監(jiān)控，內(nèi)核信息追蹤巡檢系統(tǒng)：Dockercgroup 需要被認真對待：CPU默認調(diào)度cfs算法 cpu set & cpu shareblkio默認cfq vs deadline調(diào)度算法JD胖容器：/ + /export /=readonly, /export=LVM(JD工具鏈+應(yīng)用系統(tǒng))Disable docker network，use neutron（OVS-vlan）監(jiān)控加強: 加入process，open fd自研鏡像build增強功能：compress/tag/clear/includeQ&A大膽假設(shè)，小心求證規(guī)模驅(qū)動技術(shù)持續(xù)演進JDOS團隊JDOSLinux kernelDockerOpenstackNetworkMonitor實踐Kernel Bug：/view.php?id=870364CPU/proc/sys/vm/min_free_kbytesulimit vMALLOC_ARENA_MAX 服務(wù)器功率