網(wǎng)易蜂巢ker研發(fā)實(shí)踐

1、網(wǎng)易蜂巢Docker研發(fā)實(shí)踐目錄 網(wǎng)易蜂巢 蜂巢架構(gòu) K8S 實(shí)踐 NODE 網(wǎng)絡(luò) 負(fù)載均衡 容器遷移網(wǎng)易蜂巢簡(jiǎn)介成了從以資源為中心的服務(wù)到以業(yè)務(wù)為中心的容器即服務(wù)（CaaS）新一代云不同于傳統(tǒng)的服務(wù)，網(wǎng)易計(jì)算的，解決了用戶在使用傳統(tǒng)過(guò)程中面對(duì)的復(fù)雜的基礎(chǔ)設(shè)施的規(guī)劃、設(shè)計(jì)、安裝、部署等痛點(diǎn)。網(wǎng)易蜂巢提供了豐富的開(kāi)發(fā)運(yùn)維工具，解決了服務(wù)發(fā)現(xiàn)、可靠性、服務(wù)依賴、服務(wù)治理等問(wèn)題，降低了運(yùn)維的復(fù)雜度和難度。網(wǎng)易蜂巢提供了一站式云計(jì)算服務(wù)，不僅以容器和容器編排的服務(wù)，還應(yīng)用性能、日志在內(nèi)的通用運(yùn)維工具鏈，滿足了開(kāi)發(fā)即運(yùn)維的要求。網(wǎng)易蜂巢構(gòu)建化。的云計(jì)算基礎(chǔ)設(shè)施平臺(tái)上，對(duì)基礎(chǔ)設(shè)施具有完全的掌控力，研發(fā)團(tuán)隊(duì)

2、據(jù)此做了大量的定制和優(yōu)網(wǎng)易蜂巢解決了哪些問(wèn)題，可以看兩個(gè)數(shù)據(jù)：購(gòu)?fù)ㄟ^(guò)蜂巢的自動(dòng)化以及微服務(wù)架構(gòu)，整體運(yùn)營(yíng)效率提高了8倍，月發(fā)布每有10萬(wàn)次以上的發(fā)布，同網(wǎng)易時(shí)迭代效率提升了近20倍；網(wǎng)易蜂巢的分布式架構(gòu)能夠?qū)崿F(xiàn)200+的副本和每秒16000次的請(qǐng)求。網(wǎng)易蜂巢對(duì)迭代速率的提升不言而喻。網(wǎng)易蜂巢目前已經(jīng)支持了網(wǎng)易云音樂(lè)、網(wǎng)易購(gòu)、網(wǎng)易云課堂等知名互聯(lián)網(wǎng)。網(wǎng)易蜂巢架構(gòu)CEPHCNSNVSPOOLNLBkubeproxykubeletdockernodehubauth-hubK8SapischedulercontrolleretcdNAS統(tǒng)一賬號(hào)計(jì)費(fèi)系統(tǒng)管理平臺(tái)NCE網(wǎng)易蜂巢架構(gòu)。用戶服務(wù)1（有狀態(tài)）+

3、云硬盤(pán)+空間1。服務(wù)2（無(wú)狀態(tài)）負(fù)載均衡1。副本2（POD）服務(wù)1（無(wú)狀態(tài)）。容器2鏡像2副本1（POD）容器1鏡像1 K8S 實(shí)踐LBManagerAuthLBpoolHub K8S 實(shí)踐 完善多租戶支持 node、 按租戶實(shí)現(xiàn)、網(wǎng)絡(luò)等資源租戶天生的認(rèn)證和P Kubeproxy 按租戶 調(diào)度器/器并行處理優(yōu)化 將面向集群的串行調(diào)度優(yōu)化為多租戶并行調(diào)度 將副本隊(duì)列串行處理優(yōu)化為按照多優(yōu)先級(jí)隊(duì)列并行處理 實(shí)現(xiàn)資源按需分配 etcd集群 根據(jù)Pod/Node/RC等資源到拆分不同的etcd集群APIAPIAPI K8S 實(shí)踐NODEK8s masternodeDnodeBnodeCnodeCnod

4、eDnodeAnodeDnodeAnodeBnode網(wǎng)絡(luò) 容器間互連 復(fù)雜：NAT、端口eethth00etehth00、層級(jí)網(wǎng)絡(luò)171722.1.166.1.13388.117777NAT17127.21.616.1.13388.1.17788NATHostHost 遺留系統(tǒng)遷移的影響 長(zhǎng)連接狀態(tài)問(wèn)題br- 172.18.0.1br-yyy 172.18.0.1 基于 IP的服務(wù)發(fā)現(xiàn)veth 172.18.0.2veth 172.18.0.3veth 172.18.0.3veth 172.18.0.2運(yùn)維復(fù)雜度增加 端口 內(nèi)外IP 不一致不利于故障恢復(fù)container1container2

5、container3container4swVZiLtWFcKhIP 變化UDP Packageeethth00eethth00171722.1.166.1.13388.117777171272.1.166.1.13388.117778HostHostffllaannnneellddflfalannnneellddflflaannnneell00ffllaannnneell00117722.1188.00.00/1166117722.1188.11.00/1166ddoocckkeerr00ddoocckkeerr00117722.1.188.00.11 /2 4 171722.1.188.1

6、1.11 / 24 veth 172.18.0.2veth 172.18.0.3veth 172.18.1.2veth 172.18.1.3container1container2container1container2網(wǎng)絡(luò) 簡(jiǎn)單：虛擬化扁平二層網(wǎng) 絡(luò) 遺留系統(tǒng)兼容性好VZLWFKIP 分配 利于故障恢復(fù) 與物理網(wǎng)絡(luò)拓?fù)浣怦?VxLAN 網(wǎng)絡(luò)，基于 Openstack NeutronVxLAN Packageeth0 172.16.138.177eth0 172.16.138.178HostHost每租戶一張私有二層網(wǎng)絡(luò)OVSOVS網(wǎng)卡直接掛載私有網(wǎng)絡(luò) 容器網(wǎng)絡(luò)br-tunbr-tunbr-i

7、ntbr-intport 172.18.0.2port 172.18.0.3port 172.18.0.4port 172.18.0.5container1container2container3container4負(fù)載均衡LBLBManagerAuthHub容器遷移Docker daemon 在啟動(dòng)時(shí)，通過(guò)-graph=指定docker運(yùn)行時(shí)根目錄。 Docker根目錄結(jié)構(gòu)： containers配置相關(guān)文件 graph overlay volumes鏡像相關(guān)文件文件系統(tǒng)相關(guān)數(shù)據(jù)卷相關(guān)目錄Docker daemon 啟動(dòng)時(shí)，會(huì)輪詢containers 目錄，加載容器配置所有容器：，當(dāng)啟動(dòng)完成

8、后，通過(guò)docker ps -a 就可以看到該node上的03a09a384cecf8921f1b0171776991c340555494f80627a395e0492b4189c5c9257c33a74a64d696759ba371aa646a5e7037c18690fbe8f67cc1a62d8983120a每個(gè)容器都有一個(gè)目錄，目錄結(jié)構(gòu)如下： 03a09a384cecf8921f1b0171776991c340555494f80627a395e0492b4189c5c9-json.log config.json hostconfig.json hostname hosts resolv.

9、conf resolv.conf.hash容器遷移docker run 增加container-home=$dir 參數(shù)，指定用戶的rootfs路徑將Daemom中全局的變量移到container結(jié)構(gòu)中。type Daemon struct Distributed Block ServiceIDrepository containers volumes shutdown layerStorestringstring container.StoreVMvolumeconfig & imagecontainer1volumedata volumeDocker config*store.Volume

10、Storecontainer2boolvolumeconfig & imagelayer.Store功能：指定該參數(shù)后，容器文件系統(tǒng)相關(guān)數(shù)據(jù)及數(shù)據(jù)卷都存放在指定的dir目錄下。在實(shí)踐中，kubelet 中的netease插件將云盤(pán)掛載到node上某一mountpoint，并指定container-home為該mountpoint。從而實(shí)現(xiàn)每個(gè)容器的rootfs保的云盤(pán)上。指定container-home參數(shù)后，對(duì)于用戶通過(guò)v /dir指定的卷，也會(huì)保這個(gè)云盤(pán)上。容器遷移 增加reload 指令通過(guò)模仿daemon.restore，輪詢containers 目錄，加載未加載過(guò)得容器配置功能：執(zhí)行docker reload 指令，無(wú)需重啟daemon、dockerd，就可以看到新增加容器。遷移流程：1.2.3.4.5.6.7.在一個(gè)node上掛載云硬盤(pán)到指定dir目錄啟動(dòng)容器，設(shè)置container-hom