網(wǎng)易蜂巢ker研發(fā)實踐

1、網(wǎng)易蜂巢Docker研發(fā)實踐目錄 網(wǎng)易蜂巢 蜂巢架構(gòu) K8S 實踐 NODE 網(wǎng)絡(luò) 負載均衡 容器遷移網(wǎng)易蜂巢簡介成了從以資源為中心的服務(wù)到以業(yè)務(wù)為中心的容器即服務(wù)（CaaS）新一代云不同于傳統(tǒng)的服務(wù)，網(wǎng)易計算的，解決了用戶在使用傳統(tǒng)過程中面對的復(fù)雜的基礎(chǔ)設(shè)施的規(guī)劃、設(shè)計、安裝、部署等痛點。網(wǎng)易蜂巢提供了豐富的開發(fā)運維工具，解決了服務(wù)發(fā)現(xiàn)、可靠性、服務(wù)依賴、服務(wù)治理等問題，降低了運維的復(fù)雜度和難度。網(wǎng)易蜂巢提供了一站式云計算服務(wù)，不僅以容器和容器編排的服務(wù)，還應(yīng)用性能、日志在內(nèi)的通用運維工具鏈，滿足了開發(fā)即運維的要求。網(wǎng)易蜂巢構(gòu)建化。的云計算基礎(chǔ)設(shè)施平臺上，對基礎(chǔ)設(shè)施具有完全的掌控力，研發(fā)團隊

2、據(jù)此做了大量的定制和優(yōu)網(wǎng)易蜂巢解決了哪些問題，可以看兩個數(shù)據(jù)：購?fù)ㄟ^蜂巢的自動化以及微服務(wù)架構(gòu)，整體運營效率提高了8倍，月發(fā)布每有10萬次以上的發(fā)布，同網(wǎng)易時迭代效率提升了近20倍；網(wǎng)易蜂巢的分布式架構(gòu)能夠?qū)崿F(xiàn)200+的副本和每秒16000次的請求。網(wǎng)易蜂巢對迭代速率的提升不言而喻。網(wǎng)易蜂巢目前已經(jīng)支持了網(wǎng)易云音樂、網(wǎng)易購、網(wǎng)易云課堂等知名互聯(lián)網(wǎng)。網(wǎng)易蜂巢架構(gòu)CEPHCNSNVSPOOLNLBkubeproxykubeletdockernodehubauth-hubK8SapischedulercontrolleretcdNAS統(tǒng)一賬號計費系統(tǒng)管理平臺NCE網(wǎng)易蜂巢架構(gòu)。用戶服務(wù)1（有狀態(tài)）+

3、云硬盤+空間1。服務(wù)2（無狀態(tài)）負載均衡1。副本2（POD）服務(wù)1（無狀態(tài)）。容器2鏡像2副本1（POD）容器1鏡像1 K8S 實踐LBManagerAuthLBpoolHub K8S 實踐 完善多租戶支持 node、 按租戶實現(xiàn)、網(wǎng)絡(luò)等資源租戶天生的認證和P Kubeproxy 按租戶 調(diào)度器/器并行處理優(yōu)化 將面向集群的串行調(diào)度優(yōu)化為多租戶并行調(diào)度 將副本隊列串行處理優(yōu)化為按照多優(yōu)先級隊列并行處理 實現(xiàn)資源按需分配 etcd集群 根據(jù)Pod/Node/RC等資源到拆分不同的etcd集群APIAPIAPI K8S 實踐NODEK8s masternodeDnodeBnodeCnodeCnod

4、eDnodeAnodeDnodeAnodeBnode網(wǎng)絡(luò) 容器間互連 復(fù)雜：NAT、端口eethth00etehth00、層級網(wǎng)絡(luò)171722.1.166.1.13388.117777NAT17127.21.616.1.13388.1.17788NATHostHost 遺留系統(tǒng)遷移的影響 長連接狀態(tài)問題br- 172.18.0.1br-yyy 172.18.0.1 基于 IP的服務(wù)發(fā)現(xiàn)veth 172.18.0.2veth 172.18.0.3veth 172.18.0.3veth 172.18.0.2運維復(fù)雜度增加 端口 內(nèi)外IP 不一致不利于故障恢復(fù)container1container2

5、container3container4swVZiLtWFcKhIP 變化UDP Packageeethth00eethth00171722.1.166.1.13388.117777171272.1.166.1.13388.117778HostHostffllaannnneellddflfalannnneellddflflaannnneell00ffllaannnneell00117722.1188.00.00/1166117722.1188.11.00/1166ddoocckkeerr00ddoocckkeerr00117722.1.188.00.11 /2 4 171722.1.188.1

6、1.11 / 24 veth 172.18.0.2veth 172.18.0.3veth 172.18.1.2veth 172.18.1.3container1container2container1container2網(wǎng)絡(luò) 簡單：虛擬化扁平二層網(wǎng) 絡(luò) 遺留系統(tǒng)兼容性好VZLWFKIP 分配 利于故障恢復(fù) 與物理網(wǎng)絡(luò)拓撲解耦 VxLAN 網(wǎng)絡(luò)，基于 Openstack NeutronVxLAN Packageeth0 172.16.138.177eth0 172.16.138.178HostHost每租戶一張私有二層網(wǎng)絡(luò)OVSOVS網(wǎng)卡直接掛載私有網(wǎng)絡(luò) 容器網(wǎng)絡(luò)br-tunbr-tunbr-i

7、ntbr-intport 172.18.0.2port 172.18.0.3port 172.18.0.4port 172.18.0.5container1container2container3container4負載均衡LBLBManagerAuthHub容器遷移Docker daemon 在啟動時，通過-graph=指定docker運行時根目錄。 Docker根目錄結(jié)構(gòu)： containers配置相關(guān)文件 graph overlay volumes鏡像相關(guān)文件文件系統(tǒng)相關(guān)數(shù)據(jù)卷相關(guān)目錄Docker daemon 啟動時，會輪詢containers 目錄，加載容器配置所有容器：，當啟動完成

8、后，通過docker ps -a 就可以看到該node上的03a09a384cecf8921f1b0171776991c340555494f80627a395e0492b4189c5c9257c33a74a64d696759ba371aa646a5e7037c18690fbe8f67cc1a62d8983120a每個容器都有一個目錄，目錄結(jié)構(gòu)如下： 03a09a384cecf8921f1b0171776991c340555494f80627a395e0492b4189c5c9-json.log config.json hostconfig.json hostname hosts resolv.

9、conf resolv.conf.hash容器遷移docker run 增加container-home=$dir 參數(shù)，指定用戶的rootfs路徑將Daemom中全局的變量移到container結(jié)構(gòu)中。type Daemon struct Distributed Block ServiceIDrepository containers volumes shutdown layerStorestringstring container.StoreVMvolumeconfig & imagecontainer1volumedata volumeDocker config*store.Volume

10、Storecontainer2boolvolumeconfig & imagelayer.Store功能：指定該參數(shù)后，容器文件系統(tǒng)相關(guān)數(shù)據(jù)及數(shù)據(jù)卷都存放在指定的dir目錄下。在實踐中，kubelet 中的netease插件將云盤掛載到node上某一mountpoint，并指定container-home為該mountpoint。從而實現(xiàn)每個容器的rootfs保的云盤上。指定container-home參數(shù)后，對于用戶通過v /dir指定的卷，也會保這個云盤上。容器遷移 增加reload 指令通過模仿daemon.restore，輪詢containers 目錄，加載未加載過得容器配置功能：執(zhí)行docker reload 指令，無需重啟daemon、dockerd，就可以看到新增加容器。遷移流程：1.2.3.4.5.6.7.在一個node上掛載云硬盤到指定dir目錄啟動容器，設(shè)置container-hom