企業(yè)容器平臺(tái)架構(gòu)及容器技術(shù)實(shí)踐

1、 企業(yè)容器平臺(tái)架構(gòu)及容器技術(shù)實(shí)踐目 錄 TOC o 1-3 h z u HYPERLINK l _Toc26031189 1.背景 PAGEREF _Toc26031189 h 3 HYPERLINK l _Toc26031190 2.美團(tuán)容器平臺(tái)的基本架構(gòu) PAGEREF _Toc26031190 h 4 HYPERLINK l _Toc26031191 2.1容器遇到的一些問題 PAGEREF _Toc26031191 h 6 HYPERLINK l _Toc26031192 3.容器的實(shí)現(xiàn) PAGEREF _Toc26031192 h 7 HYPERLINK l _Toc26031193

2、 4.美團(tuán)的解法、改進(jìn)和優(yōu)化 PAGEREF _Toc26031193 h 8 HYPERLINK l _Toc26031194 4.1隔離 PAGEREF _Toc26031194 h 8 HYPERLINK l _Toc26031195 4.2穩(wěn)定性 PAGEREF _Toc26031195 h 13 HYPERLINK l _Toc26031196 4.3性能 PAGEREF _Toc26031196 h 15 HYPERLINK l _Toc26031197 4.4性能優(yōu)化：文件系統(tǒng) PAGEREF _Toc26031197 h 17 HYPERLINK l _Toc26031198

3、4.5推廣 PAGEREF _Toc26031198 h 22 HYPERLINK l _Toc26031199 5.總結(jié) PAGEREF _Toc26031199 h 23背景美團(tuán)的容器集群管理平臺(tái)叫做HULK。漫威動(dòng)畫里的HULK在發(fā)怒時(shí)會(huì)變成“綠巨人”，它的這個(gè)特性和容器的“彈性伸縮”很像，所以我們給這個(gè)平臺(tái)起名為HULK。貌似有一些公司的容器平臺(tái)也叫這個(gè)名字，純屬巧合。2016年，美團(tuán)開始使用容器，當(dāng)時(shí)美團(tuán)已經(jīng)具備一定的規(guī)模，在使用容器之前就已經(jīng)存在的各種系統(tǒng)，包括CMDB、服務(wù)治理、監(jiān)控告警、發(fā)布平臺(tái)等等。我們在探索容器技術(shù)時(shí)，很難放棄原有的資產(chǎn)。所以容器化的第一步，就是打通容器的生

4、命周期和這些平臺(tái)的交互，例如容器的申請/創(chuàng)建、刪除/釋放、發(fā)布、遷移等等。然后我們又驗(yàn)證了容器的可行性，證實(shí)容器可以作為線上核心業(yè)務(wù)的運(yùn)行環(huán)境。2018年，經(jīng)過兩年的運(yùn)營和實(shí)踐探索，我們對容器平臺(tái)進(jìn)行了一次升級，這就是容器集群管理平臺(tái)HULK 2.0。把基于OpenStack的調(diào)度系統(tǒng)升級成容器編排領(lǐng)域的事實(shí)標(biāo)準(zhǔn)Kubernetes（以后簡稱K8s）。提供了更豐富可靠的容器彈性策略。針對之前在基礎(chǔ)系統(tǒng)上碰到的一些問題，進(jìn)行了優(yōu)化和打磨。美團(tuán)當(dāng)前的容器使用狀況是：線上業(yè)務(wù)已經(jīng)超過3000多個(gè)服務(wù)，容器實(shí)例數(shù)超過30000個(gè)，很多大并發(fā)、低延時(shí)要求的核心鏈路服務(wù)，已經(jīng)穩(wěn)定地運(yùn)行在HULK之上。本文

5、主要介紹我們在容器技術(shù)上的一些實(shí)踐，屬于基礎(chǔ)系統(tǒng)優(yōu)化和打磨。美團(tuán)容器平臺(tái)的基本架構(gòu)首先介紹一下美團(tuán)容器平臺(tái)的基礎(chǔ)架構(gòu)，相信各家的容器平臺(tái)架構(gòu)大體都差不多。首先，容器平臺(tái)對外對接服務(wù)治理、發(fā)布平臺(tái)、CMDB、監(jiān)控告警等等系統(tǒng)。通過和這些系統(tǒng)打通，容器實(shí)現(xiàn)了和虛擬機(jī)基本一致的使用體驗(yàn)。研發(fā)人員在使用容器時(shí)可以和使用VM一樣，不需要改變原來的使用習(xí)慣。此外，容器提供彈性擴(kuò)容能力，能根據(jù)一定的彈性策略動(dòng)態(tài)增加和減少服務(wù)的容器節(jié)點(diǎn)數(shù)，從而動(dòng)態(tài)地調(diào)整服務(wù)處理能力。這里還有個(gè)特殊的模塊“服務(wù)畫像”，它的主要功能是通過對服務(wù)容器實(shí)例運(yùn)行指標(biāo)的搜集和統(tǒng)計(jì)，更好的完成調(diào)度容器、優(yōu)化資源分配。比如可以根據(jù)某服務(wù)的容

6、器實(shí)例的CPU、內(nèi)存、IO等使用情況，來分辨這個(gè)服務(wù)屬于計(jì)算密集型還是IO密集型服務(wù)，在調(diào)度時(shí)盡量把互補(bǔ)的容器放在一起。再比如，我們可以知道某個(gè)服務(wù)的每個(gè)容器實(shí)例在運(yùn)行時(shí)會(huì)有大概500個(gè)進(jìn)程，我們就會(huì)在創(chuàng)建容器時(shí)，給該容器加上一個(gè)合理的進(jìn)程數(shù)限制（比如最大1000個(gè)進(jìn)程），從而避免容器在出現(xiàn)問題時(shí)，占用過多的系統(tǒng)資源。如果這個(gè)服務(wù)的容器在運(yùn)行時(shí)，突然申請創(chuàng)建20000個(gè)進(jìn)程，我們有理由相信是業(yè)務(wù)容器遇到了Bug，通過之前的資源約束對容器進(jìn)行限制，并發(fā)出告警，通知業(yè)務(wù)及時(shí)進(jìn)行處理。往下一層是“容器編排”和“鏡像管理”。容器編排解決容器動(dòng)態(tài)實(shí)例的問題，包括容器何時(shí)被創(chuàng)建、創(chuàng)建到哪個(gè)位置、何時(shí)被刪除

7、等等。鏡像管理解決容器靜態(tài)實(shí)例的問題，包括容器鏡像應(yīng)該如何構(gòu)建、如何分發(fā)、分發(fā)的位置等等。最下層是我們的容器運(yùn)行時(shí)，美團(tuán)使用主流的Linux+Docker容器方案，HULK Agent是我們在服務(wù)器上的管理代理程序。把前面的“容器運(yùn)行時(shí)”具體展開，可以看到這張架構(gòu)圖，按照從下到上的順序介紹：最下層是CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)這些基礎(chǔ)物理資源。往上一層，我們使用的是CentOS 7作為宿主機(jī)操作系統(tǒng)，Linux內(nèi)核的版本是3.10。我們在CentOS發(fā)行版默認(rèn)內(nèi)核的基礎(chǔ)上，加入一些美團(tuán)為容器場景研發(fā)的新特性，同時(shí)為高并發(fā)、低延時(shí)的服務(wù)型業(yè)務(wù)做了一些內(nèi)核參數(shù)的優(yōu)化。再往上一層，我們使用的是CentO

8、S發(fā)行版里自帶的Docker，當(dāng)前的版本是1.13，同樣，加入了一些我們自己的特性和增強(qiáng)。HULK Agent是我們自己開發(fā)的主機(jī)管理Agent，在宿主機(jī)上管理Agent。Falcon Agent同時(shí)存在于宿主機(jī)和容器內(nèi)部，它的作用是收集宿主機(jī)和容器的各種基礎(chǔ)監(jiān)控指標(biāo)，上報(bào)給后臺(tái)和監(jiān)控平臺(tái)。最上一層是容器本身。我們現(xiàn)在主要支持CentOS 6和CentOS 7兩種容器。在CentOS 6中有一個(gè)container init進(jìn)程，它是我們開發(fā)容器內(nèi)部的1號進(jìn)程，作用是初始化容器和拉起業(yè)務(wù)進(jìn)程。在CentOS 7中，我們使用了系統(tǒng)自帶的systemd作為容器中的1號進(jìn)程。我們的容器支持各種主流編程

9、語言，包括Java、Python、Node.js、C/C+等等。在語言層之上是各種代理服務(wù)，包括服務(wù)治理的Agent、日志Agent、加密Agent等等。同時(shí)，我們的容器也支持美團(tuán)內(nèi)部的一些業(yè)務(wù)環(huán)境，例如set信息、泳道信息等，配合服務(wù)治理體系，可以實(shí)現(xiàn)服務(wù)調(diào)用的智能路由。美團(tuán)主要使用了CentOS系列的開源組件，因?yàn)槲覀冋J(rèn)為Red Hat有很強(qiáng)的開源技術(shù)實(shí)力，比起直接使用開源社區(qū)的版本，我們希望Red Hat的開源版本能夠幫助解決大部分的系統(tǒng)問題。我們也發(fā)現(xiàn)，即使部署了CentOS的開源組件，仍然有可能會(huì)碰到社區(qū)和Red Hat沒有解決的問題。從某種程度上也說明，國內(nèi)大型互聯(lián)公司在技術(shù)應(yīng)用的

10、場景、規(guī)模、復(fù)雜度層面已經(jīng)達(dá)到了世界領(lǐng)先的水平，所以才會(huì)先于社區(qū)、先于Red Hat的客戶遇到這些問題。容器遇到的一些問題在容器技術(shù)本身，我們主要遇到了4個(gè)問題：隔離、穩(wěn)定性、性能和推廣。隔離包含兩個(gè)層面：第一個(gè)問題是，容器能不能正確認(rèn)識自身資源配置；第二個(gè)問題是，運(yùn)行在同一臺(tái)服務(wù)器上的容器會(huì)不會(huì)互相影響。比如某一臺(tái)容器的IO很高，就會(huì)導(dǎo)致同主機(jī)上的其它容器服務(wù)延時(shí)增加。穩(wěn)定性：這是指在高壓力、大規(guī)模、長時(shí)間運(yùn)行以后，系統(tǒng)功能可能會(huì)出現(xiàn)不穩(wěn)定的問題，比如容器無法創(chuàng)建、刪除，因?yàn)檐浖栴}發(fā)生卡死、宕機(jī)等問題。性能：在虛擬化技術(shù)和容器技術(shù)比較時(shí)，大家普遍都認(rèn)為容器的執(zhí)行效率會(huì)更高，但是在實(shí)踐中，我

11、們遇到了一些特例：同樣的代碼在同樣配置的容器上，服務(wù)的吞吐量、響應(yīng)時(shí)延反而不如虛擬機(jī)。推廣：當(dāng)我們把前面幾個(gè)問題基本上都解決以后，仍然可能會(huì)碰到業(yè)務(wù)不愿意使用容器的情況，其中原因一部分是技術(shù)因素，例如容器接入難易程度、周邊工具、生態(tài)等都會(huì)影響使用容器的成本。推廣也不是一個(gè)純技術(shù)問題，跟公司內(nèi)部的業(yè)務(wù)發(fā)展階段、技術(shù)文化、組織設(shè)置和KPI等因素都密切相關(guān)。容器的實(shí)現(xiàn)容器本質(zhì)上是把系統(tǒng)中為同一個(gè)業(yè)務(wù)目標(biāo)服務(wù)的相關(guān)進(jìn)程合成一組，放在一個(gè)叫做namespace的空間中，同一個(gè)namespace中的進(jìn)程能夠互相通信，同時(shí)看不見其他namespace中的進(jìn)程。每個(gè)namespace可以擁有自己獨(dú)立的主機(jī)名、

12、進(jìn)程ID系統(tǒng)、IPC、網(wǎng)絡(luò)、文件系統(tǒng)、用戶等等資源，在某種程度上，實(shí)現(xiàn)了一個(gè)簡單的虛擬：讓一個(gè)主機(jī)上可以同時(shí)運(yùn)行多個(gè)互不感知的系統(tǒng)。此外，為了限制namespace對物理資源的使用，對進(jìn)程能使用的CPU、內(nèi)存等資源需要做一定的限制，這就是Cgroup技術(shù)，Cgroup是Control group的意思。比如我們常說的4c4g的容器，實(shí)際上是限制這個(gè)容器namespace中所用的進(jìn)程，最多能夠使用4核的計(jì)算資源和4GB的內(nèi)存。簡而言之，Linux內(nèi)核提供namespace完成隔離，Cgroup完成資源限制。namespace+Cgroup構(gòu)成了容器的底層技術(shù)（rootfs是容器文件系統(tǒng)層技術(shù)）。

13、美團(tuán)的解法、改進(jìn)和優(yōu)化隔離之前一直和虛擬機(jī)打交道，但直到用上容器，才發(fā)現(xiàn)在容器里面看到的CPU、Memory的信息都是服務(wù)器主機(jī)的信息，而不是容器自身的配置信息，直到現(xiàn)在，社區(qū)版的容器還是這樣。比如一個(gè)4c4g的容器，在容器內(nèi)部可以看到有40顆CPU、196GB內(nèi)存的資源，這些資源其實(shí)是容器所在宿主機(jī)的信息。這給人的感覺，就像是容器的“自我膨脹”，覺得自己能力很強(qiáng)，但實(shí)際上并沒有，而且還會(huì)帶來很多問題。上圖是一個(gè)內(nèi)存信息隔離的例子。獲取系統(tǒng)內(nèi)存信息時(shí)，社區(qū)Linux無論在主機(jī)上還是在容器中，內(nèi)核都是統(tǒng)一返回主機(jī)的內(nèi)存信息，如果容器內(nèi)的應(yīng)用，按照它發(fā)現(xiàn)的宿主機(jī)內(nèi)存來進(jìn)行配置的話，實(shí)際資源是遠(yuǎn)遠(yuǎn)不

14、夠的，導(dǎo)致的結(jié)果就是：系統(tǒng)很快會(huì)發(fā)生OOM異常。我們做的隔離工作，是在容器中獲取內(nèi)存信息時(shí)，內(nèi)核根據(jù)容器的Cgroup信息返回容器的內(nèi)存信息（類似LXCFS的工作）。CPU信息隔離的實(shí)現(xiàn)和內(nèi)存的類似，不再贅述，這里舉一個(gè)CPU數(shù)目影響應(yīng)用性能例子。大家都知道，JVM GC（垃圾對象回收）對Java程序執(zhí)行性能有一定的影響。默認(rèn)的JVM使用公式“ParallelGCThreads = (ncpus = 8) ? ncpus : 3 + (ncpus * 5) / 8)” 來計(jì)算做并行GC的線程數(shù)，其中ncpus是JVM發(fā)現(xiàn)的系統(tǒng)CPU個(gè)數(shù)。一旦容器中JVM發(fā)現(xiàn)了宿主機(jī)的CPU個(gè)數(shù)（通常比容器實(shí)際

15、CPU限制多很多），這就會(huì)導(dǎo)致JVM啟動(dòng)過多的GC線程，直接的結(jié)果就導(dǎo)致GC性能下降。Java服務(wù)的感受就是延時(shí)增加，TP監(jiān)控曲線突刺增加，吞吐量下降。針對這個(gè)問題有各種解法：顯式的傳遞JVM啟動(dòng)參數(shù)“-XX:ParallelGCThreads”告訴JVM應(yīng)該啟動(dòng)幾個(gè)并行GC線程。它的缺點(diǎn)是需要業(yè)務(wù)感知，為不同配置的容器傳不同的JVM參數(shù)。在容器內(nèi)使用Hack過的glibc，使JVM（通過sysconf系統(tǒng)調(diào)用）能正確獲取容器的CPU資源數(shù)。我們在一段時(shí)間內(nèi)使用的就是這種方法。其優(yōu)點(diǎn)是業(yè)務(wù)不需要感知，并且能自動(dòng)適配不同配置的容器。缺點(diǎn)是必須使用改過的glibc，有一定的升級維護(hù)成本，如果使用的

16、鏡像是原生的glibc，問題也仍然存在。我們在新平臺(tái)上通過對內(nèi)核的改進(jìn)，實(shí)現(xiàn)了容器中能獲取正確CPU資源數(shù)，做到了對業(yè)務(wù)、鏡像和編程語言都透明（類似問題也可能影響OpenMP、Node.js等應(yīng)用的性能）。有一段時(shí)間，我們的容器是使用root權(quán)限進(jìn)行運(yùn)行，實(shí)現(xiàn)的方法是在docker run的時(shí)候加入privileged=true參數(shù)。這種粗放的使用方式，使容器能夠看到所在服務(wù)器上所有容器的磁盤，導(dǎo)致了安全問題和性能問題。安全問題很好理解，為什么會(huì)導(dǎo)致性能問題呢？可以試想一下，每個(gè)容器都做一次磁盤狀態(tài)掃描的場景。當(dāng)然，權(quán)限過大的問題還體現(xiàn)在可以隨意進(jìn)行mount操作，可以隨意的修改NTP時(shí)間等等

17、。在新版本中，我們?nèi)サ袅巳萜鞯膔oot權(quán)限，發(fā)現(xiàn)有一些副作用，比如導(dǎo)致一些系統(tǒng)調(diào)用失敗。我們默認(rèn)給容器額外增加了sys_ptrace和sys_admin兩個(gè)權(quán)限，讓容器可以運(yùn)行GDB和更改主機(jī)名。如果有特例容器需要更多的權(quán)限，可以在我們的平臺(tái)上按服務(wù)粒度進(jìn)行配置。Linux有兩種IO：Direct IO和Buffered IO。Direct IO直接寫磁盤，Duffered IO會(huì)先寫到緩存再寫磁盤，大部分場景下都是Buffered IO。我們使用的Linux內(nèi)核3.X，社區(qū)版本中所有容器Buffer IO共享一個(gè)內(nèi)核緩存，并且緩存不隔離，沒有速率限制，導(dǎo)致高IO容器很容易影響同主機(jī)上的其他容

18、器。Buffer IO緩存隔離和限速在Linux 4.X里通過Cgroup V2實(shí)現(xiàn)，有了明顯的改進(jìn)，我們還借鑒了Cgroup V2的思想，在我們的Linux 3.10內(nèi)核實(shí)現(xiàn)了相同的功能：每個(gè)容器根據(jù)自己的內(nèi)存配置有對應(yīng)比例的IO Cache，Cache的數(shù)據(jù)寫到磁盤的速率受容器Cgroup IO配置的限制。Docker本身支持較多對容器的Cgroup資源限制，但是K8s調(diào)用Docker時(shí)可以傳遞的參數(shù)較少，為了降低容器間的互相影響，我們基于服務(wù)畫像的資源分配，對不同服務(wù)的容器設(shè)定不同的資源限制。除了常見的CPU、內(nèi)存外，還有IO的限制、ulimit限制、PID限制等等，所以我們擴(kuò)展了K8s

19、來完成這些工作。業(yè)務(wù)在使用容器的過程中產(chǎn)生core dump文件是常見的事。比如C/C+程序內(nèi)存訪問越界，或者系統(tǒng)OOM時(shí)，系統(tǒng)選擇占用內(nèi)存多的進(jìn)程殺死，默認(rèn)都會(huì)生成一個(gè)core dump文件。社區(qū)容器系統(tǒng)默認(rèn)的core dump文件會(huì)生成在宿主機(jī)上。由于一些core dump文件比較大，比如JVM的core dump通常是幾個(gè)GB，或者有些存在Bug的程序，其頻發(fā)的core dump，很容易快速寫滿宿主機(jī)的存儲(chǔ)，并且會(huì)導(dǎo)致高磁盤IO，也會(huì)影響到其他容器。還有一個(gè)問題是：業(yè)務(wù)容器的使用者沒有權(quán)限訪問宿主機(jī)，從而拿不到dump文件進(jìn)行下一步的分析。為此，我們對core dump的流程進(jìn)行了修改，

20、讓dump文件寫到容器自身的文件系統(tǒng)中，并且使用容器自己的Cgroup IO吞吐限制。穩(wěn)定性我們在實(shí)踐中發(fā)現(xiàn)，影響系統(tǒng)穩(wěn)定性的主要是Linux Kernel和Docker。雖然它們本身是很可靠的系統(tǒng)軟件，但是在大規(guī)模、高強(qiáng)度的場景中，還是會(huì)存在一些Bug。這也從側(cè)面說明，我們國內(nèi)互聯(lián)網(wǎng)公司在應(yīng)用規(guī)模和應(yīng)用復(fù)雜度層面也屬于全球領(lǐng)先。在內(nèi)核方面，美團(tuán)發(fā)現(xiàn)了Kernel 4.x Buffer IO限制的實(shí)現(xiàn)問題，得到了社區(qū)的確認(rèn)和修復(fù)。我們還跟進(jìn)了一系列CentOS的Ext4補(bǔ)丁，解決了一段時(shí)間內(nèi)進(jìn)程頻繁卡死的問題。我們碰到了兩個(gè)比較關(guān)鍵的Red Hat版Docker穩(wěn)定性問題：在Docker服務(wù)重

21、啟以后，Docker exec無法進(jìn)入容器，這個(gè)問題比較復(fù)雜。在解決之前我們用nsenter來代替Docker exec并積極反饋給Red Hat。后來Red Hat在今年初的一個(gè)更新解決了這個(gè)問題。/errata/RHBA-2017:1620是在特定條件下Docker Daemon會(huì)Panic，導(dǎo)致容器無法刪除。經(jīng)過我們自己Debug，并對比最新的代碼，發(fā)現(xiàn)問題已經(jīng)在Docker upstream中得到解決，反饋給Red Hat也很快得到了解決。/projectatomic/containerd/issues/2面對系統(tǒng)內(nèi)核、Docker、K8S這些開源社區(qū)的系統(tǒng)軟件，存在一種觀點(diǎn)是：我們不

22、需要自己分析問題，只需要拿社區(qū)的最新更新就行了。但是我們并不認(rèn)同，我們認(rèn)為技術(shù)團(tuán)隊(duì)自身的能力很重要，主要是如下原因：美團(tuán)的應(yīng)用規(guī)模大、場景復(fù)雜，很多問題也許很多企業(yè)都沒有遇到過，不能被動(dòng)的等別人來解答。對于一些實(shí)際的業(yè)務(wù)問題或者需求（例如容器內(nèi)正確返回CPU數(shù)目），社區(qū)也許覺得不重要，或者不是正確的理念，可能就不會(huì)解決。社區(qū)很多時(shí)候只在Upstream解決問題，而Upstream通常不穩(wěn)定，即使有Backport到我們正在使用的版本，排期也很難進(jìn)行保障。社區(qū)會(huì)發(fā)布很多補(bǔ)丁，通常描述都比較晦澀難懂，如果沒有對問題的深刻理解，很難把遇到的實(shí)際問題和一系列補(bǔ)丁聯(lián)系起來。對于一些復(fù)雜問題，社區(qū)的解決方

23、案不一定適用于我們自身的實(shí)際場景，我們需要自身有能力進(jìn)行判斷和取舍。美團(tuán)在解決開源系統(tǒng)問題時(shí)，一般會(huì)經(jīng)歷五個(gè)階段：自己深挖、研發(fā)解決、關(guān)注社區(qū)、和社區(qū)交互，最后貢獻(xiàn)給社區(qū)。性能容器平臺(tái)性能，主要包括兩個(gè)方面性能：業(yè)務(wù)服務(wù)運(yùn)行在容器上的性能。容器操作（創(chuàng)建、刪除等等）的性能。上圖是我們CPU分配的一個(gè)例子，我們采用的主流服務(wù)器是兩路24核服務(wù)器，包含兩個(gè)Node，每個(gè)12核，算上超線程共48顆邏輯CPU。屬于典型的NUMA（非一致訪存）架構(gòu)：系統(tǒng)中每個(gè)Node有自己的內(nèi)存，Node內(nèi)的CPU訪問自己的內(nèi)存的速度，比訪問另一個(gè)Node內(nèi)存的速度快很多（差一倍左右）。過去我們曾經(jīng)遇到過網(wǎng)絡(luò)中斷集中到

24、CPU0上的問題，在大流量下可能導(dǎo)致網(wǎng)絡(luò)延時(shí)增加甚至丟包。為保證網(wǎng)絡(luò)處理能力，我們從Node0上劃出了8顆邏輯CPU用來專門處理網(wǎng)絡(luò)中斷和宿主機(jī)系統(tǒng)上的任務(wù)，例如鏡像解壓這類高CPU的工作，這8顆邏輯CPU不運(yùn)行任何容器的Workload。在容器調(diào)度方面，我們的容器CPU分配盡量不跨Node，實(shí)踐證明跨Node訪問內(nèi)存對應(yīng)用性能的影響比較大。在一些計(jì)算密集型的場景下，容器分配在Node內(nèi)部會(huì)提升30%以上的吞吐量。當(dāng)然，按Node的分配方案也存在一定的弊端：會(huì)導(dǎo)致CPU的碎片增加，為了更高效地利用CPU資源，在實(shí)際系統(tǒng)中，我們會(huì)根據(jù)服務(wù)畫像的信息，分配一些對CPU不敏感的服務(wù)容器跨Node使用

25、CPU資源。上圖是一個(gè)真實(shí)的服務(wù)在CPU分配優(yōu)化前后，響應(yīng)延時(shí)的TP指標(biāo)線對比?？梢钥吹絋P999線下降了一個(gè)數(shù)量級，并且所有的指標(biāo)都更加平穩(wěn)。性能優(yōu)化：文件系統(tǒng)針對文件系統(tǒng)的性能優(yōu)化，第一步是選型，根據(jù)統(tǒng)計(jì)到的應(yīng)用讀寫特征，我們選擇了Ext4文件系統(tǒng)（超過85%的文件讀寫是對小于1M文件的操作）。Ext4文件系統(tǒng)有三種日志模式：Journal：寫數(shù)據(jù)前等待Metadata和數(shù)據(jù)的日志落盤。Ordered：只記錄Metadata的日志，寫Metadata日志前確保數(shù)據(jù)已經(jīng)落盤。Writeback：僅記錄Metadata日志，不保證數(shù)據(jù)比Metadata先落盤。我們選擇了Writeback模式（

26、默認(rèn)是oderded），它在幾種掛載模式中速度最快，缺點(diǎn)是：發(fā)生故障時(shí)數(shù)據(jù)不好恢復(fù)。我們大部分容器處于無狀態(tài)，故障時(shí)在別的機(jī)器上再拉起一臺(tái)即可。因此我們在性能和穩(wěn)定性中，選擇了性能。容器內(nèi)部給應(yīng)用提供可選的基于內(nèi)存的文件系統(tǒng)tmpfs，可以提升有大量臨時(shí)文件讀寫的服務(wù)性能。如上圖所示，在美團(tuán)內(nèi)部創(chuàng)建一個(gè)虛擬機(jī)至少經(jīng)歷三步，平均時(shí)間超過300秒。使用鏡像創(chuàng)建容器平均時(shí)間23秒。容器的靈活、快速得到了顯著的體現(xiàn)。容器擴(kuò)容23秒的平均時(shí)間包含了各個(gè)部分的優(yōu)化，如擴(kuò)容鏈路優(yōu)化、鏡像分發(fā)優(yōu)化、初始化和業(yè)務(wù)拉起優(yōu)化等等。接下來，本文主要介紹一下我們做的鏡像分發(fā)和解壓相關(guān)的優(yōu)化。上圖是美團(tuán)容器鏡像管理的總體

27、架構(gòu)，其特點(diǎn)如下：存在多個(gè)Site。支持跨Site的鏡像同步，根據(jù)鏡像的標(biāo)簽確定是否需要跨Site同步。每個(gè)Site有鏡像備份。每個(gè)Site內(nèi)部有實(shí)現(xiàn)鏡像分發(fā)的P2P網(wǎng)絡(luò)。鏡像分發(fā)是影響容器擴(kuò)容時(shí)長的一個(gè)重要環(huán)節(jié)?？鏢ite同步：保證服務(wù)器總能從就近的鏡像倉庫拉取到擴(kuò)容用的鏡像，減少拉取時(shí)間，降低跨Site帶寬消耗?；A(chǔ)鏡像預(yù)分發(fā)：美團(tuán)的基礎(chǔ)鏡像是構(gòu)建業(yè)務(wù)鏡像的公共鏡像，通常有幾百兆的大小。業(yè)務(wù)鏡像層是業(yè)務(wù)的應(yīng)用代碼，通常比基礎(chǔ)鏡像小很多。在容器擴(kuò)容的時(shí)候如果基礎(chǔ)鏡像已經(jīng)在本地，只需要拉取業(yè)務(wù)鏡像的部分，可以明顯地加快擴(kuò)容速度。為達(dá)到這樣的效果，我們會(huì)把基礎(chǔ)鏡像事先分發(fā)到所有的服務(wù)器上。P2P鏡像分發(fā)：基礎(chǔ)鏡像預(yù)分發(fā)在有些場景會(huì)導(dǎo)致上千個(gè)服務(wù)器同時(shí)從鏡像倉庫拉取鏡像，對鏡像倉庫服務(wù)和帶寬帶來很大的壓力。因此我們開發(fā)了鏡像P2P分發(fā)的功能，服務(wù)器不僅能從鏡像倉庫中拉取鏡像，還能從其他服務(wù)器上獲取鏡像的分片。從上圖可以看出，隨著分發(fā)服務(wù)器數(shù)目的增加，原有分發(fā)時(shí)間也快速增加，而P2P鏡像分發(fā)時(shí)間基本上保持穩(wěn)定。Docker的鏡像拉取是一個(gè)并行下載，串行解壓的過程，為了提升解壓的速度，我們美團(tuán)也做了一些優(yōu)化工作。對于單個(gè)層的解壓，我們使用并行解壓算法替換Docker默認(rèn)的串行解壓算法，實(shí)現(xiàn)上是使用pgzip替換gzip。Docker的鏡像具有分層結(jié)構(gòu)，對鏡像層的合并是一個(gè)“解壓一層