一種基于內(nèi)存共享機(jī)制的容器間快速通信方法研究

1、一種基于內(nèi)存共享機(jī)制的容器間快速通信方法研究BUPT演講者：陸文龍學(xué) 校：北京郵電大學(xué)目 錄1研究概述研究介紹研究背景和意義323系統(tǒng)測(cè)試研究概述研究概述作者羅浩北京郵電大學(xué)陸文龍北京郵電大學(xué)薛晨國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心2摘要提出了一種基于內(nèi)核內(nèi)存共享的同宿主Docker容器間高速通信方案。該方案在不破壞Docker容器間隔離特性的基礎(chǔ)上實(shí)現(xiàn)容器間內(nèi)存共享；并在該內(nèi)核內(nèi)存共享空間設(shè)計(jì)了面向連接的通信模型。在NUMA體系環(huán)境下的驗(yàn)證結(jié)果表明：該通信方案與Docker默認(rèn)的虛擬網(wǎng)橋通信方式相比，對(duì)于Docker容器在同一NUMA節(jié)點(diǎn)上和在跨NUMA節(jié)點(diǎn)上的兩種通信場(chǎng)景，最大吞吐量分別提升了

2、350%和110%。1研究背景和意義研究背景和意義Docker是一款輕量級(jí)虛擬化容器的管理引擎，利用Linux內(nèi)核特性命名空間（namespaces）及控制組（cgroups）為容器提供隔離的運(yùn)行環(huán)境。IPC namespaces隔離特定的IPC資源，這導(dǎo)致Linux系統(tǒng)上傳統(tǒng)的進(jìn)程間通信方式（如system V IPC）不能應(yīng)用在同宿主Docker容器間的進(jìn)程通信中，同宿主Docker容器間通常采用Linux bridge的方式進(jìn)行通信。本研究提出的基于內(nèi)核共享內(nèi)存的同宿主Docker容器間通信方案，相比于Linux bridge通信方式，在以下方面做出了改進(jìn)：優(yōu)化的數(shù)據(jù)傳輸路徑輕量級(jí)的應(yīng)用

3、程序接口7研究介紹系統(tǒng)介紹Docker0為連接容器的虛擬網(wǎng)橋；veth1和veth2分別為綁定到虛擬網(wǎng)橋上與容器A和容器B連接的虛擬網(wǎng)路接口；eth0為容器A和容器B各自的網(wǎng)絡(luò)接口。在SHMBC通信方案中，直接將內(nèi)核內(nèi)存塊C映射到進(jìn)行通信的容器A和容器B中的通信進(jìn)程地址空間C中。系統(tǒng)包括三個(gè)管理模塊：容器管理、連接管理和內(nèi)存空間管理，在Docker容器的宿主機(jī)操作系統(tǒng)內(nèi)核中，維護(hù)一張容器表和一張連接狀態(tài)表，以及一個(gè)共享內(nèi)存池。內(nèi)存空間管理1內(nèi)存空間管理用來(lái)維護(hù)一個(gè)共享內(nèi)存池，該內(nèi)存池中的內(nèi)存塊由連續(xù)的物理內(nèi)存頁(yè)組成，為通信連接提供共享內(nèi)存空間。每個(gè)內(nèi)存塊由緩沖區(qū)狀態(tài)信息和數(shù)據(jù)區(qū)域（多個(gè)數(shù)據(jù)塊組

4、成）。在緩沖區(qū)狀態(tài)信息中包含數(shù)據(jù)塊數(shù)量、讀索引、寫(xiě)索引，以及其他統(tǒng)計(jì)信息。其中，讀/寫(xiě)索引在數(shù)據(jù)區(qū)域?qū)崿F(xiàn)環(huán)形緩沖隊(duì)列，并實(shí)現(xiàn)無(wú)鎖操作。數(shù)據(jù)塊緩沖區(qū)狀態(tài)信息內(nèi)存塊內(nèi)存塊內(nèi)存塊內(nèi)存池讀指針寫(xiě)指針數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊容器管理2容器管理模塊負(fù)責(zé)發(fā)現(xiàn)宿主機(jī)上的Docker容器，動(dòng)態(tài)的維護(hù)宿主機(jī)系統(tǒng)中的容器列表。它使用Docker提供的“docker inspect”命令來(lái)獲取容器的相關(guān)信息。右圖為“Docker inspect”獲取到的Docker容器的詳細(xì)信息分類(lèi)，以及“容器表”中的信息項(xiàng)。Docker inspect獲取信息變量名說(shuō)明Id容器編號(hào)State容器狀態(tài)Name容器名Hostco

5、nfig容器配置Networksetting容器網(wǎng)絡(luò)配置容器表容器ID運(yùn)行狀態(tài)容器名掛載文件IP地址列表監(jiān)聽(tīng)端口列表連接管理listen()等待連接query()查詢(xún)目標(biāo)容器receive()接收數(shù)據(jù)accept()接受連接send()發(fā)送數(shù)據(jù)send()發(fā)送數(shù)據(jù)connection()申請(qǐng)連接close()關(guān)閉連接receive()接收數(shù)據(jù)close()關(guān)閉連接3連接管理通過(guò)“連接表”實(shí)現(xiàn)。服務(wù)端建立監(jiān)聽(tīng)連接，在連接表中注冊(cè)監(jiān)聽(tīng)連接狀態(tài)信息，等待客戶(hù)端的連接請(qǐng)求；客戶(hù)端查詢(xún)連接目標(biāo)容器是否為同宿主容器，如果是，申請(qǐng)連接服務(wù)端，否則提示用戶(hù)采用socket通信方式；客戶(hù)端申請(qǐng)連接，如果存在對(duì)應(yīng)服務(wù)端的監(jiān)聽(tīng)連接則建立連接，否則失敗返回；連接建立后，服務(wù)端和客戶(hù)端之間開(kāi)始傳輸數(shù)據(jù)；數(shù)據(jù)傳輸完成，關(guān)閉連接。服務(wù)端客戶(hù)端系統(tǒng)測(cè)試測(cè)試環(huán)境在對(duì)系統(tǒng)進(jìn)行測(cè)試時(shí)，充分考慮了當(dāng)前的NUMA體系結(jié)構(gòu)對(duì)測(cè)試結(jié)果的影響，分別測(cè)試了NUMA節(jié)點(diǎn)內(nèi)和NUMA節(jié)點(diǎn)間的Docker容器通信性能。測(cè)試環(huán)境如下：服務(wù)器型號(hào)DELL PowerEdge T620CPU型號(hào)2 * Intel