面向云化網(wǎng)絡(luò)的容器層平臺技術(shù)要求

1面向云化網(wǎng)絡(luò)的容器層平臺技術(shù)要求本文件規(guī)定了面向云化電信網(wǎng)絡(luò)的容器層平臺相關(guān)技術(shù)要求，包括功能、性能、可靠性要求等，但不限定容器層的部署形態(tài)，如虛擬層集成的容器層、NFVO集成的容器層等，本文件所描述的容器層包括獨(dú)立的容器層平臺及其它設(shè)備集成的容器層模塊。本文件適用于容器層平臺技術(shù)方案制定、產(chǎn)品研發(fā)、資源池建設(shè)、業(yè)務(wù)部署和運(yùn)營等。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。容器集群ContainerCluster一套由服務(wù)器等物理設(shè)備、物理設(shè)備上運(yùn)行的容器運(yùn)行時(shí)及編排軟件組成的完整系統(tǒng)用于保存配置數(shù)據(jù)的鍵值對集合機(jī)密信息Secret用于保存密碼、令牌、密鑰等敏感數(shù)據(jù)的邏輯資源。由外部存儲系統(tǒng)管理的通過CSI接口為容器申請的持久化卷。2為租戶分配的依托于物理網(wǎng)絡(luò)存在的邏輯網(wǎng)絡(luò)。部署Deployment為Service對應(yīng)POD提供訪問入口的四層或七層負(fù)載均衡規(guī)則，由外部網(wǎng)絡(luò)入向控制器(IngressController)管理，外部網(wǎng)絡(luò)入向控制器包括多個(gè)外部網(wǎng)絡(luò)入向控制器實(shí)例(IngressController自動伸縮器HorizontalPodAutoscaler基于監(jiān)控特定指標(biāo)以實(shí)現(xiàn)對Deployment或StatefulSet進(jìn)行自動擴(kuò)縮容的邏輯對象。3網(wǎng)絡(luò)策略NetorkPolicy為POD提供出向或/和白名單或/和黑名單的一種網(wǎng)絡(luò)策略。租戶定義的執(zhí)行特定后臺任務(wù)的一種邏輯對象。租戶定義的任務(wù)自動執(zhí)行計(jì)劃。下列縮略語適用于本文件。CCM容器集群管理器(ContainerCCIM容器基礎(chǔ)設(shè)施管理(ContainerOCI開放容器計(jì)劃(OpenCNI容器網(wǎng)絡(luò)接口(L745容器層架構(gòu)5.1容器層基礎(chǔ)架構(gòu)圖1容器層架構(gòu)圖1.容器集群管理器(ContainerClusterManager)容器集群管理器是資源池內(nèi)容器鏡像/包、容器集群的管理系統(tǒng)，負(fù)責(zé)存儲和管理容器鏡像/包，負(fù)責(zé)管理用戶、用戶組并進(jìn)行授權(quán)認(rèn)證，負(fù)責(zé)配置節(jié)點(diǎn)、存儲、網(wǎng)絡(luò)并組建容器集群，負(fù)責(zé)對所組建的集群進(jìn)行初始化配置。并負(fù)責(zé)集中運(yùn)維2.容器基礎(chǔ)設(shè)施管理器(ContainerInfrastructureManager)容器基礎(chǔ)設(shè)施管理器是資源池內(nèi)節(jié)點(diǎn)、存儲、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施的管理系統(tǒng)，負(fù)責(zé)將資源池內(nèi)節(jié)點(diǎn)存儲根據(jù)組網(wǎng)要求構(gòu)建資源池，緩存容器鏡像/包，并根據(jù)管理命令，調(diào)用CIE對容器進(jìn)行編排，參與容器的生命周期管理過程。容器層以獨(dú)立的平臺形式部署時(shí)，其基礎(chǔ)設(shè)施管理器模3.容器基礎(chǔ)設(shè)施引擎(ContainerInfrastructureEn容器基礎(chǔ)設(shè)施服務(wù)引擎是容器的直接供應(yīng)者。它負(fù)責(zé)根據(jù)CDM的要求，分配和組織資源、構(gòu)建和交付容器、執(zhí)行容器管理命令。5容器層與周邊系統(tǒng)的相關(guān)接口見表1:COI通過該接口為資源池管理器(比如云管平臺、NFV0等)設(shè)備提源管理，包括集群管理、鏡像/包管理、集群用戶/用戶組CIM通過該接口為資源池管理器(比如云管平臺、NFY0等)設(shè)備提CIM通過該接口為業(yè)務(wù)編排器(比如VNFM)設(shè)備提供業(yè)務(wù)容器CCI通過該接口調(diào)用VIM功能，實(shí)現(xiàn)對集群節(jié)點(diǎn)(虛擬機(jī)或棵機(jī))及CIM通過該接口調(diào)用VIM功能，實(shí)現(xiàn)對掛載給集群節(jié)點(diǎn)(虛擬機(jī)或裸機(jī))業(yè)務(wù)管理器(如0IC)可以通過該接口直接管理業(yè)務(wù)POD,而無需7a)節(jié)點(diǎn)類型，可選值：物理節(jié)點(diǎn)或虛擬機(jī)節(jié)點(diǎn)b)CM版本，可選值(上傳并關(guān)聯(lián)VIM鏡像):各運(yùn)營商自行根據(jù)需求選擇c)CIE版本，可選值(上傳并關(guān)聯(lián)VIM鏡像):各運(yùn)營商自行根據(jù)需求選擇d)CPU邏輯核數(shù)量/內(nèi)存頁大小及數(shù)量，可選值：資源池統(tǒng)一規(guī)劃e)GPU數(shù)量，可選值：資源池統(tǒng)一規(guī)劃0系統(tǒng)盤容量/數(shù)據(jù)盤容量及數(shù)量，可選值：資源池統(tǒng)一規(guī)劃9)擴(kuò)展屬性，可選值：資源池統(tǒng)一規(guī)劃CCM應(yīng)支持創(chuàng)建集群、修改集群、刪除集群、擴(kuò)容集群、縮容集群等管理功能。a)CCM創(chuàng)建集群時(shí)，可指定集群名、集群類型(托管模式或獨(dú)享模式)、描述、所屬VIMID、CIM節(jié)點(diǎn)規(guī)格/數(shù)量、按CIM租戶指定的CIE節(jié)點(diǎn)規(guī)格及數(shù)量、后端存儲容量等信息，CCM根據(jù)這些信息自動創(chuàng)建集群，包括創(chuàng)建VIM租戶/配置配額和創(chuàng)建VIM用戶/分配角色、創(chuàng)建虛擬機(jī)和發(fā)放裸機(jī)、配置網(wǎng)絡(luò)、配置存儲類和快照類等b)CCM修改集群時(shí)，可指定新描述、對應(yīng)VIM用戶新密碼等信息，COM根據(jù)這些信息自動更新集群。c)CCM副除集群前，需用戶自行刪除集群內(nèi)所有業(yè)務(wù)POD和所有卷、快照，CCM在執(zhí)行刪除集群操作時(shí)，需制除集群創(chuàng)建過程中生成的各類VIM資源。d)CCM擴(kuò)容集群時(shí)，可按CIM租戶指定CIE節(jié)點(diǎn)規(guī)格及數(shù)量或/和指定后端存儲容量等信息，CCM根據(jù)這些信息自動擴(kuò)容集群，包括更新VIM租戶配額、創(chuàng)建虛擬機(jī)或發(fā)放裸機(jī)等。e)CCM縮容集群前，需用戶自行刪除需縮容的節(jié)點(diǎn)上的所有業(yè)務(wù)POD,CCM在執(zhí)行縮容集群操作時(shí)，可按CIM租戶指定需縮容的CIE節(jié)點(diǎn)或/和指定后端存儲容量等信息，COM根據(jù)這些信息自動縮容集群并回收資源。98容器管理要求8.1.1系統(tǒng)組成鑒權(quán)系統(tǒng)包括賬號管理、認(rèn)證管理、租戶管理、配額管理、權(quán)限管理五部分內(nèi)容，它們之間的關(guān)系如圖2所示：租戶P租戶圖2鑒權(quán)系統(tǒng)邏輯示意圖提供用戶及用戶組的管理功能，包括創(chuàng)建、刪除、修改和查詢等功能。支持在用戶組中增加、刪除和查詢用戶的功能8.1.3認(rèn)證管理提供用戶身份認(rèn)證功能，訪問系統(tǒng)的用戶必須要先向CIM進(jìn)行身份認(rèn)證通過后才能登錄，CM為正確登錄的用戶發(fā)放有效的的令牌。當(dāng)用戶以令牌為憑據(jù)訪問CLM的功能和接口時(shí)，CIM負(fù)責(zé)對令牌進(jìn)行有效性、時(shí)效性及權(quán)限驗(yàn)證，驗(yàn)證通過后功能和接口訪問才被允許和執(zhí)行。8.1.4租戶管理提供租戶的管理功能，支持創(chuàng)建、刪除、修改和查詢等功能。按租戶進(jìn)行配額管理，不同租戶有各自獨(dú)立的配額，要求默認(rèn)配額為不限定各類資源的使用量，應(yīng)支持默認(rèn)配額、配額在線修改。8.1.6權(quán)限管理在滿足調(diào)度策略的前提下，容器層應(yīng)自動將容器調(diào)度到最少量CIE節(jié)點(diǎn)上。8.3存儲管理8.3.1本地存儲容器層應(yīng)提供本地存儲CSI插件，通過SI插件將CIE節(jié)點(diǎn)本地硬盤(虛擬機(jī)節(jié)點(diǎn)上掛載的直通硬盤、物理節(jié)點(diǎn)本地硬盤或RAID盤)配置為本地硬盤、本地分區(qū)類別的StorageClass和VolumeSnapshotClass,當(dāng)StorageClassVoluneSnapshotClass被綁定到VolumeSnapShot時(shí)CSI插件應(yīng)自動選擇容量滿足要求的未分配硬盤(本地硬盤類別)、自動選擇剩余容量充足的硬盤創(chuàng)建分區(qū)(本地分區(qū)類別)后作為PersistentVolume或VolumeSnapShotContent。本地硬盤、本地分區(qū)類別的StorageClass應(yīng)在POD掛載卷時(shí)分配PersistentVolume。本地硬盤、本地分區(qū)類別的VolumeSnapshotClass應(yīng)支持Retain、Delete刪除策略。8.3.2后端存儲容器層應(yīng)提供基于Cinder的CSI插件，通過調(diào)用虛擬層接口為物理節(jié)點(diǎn)和虛擬機(jī)節(jié)點(diǎn)實(shí)現(xiàn)后端持久卷類別的StorageClass和后端持久卷快照類別的VolumeSnapshotClass。8.4網(wǎng)絡(luò)管理8.4.1網(wǎng)絡(luò)管理容器層應(yīng)內(nèi)置主機(jī)型(POD連接到主機(jī)網(wǎng)絡(luò))、路由型(POD端口和節(jié)點(diǎn)端口應(yīng)三層互通)、交換型(POD端口和節(jié)點(diǎn)端口可二層互通)、直通型(POD直接使用節(jié)點(diǎn)物理端口)CNI插件各一種，這些CNI插件應(yīng)支持單播、組播(主機(jī)型、路由型)和廣播(交換型、直通型),且應(yīng)支持NetworkPoliey(主機(jī)型、路由型)。容器層可為POD同時(shí)分配IPv4和IPV6地址，不同租戶的POD可以使用相同CIDR和重疊的地址范圍(使用主機(jī)型CNI插件的網(wǎng)絡(luò)除外)。容器層可為POD分配的動態(tài)IP、靜態(tài)IP(不會因POD的重啟、在本地或其它CIE節(jié)點(diǎn)自愈等情況而變化)。容器層應(yīng)支持為POD和服務(wù)提供DNS解析服務(wù)。容器層應(yīng)支持配置存根域DNS服務(wù)器列表和上游DNS服務(wù)器列表。容器層應(yīng)支持各租戶擁有獨(dú)立的DNS系統(tǒng)，也即當(dāng)多個(gè)租戶的POD和服務(wù)使用相同IP時(shí)，能夠正確將POD和服務(wù)的IP反向解析為該租戶的對應(yīng)域名。8.5.1配置圖編排容器層應(yīng)支持編排和管理ConfigMap。8.5.2機(jī)密信息編排容器層應(yīng)支持編排和管理Secret。8.5.3持久卷編排容器層應(yīng)支持編排和管理PersistentVoluneClaim。進(jìn)行PersistentVoluneClain編排時(shí)，PersistentVolume的硬盤標(biāo)識應(yīng)根據(jù)容量自動配置，當(dāng)容量不高于2TB時(shí)應(yīng)自動配置為nsdos,容量高于2TB時(shí)應(yīng)自動配置為gpt.容器層應(yīng)支持編排和管理VolumeSnapshot。8.5.5Pod編排容器層應(yīng)支持編排和管理Pod。容器層應(yīng)支持的Pod分為動態(tài)Pod(默認(rèn))和靜態(tài)Pod,動態(tài)Pod在故障自愈后其所屬主機(jī)、IP地址等可能會發(fā)生變化，而靜態(tài)Pod在故障自愈后其所屬主機(jī)(非主機(jī)級的故障時(shí))、IP地址等不會發(fā)生變化，靜態(tài)Pod可采用CNI調(diào)用代理程序?qū)od進(jìn)行重啟等方式實(shí)現(xiàn)。為了規(guī)避Pod的容器內(nèi)的僵尸進(jìn)程對資源的過度占用和無效損耗而導(dǎo)致的性能和安全問題，容器層應(yīng)支持自動檢測并清理這些僵尸進(jìn)程，可采用軟件方式或硬件方式(當(dāng)服務(wù)器提8.5.6部署編排容器層應(yīng)支持編排和管理Deploynent.8.5.7狀態(tài)集編排容器層應(yīng)支持編排和管理StatefulSet。8.5.8服務(wù)編排容器層應(yīng)支持編排和管理Service、HeadlessService。當(dāng)Service、HeadlessService類型為loadBalancer時(shí)，應(yīng)通過IngressControllerPOD實(shí)現(xiàn)分布式負(fù)載均衡功能，詳見第7.5.9章。9性能要求9.1系統(tǒng)規(guī)模容器層應(yīng)達(dá)到的規(guī)模級性能如表2所示：表2容器層系統(tǒng)規(guī)模要求表3容器層管理性能要求9.3業(yè)務(wù)性能表4容器層業(yè)務(wù)性能要求LB(IngressCantroller)在20并發(fā)連按數(shù)、每請求響應(yīng)2KB數(shù)據(jù)時(shí)的LB(IngressController)在20LB(IngressController)在20LB(IngressController)在20并發(fā)連接數(shù)、每請求響應(yīng)2KB數(shù)據(jù)時(shí)的LB(IngressController)在20并發(fā)連接數(shù)、每請求響應(yīng)2KB數(shù)據(jù)時(shí)的LB(IngressController)在20并發(fā)連接數(shù)、每請求響應(yīng)2KB數(shù)據(jù)時(shí)的10.5業(yè)務(wù)可