容器云平臺(tái)安全合規(guī)規(guī)劃設(shè)計(jì)

1、規(guī)劃設(shè)計(jì)1 概述012容器安全合規(guī)設(shè)計(jì) 01架構(gòu)圖01.2.1.1鏡像深度掃描022.1.2鏡像運(yùn)行控制022.1.3容器系統(tǒng)入侵檢測(cè)與防護(hù)022.1.4容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)022.1.5安全合規(guī)基線022.1.6 Docker及其配套軟件漏洞03.2.2容器安全現(xiàn)狀改善方法。3 TOC o 1-5 h z HYPERLINK l bookmark24 o Current Document 鏡像深度掃描”管控方法 03 HYPERLINK l bookmark28 o Current Document 容器系統(tǒng)入侵檢測(cè)與防護(hù)”管控方法04容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)”管控方法.05.安全合規(guī)基線”

2、管控方法092.3 總結(jié)10.1概述結(jié)合企業(yè)現(xiàn)狀及未來長(zhǎng)遠(yuǎn)的規(guī)劃，容器平臺(tái)作為以后敏態(tài)基礎(chǔ)架構(gòu)建設(shè)的底座。本文檔為推廣容器云平 臺(tái)使用而編寫。建設(shè)容器平臺(tái)，不僅需要為基于微服務(wù)架構(gòu)的新業(yè)務(wù)提供容器化運(yùn)行和管控平臺(tái)之外，還必 須非常重視滿足行業(yè)嚴(yán)苛的監(jiān)管和安全要求。2容器安全合規(guī)設(shè)計(jì)2.1架構(gòu)圖在容器生命周期內(nèi)的多個(gè)階段均可能引入安全問題，容器全生命周期安全管控架構(gòu)圖如下圖所示:上圖可以反映容器對(duì)其核心一一鏡像”的BuildShip and Run”（構(gòu)建鏡像、傳輸鏡像與運(yùn)行容 器）操作；容器的應(yīng)用環(huán)境可被分為非生產(chǎn)環(huán)境和生產(chǎn)環(huán)境”這兩類。非生產(chǎn)環(huán)境”與Dev”（開發(fā)）強(qiáng)相關(guān)，而生產(chǎn)環(huán)境”則與

3、Ops”（運(yùn)維）強(qiáng)相關(guān)。非生產(chǎn)環(huán)境”內(nèi)的主要管控點(diǎn)是鏡像深度掃描”，在生產(chǎn)環(huán)境”做容器編排時(shí)需要從非生產(chǎn)環(huán)境”拉取并運(yùn)行容器鏡像，因此鏡 像運(yùn)行控制”也是一個(gè)主要管控點(diǎn)。生產(chǎn)環(huán)境”內(nèi)的主要管控點(diǎn)是容器系統(tǒng)入侵檢測(cè)與防護(hù)”以及容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)”。同時(shí)，應(yīng)在容器全生命周期中的各個(gè)階段將合規(guī)基線問題”作為重要的 管控點(diǎn)。下面從容器安全的各個(gè)主要管控點(diǎn)出發(fā)，列舉部分它們所應(yīng)對(duì)的安全問題。2.1.1鏡像深度掃描在做鏡像深度掃描時(shí)，應(yīng)重視的安全問題包括但不限于：鏡像中的操作系統(tǒng)軟件包與應(yīng)用程序依賴項(xiàng)包含已知漏洞鏡像的應(yīng)用目錄被植入Webshell鏡像敏感信息泄露鏡像完整性校驗(yàn)問題Dockerfi l

4、e中存在不安全的寫法（Dockerfi le是Docker鏡像的構(gòu)建腳本）2.1.2鏡像運(yùn)行控制在做鏡像運(yùn)行控制時(shí)，應(yīng)重視的安全問題包括但不限于：鏡像完整性校驗(yàn)問題特權(quán)模式共享oo權(quán)限內(nèi)存配額未被限制CPU優(yōu)先級(jí)未被限制存儲(chǔ)空間配額未被限制在啟用容器時(shí)使用Host網(wǎng)絡(luò)模式2.1.3容器系統(tǒng)入侵檢測(cè)與防護(hù)在做容器系統(tǒng)入侵檢測(cè)與防護(hù)時(shí)，應(yīng)重視的安全問題包括但不限于:未隔離文件系統(tǒng)調(diào)用有漏洞的系統(tǒng)內(nèi)核函數(shù) 拒絕服務(wù)攻擊2.1.4容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)在做容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)時(shí)，應(yīng)重視的安全問題包括但不限于:容器間的局域網(wǎng)攻擊Remote API接 口安全Docker缺陷架構(gòu)與安全機(jī)制紕漏微服務(wù)架構(gòu)

5、Web應(yīng)用安全問題2.1.5安全合規(guī)基線為了應(yīng)對(duì)Docker安全問題，應(yīng)重視的安全問題包括但不限于:內(nèi)核級(jí)別 網(wǎng)絡(luò)級(jí)別 鏡像級(jí)別 容器級(jí)別 文件限制 能力限制2.1.6 Dockei及其配套軟件漏洞在使用Docker及其配套軟件時(shí)，應(yīng)重視的安全問題包括但不限于:Docker自身漏洞K8S（Kubernetes）等編排應(yīng)用自身漏洞 鏡像倉(cāng)庫(kù)自身漏洞Docker及其配套軟件漏洞對(duì)Docker容器安全問題有著較深的影響，因而將之獨(dú)立成一個(gè)管控點(diǎn)點(diǎn)。 可將所使用的Docker及其配套軟件的版本不受已知漏洞影響作為一條安全合規(guī)基線。2.2容器安全現(xiàn)狀改善方法面對(duì)Docker容器安全的挑戰(zhàn)，可以分而治之，

6、對(duì)各個(gè)階段的安全管控點(diǎn)進(jìn)行管控。在實(shí)施管控時(shí)， 也可劃分優(yōu)先級(jí)，優(yōu)先考慮較為重要的管控點(diǎn)，推遲考慮較為次要的管控點(diǎn)（例如，鏡像運(yùn)行控制管控 點(diǎn)與用戶對(duì)Docker的使用方式有較大關(guān)聯(lián)。可以在安全產(chǎn)品中對(duì)用戶的危險(xiǎn)操作進(jìn)行告警，但不一定要 進(jìn)行阻斷。Docker容器安全產(chǎn)品應(yīng)注重對(duì)由用戶的不安全使用方式催生的安全問題進(jìn)行防御）。下面， 結(jié)合行業(yè)實(shí)踐經(jīng)驗(yàn)梳理針對(duì)鏡像深度掃描容器系統(tǒng)入侵檢測(cè)與防護(hù)容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù) 與安全合規(guī)基線”的管控方法。“鏡像深度掃描“管控方法在使用Docker鏡像之前使用Docker鏡像掃描器有助于發(fā)現(xiàn)Docker鏡像的安全性問題?，F(xiàn)有鏡像掃描工具基本都具備了 對(duì)軟件漏

7、洞進(jìn)行掃描”的基礎(chǔ)功能。部分開源項(xiàng)目或商業(yè)平臺(tái)具備如 下特殊功能：對(duì)木馬、病毒、惡意軟件或其他惡意威脅進(jìn)行靜態(tài)分析對(duì)主流編程語(yǔ)言的代碼安全問題進(jìn)行靜態(tài)發(fā)現(xiàn)（與開發(fā)工作流緊密結(jié)合）對(duì)Docker le進(jìn)行檢查對(duì)憑據(jù)泄露進(jìn)行檢查因?yàn)镈ocker鏡像是Docker容器的模板，所涉及的攻擊面較大，并且有的安全風(fēng)險(xiǎn)不易被掃描器所發(fā) 現(xiàn)，所以現(xiàn)階段的Docker鏡像掃描”的做法仍不能保障Docker鏡像的安全性，建議人工介入檢查（可 結(jié)合“docker inspect與docker history等命令查看鏡像的部分信息)?！叭萜飨到y(tǒng)入侵檢測(cè)與防護(hù)“管控方法加強(qiáng)Docker容器與內(nèi)核層面的隔離性有助于強(qiáng)化

8、容器系統(tǒng)入侵檢測(cè)與防護(hù)”。比如Docker社區(qū)開 發(fā)的安全特性、Linux運(yùn)行時(shí)方案、異常行為檢測(cè)應(yīng)用以及容器+全虛擬化方案，如下圖所示。Docker|區(qū)開發(fā)了針對(duì)Linux的Cgroup和Namespce的安全特性(Cgroup可用于限制CPU、內(nèi)存、塊 設(shè)備1/0(具體可參考“docker run命令的參數(shù))；Namespac河用于對(duì)PID、mount、network, UTS、 IPC、user等內(nèi)核資源進(jìn)行隔離；Cgroup對(duì)系統(tǒng)資源的隔離已經(jīng)比較完善了，而Namespace的隔離還不 夠完善(甚至不可能完善，因?yàn)檫@是共享內(nèi)核導(dǎo)致的固有缺陷)。部分可借鑒的Linux運(yùn)行時(shí)方案如下：Ca

9、pability :令某程序擁有哪些能力；Selinux:定義了系統(tǒng)中每一個(gè)用戶、進(jìn)程、應(yīng)用、文件訪問及轉(zhuǎn)變的權(quán)限，然后使用一個(gè)安全 策略來控制這些實(shí)體(即用戶、進(jìn)程、應(yīng)用和文件)之間的交互，安全策略指定了如何嚴(yán)格或者寬松地進(jìn)行 檢查；(3 ) Apparmor :設(shè)置執(zhí)行程序的訪問控制權(quán)限(可限制程序讀/寫某個(gè)目錄文件，打開/讀/寫網(wǎng)絡(luò) 端口等)；(4 ) Secomp :應(yīng)用程序的沙盒機(jī)制，以白名單、黑名單方式限定進(jìn)程對(duì)系統(tǒng)進(jìn)行調(diào)用；(5) Grsecurity: linux內(nèi)核補(bǔ)丁，增強(qiáng)內(nèi)核安全性。部分可借鑒的容器環(huán)境異常行為檢測(cè)開源應(yīng)用如下：(1) Sysdig Falco :一款為云

10、原生平臺(tái)設(shè)計(jì)的進(jìn)程異常行為檢測(cè)工具，支持接入系統(tǒng)調(diào)用事件和 Kubernetes審計(jì)日志(2 ) cAdvisor:可以對(duì)節(jié)點(diǎn)機(jī)器上的資源及容器進(jìn)行實(shí)時(shí)監(jiān)控和性能數(shù)據(jù)采集，包括CPU使用情況、 內(nèi)存使用情況、網(wǎng)絡(luò)吞吐量及文件系統(tǒng)使用情況容器+全虛擬化”方案也是容器系統(tǒng)入侵防護(hù)”的有效方案，如果將容器運(yùn)行在全虛擬化環(huán)境中(例如在虛擬機(jī)中運(yùn)行容器），這樣就算容器被攻破，也還有虛擬機(jī)的保護(hù)作用（目前一些安全需求很高的應(yīng)用場(chǎng) 景采用的就是這種方式）。“容器網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)“管控方法Docker容器網(wǎng)絡(luò)的安全問題可被劃分為網(wǎng)絡(luò)安全防護(hù)與微服務(wù)Web應(yīng)用安全兩類，隔離 和訪問控制”等主要思路均有助于管控

11、二者的安全問題。此外，仍可將部分現(xiàn)階段較為成熟的安全 技術(shù)應(yīng)用到Docke場(chǎng)景中。在具體實(shí)施時(shí)，可依據(jù)Docker應(yīng)用規(guī)模與實(shí)際的網(wǎng)絡(luò)部署情況進(jìn)行管控。分析 如下：Docker網(wǎng)絡(luò)本身具備隔離”和訪問控制功能的網(wǎng)絡(luò)安全機(jī)制，但存在粒度較大”與對(duì)安全 威脅的感知能力不足等缺陷，如下圖。 心在新牛可甲U訝總|卬4 g gwfagx吊.氣押w. .Jim可W5 MVU.申一 THW2. 式下的同稿墻切間度D眼燈r啊堵也易安全機(jī)制a. .mu徊mLRAttUniEd-HHft1.Docker網(wǎng)絡(luò)自身安全機(jī)制為了彌補(bǔ)Docker網(wǎng)絡(luò)的安全缺陷，一些商業(yè)化的端對(duì)端的Docker安全產(chǎn)品對(duì)網(wǎng)絡(luò)集群進(jìn)行了縱深

12、防 御，它們具備的功能特點(diǎn)包括了：容器防火墻運(yùn)行時(shí)保護(hù)網(wǎng)絡(luò)深度數(shù)據(jù)包檢測(cè)攻擊行為、異常行為告警日志監(jiān)控多編排平臺(tái)支持網(wǎng)絡(luò)流量可視化部分廠商在實(shí)現(xiàn)上述功能點(diǎn)時(shí)，在產(chǎn)品中引入了機(jī)器學(xué)習(xí)方法，用于生成行為模式與容器感知網(wǎng)絡(luò)規(guī) 則。Docker網(wǎng)絡(luò)具有組網(wǎng)方案多樣化、容器生命周期長(zhǎng)短不一、應(yīng)用場(chǎng)景多樣化等特點(diǎn)。因而，應(yīng)參照組 網(wǎng)方案特點(diǎn)制定管控方法。梳理的針對(duì)類傳統(tǒng)單體應(yīng)用和微服務(wù)架構(gòu)應(yīng)用”的入侵檢測(cè)與防御思路 如下圖所示。Docker網(wǎng)絡(luò)入侵檢測(cè)與防護(hù)思路首先來看類傳統(tǒng)單體應(yīng)用”的Pocket絡(luò)集群的入侵檢測(cè)和防護(hù)思路。以圖所示的微服務(wù)集群為例 進(jìn)行介紹。該集群里只有Nginx. Tomcat以及M

13、ySQL的3個(gè)容器。Mfr”院缶）徂由中隴凡政擊App攻商“類傳統(tǒng)單體應(yīng)用”的Docker網(wǎng)絡(luò)集群的入侵檢測(cè)和防護(hù)思路. i o知岫3嵌怕：ft.日忘分析注：圖中的綠色虛線表示文件掛載或者Docker的cp命令等方式，通過這兩種方式可以更便捷地在宿 主機(jī)實(shí)時(shí)修改Nginx容器里的配置文件，調(diào)整Tomcat容器里的應(yīng)用程序文件，或者對(duì)MySQL容器里的數(shù) 據(jù)進(jìn)行持久化。為了對(duì)這套Docker Web應(yīng)用進(jìn)行入侵檢測(cè)與防御，可考慮以下9點(diǎn)方法：IptableS 鬲離通過在宿主機(jī)側(cè)對(duì)Docker網(wǎng)絡(luò)集群外部做基于Iptables的隔離策略，可以限制攻擊者對(duì)容器在宿主 機(jī)所映射端口”的訪問，縮小受攻擊

14、面。部署軟WAF通過在Docker網(wǎng)絡(luò)集群的流量入口處做軟WAF的部署（形態(tài)可以是宿主機(jī)軟件或者Docker容器）， 可以在此處阻斷、發(fā)現(xiàn)部分惡意流量。部署RASP通過在Java、PHP服務(wù)器Docker容器內(nèi)部部署RASP產(chǎn)品，可以用之作為保護(hù)的最后一環(huán)，作為網(wǎng)絡(luò) 治理的一個(gè)補(bǔ)充小點(diǎn)。Webshell 掃描通過在宿主機(jī)側(cè)通過Webshell掃描引擎掃描來自Docker容器的Web應(yīng)用程序文件（這些文件可 通過docker cp”命令或者動(dòng)態(tài)掛載”機(jī)制獲得），有助于發(fā)現(xiàn)攻擊者植入的Webshell。日志分析通過在宿主機(jī)側(cè)通過ELK等日志分析分析來自Docker容器的日志文件（這些日志文件同樣可

15、通過 “docker cp”或動(dòng)態(tài)掛載”等方式獲得）。此外，單獨(dú)運(yùn)行Sidekick日志容器等做法有助于發(fā)現(xiàn)安全 威脅。識(shí)別中間人攻擊通過在Docker網(wǎng)絡(luò)集群內(nèi)部通過網(wǎng)絡(luò)隔離是防止此類基于網(wǎng)絡(luò)的攻擊的有效方法，此方法可使得攻 擊者無法操縱或竊聽主機(jī)及其他容器的網(wǎng)絡(luò)流量；在這種情況下QpenVPN開放虛擬專用網(wǎng)絡(luò)提供了一種通 過TLS（傳輸層安全協(xié)議）加密實(shí)現(xiàn)虛擬專用網(wǎng)絡(luò)VPN）的方法。識(shí)別、阻斷流向異常的流量通過在Docker網(wǎng)絡(luò)集群內(nèi)部依據(jù)實(shí)際的網(wǎng)絡(luò)拓?fù)鋱D對(duì)網(wǎng)絡(luò)進(jìn)行“微分段”隔離（在“微服務(wù)架構(gòu)”下, IP地址可能變換頻繁，但是預(yù)先劃分的網(wǎng)段不會(huì)變換頻繁），或者對(duì)指定的網(wǎng)橋、網(wǎng)卡進(jìn)行流量分

16、析，有 助于識(shí)別、阻斷流向異常的流量。識(shí)別拒絕服務(wù)攻擊通過在宿主機(jī)側(cè)讀取和Docker容器對(duì)應(yīng)的cgroup文件系統(tǒng)相關(guān)文件的實(shí)時(shí)內(nèi)容（網(wǎng)絡(luò)、CPU、內(nèi)存、 磁盤），可以識(shí)別出拒絕服務(wù)攻擊。網(wǎng)絡(luò)流量可視化網(wǎng)絡(luò)流量可視化是現(xiàn)有的容器安全產(chǎn)品”的常見附加功能。該功能的功能可能依托于對(duì)指 定的網(wǎng)橋、網(wǎng)卡進(jìn)行流量的DPI分析”。接著來看微服務(wù)架構(gòu)應(yīng)用”的Docker網(wǎng)絡(luò)集群的入侵檢測(cè)和防護(hù)思路。微服務(wù)架構(gòu)應(yīng)用與類 傳統(tǒng)單體應(yīng)用的顯著區(qū)別包括了 Docker容器數(shù)量較多、網(wǎng)絡(luò)拓?fù)漭^復(fù)雜等方面。在這種生產(chǎn)場(chǎng)景下， K8S等平臺(tái)可幫助用戶進(jìn)行大規(guī)模容器編排。可考慮使用的入侵檢測(cè)和防護(hù)思路如下：運(yùn)用K8S原生

17、或其第三方網(wǎng)絡(luò)插件的網(wǎng)絡(luò)策略K8S原生的網(wǎng)絡(luò)策略NetworkPolicy”可為K8S的最基本操作單位Pod”提供IP地址/端口號(hào)”級(jí)別的網(wǎng)絡(luò)隔離。注：K8S支持以第三方網(wǎng)絡(luò)插件”的形式選擇網(wǎng)絡(luò)方案，進(jìn)而會(huì)影響網(wǎng)絡(luò)策略的選擇。例如，NetworkPolicy頁(yè)由實(shí)現(xiàn)了。卬接口的網(wǎng)絡(luò)插件提供（如Calico、Cilium Kube-route Weave Net等等）。關(guān)注微服務(wù)架構(gòu)Web應(yīng)用的接口 認(rèn)證鑒權(quán)”問題開發(fā)方應(yīng)對(duì)微服務(wù)架構(gòu)Web應(yīng)用的認(rèn)證鑒權(quán)等問題予以重視，降低接口被網(wǎng)絡(luò)可互通的容器惡意訪問的 風(fēng)險(xiǎn)。常見的認(rèn)證鑒權(quán)”方案可包括：網(wǎng)關(guān)鑒權(quán)模式、服務(wù)自主鑒權(quán)模式API Token模式。以

18、組件化”的形式在微服務(wù)集群中部WWeb安全應(yīng)用為了增加Docker網(wǎng)絡(luò)集群的安全能力，可在Docker集群中部WWeb安全應(yīng)用（針對(duì)類單體Web應(yīng) 用”的做法仍可繼續(xù)使用。比如，我司的網(wǎng)站安全狗可用于保護(hù)部署在Docker容器里的Web應(yīng)用，如 下圖所示），此外也可考慮在容器集群中部PI網(wǎng)關(guān)容器（基于Nginx+Lua）、蜜罐容器或者資產(chǎn)發(fā)現(xiàn)與漏 洞掃描器。wrllHiaLL-laii甘 n i!心T dii-wbriMri AMjL Kirulv i|i Ud “.id Id -*Ln- craghiJi- ii ik. . s J hl bnrfq ie:51網(wǎng)站安全狗可以用于保護(hù)Dock

19、er容器運(yùn)用Service Mesh” 技術(shù)Service Mesh （服務(wù)網(wǎng)格）技術(shù)彌補(bǔ)7K8S在微服務(wù)通信的短板，有助于對(duì)應(yīng)用層做訪問限制。服務(wù)網(wǎng) 格是一個(gè)基礎(chǔ)設(shè)施層，功能在于處理服務(wù)間通信，其主要職責(zé)在于負(fù)責(zé)實(shí)現(xiàn)請(qǐng)求的可靠傳輸。在實(shí)踐中，服 務(wù)網(wǎng)格通常實(shí)現(xiàn)為輕量級(jí)網(wǎng)絡(luò)代理，通常與應(yīng)用程序部署在一起，但是對(duì)應(yīng)用程序透明。以開源應(yīng)用廿。為 例，它通過為整個(gè)服務(wù)網(wǎng)格提供行為洞察和操作控制滿足微服務(wù)應(yīng)用程序的多樣化需求。它在服務(wù)網(wǎng)絡(luò)中統(tǒng) 一提供了流量管理、策略執(zhí)行、服務(wù)身份和安全等關(guān)鍵功能。同時(shí)，Isti。還可集成已有的ACL、日志、監(jiān) 控、配額、審計(jì)等功能。Service Mesh的融合架構(gòu)模型如下圖所示。2.2.4 “安全合規(guī)基線”管控方法為了應(yīng)對(duì)Docker容器生命周期里的全問題，需要可操作、可執(zhí)行的Docker安全基線檢