容器云存儲(chǔ)的需求分析和方案選型

1、 容器云存儲(chǔ)的需求分析和方案選型 作者：汪照輝 王作敬 中國(guó)銀河證券股份有限公司 信息技術(shù)部IT研發(fā)中心容器云平臺(tái)存儲(chǔ)不僅僅是數(shù)據(jù)的持久化存儲(chǔ)，也包括容器云平臺(tái)自身的存儲(chǔ)需求以及鏡像存儲(chǔ)需求，甚至需要考慮云上中間件，比如Kafka等對(duì)存儲(chǔ)的需求?；ヂ?lián)網(wǎng)公司的金融業(yè)務(wù)對(duì)金融行業(yè)的發(fā)展帶來的巨大沖擊和挑戰(zhàn)，逼迫金融行業(yè)不得不考慮互聯(lián)網(wǎng)金融業(yè)務(wù)和移動(dòng)業(yè)務(wù)的發(fā)展，這又對(duì)技術(shù)平臺(tái)和技術(shù)能力提出了新的要求和挑戰(zhàn)?；ヂ?lián)網(wǎng)金融業(yè)務(wù)和移動(dòng)業(yè)務(wù)要求對(duì)業(yè)務(wù)需求快速響應(yīng)，甚至是小時(shí)、分鐘級(jí)，這就要求能實(shí)現(xiàn)業(yè)務(wù)的敏捷響應(yīng)、敏捷開發(fā)、持續(xù)集成、持續(xù)部署、持續(xù)改進(jìn)，實(shí)現(xiàn)自動(dòng)化的運(yùn)維、容錯(cuò)、異常修復(fù)、彈性伸縮、灰度發(fā)布等能力

2、，要支持這些能力，環(huán)境一致性要求、基礎(chǔ)設(shè)施服務(wù)平臺(tái)等要求需要滿足，才能在激烈的競(jìng)爭(zhēng)中生存下來。金融公司業(yè)務(wù)的發(fā)展趨勢(shì)，恰如如逆水行舟，不進(jìn)則退，不得不采用新的技術(shù)和平臺(tái)。容器云平臺(tái)提供了環(huán)境一致性能力、支持彈性伸縮、灰度發(fā)布、藍(lán)綠部署等能力，又和DevOps開發(fā)運(yùn)維一體化方法論、微服務(wù)架構(gòu)契合，實(shí)現(xiàn)持續(xù)集成、持續(xù)部署、持續(xù)監(jiān)控、持續(xù)反饋、持續(xù)改進(jìn)閉環(huán)。另外大數(shù)據(jù)、AI等應(yīng)用的部署運(yùn)維也需要考慮構(gòu)建共同的基礎(chǔ)設(shè)施服務(wù)平臺(tái)，容器云生逢其時(shí)。隨著容器技術(shù)的成熟和容器云平臺(tái)的實(shí)際落地，越來越多的企業(yè)已經(jīng)建設(shè)或者嘗試正在建設(shè)容器云平臺(tái)。容器云平臺(tái)如何管理并使用好基礎(chǔ)資源CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)等資源是其

3、關(guān)鍵的能力之一，而存儲(chǔ)作為容器云平臺(tái)的基礎(chǔ)設(shè)施資源，保證著容器云數(shù)據(jù)的安全，使數(shù)據(jù)能安全持久的存儲(chǔ)、查詢、不丟失。不過容器技術(shù)和容器云平臺(tái)對(duì)存儲(chǔ)的使用與原來相比是不同的，容器內(nèi)部存儲(chǔ)是不支持持久化數(shù)據(jù)存儲(chǔ)，這就需要考慮采用外部存儲(chǔ)掛載到容器上，在容器遷移、消亡、重啟等活動(dòng)中保證數(shù)據(jù)的安全。數(shù)據(jù)是企業(yè)的核心資產(chǎn)，在激烈的市場(chǎng)競(jìng)爭(zhēng)中，已經(jīng)越來越體現(xiàn)出其巨大的價(jià)值。因此，在建設(shè)容器云平臺(tái)的時(shí)候，是必須要考慮容器的存儲(chǔ)的，如：存儲(chǔ)方式、存儲(chǔ)介質(zhì)、存儲(chǔ)產(chǎn)品、存儲(chǔ)數(shù)據(jù)量、性能需求等。此外，容器云平臺(tái)存儲(chǔ)不僅僅是數(shù)據(jù)的持久化存儲(chǔ)，也包括容器云平臺(tái)自身的存儲(chǔ)需求以及鏡像存儲(chǔ)需求，甚至需要考慮云上中間件，比如K

4、afka等對(duì)存儲(chǔ)的需求。一、容器存儲(chǔ)方式存儲(chǔ)資源是容器云的基礎(chǔ)設(shè)施資源之一，保證著容器云平臺(tái)的正常運(yùn)行和數(shù)據(jù)持久化能力。容器云存儲(chǔ)的方式有容器內(nèi)部存儲(chǔ)方式、容器宿主機(jī)磁盤存儲(chǔ)方式、容器遠(yuǎn)程卷存儲(chǔ)方式等。1、容器內(nèi)部存儲(chǔ)方式容器內(nèi)部存儲(chǔ)即容器的讀寫層，但在容器銷毀時(shí)讀寫層也銷毀，在讀寫層的數(shù)據(jù)會(huì)丟失，就象內(nèi)存中的數(shù)據(jù)，應(yīng)用進(jìn)程關(guān)閉，內(nèi)存中數(shù)據(jù)就會(huì)清空。容器內(nèi)部存儲(chǔ)方式只可作為容器運(yùn)行時(shí)臨時(shí)的存儲(chǔ)方式。2、容器宿主機(jī)本地磁盤存儲(chǔ)方式容器宿主機(jī)本地磁盤存儲(chǔ)是使用本地存儲(chǔ)卷，其是對(duì)本機(jī)磁盤的映射。本地卷不可創(chuàng)建快照。優(yōu)點(diǎn)是不需要獨(dú)立存儲(chǔ)，創(chuàng)建操作簡(jiǎn)單，讀寫效率高。缺點(diǎn)是不能在節(jié)點(diǎn)間實(shí)現(xiàn)容器漂移。3、容

5、器遠(yuǎn)程卷存儲(chǔ)方式遠(yuǎn)程卷包括NFS和分布式遠(yuǎn)程存儲(chǔ)卷，NFS的創(chuàng)建需要增加設(shè)備、讀寫權(quán)限、設(shè)備目錄的信息；分布式存儲(chǔ)卷包括Ceph、GlusterFS、ScaleIO、Portworx等。二、容器云存儲(chǔ)的重要性存儲(chǔ)是容器云平臺(tái)提供的基礎(chǔ)資源之一，要安全穩(wěn)定的使用容器云平臺(tái)，對(duì)容器云平臺(tái)的存儲(chǔ)資源，在采用和實(shí)施容器云平臺(tái)之前，需要提前做些研究和規(guī)劃，因?yàn)椋?.數(shù)據(jù)是企業(yè)的重要資產(chǎn)，保證數(shù)據(jù)不丟失，數(shù)據(jù)完整，才能更好的開展業(yè)務(wù)。2.容器和虛擬機(jī)或物理機(jī)技術(shù)實(shí)現(xiàn)側(cè)重不同，容器側(cè)重?zé)o狀態(tài)應(yīng)用，要支持有狀態(tài)應(yīng)用，數(shù)據(jù)存儲(chǔ)必須基于業(yè)務(wù)需求提前進(jìn)行考慮和規(guī)劃。3.容器云是基礎(chǔ)平臺(tái)，涉及平臺(tái)組件、鏡像、應(yīng)用、中

6、間件等多個(gè)方面，每個(gè)方面都可能有不同的存儲(chǔ)需求。要獲得理想的性能和結(jié)果，需要全面的考慮每個(gè)方面，存儲(chǔ)等作為基礎(chǔ)設(shè)施資源，更是必不可少的部分。4.容器是用來承載應(yīng)用的，這點(diǎn)要深刻理解。應(yīng)用各個(gè)層次的數(shù)據(jù)具有潛在的價(jià)值，捕獲并處理、存儲(chǔ)、分析這些數(shù)據(jù)是獲取價(jià)值的步驟。因此，應(yīng)用數(shù)據(jù)的持久化是容器云平臺(tái)支撐業(yè)務(wù)應(yīng)用的重要的基礎(chǔ)能力之一。建好基礎(chǔ)，才能更好的服務(wù)于業(yè)務(wù)應(yīng)用。凡事預(yù)則立，不預(yù)則廢。說明了規(guī)劃計(jì)劃的重要性。臨時(shí)抱佛腳總會(huì)對(duì)業(yè)務(wù)產(chǎn)生或多或少的影響，容器云是基礎(chǔ)設(shè)施平臺(tái)，存儲(chǔ)是容器云的基礎(chǔ)資源，基礎(chǔ)設(shè)施資源決定上層應(yīng)用服務(wù)的能力，目前IaaS層還無法直接為容器云平臺(tái)提供需要的所有存儲(chǔ)資源，和

7、IaaS的對(duì)接也存在技術(shù)難點(diǎn)，沒有完整的數(shù)據(jù)就難以快速響應(yīng)業(yè)務(wù)需求，難以快速超越或者跟隨對(duì)手，大數(shù)據(jù)、AI等技術(shù)支撐的云上業(yè)務(wù)應(yīng)用就難以順利實(shí)施。說到底，數(shù)據(jù)、還是數(shù)據(jù)！是核心資產(chǎn)，需要重視其安全的保存和備份、重視其存儲(chǔ)方式、介質(zhì)、存儲(chǔ)性能等影響。三、容器云存儲(chǔ)需要考慮的幾個(gè)方面在采用容器云平臺(tái)時(shí)，存儲(chǔ)的使用大概有這幾個(gè)方面需要考慮：容器云平臺(tái)自身需要的存儲(chǔ)、應(yīng)用數(shù)據(jù)持久化存儲(chǔ)、鏡像存儲(chǔ)、中間件部署需要的存儲(chǔ)。最重要的是容器云平臺(tái)自身的存儲(chǔ)和數(shù)據(jù)持久化存儲(chǔ)。數(shù)據(jù)持久化存儲(chǔ)數(shù)據(jù)量有些公司可能會(huì)比較大，有些可能較小。在有大量存儲(chǔ)需求的時(shí)候就更要做好規(guī)劃。數(shù)據(jù)存儲(chǔ)很重要的一點(diǎn)是支持容器遷移，隨容器遷

8、移。不同的業(yè)務(wù)應(yīng)用對(duì)存儲(chǔ)的需求不同，所以這里沒有明確的標(biāo)準(zhǔn)，需要根據(jù)實(shí)際情況來確定。越重要的數(shù)據(jù)存儲(chǔ)的安全性要求越高。1.容器云平臺(tái)自身的存儲(chǔ)：容器云平臺(tái)自身有很多組件，比如ETCD，會(huì)存儲(chǔ)容器云平臺(tái)的狀態(tài)和配置信息，其對(duì)存儲(chǔ)的性能有較高的要求。etcd一旦出現(xiàn)意外，容器云平臺(tái)可能癱瘓，所以etcd的存儲(chǔ)對(duì)穩(wěn)定性、安全性、性能等方面要求比較高。同時(shí)可能還需考慮etcd的集群部署。2.應(yīng)用數(shù)據(jù)持久化存儲(chǔ)：包括宿主機(jī)本地存儲(chǔ)卷和遠(yuǎn)程存儲(chǔ)卷。本地存儲(chǔ)卷是對(duì)本機(jī)磁盤的映射，本地卷容量和讀寫性能由磁盤的規(guī)格和性能決定，本地卷不可創(chuàng)建快照。優(yōu)點(diǎn)是不需要獨(dú)立存儲(chǔ)，創(chuàng)建操作簡(jiǎn)單，讀寫效率高；缺點(diǎn)是不能在節(jié)點(diǎn)間

9、實(shí)現(xiàn)容器漂移。遠(yuǎn)程卷包括NFS和分布是遠(yuǎn)程存儲(chǔ)卷，通常是容器云平臺(tái)的首選。3.鏡像存儲(chǔ)：鏡像倉庫用于存儲(chǔ)應(yīng)用鏡像和中間件鏡像等所需的空間。4.中間件部署需要的存儲(chǔ)：運(yùn)行某些中間件需要的存儲(chǔ)需求。不同的中間件可能對(duì)存儲(chǔ)有不同的需求。四、持久化存儲(chǔ)需求作為用戶，我們關(guān)注存儲(chǔ)其實(shí)更多的是關(guān)注數(shù)據(jù)持久化存儲(chǔ)，數(shù)據(jù)是核心資產(chǎn)，重要數(shù)據(jù)必須持久化存儲(chǔ)并備份，而容器的內(nèi)部存儲(chǔ)難以做到持久化，本地存儲(chǔ)又難以遷移，所以更多的話是采用遠(yuǎn)程存儲(chǔ)卷來滿足持久化存儲(chǔ)需求。這是因?yàn)椋?.從業(yè)務(wù)角度，應(yīng)用運(yùn)行時(shí)異常，狀態(tài)、數(shù)據(jù)等存儲(chǔ)起來用于恢復(fù)或重試執(zhí)行。2.日志數(shù)據(jù)是業(yè)務(wù)跟蹤、查詢、統(tǒng)計(jì)、分析等的重要基礎(chǔ)，所有的操作都要

10、基于數(shù)據(jù)的持久化存儲(chǔ)。3.容器彈性伸縮特性非常切合微服務(wù)擴(kuò)縮需求，日志、運(yùn)行時(shí)數(shù)據(jù)、結(jié)果等跟隨容器遷移且不隨容器銷毀而消失。4.Kafka、mysql等需要持久化的存儲(chǔ)支持來部署并保存數(shù)據(jù)。5.數(shù)據(jù)量累積，會(huì)帶來質(zhì)變影響。6.大數(shù)據(jù)業(yè)務(wù)、AI業(yè)務(wù)等基于容器云的部署需求。大數(shù)據(jù)、人工智能都需要數(shù)據(jù)來支撐，所以這塊的數(shù)據(jù)存儲(chǔ)量將會(huì)越來越大。比如每天的日志數(shù)據(jù)可能就有幾十個(gè)G，幾百個(gè)G，這些數(shù)據(jù)經(jīng)過清洗處理分析，可能會(huì)帶來新的價(jià)值增長(zhǎng)點(diǎn)，也會(huì)帶來越來越多的新業(yè)務(wù)創(chuàng)新。但隨著數(shù)據(jù)量的累積，也會(huì)給存儲(chǔ)帶來壓力。所以不同的數(shù)據(jù)可能需要考慮采用不同的存儲(chǔ)方案。這可能有涉及到數(shù)據(jù)的治理問題了。遠(yuǎn)程卷有NFS、

11、NAS、SAN、Ceph、GusterFS等產(chǎn)品可以選擇，不同需求選擇不同的產(chǎn)品。鏡像對(duì)存儲(chǔ)的需求相對(duì)簡(jiǎn)單，鏡像通常也是需要不斷的更新的。不過鏡像需要考慮不同環(huán)境鏡像庫的鏡像存儲(chǔ)。通常情況下，鏡像倉庫可以非容器化部署，相對(duì)來說主機(jī)存儲(chǔ)資源管理起來會(huì)更方便。中間件存儲(chǔ)更多是因?yàn)橹虚g件部署時(shí)，不同中間件對(duì)存儲(chǔ)的需求可能不同。最典型的比如Kafka，需要多塊磁盤、文件系統(tǒng)使用XFS以及Mount 文件系統(tǒng)時(shí)使用noatime選項(xiàng)等以達(dá)到更好的性能。這就需要基于不同的組件來確定選擇什么樣的存儲(chǔ)。不過在容器云上實(shí)現(xiàn)目前還不是特別便利?？梢钥紤]非容器部署。五、無容器存儲(chǔ)思路目前說起容器云存儲(chǔ)，大家都會(huì)想到

12、Ceph或GlusterFS等。我們PoC測(cè)試的時(shí)候也隨大流測(cè)試了一下。大家都說這么配，所以我們也就這么配了。不過后來想想，我們mount存儲(chǔ)卷，目的是為了數(shù)據(jù)持久化，為了有狀態(tài)應(yīng)用。但是如果按照云原生的理念，不是為了云而硬性遷云，可能不需要太多存儲(chǔ)資源。還有就是數(shù)據(jù)可以通過實(shí)時(shí)數(shù)據(jù)流方式采集到數(shù)據(jù)中心或數(shù)據(jù)處理終端，讓數(shù)據(jù)運(yùn)轉(zhuǎn)起來、流轉(zhuǎn)起來，而不是僅僅存儲(chǔ)起來，充分開發(fā)數(shù)據(jù)的價(jià)值。沉睡和靜止的數(shù)據(jù)無法帶來價(jià)值，運(yùn)轉(zhuǎn)起來的數(shù)據(jù)才有價(jià)值，實(shí)時(shí)性越高的數(shù)據(jù)越有價(jià)值。這也是構(gòu)建大數(shù)據(jù)平臺(tái)大數(shù)據(jù)分析的價(jià)值。從這個(gè)角度來說，我們可以讓數(shù)據(jù)運(yùn)轉(zhuǎn)起來，不用都存儲(chǔ)于磁盤，或者在容器云平臺(tái)可以采用這種思想，把數(shù)

13、據(jù)從容器中拋出來，然后再進(jìn)一步處理或存儲(chǔ)。這樣存儲(chǔ)資源的使用可能就簡(jiǎn)單多了。比如應(yīng)用服務(wù)日志，可以直接從容器中把日志信息從日志文件或標(biāo)準(zhǔn)輸出中采集到，然后扔到ES或Kafka等消息中間件。這個(gè)功能由容器云平臺(tái)來提供，用戶也就不需要關(guān)心實(shí)現(xiàn)的細(xì)節(jié)。更重要的是，通過ES或Kafka可以實(shí)時(shí)進(jìn)行數(shù)據(jù)的進(jìn)一步處理，也避免數(shù)據(jù)在容器平臺(tái)持久化存儲(chǔ)的一些問題。這只是個(gè)人的一點(diǎn)想法，具體的可能更多還是要考慮數(shù)據(jù)在容器云平臺(tái)的持久化存儲(chǔ)。相應(yīng)的產(chǎn)品和技術(shù)，大家討論的也挺多，這里就不贅述。六、容器云存儲(chǔ)方案選擇采用容器云選擇存儲(chǔ)時(shí)，需要基于實(shí)際的業(yè)務(wù)需求來確定，深刻理解容器云平臺(tái)是用來承載應(yīng)用的，是為企業(yè)業(yè)務(wù)應(yīng)

14、用服務(wù)的。這也是我們?cè)谶x擇容器云產(chǎn)品時(shí)一再強(qiáng)調(diào)的。我們采用容器云不是為了容器，而是為了業(yè)務(wù)應(yīng)用，為了業(yè)務(wù)。不同業(yè)務(wù)對(duì)存儲(chǔ)的需求不同。有安全性要求比較高的，也有可以容忍數(shù)據(jù)丟失的等。不同的業(yè)務(wù)需求，采取的存儲(chǔ)方案、存儲(chǔ)產(chǎn)品就會(huì)不同，因?yàn)楫a(chǎn)品不一樣，所付出的資金代價(jià)是不一樣的。選擇產(chǎn)品時(shí)還需要考慮企業(yè)自身的技術(shù)實(shí)力，開源產(chǎn)品有開源產(chǎn)品的優(yōu)點(diǎn)，商用產(chǎn)品也有商用產(chǎn)品的優(yōu)點(diǎn)，對(duì)于像我們這樣的金融公司來說，更多要考慮的是數(shù)據(jù)的安全性，在采用開源產(chǎn)品時(shí)就會(huì)很謹(jǐn)慎，后期服務(wù)是一個(gè)很重要因素。得有公司來兜底，哪怕多花些錢，買個(gè)心安。另外還要考慮是否有能力駕馭選擇產(chǎn)品或技術(shù)。開源產(chǎn)品對(duì)技術(shù)能力要求比較高，選擇開源產(chǎn)品，最好有相應(yīng)的技術(shù)人員儲(chǔ)備。開源產(chǎn)品技術(shù)領(lǐng)先，版本迭代變化也比較快，需要有相應(yīng)的人力去把控。如果做不到這點(diǎn)，選擇商用產(chǎn)品是合適的，雖然成本高點(diǎn)，但經(jīng)過了眾多企業(yè)的