備份系統(tǒng)建設(shè)中常見的四個認識誤區(qū)

1.概述1.1.項目背景某集團財務(wù)公司是集團控股的非銀行金融機構(gòu)，是集團資金歸集平臺、集團資金結(jié)算平臺、集團資金監(jiān)控平臺、集團金融服務(wù)平臺，為集團及下屬成員單位提供存款、貸款、代理支付、內(nèi)部轉(zhuǎn)賬、供應(yīng)鏈貿(mào)易融資、外匯結(jié)售匯、個性化資金管理子平臺、投資顧問等金融服務(wù)，促進資金效率提升、降低財務(wù)成本，加強集團對資金流的風(fēng)險監(jiān)控。近年來，隨著集團整體不斷發(fā)展壯大，成員單位數(shù)量不斷增加，運用新的技術(shù)手段提升運營能力愈發(fā)迫切。金融外聯(lián)系統(tǒng)作為財務(wù)公司對外服務(wù)的重要窗口，由網(wǎng)上銀行、移動終端、銀企直聯(lián)、財企直聯(lián)等渠道層應(yīng)用組成，渠道層應(yīng)用對交易和數(shù)據(jù)的強實時一致性要求不高，更多的是采用分布式中間件、微服務(wù)框架，按照業(yè)務(wù)渠道構(gòu)建高內(nèi)聚低耦合的組件化服務(wù)，以實現(xiàn)快速響應(yīng)流量變化、提高運行可靠性。以當(dāng)前流量估算，虛擬機資源需要21臺，但隨著接入單位的增加，資源消耗快速增長，系統(tǒng)整體的橫向擴展能力亟待提升。同時，隨著金融科技風(fēng)險不斷暴露，金融監(jiān)管部門對信息科技的監(jiān)管體系日益完善，對信息系統(tǒng)安全性、穩(wěn)定性要求進一步提高?，F(xiàn)有硬件與存儲資源已近飽和，存儲設(shè)備存在老化現(xiàn)象，磁盤故障率增長。為提升業(yè)務(wù)連續(xù)性指標，急需重構(gòu)數(shù)據(jù)存儲容災(zāi)技術(shù)方案，以滿足監(jiān)管要求；為更好地服務(wù)集團及各成員單位，為企業(yè)數(shù)字化提供技術(shù)支撐，滿足信息科技的監(jiān)管要求，打造一個安全、穩(wěn)定、可靠、高效的核心基礎(chǔ)平臺成為財務(wù)公司信息化建設(shè)的重點。1.2.當(dāng)前基礎(chǔ)架構(gòu)情況原生產(chǎn)環(huán)境是以X86虛擬化為主的資源區(qū)，隨著業(yè)務(wù)系統(tǒng)的快速增多，現(xiàn)有架構(gòu)的已無法靈活擴展資源。原生產(chǎn)環(huán)境機構(gòu)圖如下：原生產(chǎn)環(huán)境資源存在的問題主要集中在以下幾點：1、系統(tǒng)運維效率需要提升現(xiàn)有系統(tǒng)架構(gòu)采用VMware+FCSAN傳統(tǒng)架構(gòu)，基礎(chǔ)設(shè)施架構(gòu)維護大量占用變更窗口。如擴容存儲系統(tǒng)，要停機、添加磁盤、磁盤初始化等一系列操作。如擴展計算資源，要進行手動均衡、物理服務(wù)器添加、虛擬化軟件安裝配置等操作。2、業(yè)務(wù)連續(xù)性需要提升現(xiàn)有集中式存儲采用RAID5方案，設(shè)備使用年限長，如出現(xiàn)故障數(shù)據(jù)丟失風(fēng)險較大，且修復(fù)故障所需時間較長。維護虛擬化集群設(shè)備工作量大，為避免系統(tǒng)數(shù)據(jù)丟失，維護作業(yè)一般需要先把整個系統(tǒng)全部停機，嚴重影響生產(chǎn)系統(tǒng)的業(yè)務(wù)連續(xù)性。如集群X86服務(wù)器出現(xiàn)單點故障，在集群資源配置不當(dāng)?shù)那闆r下，易產(chǎn)生連鎖反應(yīng)，造成集群性能明顯下降。3、系統(tǒng)部署時效需要提升現(xiàn)有金融外聯(lián)系統(tǒng)基礎(chǔ)環(huán)境無法快速響應(yīng)業(yè)務(wù)變化，渠道層應(yīng)用的快速擴展不僅要求IT資源快速上線，也要求服務(wù)的快速響應(yīng)?，F(xiàn)有的基礎(chǔ)環(huán)境架構(gòu)在快速擴容和維護便利等方面的表現(xiàn)不盡如人意。4、系統(tǒng)資源利用率需要提升現(xiàn)有集中式存儲設(shè)備相對昂貴，存儲架構(gòu)一旦落地部署成型，后續(xù)擴展性較差。當(dāng)出現(xiàn)高并發(fā)、大容量文件存儲等情況的時候，容易受到硬件性能與容量限制。現(xiàn)有數(shù)據(jù)量增長迅速，如何構(gòu)建一個統(tǒng)一可彈性擴展的存儲池，將計算、內(nèi)存資源通過虛擬化的方式組成資源池，響應(yīng)業(yè)務(wù)系統(tǒng)快速擴展要求，是擺在我司面前一項現(xiàn)實而緊迫的任務(wù)。1.3.建設(shè)目標采用集數(shù)據(jù)計算、存儲、網(wǎng)絡(luò)等資源于一體的超融合技術(shù)架構(gòu)搭建IT基礎(chǔ)設(shè)施，實現(xiàn)系統(tǒng)資源便利部署、高效穩(wěn)定，提升運維效率。提高財務(wù)公司整體的數(shù)據(jù)處理能力和系統(tǒng)資源儲備。不僅滿足傳統(tǒng)網(wǎng)絡(luò)架構(gòu)云資源模式的IaaS、PaaS，還可以滿足向下兼容，資源彈性伸縮，數(shù)據(jù)多副本冗余。在滿足當(dāng)前系統(tǒng)建設(shè)對服務(wù)器的需求的同時，為未來信息系統(tǒng)的建設(shè)發(fā)展提供一個靈活的、快速響應(yīng)的、穩(wěn)定可靠的服務(wù)器基礎(chǔ)環(huán)境，最終實現(xiàn)系統(tǒng)資源橫向的靈活擴展，增強業(yè)務(wù)連續(xù)性保護，較好的滿足業(yè)務(wù)系統(tǒng)穩(wěn)定安全運行要求。結(jié)合以上情況，本項目的建設(shè)目標主要包括以下幾個方面：1、為金融外聯(lián)系統(tǒng)規(guī)劃超融合平臺環(huán)境，提供相關(guān)服務(wù)器基礎(chǔ)軟硬件資源。2、運維管理區(qū)增加超融合環(huán)境覆蓋。3、針對現(xiàn)網(wǎng)結(jié)構(gòu)進行整體網(wǎng)絡(luò)優(yōu)化設(shè)計改造，包括運維管理區(qū)網(wǎng)絡(luò)改造、金融外聯(lián)區(qū)超融合網(wǎng)絡(luò)建設(shè)等。1.4.建設(shè)原則IT基礎(chǔ)設(shè)施平臺建設(shè)需做到合理化、規(guī)范化和科學(xué)化，以應(yīng)用為先導(dǎo)、統(tǒng)一規(guī)劃，集中管理，在滿足應(yīng)用系統(tǒng)架構(gòu)設(shè)計需求和業(yè)務(wù)數(shù)據(jù)對計算存儲資源功能和性能需求的前提下，通過資源的統(tǒng)一分配和部署，結(jié)合超融合技術(shù)，最大化地提高資源的靈活性和利用率，滿足應(yīng)用業(yè)務(wù)需求擴充與資源部署變更的發(fā)展需要。本次項目按照以下原則進行設(shè)計：1、以系統(tǒng)的高可用性為原則。整個虛擬化平臺的規(guī)劃建設(shè)要滿足高可用要求，包括服務(wù)器硬件、網(wǎng)絡(luò)等方面不能存在單點故障風(fēng)險。2、以具備良好的擴展性為原則。虛擬化平臺在規(guī)劃和建設(shè)時，需要考慮其擴展能力，在計算資源和存儲資源不足時，能夠平滑進行擴展。3、以確保安全性為原則。一是確保數(shù)據(jù)安全，出現(xiàn)單點故障不能出現(xiàn)數(shù)據(jù)損壞或丟失；二是確保網(wǎng)絡(luò)安全，按照服務(wù)器的安全等級劃分安全域，并且配置網(wǎng)絡(luò)訪問策略。4、以技術(shù)先進性為原則。在技術(shù)路線選擇和產(chǎn)品的選型方面，要充分考慮其技術(shù)先進性，能夠代表當(dāng)今技術(shù)的主流發(fā)展方向。5、以技術(shù)可靠性為原則。在技術(shù)路線選擇和產(chǎn)品的選型方面，要充分考慮技術(shù)的可靠性，選擇技術(shù)成熟、運行穩(wěn)定的技術(shù)方式。6、以合理的性價比為原則，虛擬化平臺的建設(shè)要結(jié)合公司信息系統(tǒng)的實際情況，合理制定建設(shè)方案，避免不必要投入。7、以優(yōu)先采用安全可控信息技術(shù)為原則。在能夠滿足項目需求的情況下，優(yōu)先選擇國產(chǎn)技術(shù)和產(chǎn)品。2.技術(shù)選型我司的數(shù)據(jù)中心基于VMware+FCSAN傳統(tǒng)虛擬架構(gòu)，生產(chǎn)環(huán)境整體架構(gòu)已完全成型。以超融合架構(gòu)替代生產(chǎn)環(huán)境基礎(chǔ)架構(gòu)，為避免造成現(xiàn)有系統(tǒng)運行發(fā)生風(fēng)險，影響業(yè)務(wù)系統(tǒng)穩(wěn)定運行，超融合架構(gòu)在使用前，須進行充分測試，且按系統(tǒng)級別逐個進行部署與切換。因此，我司聯(lián)合集成服務(wù)商對傳統(tǒng)架構(gòu)和超融合架構(gòu)進行了比較，并對各類超融合產(chǎn)品進行分析。2.1.傳統(tǒng)架構(gòu)和超融合架構(gòu)的對比傳統(tǒng)架構(gòu)和超融合架構(gòu)通過可維護性、可擴展性、可靠性3個方面進行比較，具體比較情況見下表。比較項超融合架構(gòu)傳統(tǒng)FCSAN架構(gòu)可維護性計算資源存儲資源融合部署于同一節(jié)點服務(wù)器；標準X86服務(wù)器和萬兆交換機；計算資源與存儲資源分離；專用存儲硬件和網(wǎng)絡(luò)可擴展性分布式架構(gòu)，支持橫向擴展；統(tǒng)一資源池，按需分配，自動均衡；控制器集中架構(gòu)；存儲控制器存在性能瓶頸；可靠性多副本，糾錯碼（EC），數(shù)據(jù)丟失風(fēng)險??；硬件故障時數(shù)據(jù)重建速度快；集中存儲，磁盤損壞數(shù)據(jù)丟失風(fēng)險大；硬件故障時性能下降嚴重；綜合來看，超融合架構(gòu)變革更多是基于分布式存儲對傳統(tǒng)存儲的替代，結(jié)合虛擬化部署方式，實現(xiàn)基礎(chǔ)環(huán)境的動態(tài)擴展、快速交付，進一步簡化了IT架構(gòu)，降低了使用成本和運維難度。分布式存儲可以采用多副本機制，數(shù)據(jù)副本分散在不同的節(jié)點服務(wù)器，當(dāng)一個節(jié)點數(shù)據(jù)出現(xiàn)損壞，其他節(jié)點仍可以提供服務(wù)，保障了數(shù)據(jù)安全性，維持了業(yè)務(wù)連續(xù)性。分布式存儲也可以采用糾刪碼方式來保證數(shù)據(jù)的可靠性。相對三副本，EC數(shù)據(jù)冗余保護機制在提供高可靠性的同時也能夠提供更高的磁盤利用率，比如4+2糾刪碼的利用率是66%，可用容量是三副本冗余的2倍。2.2.超融合產(chǎn)品選型HCI廠商給用戶提供的產(chǎn)品形態(tài)一般有兩種：純軟件方案和一體機方案。采用超融合軟件方案，用戶可以基于超融合軟件和自己選定的X86、ARM等架構(gòu)通用服務(wù)器硬件構(gòu)建超融合基礎(chǔ)架構(gòu)；采用超融合一體機方案，廠商根據(jù)客戶的需求，和自身的產(chǎn)品策略，為用戶提供的開箱即用一體機，超融合一體機=超融合軟件+廠商選定并適配的X86、ARM等架構(gòu)通用服務(wù)器。采用超融合一體機的好處是使用方便，開箱即用，部署快捷方便，軟件與硬件配套性較好，穩(wěn)定性強，安全可靠。出于降低維護和服務(wù)支持的復(fù)雜度的考慮，我司對4家超融合一體機廠商情況開展了調(diào)研。產(chǎn)品Nutanix聯(lián)想X86SMARTXHalo華為FusionCube1000深信服aServer軟件架構(gòu)NutanixZBS華為分布式存儲基于Ceph集群主機數(shù)>=33-2553-2562-1024資源消耗4cores3-4cores

>=4cores8cores分布式存儲副本2-32-32-32-3EC支持EC-X不支持N+2

不支持NVMeSSD緩存支持支持支持支持虛擬化平臺支持VMware、Kvm、Hyper-VVMware、XenVMware、KvmVMware、Kvm運維管理PrismSMTXOSFusionCubeCenteracloud從簡便運維和軟硬件統(tǒng)一管理的角度考慮，我司決定采用華為超融合。華為超融合在策略上，不采取平臺鎖定，實現(xiàn)了廣泛的平臺支持，不僅支持華為FusionSphere、VMware、KVM等主流的虛擬化平臺，還可以支持SAPHANA、Oracle、IBMDB2、Sybase等主流數(shù)據(jù)庫平臺。FusionCube采用全對稱分布式架構(gòu)，內(nèi)嵌分布式存儲引擎，元數(shù)據(jù)均勻分布在所有節(jié)點，無單獨元數(shù)據(jù)節(jié)點，消除了性能瓶頸。FusionCube在節(jié)點間采用IB互聯(lián)，RDMA等技術(shù)解決IO瓶頸。同時，F(xiàn)usionCube還采用NVMeSSD，不僅具備PCIESSD的高性能，同時具有SATA硬盤的熱插拔和即插即用特性，沒有運動部件，相比SATA盤年化故障率大幅降低。提供了圖形界面的安裝方式和超統(tǒng)一的管理界面，部署時間最短能降低到11分鐘，更能方便地實現(xiàn)端到端的統(tǒng)一管理、配置和監(jiān)控，實現(xiàn)一個管理界面管理所有軟硬件資源。3.方案設(shè)計3.1.整體規(guī)劃原則對金融外聯(lián)系統(tǒng)及應(yīng)用平臺的基礎(chǔ)環(huán)境采用超融合方案改造，通過SSD加速，采用多副本技術(shù)存儲虛擬機。按照每臺虛擬機800G硬盤、內(nèi)存32G、8核CPU，考慮平臺冗余，整個超融合集群可部署大約28臺虛擬機。3.2.

群硬件規(guī)劃項目型號節(jié)點詳細配置數(shù)量超融合一體機FusionCube10002288HV5處理器：2x英特爾?

至強?

金牌5220R(2.2GHz/24-Core)

內(nèi)存：512GB（16*32GB）*

硬盤：2塊600GBSAS系統(tǒng)盤，2塊1.6T

NVMe加速盤，8塊4TB7200轉(zhuǎn)SATA數(shù)據(jù)盤

網(wǎng)絡(luò)：9個10GE光接口（含模塊）2個GE（RJ45）接口；

陣列：1塊SR150-M(Avago3408)SAS/SATARAID卡RAID0,1,10-12Gb/s-noCache；3臺交換機CE6820-48S6CQ48*10GSFP+,6*100GQSFP28,2*交流電源4臺3.3.集群軟件規(guī)劃組件基線軟件包備注FusionCubeFusionCube6.0.5.SPC100FusionCube6.0.5.SPC100_Builder.ovaFusionCubeBuilder虛擬機系統(tǒng)鏡像安裝包FusionCube6.0.5.SPC100.zip用于安裝FusionCube的管理軟件。FusionCube6.0.5.SPC100_Driver.zip用于安裝FusionCube所需各種驅(qū)動。FusionCube6.0.5.SPC100_Tools.zip工具類文件。華為分布式存儲華為分布式存儲8.0.1.SPH602華為分布式存儲_8.0.1.SPC600.tar.gz用于安裝華為分布式存儲存儲軟件。華為分布式存儲_OS-V2.0SP5-X86_64-dvd.iso用于安裝FCC虛擬機節(jié)點操作系統(tǒng)鏡像安裝包。FusionComputeFusionCompute8.0.1FusionCompute_CNA-8.0.0-X86_64.iso用于部署X86架構(gòu)服務(wù)器FusionCompute8.0.0（KVM）計算節(jié)點和管理節(jié)點。FusionCompute_VRM-8.0.0-X86_64.isoFusionCompute_Installer-8.0.0.zipFusionCompute8.0.1_Upgrade.zip3.4.集群資源規(guī)劃整體可用資源規(guī)劃：資源類型資源總量CPU:

共計288核內(nèi)存：共計1536GB存儲池裸容量：EC4+2設(shè)計下，可使用約：46TB本次項目計劃部署實施3節(jié)點超融合集群，考慮到集群冗余性機制，為避免集群節(jié)點故障造成的虛擬機故障：資源項目資源預(yù)留建議按照集群冗余性考慮，3節(jié)點集群，建議不超過各集群資源的75%集群CPU資源預(yù)留：集群總CPU資源的25%集群內(nèi)存資源預(yù)留：集群中內(nèi)存資源的25%集群存儲資源預(yù)留：集群中存儲資源的20%FusionCube出廠時會預(yù)安裝CNA、VRM、FusionManager、華為分布式存儲Manager和FusionCubeCenter等部件，每個部件占用資源如下：管理VMvCPU（max）MEM（GB）Storage（GB）FusionManager(GMN)4680VRM4580華為分布式存儲Manager416160GFusionCubeCenter416160G3.5.網(wǎng)絡(luò)規(guī)劃帶外管理負責(zé)服務(wù)器遠程管理與配置，使用服務(wù)器自帶管理端口，每臺服務(wù)器一個端口，分配帶外管理IP地址后，可遠程控制。兩臺管理交換機用于集群中各服務(wù)器間的數(shù)據(jù)交互，要求必須使用萬兆以太網(wǎng)絡(luò)接入，建議使用低交換延時以太網(wǎng)交換機。業(yè)務(wù)網(wǎng)絡(luò)交換機間配置級聯(lián)或堆疊，以實現(xiàn)鏈路冗余性。管理平面用于管理集群各節(jié)點服務(wù)器，每節(jié)點使用兩塊千兆以太網(wǎng)口，分別連接兩臺管理交換機，兩個接口組成bond，以實現(xiàn)鏈路冗余。業(yè)務(wù)平面用于虛擬機對外提供訪問，每個節(jié)點使用兩塊萬兆以太網(wǎng)口，分別連接到業(yè)務(wù)網(wǎng)絡(luò)的交換機上，兩個接口組成bond，以實現(xiàn)鏈路冗余。存儲平面用于華為分布式存儲內(nèi)部通信，每個節(jié)點使用兩塊萬兆以太網(wǎng)口，分別連接到兩臺管理交換機，兩個接口組成bond，以實現(xiàn)鏈路冗余。設(shè)備端口示意如下：IP地址需求：管理平面節(jié)點類型VLAN服務(wù)器臺數(shù)BMCIP地址數(shù)管理IP地址數(shù)MCNA10222SCNA10111管理VM虛擬參數(shù)VLAN數(shù)量主備ip合計數(shù)浮動ip數(shù)FusionCubeCenter10221FusionComputer10221業(yè)務(wù)平面虛擬VLANip數(shù)量USERVM112543.6.華為分布式存儲規(guī)劃配置3臺超融合主機，每個主機預(yù)留一個華為分布式存儲存儲IP，用于不同主機間華為分布式存儲存儲池網(wǎng)絡(luò)流量。每臺主機配置2塊600GBSAS系統(tǒng)盤；采用SSD磁盤作為數(shù)據(jù)緩存，每臺主機配置2塊1.6T

NVMe加速盤，提升超融合集群IO性能；每臺主機配置8塊4TBSATA數(shù)據(jù)盤，采用EC4+2冗余存儲配置，去除虛擬化平臺必要的存儲開銷，可供虛擬機使用的空間大概45.8T左右。各節(jié)點存儲規(guī)格如下：節(jié)點類型主存規(guī)格緩存規(guī)格MCNA8*3726GSATA_DISK1*2980GSSD_CARDMCNA8*3726GSATA_DISK1*2980GSSD_CARDSCNA8*3726GSATA_DISK1*2980GSSD_CARDEC（糾刪碼）是提高存儲系統(tǒng)數(shù)據(jù)可靠性的一項編碼技術(shù)。寫入的對象被拆分為K個數(shù)據(jù)塊，然后編碼生成M個校驗塊，總共K+M份數(shù)據(jù)通過DHT算法分別存入不同硬盤中。當(dāng)系統(tǒng)出現(xiàn)故障，丟失了某些塊時，只要這個對象丟失的塊數(shù)目不超過M，就可通過數(shù)據(jù)恢復(fù)算法，將丟失的數(shù)據(jù)塊從剩余的塊中計算出來。在這種方式下，空間的利用率約為K/(K+M)，數(shù)據(jù)的可靠性由M值的大小決定，M越大可靠性越高。EC4+2相比EC2+1，雖然能容忍節(jié)點故障數(shù)量仍然是1個，但它可以允許2個節(jié)點分別有1塊硬盤故障（總計2塊硬盤故障）而數(shù)據(jù)不丟失。而實際情況下，硬盤故障的概率是遠遠低于整個節(jié)點故障的，所以EC4+2還是非常可靠的，在空間利用率上也遠高于三副本，三副本的得盤約為33.3%，EC4+2的得盤率約為66.6%。存儲池配置如下:存儲池冗余策略華為分布式存儲EC4+23.7.用戶設(shè)置規(guī)劃分類用戶設(shè)置2288HV5登錄iBMC的用戶名和密碼FusionCubeBuilder登錄FusionCubeBuilderOS的用戶名和密碼使用WinSCP上傳軟件包到FusionCubeBuilder時使用的用戶名和密碼登錄FusionCubeBuilderWebUI的用戶名和密碼FusionCubeCenter登錄FusionCubeCenterOS的用戶名和密碼使用WinSCP上傳軟件包到FusionCubeCenter時使用的用戶名和密碼登錄FusionCubeCenterWebUI的用戶名和密碼華為分布式存儲登錄華為分布式存儲DeviceManager的用戶名和密碼3.8.部署安裝安裝流程如下：4.實施經(jīng)驗4.1.華為分布式存儲容量計算1、多副本冗余方式華為分布式存儲大概容量=所有用于數(shù)據(jù)盤的磁盤容量總和/副本數(shù)，因華為分布式存儲的元數(shù)據(jù)會占用一部分空間，實際的有效容量會比這個值小。具體計算方法如下：單盤的有效容量(TB)=((z*0.91)-p*r/1024)*q/k華為分布式存儲有效容量=單盤的有效容量*總盤數(shù)。1)z=盤或SSD卡標稱容量(TB)。其中盤或卡的標稱容量z為GB時,需轉(zhuǎn)換為TB(GB/1000)。2)r=華為分布式存儲OSD開銷(GB)。華為分布式存儲OSD開銷固定為20.7GB。3)p=主存對應(yīng)的OSD進程數(shù)。主存對應(yīng)的OSD進程數(shù)p，不同的介質(zhì)p取值不同，HDD盤和SSD盤，1個硬盤上運行的OSD進程數(shù)固定為1，SSD卡做主存時，p=（卡的容量/600G）向上取整。4)k=副本數(shù)，副本數(shù)為2副本或者3副本，根據(jù)實際項目配置進行計算。5)q=磁盤空間利用率，該值固定為0.952、糾刪碼冗余方式存儲池可得容量=裸容量*0.909（進制轉(zhuǎn)換）*（1-預(yù)留比率）*冗余利用率*(1-DIF特性消耗)*重刪壓縮比1）冗余利用率：EC配置為N+M時冗余校