基于 PowerMax 架構(gòu)的銀行雙活數(shù)據(jù)中心實踐分享

1項目背景1.1項目概述隨著銀行信息化程度的不斷提高，信息系統(tǒng)在金融行業(yè)的關(guān)鍵業(yè)務(wù)中扮演著越來越重要的角色，企業(yè)對信息系統(tǒng)的依賴程度越來越高，業(yè)務(wù)中斷會造成巨大的經(jīng)濟損失、影響品牌形象并且還可能會造成重要數(shù)據(jù)的丟失。因此，保證業(yè)務(wù)連續(xù)性是信息系統(tǒng)建設(shè)的關(guān)鍵。同時業(yè)務(wù)系統(tǒng)的高可用和災(zāi)難保護的重要性也越來越突出，在我行目前的業(yè)務(wù)系統(tǒng)中，正在逐漸建設(shè)&完善深圳、上海兩地三中心架構(gòu)。考慮到DellEMC存儲經(jīng)過多年的發(fā)展，處于行業(yè)領(lǐng)先水平，具備安全承載金融行業(yè)核心業(yè)務(wù)的能力，本次項目將在原深圳、上海數(shù)據(jù)中心部署多臺DellEMCPowerMax8000系列高端全閃存以滿足在深圳生產(chǎn)中心、同城雙活中心及上海數(shù)據(jù)中心老舊應(yīng)用項目的生產(chǎn)替換改造、滿足業(yè)務(wù)的高可用及災(zāi)備需求。1.2現(xiàn)網(wǎng)存儲架構(gòu)情況現(xiàn)網(wǎng)存儲配置：

目前行內(nèi)基于SAN架構(gòu)的存儲業(yè)務(wù)相關(guān)設(shè)備，有交換機和存儲共計100多套，涉及業(yè)界常見的博科、DellEMC、HDS等，有常規(guī)的SAN架構(gòu)，也有基于存儲SAN網(wǎng)關(guān)的異構(gòu)虛擬化架構(gòu)?，F(xiàn)網(wǎng)存儲架構(gòu)的痛難點：為配合我行的應(yīng)用系統(tǒng)整體架構(gòu)升級，存儲架構(gòu)由傳統(tǒng)的集中式及鏡像雙活逐漸向業(yè)務(wù)層面雙活改造完善中，我行有如下痛點待解決：1.前期的規(guī)劃基于SAN網(wǎng)關(guān)架構(gòu)，雖然解決了當(dāng)時很多管理和數(shù)據(jù)遷移等問題，但近年來隨著公司業(yè)務(wù)的不斷壯大，擴展能力及性能瓶頸等管理難題逐漸凸顯，無法跟上前端業(yè)務(wù)增長的步伐，同時較為復(fù)雜SAN鏈路環(huán)境給日常故障快速定位診斷也帶來挑戰(zhàn)。2.同時部分?jǐn)?shù)據(jù)中心鏡像雙活存儲架構(gòu)方案也有不少隱患及缺陷，比如同數(shù)據(jù)中心無法嚴(yán)格提供物理級別保護，存儲因鏡像帶來更多的管理壓力等等。3.應(yīng)用單中心部署，業(yè)務(wù)層面無法做到嚴(yán)格的快速切換恢復(fù)，RTO及RPO離理性值還比較遠(yuǎn)。4.冷備中心不工作，關(guān)鍵時候不能切，成本也存在嚴(yán)重浪費。5.容災(zāi)、資源靈活擴展未得到解決。1.3建設(shè)要求1)

業(yè)務(wù)連續(xù)性要求作為一家大型銀行來講，一旦業(yè)務(wù)系統(tǒng)所使用計算及存儲等資源，出現(xiàn)故障或宕機，將導(dǎo)致公司業(yè)務(wù)的完全癱瘓，進而造成巨大的經(jīng)濟損失和對信譽度的影響。因此在存儲的選擇與架構(gòu)設(shè)計上，我們需要充分考慮存儲的穩(wěn)定性，以保證業(yè)務(wù)的連續(xù)性。設(shè)計要求如下：確保核心業(yè)務(wù)系統(tǒng)所使用的存儲高可用；確保業(yè)務(wù)系統(tǒng)所選用的存儲設(shè)備，在相關(guān)行業(yè)內(nèi)有大量的案例，并為穩(wěn)定產(chǎn)品；確保從存儲、到主機乃至光纖鏈路，均為全冗余架構(gòu)模式。2)

存儲處理能力要求隨著業(yè)務(wù)的不斷發(fā)展，對存儲設(shè)備性能要求也越來越高，部分重要業(yè)務(wù)需提高存儲層面處理能力，以滿足未來3-5年的發(fā)展需要。3)

高效的運營與管理要求IT技術(shù)的迅猛發(fā)展正在重新定義我們工作和生活方式，而且正在帶來應(yīng)用領(lǐng)域的革命。同時隨著業(yè)務(wù)的不斷擴大，數(shù)據(jù)散落在各個應(yīng)用系統(tǒng)。數(shù)據(jù)集成度低，分布于不同存儲、不同主機，數(shù)據(jù)質(zhì)量參差不齊，數(shù)據(jù)整合性差，管理重復(fù)度高、難度大、數(shù)據(jù)可控性不夠高，相應(yīng)數(shù)據(jù)安全得不到很好的保障。為了構(gòu)建新一代的數(shù)據(jù)中心，存儲的運營與管理顯得越來越重要，因此企業(yè)需要構(gòu)建高效便捷的存儲環(huán)境，以滿足業(yè)務(wù)需求。4）合規(guī)性要求銀行核心存儲項目，屬于國內(nèi)大型商業(yè)銀行的重要IT基礎(chǔ)設(shè)施建設(shè)，意義和影響重大，必須滿足國家及行業(yè)監(jiān)管機構(gòu)的合規(guī)性要求，本次項目建設(shè)需滿足包括但不限于以下國家和行業(yè)規(guī)范：銀監(jiān)會《商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引》銀監(jiān)會《商業(yè)銀行數(shù)據(jù)中心監(jiān)管指引》銀監(jiān)會《商業(yè)銀行信息科技風(fēng)險管理指引》銀監(jiān)會《銀行業(yè)重要信息系統(tǒng)突發(fā)事件應(yīng)急管理規(guī)范（試行）》銀監(jiān)會《銀行業(yè)金融機構(gòu)信息科技外包風(fēng)險監(jiān)管指引》人民銀行《銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范》人民銀行《關(guān)于進一步加強銀行業(yè)金融機構(gòu)信息安全保障工作的指導(dǎo)意見》人民銀行《關(guān)于加強銀行數(shù)據(jù)集中安全工作的指導(dǎo)意見》國家質(zhì)量監(jiān)督檢驗檢疫總局《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》（GB/T20988-2007）國務(wù)院信息化工作辦公室《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范指南》中辦發(fā)27號文《國家信息化領(lǐng)導(dǎo)小組關(guān)于加強信息安全保障工作的意見》工信部《2006-2020年國家信息化發(fā)展戰(zhàn)略》【2006年5月8日】2設(shè)計原則基本原則通過對我行本次存儲資源池建設(shè)需求的了解，結(jié)合金融行業(yè)業(yè)務(wù)系統(tǒng)的應(yīng)用特點，本次方案設(shè)計建設(shè)過程遵循如下原則進行：1）可用性原則災(zāi)備系統(tǒng)的故障不影響生產(chǎn)系統(tǒng)的運行，不會大幅度影響業(yè)務(wù)處理能力。系統(tǒng)器件選擇要考慮能支持7×24小時連續(xù)長時間大壓力下工作。系統(tǒng)具有充分的冗余能力、容錯能力，如支持雙活控制器，滿足高可靠性需求，至少達到99.999%可用性。系統(tǒng)具有專業(yè)的技術(shù)保障體系以及數(shù)據(jù)可靠性保證機制。確保系統(tǒng)具有高度的安全性，提供安全的登錄和訪問措施，防止系統(tǒng)被攻擊。異常掉電后不丟失數(shù)據(jù)，供電恢復(fù)后自動重新啟動并自動恢復(fù)正常連接。系統(tǒng)支持運行狀態(tài)管理和技術(shù)保障體系。2）先進性原則系統(tǒng)必須嚴(yán)格遵循國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、國內(nèi)信息行業(yè)和金融行業(yè)的規(guī)范要求。需符合存儲技術(shù)以及IT行業(yè)的發(fā)展趨勢，所選用的產(chǎn)品型號已規(guī)模上量。所有的系統(tǒng)處于先進的技術(shù)水平，確保較長時間內(nèi)技術(shù)上不落伍。系統(tǒng)的處理能力要達到業(yè)內(nèi)領(lǐng)先，對于業(yè)務(wù)的使用要留有一定的余量，以滿足后續(xù)升級的需求。對工作環(huán)境要求較低，環(huán)境適應(yīng)能力強。3）開放性原則系統(tǒng)必須支持國際上通用的標(biāo)準(zhǔn)網(wǎng)絡(luò)存儲協(xié)議、國際標(biāo)準(zhǔn)的應(yīng)用開放協(xié)議。與主流服務(wù)器之間保持良好的兼容性。兼容各主流操作系統(tǒng)、卷管理軟件及應(yīng)用程序?？梢耘c第三方管理平臺、云平臺集成，提供給用戶定制化的管理維護手段。與現(xiàn)有IT系統(tǒng)、軟硬件系統(tǒng)兼容并可無縫替換和升級。系統(tǒng)必須支持國際上通用的標(biāo)準(zhǔn)管理協(xié)議。4）易維護性原則系統(tǒng)支持簡體中文，通俗易懂，操作方便、簡單。系統(tǒng)具有充分的權(quán)限管理，日志管理、故障管理，并能夠?qū)崿F(xiàn)故障自動報警。系統(tǒng)設(shè)備安裝使用簡單，無需專業(yè)人員維護。系統(tǒng)容量可按需要在線擴展，無需停止業(yè)務(wù)。系統(tǒng)功能擴充需要升級時，支持不中斷業(yè)務(wù)升級。支持WEB管理方式或集中管理方式。5）擴展性原則考慮銀行未來三至五年數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)和存儲系統(tǒng)的整體規(guī)劃，既能滿足短期建設(shè)需求，又能滿足該銀行中遠(yuǎn)期規(guī)劃方向。系統(tǒng)易于擴充。系統(tǒng)選擇標(biāo)準(zhǔn)化的部件，利于靈活替換和容量擴展。系統(tǒng)設(shè)計遵守各種標(biāo)準(zhǔn)規(guī)定、規(guī)范?？梢耘c第三方管理平臺集成，提供給用戶定制化的管理維護手段。具備各主流廠家設(shè)備的擴展接入能力。6）經(jīng)濟性原則綜合考慮集中存儲系統(tǒng)的性能和價格，最經(jīng)濟最有效地進行建設(shè)，性能價格比在同類系統(tǒng)和條件下達到最優(yōu)。7）綠色性原則滿足環(huán)保與節(jié)能的要求，噪聲低、能耗低、無污染。必須選用無鉛器件。有節(jié)能降耗的技術(shù)手段。具備環(huán)境管理認(rèn)證，符合環(huán)保規(guī)定，包材可回收，支持重復(fù)利用。3設(shè)計方案兩地三中心的容災(zāi)方式是當(dāng)前金融行業(yè)容災(zāi)建設(shè)的最高配置和主流方案。通過建設(shè)近距離的數(shù)據(jù)中心（同城雙活數(shù)據(jù)中心）獲得接近于零數(shù)據(jù)丟失的數(shù)據(jù)保護，通過建設(shè)較遠(yuǎn)距離的數(shù)據(jù)中心（異地數(shù)據(jù)中心）獲得遠(yuǎn)距離的數(shù)據(jù)保護，避免區(qū)域性的災(zāi)難導(dǎo)致業(yè)務(wù)無法恢復(fù)。在出現(xiàn)小概率的大范圍的災(zāi)難時，如自然災(zāi)害地震，造成同城雙活中心與生產(chǎn)中心同時不可用，應(yīng)用可以切換到異地災(zāi)難備份中心。通過實施日常災(zāi)難雙活演練的步驟，應(yīng)用可在業(yè)務(wù)容許的時間內(nèi)，在異地的災(zāi)難備份中心恢復(fù)，保證業(yè)務(wù)連續(xù)運行。但異地恢復(fù)通常會丟失少量的數(shù)據(jù)。下圖是同城雙活架構(gòu)三層圖：支持雙活場景：1）IDC故障轉(zhuǎn)移2）LB(負(fù)載均衡)故障轉(zhuǎn)移3）應(yīng)用集群故障轉(zhuǎn)移4）分布式應(yīng)用集群故障轉(zhuǎn)移5）數(shù)據(jù)庫存儲級故障轉(zhuǎn)移3.1方案概述根據(jù)我行現(xiàn)有兩地三中心容災(zāi)解決方案現(xiàn)狀：一個生產(chǎn)中心、一個同城雙活備份中心、一個異地災(zāi)難備份中心。生產(chǎn)中心的數(shù)據(jù)從業(yè)務(wù)層面同步地復(fù)制到同城雙活中心，同時，雙活中心的數(shù)據(jù)異步地復(fù)制到異地災(zāi)難備份中心。相比僅建立同城災(zāi)難備份中心或異地災(zāi)難備份中心，“兩地三中心”的方式結(jié)合兩者的優(yōu)點，能夠適應(yīng)更大范圍的災(zāi)難場景，對于小范圍的區(qū)域性災(zāi)難和較大范圍的自然災(zāi)害，都能夠通過災(zāi)難備份系統(tǒng)較快地響應(yīng)，盡可能保全業(yè)務(wù)數(shù)據(jù)不丟失，實現(xiàn)更優(yōu)的RPO和RTO。因此，兩地三中心容災(zāi)解決方案得到了廣泛的應(yīng)用。為配合我行信息系統(tǒng)整體架構(gòu)，為了達到業(yè)務(wù)的高連續(xù)性要求，結(jié)合目前數(shù)據(jù)中心間網(wǎng)絡(luò)現(xiàn)狀，本次設(shè)計在前期對市面上常見的EMC、HDS及華為等品牌進行嚴(yán)格的POC測試，基于EMC存儲滿足我行業(yè)務(wù)實際需求的測試結(jié)果，并且經(jīng)過各項指標(biāo)的綜合考慮后，采購EMCPowerMax8000高端全閃存儲，采用同城雙活+異地災(zāi)備的兩地三中心方案。如此設(shè)計有如下優(yōu)勢：1）深圳同城雙活機房和異地上海數(shù)據(jù)中心的故障或者演練或者計劃內(nèi)停機等操作，不會影響另一個數(shù)據(jù)中心的容災(zāi)能力。2）深圳本地雙活中心根據(jù)業(yè)務(wù)流量入口控制，可以將業(yè)務(wù)無縫在同城兩數(shù)據(jù)中心切換，便于日常維護及單數(shù)據(jù)中心故障應(yīng)急3）深圳同城雙活的容災(zāi)能力可以達到RPO=0的最高水平4）異地上海數(shù)據(jù)中心既可以節(jié)省遠(yuǎn)距離網(wǎng)絡(luò)帶寬，又可以盡量減少對深圳生產(chǎn)機房性能的影響5）與現(xiàn)網(wǎng)運維能力相匹配，兼容目前前端業(yè)務(wù)流量切換流程框架，方案穩(wěn)健且未來擴展性好。6）支持標(biāo)準(zhǔn)API接口，能與本行自動化日常運維平臺集成，完成日常運維工作（zone配置、存儲初始分配、擴容、回收等自動化）其中，同城雙活+異地災(zāi)備可以將同城雙活切換RTO縮短為“零”，可以大大提高業(yè)務(wù)連續(xù)性能力。3.2方案架構(gòu)本次建設(shè)基于DellEMC高端全閃存PowerMax8000存儲，采用業(yè)務(wù)層面同城雙活的兩地三中心架構(gòu)，具體拓?fù)淙缦拢弘p活概述：a.單個應(yīng)用：兩個生產(chǎn)中心部署相同的業(yè)務(wù)系統(tǒng)，結(jié)合網(wǎng)絡(luò)層、主機層及應(yīng)用的負(fù)載均衡技術(shù)，實現(xiàn)業(yè)務(wù)系統(tǒng)在兩個數(shù)據(jù)中心并行工作和負(fù)載分擔(dān)，其中數(shù)據(jù)在數(shù)據(jù)庫層面采用熱備技術(shù)(即主庫-從庫之間實時ADG同步)，通過負(fù)載均衡技術(shù)實現(xiàn)ADG從庫日常提供類如查詢、抽數(shù)、備份等讀取操作，實現(xiàn)部分讀操作從主庫分離，大大分擔(dān)主庫的壓力，寫仍然在主庫，從庫分擔(dān)主庫的部分讀操作。b.應(yīng)用集群：兩個生產(chǎn)中心部署不同的業(yè)務(wù)系統(tǒng)，互相實時災(zāi)備接管就緒，即部分業(yè)務(wù)以數(shù)據(jù)中心A為主，數(shù)據(jù)中心B為熱備，而部分業(yè)務(wù)則以數(shù)據(jù)中心B為主，數(shù)據(jù)中心A為熱備，以達到近似雙活的效果。一旦主站點出現(xiàn)問題，熱備數(shù)據(jù)中心自動接管主數(shù)據(jù)中心的業(yè)務(wù)，對前端業(yè)務(wù)無感知，用戶的業(yè)務(wù)不會中斷。c.本行目前已有部分應(yīng)用以同城雙活中心作為主站點，隨著業(yè)務(wù)量的增加，生產(chǎn)數(shù)據(jù)中心的承載壓力會變大，屆時將會有更多的新上應(yīng)用會優(yōu)先安放在同城雙活中心，以當(dāng)前生產(chǎn)中心作為熱備站點，均衡兩中心資源使用效率，充分利用同城2個數(shù)據(jù)中心的各類資源。4實踐亮點及難點DellEMCPowerMax系列高端全閃存結(jié)合本行的本地雙活+異地容災(zāi)的三中心解決方案的應(yīng)用亮點如下：（1）標(biāo)準(zhǔn)化API助力銀行存儲資源端到端分配全流程閉環(huán)自動化通過標(biāo)準(zhǔn)化API接口串聯(lián)主機-交換機-存儲，通過標(biāo)準(zhǔn)化梳理后，實現(xiàn)全流程自動化資源上線、擴容、回收、下線等常規(guī)運維場景，減少了大量的重復(fù)人工操作(自動化完成日常資源類操作占比已經(jīng)超97%，而且持續(xù)在提升中)。另外人為錯誤大幅度減少，近一年來未發(fā)生因變更導(dǎo)致的人為故障（原來隨著業(yè)務(wù)量增長需求變多經(jīng)常出現(xiàn)人為的配置錯誤，人為變更異常也是時有發(fā)生）；可根據(jù)業(yè)務(wù)窗口，定制時間段執(zhí)行相應(yīng)的資源分配，完成后自動將執(zhí)行結(jié)果通知資源需求部門。數(shù)據(jù)采集服務(wù)器，交換機，存儲各端所有數(shù)據(jù)從設(shè)備接口獲取，不依賴于任何excel表，并及時更新。操作：支持系統(tǒng)上線和擴容、回收、下線。操作流程

：說明：1）對上游工具的請求，不做任何數(shù)據(jù)層面的判斷，直接落庫。2）操作前先對請求的數(shù)據(jù)做檢查，如果檢查通過，則生成和前端提交的端到端操作一樣的單子，即存儲分配，掃盤。如果檢查失敗，會在單子中記錄失敗原因，這個時候需要人介入判斷是否支持手動操作。3）對于生成單子失敗的操作，如果不支持手動操作，則由管理員根據(jù)上游傳來的信息手動操作，操作完成后手動修改單子狀態(tài)，修改保存后會自動通知上游。4）對于生成單子失敗的操作，如果由于數(shù)據(jù)不一致（實例名有偏差），申請的量超過自動執(zhí)行的設(shè)置（2T）等原因?qū)е碌?，可以先檢查更新數(shù)據(jù)，然后再嘗試轉(zhuǎn)換成可執(zhí)行的端到端操作單子（強制執(zhí)行）。5）目前支持OVMNewCluster，和AddVolume，AddOSVolume等操作類型。6）手動操作記錄對應(yīng)的操作記錄：a)OVMNewCluster存儲分配，掃盤掛載b)AddVolume存儲分配，掃盤掛載，加ASMc)AddOSVolume存儲分配，掃盤掛載7）手動操作的單子狀態(tài)：a)Pending(等待轉(zhuǎn)換成可執(zhí)行單子)b)Queue(已經(jīng)轉(zhuǎn)換但還沒執(zhí)行結(jié)束)c)Waiting(轉(zhuǎn)換失敗，等待手動介入)d)Success(分配成功，并成功通知上游)e)Failed(應(yīng)上游要求取消操作，或者通知上游失敗，如果通知上游失敗，需要手動介入，編輯單子狀態(tài)，再次通知。所以理論上除了上游需要取消，不應(yīng)該出現(xiàn)Failed的情況。（2）基于DellEMC全閃存端到端NVMe能力和RoCE網(wǎng)絡(luò)的NOF+高性能解決方案方面，初步達到一定的利用參考價值，經(jīng)過前期的2輪針對16/32GBSAN環(huán)境下NOF+方案測試，了解到NVMe協(xié)議整個生態(tài)的發(fā)展方向，給我行后續(xù)向NOF+新型存儲應(yīng)用組網(wǎng)規(guī)劃，提供了寶貴參考。測試模型：存儲配置名稱描述數(shù)量存儲系統(tǒng)存儲系統(tǒng)EMCPowerMax8000(4引擎8控，單控512GBCache)1FC前端接口前端16GBFC接口4SSD盤7.68TBNvmeSSD硬盤86服務(wù)器測試工具

(3)支持?jǐn)?shù)據(jù)高壓縮比(達到3倍壓縮比以上)，相比非壓縮存儲，在性能無礙的前提下，節(jié)省了寶貴的機柜空間和減輕了本就緊張的機房用電力，同等空間使用效率大幅提高，間接節(jié)省了采購成本。（4）全鏈路自動化故障診斷及告警通過RestAPI收集主機-交換機-存儲等對象的相關(guān)數(shù)據(jù)，預(yù)先設(shè)定閥值及植入算法（詳細(xì)日志在右邊點擊展開顯示），在下圖中整體顯示全鏈路狀態(tài)，一旦有告警會通過紅-黃-灰三種顏色分等級(critical、warning、采數(shù)異常)直觀展示，便于快速定位故障。結(jié)合上層應(yīng)用實踐亮點：1、滿足業(yè)務(wù)超流控實施，但不影響業(yè)務(wù)體驗每逢來自前端入口業(yè)務(wù)異常增高的情況(比如各平臺集中活動等)，前端負(fù)責(zé)均衡會自動進行超流量控制，對超過設(shè)定閥值的流量進行排隊或負(fù)載均衡到另外數(shù)據(jù)中心，確保后端基礎(chǔ)架構(gòu)不被動受牽連，保證前端業(yè)務(wù)能訪問。2、滿足業(yè)務(wù)服務(wù)能力快速彈性切流擴容在上述緊急情況下(主節(jié)點中心已滿負(fù)荷)，按照提前配置規(guī)則，實現(xiàn)自動