數(shù)據(jù)中心基礎(chǔ)設(shè)施高可用提升研究與實踐

數(shù)據(jù)中心基礎(chǔ)設(shè)施高可用提升研究與實踐伴隨國家對金融安全的關(guān)注度不斷提高，數(shù)據(jù)中心基礎(chǔ)設(shè)施作為業(yè)務(wù)安全的關(guān)鍵節(jié)點，其高可用能力成為實現(xiàn)銀行業(yè)務(wù)連續(xù)性目標的核心關(guān)鍵因素。本文以數(shù)據(jù)中心基礎(chǔ)設(shè)施的網(wǎng)絡(luò)系統(tǒng)為例，結(jié)合網(wǎng)絡(luò)架構(gòu)和網(wǎng)絡(luò)運維能力的現(xiàn)狀，從技術(shù)架構(gòu)、運營能力兩個方面開展案例分析，總結(jié)提出系統(tǒng)分層級的高可用提升方法，并圍繞高可用技術(shù)、運營能力轉(zhuǎn)型實踐展開了分析說明。近年來，隨著國家對金融安全的關(guān)注度不斷提高，以及銀行業(yè)數(shù)字化轉(zhuǎn)型的持續(xù)深入，金融科技領(lǐng)域的業(yè)務(wù)連續(xù)性水平成為衡量銀行服務(wù)品牌競爭力與行業(yè)聲譽的一項重要指標。與此同時，數(shù)據(jù)中心基礎(chǔ)設(shè)施的高可用能力作為確保生產(chǎn)業(yè)務(wù)安全穩(wěn)定的重要支柱，不僅是商業(yè)銀行達成監(jiān)管要求的必備條件之一，而且對保障社會穩(wěn)定、控制金融風險也有著極為重要的現(xiàn)實意義。一、商業(yè)銀行數(shù)據(jù)中心可用性分析在信息科技領(lǐng)域，可用性主要指基于各類計算機設(shè)備的連接組合，使構(gòu)建的企業(yè)信息系統(tǒng)可以穩(wěn)定支撐業(yè)務(wù)連續(xù)運作，并在系統(tǒng)級的生命周期內(nèi)不發(fā)生影響業(yè)務(wù)辦理的故障。對于商業(yè)銀行而言，數(shù)據(jù)中心基礎(chǔ)設(shè)施本身是一套極為復(fù)雜的技術(shù)體系，綜合部署包括設(shè)備、網(wǎng)絡(luò)、服務(wù)器等在內(nèi)的各類資源，其可用性能力主要由各類基礎(chǔ)設(shè)施的系統(tǒng)可用性決定，并同時受到設(shè)備產(chǎn)品、架構(gòu)設(shè)計、運營能力等多種因素的影響。在量化評估方面，系統(tǒng)可用率的指標評價通常遵從業(yè)界常用的衡量方法，即從99%到99.999%俗稱“幾個9”的量化指標體系，數(shù)據(jù)中心可用性示例見表1。表1數(shù)據(jù)中心可用性示例當前，隨著商業(yè)銀行數(shù)字化轉(zhuǎn)型的不斷深入，各種新技術(shù)、新架構(gòu)持續(xù)迭代更新，并對轉(zhuǎn)型過程中的系統(tǒng)高可用能力帶來了極大挑戰(zhàn)。對此，商業(yè)銀行在進行高可用設(shè)計時不僅要對產(chǎn)品、技術(shù)、架構(gòu)等進行可用性評估，加強對新技術(shù)、新架構(gòu)的風險控制，還需要引入高效的自動化工具提供自主可控的運營服務(wù)，特別是強化出現(xiàn)生產(chǎn)故障時的應(yīng)急處置能力，減少和消除意外出現(xiàn)的生產(chǎn)故障中斷時間。尤其在運營能力方面，首先要打造一支思想統(tǒng)一、技能齊備的技術(shù)團隊，既能夠遵從安全第一的工作要求，具備嚴謹、審慎的合規(guī)意識，同時還需掌握專業(yè)技術(shù)、具備創(chuàng)新意識，能夠通過DevOps、SRE的方法打造適合自身使用的特色化工具。此外，運營能力建設(shè)離不開配套的自動化工具支持，以更好地滿足數(shù)據(jù)中心云化后的大規(guī)模運維需求以及數(shù)據(jù)中心高可用要求。二、數(shù)據(jù)中心基礎(chǔ)設(shè)施高可用提升方法及案例說明本文以數(shù)據(jù)中心基礎(chǔ)設(shè)施中的網(wǎng)絡(luò)系統(tǒng)為例，結(jié)合網(wǎng)絡(luò)架構(gòu)和網(wǎng)絡(luò)運維能力的現(xiàn)狀，從技術(shù)架構(gòu)、運營能力兩方面開展案例分析，總結(jié)提出系統(tǒng)分層級的高可用提升方法，并圍繞高可用技術(shù)、運營能力轉(zhuǎn)型實踐等展開了分析說明。1.基礎(chǔ)設(shè)施可用性提升網(wǎng)絡(luò)系統(tǒng)作為數(shù)據(jù)中心基礎(chǔ)設(shè)施的核心組件之一，其系統(tǒng)可用性內(nèi)容大致可劃分為設(shè)備級可用指標、功能級可用指標、區(qū)域級可用指標、園區(qū)級可用指標等四個層級，并依次自下而上構(gòu)成了數(shù)據(jù)中心的高可用能力之一(如圖1所示)。其中，網(wǎng)絡(luò)架構(gòu)高可用設(shè)計以增加網(wǎng)元、線路、節(jié)點、區(qū)域等結(jié)構(gòu)冗余度為核心思路，旨在使每一層均能夠充分應(yīng)用技術(shù)路線的可擴展能力，進而基于各層級的高可用能力建設(shè)，最終順利到達并具備業(yè)務(wù)可用層能力。在這一階段，業(yè)務(wù)連續(xù)性指標可達到99.999%的可用率，并作為核心能力之一，支持向用戶提供高價值的數(shù)字化產(chǎn)品和服務(wù)。圖1數(shù)據(jù)中心系統(tǒng)可用性分級設(shè)備級可用重點強調(diào)單臺網(wǎng)絡(luò)設(shè)備的產(chǎn)品級可用率及支持網(wǎng)絡(luò)單元(NU)的可用性。單設(shè)備可用性即網(wǎng)元層級可用性指標，起步按99.99%可用指標要求部署網(wǎng)元，落實產(chǎn)品技術(shù)和部件冗余的技術(shù)要求。同時，該層級可用能力還需關(guān)注設(shè)備的運行時長因素，設(shè)備可用性指標在超過5年以上時會逐年下降，需及時更新置換對應(yīng)節(jié)點的設(shè)備。舉例來說，核心環(huán)節(jié)交換機、路由器設(shè)備基于自身雙電源、多端口、雙引擎等硬件技術(shù)冗余，應(yīng)支持設(shè)備連續(xù)運行保持在年度99.999%及以上的可用率。功能級可用重點強調(diào)一個網(wǎng)絡(luò)區(qū)域內(nèi)多臺同等功能的網(wǎng)絡(luò)單元對外服務(wù)的可用率。功能節(jié)點可用性即核心節(jié)點層級的可用性指標，按照網(wǎng)絡(luò)技術(shù)發(fā)展的支持情況，擴展核心功能節(jié)點的網(wǎng)元設(shè)備群組可支持的冗余數(shù)量，如目前已有功能節(jié)點在技術(shù)上支持部署2臺以上設(shè)備，包括交換核心、互聯(lián)網(wǎng)接入、數(shù)據(jù)中心互聯(lián)等環(huán)境。舉例來說，基于技術(shù)產(chǎn)品的發(fā)展成熟度，生產(chǎn)網(wǎng)絡(luò)中的區(qū)域核心交換機按照雙機雙活搭建，交換核心、路由器等設(shè)備可按照2～4臺的數(shù)量搭建，互聯(lián)網(wǎng)接入渠道功能節(jié)點按照單園區(qū)6臺搭建，而上述措施均為通過架構(gòu)設(shè)計的冗余，旨在賦予設(shè)備在故障情況下的網(wǎng)絡(luò)功能節(jié)點高可用能力。區(qū)域級可用重點強調(diào)多臺網(wǎng)絡(luò)設(shè)備通過特定方式互接提供網(wǎng)絡(luò)連通服務(wù)的區(qū)域可用率。網(wǎng)絡(luò)區(qū)域可用性即單個網(wǎng)絡(luò)區(qū)的可用性指標，網(wǎng)絡(luò)區(qū)主要由不同網(wǎng)絡(luò)單元的功能節(jié)點互相連接而成，泛指提供服務(wù)器接入、訪問控制、路由轉(zhuǎn)發(fā)、負載均衡、存儲連接等多種網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)系統(tǒng)。從冗余設(shè)計的角度來看，“雞蛋不要放在一個籃子里”，因此需要對網(wǎng)絡(luò)區(qū)的部署規(guī)模進行控制，如數(shù)據(jù)中心可按照多個網(wǎng)絡(luò)區(qū)冗余進行架構(gòu)設(shè)計，以及將應(yīng)用分布到多個區(qū)域運行，以避免因單個網(wǎng)絡(luò)區(qū)異常產(chǎn)生全局影響。舉例來說，在數(shù)據(jù)中心規(guī)模持續(xù)增長的情況下，提供計算資源接入服務(wù)的網(wǎng)絡(luò)區(qū)域建設(shè)按照冗余架構(gòu)的設(shè)計考慮，可搭建2個以上的邏輯隔離區(qū)域，以支撐應(yīng)用單元化部署和計算資源的分布式部署，同時應(yīng)將云資源域規(guī)模限制在1000臺左右，并搭建2個以上的基礎(chǔ)服務(wù)功能相同的資源域。園區(qū)級可用重點強調(diào)數(shù)據(jù)中心不同網(wǎng)絡(luò)區(qū)組合支持大規(guī)模計算資源正常運轉(zhuǎn)服務(wù)的可用率。園區(qū)可用性即數(shù)據(jù)中心單個園區(qū)網(wǎng)絡(luò)的可用性指標，在該層級中，網(wǎng)絡(luò)的可用性能力取決于網(wǎng)絡(luò)架構(gòu)設(shè)計的耦合程度，以及區(qū)域間出現(xiàn)異常后的隔離能力。在園區(qū)級的網(wǎng)絡(luò)中，如果下一個層級出現(xiàn)的異常事件與多個網(wǎng)絡(luò)區(qū)存在耦合，則往往不能及時隔離影響，進而導(dǎo)致產(chǎn)生園區(qū)級的網(wǎng)絡(luò)可用性問題。舉例來說，網(wǎng)絡(luò)架構(gòu)可在多個園區(qū)間復(fù)制搭建，用以支撐數(shù)據(jù)中心多個園區(qū)的同等網(wǎng)絡(luò)服務(wù)支撐能力，并按松耦合結(jié)構(gòu)進行設(shè)計，保持多個園區(qū)間的互聯(lián)互通，以實現(xiàn)園區(qū)級網(wǎng)絡(luò)在異常情況下的高可用切換。2.運營能力提升路徑運營能力提升涉及ITIL流程中的變更、應(yīng)急等各個方面，其中針對變更實施、應(yīng)急實施的自動化工具是保持可用率的核心關(guān)鍵，而不同生產(chǎn)運維能力上限對應(yīng)的可用率指標大致可分為人工級、自動級、智能級等三個層級。人工級是指通過預(yù)設(shè)操作命令，手工實施部署。該層級可用率在資源充分投入的情況下，一般可以支持3個9到4個9的專業(yè)系統(tǒng)可用率。例如，在運維操作全生命周期的管理和技術(shù)流程中，大量生產(chǎn)維護工作均由人工處理，當出現(xiàn)影響業(yè)務(wù)的重大故障時，問題的定位效率較低，應(yīng)急處置時間多數(shù)超過30分鐘，且部分情況下或?qū)㈤L達1～2個小時。自動級是指通過工具實現(xiàn)自動化操作、人工按鍵式處理或告警觸發(fā)式處理。該層級可用率在資源充分投入的情況下，可以支持4個9以上的專業(yè)線系統(tǒng)可用率。例如，生產(chǎn)運營中的標準運維操作大多通過自動化工具完成，包括管理流程、技術(shù)操作、日常運維等內(nèi)容，當出現(xiàn)影響業(yè)務(wù)故障時，即可通過一鍵式應(yīng)急自動化工具進行隔離、切換等應(yīng)急操作，從而將業(yè)務(wù)影響時間控制在30分鐘之內(nèi)。智能級是指通過引入AI弱智能技術(shù)，預(yù)防式發(fā)現(xiàn)隱患，并在發(fā)生故障時工具自主開展全鏈條自愈恢復(fù)。該層級可用率在資源充分投入和技術(shù)發(fā)展成熟后，可以支持5個9以上的專業(yè)系統(tǒng)可用率。例如，在生產(chǎn)運營的運維工作中，在標準操作被自動化完成后，針對非標準運維操作，則可以基于智能化工具開展預(yù)防性監(jiān)測，進而在故障隱患影響到業(yè)務(wù)前，執(zhí)行有效預(yù)判并開展計劃性維護，提前解決影響業(yè)務(wù)運行的問題。三、未來展望綜上，數(shù)據(jù)中心可用率在以一年為周期統(tǒng)計的高可用模式下，其可用率指標應(yīng)保持在99.99%以上，而最終目標是提升至99.999%的世界一流水平，全年網(wǎng)絡(luò)宕機時間控制在5.4分鐘以內(nèi)。然而，上述指標對當前信息系