NetApp MCC解決方案 NetAppNetApp MCC解決方案 NetApp

TableofContents1 用戶需求分析 41.1 背景概述 41.2 客戶需求 42 方案設(shè)計原則 53 本項目實施的重點 74 NETAPP存儲系統(tǒng)特點 85 整體架構(gòu)設(shè)計 96 NetAppMCC方案描述 106.1 NetApp雙活數(shù)據(jù)中心設(shè)計方案 106.2 第一階段，建立雙活數(shù)據(jù)中心 116.2.1 數(shù)據(jù)中心雙活架構(gòu)可行性分析 116.2.2 風(fēng)險和影響分析 156.2.3 雙活建設(shè)方案 166.3 第二階段規(guī)劃，完善異地容災(zāi)，實現(xiàn)完整的“兩地三中心”架構(gòu) 186.3.1 容災(zāi)驗證和演練 196.4 第三階段，利用存儲集成數(shù)據(jù)保護機制完善數(shù)據(jù)保護機制 206.4.1 邏輯故障防范–秒級備份和恢復(fù) 216.4.2 D2D備份設(shè)計規(guī)劃 227 MCC方案布線連接示意圖 248 NetApp的雙活數(shù)據(jù)中心架構(gòu)技術(shù)優(yōu)勢 248.1 NetApp雙活數(shù)據(jù)中心架構(gòu)在中國金融行業(yè)的部分成功案例 268.2 同城容災(zāi)系統(tǒng)與雙活數(shù)據(jù)中心架構(gòu)的比較 318.3 雙活數(shù)據(jù)中心架構(gòu)的優(yōu)勢和設(shè)計思路 328.4 主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心 338.5 雙活數(shù)據(jù)中心架構(gòu)實現(xiàn)方式比較 349 存儲虛擬化平臺技術(shù)方案 359.1 雙活存儲虛擬化平臺設(shè)計方案 359.2 雙活存儲虛擬化平臺故障切換場景 379.2.1 NetApp存儲雙活站點故障切換場景1 379.2.2 NetApp存儲雙活站點故障切換場景2 389.2.3 NetApp存儲雙活站點故障切換場景3 399.2.4 NetApp存儲雙活站點故障切換場景4 409.2.5 仲裁站點設(shè)計方案及實現(xiàn)方式、功能說明 409.2.6 雙活數(shù)據(jù)中心的擴容升級 4110 NetApp一體化平臺面向私有云架構(gòu)的優(yōu)化管理 4211 MCC架構(gòu)與VMware虛擬化平臺的結(jié)合 4411.1 NetApp一體化平臺與服務(wù)器虛擬化的整合 4411.2 虛擬化環(huán)境中的性能提速技術(shù) 4511.3 虛擬化環(huán)境中的數(shù)據(jù)保護和災(zāi)備 4711.4 NetAppFAS和VMware的深度集成 4811.5 VSC存儲管理插件 4911.6 NFSPlug-in插件 4911.7 SRA插件 5011.8 VAAI插件 5011.9 VASA插件 5011.10 內(nèi)置消重功能，降本增效 5011.11 vSphereHA實現(xiàn)的VM自動切換 5211.12 vSphereDRS組雙活架構(gòu)設(shè)計原則 5211.13 VMwarevSphereHAforNetAppMetroCluster 5311.14 VM失效場景 5411.15 ESXihost失效 5411.16 ESXihost失聯(lián) 5611.17 磁盤擴展柜整盤柜故障 5711.18 控制器節(jié)點故障 5811.19 站點間心跳網(wǎng)絡(luò)失聯(lián) 5811.20 站點完全失效 6112 MCC架構(gòu)與OracleRAC結(jié)構(gòu)的結(jié)合 6112.1 架構(gòu)對Oracle故障及災(zāi)難場景應(yīng)對 6112.2 Oraclenode單節(jié)點故障 6212.3 OraclehostHBA失效 6312.4 aggregate單個磁盤失效 6312.5 diskshelf磁盤柜失效 6412.6 MetroClustercluster控制器故障 6412.7 MetroClustercluster后臺FC交換機故障 6512.8 ISL心跳級聯(lián)線故障 6512.9 siteAtositeB主動站點級切換 6612.10 siteAtositeB被動站點級切換 6613 NetApp一體化存儲平臺在石油行業(yè)的廣泛應(yīng)用 6714 NetAppNAS系統(tǒng)在石油行業(yè)勘探開發(fā)領(lǐng)域的優(yōu)勢 6715 NetApp一體化平臺在國內(nèi)勘探開發(fā)領(lǐng)域應(yīng)用案列 6916 NetApp存儲資源池的劃分方案 7016.1 NetApp存儲目標(biāo)架構(gòu) 7016.2 存儲架構(gòu)的分層設(shè)計 7216.2.1 與前端高端存儲的接口設(shè)計 7216.2.2 存儲交換網(wǎng)絡(luò)設(shè)計 7217 存儲資源池的數(shù)據(jù)安全與隔離方案 7617.1 數(shù)據(jù)安全設(shè)計 7617.1.1 RAIDDP 7617.1.2 本地Snapshot 7717.2 數(shù)據(jù)隔離設(shè)計 7717.2.1 應(yīng)用數(shù)據(jù)的邏輯隔離 7717.2.2 網(wǎng)絡(luò)隔離 7817.2.3 存儲數(shù)據(jù)卷隔離 7818 存儲資源池的監(jiān)控與管理 7918.1 NetAppOnCommand監(jiān)控工具 7918.2 存儲產(chǎn)品監(jiān)控方法 8118.2.1 容量管理 8118.2.2 性能管理 8118.2.3 狀態(tài)管理 8218.3 存儲資源池內(nèi)部和跨存儲資源池的數(shù)據(jù)遷移方案 8318.3.1 資源池內(nèi)部數(shù)據(jù)遷移設(shè)計 8318.3.2 跨資源池的數(shù)據(jù)遷移設(shè)計 8318.4 資源調(diào)度和調(diào)整自動化方案 8418.4.1 存儲資源調(diào)度功能設(shè)計 8418.4.2 存儲資源池管理流程 8518.4.3 存儲自動化腳本編寫 8718.5 存儲配置標(biāo)準(zhǔn)化設(shè)計 88用戶需求分析背景概述華北油田是中國石油天然氣股份有限公司華北油田分公司的簡稱，主要從事石油天然氣勘探和生產(chǎn)、石油天然氣儲運、石油天然氣勘探開發(fā)工藝研究及規(guī)劃研究等石油勘探開發(fā)核心業(yè)務(wù)。目前華北油田勘探開發(fā)研究院平穩(wěn)運行兩部分私有云平臺，分別為企業(yè)IT信息化應(yīng)用平臺私有云和高性能計算地質(zhì)云，兩個云平臺彼此物理分離，獨立運營維護，分別滿足勘探開發(fā)采集數(shù)據(jù)的存儲，高性能計算和企業(yè)門戶，管理平臺，數(shù)據(jù)庫及OA等業(yè)務(wù)系統(tǒng)?？蛻粜枨竽壳靶枰槍ζ髽I(yè)IT信息應(yīng)用平臺私有云進行升級改造，建立滿足企業(yè)未來發(fā)展需要的IT基礎(chǔ)架構(gòu)平臺，建立IT基礎(chǔ)架構(gòu)資源池，提供滿足各種服務(wù)響應(yīng)級別要求的IT資源服務(wù)。企業(yè)私有云的存儲平臺作為整個IT基礎(chǔ)架構(gòu)的最底層基礎(chǔ)平臺，將決定整個IT基礎(chǔ)架構(gòu)私有云平臺的可靠性、可用性和資源使用效率。存儲平臺作為企業(yè)私有云共享基礎(chǔ)架構(gòu)平臺，需要滿足為前端各種類型的應(yīng)用平臺提供數(shù)據(jù)共享存儲服務(wù)，存儲平臺的可靠性和可用性直接影響到私用云平臺的可靠性和可用性，目前最可靠的容錯和容災(zāi)架構(gòu)就是能夠達到RPO=0，RTO≈0的數(shù)據(jù)中心雙活基礎(chǔ)架構(gòu)。建立數(shù)據(jù)中心雙活基礎(chǔ)架構(gòu)可實現(xiàn)業(yè)務(wù)連續(xù)性的量化指標(biāo)如下：情景解決方案業(yè)務(wù)系統(tǒng)運行情況單一組件故障全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲故障雙活數(shù)據(jù)中心RPO=RTO=0，零影響數(shù)據(jù)中心癱瘓雙活數(shù)據(jù)中心RPO=RTO=0，零影響生產(chǎn)數(shù)據(jù)邏輯故障快照結(jié)合日志恢復(fù)RPO~0（恢復(fù)到出現(xiàn)故障前）RTO<30分鐘區(qū)域性災(zāi)難異地災(zāi)備系統(tǒng)RPO<5分鐘，RTO<60分鐘存儲平臺作為企業(yè)私有云共享基礎(chǔ)架構(gòu)平臺，前端各種類型的應(yīng)用平臺所需的數(shù)據(jù)類型和訪問模式也不盡相同，既有需要滿足高并發(fā)、高IOPS的結(jié)構(gòu)化數(shù)據(jù)塊型應(yīng)用類型，如Oracle數(shù)據(jù)庫，又有滿足高并發(fā)、共享訪問、協(xié)同工作需求的NAS文件類應(yīng)用需求，如大部分的非結(jié)構(gòu)化文件系統(tǒng)類的數(shù)據(jù)訪問需求。特別是面向VMware虛擬化平臺，由于VMware虛擬化平臺的特殊架構(gòu)，既有數(shù)據(jù)塊類型的訪問需求，又有大量的NAS文件系統(tǒng)類型的訪問需求，所以存儲平臺必需是采用一體化架構(gòu)的基礎(chǔ)平臺，可以提供各種類型的最新一代高速訪問接口，如16GbpsFC接口，10GbpsIP接口或FCoE接口，同時提供FCSAN、IPSAN、NAS等多種存儲連接能力，可以根據(jù)應(yīng)用平臺需求，按需提供各種服務(wù)響應(yīng)級別的存儲服務(wù)，最大化資源共享和資源復(fù)用能力，最大化IT基礎(chǔ)架構(gòu)的使用效率。同時雙活基礎(chǔ)架構(gòu)平臺也需要同時滿足一體化平臺的雙活能力，既能夠提供SAN類型數(shù)據(jù)的雙活，也同時能提供NAS類型數(shù)據(jù)的雙活架構(gòu)。方案設(shè)計原則整體方案設(shè)計將遵循以下基本原則：先進性：先進的設(shè)計思想、網(wǎng)絡(luò)結(jié)構(gòu)、開發(fā)工具，市場覆蓋率高、標(biāo)準(zhǔn)化和技術(shù)成熟的軟硬件產(chǎn)品。靈活性：由于存儲系統(tǒng)的數(shù)據(jù)量非常大，如何與VMware虛擬化結(jié)合，管理大量的數(shù)據(jù)，包括數(shù)據(jù)備份/恢復(fù)，都對存儲系統(tǒng)的管理提出了巨大的挑戰(zhàn)。系統(tǒng)管理人員需要有高效的方法實現(xiàn)全面的存儲系統(tǒng)監(jiān)控，包括實時數(shù)據(jù)性能監(jiān)視、錯誤監(jiān)測、錯誤狀態(tài)識別等等。另外作為集中的存儲平臺，由于前端需要連接的服務(wù)器數(shù)量很多，如何在多個服務(wù)器平臺之間對容量進行靈活的劃分和調(diào)度也將為存儲系統(tǒng)的管理提出了巨大的挑戰(zhàn)。采用積木式模塊組合和結(jié)構(gòu)化設(shè)計，系統(tǒng)配置靈活，滿足用戶逐步到位的建設(shè)原則，使存儲及網(wǎng)絡(luò)具有強大的可增長性和強壯性?？煽啃裕罕敬未鎯ο到y(tǒng)數(shù)據(jù)的集中管理，屬于關(guān)鍵業(yè)務(wù)，對系統(tǒng)的高可靠性有著很高的要求。由于采用了集中存儲方案，存儲平臺的任何故障均會造成巨大的影響。因此存儲平臺的數(shù)據(jù)安全性和系統(tǒng)高可靠性尤為重要，我們設(shè)計的整體系統(tǒng)軟、硬件設(shè)備具有高可靠性，具備長期穩(wěn)定工作的能力，可實現(xiàn)系統(tǒng)冗余功能，并具有防止誤操作等行為對系統(tǒng)造成的破壞。實用性：方案設(shè)計符合國際相關(guān)標(biāo)準(zhǔn)和技術(shù)規(guī)范，并且容易使用、操作簡便。充分考慮利用各種資源，人機界面友好，能使用戶最方便地實現(xiàn)各種功能。高性能：存儲系統(tǒng)要存儲大量的在線/離線數(shù)據(jù)信息,支持更多服務(wù)器的數(shù)據(jù)存儲要求。由于總的數(shù)據(jù)量較大,如何在大數(shù)據(jù)量情況下滿足多客戶機的并發(fā)訪問，整個存儲系統(tǒng)的性能也是一個非常關(guān)鍵的要求。發(fā)展性：考慮到將來業(yè)務(wù)的增長，數(shù)據(jù)量還會持續(xù)增加，客戶機的數(shù)量也會繼續(xù)增加，系統(tǒng)的性能還應(yīng)能很好的適應(yīng)未來的擴展需要。存儲系統(tǒng)規(guī)劃設(shè)計滿足用戶發(fā)展在配置上的預(yù)留，滿足因技術(shù)發(fā)展需要而實現(xiàn)低成本擴展和升級的需求。擴展性：作為集中存儲的基本要求，存儲系統(tǒng)應(yīng)能支持巨大的存儲容量，可以集中存儲不同平臺的應(yīng)用數(shù)據(jù)。隨著時間的推移、技術(shù)的發(fā)展以及環(huán)境的變化，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量會飛速增長，許多新業(yè)務(wù)系統(tǒng)會不斷產(chǎn)生，因此對存儲系統(tǒng)的可擴展性有很高要求。這主要表現(xiàn)在對存儲系統(tǒng)容量的平滑擴充以及對新的主機系統(tǒng)的平滑連接，以盡量減少對已有正常業(yè)務(wù)的影響。我們設(shè)計的系統(tǒng)具有開放的、可擴展的系統(tǒng)架構(gòu)，在中石油相關(guān)業(yè)務(wù)發(fā)生變化時，可以方便地進行系統(tǒng)升級與擴展。兼容性：同時連接不同的服務(wù)器平臺，以滿足數(shù)據(jù)集中存儲的需要系統(tǒng)建設(shè)具有良好的兼容性，充分考慮系統(tǒng)向下、向上的兼容，將系統(tǒng)建設(shè)和現(xiàn)有的系統(tǒng)資源以及未來的系統(tǒng)規(guī)劃充分結(jié)合。本項目實施的重點從云計算的定義出發(fā)，借鑒業(yè)內(nèi)的云計算項目的經(jīng)驗，我們認為，要成功設(shè)計并實施云存儲系統(tǒng)，必須考慮如下要點：存儲能夠靈活地擴展性。存儲平臺云化后應(yīng)該類似于對虛擬服務(wù)器做的事情，需要能夠迅速且以最少的開銷分配、增加、減少并重新分配存儲。而在中石油架構(gòu)中，由于NetApp存儲需要通過高端存儲網(wǎng)關(guān)向主機提供容量空間。存儲的擴容、監(jiān)控、調(diào)整等帶來的天然的復(fù)雜性，如何處理存儲的日常調(diào)整是項目設(shè)計與實施中需要重點考慮的內(nèi)容。能夠自動化存儲管理流程。進行配置、備份和復(fù)制等常規(guī)操作的自動化程度越高，環(huán)境的可擴展性就越強。能夠測量和匯報使用情況。為了實施云服務(wù)，必須將資源理解為滿足各部門和各業(yè)務(wù)系統(tǒng)服務(wù)需求的一個要素，能夠匯報該要素實際的使用情況，并且現(xiàn)在或?qū)砟軌虬凑召Y源的使用情況進行審計。能夠自由移動數(shù)據(jù)。如果數(shù)據(jù)束縛在缺乏靈活性的存儲里，有效性和可用性將變差。能夠在確保資源足夠安全的時候建立多租戶，達到安全隔離要求。允許多個業(yè)務(wù)單元或獨立應(yīng)用系統(tǒng)分享同一存儲硬件是有效云存儲的一個必要條件。能夠提升存儲效率。第一步是提高利用率，除此之外，削減開銷、自動精簡配置和消除冗余都有助于提高效率。能夠有效保護業(yè)務(wù)數(shù)據(jù)。成功實現(xiàn)云的一個關(guān)鍵是集成所有的流程，讓它們變得簡單、可重復(fù)和有效。具有合適的策略級別、覆蓋所提供的每項服務(wù)的一致數(shù)據(jù)保護和災(zāi)難恢復(fù)流程是基本的。存儲環(huán)境支持存儲虛擬化。存儲虛擬化將是云架構(gòu)的一個關(guān)鍵組成部分，需要存儲與現(xiàn)在正在使用和將來很可能采用的任何虛擬化解決方案緊密集成在一起。NETAPP存儲系統(tǒng)特點統(tǒng)一存儲平臺，一體化設(shè)備，同時支持FCSAN、IPSAN、NAS、FCoE，F(xiàn)CSAN和NAS在同一個管理界面下進行管理，存儲空間管理方式完全相同，管理簡便，可靠性高，易于維護。NetApp一體化存儲平臺集成存儲虛擬化和存儲雙活解決方案，無需任何外置的控制器，與VMware與OracleRAC架構(gòu)的緊密結(jié)合，提供應(yīng)用級雙活解決方案，全球有超過8000個雙活結(jié)構(gòu)案例，廣泛應(yīng)用于金融行業(yè)的核心業(yè)務(wù)系統(tǒng)及制造行業(yè)的ERP系統(tǒng)。NetApp存儲產(chǎn)品完全模塊化設(shè)計，產(chǎn)品包括從底端6塊磁盤到最高端4800塊磁盤，擴容和升級簡便，產(chǎn)品延續(xù)性好，管理方式也完全相同，具有良好的擴展，易于保護投資。NetApp存儲產(chǎn)品全部采用RAID6磁盤容錯技術(shù)，數(shù)據(jù)保護級別最高，容錯能力最強，磁盤利用率遠遠高于RAID0+1，產(chǎn)品性價比好。NetApp存儲產(chǎn)品提供副本消除技術(shù)，節(jié)省存儲空間的耗費，最大可以比同類產(chǎn)品節(jié)省30-50%的存儲空間耗費。NetApp存儲產(chǎn)品可以提供一整套完善的存儲集成數(shù)據(jù)備份和容災(zāi)解決方案，解決數(shù)據(jù)管理的所有問題。NetApp存儲產(chǎn)品具有同類產(chǎn)品的最優(yōu)性能，包括FCSAN性能和NAS性能，以及IPSAN性能。NetApp存儲產(chǎn)品同時支持SSD、SAS磁盤和SATA磁盤，可以達到性能、空間以及電力耗費的最優(yōu)配比。配置復(fù)制備份軟件、應(yīng)用程序管理套件解決數(shù)據(jù)備份、應(yīng)用程序數(shù)據(jù)備份恢復(fù)。NetApp存儲產(chǎn)品結(jié)構(gòu)最簡單，對于中石油項目涉及的控制器數(shù)目最少，需要的管理平臺也最少，對電力和空間的耗費最小。容量擴展簡單命令、一秒鐘即時見效，獨到的Qtree概念方便空間的管理，同時真正實現(xiàn)“所買即所需”的升級模式，最大程度保護投資，不存在任何重復(fù)購買現(xiàn)象。最優(yōu)的整體擁有成本（TCO）。集群架構(gòu)，徹底避免單點故障。數(shù)據(jù)大集中，有效利用存儲空間，磁盤利用率最高。存儲設(shè)備有業(yè)界領(lǐng)先的快速響應(yīng)時間（NetApp是業(yè)界第一個提供低于1ms響應(yīng)時間的存儲廠商）。專業(yè)DataONTAP操作系統(tǒng)，高度可靠，免于病毒侵襲感染。秒鐘級的備份和恢復(fù)，減少宕機時間，充分提高數(shù)據(jù)和系統(tǒng)的可用性。Unix和Windows可以實現(xiàn)真正文件級的數(shù)據(jù)共享，節(jié)約投資、簡化管理；整體架構(gòu)設(shè)計本次項目配置2套NetAppFAS8060一體化存儲系統(tǒng)平臺構(gòu)成雙活體系架構(gòu)，NetAppFAS8060一體化雙活架構(gòu)，含4個控制器節(jié)點，每節(jié)點64GB緩存，合計256GB緩存，配置無容量限制存儲虛擬化許可FlexArray，支持連接第三方存儲設(shè)備，合計配置32個16GbpsFC端口，配置雙活架構(gòu)光纖連接設(shè)備，含4套Brocade6505交換機，4個ATTOSAS-FC橋接器，配置336塊1.2TB10krpmSAS磁盤NetAppMCC方案描述NetApp雙活數(shù)據(jù)中心設(shè)計方案統(tǒng)拓撲示意圖如下：第一階段，建立雙活數(shù)據(jù)中心前面已經(jīng)討論過，雙活數(shù)據(jù)中心是當(dāng)前成熟的部署方式，相對于傳統(tǒng)主備容災(zāi)，有很多優(yōu)點。但首先需要分析的是，雙活數(shù)據(jù)中心如何落地？數(shù)據(jù)中心雙活架構(gòu)可行性分析完整的雙活數(shù)據(jù)中心需要以下幾個層面的支持：雙活的存儲架構(gòu)。支持一個數(shù)據(jù)庫實例在兩個數(shù)據(jù)中心之間互為鏡像，任一損壞都不會影響應(yīng)用運行。跨數(shù)據(jù)中心的存儲網(wǎng)絡(luò)互連（ExtendedFabric），Oracle官方建議RAC之間的鏈路延遲低于1ms（Round-Trip）?？鐢?shù)據(jù)中心的主機高可用跨數(shù)據(jù)中心的應(yīng)用雙活跨數(shù)據(jù)中心的應(yīng)用網(wǎng)絡(luò)互連，要求延遲低于1ms（同樣是OracleRAC的要求）因此，首先需要確認可以獲得低延遲的裸光纖鏈路，用于存儲的最低要求是4對裸光纖：用途連接設(shè)備光纖(對)服務(wù)器到存儲原有SAN交換機互聯(lián)2雙活存儲互聯(lián)(心跳)MC內(nèi)部SAN交換機互聯(lián)4（建議）主機高可用方面，無論是IBMPowerHA、HPServiceGuard、MSCS、VCS等都支持長距離的高可用集群。因此這個條件也是具備的。應(yīng)用方面，主要應(yīng)用是OracleRAC。OracleRAC在這種遠距離距離的實施，早在2006年就有大量的安裝案例了?？蓞⒖糘racle白皮書《OracleRealApplicationClustersonExtendedDistanceClusters–UpdatedforOracleRAC10gRelease2》，發(fā)布日期是2006年10月。OracleRAC在NetAppMetroCluster上的應(yīng)用是非常成熟和可靠的，早在2008年，Oracle官網(wǎng)就介紹了RAC和NetAppMetroCluster的案例，見：/us/solutions/custstory-rac-gottwald-177716.pdf下圖描述了OracleRACExtendedCluster基于NetAppMetroCluster技術(shù)上的實現(xiàn)(兩地三中心)：值得指出的是，當(dāng)前其他應(yīng)用平臺都能夠支持雙活技術(shù)了，如DB2、vSphere等。VMware的白皮書“VMwarevSphereMetroStorageClusterCaseStudy”就以NetAppMetroCluster為例，闡述了VMware如何實現(xiàn)雙活數(shù)據(jù)中心。

綜上所述，現(xiàn)有生產(chǎn)環(huán)境升級到雙活數(shù)據(jù)中心完全是可行的。升級之后，同一個應(yīng)用可以同時跑在兩個數(shù)據(jù)中心，兩個數(shù)據(jù)中心對客戶端提供統(tǒng)一的接入接口?？梢赃@樣講，邏輯上的一個應(yīng)用，物理上分布到兩個數(shù)據(jù)中心，均衡負載，互為備份。發(fā)生任一單點故障，均不會影響應(yīng)用運行。請參見下圖：風(fēng)險和影響分析由于雙活數(shù)據(jù)中心的各個組成方面，或者是已經(jīng)具備條件，或者采用成熟解決方案，如果實施計劃周密，風(fēng)險完全可控。兩個數(shù)據(jù)中心之間采用可采用運營商裸光纖，同時也可利用xWDM設(shè)備實現(xiàn)線路復(fù)用（南充商行將部署DWDM設(shè)備），滿足雙活的基本要求。如有將來有條件，可考慮增加不同的運營商或者物理路徑，從而實現(xiàn)鏈路的物理冗余。另外一個需要考慮的因素是長距離OracleRAC的性能是否會降低。根據(jù)Oracle官方文檔的評估，在20KM距離下，OracleRAC在兩個數(shù)據(jù)中心上運行的性能，比所有設(shè)備在同一數(shù)據(jù)中心運行的性能，性能低了不到5%：雙活建設(shè)方案存儲方案建議選擇NetAppFAS8060統(tǒng)一存儲設(shè)備作為核心應(yīng)用持續(xù)高可用存儲。核心應(yīng)用存儲由兩套FAS8060統(tǒng)一存儲構(gòu)成，兩套FAS8060之間通過同城DWDM光纖連接，采用光纖鏈路實現(xiàn)互相的心跳檢測及數(shù)據(jù)傳輸，存儲系統(tǒng)采用物理磁盤組成兩份物理鏡像通過SyncMirror軟件實現(xiàn)磁盤數(shù)據(jù)同步，利用MetroCluster技術(shù)實現(xiàn)存儲遠程雙活集群。借助第三地的Tiebreaker仲裁節(jié)點，可以有效地防范雙活架構(gòu)中的“腦裂”（SplitBrain）現(xiàn)象，并實現(xiàn)自動化的故障恢復(fù)。

NetAppFAS8060磁盤陣列作為是NetApp公司的最新一代的統(tǒng)一存儲架構(gòu)的磁盤陣列產(chǎn)品，能夠為用戶提供高性能、大容量存儲系統(tǒng)。NetAppFAS8060不論從性能、可靠性和擴展能力都可以滿足用戶對當(dāng)前和未來的數(shù)據(jù)存儲系統(tǒng)的要求。FAS8060是一款中高端的企業(yè)級存儲設(shè)備，SAN平臺下最大支持8個控制器、512GB一級緩存和32TB二級緩存，最大容量為4800塊磁盤、11.5PB，可以支持最多96個16Gb光纖通道口。云平臺數(shù)據(jù)庫類型應(yīng)用數(shù)據(jù)基本上為結(jié)構(gòu)化數(shù)據(jù)，可以考慮采用高性能、低延遲的FCSAN網(wǎng)絡(luò)部署。每個數(shù)據(jù)數(shù)據(jù)中心需部署兩臺SAN交換機，形成冗余的存儲網(wǎng)絡(luò)。云平臺文件類非結(jié)構(gòu)化數(shù)據(jù)，可以采用NAS方式進行部署，網(wǎng)絡(luò)為IP網(wǎng)絡(luò)，同樣需要建立冗余的訪問路徑。對于虛擬化平臺，可選擇部署在NAS的大文件系統(tǒng)上，通過NFS協(xié)議訪問，非常有利于管理和擴展，也可選擇FCSAN方式，利用其高性能、低時延的特點?？偨Y(jié)起來，本階段雙活數(shù)據(jù)中心達到的目標(biāo)是：針對各類物理故障可實現(xiàn)零數(shù)據(jù)丟失和零應(yīng)用影響。所需要具備的條件和設(shè)備如下：6對裸光纖鏈路（其中4對用于存儲互聯(lián)，2對用于主機端SAN網(wǎng)絡(luò)互聯(lián)）。對稱部署的NetAppFAS8060雙活存儲NetAppTiebreaker軟件NetApp專業(yè)實施服務(wù)第二階段規(guī)劃，完善異地容災(zāi)，實現(xiàn)完整的“兩地三中心”架構(gòu)第一階段云平臺雙活數(shù)據(jù)中心完成后，可總結(jié)第一階段的經(jīng)驗，并著手第二階段的規(guī)劃實施。在異地災(zāi)備中心，可以利用一臺NetAppFAS8000，虛擬化利舊的EMC存儲，與生產(chǎn)中心的FAS8060MetroCluster雙活存儲實現(xiàn)遠程容災(zāi)復(fù)制。采用的復(fù)制技術(shù)是FAS8000內(nèi)置的SnapMirror遠程容災(zāi)功能，可直接支持IP鏈路，支持鏈路壓縮。SnapMirror允許客戶選擇適當(dāng)?shù)耐郊墑e（同步、半同步和異步），從而實現(xiàn)了較高的災(zāi)難恢復(fù)保護級別。其中異步模式復(fù)制間隔最低為1分鐘。SnapMirror支持數(shù)據(jù)的增量反向遠程復(fù)制：在正常情況下，業(yè)務(wù)數(shù)據(jù)從主磁盤陣列復(fù)制到容災(zāi)磁盤陣列上。在主磁盤陣列發(fā)生故障無法正常運行的時候，前端主機可以直接訪問容災(zāi)磁盤陣列上的數(shù)據(jù)，當(dāng)主磁盤陣列恢復(fù)正常運行的時候，這時可以利用SnapMirror增量反向遠程復(fù)制功能以增量的方式把容災(zāi)磁盤陣列上那些變化的數(shù)據(jù)復(fù)制到主磁盤陣列上，大大縮短了系統(tǒng)恢復(fù)到原有狀態(tài)所需的時間，使得兩邊的數(shù)據(jù)再次保持一致，然后就可以恢復(fù)SnapMirror的正常數(shù)據(jù)復(fù)制。服務(wù)器方面，可利舊原有服務(wù)器，應(yīng)用級容災(zāi)。雙活系統(tǒng)所需的Tiebreaker，可部署在容災(zāi)中心。容災(zāi)驗證和演練容災(zāi)數(shù)據(jù)的驗證和測試，以及定期的容災(zāi)演練，是容災(zāi)系統(tǒng)建設(shè)不可缺少的部分。通過容災(zāi)數(shù)據(jù)的驗證測試，以確保容災(zāi)中心的數(shù)據(jù)完整性和可用性；而定期的容災(zāi)演練，有利于讓維護人員熟悉容災(zāi)流程，完善應(yīng)急預(yù)案。使用NetApp獨有的精簡克隆技術(shù)，可利用任一快照，秒級生成克隆，極低空間占用。利用這些克隆可方便地進行容災(zāi)系統(tǒng)中必須定期完成的容災(zāi)演練、數(shù)據(jù)驗證。請參見下圖：第三階段，利用存儲集成數(shù)據(jù)保護機制完善數(shù)據(jù)保護機制隨著數(shù)據(jù)量的增加，同時希望故障后對業(yè)務(wù)的影響降到最低，因此有必要建立多重數(shù)據(jù)保護機制。前面提到，對于邏輯故障，現(xiàn)有解決方案是采用傳統(tǒng)備份軟件。但是在恢復(fù)速度上滿足不了新的要求。解決辦法是：使用雙活存儲設(shè)備自身的快照備份功能，實現(xiàn)秒級數(shù)據(jù)備份和恢復(fù)優(yōu)化原有備份方式，例如采用D2D2T的備份方案，備份和恢復(fù)速度上得到一定的提升，同時也可以保留離線歸檔備份。未來災(zāi)備存儲也需要建立快照歷史備份，有效應(yīng)對邏輯故障傳遞建設(shè)完成之后，可以達到的效果是：恢復(fù)最近的數(shù)據(jù)，可利用雙活存儲自身的快照備份，秒級數(shù)據(jù)恢復(fù)，分鐘級恢復(fù)應(yīng)用恢復(fù)較長時間前的數(shù)據(jù)，從近線存儲（可考慮未來部署一套）恢復(fù)，可實現(xiàn)分鐘級的數(shù)據(jù)恢復(fù)邏輯故障防范–秒級備份和恢復(fù)NetAppFAS8000內(nèi)置快照功能，提供秒級備份和恢復(fù)功能，有效防范邏輯故障(海量文件、數(shù)據(jù)庫和虛擬機的最有效備份恢復(fù)方式)利用NetApp卓越的快照技術(shù)，對Oracle、DB2、SQLServer以及海量文件系統(tǒng)進行數(shù)據(jù)一致性的秒級快照備份。備份窗口從原來的幾個小時縮短為1~2分鐘，僅僅為數(shù)據(jù)進入熱備模式時間+1秒。對于同一個數(shù)據(jù)庫，NetApp支持多達255個時間點的歷史備份。如數(shù)據(jù)庫（Oracle、DB2、SQLServer）或文件系統(tǒng)發(fā)生邏輯數(shù)據(jù)錯誤，可使用SnapRestore進行快速的恢復(fù)。數(shù)據(jù)恢復(fù)時間為數(shù)秒，再加上日志重做的時間，應(yīng)用恢復(fù)可控制在十幾分鐘至數(shù)十分鐘內(nèi)，遠低于其他方案的數(shù)個小時。虛擬化平臺（如VMware）下，因為備份窗口過長,傳統(tǒng)的備份技術(shù)更加難以適應(yīng)。而NetApp的快照技術(shù)，不但可以通過秒級備份和恢復(fù)解決這一問題，而且還可以實現(xiàn)與VMware在管理上的集成。即備份恢復(fù)數(shù)據(jù)，僅僅需要在vCenter內(nèi)部調(diào)用NetApp的功能即可，無需掌握備份軟件、無需掌握存儲管理技術(shù)，提升應(yīng)用在線能力的同時，大幅降低了管理的復(fù)雜度。D2D備份設(shè)計規(guī)劃在未來，還可利用一套NetAppFAS8000作為近線存儲，利用高效的SnapVaultD2D備份，提升應(yīng)用的可用性。和傳統(tǒng)備份模式相比，NetAppSnapVault是Server-Free方式，備份流不通過主機，因此不會影響主機性能；而傳統(tǒng)方式為LAN或者LANFree方式，對主機性能有一定的影響。除此之外，NetAppSnapVault和傳統(tǒng)備份模式相比，還有如下優(yōu)點：項目NetAppSnapVault傳統(tǒng)D2D備份數(shù)據(jù)備份很快，秒級更多的備份點很慢，小時級一天一個備份點對生產(chǎn)的影響無較大，且時間較長數(shù)據(jù)恢復(fù)很快，秒級很慢，小時級空間效率高，僅一次全備的方式，加上消重技術(shù)較高，僅虛擬帶庫的消重技術(shù)備份驗證方便，且不需要空間–降低人力、硬件成本復(fù)雜，且需要額外空間–額外人力和硬件成本備份數(shù)據(jù)利用備份數(shù)據(jù)為主機可以直接識別和掛接的格式；可方便用于開發(fā)、培訓(xùn)以及生產(chǎn)應(yīng)急，提升投資回報率只能用于數(shù)據(jù)恢復(fù)許可證方式總體很低：僅一次性購買，再多的主機接入、再多的數(shù)據(jù)量，均不會增加成本總體很高：按主機數(shù)量收費，每增加業(yè)務(wù)主機，需要額外購買備份軟許可MCC方案布線連接示意圖NetApp的雙活數(shù)據(jù)中心架構(gòu)技術(shù)優(yōu)勢這兩年來，大數(shù)據(jù)行業(yè)的應(yīng)用有以下發(fā)展：一是數(shù)據(jù)量越來越大，數(shù)據(jù)類型也呈多樣化。由于大數(shù)據(jù)和云技術(shù)的應(yīng)用發(fā)展，各行業(yè)的沉淀數(shù)據(jù)量呈幾何級增長。我們估計，在不久的將來，很多行業(yè)的數(shù)據(jù)量將達到PB級別。同時，非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)在各應(yīng)用中將并存，而且數(shù)據(jù)增長方向主要在非結(jié)構(gòu)化數(shù)據(jù)。如何管理海量的數(shù)據(jù)，對傳統(tǒng)存儲來說，是巨大的挑戰(zhàn)。二是應(yīng)用要求越來越高。這既體現(xiàn)在應(yīng)用對“不中斷運行”的要求上，同時也對應(yīng)用系統(tǒng)性能的需求。兩者其實可以歸為一個目的，保證應(yīng)用正常運行，減少宕機時間。三是應(yīng)用種類越來越多，對管理維護也提出更高要求。新需求不斷地提出，也會產(chǎn)生新的應(yīng)用。那么對于存儲系統(tǒng)最大的挑戰(zhàn)是，如何滿足新應(yīng)用需求的同時，降低管理維護的復(fù)雜度。四是突破不同系統(tǒng)、不同行業(yè)、不同地域之間的信息壁壘，實現(xiàn)充分的信息資源共享、互備。利用傳統(tǒng)的存儲技術(shù)，要實現(xiàn)以上目標(biāo)，必須付出很大的代價。而NetApp的創(chuàng)新技術(shù)可以幫助用戶輕松實現(xiàn)，而且這些技術(shù)全部“統(tǒng)一”到一個平臺上了：統(tǒng)一存儲

NetApp發(fā)明了統(tǒng)一存儲，它可以同時整合不同類型的數(shù)據(jù)，統(tǒng)一管理。同時，單套NetAppFAS存儲可以管理超過50PB的數(shù)據(jù)量，輕松應(yīng)對新的業(yè)務(wù)帶來的海量數(shù)據(jù)––這正是我們擅長的。

彈性擴展

從較小的型號起步，后期也可以靈活地對性能和容量進行擴展和升級，沒有數(shù)據(jù)遷移的陣痛，而且可以保護原有投資。

業(yè)務(wù)連續(xù)性

NetApp存儲內(nèi)置了豐富的數(shù)據(jù)保護措施，足以應(yīng)對各類故障。如“雙活”、容災(zāi)、秒級快照備份、D2D備份…這些功能全部內(nèi)置于存儲本身，不需要額外購買軟件。

高效率存儲技術(shù)，應(yīng)對海量數(shù)據(jù)

針對日益膨脹的數(shù)據(jù)量，NetApp免費提供了壓縮、消重等技術(shù)，可以大幅降低磁盤購買量。NetApp還提供性能加速技術(shù)，各項性能測試表明，相同硬件配置下，NetApp可以提供最好的性能，保證核心業(yè)務(wù)的最低延時目標(biāo)。

面向虛擬化、云計算的共享式架構(gòu)

NetApp最初設(shè)計就是按照共享式的IT架構(gòu)來做的。共享式架構(gòu)，也是虛擬化和云計算的基礎(chǔ)。不但可以打破應(yīng)用、地域之間的信息壁壘，同時還可以提升硬件資源利用率，降低維護復(fù)雜度。更重要的是，面對新的應(yīng)用需求時，可以做出更快的反應(yīng)和調(diào)整。NetApp雙活數(shù)據(jù)中心架構(gòu)在中國金融行業(yè)的部分成功案例NETAPP在金融行業(yè)部分成功案例客戶名稱產(chǎn)品型號及臺數(shù)應(yīng)用SnapMirror災(zāi)備距離是否為MetroClusterSAN/NAS中國銀行FAS6040A*2CallCenterY同城NSAN/NASFAS3240A*2分行級核心應(yīng)用Y同機房NNAS中國建設(shè)銀行總行數(shù)據(jù)中心FAS6280AMC*1數(shù)據(jù)交換平臺N同城YNASFAS6280*42+FAS3200*6虛擬化云平臺+非結(jié)構(gòu)化數(shù)據(jù)云平臺N

同機房YFCSAN+NAS招商銀行總行數(shù)據(jù)中心FAS3040A*2郵件系統(tǒng)Y深圳-南京NFCSANFAS3040A*2DB2/MSSQL數(shù)據(jù)庫,通用系統(tǒng)Y深圳-南京NFCSANFAS3040A*2網(wǎng)銀日志Y深圳-南京NNAS招商銀行總行數(shù)據(jù)中心FAS6040AMC*2VMwareY深圳-南京YFCSANFAS3040AMC*1VMwareN同城YFCSANFAS6240AMC*1招商銀行信用卡中心FAS6240AMC*1WindowsSQL，一卡通網(wǎng)關(guān)，第三方支持平臺N同機房YFCSAN深圳發(fā)展銀行總行（現(xiàn)平安銀行）FAS3240AMC*1VMware/OAN同機房YiSCSI/NASFAS3240AMC*1ODS應(yīng)用系統(tǒng)，IBM小機＋OracleN同機房YFCSANFAS3240AMC*1Oracle報表系統(tǒng)N同機房YFCSANIBMAIX+OracleRAC內(nèi)蒙古銀行FAS3140*1，F(xiàn)AS3040*2核心系統(tǒng)，兩地三中心Y兩地三中心NFCSAN烏魯木齊商行FAS6220（V）*2前置整合，儲蓄，國債，支票影像，OA，城商聯(lián)盟，黃金系統(tǒng)，信貸，基金，銀聯(lián)，VM虛擬化Y同城（10KM）NFCSAN四川省農(nóng)村信用社FAS2040*16后督系統(tǒng)N無NNAS成都銀行FAS6240*1，F(xiàn)AS3220*5流程銀行Y同城NFCSAN南充銀行FAS6220*1流程銀行，數(shù)據(jù)倉庫N無NFCSAN/NAS上海農(nóng)商銀行FAS6240*2虛擬化平臺部署及容災(zāi)Y同城YFCSAN/NAS曲靖商行FAS3240MC*2核心業(yè)務(wù)系統(tǒng)Y同機房+曲靖/昆明雙中心YFC浦發(fā)銀行信用卡中心FAS3040*2文件服務(wù)Y同城NFC浦發(fā)銀行數(shù)據(jù)中心FAS3020*2文件服務(wù)Y同城NNAS交通銀行數(shù)據(jù)中心FAS6240AMC*1VMwareN同機房YFCSAN交通銀行數(shù)據(jù)中心FAS6030A*2VMwareY同城NNAS文件服務(wù)民生銀行外匯交易中心FAS6280AMC*1SAPN同城YNASFAS3270AMC*1VMwareN同機房YFCSAN柳州銀行1xFAS3020C銀行核心，OracleRACY200公里NFCSAN2xFAS270C1xFAS2040A桂林銀行1xFAS3160A銀行核心，OracleRACY同城NFCSAN1xV3140A南海農(nóng)信FAS3140/FAS2050VMwareY同城NFCSAN/NAS影像/日志恒生銀行FAS2040*2文件服務(wù)Y同城NNAS匯豐銀行FAS3240*2文件服務(wù)Y同城NNAS瑞穗銀行FAS3140*2文件服務(wù)Y同城NNAS存儲虛擬化光大銀行FAS3140/FAS2040備份Y北京-上海NNAS中登北京FAS3270A*2文件存儲/服務(wù)器虛擬化Y同城/北京-上海NSAN/NAS中登上海FAS3170A*2桌面虛擬化Y同城/上海-北京NSAN/NAS/iSCSIOA服務(wù)器虛擬化報文上海證券交易所FAS3210*4文件服務(wù)Y同城NNAS信誠基金FAS3210*2核心應(yīng)用Y上海-北京NSAN/NAS安誠保險FAS3250*1（MC），F(xiàn)AS2240*2全部核心應(yīng)用+虛擬化Y兩地三中心（重慶-北京）YFCSAN、NAS太平洋保險FAS3210A*2文件服務(wù)Y同城NNAS太平洋保險FAS3160AMC*1VMwareN同機房YNAS同城容災(zāi)系統(tǒng)與雙活數(shù)據(jù)中心架構(gòu)的比較在同城這一環(huán)節(jié)，雙活技術(shù)是優(yōu)于傳統(tǒng)同步容災(zāi)技術(shù)。傳統(tǒng)容災(zāi)技術(shù)有以下局限：故障后切換時間太長，對業(yè)務(wù)影響很大目前同城災(zāi)備模式一般為“主備”模式，雖然同步容災(zāi)技術(shù)可以實現(xiàn)RPO=0的目標(biāo)，即零數(shù)據(jù)丟失，但是由于同步復(fù)制的原理，導(dǎo)致容災(zāi)庫數(shù)據(jù)平時完全不能夠被主機訪問和使用。即下圖中，源端存儲實時地將生產(chǎn)庫的變化，復(fù)制并更新到目標(biāo)端的容災(zāi)庫。因為這個更新是底層存儲發(fā)起的，并非通過上層的數(shù)據(jù)庫軟件完成，所以容災(zāi)端的數(shù)據(jù)庫必須保持關(guān)閉狀態(tài)。只有斷開容災(zāi)復(fù)制關(guān)系，才能在容災(zāi)主機端重新設(shè)備和導(dǎo)入存儲設(shè)備，掛接和打開數(shù)據(jù)庫。再加上災(zāi)難后的網(wǎng)絡(luò)切換、數(shù)據(jù)檢驗時間，導(dǎo)致整個容災(zāi)切換過程通常以小時來計算。具體的過程一般如下：同城容災(zāi)中心斷開容災(zāi)復(fù)制關(guān)系容災(zāi)庫掛接到災(zāi)備主機上，啟動容災(zāi)庫檢驗容災(zāi)庫數(shù)據(jù)有效性將業(yè)務(wù)請求重定向到容災(zāi)中心，接管生產(chǎn)

主備關(guān)系的容災(zāi)模式，容災(zāi)中心設(shè)備閑置率高

由于前面提到的技術(shù)原因，容災(zāi)庫實際上一直只能夠處于關(guān)閉狀態(tài)，因此所有的業(yè)務(wù)全部在生產(chǎn)中心處理，而容災(zāi)中心設(shè)備利用率很低，無法分擔(dān)生產(chǎn)任務(wù)。邏輯故障應(yīng)對能力較弱

由于生產(chǎn)庫和容災(zāi)庫為實時同步，因此當(dāng)生產(chǎn)端出現(xiàn)邏輯故障，如誤刪除一張表、誤刪除一個數(shù)據(jù)文件（OracleDatafile）、Oracle出現(xiàn)bug導(dǎo)致無法啟動，容災(zāi)端也會出現(xiàn)同樣的故障。

目前應(yīng)對此類故障主要依賴于備份軟件。但恢復(fù)數(shù)據(jù)和業(yè)務(wù)時間通常都是以小時來計算，對業(yè)務(wù)影響較大。管理復(fù)雜度較高由于容災(zāi)庫平時都是關(guān)閉狀態(tài)，如何保證其數(shù)據(jù)的有效性和可用性？而且容災(zāi)切換大部分都是人工操作，如何確保應(yīng)急預(yù)案可以順利地執(zhí)行？因此在容災(zāi)系統(tǒng)建設(shè)中，都存在以下的制度和規(guī)定：常態(tài)化的數(shù)據(jù)驗證和定期的容災(zāi)演練。這樣無疑給運維帶來巨大的管理和人力成本。對于以上的情況，雙活數(shù)據(jù)中心具有更好的技術(shù)和解決手段。接下來，我們將對這些技術(shù)進行介紹和分析。雙活數(shù)據(jù)中心架構(gòu)的優(yōu)勢和設(shè)計思路為解決前面提到的問題和挑戰(zhàn)，本方案提出以下幾點建設(shè)目標(biāo)：同城災(zāi)備升級為同城雙活，消除嚴重故障對業(yè)務(wù)的影響全面提升業(yè)務(wù)連續(xù)服務(wù)能力均衡負載，資源利用更充分和合理優(yōu)化管理，降低運維成本為實現(xiàn)以上建設(shè)目標(biāo)，可按照以下設(shè)計思路，逐步建設(shè)和完善。主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心業(yè)界對于雙活數(shù)據(jù)中心解決方案進行了深入的研究和發(fā)展。2006年開始，主機廠商、存儲廠商和數(shù)據(jù)庫廠商逐漸將該技術(shù)推向市場。目前，雙活數(shù)據(jù)中心已經(jīng)非常成熟，而且得到了廣泛的應(yīng)用。主備數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心，并在此基礎(chǔ)上進一步完善為“兩地三中心”模式。這個階段始于2012年。雙活數(shù)據(jù)中心實現(xiàn)后，可以達到以下目標(biāo)：極大提升業(yè)務(wù)連續(xù)服務(wù)能力

發(fā)生重大故障后，業(yè)務(wù)運行不受影響，消除了現(xiàn)有環(huán)境中“容災(zāi)切換”帶來的停機時間。核心業(yè)務(wù)系統(tǒng)得到最完善和最充分的保護。我們預(yù)計，對于物理故障，雙活數(shù)據(jù)中心可以實現(xiàn)RPO=0和RTO=0的理想目標(biāo)。業(yè)務(wù)負載分攤到兩個數(shù)據(jù)中心，避免了資源閑置故障后可實現(xiàn)自我修復(fù)，大幅降低了人為因素?zé)o需常態(tài)化的容災(zāi)數(shù)據(jù)檢驗和容災(zāi)演練，降低運維壓力和成本情景解決方案業(yè)務(wù)系統(tǒng)運行情況單一組件故障（較高概率）全冗余系統(tǒng)架構(gòu)零影響單一生產(chǎn)存儲故障（低概率）雙活數(shù)據(jù)中心RPO=RTO=0數(shù)據(jù)中心癱瘓（低概率）雙活數(shù)據(jù)中心RPO=RTO=0生產(chǎn)數(shù)據(jù)邏輯故障(低概率)快照結(jié)合日志恢復(fù)RPO~0（恢復(fù)到出現(xiàn)故障前）RTO<20分鐘區(qū)域性災(zāi)難（極低概率）異地災(zāi)備系統(tǒng)RPO<5分鐘RTO<1小時雙活數(shù)據(jù)中心架構(gòu)實現(xiàn)方式比較雙活數(shù)據(jù)中心架構(gòu)主要由基于數(shù)據(jù)Oracle數(shù)據(jù)庫的應(yīng)用解決方案、基于專門的存儲虛擬化雙活網(wǎng)關(guān)解決方案、以及存儲系統(tǒng)內(nèi)置雙活解決方案，NetAppFAS8000一體化存儲平臺就是采用的存儲系統(tǒng)內(nèi)置雙活解決方案。基于數(shù)據(jù)庫的解決方案基于專門的雙活存儲網(wǎng)關(guān)的解決方案NetAppFAS8000核心業(yè)務(wù)數(shù)據(jù)庫的同城雙活很好，但有數(shù)據(jù)庫品牌的限制很好很好文件服務(wù)雙活不提供不支持支持異地災(zāi)備很好，但有數(shù)據(jù)庫品牌的限制需要增加CDP平臺支持數(shù)據(jù)備份慢，應(yīng)用一致性實時，但非應(yīng)用一致性很快，應(yīng)用一致性數(shù)據(jù)恢復(fù)速度慢一般快系統(tǒng)擴展性依賴于底層硬件網(wǎng)關(guān)和后端盤陣必須同時擴展，投資較大很好，支持橫向擴展和縱向升級優(yōu)化運維管理N/A本身由雙活網(wǎng)關(guān)、盤陣、CDP三個產(chǎn)品組合而成，管理復(fù)雜度增加大幅簡化管理。僅一種平臺，且提供豐富的自動化管理手段，與應(yīng)用和虛擬化平臺實現(xiàn)深度的集成加速應(yīng)用研發(fā)無無精簡克隆，極低空間，生成多個數(shù)據(jù)副本，支持并發(fā)測試原有存儲利舊支持支持VMware環(huán)境多協(xié)議支持僅FCSAN全部協(xié)議VMware環(huán)境熱點數(shù)據(jù)加速雙活網(wǎng)關(guān)無法提供二級緩存自動識別加速熱點數(shù)據(jù)VMware雙活架構(gòu)支持支持VMware備份不支持必須引入備份軟件內(nèi)置，且優(yōu)于備份軟件VMware遠程容災(zāi)不支持必須依賴CDP平臺內(nèi)置存儲虛擬化平臺技術(shù)方案 雙活存儲虛擬化平臺設(shè)計方案存儲虛擬化平臺是建設(shè)虛擬數(shù)據(jù)中心的核心與關(guān)鍵，本次NetApp雙活數(shù)據(jù)站點虛擬化方案設(shè)計可滿足兩個最遠200公里以外的數(shù)據(jù)中心的虛擬化數(shù)據(jù)應(yīng)用，同時可實現(xiàn)存儲后端統(tǒng)一管理其它品牌光纖存儲設(shè)備（NetApp存儲虛擬化兼容列表內(nèi)的其它品牌存儲設(shè)備），前端滿足虛擬化應(yīng)用的需求。存儲虛擬化平臺負責(zé)按需提供滿足要求的存儲資源，以及對異構(gòu)產(chǎn)品的統(tǒng)一管理、保障數(shù)據(jù)安全等基礎(chǔ)服務(wù)。如圖：本次方案中每套存儲虛擬化網(wǎng)關(guān)后端配置168塊1.2TB10KSAS磁盤，兩個虛擬化網(wǎng)關(guān)最遠位于200km以外的兩個數(shù)據(jù)中心，為了保證兩個存儲虛擬化數(shù)據(jù)中心的數(shù)據(jù)雙活，本次方案采用NetAppMetroCluster技術(shù)，在每個數(shù)據(jù)中心配置一份本地數(shù)據(jù)及另一個數(shù)據(jù)中心的鏡像數(shù)據(jù)，保證數(shù)據(jù)的統(tǒng)一性和完整性，保證本地硬件設(shè)備故障時，可通過訪問異地數(shù)據(jù)中心的備份數(shù)據(jù)來保證數(shù)據(jù)的高可用性，同一個虛擬卷可供兩個數(shù)據(jù)中心主機同時進行讀寫訪問，并且訪問請求由主機所在數(shù)據(jù)中心的虛擬化網(wǎng)關(guān)/控制器響應(yīng)。同時為了節(jié)約成本，方案可通過采用NetAppFAS8060存儲虛擬化網(wǎng)關(guān)整合環(huán)境中現(xiàn)有存儲設(shè)備，可整合包括IBM、HP、EMC、HDS、3PAR、FUJITSU多家的FC存儲設(shè)備，本次配置的存儲設(shè)備是經(jīng)過Vmware認證的存儲設(shè)備，可與Vmware完美結(jié)合實現(xiàn)存儲平臺上的虛擬化應(yīng)用，為應(yīng)用層提供透明的存儲服務(wù)。雙活存儲虛擬化平臺故障切換場景NetApp存儲雙活站點故障切換場景1如圖：場景1為SITEA數(shù)據(jù)中心虛擬化網(wǎng)關(guān)發(fā)生故障，在此虛擬化網(wǎng)關(guān)后端的存儲空間應(yīng)用無法通過此虛擬化網(wǎng)關(guān)訪問，通過第三方仲裁站點仲裁后自動啟用存儲Failover功能啟用，存儲空間應(yīng)用此時可通過SITEB數(shù)據(jù)中心的虛擬化網(wǎng)關(guān)進行訪問SITEA數(shù)據(jù)中心的A_LOCAL數(shù)據(jù)，數(shù)據(jù)訪問不中斷。此時可通過更換故障虛擬化網(wǎng)關(guān)后數(shù)據(jù)訪問鏈路恢復(fù)正常。此場景中數(shù)據(jù)訪問不中斷。同理，SITEB數(shù)據(jù)中心虛擬化網(wǎng)關(guān)發(fā)生故障同樣適用。NetApp存儲雙活站點故障切換場景2如圖：場景2中SITEA數(shù)據(jù)中心的部分Shelf發(fā)生故障，用戶通過存儲虛擬化網(wǎng)關(guān)無法正常訪問本地故障Shelf，第三方仲裁站點無任何操作，存儲MetroCluster功能發(fā)現(xiàn)SITEA數(shù)據(jù)中心A_LOCALShelf故障后自動訪問SITEB數(shù)據(jù)中心的A_LOCAL的鏡像數(shù)據(jù)，數(shù)據(jù)訪問不中斷。此時可通過更換故障存儲設(shè)備后數(shù)據(jù)訪問鏈路恢復(fù)正常。此場景中數(shù)據(jù)訪問不中斷。同理，SITEB數(shù)據(jù)中心部分Shelf發(fā)生故障同樣適用。NetApp存儲雙活站點故障切換場景3如圖：場景3中其中一個數(shù)據(jù)中心的光纖交換機發(fā)生故障，SITEA端數(shù)據(jù)無法通過正常鏈路連接到SITEB數(shù)據(jù)中心的鏡像存儲設(shè)備，通過第三方仲裁站點仲裁后SITEA端的虛擬化網(wǎng)關(guān)通過本地另外一臺光纖交換機訪問另一個數(shù)據(jù)中心的鏡像數(shù)據(jù)，數(shù)據(jù)訪問不中斷。此時可通過更換故障交換機設(shè)備后數(shù)據(jù)交互鏈路恢復(fù)正常。此場景中數(shù)據(jù)訪問不中斷。同理，SITEB數(shù)據(jù)中心光纖交換機發(fā)生故障同樣適用。NetApp存儲雙活站點故障切換場景4如圖：場景4中SITEA數(shù)據(jù)中心的存儲完全故障或是本地數(shù)據(jù)中心電力故障導(dǎo)致本地數(shù)據(jù)無法正常訪問，用戶無法通訪問虛擬化網(wǎng)關(guān)后端的故障存儲空間，通過第三方仲裁站點仲裁后數(shù)據(jù)訪問自動切換到SITEB數(shù)據(jù)中心的鏡像數(shù)據(jù)，數(shù)據(jù)訪問不中斷。此時可通過更換故障存儲設(shè)備或是電力恢復(fù)正常后數(shù)據(jù)訪問鏈路恢復(fù)正常。此場景中數(shù)據(jù)訪問不中斷。同理，SITEB數(shù)據(jù)中心存儲完全故障或是本地數(shù)據(jù)中心電力故障導(dǎo)致本地數(shù)據(jù)無法正常訪問時同樣適用。仲裁站點設(shè)計方案及實現(xiàn)方式、功能說明針對MetroCluster的第三方仲裁是為了應(yīng)對在MetroCluster環(huán)境中發(fā)生故障后MetroCluster無法自動進行切換的主動監(jiān)測，自動切換的仲裁方案。第三方仲裁通過在第三方位置的DFM服務(wù)器持續(xù)的監(jiān)測MetroCluster控制器以及網(wǎng)關(guān)設(shè)備，當(dāng)仲裁服務(wù)器發(fā)現(xiàn)MetroCluster控制器達到Failover條件后，則自動執(zhí)行Failover命令，自動執(zhí)行Failover操作。如圖：在環(huán)境中，位于第三方位置仲裁站點服務(wù)器上安裝有MetroClusterTieBreaker（DFM插件），仲裁站點插件可安裝的Windows或Linux服務(wù)器客戶端，服務(wù)器需通過網(wǎng)絡(luò)與兩地雙活數(shù)據(jù)中心部署的NetAppMetroCluster存儲節(jié)點連接。在仲裁站點需創(chuàng)建自動仲裁切換條件雙活數(shù)據(jù)中心的擴容升級NetApp存儲擴容非常簡單，只需在擴容前做好容量規(guī)劃，然后在整套存儲設(shè)備不斷電的情況下串接好擴容設(shè)備，按照規(guī)劃好的容量進行存儲擴容配置。如圖：NetApp存儲擴容前后數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)無任何改變，我方工程師會根據(jù)用戶現(xiàn)有的存儲設(shè)備以及用戶的擴容需求進行嚴密的擴容規(guī)劃，以及做好擴容前的相關(guān)準(zhǔn)備工作，以保證用戶擴容現(xiàn)場工作的順利實施。存儲擴容工作需用戶準(zhǔn)備足夠的電源接口，我方根據(jù)用戶需求配置相應(yīng)的存儲容量，并根據(jù)用戶需求進行編制存儲擴容規(guī)劃書，經(jīng)用戶認可后按照規(guī)劃書具體實施存儲擴容工作。存儲擴容工作可根據(jù)用戶需求進行在線擴容或離線擴容。本次方案中配置NetAppFAS8060一體化存儲平臺，支持存儲控制器集群升級，最大可擴展控制器數(shù)量8個，本次配置控制器緩存128GB，最大可擴展到512GB緩存，支持FlashCache二級緩存可擴展至96TB以上，NetAppFAS8060一體化存儲平臺后端配置磁盤168塊，NetAppFAS8060一體化存儲平臺可擴展磁盤1200塊；NetApp一體化平臺面向私有云架構(gòu)的優(yōu)化管理NetApp提供自動化存儲服務(wù)定制，支持與客戶數(shù)據(jù)中心業(yè)務(wù)流程管理軟件的集成：可利用NetApp管理工具實現(xiàn)存儲服務(wù)自動化。也可和第三方管理軟件進行無縫集成，同時NetApp也開放API和SDK，支持用戶自定義云管理平臺。通過定制化的自助服務(wù)環(huán)境，使內(nèi)部客戶在幾乎沒有或是根本沒有管理人員介入的情況下請求和獲得適當(dāng)配置的IT資源，是實現(xiàn)整體業(yè)務(wù)靈活性和服務(wù)快捷性的一個重要步驟。這樣一來，可輕松實現(xiàn)：持續(xù)滿足服務(wù)級別快速擴展和添加新應(yīng)用和IT服務(wù)以最少的投入滿足不斷變化的業(yè)務(wù)需求高效利用IT資源，最大限度地提高硬件利用率通過自動執(zhí)行重復(fù)性活動來提高生產(chǎn)率借助集成工具和自動化配置流程來簡化管理MCC架構(gòu)與VMware虛擬化平臺的結(jié)合NetApp一體化平臺與服務(wù)器虛擬化的整合NetAppFAS存儲平臺為虛擬化環(huán)境進行了專門的優(yōu)化，以VMware為例，體現(xiàn)在以下幾個方面：統(tǒng)一存儲，支持VMware三種不同的部署協(xié)議NetApp的智能二級緩存技術(shù)，針對虛擬化環(huán)境中常見的I/O熱點數(shù)據(jù)，提供了實時加速能力,效果明顯優(yōu)于其他廠家的自動分層技術(shù)（有SAN標(biāo)準(zhǔn)性能測試SPC-1報告為證）最緊密的特性和管理集成。VMware和存儲相關(guān)的白皮書，包括雙活架構(gòu)（vSphereMetroStorageCluster），容災(zāi)（SRM）和存儲集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進一步的管理集成：VSC插件允許VMware管理員在權(quán)限范圍內(nèi)自由地調(diào)配和管理存儲資源，從而大幅簡化了運維模式針對虛擬化環(huán)境下常見的備份難題，NetApp存儲內(nèi)置的備份功能提供了最好的解決手段。例如成都一個央企（東方電氣），部署了130個虛機，過去采用VAAI+傳統(tǒng)備份軟件備份方式，日備時間為6小時，而采用NetApp方案，僅需12分鐘。降本增效。NetAppFAS內(nèi)置消重功能，針對VMware環(huán)境中，大量冗余的虛機映像，能夠節(jié)省90%以上的存儲空間。虛擬化環(huán)境中的性能提速技術(shù)虛擬化平臺對存儲性能的要求非?？量?，已成為業(yè)界的共識。存儲性能的高低，將決定著應(yīng)用性能的快慢，也決定著用戶交易的體驗。如何衡量不同存儲性能的高低？業(yè)界公認的方法是通過第三方的公開性能測試，如代表FCSAN性能的SPC-1，代表NAS性能的SPECSFS2008。值得指出的是，SPC-1性能結(jié)果高低，雖然不能代表真實業(yè)務(wù)環(huán)境的存儲性能，但是至少提供了一個公平公開公正的比較手段。性能測試結(jié)果往往以IOPS的形式展現(xiàn)。但必須注意的是，這個數(shù)字和用戶購買的存儲的性能IOPS，完全是兩回事。因為用戶購買的存儲，和性能測試的存儲，在配置上差別很大。性能測試往往都采用滿配，以達到最好的結(jié)果。但用戶配置，往往受容量需求和經(jīng)費限制，遠低于測試配置。因此，我們建議用性能效率來進行衡量，即通過測試IOPS/測試配置，來得到單位硬件能夠提供的性能，以比較不同存儲之間的性能差異。在相同配置的情況下，性能效率高的存儲系統(tǒng)，可以提供更高的性能。提升性能效率的方法，在保證性價比的前提下，除了不同的存儲操作系統(tǒng)的算法差異以外，主要有兩種：二級緩存技術(shù)，如NetAppFlashCache和FlashPool，EMCFastCache。是以閃存作為存儲的二級緩存。這種技術(shù)不做任何數(shù)據(jù)遷移，因此對于性能提升的反應(yīng)速度和效果都非常好。自動分層技術(shù)，如EMCFast、IBMEasyTier，HDSDynamicTier，需要在不同的性能層之間遷移數(shù)據(jù)。對性能提升的反應(yīng)速度較慢。但如果應(yīng)用的熱點數(shù)據(jù)分布變化本身較慢，這種技術(shù)也有不錯的效果。NetApp采用先進的控制器技術(shù)，存儲具有最領(lǐng)先的性能效率。下圖對比了幾種主流的SAN存儲產(chǎn)品，包括IBM最新的DS8870、HP最高端的P10000(即收購自3PAR的產(chǎn)品)、HDS的VSP(HPOEM的型號是p9500，即XP24000的下一代)，而EMC沒有參加SAN性能測試。(數(shù)據(jù)來源：SPC-1標(biāo)準(zhǔn)FCSAN性能測試。圖中反映的是，在SPC-1測試中，單個磁盤可以提供的IOPS性能。顯然，更好的技術(shù)，可以讓同樣的磁盤發(fā)揮更好的性能)。這意味著，相同的磁盤配置下，NetApp可以為業(yè)務(wù)提供更多的IOPS性能。例如，在測試中，NetAppFAS6240僅僅需要432塊普通SAS磁盤，采用RAID6，可獲得25萬SPC-1IOPS，而HDS最高端VSP使用了1152塊SAS盤，采用RAID10，取得26.9萬SPC-1IOPS。試想如果應(yīng)用容量需求僅僅需要100塊SAS盤，那么NetAppFAS6240仍然可以提供6萬左右的SPC-1IOPS，而VSP卻不到3萬SPC-1IOPS。這里面最關(guān)鍵的技術(shù)之一就是NetApp領(lǐng)先的虛擬分層和大容量二級緩存技術(shù)。其他廠家也具有自動分層，多級緩存技術(shù)，但從未經(jīng)過標(biāo)準(zhǔn)性能測試檢驗。虛擬化環(huán)境中的數(shù)據(jù)保護和災(zāi)備前文已經(jīng)提及，VMware雙活架構(gòu)vSphereMetroStorageCluster支持NetAppMetroCluster，而且其技術(shù)白皮書正是以NetAppMetroCluster為范例。此外，在虛擬化環(huán)境中的數(shù)據(jù)保護具有如下特點：NetApp的快照技術(shù)可集成于VMware環(huán)境中，提供秒級的數(shù)據(jù)備份和恢復(fù)。NetApp可以提供VM中單個文件的恢復(fù)NetApp全面支持VMwareSRM容災(zāi)軟件NetApp專利的快照技術(shù)可輕易地集成到VMware環(huán)境中，可實現(xiàn)虛擬主機的恢復(fù)、完整的虛擬主機克隆，或者站點復(fù)制以及冗災(zāi)等。這種解決方案的優(yōu)點在于它是存儲界唯一對系統(tǒng)性能沒有負面影響的快照技術(shù)。VMware也聲明為了達到最佳的性能和擴展性，建議使用給予硬件的快照解決方案而不是軟件的快照解決方案。在基于磁盤的備份方案中，包含了從生產(chǎn)系統(tǒng)拷貝虛擬磁盤文件到備份的磁盤系統(tǒng)。盡管和直接將生產(chǎn)系統(tǒng)的數(shù)據(jù)備份到磁帶相比，這種方式提供了非?？焖俚膫浞莘桨?，但是每次備份都需要100%的額外空間。某些友商提供了Copy-Out的快照技術(shù)，但是Copy-Out快照技術(shù)所帶來的性能問題，嚴重地影響了生產(chǎn)，使得這些快照技術(shù)也不能被用戶所接受。而NetApp的專利的快照技術(shù)完全沒有傳統(tǒng)的基于磁盤備份的固有的問題。而和Copy-Out的快照技術(shù)相比，NetApp的快照技術(shù)由于不移動數(shù)據(jù)，從而不會產(chǎn)生對性能的負面影響。同時，NetApp快照技術(shù)的開銷只是變化的數(shù)據(jù)塊，占用空間更少。NetAppFAS和VMware的深度集成NetAppFAS系列存儲和Vmware虛擬化軟件實現(xiàn)了深度的集成，可以最大化提升運行效率，簡化管理。VMwarevCenter通過調(diào)用FAS設(shè)備插件，可以驅(qū)動FAS執(zhí)行一系列任務(wù)。比如備份、災(zāi)備功能，菜單化部署單元功能。FAS存儲分別通過VMware的四個插件實現(xiàn)不同的功能。以下是詳細的調(diào)用關(guān)系如下圖所示。VSC存儲管理插件在云計算架構(gòu)下，管理不再是存儲、服務(wù)器、網(wǎng)絡(luò)等分離式管理，統(tǒng)一的、集成的管理平臺是云存儲的最佳實踐。vCenter是虛擬化平臺的管理平臺，在vCenter上集中對存儲進行配置、監(jiān)控等是虛擬化平臺與云存儲結(jié)合的一種推薦方式。為此，F(xiàn)AS系統(tǒng)存儲擁有專門的vCenter上的存儲管理插件VirtualStorageConsole（VSC）。它主要有以下功能：虛擬存儲控制臺配置和克隆備份與恢復(fù)NFSPlug-in插件ESXServer通過NAS的NFSPlug-in插件，可以將NAS文件系統(tǒng)掛載到ESXServer，作為NFSDataStore。通過NFSPlug-in插件，還可以定義虛擬機IO的優(yōu)先級，保證關(guān)鍵業(yè)務(wù)的IO的優(yōu)先級，不受其它業(yè)務(wù)IO性能影響。SRA插件SRA插件由NetApp提供，部署在SRMServer上，與SRM軟件實現(xiàn)無縫連接。在SRM界面，通過SRA插件可以直接調(diào)用的SnapMirror（存儲復(fù)制功能）和FlexClone（虛擬克隆工具），實現(xiàn)災(zāi)備功能和虛擬機克隆功能。VAAI插件VAAI（vStorageAPIsforArrayIntegration）是VMware提供存儲管理接口，主流的NAS和SAN存儲都支持這個接口，并針對VAAI提供專用的插件，部署在vCenterServer。NetApp存儲提供的VAAI插件，可以實現(xiàn)虛擬機和存儲空間的快照和恢復(fù)功能、NFSDatastorge參數(shù)調(diào)整和配置功能。VASA插件VASA的目的是加強存儲資源在VMware的可視化，可以通過vCenter和CapacityIQ工具獲得對物理存儲陣列的一些細節(jié)信息，如RAID信息，磁盤數(shù)量等等。內(nèi)置消重功能，降本增效在VMware環(huán)境中，非常流行的部署方式是從預(yù)先創(chuàng)建的虛機的模板來快速創(chuàng)建新的虛機。一個虛機的模板通常包含了虛機的配置文件(.vmx)以及一個或多個虛擬磁盤文件(.vmdk)，包含了操作系統(tǒng)，公共應(yīng)用程序，以及補丁文件或系統(tǒng)更新。從模板來創(chuàng)建新的虛機，通過拷貝配置文件以及虛擬磁盤文件，并注冊成為獨立的虛機，大大減少了管理上的時間開銷。但是，在這種方式下，造成了大量的重復(fù)數(shù)據(jù)。下圖說明了在VMware環(huán)境下的典型存儲開銷。NetApp提供了一種重復(fù)數(shù)據(jù)刪除的技術(shù)，稱為FASDedup。通過FASDedup技術(shù)，我們能夠消除在VMware環(huán)境中的重復(fù)數(shù)據(jù)，大大提供存儲的總體利用率。FASDedup提供了一種虛擬化的技術(shù)，使得多個虛機可以共享在NetApp主存儲上的相同的物理數(shù)據(jù)塊。FASDedup無縫的集