企業(yè)雙活數(shù)據(jù)中心規(guī)劃

1、企業(yè)雙活數(shù)據(jù)中心規(guī)劃議程1雙活數(shù)據(jù)中心概述2雙活數(shù)據(jù)中心關鍵技術點3雙活數(shù)據(jù)中心建設及運維關鍵點24雙活數(shù)據(jù)中心成功案例CONFIDENTIAL雙活數(shù)據(jù)中心概述3隨著企業(yè)的商業(yè)活動越來越依賴于網(wǎng)絡，因此越來越多的企業(yè)在尋找一種強大的數(shù)據(jù)中心架構，這種高可用的結構能夠減少甚至消除正常和非正常的停機對業(yè)務可用性造成的影響。這意味著無論是否有中斷，關鍵任務應用系統(tǒng)都能夠不間斷地創(chuàng)造產(chǎn)值并提高公司的業(yè)務持續(xù)性底線。因此建立多個數(shù)據(jù)中心來實現(xiàn)業(yè)務的容災成為必然的選擇。而用戶建立多個數(shù)據(jù)中心來承載業(yè)務系統(tǒng)的主要目的是為了實現(xiàn)應用的高可用性，因此根據(jù)數(shù)據(jù)中心之間的關系，我們通常將數(shù)據(jù)中心分為以下三個類型：

2、主數(shù)據(jù)中心/災備數(shù)據(jù)中心 雙運營數(shù)據(jù)中心 雙活數(shù)據(jù)中心定義用戶方案需求分析5在這種工作模式下，用戶所有的業(yè)務系統(tǒng)在主數(shù)據(jù)中心中運行，而災備數(shù)據(jù)中心為業(yè)務系統(tǒng)提供冷備或熱備。當主數(shù)據(jù)中心的應用出現(xiàn)故障時，可以將單個應用或者數(shù)據(jù)中心整體切換到災備數(shù)據(jù)中心。主數(shù)據(jù)中心/災備數(shù)據(jù)中心：在這種工作模式下，用的一部分應用在第一個數(shù)據(jù)中心運行，另一部分應用在第二個數(shù)據(jù)中心運行，同時兩個數(shù)據(jù)中心實現(xiàn)應用的互備，當某個應用出現(xiàn)故障時，由對應的備份數(shù)據(jù)中心應用接管服務。雙運營數(shù)據(jù)中心雙活數(shù)據(jù)中心用戶建立多個數(shù)據(jù)中心來承載業(yè)務系統(tǒng)的主要目的是為了實現(xiàn)應用的高可用性，因此根據(jù)數(shù)據(jù)中心之間的關系，我們通常將數(shù)據(jù)中心分為

3、以下三個類型： 主數(shù)據(jù)中心/災備數(shù)據(jù)中心， 雙運營數(shù)據(jù)中心 雙活數(shù)據(jù)中心在這種工作模式下，用戶所有的業(yè)務系統(tǒng)同時在兩個數(shù)據(jù)中心運行，同時為用戶提供服務，當某個數(shù)據(jù)中心的應用系統(tǒng)出現(xiàn)問題時，有另一個數(shù)據(jù)中心的應用來持續(xù)的提供服務。雙活數(shù)據(jù)中心最大的特點是：一、充分利用資源，避免了一個數(shù)據(jù)中心常年處于閑置狀態(tài)而造成浪費。通過資源整合，雙活數(shù)據(jù)中心的服務能力是雙倍的。二、雙活數(shù)據(jù)中心如果斷了一個數(shù)據(jù)中心，另外一個數(shù)據(jù)中心還在運行，對用戶來說是不可感知的。業(yè)務連續(xù)性 需要前瞻的規(guī)劃和策略數(shù)據(jù)中心大集中主備中心生產(chǎn)-查詢中心（主輔中心）雙活中心數(shù)據(jù)同步能力建設數(shù)據(jù)服務能力建設負載均衡能力建設數(shù)據(jù)復制技術

4、切換/回切能力實現(xiàn)后備數(shù)據(jù)抽取與生產(chǎn)中心數(shù)據(jù)存在一定差異全局負載均衡技術中心間數(shù)據(jù)保持同步交易復制能力自動化管理削減數(shù)據(jù)中心數(shù)量，實現(xiàn)數(shù)據(jù)、業(yè)務處理集中化降低基礎架構復雜度加強數(shù)據(jù)中心統(tǒng)一管理降低數(shù)據(jù)中心管理人員數(shù)量要求降低維護成本災難備份系統(tǒng)建設專用后備系統(tǒng)用于緊急狀態(tài)下的恢復降低災難風險對業(yè)務的影響加強安全生產(chǎn)等級利用后備數(shù)據(jù)及系統(tǒng)用于部分生產(chǎn)用途分擔生產(chǎn)系統(tǒng)壓力提高生產(chǎn)系統(tǒng)響應能力后備中心有限生產(chǎn)能力無縫業(yè)務切換能力消除應用停機時間數(shù)據(jù)中心間實現(xiàn)負載均衡任何一個中心具備100%生產(chǎn)支持能力對“雙活”數(shù)據(jù)中心的理解理解一：讀寫分離的雙活數(shù)據(jù)中心：其中一個數(shù)據(jù)中心作為生產(chǎn)實時應用、另一個數(shù)據(jù)

5、中心提供查詢類應用。理解二：業(yè)務分離的雙活數(shù)據(jù)中心：每個數(shù)據(jù)中心運行不同的業(yè)務；彼此互為災備的雙活數(shù)據(jù)中心。理解三：兩個數(shù)據(jù)中心同時運行相同的業(yè)務應用，只要其中一個數(shù)據(jù)中心的運行情況正常，就不會影響業(yè)務的連續(xù)性。雙活數(shù)據(jù)中心零停機零中斷，雙活數(shù)據(jù)中心, RPO“0”, RTO =“0” 容災建設達到國標最高級“第6級”；數(shù)據(jù)零丟失，遠程中心在線實時鏡像、作業(yè)動態(tài)分配、實時無縫切換；生產(chǎn)數(shù)據(jù)中心SAN數(shù)據(jù)庫/應用TCP/IP網(wǎng)絡存儲陣列TCP/IP網(wǎng)絡容災數(shù)據(jù)中心SAN數(shù)據(jù)庫/應用TCP/IP網(wǎng)絡存儲陣列客戶端/用戶客戶端/用戶客戶端/用戶應用/數(shù)據(jù)同步WAN/廣域網(wǎng)雙活數(shù)據(jù)中心分類技術復雜度低

6、高應用B應用A應用B應用ARPO = 0 RTO 30-120分鐘主備模式：資源共享技術成熟成本較低應用B應用A應用B應用ARPO = 0 RTO 5-10分鐘雙運營模式：資源共享技術復雜度高確保日常運行性能RPO = 0 RTO 0-120秒應用B應用A應用B應用A主主模式：資源共享技術復雜度最高目前技術限制多雙活數(shù)據(jù)中心模型一 主主模式業(yè)務或用戶分配到每個生產(chǎn)數(shù)據(jù)中心每個生產(chǎn)中心都有自己的應用集群對外服務跨雙生產(chǎn)中心建立共用數(shù)據(jù)庫通過數(shù)據(jù)復制技術或者使用分布式卷將數(shù)據(jù)鏡像到對方出現(xiàn)災難時，正常的生產(chǎn)數(shù)據(jù)中心根據(jù)需要接管所有基于指定應用的請求所有的中心、主機和存儲設備均處于生產(chǎn)狀態(tài)和實現(xiàn)負荷

7、分擔雙活數(shù)據(jù)中心模型二 雙運營模式雙生產(chǎn)中心均需要完成生產(chǎn)業(yè)務通過數(shù)據(jù)復制技術或者使用分布式卷將數(shù)據(jù)復制到對方通過業(yè)務模塊或用戶的方式將業(yè)務分配到不同的中心平時主要的處理能力均分配給生產(chǎn)應用系統(tǒng)使用出現(xiàn)災難時，根據(jù)需要接管的方式，動態(tài)調度資源給備份系統(tǒng)使用雙活數(shù)據(jù)中心模型三 主備模式雙生產(chǎn)中心均需要完成生產(chǎn)業(yè)務通過數(shù)據(jù)復制技術或者使用分布式卷將數(shù)據(jù)復制到對方通過業(yè)務模塊或用戶的方式將業(yè)務分配到不同的中心平時主要的處理能力均分配給生產(chǎn)應用系統(tǒng)使用出現(xiàn)災難時，根據(jù)需要接管的方式，動態(tài)調度資源給備份系統(tǒng)使用傳統(tǒng)災備中心與雙活數(shù)據(jù)中心對比傳統(tǒng)災備中心不承載業(yè)務主數(shù)據(jù)中心投入運行，災備數(shù)據(jù)中心處在不工作

8、狀態(tài)，只有當災難發(fā)生時，生產(chǎn)數(shù)據(jù)中心癱瘓，災備中心才啟動傳統(tǒng)災備中心業(yè)務無法自動切換有停機窗口：如果生產(chǎn)數(shù)據(jù)中心癱瘓，需要半個小或兩個小時、甚至更長時間才能啟動災備中心，在啟動災備中心的時間里，用戶交易會嚴重受損傳統(tǒng)災備中心投入巨大（TCO高），資源不能有效利用災備中心建設的投資巨大及每年運維成本極高，如果資源處于閑置狀態(tài)，資源是相當浪費的.為保證備份中心隨時可用，科技部門每年都要耗費大量經(jīng)歷組織演練，通常為了規(guī)避業(yè)務風險，演練都是模擬性質的。這樣大費周章的演練在“雙活”模式中也是不必要的，因為每個數(shù)據(jù)中心每時每刻都是“活著”的。 企業(yè)彈性框架流程Processes技術架構Technology

9、組織Organization基礎設施Facilities策略Strategy應用與數(shù)據(jù)Applications and DataBusiness Continuity雙活技術框架總控中心網(wǎng)絡安全訪問及路由端到端監(jiān)控端到端監(jiān)控運維操作數(shù)據(jù)一致數(shù)據(jù)工具服務器同步存儲應用過程一致機房基礎設施自動化雙活實施框架規(guī)劃設計實施運行切換回切風險分析業(yè)務影響分析當前環(huán)境分析應用影響分析雙活策略設計雙活方案設計應急及災難恢復預案雙活災難恢復系統(tǒng)演練雙活運維組織流程制度機房基礎設施局域網(wǎng)服務器資源廣域網(wǎng)負載均衡網(wǎng)絡虛擬化服務器虛擬化網(wǎng)絡二層互通存儲虛擬化存儲資源數(shù)據(jù)復制及同步數(shù)據(jù)庫集群中間件集群應用集群自動切換自

10、動供給端到端監(jiān)控IT服務管理端到端安全客戶端接入公共服務計劃切換計劃回切災備切換災備回切CDN同城雙活架構生產(chǎn)中心AppAppAppAppAppAppAppAppAppAppAppDBDB同城雙活中心DBAppAppAppAppAppAppAppApp數(shù)據(jù)復制接入層應用層數(shù)據(jù)層采用數(shù)據(jù)庫雙活技術（A-A或A-Q)，同城雙活中心的應用系統(tǒng)可以讀取和更新數(shù)據(jù)接入層負載均衡存儲層同城高可用或并行文件系統(tǒng)應用層集群雙活部署模式分析類別序號基本模式RTORPO說明A-A1A-A(應用)00應用級2A-A(數(shù)據(jù)庫)00數(shù)據(jù)庫級A-Q3同步A-Q(數(shù)據(jù)庫)2小時0數(shù)據(jù)庫級4異步A-Q(數(shù)據(jù)庫)2小時15分鐘

11、數(shù)據(jù)庫級A-S5同步A-S(存儲)2小時0存儲級6同步A-S(存儲黑匣子)4小時0存儲級7異步A-S(存儲)2小時15分鐘存儲級8異步大數(shù)據(jù)備份恢復A-SAActive生產(chǎn) QQuery查詢 SStand-by待機議程1雙活數(shù)據(jù)中心概述2雙活數(shù)據(jù)中心關鍵技術點3雙活數(shù)據(jù)中心建設及運維關鍵點184雙活數(shù)據(jù)中心成功案例雙活數(shù)據(jù)中心技術概述雙活數(shù)據(jù)中心帶來的優(yōu)勢是顯而易見的，但其建設是一個復雜的系統(tǒng)工程。在技術層面，不僅涉及到服務器/虛擬機之間的集群協(xié)同，還包括數(shù)據(jù)的復制與同步，更重要的是涉及到跨數(shù)據(jù)中心的網(wǎng)絡互聯(lián)互通及分支/Internet用戶對DC的訪問，因此網(wǎng)絡對業(yè)務的感知能力及對流量的牽引成

12、為方案設計與部署的重中之重；此外，網(wǎng)絡訪問控制策略的遷移、服務器網(wǎng)關及數(shù)據(jù)同步對網(wǎng)絡帶寬與服務質量的要求、IP地址設置、路由發(fā)布控制、網(wǎng)關設計、防火墻狀態(tài)會話、流量路徑規(guī)劃及迂回控制等技術都是設計上必須要考慮和解決的雙活數(shù)據(jù)中心系統(tǒng)架構設計20“雙活”技術架構選型原則21雙活方案技術挑戰(zhàn)22所有雙活技術方案都必須解決以下技術挑戰(zhàn)：雙活數(shù)據(jù)中心之延遲:由于光速限制，每 100km 所產(chǎn)生的數(shù)據(jù)來回延遲約為1ms（理論值）。該延遲已經(jīng)跟一般硬盤讀寫可比。因此，會對實際應用性能構成影響, 特別是兩數(shù)據(jù)中心數(shù)據(jù)交互密切的業(yè)務。Quorum / Tie-Breaker 之需求:為了避免雙活數(shù)據(jù)中心產(chǎn)生腦

13、裂(Split Brain)或場地分割(site isolation) 狀況，解決方案需要提供有效的Quorum / Tie-Breaker方式來保證數(shù)據(jù)完整性.工作負載之考慮:業(yè)務交易中，應用所產(chǎn)生之寫操作 (INSERT, UPDATE, DELETE)比例越高，則越多數(shù)據(jù)需要跨數(shù)據(jù)中心傳送。這類型業(yè)務交易不利于雙活設計。主流雙活技術比較23類別實現(xiàn)層級實現(xiàn)機理優(yōu)劣勢典型產(chǎn)品 約束實施運維難度適用雙寫模式 應用程序由應用程序實現(xiàn)分布式寫操作與平臺無關產(chǎn)品投資少對應用開發(fā)人員要求較高阿里巴巴淘寶保證寫的一致性和完整性，通常需要采用如分布日志、交易協(xié)調器、兩階段提交等機制需要應用維護人員對其機

14、制有較深了解只適用變化量及頻率較低的應用數(shù)據(jù)，如配置、參數(shù)等，可實現(xiàn)AA模式操作系統(tǒng)采用系統(tǒng)的卷管理機制，實現(xiàn)VM鏡像雙寫，并借用高可用軟件實現(xiàn)雙機熱備 與數(shù)據(jù)庫存儲無關產(chǎn)品投資少距離限制近HACMP+LVMHyperSwapOS要同構；距離要求較近兩端需建立ISL，安裝和維護較為簡單適用近距離（建議2Km）的不對稱AA模式（互備）數(shù)據(jù)庫/存儲采用并發(fā)數(shù)據(jù)庫結合虛擬化可實現(xiàn)跨中心案例少技術還有待成熟PureScale或RACSVC/Vplex/GPFS要求有很高的網(wǎng)絡帶寬，低延遲；需要建立第三站點進行投票,通常需要做讀寫分離安裝和維護較為復雜,性能容易成為瓶頸適合近距離，高帶寬，低延遲，有AA

15、需求的應用環(huán)境接入網(wǎng)絡采用網(wǎng)絡負載均衡設備實現(xiàn)多點接入可實現(xiàn)跨中心應用較為成熟F5,RadwareCtrix適用于接入層負載均衡安裝和維護較為簡單對距離沒有限制，可基于域名和IP地址制定負載分擔和路由的策略，可實現(xiàn)AA模式復制模式應用程序應用人員開發(fā)交易轉發(fā)路由，將交易序列化后，轉發(fā)給災備端路由，并在災備端Apply交易與平臺無關產(chǎn)品投資少對應用開發(fā)人員要求較高阿里巴巴淘寶需要對應用交易結構十分了解，需要保證交易傳輸?shù)囊恢滦浴⒁M行必要的流控，防止交易丟失需要應用維護人員對其機制和交易結構有較深了解適用于近距離（同城），數(shù)據(jù)變化量相對較低的應用，可實現(xiàn)A-Q模式或不對稱AA中間件在中間件層對交

16、易或數(shù)據(jù)進行序列化，并轉發(fā)到災備端，災備端讀取交易數(shù)據(jù)流，進行應用操作與數(shù)據(jù)庫無關案例較少MQ,WAS 跨中心集群通常借助一些低延遲的消息傳遞軟件來實現(xiàn)，由于不是主流，部分軟件已經(jīng)不再發(fā)展安裝和維護較為復雜適用于近距離（同城），數(shù)據(jù)變化量相對較低的應用，可實現(xiàn)A-Q模式或不對稱AA數(shù)據(jù)庫在生產(chǎn)端讀取Redo日志信息，傳到對端，通過Redo Apply機制在災備端恢復源庫數(shù)據(jù)與平臺無關產(chǎn)品投資少災備端不可用對主庫有一定影響HADRDataGuard兩端要同構不能復制數(shù)據(jù)庫外數(shù)據(jù)安裝和維護相對簡單適合簡單而全面的數(shù)據(jù)庫保護的同構環(huán)境的AS模式在生產(chǎn)端捕獲交易發(fā)生信息，傳到對端，通過SQL Appl

17、y機制在災備端恢復源庫數(shù)據(jù)（支持準同步和異步）支持異構環(huán)境帶寬占用小災備端可打開系統(tǒng)資源消耗少一些DDL語言不能復制Q-RepicationCDCGoldenGateShareplex可視具體產(chǎn)品而定，通常包括，不能復制非結構數(shù)據(jù)，存儲過程、觸發(fā)器、部分DDL語言操作，即不能復制庫結構變化安裝和維護較為復雜適合需要靈活的高可用、A-Q模式，異構環(huán)境操作系統(tǒng)通過OS邏輯卷的管理軟件，實時抓取數(shù)據(jù)變化，并傳輸?shù)綖膫涠藢恚ㄖС滞健⒑彤惒剑┡c存儲、數(shù)據(jù)庫無關；占用帶塊較多切換時間較長Softek, GLVM VVR，Double-Take兩端OS要一致災備端卷不可訪問一些產(chǎn)品需要重建系統(tǒng)卷管理機

18、制安裝和維護較為復雜，適合較大數(shù)據(jù)量復制的A-S模式存儲通過存儲（或虛擬存儲）的卷控制器，實時捕獲卷上數(shù)據(jù)變化，并傳輸?shù)綖膫涠藢恚ㄖС滞胶彤惒剑﹤鬏斖掏铝看蠹夹g成熟占用帶寬較多切換時間較長MM/GM/MGM,SRDF/TrueCopy/BCSVC/Vplex/SVM災備端卷不可訪問；兩端環(huán)境要同構（如果采用虛擬存儲，則虛擬控制器本身要同構）；需要搭建FCoIP或ISL安裝和維護相對簡單適合大容量數(shù)據(jù)，遠距離復制的AS模式網(wǎng)絡在SAN網(wǎng)絡上，通過旁路設備復制數(shù)據(jù)流，分流后傳輸?shù)綖膫涠伺c平臺無關對原系統(tǒng)影響小需要專用設備CDPIP_SAN需要安裝專用設備安裝和維護相對簡單適合較大容量數(shù)據(jù)，較

19、遠距離復制的AS模式網(wǎng)絡層設計 虛擬化數(shù)據(jù)中心網(wǎng)絡構建24訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層網(wǎng)絡層設計 跨數(shù)據(jù)中心二層互聯(lián)25應用場景基于IP層面實現(xiàn)跨數(shù)據(jù)中心的L2互聯(lián)。不依賴MPLS & STP、對廣播流量有優(yōu)化措施、對多地點的網(wǎng)關一致性有配套的解決方案。對Vmotion有優(yōu)化支持。技術優(yōu)勢用戶有兩個或以上的數(shù)據(jù)中心L2互聯(lián)需求 或者用戶在數(shù)據(jù)中心內有跨L3的L2連接需求適用于：主機集群，Vmotion,主機遷移訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層網(wǎng)絡層設計 二層多路徑26訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層網(wǎng)絡層設計 L2MP 二層多路徑27訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層應用場景支持二層多路徑的

20、拓撲-所有鏈路都可用可以用它代替 Spanning Tree可以用它實現(xiàn)一個超大的L2網(wǎng)絡矩陣快速L2網(wǎng)絡收斂技術優(yōu)勢需要構建超大局域網(wǎng)絡的用戶 對帶寬渴求有強烈需求的用戶應用: Mobility & Cluster 范圍的擴大數(shù)據(jù)層架構設計 VPLEX Metro技術28訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層數(shù)據(jù)層架構設計 VPLEX Metro for Oracle RAC技術29訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層數(shù)據(jù)庫層架構設計 Oracle Extended RAC訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層數(shù)據(jù)庫層架構設計 DB2 HADR訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層虛擬化環(huán)境應用切換設計1- VM

21、ware Metro vMotion 技術32訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層虛擬化環(huán)境應用切換設計2- Vmware SRM技術33訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層虛擬化架構設計- VPLEX Metro for VMWARE Metro 集群技術34訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層用戶接入層設計-基于應用集群的遠程訪問解決技術35訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層用戶接入層設計-基于域名的遠程訪問技術36訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層用戶接入層設計-基于IP的訪問技術37訪問層切換層數(shù)據(jù)庫層數(shù)據(jù)層網(wǎng)絡層議程1雙活數(shù)據(jù)中心概述2雙活數(shù)據(jù)中心關鍵技術點3雙活數(shù)據(jù)中心建設及運維關鍵點384雙活數(shù)

22、據(jù)中心成功案例建設關鍵點39雙活需求確定雙活是一個寬泛的概念，分類多，因此需要根據(jù)條件和目標加以界定。主客方要達成共識。 雙活數(shù)據(jù)中心部署決策樹39兩個站點之間的距離是否小于100公里 ？兩個站點之間是否有裸光纖和/或波分設備?分應用雙活基于雙活存儲，還是基于(同/異步)復制存儲否否否非對稱雙活對稱雙活建設關鍵點40各個層面的整合是實現(xiàn)數(shù)據(jù)中心雙活的難點從上到下各個層面（網(wǎng)絡、存儲、數(shù)據(jù)庫、應用）都要實現(xiàn)雙活，才能真正意義上實現(xiàn)整個數(shù)據(jù)中心的雙活。企業(yè)中的IT基礎架構設施多種多樣，整合難度大！ 硬件設備、網(wǎng)絡、存儲、應用軟件、中間件到數(shù)據(jù)庫都是各種各樣的 不同層面的各廠家都有自己的雙活技術 在多種可能的技術選擇方案中尋求平衡和控制是比較困難的！ 網(wǎng)絡雙活 雙