異地大數據備份方案設計

1、新一篇：VERITAS的全線存儲備份容災解決方案第一章災難備份背景及優(yōu)勢”二二二二二二二二二二二二二3'1.1 什么是計算機業(yè)務系統(tǒng)的災難 31.2 國外計算機業(yè)務系統(tǒng)災難備份應用情況 31.3 國內計算機系統(tǒng)的災難備份計劃的應用情況 41.4 建設災難備份中心的重要意義 4第二章災難分析 7第三章災難備份設計目標 83.1 災難備份的設計目標 8第四章災難備份設計思路及模型 94.1容災項目開始 94.2災難風險分析 94.3制定恢復計劃 94.4方案實施 94.5支持與維護 9第五章 XXXX 業(yè)務系統(tǒng)災難備份/恢復體系設計 125.1 災難備份/恢復體系總體設計 125.2 應用

2、層方式容災結構簡介 135.3 數據庫方式容災結構簡介 155.4 鏡像軟件容災方式結構簡介 195.5 XP磁盤陣列容災方式結構簡介 215 . 5 . 1災難恢復系統(tǒng)硬件，軟件配置說明 235 . 5 . 2 XP CA軟件容災原理 245 . 5 . 3切換步驟265 . 5 . 5 XP容災方案性能分析 30第六章災難備份恢復流程 31第七章培訓測試及維護 337.1 培訓337.2 測試災難備份計劃 337.3 維護34第八章成功案例介紹 358.1 國外成功案例358.2 國內成功案例35第一章災難備份背景及優(yōu)勢1.1 什么是計算機業(yè)務系統(tǒng)的災難今天，XXXX比以往任何時候都更加依

3、賴于計算機系統(tǒng)，計算機系統(tǒng)在為 XXXX迅猛發(fā)展提供技術基礎架構的同時，由于用戶業(yè)務處理的高度集中，以及不可預見的故障和災難，導致整個系統(tǒng)存在很多災 難性破壞的隱患，有可能成為整體系統(tǒng)中的單故障點。因此，業(yè)務的拓展與災難的防范是所有用戶都必須 同步重視的問題。那么，什么是計算機業(yè)務系統(tǒng)的災難呢？通常的定義是指采用計算機系統(tǒng)處理的重要電 子數據丟失至不可恢復或由此導致業(yè)務中斷以至于延長到不可接受的時間。1.2國外計算機業(yè)務系統(tǒng)災難備份應用情況災難備份計劃在發(fā)達國家電信行業(yè)和金融行業(yè)得到了較早的實施，現已較為普遍。例如在美國，因一 九八五年紐約銀行計算機故障，聯邦管理部門更加強了在這方面的監(jiān)管力度

4、?，F美國計算機業(yè)務系統(tǒng)一般 岀于以下三方面來考慮災難備份計劃：重要數據保護與業(yè)務連續(xù)運行的需要：在美國，各行業(yè)內部競爭激烈；在計算機管理制度上較為完善；一旦因突發(fā)災難而造成數據丟失或業(yè)務中斷，將會造成重大乃至致命的打擊。審計的要求：美國較大型的企業(yè)一般會由第三家獨立審計公司來提供其資信業(yè)務、管理等方面咨詢服 務，而世界著名的六大審計公司在對企業(yè)的評估項目中均包含災難備份計劃一項；評估企業(yè)數據在災難等 威脅破壞下數據的完整性，一致性與安全性，及業(yè)務的可恢復性等，有些咨詢審計公司還會參與驗證所制 訂的容災計劃的具體過程和其可行性。缺少災難備份計劃及其危害性會在評估報告中被顯示岀來。法律的要求：美國

5、政府及州政府通過多項法律強制性要求電信、金融業(yè)等大型企業(yè)備有計算機安全及 災難備份計劃。對于沒有遵守這項災難備份計劃的企業(yè)，會遭受曝光及罰款等嚴重處理，同時亦可能對相 關責任人采取罰款甚至監(jiān)禁等處罰。已知的災難例子有：日本神戶大地震、美國佛羅里達州颶風（數百家 企業(yè)實施了災難備份計劃）、臺灣大地震等。1.3國內計算機系統(tǒng)的災難備份計劃的應用情況隨著我國入 世”的腳步越來越近，傳統(tǒng)產業(yè)在進入新市場新方式的競爭中，企業(yè)的電子信息架構的搭建，成為最具有戰(zhàn)略意義的資源投資。作為信息架構核心的數據，其安全備份和災難恢復隨著世紀交替Y2K問題的引發(fā)，逐漸引起人們的思考和重視?，F代企業(yè)必須直面一個迫在眉睫的

6、問題：如何對數據進行 持續(xù)不斷地存儲，并通過有效地應用這些信息，提高企業(yè)的利潤率和競爭力。所以，在當今企業(yè)運營電子 化的進程中，存儲將與網絡、軟件應用和系統(tǒng)CPU處于同等重要的地位，成為決定系統(tǒng)成熟與否的關鍵。由于存在著各種數據丟失的可能，隨著人們對網絡系統(tǒng)的依賴日益增加，從硬件到軟件對數據的保護 和備份確實是不容忽視的環(huán)節(jié)。企業(yè)的IT專家們逐漸認識到，可能造成數據丟失的因素主要有三種：自然災害的災難性破壞造成數據永久丟失，最佳的解決方案就是異地數據備份；計算機和網絡系統(tǒng)的硬件和 軟件故障，這種損失也只有通過完整的數據備份來彌補；另外，自然免不了黑客的破壞以及人員的操作失 誤。這些事故的發(fā)生都

7、是防不勝防的，唯一能把損失降到最低的辦法就只有依賴具有數據備份和災難恢復 功能的存儲設備。近年來國內用戶在計算機應用方面的飛速發(fā)展，計算機系統(tǒng)基礎架構的建設、特別是計 算機容災系統(tǒng)的設計與建設正逐漸被用戶所重視。不言而喻，如果用戶的業(yè)務系統(tǒng)有一套完備的災難備份/恢復體系，當突發(fā)性災難發(fā)生后，業(yè)務系統(tǒng)關鍵業(yè)務數據的損失將減至最小。特別是隨著中國加入WTO的日益臨近和行業(yè)競爭越來越激烈，完善的災難備份/恢復體系在不遠的將來將是國內企業(yè)發(fā)展的可靠保 障。在國內，隨著In ter net的逐漸普及和電子商務熱潮的興起，企業(yè)需要整合越來越多的數據，而數據的合并、管理、分享、保護都需要一個強大的、高可靠性

8、的數據中心；同時，隨著國內企業(yè)經營者對企 業(yè)數據信息的價值和數據安全備份的認識的提高，存儲設備的投資也正在企業(yè)信息化建設的投入中占據著 越來越高的比重。IT行業(yè)權威人士認為，在將來的一至兩年中，數據存儲系統(tǒng)要花費所有企業(yè)計算系統(tǒng)投 資的70 %。1.4建設災難備份中心的重要意義隨著計算機管理技術和網絡技術的發(fā)展，為了提高企業(yè)業(yè)務管理水平、增強企業(yè)市場競爭能力，越來 越多的企業(yè)開始使用計算機來處理內部日常事務和外部業(yè)務往來，從而使得這些企業(yè)越來越依賴于系統(tǒng)管 理數據和業(yè)務信息。尤其是在企業(yè)業(yè)務不斷增加、數據量成倍增長乃至岀現數據膨脹現象時，由此引發(fā)的 企業(yè)從數據膨脹、到計算機性能提高、再導致新一

9、輪數據膨脹的循環(huán)不斷加劇，進而在企業(yè)中引起新的數 據安全恐慌，數據失效問題時有發(fā)生。建設災難備份中心的目的就是在于防止一些災難性的小概率事件可 能對集中式信息系統(tǒng)造成的不可恢復的原始數據的丟失，這些災難性事件可能包括為火災，地震，電源故 障及一些人為的操作失誤等，如下圖所示?，F代企業(yè)管理非常重視總體擁有成本（ TCO ）。所謂TCO，實際上是由實際成本、使用成本和風 險成本三項組成。實際成本和使用成本在企業(yè)的建設與生產中往往容易引起人們重視，因而考慮得非常周 到。而風險成本不僅是企業(yè)看不見、摸不著的東西，也是企業(yè)運作時很難預料和把握的內容。在使用計算 機系統(tǒng)的企業(yè)中，風險成本包含用于管理關系到

10、企業(yè)生命的各項數據與信息的安全、正常、可靠的高速運 行的所需費用。所以，為將風險成本降至最低，同時使企業(yè)長期處于最佳狀態(tài)，對企業(yè)業(yè)務和計算機管理 與控制系統(tǒng)數據進行全面存儲備份是一項絕對值得的、也是必要的投資。我們知道，隨著企業(yè)計算機系統(tǒng)建設計劃的逐步實施，XXXX的日常業(yè)務同計算機系統(tǒng)的聯系越來越緊密。因此，業(yè)務主機系統(tǒng)的運行岀現故障所帶來的業(yè)務影響范圍會被迅速擴大，而客戶對企業(yè)計算機 業(yè)務系統(tǒng)的連續(xù)運行，業(yè)務系統(tǒng)、用戶數據的高可用性以及業(yè)務計算機系統(tǒng)抵御突發(fā)性災難的能力的要求 也必然急劇提高。XXXX建設災難備份/恢復中心有如下的意義： 重要業(yè)務數據在災難發(fā)生后得以有效保護 重要業(yè)務在災難

11、發(fā)生后可以在設定的時間內恢復，從而實現業(yè)務的連續(xù)運行 業(yè)務計算機系統(tǒng)抵御突發(fā)性災難的能力和級別提高 進一步提高XXXX聲譽，增強客戶及潛在客戶的信心 擴大對同行業(yè)競爭對手的優(yōu)勢第二章災難分析可能發(fā)生的災難因各城市/地域的地理、氣候、社會治安、城市管理，如供水、供電、通訊條件等差 異而有所不同。仔細地分析各種突發(fā)性災害發(fā)生的可能性以及由此所造成的后果，對于制定和構建完整的 和有很強針對性的災難備份體系是有很大幫助的。下表是一張分析表樣本，可使我們對于可能發(fā)生的突發(fā)性災難評估有較為清晰的概念。可能的災難可能性：12345工作場所火災數據中心火災電源故障氣候災難（臺風，洪水等）工業(yè)破壞城市事件（罷工

12、，動亂等）硬件故障軟件故障設備問題（如管道漏水等）供水故障通訊系統(tǒng)故障計算機故意破壞（如病毒等）爆炸威脅工作場所的環(huán)境緊急事件（化學污染等）第三章災難備份設計目標3.1災難備份的設計目標采用何種容災方式（邏輯數據復制/物理數據復制）實現災難備份系統(tǒng)的設計目標主要應從以下四個 方面來考慮：具體數據類型與目標的災難保護：從用戶業(yè)務系統(tǒng)正常運作的角度分析各種關鍵業(yè)務數據，作岀重要性與可恢復性要求的評估，并由此制定系統(tǒng)的數據災難保護政策。災難發(fā)生后的可恢復業(yè)務分析：對用戶各種業(yè)務與管理流程進行分析評估，并據此制定岀用戶核心業(yè)務系統(tǒng)的災難備份/恢復策略。災難發(fā)生后的可恢復分析： 對于突發(fā)性災難這樣的重大

13、事件，有時受災地區(qū)并不茍求所有業(yè)務系統(tǒng)都能夠可持續(xù)運營，故可按實際需求和比例進行分析，并由此配置相應的容災設備。災難發(fā)生后的業(yè)務可恢復時間指標：可以將災難的發(fā)生分為兩類，一類是可以預計具體時間的災難，如損害性極大的臺風等；另一類是不可預計具體時間的突發(fā)性的災難，如地震、主機系統(tǒng)的非計劃性Down機等。針對兩種不同的災難類型，要設定不同的業(yè)務恢復時間指標。一般來說，對第一類災難的業(yè)務 恢復時間要大大短于對第二類突發(fā)性災難的業(yè)務恢復時間.根據用戶對系統(tǒng)容災能力的不同要求以及投資方面的因素，HP公司提供多種容災解決方案，各有側重不同，我們會從不同的角度介紹容災系統(tǒng)的實現方法，以及系統(tǒng)的典型配置。第四

14、章災難備份設計思路及模型為了設計與實施xxxx的災難備份系統(tǒng)，按照大型項目的管理方法和HP公司在項目管理方面所積累 的豐富經驗，在這里將整體項目的設計與實施分為五個階段：4.1容災項目開始明確xxxx災難備份/恢復計劃的必要性 明確災難備份計劃的負責人和實施隊伍制定項目實施時間表。4.2災難風險分析確定對xxxx業(yè)務至關重要的系統(tǒng)、網絡和用戶確定由于自然或人為災難對這些造成的威脅和損失，并盡可能準確為具體的損失 收集各種業(yè)務和用戶對系統(tǒng)中斷時間等的要求4.3制定恢復計劃制定當災難發(fā)生，原業(yè)務主機系統(tǒng)或網絡系統(tǒng)不可用時，提供第二主機（災備主機）或網絡（災備網 絡）的選擇策略。4.4方案實施開始實

15、施災難備份計劃，如數據實時在線備份、應用系統(tǒng)切換、記錄本地數據備份的磁帶管理等。4.5支持與維護由指定的人員、部門或公司提供容災系統(tǒng)的日常支持與維護服務，保證災難備份/恢復系統(tǒng)的可持續(xù)，高可用運行。以下為容災方案實施各階段的框圖：項目開始災難風險分析方案實施支持與維護制定恢復計劃對于其中的核心部分-第三項制定恢復計劃”，根據xxxx 的業(yè)務特點，這里分為以下幾個步驟:1、制定業(yè)務主機系統(tǒng)集群系統(tǒng)熱備份計劃：包括對服務器、操作系統(tǒng)、應用系統(tǒng)、數據庫系統(tǒng)、重 要數據等的熱備份計劃。2、制定位于生產地的、與業(yè)務主機系統(tǒng)相關的前置服務器數據熱備份計劃：包括對其他機型的操作 系統(tǒng)、數據庫系統(tǒng)、應用系統(tǒng)、

16、重要數據和通訊配置等的熱備份計劃。3、制定網絡通訊備份計劃：對網絡設備、網絡協議、網絡參數設定、故障切換的邏輯過程、通訊線 路的備份計劃等。4、制定客戶端備份計劃：包括終端設備，終端用戶的注冊與權限管理的備份。5、制定磁帶備份計劃：包括系統(tǒng)備份、非系統(tǒng)數據文件備份、業(yè)務數據庫數據備份，及與備份系統(tǒng) 相關的其他全量備份、增量備份等，以構成完整的系統(tǒng)保護措施。6、制定災難備份指示系統(tǒng)：此系統(tǒng)用來提供清晰全面的災難備份指南，可以在災難發(fā)生時在最短時 間內找到災難備份流程，與相關負責人和供應商的聯系方式，以及應當采取的應急措施等。如下為流程框圖：第五章xxxx業(yè)務系統(tǒng)災難備份/恢復體系設計5.1災難備

17、份/恢復體系總體設計惠普公司為xxxx業(yè)務系統(tǒng)提供的災難備份/恢復方案可以滿足用戶對于計算機系統(tǒng)、數據的最高保護要求，保證即使發(fā)生斷電，火災等嚴重災難時，用戶業(yè)務也可以7x24小時的連續(xù)運行，同時確保業(yè)務數據在主中心和備份中心得到及時的更新，保證用戶數據最大的完整性。根據惠普公司多年來所積累的實施高可靠性災難備份/恢復解決方案的成功經驗， 我們可以承諾用戶在最小的投資范圍內，按照惠普公司的項目實施流程，在最短的時間周期內達到整個項目的設計目標，并且通過惠普公司完善周全的售后服務體系，確保XXXX核心業(yè)務計算機系統(tǒng)的全天候、安全、穩(wěn)定的運行。由于用戶數據 中心的核心業(yè)務系統(tǒng)相對集中，因此在數據中

18、心實現關鍵業(yè)務數據的規(guī)范化的本地數據備份是災備系統(tǒng)建設的前提基礎；同時通過進行重要業(yè)務數據的遠程同步實現用戶重要業(yè)務數據的遠程異地存儲，為實現業(yè)務系統(tǒng)的遠程正常運作奠定堅實的基礎；容災系統(tǒng)的關鍵就是遠程生產數據的自動復制，由于用戶的應用均為基于數據庫的聯機事務處理（OLTP）業(yè)務系統(tǒng)，所以業(yè)務數據遠程復制的關鍵就是確保數據庫數據的完整 性、連續(xù)性，實時性和可恢復性。而現在惠普公司基于用戶不同的容災需求所提供的災難備 份/恢復方案主要有以下四大類型：1）通過應用程序來進行遠程數據復制（應用層次）；其主要原理就是通過修改應用程序或者使用 BEA等公司的中間件產品，使得前端平臺在向數據庫服務器發(fā) 送

19、生產數據時，同時向主數據中心和備份數據中心均發(fā)送交易數據，主數據中心處理交易數據并返回處理結果，備份中心在正常情況下，只處理交易數據，當主數據中心無法正常工作 時，備份中心服務器接替主中心服務器向前端平臺返回處理結果。2）利用數據庫廠家的軟件產品完成遠程數據備份（數據庫層次）；現有的一些數據庫廠家例如Oracle數據庫可以提供STANDBY數據庫功能，通過通信網絡將實際數據庫日志文件傳至備份中心存儲系統(tǒng)，備份中心的STANDBY數據庫按照主數據庫結構從日志文件中重新恢復數據庫；又例如Informix 數據庫可以提供 HADR（High-AvailabilityData Replication）

20、功能，在初始化時將主數據中心的數據庫中的所有dbspace進行一次零級備份，并恢復到備份數據中心的數據庫中，之后主數據中心的數據庫服務器可以通過通信網絡將生產數據庫的邏輯日志文件傳送至備份中心的數據庫服務器，備份中心的seco ndary數據庫將這些邏輯日志恢復到相應的dbspace上.3）利用主機上安裝的操作系統(tǒng)級鏡像軟件進行遠程數據鏡像（系統(tǒng)軟件，如 HP-UX MirrorDisk/UX ，Veritas Volume Replicator 等）；主中心存儲設備與備 份中心存儲設備進行邏輯卷鏡像，主機同時將數據分別寫到本地和遠程的磁盤設備上，實現業(yè)務數據的遠程復制。4）通過惠普最新存儲產

21、品 XP系列磁盤陣列（磁盤陣列硬件層次），可以實現主數據中心和備份中心的操作系統(tǒng)、文件系統(tǒng)、數據庫、應用程序的實時遠程拷貝復制。主、備中心XP磁盤陣列本身就可以通過陣列上的微處理器完成數據的實時同步功能， 將災難發(fā)生時關鍵數據的損失降至最低，而且不需要主機干涉或占用主機資源，可以做到災難發(fā)生的同時實現應用處理過程的恢復。遠程備份系統(tǒng)的重新啟動可以做到象一般輸入電源故障后的重新啟動那么簡單。以下是對各種容災實現方案的總體比較:數據量應用復雜度數據實時性對主機性能影響帶寬投資成本交易數據備份交易數據高（可 能修改應 用）低<10%幾十萬數據庫 日志備份2-4倍交易數據數據 庫工具可能至少丟失

22、1個LOG較咼(10-20%)幾十萬鏡像軟件4-8倍交易數據應用透明高（I/O級）， 網絡/鏡像軟件 故障影響主機業(yè) 務高(10-30%)幾百萬磁盤陣列4-8倍 交易數據應用透明高（I/O級）無幾百萬5.2應用層方式容災結構簡介利用應用層容災方式建立針對用戶業(yè)務的災難備份系統(tǒng)，其主要原理是通過應用程序或者中間件產品同時向主中心和備份中心傳輸未經處理的生產數據，主中心服務器和備份中心服務器同時處理數據。在正 常情況下，只用主中心和業(yè)務系統(tǒng)聯系，備份中心只在后臺處理數據；當主中心癱瘓時，由于備份中心也 存有生產數據庫，也存有生產數據，所以可以迅速接管業(yè)務。由于是利用應用軟件來實現數據同步及保證 一

23、致性的，因而對于硬件方面的影響較小。如圖所示：這種方案的主要優(yōu)點就是：a）由于通過網絡傳輸交易數據時未經數據庫處理，所以傳輸數據量小，對傳輸數據的網絡帶寬要求不高；b）傳輸數據過程中，主中心和備份中心異步進行，由傳輸距離產生的延遲和通信帶寬瓶頸不 會對應用產生較大影響.缺點是：a）對應用程序修改較大，增加應用軟件商二次開發(fā)負擔；b）由于主，備數據中心的業(yè)務處理過程為異步進行，如何保障數據的一致性非常困難，需要 在應用中對數據的同步進行周密的設計；這種容災方式適合于傳輸距離極長（幾千公里），且網絡傳輸帶寬和通信質量無法得到有效保證的用 戶環(huán)境而對于存儲設備則沒有嚴格的限制，用戶可以靈活的選擇滿足

24、容量和速度要求的存儲設備。5.3數據庫方式容災結構簡介5. 3. 1原理數據庫方式由于只是傳送數據庫日志，與應用沒有直接關系，因此無須對應用程序作大量修改。以下介紹主要以Oracle和Informix數據庫為主。數據庫方式容災通過數據復制把數據定期、在線地復制到目的地的機器上去，以保持分布在不同地方的兩個或多個數據庫系統(tǒng)內容的一致性，來實現數據保護。但它 將消耗大量的主機資源（至少要占用監(jiān)控和復制兩個進程）。復制的對象是數據庫的處理單位，如事務日 志（邏輯日志），實現方式也有同步與異步兩種，嚴格來講，這種方法很難有真正的同步方案。因為同步 數據復制要求做任何一筆交易，都要實時地將結果發(fā)送到遠程

25、的站點中，等遠程操作結束后，再執(zhí)行下一 筆交易；而在實際操作中，很難做到這一點，只能做異步的數據復制。所以一個實時應用系統(tǒng)中，一般采 用異步方式。備份數據中心通過網絡連接到中央數據中心。在正常情況下，Oracle數據庫運行在主數據中心的服務器上，數據存儲于主數據中心的磁盤陣列中。利用Oracle數據庫提供的STANDBY數據庫功能，可以通過通信網絡將實際數據庫日志文件傳至備份中心存儲系統(tǒng)，備份中心的STANDBY數據庫按照主數據庫結構從日志文件中重新恢復數據庫，以保持數據的一致性。一旦中央數據中心出現問題，用戶可以立即啟動備份數據中心的備份數據庫以及相關應用。Achivelog的備份方式這一實

26、現方式的關鍵在于通過一個專用程序將主數據中心的數據庫中的Achive Log定時通過通信網絡傳輸到備份中心的數據庫中。一旦主數據中心不能提供服務，備份中心首先通過Redo Log恢復數據，然后再代替主數據中心恢復應用?；跀祿旆绞降娜轂哪軌虬炎兓说臄祿ㄆ凇⒃诰€地復制到目的地的機器上去。對用戶來說，這 種復制方式的優(yōu)點是能夠較好地保證數據的一致性，但它將消耗大量的主機資源（至少要占用監(jiān)控和復制 兩個進程）。此方案可以做到在有限的投資范圍內，充分利用現有機器設備，實現應用系統(tǒng)和重要數據的災難恢復功能。作為惠普公司成熟的災難恢復技術，此方案已經在國內許多用戶中成功實施過。其中包括：上海浦東國際

27、機場災難恢復系統(tǒng)等。建立遠程容災環(huán)境：利用中央數據庫的全備份（零級備份）建立災難備份數據庫由專門進程負責傳輸中央數據庫生成的日志文件到遠地，這里可以通過定義日志文件大小及傳輸時機來控制災難發(fā)生時的數據損失盡量降低，并可加快容災應用切換速度，盡快恢復業(yè)務在備份數據 中心系統(tǒng)上運行。災難備份數據庫使用傳輸來的日志文件（Archive log或Logical log ）不斷更新備份數據庫，這時數據庫一直處于恢復狀態(tài) （In formix 數據庫為quiesce nt 狀態(tài)），其數據不可被訪問（對 于Informix 數據庫，備份數據庫中的數據可被用來進行讀操作，但無法進行寫操作）。災難備份數據庫更新

28、岀錯且無法解決時，應重新建立備份數據庫。 災難備份數據庫應定期做激活測試，以確保其在關鍵時刻的可用性。 應用系統(tǒng)需考慮發(fā)生災難時如何將聯接切換到災難備份數據庫。容災切換：將中央數據庫的可取得的日志文件傳至災難數據庫后，將災難備份數據庫更新到最近點，并開啟數據庫供應用系統(tǒng)使用；立即對災難數據庫做數據庫全備份； 對損失的數據進行修補；以建立災難數據庫的同樣方式建立中央數據庫，并將運行系統(tǒng)切換回中央數據庫，該次切換 可做到數據無損失；立即對中央數據庫做數據庫全備份； 重新建立災難備份環(huán)境，恢復容災系統(tǒng).5. 3. 2容災環(huán)境維護（中央數據庫結構發(fā)生變化）日常管理中，需對中央數據庫的歸檔日志（邏輯日志

29、）目錄定期進行備份和清理，亦需清除災難備份數據庫的歸檔日志（邏輯日志）目錄中使用過的歸檔日志（邏輯日志）。在系統(tǒng)運行過程中，可能發(fā)生改變中央數據庫結構的情況，這時需要進行適當的操作使災難備份數據庫跟上更新變化，保持數據庫結構的一致和同步：1增加數據文件在中央數據庫上增加數據文件將產生相應的日志，當被施用到災難備份數據庫時控制文件中會加入此數據文件名，此時如災難備份數據庫能在相應目錄找到此數據文件，恢復操作繼續(xù)；否則會停止，在繼續(xù)恢復操作之前，需選擇以下操作：-將此新數據文件拷貝到災難備份節(jié)點的相應目錄下；-在災難備份數據庫上執(zhí)行命令Alter Database Create Datafile

30、file name '.2數據文件更名對中央數據庫的數據文件進行更名，需要刷新災難備份數據庫控制文件，或在對中央數據庫作該操作時亦對災難備份數據庫作類似操作，即可確保中央與災難備份數據庫的同步。3修改聯機日志文件設置在對中央數據庫的聯機日志文件進行增加、刪除等操作后，都不會影響災難備份數據庫。但在中央數據庫上執(zhí)行命令Alter Database Clear Un archived Logfile，或以 Resetlogs選項打開數據庫，則會使容災備份數據庫失效，因為容災備份數據庫無法得到進行恢復操作所需的歸檔日志文件，這時需要重新建立容災環(huán)境。4修改控制文件若在中央數據庫上使用Crea

31、te Con trolfile命令執(zhí)行以下操作，將使容災數據庫的控制文件失效：-改變聯機日志組或文件的最大數目參數-改變數據文件的最大數目參數-改變并發(fā)打開數據庫的實例的最大數目參數 此時需要刷新災難備份數據庫控制文件。在中央數據庫上使用帶Resetlogs選項的Create Controlfile命令將在下一次打開中央數據庫時重置聯機日志，日志序列回到1，從而導致容災備份數據庫失效。5數據庫啟動參數建議使中央數據庫與災難備份數據庫的參數配置相同，以免因參數不同影響容災數據庫的性能甚至恢復操作的實現。6刷新災難備份數據庫控制文件當中央數據庫控制文件發(fā)生改變時，依照以下步驟刷新災難備份數據庫的控

32、制文件：-停止災難備份數據庫的恢復操作-關閉災難備份數據庫-在中央數據庫上執(zhí)行命令Alter Database Create Standby Database ControlfileAs file name '創(chuàng)建供災難備份數據庫使用的控制文件-在中央數據庫上執(zhí)行命令Alter System Archive Log Current歸檔出當前日志-將上兩步產生的控制文件及歸檔日志文件傳送至容災節(jié)點-啟動災難備份數據庫在Nomount狀態(tài)，執(zhí)行Alter Database Mount Standby Database使數據庫處于Mount狀態(tài)-進行災難備份數據庫的正常恢復操作7關于Un r

33、ecoverable 操作產生的數據中央數據庫上用 Un recoverable 選項操作(如 Create Table un recoverable )產生的 數據更新不生產日志，因此無法傳送到災難備份數據庫，此時只能采用以下三種方法之一：-在災難備份數據庫中，使受該操作影響的數據文件處于Offline 狀態(tài)。災難切換后，刪除災難備份數據庫中相應的表空間。該方法在允許損失此整個表空間數據時才能使用。-重建容災環(huán)境-在中央數據庫上備份該操作影響的表空間，歸檔當前的日志，傳送到容災節(jié)點后，開啟災難備份數據庫的恢復操作。注意：如在中央數據庫做了 Un recoverable操作，而未采用以上方法進

34、行操作， 仍在災 難備份數據庫上進行正常恢復，將不會有錯誤信息提示，該錯誤信息將出現在數據庫日記中($ORACLE_BASE/admin/<sid>/bdump/alert_<sid>.log)。因此管理員必須定期檢查數據庫日記。5. 3. 3優(yōu)缺點比較用數據庫功能實現遠程數據復制的優(yōu)點為：a）支持廣域網協議，備份中心地點不受傳輸距離影響；b）硬件/軟件投資較少；缺點主要為：a）傳輸歸檔日志或邏輯日志需占用主機資源（CPU，內存，網絡等，具體指標未確定）；b）當災難發(fā)生時，業(yè)務無法在備份中心得到迅速恢復；c）備份中心的數據無法快速恢復回主數據中心，從而應用無法快速切換回

35、主中心運行；d）無法實現非數據庫數據的遠程復制；此種容災方式適合于只遠程備份數據庫數據，傳輸距離較長（幾百公里以上），且網絡傳輸帶寬不大 的用戶環(huán)境.5.4鏡像軟件容災方式結構簡介利用操作系統(tǒng)層的鏡像軟件,如HP-UX MirrorDisk/UX，實現本地主數據中心的邏輯卷和遠端備份數據中心的邏輯卷之間的實時同步數據復制當主數據中心發(fā)生突發(fā)性災難時，用戶可以通過在備份中心服 務器上激活相應的卷組和邏輯卷，進而啟動備份中心服務器上的數據庫和應用系統(tǒng)，從而實現業(yè)務系統(tǒng)災 難恢復的目標.正常情況下，業(yè)務系統(tǒng)運行在主中心服務器上，數據存儲在主中心磁盤陣列中，同時在備份中心配置相同 容量的磁盤陣列。主中

36、心和備份中心的距離通常限制在10公里左右，主中心的服務器使用光纖通道卡通過光纖交換機和光纜分別連接兩個中心的磁盤陣列，利用服務器端的鏡像軟件對數據鏡像存儲。在發(fā)生災難時最嚴重的損失就是數據本身的丟失，而磁盤鏡像要求向磁盤進行的每個物理寫操作都被復制到另一個地點的另一個磁盤。因為復制是向磁盤進行的物理寫操作，所以它與應用程序無關。在主中心因 故岀現存儲陣列損壞、癱瘓時，備份中心的數據仍然完好。主中心的服務器仍能正常的訪問備份中心的數 據。一旦主中心的磁盤陣列恢復后，可以在系統(tǒng)上使用磁盤重新鏡像的命令將數據進行同步，從而備份中 心的陣列中的數據會拷貝到主中心的存儲陣列中。鏡像軟件容災方式優(yōu)缺點比較

37、.優(yōu)點：* 可完全確保數據復制的完整性，一致性；* 容災結構相對簡單；* 對磁盤子系統(tǒng)透明，主/備數據中心可采用不同的磁盤陣列設備. 缺點：* 遠程數據復制操作占用主機較多資源（10 30%）;* 主中心應用系統(tǒng)寫操作性能受主/備中心傳輸距離影響較大；* 網絡連接和鏡像軟件故障將導致主中心業(yè)務系統(tǒng)的中止；* 備份中心更新數據無法快速恢復回主數據中心；這種容災方式適用于對主機寫操作性能要求不高，而且業(yè)務系統(tǒng)可以忍受因光纖傳輸線路的臨時故障而導 致業(yè)務中止的用戶環(huán)境.5.5 XP磁盤陣列容災方式結構簡介惠普公司 XP陣列由Continuous Access XP/XP Extension軟件提供完

38、全的災難備份 /恢復功能。主數據中心和備份數據中心的結構基本一致：采用HP XP系列磁盤陣列作為中心存儲， 所有主機通過光纖與磁盤陣列相連。磁盤陣列上運行Continue Access XP容災軟件。主中心與備份中心之間的XP磁盤陣列物理上通過兩條光纖通道直聯，采用XP磁盤陣列上的容災軟件 Continue Access做到兩地數據實時同步。兩套磁盤陣列之間數據一致性依靠磁盤陣列本身的專用軟件(直接運行在磁盤陣列上)來完成，完全不依賴主機系統(tǒng)，也不影響本地應用的響應速度。當配置了 Continuous Access XP/XP Extension軟件的兩臺 XP陣列分別處于兩數據中心時，通過光

39、纖線路進行連接，主數據中心的XP存儲磁盤陣列可以隨時自動將更新后的數據傳送至異地的備份 XP存儲設備，以保持兩臺 XP陣列數據的完全一致性。整個工作由XP陣列本身完成，對主機系統(tǒng)完全透明，不需占用任何主機資源。當主數據中心由于地震，火 災等各種意外原因導致整個主中心核心業(yè)務系統(tǒng)崩潰時，異地備份系統(tǒng)將完全接管全部工 作，在極短時間內，恢復業(yè)務系統(tǒng)的運行。客戶端也是災難備份恢復系統(tǒng)防護的對象，需要通過網絡連接到災難備份中心運行系統(tǒng)。災難備份中 心運行系統(tǒng)具有重構運行環(huán)境的能力，在災難發(fā)生后替代生產中心行使運行系統(tǒng)職能，接受客戶端注冊和 訪問，其運行環(huán)境和業(yè)務數據由備份服務器和備份數據系統(tǒng)提供。特點

40、：傳統(tǒng)的災難備份系統(tǒng)主備機切換的過程為1) 主機發(fā)生故障2) 系統(tǒng)切換到備機3) 修復主機4) 關閉全套系統(tǒng)包括主機及備機5) 將系統(tǒng)從新切換回主機其中在第4個步驟中，用戶將不得不承受停機所帶來的損失。而惠普公司 SureStore E Continuous Access XP/XP Extension軟件將使用戶避免這一損失，因為當系統(tǒng)從主機切換到備機后，備機將成為主機，修復后的“主機”成為備機使 用。此方案最大的優(yōu)勢就是對主機應用完全透明，所有數據復制工作由磁盤陣列硬件層完 成，不需修改應用，而且可以保證大量數據復制的性能。由于磁盤陣列數據復制原理是利用磁盤遠程鏡像功能，所以可以保證主數據

41、中心關鍵業(yè)務數據和備份中心關鍵業(yè)務數據的完全 一致，而且容災系統(tǒng)實現起來非常簡便。還可以充分利用現有服務器設備，實現應用系統(tǒng)和重要數據的災難恢復功能。作為惠普公司成熟的災難備份/恢復技術，此方案已經在國內外許多用戶環(huán)境中成功實施過。其中包括上海熱線，大連電信，云南建行，湖南建行等災難備份恢復系統(tǒng)。由于 XXXX的容災距離，用戶環(huán)境和業(yè)務需求也十分適合于使用XP磁盤陣列 實現存儲硬件層的災難備份恢復方案，因此HP公司也向XXXX推薦這種容災方式.而這種容災方案的主要限制就是由于在磁盤一級進行數據復制，對應用系統(tǒng)完全透明， 所以相比應用層和數據庫層的容災方式，復制的數據量較大，對光纖數據鏈路傳輸質

42、量和傳輸帶寬要求較高.優(yōu)點：1、目前而言是所有異地容災方式中最為可靠和成熟的技術；2、有磁盤陣列自身來完成，完全不影響主機的性能，也不依賴于操作系統(tǒng)的平臺，因此形式 所有實現方式中性能最好，使用范圍最廣泛的一種；3、通過磁盤陣列之間的專用互連完成通信，因此不占用局域網資源。缺點：投資較大5. 5 . 1災難恢復系統(tǒng)硬件，軟件配置說明我們推薦數據中心的中心磁盤陣列采用 HP的高性能全光纖通道交換式結構的磁盤陣列XP512。為了適應當前數據中心越來越明顯的存儲中心化趨勢（即：存儲作為整套系統(tǒng)的關鍵，各種平臺的服務器 作為存儲的外設），XP512與傳統(tǒng)的磁盤陣列相比已經不是單純的硬盤堆疊，而是新一代

43、的存儲+服務器結構。無論從它的硬件結構還是直接運行在XP512上的多種多樣的軟件都可以明顯的感覺到這一點。系統(tǒng)的數據存儲在主中心存儲磁盤陣列XP512中。同時在異地備份中心配置相同結構的存儲磁盤陣列XF。由于XXXX的容災環(huán)境距離為10公里左右，從數據復制的性能以及數據復制的完整性和 一致性方面考慮，建議用戶在主中心和備份中心之間構建單模光纖線路用于傳輸備份數據， 并選用DWDM密集波分復用）設備實現數據復制鏈路的多路復用，從而提高數據復制的傳 輸帶寬，并改善遠程數據傳輸性能。通過HP公司提供的災難備份恢復軟件 （HP Continuous Access XP） 可以自動實現主中 心存儲數據與

44、備份中心數據的實時完整備份。在主數據中心，按照用戶要求，還可以配置磁帶備份服務器，用來安裝 HP備份軟件Omniback II ，以及Sure Store E 磁帶庫。備份服務 器直接連接到存儲陣列和磁帶庫，控制業(yè)務系統(tǒng)的日常數據的磁帶備份。為確保用戶主數據中心的主機系統(tǒng)的負載分擔，容錯能力等功能，惠普公司提供了先進的，具有高度可靠性的群集結構。該結構可由兩臺或多臺HP 9000/800系列高檔服務器組成，并通過LAN和共用硬盤構成協調、高效的群集結構。當Cluster中的某個節(jié)點出現異常（服務器硬件，系統(tǒng)軟件，應用程序和局域網故障等）時，MC/ServiceGuard可以及時發(fā)現故 障節(jié)點，

45、自動將故障節(jié)點的當前應用系統(tǒng)遷移到其它正常節(jié)點中，使之繼續(xù)進行正常的業(yè)務處理，并可自動隔離故障節(jié)點以便于技術人員的故障排除工作，從而消除核心業(yè)務系統(tǒng)中的單故障點。主數據中心的配置為:部件名稱數量說明XP512 1 臺：高速數據緩存44 塊 x 4GB（每塊）=8GB磁盤柜173GB光纖磁盤8822 組 x 4（每組）x 73GB=6424GBHOT SPARE 磁盤222 組 x 4（每組）x 73GB=6424GB指令內存2主機接口卡2Comma nd View XP1不依賴于平臺的基于 Web的控制 管理軟件LUN Con figuratio n XP1LUN配置、管理軟件存儲光纖交換機2

46、臺：光纖端口24備份數據中心的配置為:部件名稱數量說明XP512 1 臺：高速數據緩存44 塊 x 4GB（每塊）=8GB磁盤柜173GB光纖磁盤8822 組 x 4（每組）x 73GB=6424GBHOT SPARE 磁盤222 組 x 4(每組)x 73GB=6424GB指令內存2主機接口卡2Comma nd View XP1不依賴于平臺的基于 Web的控制 管理軟件LUN Con figuratio n XP1LUN配置、管理軟件存儲光纖交換機2臺：光纖端口245. 5 . 2 XP CA軟件容災原理XP (MCU)RCPXP (RCU)服務器(主)服務器(備)Fiber Cha nne

47、l連接CA磁盤卷組拷貝方向SVPM-VOLR-VOLR-VOLLCPREMOTE CONTROLREMOTE CONTROL(TCP/IP)M-VOLSVP(TCP/IP)(1) CA磁盤卷組CA的磁盤卷組由不同的 XP磁盤陣列裝置內或不同 CLUSTER 內命名為M VOL和R- VOL 的2個邏輯磁盤卷構成。在具有 CA磁盤卷組關系后，M VOL被稱為主磁盤卷。 M VOL可被讀/寫。R VOL(遠程磁盤卷)被稱為副磁盤卷。在 XP磁盤陣列內部的控制裝置的作用下， M VOL的內 容和服務器來的寫數據被拷貝到 R VOL。CA卷組建立后，R VOL為只讀磁盤卷。在一個 XP設備 內部，既可

48、有 M VOL，也可有R VOL。這樣可以實現雙向的數據境像。(2MCU 和 RCUMCU(主磁盤控制器)和RCU (遠程磁盤控制器)分別和M VOL , R VOL相連，MCU控制由 服務器來的寫向 MVOL的數據的寫操作，還控制M VOL和R VOL之間數據拷貝的操作。 并且提 供CA磁盤卷組的狀態(tài)和構成的管理。RCU執(zhí)行由MCU發(fā)出的寫命令操作。寫操作的執(zhí)行方法和執(zhí)行服務器來的寫操作過程相同。除此 之外，RCU還具有管理一部分 CA磁盤卷組的狀態(tài)和構成信息的能力。對于任何一個磁盤卷組，都需要定義 MCU/RCU。一個XP設備的磁盤控制裝置在控制 M VOL 時，可作為MCU使用，當控制

49、R VOL的時侯，又可作為 RCU使用。(3) 遠程備份的連接MCU和RCU之間由專用光纖(ESCON)來連結。當光纖直聯，不增加任何設備時，兩臺XP512之間最遠可相隔3KM。在兩臺XP512之間加入ESCON的延長裝置(ESCONDIRECTOR 或REPATER)可使磁盤陣 列間的距離最大延長至 43KM。如果使用E3或ATM遠程電信協議，在兩臺 XP512之間將不會有距 離的限制。加入 ESCON延長裝置的連接圖如下圖所示：通過ESCON光纖通道，MCU和RCU可相互進行數據傳送和控制命的傳送。在構筑 CA時，考 慮到消除單點故障的引患，兩臺 XP512之間的ESCON光纖最低需要2根

50、。這樣當一根光纖出現意外 不能使用時，利用剩下的一根可完成 MCU和RCU間的通信。不至引起系統(tǒng)數據傳輸的中斷。(4) Remote controlRemote Control可完成CA的構成設定，卷組的狀態(tài)變更和表示。5. 5 . 3高可靠性方案與高可用性方案的選擇當主運用端發(fā)生不可恢復的數據損失后，遠地備份中心的鏡象磁盤卷 R VOL里的數據與數據損失 發(fā)生前的主中心磁盤卷 MVOL的一致性往往會決定系統(tǒng)損失大小以及把主應用恢復到正常狀態(tài)所需時 間。鏡象卷組間數據完全一致時，只要將遠地備份中心的數據拷回到主運用端起動修復程序便可恢復到正 常業(yè)務處理。但是由于數據傳輸是通過 ESCON及CN

51、T進行，并且路徑較遠，鏈路的中斷等原因都有可能造成 鏡象卷組間數據不完全一致。在鏡象卷組失去同步時，主運用端發(fā)生不可恢復的數據損失后，將會造成部分數據丟失。當然，鏈路故障與主運用端同時發(fā)生損壞的可能性非常低?；谟脩粝到y(tǒng)是否有優(yōu)先保證在 任何時候鏡象卷組都要一致的需要，CA XP提供兩種運行方案：高可靠性方案與高可用性方案。«高可靠性方案：在此方案中，將日志文件和表數據的更新拷貝模式都設為DATA ”。在這種拷貝模式下，在 M V0L和R VOL鏡象卷組失去同步前， MCU會據絕服務器對 MVOL發(fā)出的寫操作并發(fā)出寫錯誤信息。 因此，M VOL和R VOL鏡象卷組的一致性得到保證。這

52、種模式雖然提供了良好的一致性保證，但是 對應用環(huán)境也有較高的要求。當兩條 ESCON鏈路全部斷掉或者遠地備份中心的 XP512因停電造成運 行中斷等偶發(fā)性故障發(fā)生時， CA XP鏡象卷組的M VOL的狀態(tài)變?yōu)?SUSPEND ”，MCU檢測出 此狀態(tài)后為了保證鏡象卷組的一致性將禁止M VOL的寫操作即有可能中斷主運用端應用的正常運行。因此，此方案要求系統(tǒng)具有忍受應用暫時停止的能力。當由于M VOL以外的地方發(fā)生故障引起主運用端應用運行的中斷時，系統(tǒng)管理員又想繼續(xù)應用的進行，可以用命令刪除 CA XP鏡象卷組的邏輯關系 ，使M VOL的狀態(tài)該變?yōu)?SIMPLEX ”，開放 對M VOL的寫操作。

53、此后，主運用對M VOL的更新不會被反映到 R VOL端，即鏡象卷組失去同 步。鏡像失去同步后建議增加對在本地 M VOL的在線BACKUP的頻度。高可靠性方案能夠保證 MVOL和R VOL嚴格同步。但即使主運用端不發(fā)生故障也有可能造成應用中斷。此方案適用于優(yōu)先磁盤卷組內容一致的系統(tǒng)運用，且此方案要求系統(tǒng)具有忍受應用暫時停止的 能力。«高可用性方案在此方案中，將日志文件與表數據的更新拷貝模式都設為NEVER ”。在這種拷貝模式下建立起來的CA XP鏡像卷組即使在光纖或 R VOL故障引起 M VOL和R VOL鏡象卷組失去同步后，只要M VOL沒有遭到損壞，MCU就不會據絕服務器對

54、M VOL發(fā)出的寫操作。從服務器端來看，M VOL對R VOL鏡象卷的數據更新象在正常進行，服務器的應用也不會被中斷。但是實際當光纖鏈路故 障發(fā)生后，對R VOL的更新會被停止，M VOL里被更新的磁道會被標上標記， 并且MCU向服務器 和RETOME CONTROL發(fā)出磁盤卷組異常信息的提示。當出現光纖、CNT、遠地備份中心 XP512停電等故障時，因為不影響應用的運行，所以沒有必要 象DATA ”那樣強制中斷CA XP卷組。在此期間 M VOL的更新數據會被記錄下來。故障修復后， 可用激活命令執(zhí)行 M VOL更新部分的拷備再同步磁盤卷組。 鏡像卷失去同步后建議增加對在本地M VOL的在線BACKUP的頻度。此應用方案適用于優(yōu)先保證主運用的系統(tǒng)和光纖線路狀態(tài)不太安定的地區(qū)。但使用此方案前，必需有一個明確的認識，那就是在恢復 CA XP卷組同 步前，如果主運用端發(fā)生不可修復的災害，將會造成數 據丟失。數據丟失量與 R VOL變?yōu)镾USPEND ”的時間有關，即 M VOL停止向R VOL更新的 時間。鑒于XXXX的業(yè)務為關鍵應用，由于一些次要因素的故障如線路故障等停止在線服務會對信譽，業(yè)務造成較大損失。因此我們建議用戶使用高可用性方案。=:5 . 5 . 4切換步驟向備份中心切換概要：(a)主中心端XP的MCU因為災難故障