業(yè)務(wù)連續(xù)性容災(zāi)-兩地三中心方案白皮書

1、業(yè)務(wù)連續(xù)性容災(zāi)解決方案兩地三中心解決方案技術(shù)白皮書業(yè)務(wù)連續(xù)性容災(zāi)解決方案兩地三中心解決方案技術(shù)白皮書目錄 HYPERLINK l _bookmark0 概述7 HYPERLINK l _bookmark1 數(shù)據(jù)中心業(yè)務(wù)連續(xù)性的挑戰(zhàn)7 HYPERLINK l _bookmark2 方案概述7 HYPERLINK l _bookmark3 方案亮點(diǎn)7 HYPERLINK l _bookmark4 兩地三中心方案架構(gòu)9 HYPERLINK l _bookmark5 級(jí)聯(lián)組網(wǎng)架構(gòu)9 HYPERLINK l _bookmark7 同步+異步級(jí)聯(lián)方案9 HYPERLINK l _bookmark8 異步+

2、異步級(jí)聯(lián)方案10 HYPERLINK l _bookmark9 并聯(lián)組網(wǎng)架構(gòu)10 HYPERLINK l _bookmark11 同步+異步并聯(lián)方案10 HYPERLINK l _bookmark12 異步+異步并聯(lián)方案11 HYPERLINK l _bookmark13 雙活組網(wǎng)架構(gòu)11 HYPERLINK l _bookmark14 HyperMetro+異步級(jí)聯(lián)方案11 HYPERLINK l _bookmark16 2.4 關(guān)鍵組件技術(shù)實(shí)施要求12 HYPERLINK l _bookmark17 兩地三中心方案工作原理13 HYPERLINK l _bookmark18 同步+異步級(jí)聯(lián)

3、工作原理13 HYPERLINK l _bookmark19 初始同步處理13 HYPERLINK l _bookmark20 IO 處理流程14 HYPERLINK l _bookmark22 災(zāi)難切換處理14 HYPERLINK l _bookmark23 災(zāi)難恢復(fù)處理15 HYPERLINK l _bookmark24 鏈路和災(zāi)備端故障處理15 HYPERLINK l _bookmark25 同步+異步并聯(lián)工作原理15 HYPERLINK l _bookmark26 初始同步處理15 HYPERLINK l _bookmark27 IO 處理流程16 HYPERLINK l _bookm

4、ark29 災(zāi)難切換處理16 HYPERLINK l _bookmark30 災(zāi)難恢復(fù)處理17 HYPERLINK l _bookmark31 鏈路和災(zāi)備端故障17 HYPERLINK l _bookmark32 異步+異步級(jí)聯(lián)工作原理17 HYPERLINK l _bookmark33 初始同步處理17 HYPERLINK l _bookmark34 正常狀態(tài)處理18 HYPERLINK l _bookmark35 災(zāi)難切換處理19 HYPERLINK l _bookmark36 災(zāi)難恢復(fù)處理20 HYPERLINK l _bookmark37 鏈路和災(zāi)備端故障20 HYPERLINK l

5、_bookmark38 異步+異步并聯(lián)工作原理20 HYPERLINK l _bookmark39 初始同步處理20 HYPERLINK l _bookmark40 正常狀態(tài)處理21 HYPERLINK l _bookmark41 災(zāi)難切換處理22 HYPERLINK l _bookmark42 災(zāi)難恢復(fù)處理23 HYPERLINK l _bookmark43 鏈路和災(zāi)備端故障23 HYPERLINK l _bookmark44 HyperMetro+異步級(jí)聯(lián)工作原理23 HYPERLINK l _bookmark45 初始同步處理23 HYPERLINK l _bookmark46 正常狀態(tài)

6、處理24 HYPERLINK l _bookmark47 災(zāi)難切換處理24 HYPERLINK l _bookmark48 災(zāi)難恢復(fù)處理25 HYPERLINK l _bookmark49 鏈路和災(zāi)備端故障26 HYPERLINK l _bookmark50 兩地三中心容災(zāi)關(guān)鍵技術(shù)原理26 HYPERLINK l _bookmark54 容災(zāi)管理29 HYPERLINK l _bookmark59 兩地三中心容災(zāi)業(yè)務(wù)恢復(fù)流程32 HYPERLINK l _bookmark60 容災(zāi)測(cè)試流程32 HYPERLINK l _bookmark62 計(jì)劃性遷移流程33 HYPERLINK l _boo

7、kmark64 故障切換流程34 HYPERLINK l _bookmark66 5 總結(jié)35 HYPERLINK l _bookmark67 6 縮略語(yǔ)36插圖目錄 HYPERLINK l _bookmark6 圖 2-1 級(jí)聯(lián)組網(wǎng)的兩地三中心容災(zāi)架構(gòu)9 HYPERLINK l _bookmark10 圖 2-2 并聯(lián)組網(wǎng)的兩地三中心容災(zāi)架構(gòu)10 HYPERLINK l _bookmark15 圖 2-3 HyperMetro+異步的兩地三中心容災(zāi)架構(gòu)11 HYPERLINK l _bookmark21 圖 3-1 級(jí)聯(lián)組網(wǎng)（同步+異步）IO 處理流程14 HYPERLINK l _book

8、mark28 圖 3-2 并聯(lián)組網(wǎng)（同步+異步）IO 處理流程16 HYPERLINK l _bookmark52 圖 3-3 遠(yuǎn)程復(fù)制狀態(tài)轉(zhuǎn)移圖27 HYPERLINK l _bookmark53 圖 3-4 Cache 多時(shí)間戳復(fù)制原理28 HYPERLINK l _bookmark55 圖 3-5 容災(zāi)管理 DashBoard29 HYPERLINK l _bookmark56 圖 3-6 容災(zāi)管理配置向?qū)?0 HYPERLINK l _bookmark57 圖 3-7 容災(zāi)管理組網(wǎng)拓?fù)湔故?1 HYPERLINK l _bookmark58 圖 3-8 一鍵式災(zāi)難恢復(fù)介紹31 HYPE

9、RLINK l _bookmark61 圖 4-1 一鍵式測(cè)試操作32 HYPERLINK l _bookmark63 圖 4-2 一鍵式計(jì)劃性遷移33 HYPERLINK l _bookmark65 圖 4-3 一鍵式故障切換34表格目錄 HYPERLINK l _bookmark51 表 3-1 遠(yuǎn)程復(fù)制狀態(tài)描述26 1 概 述數(shù)據(jù)中心業(yè)務(wù)連續(xù)性的挑戰(zhàn)隨著信息化技術(shù)的飛速發(fā)展，信息系統(tǒng)在各種行業(yè)的關(guān)鍵業(yè)務(wù)中扮演著越來(lái)越重要的角色。在通訊、金融、醫(yī)療、電子商務(wù)、物流、政府等領(lǐng)域，信息系統(tǒng)業(yè)務(wù)中斷會(huì)導(dǎo)致巨大經(jīng)濟(jì)損失、影響品牌形象并可能導(dǎo)致重要數(shù)據(jù)丟失。因此，保證業(yè)務(wù)連續(xù)性是信息系統(tǒng)建設(shè)的關(guān)鍵。

10、近年來(lái)，大范圍自然災(zāi)害時(shí)常發(fā)生，為保障業(yè)務(wù)連續(xù)性，同城災(zāi)備中心結(jié)合異地災(zāi)備中心的“兩地三中心”容災(zāi)解決方案越來(lái)越受到業(yè)界重視和認(rèn)可。方案概述兩地三中心容災(zāi)解決方案中的“兩地三中心”一般指的是一個(gè)生產(chǎn)中心、一個(gè)同城災(zāi)難備份中心、一個(gè)異地災(zāi)難備份中心。生產(chǎn)中心的數(shù)據(jù)同步地復(fù)制到同城災(zāi)難備份中心，同時(shí)，生產(chǎn)中心的數(shù)據(jù)異步地復(fù)制到異地災(zāi)難備份中心。同城災(zāi)備中心通常具備與生產(chǎn)中心等同業(yè)務(wù)處理能力，應(yīng)用可在不丟失數(shù)據(jù)的情況下切換到同城災(zāi)備中心運(yùn)行，保持業(yè)務(wù)連續(xù)運(yùn)行。在出現(xiàn)小概率的大范圍的災(zāi)難時(shí)，如自然災(zāi)害地震，造成同城災(zāi)難備份中心與生產(chǎn)中心同時(shí)不可用，應(yīng)用可以切換到異地災(zāi)難備份中心。通過實(shí)施經(jīng)過日常災(zāi)難演

11、練的步驟，應(yīng)用可在業(yè)務(wù)容許的時(shí)間內(nèi)，在異地的災(zāi)難備份中心恢復(fù)，保證業(yè)務(wù)連續(xù)運(yùn)行。但異地恢復(fù)通常會(huì)丟失少量的數(shù)據(jù)。相比僅建立同城災(zāi)難備份中心或異地災(zāi)難備份中心，“兩地三中心”的方式結(jié)合兩者的優(yōu)點(diǎn)，能夠適應(yīng)更大范圍的災(zāi)難場(chǎng)景，對(duì)于小范圍的區(qū)域性災(zāi)難和較大范圍的自然災(zāi)害，都能夠通過災(zāi)難備份系統(tǒng)較快地響應(yīng)，盡可能保全業(yè)務(wù)數(shù)據(jù)不丟失，實(shí)現(xiàn)更優(yōu)的RPO 和 RTO。所以，兩地三中心容災(zāi)解決方案得到了廣泛的應(yīng)用。方案亮點(diǎn)華為兩地三中心解決方案的亮點(diǎn)和優(yōu)勢(shì)如下：高中低端陣列復(fù)制技術(shù)互通華為全系列存儲(chǔ)產(chǎn)品都采用統(tǒng)一的存儲(chǔ)操作系統(tǒng)平臺(tái)，高、中、低端陣列之間都可建立遠(yuǎn)程復(fù)制關(guān)系?？蛻粼诋a(chǎn)品選型時(shí)，可以根據(jù)業(yè)務(wù)需要選

12、擇匹配的異地災(zāi)備中心磁盤陣列，顯著提升容災(zāi)建設(shè)投入產(chǎn)出比。秒級(jí)異步復(fù)制 RPO，分鐘級(jí) RTO基于 Cache 多時(shí)間戳的異步遠(yuǎn)程復(fù)制，最小支持 3s 的復(fù)制周期。華為容災(zāi)管理軟件OceanStor BCManager 提供的一鍵式容災(zāi)測(cè)試和容災(zāi)切換功能大大簡(jiǎn)化災(zāi)備恢復(fù)操作， 使災(zāi)備端數(shù)據(jù)庫(kù)的恢復(fù)時(shí)間達(dá)到分鐘級(jí)，縮短恢復(fù)時(shí)間。容災(zāi)業(yè)務(wù)和拓?fù)淇梢暬芾砣A為容災(zāi)管理軟件 OceanStor BCManager 支持可視化展示兩地三中心的物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)?。并且支持一鍵式容災(zāi)測(cè)試和切換，支持客戶定制腳本一鍵恢復(fù)備用業(yè)務(wù)系統(tǒng)，簡(jiǎn)化災(zāi)備系統(tǒng)的管理和維護(hù)。 2 兩地三中心方案架構(gòu)兩地三中心的容災(zāi)方式是

13、當(dāng)前容災(zāi)建設(shè)的一個(gè)重要趨勢(shì)，在電信、金融、制造等領(lǐng)域得到廣泛的使用。通過建設(shè)近距離的數(shù)據(jù)中心（同城數(shù)據(jù)中心）獲得接近于零數(shù)據(jù)丟失的數(shù)據(jù)保護(hù)，通過建設(shè)較遠(yuǎn)距離的數(shù)據(jù)中心（異地?cái)?shù)據(jù)中心）獲得遠(yuǎn)距離的數(shù)據(jù)保護(hù)，避免區(qū)域性的災(zāi)難導(dǎo)致業(yè)務(wù)無(wú)法恢復(fù)。華為兩地三中心解決方案支持級(jí)聯(lián)組網(wǎng)（同步+異步，異步+ 異步）方案（即“A-B，B-C”組網(wǎng)）、并聯(lián)組網(wǎng)（同步+異步，異步+異步）方案（即“A-B，A-C”組網(wǎng)）和雙活組網(wǎng)（雙活+異步）方案（即“AB，B-C”組網(wǎng)）。級(jí)聯(lián)組網(wǎng)架構(gòu)圖2-1 級(jí)聯(lián)組網(wǎng)的兩地三中心容災(zāi)架構(gòu)同步+異步級(jí)聯(lián)方案如 HYPERLINK l _bookmark6 圖 2-1 所示，在生產(chǎn)中

14、心部署磁盤陣列 A；在同城災(zāi)備中心部署磁盤陣列 B，兩個(gè)數(shù)據(jù)中心之間通過 FC 鏈路實(shí)現(xiàn)互聯(lián)，生產(chǎn)中心的磁盤陣列 A 與同城災(zāi)備中心磁盤陣列B 建立同步遠(yuǎn)程復(fù)制，將磁盤陣列 A 的數(shù)據(jù)實(shí)時(shí)同步到磁盤陣列 B；在異地災(zāi)備中心， 部署磁盤陣列 C，與同城災(zāi)備中心的磁盤陣列 B 建立異步遠(yuǎn)程復(fù)制，將磁盤陣列 B 的數(shù)據(jù)定時(shí)地同步到陣列 C。在同城災(zāi)備中心和異地災(zāi)備中心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì) 3 個(gè)數(shù)據(jù)中心的統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)?，并且支持在同城?zāi)備中心以及異地災(zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。異步+異步級(jí)聯(lián)方案如 HYPERLINK l

15、_bookmark6 圖 2-1 所示，在生產(chǎn)中心部署磁盤陣列 A；在同城災(zāi)備中心部署磁盤陣列 B，兩個(gè)數(shù)據(jù)中心之間根據(jù)數(shù)據(jù)變化量對(duì)帶寬的需求，可以通過 FC 鏈路或者 IP 鏈路實(shí)現(xiàn)互聯(lián)， 生產(chǎn)中心的磁盤陣列 A 與同城災(zāi)備中心磁盤陣列 B 建立異步遠(yuǎn)程復(fù)制，將磁盤陣列 A 的數(shù)據(jù)定時(shí)同步到磁盤陣列 B；在異地災(zāi)備中心，部署磁盤陣列 C，與同城災(zāi)備中心的磁盤陣列 B 建立異步遠(yuǎn)程復(fù)制，將陣列 B 的數(shù)據(jù)定時(shí)的地同步到陣列 C。在同城災(zāi)備中心和異地災(zāi)備中心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì) 3 個(gè)數(shù)據(jù)中心的統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)?，并且支持在同城?zāi)備中心

16、以及異地災(zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。并聯(lián)組網(wǎng)架構(gòu)圖2-2 并聯(lián)組網(wǎng)的兩地三中心容災(zāi)架構(gòu)同步+異步并聯(lián)方案如 HYPERLINK l _bookmark10 圖 2-2，在生產(chǎn)中心部署磁盤陣列 A；在同城災(zāi)備中心部署磁盤陣列 B，兩個(gè)數(shù)據(jù)中心之間通過 FC 鏈路實(shí)現(xiàn)互聯(lián)，生產(chǎn)中心的磁盤陣列 A 與同城災(zāi)備中心磁盤陣列 B 建立同步遠(yuǎn)程復(fù)制，將陣列 A 的數(shù)據(jù)實(shí)時(shí)同步到陣列 B；在異地災(zāi)備中心，部署磁盤陣列 C，通過生產(chǎn)中心與異地災(zāi)備中心的 IP 鏈路，實(shí)現(xiàn)生產(chǎn)中心的磁盤陣列 A 與異地災(zāi)備中心磁盤陣列 C 建立異步遠(yuǎn)程復(fù)制，異步地將數(shù)據(jù)同步到磁盤陣列 C。在同城災(zāi)備中心和異地災(zāi)備中

17、心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì) 3 個(gè)數(shù)據(jù)中心的統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)洌⑶抑С衷谕菫?zāi)備中心以及異地災(zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。異步+異步并聯(lián)方案如 HYPERLINK l _bookmark10 圖 2-2，在生產(chǎn)中心部署磁盤陣列 A；在同城災(zāi)備中心部署磁盤陣列 B，兩個(gè)數(shù)據(jù)中心之間根據(jù)數(shù)據(jù)變化量對(duì)帶寬的需求，可以通過 FC 鏈路或者 IP 鏈路實(shí)現(xiàn)互聯(lián)，生產(chǎn)中心的磁盤陣列 A 與同城災(zāi)備中心建立異步遠(yuǎn)程復(fù)制，將磁盤陣列 A 的數(shù)據(jù)定時(shí)同步到磁盤陣列 B；在異地災(zāi)備中心部署磁盤陣列 C，與生產(chǎn)中心的磁盤陣列建立異步遠(yuǎn)程復(fù)制，將磁

18、盤陣列 A 的數(shù)據(jù)定時(shí)地同步到陣列 C。在同城災(zāi)備中心和異地災(zāi)備中心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì) 3 個(gè)數(shù)據(jù)中心的統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以可視化的展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)洌?并且支持在同城災(zāi)備中心以及異地災(zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。雙活組網(wǎng)架構(gòu)HyperMetro+異步級(jí)聯(lián)方案圖2-3 HyperMetro+異步的兩地三中心容災(zāi)架構(gòu)如 HYPERLINK l _bookmark10 2-4，在生產(chǎn)中心 A 和生產(chǎn)中心 B 位于同城，可通過裸光纖或波分設(shè)備實(shí)現(xiàn) FC 網(wǎng)絡(luò)互聯(lián)，也支持通過 10GE 網(wǎng)絡(luò)互聯(lián)。生產(chǎn)中心 A 和生產(chǎn)中心 B 同時(shí)對(duì)外提供業(yè)務(wù)，Hy

19、perMetro 不僅實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)雙向鏡像，而且保證任何數(shù)據(jù)中心陣列故障，對(duì)上層業(yè)務(wù)透明切換，業(yè)務(wù)不中斷。在異地災(zāi)備中心，部署磁盤陣列 C，與生產(chǎn)中心 A 或 B 任意磁盤陣列建立異步遠(yuǎn)程復(fù)制，將雙活鏡像的磁盤陣列數(shù)據(jù)周期性的同步到磁盤陣列C。在生產(chǎn)中心 B 和異地災(zāi)備中心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì)雙活+異步復(fù)制統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)?，并且支持在異地?zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。2.4 關(guān)鍵組件技術(shù)實(shí)施要求城域網(wǎng)要求：（同步遠(yuǎn)程復(fù)制，雙活）容災(zāi)網(wǎng)絡(luò)距離：100km，雙活建議100km，裸光纖連接。傳輸延遲：業(yè)務(wù)的峰值寫 IO 帶寬。

20、廣域網(wǎng)要求：（異步遠(yuǎn)程復(fù)制）容災(zāi)網(wǎng)絡(luò)距離：無(wú)限制。傳輸延遲：業(yè)務(wù)的平均寫 IO 帶寬。管理工作站：管理工作站需要三中心間通信。網(wǎng)絡(luò)距離要求：無(wú)限制。通信網(wǎng)絡(luò)帶寬要求：10Mb/s。 3 兩地三中心方案工作原理同步+異步級(jí)聯(lián)工作原理初始同步處理同步遠(yuǎn)程復(fù)制關(guān)系建立時(shí)，系統(tǒng)自動(dòng)啟動(dòng)初始同步，將主 LUN 的數(shù)據(jù)全部復(fù)制到從LUN，復(fù)制期間，主 LUN 如果接收到生產(chǎn)主機(jī)新寫入的數(shù)據(jù)，也會(huì)將其復(fù)制到從LUN。初始同步完成后，主 LUN 與從 LUN 的數(shù)據(jù)完全一致，同步遠(yuǎn)程復(fù)制進(jìn)入正常狀態(tài)。遠(yuǎn)程復(fù)制關(guān)系建立時(shí)，系統(tǒng)自動(dòng)啟動(dòng)初始同步，將主 LUN 的數(shù)據(jù)全部復(fù)制到從 LUN。初始同步完成后，異步遠(yuǎn)程復(fù)

21、制進(jìn)入正常狀態(tài)。IO 處理流程圖3-1 級(jí)聯(lián)組網(wǎng)（同步+異步）IO 處理流程級(jí)聯(lián)組網(wǎng)（同步+異步）方案 IO 處理流程如上圖所示：主機(jī)下發(fā) IO 到磁盤陣列 A 的 LUN1。IO 寫入 A 站點(diǎn)的 LUN1，并通過同步復(fù)制同時(shí)寫入 B 站點(diǎn)的 LUN12（LUN12 既是同步遠(yuǎn)程復(fù)制的從 LUN，又是異步遠(yuǎn)程復(fù)制的主 LUN）。當(dāng)異步遠(yuǎn)程復(fù)制同步周期到來(lái)，磁盤陣列 B 生成 LUN12 在此時(shí)間點(diǎn)的數(shù)據(jù)（如 t1時(shí)間點(diǎn)數(shù)據(jù)）。磁盤陣列 C 生成同步開始前 LUN2 的該時(shí)間點(diǎn)數(shù)據(jù)（如 t2 時(shí)間點(diǎn)數(shù)據(jù)）。如果異步遠(yuǎn)程復(fù)制同步失敗，當(dāng)需要使用 LUN2 運(yùn)行業(yè)務(wù)時(shí)，系統(tǒng)自動(dòng)回滾到該時(shí)間點(diǎn)數(shù)據(jù)，

22、以保證磁盤陣列 C 中數(shù)據(jù)的可用性。后臺(tái)啟動(dòng)由 LUN12 在 t1 時(shí)間點(diǎn)的數(shù)據(jù)到 LUN2 的周期性同步。如果在異步遠(yuǎn)程復(fù)制啟動(dòng)同步時(shí)，同步遠(yuǎn)程復(fù)制的從 LUN（LUN12）狀態(tài)不允許啟動(dòng)同步，則周期性同步不會(huì)被啟動(dòng)，直到從 LUN 狀態(tài)允許啟動(dòng)同步時(shí)才生成多時(shí)間點(diǎn)數(shù)據(jù)，并啟動(dòng)同步。災(zāi)難切換處理1）生產(chǎn)中心故障當(dāng)生產(chǎn)中心發(fā)生災(zāi)難后，不能再提供業(yè)務(wù)。同城災(zāi)備中心的從 LUN 保存著與主 LUN 完全同步的數(shù)據(jù)，保障數(shù)據(jù)不丟失。如果同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)。從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址，以便用于后續(xù)增量恢

23、復(fù)，縮短業(yè)務(wù)回切的時(shí)間。2）生產(chǎn)中心和同城災(zāi)備中心同時(shí)故障當(dāng)生產(chǎn)中心和同城災(zāi)備中心在重大災(zāi)難導(dǎo)致數(shù)據(jù)都不可用時(shí)，異地備中心的從 LUN 保存著與主 LUN 相隔一定時(shí)間周期（1-2 個(gè)復(fù)制周期）之前的數(shù)據(jù)，保障數(shù)據(jù)絕大部分不丟失。如果異地同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)。異地災(zāi)備中心從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址，以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。災(zāi)難恢復(fù)處理1）數(shù)據(jù)未被破壞時(shí)當(dāng)生產(chǎn)中心災(zāi)難恢復(fù)后，如果磁盤陣列 A 和 B 沒有受到破壞，主 LUN 能夠恢復(fù)其原有數(shù)據(jù)，則遠(yuǎn)程復(fù)制可以將主 LUN 故障期間，

24、從 LUN 12 或者 LUN2 新寫入的數(shù)據(jù)增量復(fù)制到主 LUN。復(fù)制完成后，主、從 LUN 保持復(fù)制關(guān)系。此時(shí)，可以將業(yè)務(wù)切換回生產(chǎn)中心，重新由生產(chǎn)主機(jī)訪問磁盤陣列 A 的主 LUN，遠(yuǎn)程復(fù)制重新保持由主LUN 向從 LUN 實(shí)時(shí)同步數(shù)據(jù)。2）數(shù)據(jù)完全被破壞時(shí)當(dāng)磁盤陣列 A 或 B 被破壞，數(shù)據(jù)不可修復(fù)時(shí)，需要重建磁盤陣列 A 或者磁盤陣列 B， 將從端數(shù)據(jù)反向復(fù)制到主端 B 和主端 A 上，調(diào)整主從關(guān)系，在生產(chǎn)中心恢復(fù)業(yè)務(wù)。鏈路和災(zāi)備端故障處理當(dāng)生產(chǎn)中心與同城災(zāi)備中心的復(fù)制鏈路故障或者任意災(zāi)備中心設(shè)備故障，則遠(yuǎn)程復(fù)制自動(dòng)斷開復(fù)制，不影響生產(chǎn)系統(tǒng)的正常運(yùn)行。生產(chǎn)中心主 LUN 將記錄故障期

25、間的數(shù)據(jù)差異變化，待故障恢復(fù)后，自動(dòng)將增量數(shù)據(jù)同步到從 LUN。同步+異步并聯(lián)工作原理初始同步處理同步遠(yuǎn)程復(fù)制關(guān)系建立時(shí)，系統(tǒng)自動(dòng)啟動(dòng)初始同步，將主 LUN 的數(shù)據(jù)全部復(fù)制到從LUN，復(fù)制期間，主 LUN 如果接收到新的生產(chǎn)主機(jī)的寫入的數(shù)據(jù)，也會(huì)將其復(fù)制到從LUN。初始同步完成后，主 LUN 與從 LUN 的數(shù)據(jù)完全一致，同步遠(yuǎn)程復(fù)制進(jìn)入正常狀態(tài)。異步遠(yuǎn)程復(fù)制關(guān)系建立時(shí)，系統(tǒng)自動(dòng)啟動(dòng)初始同步，將主 LUN 的數(shù)據(jù)全部復(fù)制到從LUN。初始同步完成后，異步遠(yuǎn)程復(fù)制進(jìn)入正常狀態(tài)。IO 處理流程圖3-2 并聯(lián)組網(wǎng)（同步+異步）IO 處理流程具體的處理流程如下：主機(jī)下發(fā) IO 到磁盤陣列 A 的 LUN

26、1。A 站點(diǎn)主機(jī)寫 IO 雙寫到 LUN1 和 B 站點(diǎn) LUN12（LUN1 既是同步遠(yuǎn)程復(fù)制的主LUN，又是異步遠(yuǎn)程復(fù)制的主 LUN）。當(dāng)異步遠(yuǎn)程復(fù)制同步周期到來(lái)，磁盤陣列 A 生成 LUN1 在此時(shí)間點(diǎn)的數(shù)據(jù)（如 t1時(shí)間點(diǎn)數(shù)據(jù)）。磁盤陣列 C 生成 LUN2 的該時(shí)間點(diǎn)數(shù)據(jù)（如 t2 時(shí)間點(diǎn)數(shù)據(jù)）。如果異步遠(yuǎn)程復(fù)制同步失敗，當(dāng)需要使用 LUN2 運(yùn)行業(yè)務(wù)時(shí)，系統(tǒng)自動(dòng)回滾到該時(shí)間點(diǎn)數(shù)據(jù)，以保證磁盤陣列 C 中數(shù)據(jù)的可用性。后臺(tái)啟動(dòng)由 LUN1 在 t1 時(shí)間點(diǎn)的數(shù)據(jù)到 LUN2 的周期性同步。災(zāi)難切換處理1）生產(chǎn)中心故障當(dāng)生產(chǎn)中心發(fā)生災(zāi)難后，不能再提供業(yè)務(wù)。同城災(zāi)備中心的從 LUN 保存

27、著與主 LUN 完全同步的數(shù)據(jù)，保障數(shù)據(jù)不丟失。如果同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)。從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址，以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。2）生產(chǎn)中心和同城災(zāi)備中心同時(shí)故障當(dāng)生產(chǎn)中心和同城災(zāi)備中心在遭遇重大災(zāi)難導(dǎo)致數(shù)據(jù)均不可用時(shí)，異地災(zāi)備中心的從LUN 保存著與主 LUN 間隔一定時(shí)間周期（復(fù)制周期）之前的數(shù)據(jù)，保障數(shù)據(jù)絕大部分不丟失。如果異地同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)。異地災(zāi)備中心從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其

28、地址，以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。災(zāi)難恢復(fù)處理1)數(shù)據(jù)未被破壞時(shí)當(dāng)生產(chǎn)中心災(zāi)難恢復(fù)后，如果磁盤陣列 A 和 B 沒有受到破壞，主 LUN 能夠恢復(fù)其原有數(shù)據(jù)，則遠(yuǎn)程復(fù)制可以將主 LUN 故障期間，從 LUN 1新寫入的數(shù)據(jù)增量復(fù)制到主LUN。復(fù)制完成后，主、從 LUN 保持復(fù)制關(guān)系。此時(shí)，可以將業(yè)務(wù)切換回生產(chǎn)中心， 重新由生產(chǎn)主機(jī)訪問磁盤陣列 A 的主 LUN，遠(yuǎn)程復(fù)制重新保持由主 LUN 向從 LUN 實(shí)時(shí)同步數(shù)據(jù)。2)數(shù)據(jù)完全被破壞時(shí)當(dāng)磁盤陣列 A 或 B 被破壞，數(shù)據(jù)不可修復(fù)時(shí)，需要重建磁盤陣列 A 或者磁盤陣列 B， 將從端數(shù)據(jù)反向復(fù)制到主端磁盤陣列 A 和磁盤陣列 B

29、上，調(diào)整主從關(guān)系，在生產(chǎn)中心恢復(fù)業(yè)務(wù)。鏈路和災(zāi)備端故障當(dāng)生產(chǎn)中心與災(zāi)備中心的復(fù)制鏈路故障或者災(zāi)備中心存儲(chǔ)設(shè)備故障，則遠(yuǎn)程復(fù)制自動(dòng)斷開復(fù)制，不影響生產(chǎn)系統(tǒng)的正常運(yùn)行。生產(chǎn)中心主 LUN 將記錄故障期間的數(shù)據(jù)差異變化，待故障恢復(fù)后，自動(dòng)將增量數(shù)據(jù)同步到從 LUN。異步+異步級(jí)聯(lián)工作原理初始同步處理生產(chǎn)中心與同城災(zāi)備中心異步復(fù)制主從 LUN 之間和同城災(zāi)備中心與異地災(zāi)備中心異步復(fù)制主從 LUN 之間都需要進(jìn)行初始同步，初始同步可以在線進(jìn)行。復(fù)制帶寬足夠的情況下可以配置完就啟動(dòng)初始同步，帶寬不足情況下，可以有幾種初始同步方式：1.臨時(shí)增加復(fù)制帶寬完成初始同步。2.將設(shè)備搬遷到一起來(lái)完成初始同步。3.通

30、過移動(dòng)介質(zhì)存儲(chǔ)中轉(zhuǎn)進(jìn)行初始同步。異步復(fù)制初始同步系統(tǒng)自動(dòng)創(chuàng)建快照，將主 LUN 數(shù)據(jù)全部復(fù)制到從 LUN，復(fù)制期間新增數(shù)據(jù)不會(huì)復(fù)制到從 LUN 中。正常狀態(tài)處理具體處理流程如下：主機(jī)下發(fā) IO 到存儲(chǔ)系統(tǒng) A 的 LUN1。LUN2 和 LUN3 分別是 LUN1 不同時(shí)間點(diǎn)的副本，LUN3 的數(shù)據(jù)副本比 LUN2 的數(shù)據(jù)副本時(shí)間要早。LUN2 既是存儲(chǔ)系統(tǒng) A 與存儲(chǔ)系統(tǒng) B 異步遠(yuǎn)程復(fù)制的從 LUN， 又是存儲(chǔ)系統(tǒng) B 與存儲(chǔ)系統(tǒng) C 異步遠(yuǎn)程復(fù)制的主 LUN），B 站點(diǎn)、C 站點(diǎn) LUN 對(duì)于主機(jī)默認(rèn)均為只讀。當(dāng) A-B 異步遠(yuǎn)程復(fù)制同步周期到來(lái)，存儲(chǔ)系統(tǒng) A 生成 LUN1 在此時(shí)間點(diǎn)

31、的數(shù)據(jù)（如 t1 時(shí)間點(diǎn)數(shù)據(jù)）。存儲(chǔ)系統(tǒng) B 生成同步開始前 LUN2 的多時(shí)間點(diǎn)數(shù)據(jù)（如 t2 時(shí)間點(diǎn)數(shù)據(jù)）。如果異步遠(yuǎn)程復(fù)制同步失敗，當(dāng)需要使用 LUN2 運(yùn)行業(yè)務(wù)時(shí)，系統(tǒng)自動(dòng)回滾多時(shí)間點(diǎn)數(shù)據(jù)，以保證存儲(chǔ)系統(tǒng) B 中數(shù)據(jù)的可用性。當(dāng) B-C 異步遠(yuǎn)程復(fù)制同步周期到老，存儲(chǔ)系統(tǒng) B 生成 LUN2 在此時(shí)間點(diǎn)的數(shù)據(jù)（如 t2 時(shí)間點(diǎn)數(shù)據(jù)）后臺(tái)啟動(dòng)由 LUN1 在 t1 時(shí)間點(diǎn)的數(shù)據(jù)到 LUN2 的周期性同步。存儲(chǔ)系統(tǒng) C 生成同步開始前 LUN3 的多時(shí)間點(diǎn)數(shù)據(jù)（如臺(tái) t3 時(shí)間點(diǎn)數(shù)據(jù)）。如果異步復(fù)制失敗，當(dāng)需要使用 LUN3 運(yùn)行業(yè)務(wù)時(shí)，系統(tǒng)自動(dòng)回滾多時(shí)間點(diǎn)數(shù)據(jù)。后臺(tái)啟動(dòng)由 LUN2 在

32、t2 時(shí)間點(diǎn)的數(shù)據(jù)到 LUN3 的周期性同步。異步復(fù)制處理過程如下：主 LUN1 的寫 IO 處理在周期 N，將新寫入主 LUN 的數(shù)據(jù)寫入 Cache 中。在下一個(gè)周期 N+1，將周期 N 緩存的數(shù)據(jù)復(fù)制到從 LUN2，同時(shí)將周期 N+1 新收到的寫數(shù)據(jù)繼續(xù)寫入 Cache 中。數(shù)據(jù)復(fù)制完成后，進(jìn)入下一周期。按照步驟 2)重復(fù)進(jìn)行。從 LUN 2 的寫 IO 處理周期 N 開始時(shí)，對(duì)從 LUN 進(jìn)行快照 activating，即對(duì)周期 N-1 的數(shù)據(jù)在 Cache 和存儲(chǔ)介質(zhì)中進(jìn)行快照 activating。在周期 N 中，接收由主 LUN 同步而來(lái)的數(shù)據(jù)，寫入從 LUN 的 Cache。該

33、周期復(fù)制完成后，disable 從 LUN 的快照。從 LUN3 的寫 IO 處理周期 N-1 開始時(shí)，對(duì)從 LUN 進(jìn)行 activating，即對(duì)周期 N-2 的數(shù)據(jù)在 Cache 和存儲(chǔ)介質(zhì)中進(jìn)行快照 activating在周期 N-1 中，接收由主 LUN 同步而來(lái)的數(shù)據(jù)，寫入從 LUN 的 Cache。該周期復(fù)制完成后，Disable 從 LUN 的快照。如果主 LUN 的寫 IO 帶寬臨時(shí)性增大，或者陣列間鏈路帶寬臨時(shí)減小使得復(fù)制周期變長(zhǎng)，導(dǎo)致周期內(nèi)寫入數(shù)據(jù)過多，超過了 Cache 所能緩存的寫數(shù)據(jù)量，則遠(yuǎn)程復(fù)制會(huì)采用日志對(duì)超出部分進(jìn)行記錄，不會(huì)中斷周期性同步。遠(yuǎn)程復(fù)制會(huì)嚴(yán)格保證從

34、 LUN 的數(shù)據(jù)一致性，即寫 IO 的依賴關(guān)系。在主 LUN 的 IO 處理中，在每次周期間切換時(shí)，遠(yuǎn)程復(fù)制會(huì)保證將有依賴關(guān)系的兩個(gè)寫 IO 納入同一個(gè)周期，或者按照其順序分別納入先、后周期，不會(huì)出現(xiàn)先寫入的 IO 納入后一周期，而后寫入的 IO 納入前一周期的情況。在從 LUN 的 IO 處理中，當(dāng)主 LUN 故障后需要訪問從 LUN 時(shí)，遠(yuǎn)程復(fù)制會(huì)檢查從 LUN 是否完成當(dāng)前周期的復(fù)制，如果沒有完成，則使用快照對(duì)從 LUN 進(jìn)行回滾，使其數(shù)據(jù)保證為周期切換點(diǎn)時(shí)的狀態(tài)，保證其數(shù)據(jù)一致性。通過 Cache 中的異步復(fù)制，最高可以實(shí)現(xiàn) 16s 的秒級(jí) RPO 的數(shù)據(jù)災(zāi)備要求。災(zāi)難切換處理1）生產(chǎn)

35、中心故障當(dāng)生產(chǎn)中心發(fā)生災(zāi)難后，不能再提供業(yè)務(wù)。同城災(zāi)備中心的從 LUN 保存著與主 LUN 較近時(shí)間點(diǎn)的數(shù)據(jù)，保障盡量少的數(shù)據(jù)丟失。如果同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)，實(shí)現(xiàn)最短的業(yè)務(wù)恢復(fù)。從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址，以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。2）生產(chǎn)中心和同城災(zāi)備中心都故障當(dāng)生產(chǎn)中心和同城中心在重大災(zāi)難或者都故障后，異地備中心的從 LUN 保存著與主LUN 間隔一定時(shí)間周期（復(fù)制周期）之前的數(shù)據(jù)，保障數(shù)據(jù)絕大部分不丟失。如果異地同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)

36、。異地災(zāi)備中心從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址， 以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。災(zāi)難恢復(fù)處理數(shù)據(jù)未被破壞時(shí)當(dāng)生產(chǎn)中心災(zāi)難恢復(fù)后，如果存儲(chǔ)系統(tǒng) A 和 B 沒有受到破壞，主 LUN 能夠恢復(fù)其原有數(shù)據(jù)，則遠(yuǎn)程復(fù)制可以將主 LUN 故障期間，從 LUN 1新寫入的數(shù)據(jù)增量復(fù)制到主LUN。復(fù)制完成后，主、從 LUN 保持復(fù)制關(guān)系。此時(shí)，可以將業(yè)務(wù)切換回生產(chǎn)中心， 重新由生產(chǎn)主機(jī)訪問存儲(chǔ)陣列 A 的主 LUN，遠(yuǎn)程復(fù)制重新保持由主 LUN 向從 LUN 實(shí)時(shí)同步數(shù)據(jù)。數(shù)據(jù)完全被破壞時(shí)當(dāng)存儲(chǔ)系統(tǒng) A 或 B 被破壞，數(shù)據(jù)不可修復(fù)時(shí)，需要重建存儲(chǔ)系統(tǒng)

37、 A 或者存儲(chǔ)系統(tǒng) B， 將從端數(shù)據(jù)反向復(fù)制到主端存儲(chǔ)系統(tǒng) A 和存儲(chǔ)系統(tǒng) B 上，調(diào)整主從關(guān)系，在生產(chǎn)中心恢復(fù)業(yè)務(wù)。鏈路和災(zāi)備端故障當(dāng)生產(chǎn)中心與災(zāi)備中心的復(fù)制鏈路故障或者災(zāi)備中心設(shè)備故障，則遠(yuǎn)程復(fù)制自動(dòng)斷開復(fù)制，不影響生產(chǎn)系統(tǒng)的正常運(yùn)行。生產(chǎn)中心主 LUN 將記錄故障期間的數(shù)據(jù)差異變化， 待故障恢復(fù)后，自動(dòng)將增量數(shù)據(jù)同步到從 LUN。異步+異步并聯(lián)工作原理初始同步處理生產(chǎn)中心與同城災(zāi)備中心異步復(fù)制主從 LUN 之間和同城災(zāi)備中心與異地災(zāi)備中心異步復(fù)制主從 LUN 之間都需要進(jìn)行初始同步，初始同步可以在線進(jìn)行。復(fù)制帶寬足夠的情況下可以配置完就啟動(dòng)初始同步，帶寬不足情況下，可以有幾種初始同步方式

38、：1.臨時(shí)增加復(fù)制帶寬完成初始同步。2.將設(shè)備搬遷到一起來(lái)完成初始同步。3.通過移動(dòng)介質(zhì)存儲(chǔ)中轉(zhuǎn)進(jìn)行初始同步。異步復(fù)制初始同步系統(tǒng)自動(dòng)創(chuàng)建快照，將主 LUN 數(shù)據(jù)全部復(fù)制到從 LUN，復(fù)制期間新增數(shù)據(jù)不會(huì)復(fù)制到從 LUN 中。正常狀態(tài)處理具體處理流程如下：主機(jī)下發(fā) IO 到存儲(chǔ)系統(tǒng) A 的 LUN1。 LUN2 和 LUN3 分別是 LUN1 不同時(shí)間點(diǎn)的副本，LUN3 的數(shù)據(jù)副本一般比 LUN2的數(shù)據(jù)副本時(shí)間要早（如果 LUN2 是 10 點(diǎn)的，LUN3 可能是 9 點(diǎn)的數(shù)據(jù)）。LUN1 既是存儲(chǔ)系統(tǒng) A 與存儲(chǔ)系統(tǒng) B 異步遠(yuǎn)程復(fù)制的主 LUN，又是存儲(chǔ)系統(tǒng) A 與存儲(chǔ)系統(tǒng) C 異步遠(yuǎn)程復(fù)

39、制的主 LUN），B 站點(diǎn)、C 站點(diǎn) LUN 對(duì)于主機(jī)默認(rèn)均為只讀。當(dāng) A-B 異步遠(yuǎn)程復(fù)制同步周期到來(lái)，存儲(chǔ)系統(tǒng) A 生成 LUN1 在此時(shí)間點(diǎn)的數(shù)據(jù)（如 t1 時(shí)間點(diǎn)數(shù)據(jù)）。存儲(chǔ)系統(tǒng) B 生成同步開始前 LUN2 的多時(shí)間點(diǎn)數(shù)據(jù)（如 t2 時(shí)間點(diǎn)數(shù)據(jù)）。如果異步遠(yuǎn)程復(fù)制同步失敗，當(dāng)需要使用 LUN2 運(yùn)行業(yè)務(wù)時(shí)，系統(tǒng)自動(dòng)回滾多時(shí)間點(diǎn)數(shù)據(jù)，以保證存儲(chǔ)系統(tǒng) B 中數(shù)據(jù)的可用性。當(dāng) B-C 異步遠(yuǎn)程復(fù)制同步周期到老，存儲(chǔ)系統(tǒng) B 生成 LUN2 在此時(shí)間點(diǎn)的數(shù)據(jù)（如 t2 時(shí)間點(diǎn)數(shù)據(jù)）后臺(tái)啟動(dòng)由 LUN1 在 t1 時(shí)間點(diǎn)的數(shù)據(jù)到 LUN2 的周期性同步。當(dāng) A-C 異步遠(yuǎn)程復(fù)制同步周期到來(lái)，存

40、儲(chǔ)系統(tǒng) A 生成 LUN1 在此時(shí)間點(diǎn)的數(shù)據(jù)（如 t3 時(shí)間點(diǎn)數(shù)據(jù)）存儲(chǔ)系統(tǒng) C 生成同步開始前 LUN3 的多時(shí)間點(diǎn)數(shù)據(jù)（如臺(tái) t4 時(shí)間點(diǎn)數(shù)據(jù)）。如果異步復(fù)制失敗，當(dāng)需要使用 LUN3 運(yùn)行業(yè)務(wù)時(shí)，系統(tǒng)自動(dòng)回滾多時(shí)間點(diǎn)數(shù)據(jù)。后臺(tái)啟動(dòng)由 LUN1 在 t3 時(shí)間點(diǎn)的數(shù)據(jù)到 LUN3 的周期性同步。異步復(fù)制處理過程如下：主 LUN1 的寫 IO 處理在周期 N，將新寫入主 LUN 的數(shù)據(jù)寫入 Cache 中。在下一個(gè)周期 N+1，將周期 N 緩存的數(shù)據(jù)復(fù)制到從 LUN12，同時(shí)將周期 N+1 新收到的寫數(shù)據(jù)繼續(xù)寫入 Cache 中。數(shù)據(jù)復(fù)制完成后，進(jìn)入下一周期。按照步驟 2)重復(fù)進(jìn)行。從 LU

41、N 1的寫 IO 處理周期 N 開始時(shí)，對(duì)從 LUN 進(jìn)行快照 activating，即對(duì)周期 N-1 的數(shù)據(jù)在 Cache 和存儲(chǔ)介質(zhì)中進(jìn)行快照 activating。在周期 N 中，接收由主 LUN 同步而來(lái)的數(shù)據(jù)，寫入從 LUN 的 Cache。該周期復(fù)制完成后，disable 從 LUN 的快照。從 LUN2 的寫 IO 處理周期 N-1 開始時(shí)，對(duì)從 LUN 進(jìn)行 activating，即對(duì)周期 N-2 的數(shù)據(jù)在 Cache 和存儲(chǔ)介質(zhì)中進(jìn)行快照 activating在周期 N-1 中，接收由主 LUN 同步而來(lái)的數(shù)據(jù)，寫入從 LUN 的 Cache。該周期復(fù)制完成后，Disable

42、 從 LUN 的快照。如果主 LUN 的寫 IO 帶寬臨時(shí)性增大，或者陣列間鏈路帶寬臨時(shí)減小使得復(fù)制周期變長(zhǎng)，導(dǎo)致周期內(nèi)寫入數(shù)據(jù)過多，超過了 Cache 所能緩存的寫數(shù)據(jù)量，則遠(yuǎn)程復(fù)制會(huì)采用日志對(duì)超出部分進(jìn)行記錄，不會(huì)中斷周期性同步。遠(yuǎn)程復(fù)制會(huì)嚴(yán)格保證從 LUN 的數(shù)據(jù)一致性，即寫 IO 的依賴關(guān)系。在主 LUN 的 IO 處理中，在每次周期間切換時(shí)，遠(yuǎn)程復(fù)制會(huì)保證將有依賴關(guān)系的兩個(gè)寫 IO 納入同一個(gè)周期，或者按照其順序分別納入先、后周期，不會(huì)出現(xiàn)先寫入的 IO 納入后一周期，而后寫入的 IO 納入前一周期的情況。在從 LUN 的 IO 處理中，當(dāng)主 LUN 故障后需要訪問從 LUN 時(shí)，遠(yuǎn)

43、程復(fù)制會(huì)檢查從 LUN 是否完成當(dāng)前周期的復(fù)制，如果沒有完成，則使用快照對(duì)從 LUN 進(jìn)行回滾，使其數(shù)據(jù)保證為周期切換點(diǎn)時(shí)的狀態(tài)，保證其數(shù)據(jù)一致性。通過 Cache 中的異步復(fù)制，最高可以實(shí)現(xiàn) 16s 的秒級(jí) RPO 的數(shù)據(jù)災(zāi)備要求。災(zāi)難切換處理1）生產(chǎn)中心故障當(dāng)生產(chǎn)中心發(fā)生災(zāi)難后，不能再提供業(yè)務(wù)。同城災(zāi)備中心的從 LUN 保存著與主 LUN 較短時(shí)間間隔的數(shù)據(jù)，保障盡量少的數(shù)據(jù)丟失，RPO 可達(dá) 06s，如果同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)，保證最短時(shí)間的業(yè)務(wù)接管。從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址，以便用于后續(xù)增量

44、恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。2）生產(chǎn)中心和同城災(zāi)備中心都故障當(dāng)生產(chǎn)中心和同城中心在重大災(zāi)難或者都故障后，異地備中心的從 LUN 保存著與主LUN 間隔一定時(shí)間周期（復(fù)制周期）之前的數(shù)據(jù)，保障數(shù)據(jù)絕大部分不丟失。如果異地同城災(zāi)備中心部署有備用主機(jī)，則備用主機(jī)可以訪問從 LUN，接管業(yè)務(wù)。異地災(zāi)備中心從 LUN 開始被主機(jī)訪問后，每次收到新寫入的數(shù)據(jù)，遠(yuǎn)程復(fù)制會(huì)自動(dòng)記錄其地址， 以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。災(zāi)難恢復(fù)處理數(shù)據(jù)未被破壞時(shí)當(dāng)生產(chǎn)中心災(zāi)難恢復(fù)后，如果存儲(chǔ)系統(tǒng) A 和 B 沒有受到破壞，主 LUN 能夠恢復(fù)其原有數(shù)據(jù)，則遠(yuǎn)程復(fù)制可以將主 LUN 故障期間，從 LUN 1新寫入的數(shù)

45、據(jù)增量復(fù)制到主LUN。復(fù)制完成后，主、從 LUN 保持復(fù)制關(guān)系。此時(shí)，可以將業(yè)務(wù)切換回生產(chǎn)中心， 重新由生產(chǎn)主機(jī)訪問存儲(chǔ)陣列 A 的主 LUN，遠(yuǎn)程復(fù)制重新保持由主 LUN 向從 LUN 實(shí)時(shí)同步數(shù)據(jù)。數(shù)據(jù)完全被破壞時(shí)當(dāng)存儲(chǔ)系統(tǒng) A 或 B 被破壞，數(shù)據(jù)不可修復(fù)時(shí)，需要重建存儲(chǔ)系統(tǒng) A 或者存儲(chǔ)系統(tǒng) B， 將從端數(shù)據(jù)反向復(fù)制到主端存儲(chǔ)系統(tǒng) A 和存儲(chǔ)系統(tǒng) B 上，調(diào)整主從關(guān)系，在生產(chǎn)中心恢復(fù)業(yè)務(wù)。鏈路和災(zāi)備端故障當(dāng)生產(chǎn)中心與災(zāi)備中心的復(fù)制鏈路故障或者災(zāi)備中心設(shè)備故障，則遠(yuǎn)程復(fù)制自動(dòng)斷開復(fù)制，不影響生產(chǎn)系統(tǒng)的正常運(yùn)行。生產(chǎn)中心主 LUN 將記錄故障期間的數(shù)據(jù)差異變化， 待故障恢復(fù)后，自動(dòng)將增量數(shù)

46、據(jù)同步到從 LUN。HyperMetro+異步級(jí)聯(lián)工作原理HyperMetro 支持通過異步級(jí)聯(lián)和異步并聯(lián)兩種模式組成 3DC，技術(shù)原理上比較類似，下面介紹HyperMetro+異步級(jí)聯(lián)模式的工作原理。初始同步處理HyperMetro+異步復(fù)制初始同步主要包括雙活數(shù)據(jù)中心之間初始同步和雙活到異地災(zāi)備中心異步復(fù)制主從 LUN 之間的初始同步。HyperMetro 雙活站點(diǎn)間推薦 FC 互聯(lián)，可直接通過配置完成初始同步，與異地容災(zāi)中心根據(jù)互聯(lián)帶寬的情況可選擇下面幾種初始同步方式的一種完成初始同步。1.臨時(shí)增加復(fù)制帶寬完成初始同步。2.將設(shè)備搬遷到一起來(lái)完成初始同步。3.通過移動(dòng)介質(zhì)存儲(chǔ)中轉(zhuǎn)進(jìn)行初始

47、同步。異步復(fù)制初始同步系統(tǒng)自動(dòng)創(chuàng)建快照，將主 LUN 數(shù)據(jù)全部復(fù)制到從 LUN，復(fù)制期間新增數(shù)據(jù)不會(huì)復(fù)制到從 LUN 中。正常狀態(tài)處理HyperMtro 雙活+異步復(fù)制的寫 I/O 流程如下：寫請(qǐng)求到雙活 LUN；雙活 LUN 將寫請(qǐng)求雙寫到兩中心的雙活數(shù)據(jù) LUN；雙活數(shù)據(jù) LUN 返回寫操作完成；雙活數(shù)據(jù) LUN 返回寫 I/O 操作完成周期性的啟動(dòng)異步模式，主端創(chuàng)建時(shí)間戳快照，并通知災(zāi)備中心創(chuàng)建也創(chuàng)建時(shí)間戳快照增量數(shù)據(jù)復(fù)制完成后，異地災(zāi)備中心陣列創(chuàng)建時(shí)間戳快照（用于復(fù)制過程中，出現(xiàn)任何異常，可在災(zāi)備中心拉起業(yè)務(wù)）將增量數(shù)據(jù)復(fù)制到異地災(zāi)備中心增量數(shù)據(jù)復(fù)制完成后，異地災(zāi)備中心從 LUN 置為

48、數(shù)據(jù)完整狀態(tài)，復(fù)制置為正常關(guān)系通過雙活+陣列復(fù)制的兩地三中心可實(shí)現(xiàn)同城業(yè)務(wù) RPO=0，RTO=0，對(duì)異地災(zāi)備中心通過多時(shí)間點(diǎn)技術(shù)可實(shí)現(xiàn)秒級(jí) RPO，通過容災(zāi)一鍵式恢復(fù)，可實(shí)現(xiàn) RTO 分鐘級(jí)。災(zāi)難切換處理雙活+異步復(fù)制的災(zāi)難切換分成生產(chǎn)中心 A、生產(chǎn)中心 B 和生產(chǎn)中心 A 和 B 均故障時(shí)的切換處理。1）生產(chǎn)中心 A 故障當(dāng)生產(chǎn)中心 A 發(fā)生災(zāi)難后，生產(chǎn)中心 B 自動(dòng)接管業(yè)務(wù)，生產(chǎn)中心 B 記錄與生產(chǎn)中心 A的數(shù)據(jù)差異，與災(zāi)備中心的異步復(fù)制不受影響。當(dāng)生產(chǎn)中心 A 的存儲(chǔ)設(shè)備可修復(fù)并且雙活數(shù)據(jù) LUN 和雙活配置都正常的情況下，生產(chǎn)中心 B 將故障期間的差量數(shù)據(jù)復(fù)制到生產(chǎn)中心 A，直到雙活

49、工作狀態(tài)全部恢復(fù)正常。2）生產(chǎn)中心 B 故障當(dāng)生產(chǎn)中心 B 與異地災(zāi)備中心實(shí)現(xiàn)異步復(fù)制時(shí)，生產(chǎn)中心 B 發(fā)生災(zāi)難后，不影響生產(chǎn)業(yè)務(wù)的接管。由于生產(chǎn)中心與異地災(zāi)備中心通過異步復(fù)制容災(zāi)，生產(chǎn)中心 B 發(fā)生災(zāi)難后，生產(chǎn)系統(tǒng)當(dāng)前的數(shù)據(jù)無(wú)法繼續(xù)異步復(fù)制到異地。當(dāng)生產(chǎn)中心 B 在可修復(fù)并且雙活數(shù)據(jù) LUN 和雙活配置都正常的情況下，修復(fù)后自動(dòng)將差異數(shù)據(jù)同步到生產(chǎn)中心 B 磁盤陣列中，異步復(fù)制繼續(xù)增量復(fù)制到異地災(zāi)備中心。當(dāng)生產(chǎn)中心 B 無(wú)法修復(fù)的條件下，雙活需要重新初始同步鏡像數(shù)據(jù)，并重新初始復(fù)制到異地災(zāi)備中心。3）生產(chǎn)中心 A 和生產(chǎn)中心 B 都故障當(dāng)生產(chǎn)中心 A 和生產(chǎn)中心 B 分布較近，在重大災(zāi)難時(shí)均

50、可能出現(xiàn)故障，此時(shí)可在異地災(zāi)備中心拉起業(yè)務(wù)。在災(zāi)備中心拉起業(yè)務(wù)時(shí)，數(shù)據(jù)要回滾到最近的一致性點(diǎn)，最多可能丟失兩個(gè)復(fù)制周期的數(shù)據(jù)。異地災(zāi)備中心從 LUN 接管業(yè)務(wù)后，遠(yuǎn)程復(fù)制會(huì)記錄差異數(shù)據(jù)，以便用于后續(xù)增量恢復(fù)，縮短業(yè)務(wù)回切的時(shí)間。災(zāi)難恢復(fù)處理1）生產(chǎn)中心 A 故障的恢復(fù)當(dāng)生產(chǎn)中心 A 的存儲(chǔ)設(shè)備可修復(fù)并且雙活數(shù)據(jù) LUN 和雙活配置都正常的情況下， 生產(chǎn)中心 B 將故障期間的差量數(shù)據(jù)復(fù)制到生產(chǎn)中心 A，直到雙活工作狀態(tài)全部恢復(fù)正常。當(dāng)生產(chǎn)中心 A 無(wú)法修復(fù)的條件下，需要在生產(chǎn)中心 A 與生產(chǎn)中心 B 重新建立雙活配置，重新完成初始數(shù)據(jù)同步。2）生產(chǎn)中心 B 故障的恢復(fù)當(dāng)生產(chǎn)中心 B 在可修復(fù)并且

51、雙活數(shù)據(jù) LUN 和雙活配置都正常的情況下，修復(fù)后自動(dòng)將差異數(shù)據(jù)同步到生產(chǎn)中心 B 磁盤陣列中，異步復(fù)制繼續(xù)增量復(fù)制到異地災(zāi)備中心。當(dāng)生產(chǎn)中心 B 無(wú)法修復(fù)的條件下，需要在生產(chǎn)中心 A 與生產(chǎn)中心 B 重新建立雙活配置，在生產(chǎn)中心 B 與災(zāi)備中心建立異步復(fù)制配置，并完成初始數(shù)據(jù)同步，恢復(fù)生產(chǎn)中心 A 與生產(chǎn)中心 B 的雙活關(guān)系，生產(chǎn)中心 B 與災(zāi)備中心異步復(fù)制關(guān)系，雙活狀態(tài)和異步復(fù)制狀態(tài)均恢復(fù)正常后，結(jié)束故障恢復(fù)操作。3）生產(chǎn)中心 A 和生產(chǎn)中心 B 都故障當(dāng)生產(chǎn)中心 A 和生產(chǎn)中心 B 在均可修復(fù)并且雙活數(shù)據(jù) LUN 和雙活配置都正常的情況下，確認(rèn)是否需要將災(zāi)備中心的數(shù)據(jù)同步到生產(chǎn)中心，如果

52、需要，先將災(zāi)備中心數(shù)據(jù)復(fù)制到 B，然后由生產(chǎn)中心 B 同步到生產(chǎn)中心 A，完成后再恢復(fù)業(yè)務(wù)。如果不需要將災(zāi)備中心數(shù)據(jù)復(fù)制到生產(chǎn)中心 B，可在生產(chǎn)中心 A 和生產(chǎn)中心 B 上直接恢復(fù)業(yè)務(wù)， 災(zāi)備中心的新增數(shù)據(jù)會(huì)被覆蓋。當(dāng)生產(chǎn)中心 A 和生產(chǎn)中心 B 完全被破壞時(shí)，需要將災(zāi)備中心的數(shù)據(jù)同步到生產(chǎn)中心 B，然后重建生產(chǎn)中心 A 和生產(chǎn)中心 B 雙活配置，完成初始同步，然后再建立生產(chǎn)中心 B 到災(zāi)備中心異步復(fù)制關(guān)系，雙活狀態(tài)和異步復(fù)制狀態(tài)均恢復(fù)正常后，結(jié)束故障恢復(fù)操作。鏈路和災(zāi)備端故障為了應(yīng)對(duì)無(wú)仲裁或仲裁故障的場(chǎng)景，HyperMetro 有優(yōu)先站點(diǎn)的概念，就是當(dāng)網(wǎng)絡(luò)故障后，優(yōu)先站點(diǎn)會(huì)獲得更多的機(jī)會(huì)接管

53、業(yè)務(wù)。在 HyperMetro+異步級(jí)聯(lián)模式下，建議將優(yōu)先站點(diǎn)設(shè)置在生產(chǎn)中心 B，以便 HyperMetro 在網(wǎng)絡(luò)故障或生產(chǎn)中心 A 故障，會(huì)仲裁到生產(chǎn)中心 B 承擔(dān)業(yè)務(wù)，生產(chǎn)中心 B 與災(zāi)備中心的容災(zāi)仍能正常工作，保證 RPO 的達(dá)成。當(dāng)生產(chǎn)中心 A 與生產(chǎn)中心 B 鏈路故障，HyperMetro 將業(yè)務(wù)優(yōu)先仲裁到數(shù)據(jù)中心 B，數(shù)據(jù)中心 B 與災(zāi)備中心的復(fù)制不受影響。業(yè)務(wù)切換到數(shù)據(jù)中心 B 后，數(shù)據(jù)中心 B 會(huì)記錄與數(shù)據(jù)中心 A 的差量數(shù)據(jù)，當(dāng)網(wǎng)絡(luò)恢復(fù)后，數(shù)據(jù)中心 B 同步差量數(shù)據(jù)到數(shù)據(jù)中心 A， 同步完成后，雙活恢復(fù)到正常狀態(tài)。當(dāng)生產(chǎn)中心 B 與災(zāi)備中心的復(fù)制鏈路故障或者災(zāi)備中心設(shè)備故障

54、，則遠(yuǎn)程復(fù)制自動(dòng)斷開，不影響生產(chǎn)系統(tǒng)的正常運(yùn)行。遠(yuǎn)程復(fù)制自動(dòng)斷開后，生產(chǎn)中心 B 將記錄故障期間的差量數(shù)據(jù)，待故障恢復(fù)后，自動(dòng)將差量數(shù)據(jù)同步到災(zāi)備中心。兩地三中心容災(zāi)關(guān)鍵技術(shù)原理存儲(chǔ)雙活訪問兩地三中心方案中雙活+異步復(fù)制實(shí)現(xiàn)的容災(zāi)方案中，同城雙活涉及到的關(guān)鍵技術(shù)包括： 跨中心存儲(chǔ)集群，故障不間斷訪問和地域優(yōu)化訪問等幾大技術(shù)，相關(guān)技術(shù)主要利用集群技術(shù)提供雙活的存儲(chǔ)架構(gòu)，每個(gè)節(jié)點(diǎn)以共享卷方式向應(yīng)用服務(wù)器提供無(wú)差異的并行訪問，同時(shí)處理應(yīng)用服務(wù)器的 I/O 請(qǐng)求；各節(jié)點(diǎn)間互為備份，均衡負(fù)載，任何節(jié)點(diǎn)故障后，其承接的業(yè)務(wù)自動(dòng)切換到正常節(jié)點(diǎn)，保證系統(tǒng)的可靠性、業(yè)務(wù)的連續(xù)性。相關(guān)詳細(xì)介紹請(qǐng)參考雙活數(shù)據(jù)中心技

55、術(shù)白皮書遠(yuǎn)程復(fù)制狀態(tài)轉(zhuǎn)移圖遠(yuǎn)程復(fù)制有“同步中”、“已分裂”、“正?！?、“異常斷開”、“失效”幾種狀態(tài)，對(duì)各種狀態(tài)的描述如下表：表3-1 遠(yuǎn)程復(fù)制狀態(tài)描述Pair 狀態(tài)狀態(tài)描述正常（Normal）同步復(fù)制初始創(chuàng)建時(shí)選擇主、從 LUN 無(wú)差異、或者主、從 LUN 同步完成后進(jìn)入該狀態(tài)已分裂（Splited）同步復(fù)制初始創(chuàng)建時(shí)選擇主、從 LUN 數(shù)據(jù)有差異，或者同步中或正?；虍惓嚅_時(shí)選擇執(zhí)行分裂操作同步中（Synchronizing）分裂或者異常斷開后執(zhí)行同步操作異常斷開（Interrupted）正?；蛘咄街袪顟B(tài)時(shí)出現(xiàn) IO 失敗、LUN 故障、復(fù)制鏈路故障進(jìn)入該狀態(tài)Pair 狀態(tài)狀態(tài)描述鏡像失

56、效主從陣列的 Pair 基本屬性配置不一致各種狀態(tài)的轉(zhuǎn)換關(guān)系如下圖所示：圖3-3 遠(yuǎn)程復(fù)制狀態(tài)轉(zhuǎn)移圖基于 Cache 的多時(shí)間點(diǎn)復(fù)制技術(shù)HyperReplication/A 基于 cache 多時(shí)間快照技術(shù)，主端需要做 COW 時(shí)，主機(jī) IO 寫入Cache 即可返回，不需要等 COW 完成后才返回，減少了 COW 對(duì)主機(jī)性能的影響，極大降低了遠(yuǎn)程復(fù)制同步數(shù)據(jù)時(shí)對(duì)主機(jī)的性能影響，同時(shí)遠(yuǎn)程復(fù)制拷貝數(shù)據(jù)時(shí)，主端直接從 Cache 讀取拷貝數(shù)據(jù)，拷貝時(shí)延較小，使異步遠(yuǎn)程復(fù)制支持秒級(jí) RPO。圖3-4 Cache 多時(shí)間戳復(fù)制原理Block IO 技術(shù)遠(yuǎn)程復(fù)制一致性組在特定場(chǎng)景下需要懸掛主機(jī) IO，阻

57、止主機(jī) IO 下發(fā)，保證一致性組中成員數(shù)據(jù)一致性。OceanStor 企業(yè)統(tǒng)一存儲(chǔ)系統(tǒng)基于 Block IO 技術(shù)，多控下懸掛主機(jī) IO 耗時(shí)能夠達(dá)到微妙級(jí)，而業(yè)界懸掛 IO 耗時(shí)基本為秒級(jí)。通過 Block IO 技術(shù)，可以減少遠(yuǎn)程復(fù)制對(duì)主機(jī)IO 性能的影響，提升控制流程效率?？缯军c(diǎn)壞塊修復(fù)技術(shù)當(dāng)磁盤陣列的硬盤出現(xiàn)壞道，且無(wú)法利用 RAID 重構(gòu)技術(shù)進(jìn)行修復(fù)時(shí)，或在主機(jī)向存儲(chǔ)讀寫過程中發(fā)生 DIF 校驗(yàn)失敗時(shí)，都可能導(dǎo)致主機(jī)業(yè)務(wù)中斷。華為存儲(chǔ)兩地三中心解決方案提供了一種增強(qiáng)的壞塊修復(fù)技術(shù)，當(dāng)生產(chǎn) LUN 出現(xiàn)不可修復(fù)的壞塊或者 DIF 錯(cuò)誤時(shí)，只要相關(guān)的數(shù)據(jù)已經(jīng)復(fù)制到同城災(zāi)備 LUN 上，系

58、統(tǒng)可自動(dòng)將主機(jī)讀請(qǐng)求重定向到同城災(zāi)備 LUN，讀到正確的數(shù)據(jù)并返回主機(jī)和修復(fù)生產(chǎn) LUN，大大提高整體解決方案的可靠性。反向增量同步技術(shù)OceanStor 企業(yè)統(tǒng)一存儲(chǔ)系統(tǒng)支持反向增量同步，在設(shè)置從 LUN 可寫之后，便可將原災(zāi)備中心的 LUN 映射給備用生產(chǎn)主機(jī)，恢復(fù)生產(chǎn)業(yè)務(wù)，此時(shí)會(huì)對(duì)主從 LUN 的寫記錄差異。主從切換后，可以通過合并主從差異，進(jìn)行反向的增量同步來(lái)使得災(zāi)難恢復(fù)后業(yè)務(wù)快速回切，避免拷貝全量拷貝數(shù)據(jù)帶來(lái)的時(shí)間和資源開銷。對(duì)于兩地三中心容災(zāi)場(chǎng)景，不論是主站點(diǎn)故障還是主站點(diǎn)及同城災(zāi)備中心同時(shí)故障， 業(yè)務(wù)在同城災(zāi)備中心或異地災(zāi)備中心恢復(fù)過程中都可以采用反向增量同步技術(shù)，大大提高了災(zāi)難恢復(fù)后業(yè)務(wù)回切的速度，減小業(yè)務(wù)切換過程中的影響。容災(zāi)管理容災(zāi)管理軟件，相當(dāng)于整個(gè)容災(zāi)系統(tǒng)的大腦，對(duì)系統(tǒng)中各種資源如服務(wù)器、存儲(chǔ)設(shè)備、軟件等進(jìn)行管理，針對(duì)容災(zāi)全流程如容災(zāi)遷移、容災(zāi)恢復(fù)、容災(zāi)巡檢、容災(zāi)分析、容災(zāi)報(bào)表等提供業(yè)務(wù)管理，大大簡(jiǎn)化容災(zāi)系統(tǒng)的管理工作，降低容災(zāi)系統(tǒng)維護(hù)成本。DashBoard 信息縱覽DashBoard 讓容災(zāi)狀態(tài)盡在掌握。主頁(yè)面中直觀展示任務(wù)執(zhí)行的成功失敗的運(yùn)行情況， 任務(wù)執(zhí)行時(shí)間的長(zhǎng)度，對(duì) ORACLE，SQL Server 等應(yīng)用的保護(hù)設(shè)置情況，統(tǒng)計(jì)信息