HDS數(shù)據(jù)遷移解決方案

1、HDS數(shù)據(jù)遷移解決方案1. 數(shù)據(jù)遷移概述數(shù)據(jù)遷移是企業(yè)IT建設經(jīng)常面對的工作。在開發(fā)環(huán)境向運行環(huán)境轉(zhuǎn) 換、低版本數(shù)據(jù)庫向高版本數(shù)據(jù)庫轉(zhuǎn)換、兩個不同數(shù)據(jù)庫之間進 行轉(zhuǎn)換以 至系統(tǒng)硬件升級時，數(shù)據(jù)均可能需要被轉(zhuǎn)移并使之遷移后正常運行?；诖鎯Φ臄?shù)據(jù)遷移是一次性的將數(shù)據(jù)從一個存儲轉(zhuǎn)移到另一個存儲 系統(tǒng)上，它包括對新存儲的啟用和數(shù)據(jù)可用性的保證。在一些情況下，基于 存儲的數(shù)據(jù)遷移是進行數(shù)據(jù)大集中的手段，非常適合大規(guī)模數(shù)據(jù)遷移需求。基于存儲的數(shù)據(jù)遷移又可分為同構存儲遷移和異構存儲遷移兩大類。 目前基于同構存儲的遷移是指在同廠家同型號產(chǎn)品之間數(shù)據(jù)遷移，需要配置 支持基于磁盤陣列內(nèi)(間)的數(shù)據(jù)復制軟件，在H

2、DS同系列存儲環(huán)境下，經(jīng) 常性的數(shù)據(jù)遷移可利用存儲產(chǎn)品中的遷移復制(Volume MigrationShadowlmage)及存儲間的復制TrueCopy功能 簡化數(shù) 據(jù)遷移工作；對EMC而言是配置SRD&DM或TIMEFINDER等。異構存儲間數(shù)據(jù)遷移需要虛擬化技術支持,HDS虛擬化技術非常成熟， 在虛擬化基礎上將原來不能完成數(shù)據(jù)復制的存儲設備整合在一起，形成統(tǒng) 一存儲池，這時物理上在兩個磁盤的數(shù)據(jù)卷之間的遷移，在邏碌上來講是在整合虛擬后的同一個磁盤陣列內(nèi)卷遷移，大大簡化了數(shù) 據(jù)遷移的復雜性。許許多多國內(nèi)外客戶都通過這種數(shù)據(jù)遷移方式 實現(xiàn)了在 線數(shù)據(jù)遷移。2數(shù)據(jù)遷移的難題當今數(shù)據(jù)遷移

3、的主要難題是進行一次成功的數(shù)據(jù)遷移時間要求 越來越 短。然而應用在存儲方面的需求不斷增加，存儲的升級和更替更加頻繁； 同時，用戶的應用趨向于全年不停頓運行、對系統(tǒng)的可靠 性.可用性要求不 斷提高，維護時間窗口的不斷減少等因素，使得進 行一次平滑的成功數(shù)據(jù) 遷移越來越具挑戰(zhàn)。在進行數(shù)據(jù)遷移項目計劃時，一些因素是必須考慮的。21數(shù)據(jù)的保護數(shù)據(jù)的保護是最重要的，在數(shù)據(jù)遷移中數(shù)據(jù)的安全必須得到完全 的保 護。任何一個更換過個人計算機中的硬盤的人，都對因為在更換 過程中對 某些細節(jié)的忽視造成的數(shù)據(jù)丟失有預期和經(jīng)驗。當在企業(yè)級數(shù)據(jù)遷移中， 數(shù)據(jù)備份、實施步驟的回退計劃是保證數(shù)據(jù)在遷移后的可用性的必需準 備

4、。2. 2在線或離線遷移如果應用可以暫停，則遷移過程可以更快捷；但是當今大多數(shù)系 統(tǒng)有 著嚴格的可用性要求。當數(shù)據(jù)遷移在生產(chǎn)環(huán)境中進行時，不僅要密切監(jiān)控 數(shù)據(jù)遷移的過程，而且要將遷移對生產(chǎn)系統(tǒng)的影響降到最低。3. 3維護時間窗口通常遷移工作只能在預先確定的維護時間窗口中進行。通常時間窗口 是在夜間或周末生產(chǎn)活動最少的時候。這些嚴格的時間窗口的存 在使得遷 移項目可能表現(xiàn)出不規(guī)則間斷的情況：緊張的遷移在時間窗口中進行，然 后在時間窗口關閉時停止，業(yè)務繼續(xù)運行；遷移工作只有在時間窗口再次 打開后才可以繼續(xù)進行。從而使得遷移工作分散成 數(shù)成不連續(xù)的多個階段 性工作。24遷移技術在開放系統(tǒng)環(huán)境中，沒有

5、一個完美的數(shù)據(jù)遷移技術。每個遷移技 術均 有優(yōu)勢和劣勢。針對每個特定的業(yè)務環(huán)境，應該根據(jù)不同技術的特點進行 仔細甄別選擇。直接費用（人力、硬件和軟件等）因素應 該和間接因素 （應用停止和生產(chǎn)系統(tǒng)性能影響等）結(jié)合起來作為選擇 遷移技術的判據(jù)。 有些需要更大的維護時間窗口，而有些對生產(chǎn)系統(tǒng)的性能會有較大影響。 這些都會成為選擇相應存儲技術的考慮因素。25計劃和應用停頓的容忍程度數(shù)據(jù)遷移會對生產(chǎn)系統(tǒng)有著或多或少的影響，當分析完應用可用 性要 求，完成維護時間窗口的選擇后，可供選擇的技術就相對比較固定。2. 6測試需求根據(jù)應用的情況，特定時間的遷移前測試和遷移后測試是必須 的。因 為沒有一個普遍適用的

6、測試計劃，所以針對每個特定的環(huán)境都需要做出詳 細的有針對性的測試計劃。測試的時間跨度也與應用情況相關，時間長短 也是根據(jù)應用的需求決定。2. 7數(shù)據(jù)遷移的時間跨度總的來說，決定數(shù)據(jù)遷移時間跨度的最主要因素是用戶對遷移對 原應 用的影響的容忍程度。而時間跨度與應用可用性之間密切相關。通常，在費用和可以接受的應用可用性之間有著一定的關系。越高要求的應 用可用性意味著越多的費用，從而也就制約了時間跨度。經(jīng)驗表明，在沒有 詳細徹底的評估環(huán)境和項目目標的情況下，進行遷移時 間的預測是很困難 的。一般來說，需要經(jīng)過評估，分析，計劃和實施 等幾個步驟。3. 8整個環(huán)境的復雜性在數(shù)據(jù)遷移過程中涉及到各種應用和

7、數(shù)據(jù)之間的關系，越復雜的應用 環(huán)境，則相應的計劃和實施就越復雜。3數(shù)據(jù)遷移技術的選擇客戶的原系統(tǒng)應用系統(tǒng)架構中包括了 HPJBM等多種主機平臺，存儲為 HDS9970V，將來可擴展個多種存儲平臺，在進行初步分析的基礎上，針對未 來主機操作系統(tǒng)改變與否，我們認為未來系統(tǒng)的選擇 可以分為兩大類：同 構環(huán)境和異構環(huán)境。3.1 同構環(huán)境的數(shù)據(jù)遷移技術針對與現(xiàn)有系統(tǒng)同構，我們認為至少可以有以下一些技術手段可以選 擇：基于磁盤陣列遠程數(shù)據(jù)復制技術的數(shù)據(jù)遷移。3基于主機操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移?；跀?shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移。基于三方工具的數(shù)據(jù)遷移。基于存儲虛擬化技術的數(shù)據(jù)遷移3. 2異構環(huán)境的

8、數(shù)據(jù)遷移技術針對異構計算環(huán)境，一般推薦可以使用以下幾種方法之一，具體方法 的選擇還需進一步詳細了解現(xiàn)有系統(tǒng)運行環(huán)境：基于主機操作系統(tǒng)邏輯卷鏡 像技術的數(shù)據(jù)遷移?；跀?shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移?；谌焦ぞ叩臄?shù)據(jù)遷移?；诖鎯μ摂M化技術的數(shù)據(jù)遷移4. 3可選的數(shù)據(jù)遷移技術 對于業(yè)務數(shù)據(jù)的遷移，目前主要采用如下五種方 法：基于磁盤陣列遠程數(shù)據(jù)復制技術的數(shù)據(jù)遷移。基于主機操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移?；跀?shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移?；诘谌焦ぞ叩臄?shù)據(jù)遷移。基于存儲虛擬化技術的數(shù)據(jù)遷移最后的遷移方案應該是上述方案的結(jié)合，我們會在上述方法結(jié)合 過程 中找到最佳數(shù)據(jù)遷移方案。33.1基于主機

9、操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移此種數(shù)據(jù)遷移方法，主要利用業(yè)務主機操作系統(tǒng)內(nèi)置的邏輯卷管 理系 統(tǒng)的邏碌卷鏡像(LVMirroi:)技術，對于業(yè)務系統(tǒng)所使用的每個LV,都進 行PV映射擴展，在新的目標磁盤陣列上擴展一個PV映射，這樣，通過數(shù) 據(jù)的初始化同步，可以保證業(yè)務數(shù)據(jù)在原有的磁盤陣列和新的磁盤陣列上 保持同步，兩邊數(shù)據(jù)完全一致。然后，在刪除侮個LV到原有磁盤陣列的PV映射，這樣，數(shù)據(jù)就完全從原有磁盤陣列遷移到新的磁盤陣列。原有磁 盤陣列上的數(shù)據(jù)在一段時間內(nèi)保持 不變，以用來回退，一旦數(shù)據(jù)遷移因各 種原因無法成功，則還可以利用原來的磁盤陣列提供數(shù)據(jù)訪問。此種方法 存在如下優(yōu)點：*步驟簡單，

10、容易實現(xiàn)，速度快;“不需要考慮到上層數(shù)據(jù)應用系統(tǒng)的內(nèi)部的結(jié)構;F可以在線進行，只需要較短的停機時間（在所有的LV鏡像完成后,需耍 停機斷開LV和原有磁盤陣列上的PV的映射）；在進行PV映射擴展時，在經(jīng)過初始化數(shù)據(jù)何步后，保持鏡像狀 態(tài)對 系統(tǒng)的性能影響很?。ù蟾艜?%的系統(tǒng)資源）；但是，利用這種方法，也存在如下的問題：¥在LV進行初始化數(shù)據(jù)同步的時 候，需要消耗主機系統(tǒng)較大的CPUs memory以及10資源，因此在進行LV初 始化數(shù)據(jù)同步的時候，會對 在線系統(tǒng)的性能造成較大的沖擊;基于主機的數(shù)據(jù)遷移方案對于安徽郵政存儲銀行信息中心木次項目是 可行的，采用該方案可以逐步實現(xiàn)數(shù)據(jù)遷

11、移，但需要較多的實 施步驟和停 機次數(shù)。采用該種數(shù)據(jù)遷移方案各公司間是沒有根本區(qū)別，HDS公司在這 類數(shù)據(jù)遷移實踐中也積累了大量經(jīng)驗。332基于數(shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移此種數(shù)據(jù)遷移方法，主要通過數(shù)據(jù)庫自帶的備份和恢復功能以及邏碌 R志追加的技術，實現(xiàn)一個數(shù)據(jù)逐步遷移的方法，最后達到把數(shù)據(jù)從原有 的磁盤陣列完全遷移到新的磁盤陣列的目的。本方法比較安 全，當數(shù)據(jù)遷 移不成功時，不影響生產(chǎn)系統(tǒng)的正常運行，但是遷移時間較長，對技術要 求較高，而且需要專門用于數(shù)據(jù)遷移的一臺與生產(chǎn) 主機環(huán)境一樣的主機， 硬件配置可以稍低一點?；跀?shù)據(jù)庫的數(shù)據(jù)遷移方案僅僅能夠遷移數(shù)據(jù)庫業(yè)務應用，對非數(shù)據(jù) 庫應用不可行

12、。因此，對于安徽郵政存儲銀行信息中心本次項目是不可行 的。333基于磁盤陣列遠程數(shù)據(jù)復制技術的數(shù)據(jù)遷移此種數(shù)據(jù)遷移方法，可以在同一個磁盤陣列內(nèi)通過基于磁盤陣列 的克 隆軟件或卷遷移軟件實現(xiàn)數(shù)據(jù)復制，完成數(shù)據(jù)遷移。如果兩個異 構的磁盤 陣列通過HDS虛擬化技術整合在一起，那么在兩個異構的 磁盤陣列間的數(shù) 據(jù)復制就轉(zhuǎn)化為在同一磁盤陣列間的數(shù)據(jù)復制，這就 是HDS異構磁盤陣列 數(shù)據(jù)遷移核心所在。對于兩套同型號磁盤陣列，可以通過陣列之間的數(shù)據(jù)復制技術來 實現(xiàn) 數(shù)據(jù)的遷移，如目前的HDS的Tur eCopy技術，EMC的SRDF技術，都可以實 現(xiàn)在兩套磁盤陣列之間的數(shù)據(jù)遷移，并且此種方法不8占用主機資源

13、，對應用透明。但是源磁盤陣列和目標磁盤陣列必須是 同一 廠家的同一系列的產(chǎn)品，而且遷移過程對生產(chǎn)系統(tǒng)有一定的性能 影響。3 34基于第三方工具的數(shù)據(jù)遷移此種數(shù)據(jù)遷移的方法，利用一些第三方的工具實現(xiàn)數(shù)據(jù)遷移，如Veritas的VVR。這種方法，不僅需要額外購買第三方工具，實施比較復 雜，同時，對于特定的第三方工具，需要滿足一些前提條件，如Veritas的WR只能基于VxFS文件系統(tǒng)上的卷復制，對于其它的文件系統(tǒng) 或raw device,則無法使用。335基于HDS存儲虛擬化的數(shù)據(jù)遷移此種數(shù)據(jù)遷移的方法，利用HDS特有的USPv/USPvm的UVM(Universal volume manager

14、) + 卷遷移復制 VolumeMigration 實現(xiàn) 數(shù) 據(jù)遷移。這種方法，可以采用HDS UVM和Volume Migration功能 軟件，通 過UVM實現(xiàn)USPv對外部存儲的虛擬化管理和應用重新映 射訪問，然后用卷 遷移軟件Volume Migration將數(shù)據(jù)應用不停止的在 線遷移到USPv內(nèi)部， 由于不涉及主機的任何設置修改，實施比較簡 單，遷移速度非常快。遷移方案是否需要訃遷移所需要消耗的資源實施難度劃性停機，性能幾次操作系統(tǒng)鏡像數(shù)。命令1次可以根據(jù)業(yè)務情況，LUN級靈活控制拷貝速度需要消耗較少的主機端資源（文件系統(tǒng)層次鏡像）完全采用系統(tǒng)管理W熟悉的 文件系統(tǒng)命令，難度很小但

15、管理非常復雜，乎工操作容 災出錯，風險較大。Oracle Standyby方式備份和恢復2次中等需要消耗一定的主機端資源（數(shù)據(jù)庫層次log）取決于對數(shù)據(jù)庫的熟悉程度（注意數(shù)據(jù)庫的no log操作）磁盤陣列復制（只能在同構陣列間實施）次校快，但不能靈活調(diào)if1.需消耗陣列的控制器能力和大量緩存資源:2.主 機10需增加一定的時延，若在同機房遷移則影響較小需仔細規(guī)劃，確保陣列和主 機之間的數(shù)據(jù)完整性。遷移結(jié)束后測試驗證可回退 性差。存在安全隱恿，實施 案例很少。第三方工具2次速度可控TDMF需要占用10%的主機系統(tǒng)資源取決于數(shù)抵遷矜服務人員實施能力。HDS存儲虛擬化+卷遷移1次速度最快，非常靈活L

16、不消耗任何主機資源,需 消耗陣列的控制器能力和大 量緩存資源;2.主機10需增 加微不足逍的時延需要將外部存儲FC端口和 USPv邏輯連接，以便USPv 能識別和虛擬化外部存儲的 LUN,然后通過卷遷移將外部 存儲的卷在線遷移到USPv 內(nèi)部。非常多成功案例。4安徽郵政存儲銀行數(shù)據(jù)遷移方法數(shù)據(jù)遷移方法的選擇要依據(jù)客戶的現(xiàn)狀選擇相應的遷移技術。例42數(shù)據(jù)遷移方案步驟421數(shù)據(jù)遷移的測試為了保證數(shù)據(jù)遷移的成功實施，必須在正式進行數(shù)據(jù)遷移前，對 所采用的技術進行測試。一方而驗證技術是否切實可行，另一方面， 通過測試，可以大致了解數(shù)據(jù)同步的速度，這樣就可以計算整個數(shù)據(jù) 遷移所需要的時間。同時，為了避免

17、數(shù)據(jù)遷移在業(yè)務高峰時段對應用 系統(tǒng)的性能造成沖擊，可以根據(jù)測試得到的數(shù)據(jù)同步的速度值和每個 業(yè)務低峰時段持續(xù)的時間，把所有相關的LV進行分組，保證每組LV 都可以在一個業(yè)務低峰時段完成數(shù)據(jù)同步。這樣就可以把對系統(tǒng)性能 沖擊最大的數(shù)據(jù)同步操作控制在業(yè)務低峰時斷進行。422數(shù)據(jù)遷移的準備1 安裝并配置新儲存HDSAMS23002將AMS2300劃分的LUN按用戶要求分配給相應的主機3在主機端識別新加的LUN (PV)AIX：并 cfgmgr -vLinux： #dmesg戲 fdisk _14確認原有的HDLM是否支持AMS2300如果不支持，則需要升級 HDLM具體升級步驟按HDLM手冊執(zhí)行，需

18、要停機。(HDLM不支持紅旗Linux)5主機認到新的LUN （PV）后，加入到需要遷移的VG中# extend'M gname hdiskx hdisky6確認添加后的VG的狀態(tài)是否正常*lsg _1 vgname423數(shù)據(jù)遷移的實施在準備工作完成的情況下，就可以進行生產(chǎn)數(shù)據(jù)的遷移工作。為 了避免數(shù)據(jù)遷移在業(yè)務高峰時段對應用系統(tǒng)的性能造成沖擊，可以根 據(jù)測試得到的數(shù)據(jù)同步的速度值和每個業(yè)務低峰時段持續(xù)的時間，來 確定執(zhí)行數(shù)據(jù)同步的時間，這樣就可以把對系統(tǒng)性能沖擊最大的數(shù)據(jù) 同步操作控制在業(yè)務低峰時斷進行。同步速度主要依賴于主機和存儲的性能，目前2GSAN架構下的 主流速度約在150G

19、B/小時左右，綜合用戶的環(huán)境保守估計同步速度約 在100GB/小時左右，而用戶的關鍵業(yè)務數(shù)據(jù)庫總數(shù)據(jù)量約在300GB 左右，即遷移關鍵業(yè)務數(shù)據(jù)庫的同步時間約在3小時左右。關鍵業(yè)務 其他數(shù)據(jù)約1200GB,遷移時間約要12小時。對于次關鍵業(yè)務數(shù)據(jù)庫數(shù)據(jù)（150GB）遷移時間約需2小時。次 關鍵業(yè)務其他數(shù)據(jù)（500GB）遷移時間約需6小時。1 創(chuàng)建鏡像伙 miiTorvg -m 曙 name hdiskx hdisky2確認鏡像同步完成#lsvg J vgname 所有 Iv 都是 syncd 狀態(tài)3測試數(shù)據(jù)庫的可用性，正常則數(shù)據(jù)庫數(shù)據(jù)鏡像成功回退；a去除新加PV的鏡像T unmirror fgname hdiskx hdiskyb將新盤從VG中去除jreducevg vgname hdiskx hdisky4開始停應用，確保對磁盤無任何10操作5將9970的光纖線拔出，可以確保原數(shù)據(jù)保存6.去除原有PV的鏡像幺田 nmirror ' gname hdiska hdiskb7.將原盤從VG中去除jreducevg vgname hdiska hdiskbj"varroffvg vgname戲 varronvg gname8啟動應用，測試數(shù)據(jù)庫的可用性，正常則數(shù)據(jù)庫數(shù)據(jù)遷移