HDS數(shù)據(jù)遷移解決方案(共15頁)

1、精選優(yōu)質文檔-傾情為你奉上HDS數(shù)據(jù)遷移解決方案1.數(shù)據(jù)遷移概述數(shù)據(jù)遷移是企業(yè)IT建設經(jīng)常面對的工作。在開發(fā)環(huán)境向運行環(huán)境轉換、低版本數(shù)據(jù)庫向高版本數(shù)據(jù)庫轉換、兩個不同數(shù)據(jù)庫之間進行轉換以至系統(tǒng)硬件升級時，數(shù)據(jù)均可能需要被轉移并使之遷移后正常運行?；诖鎯Φ臄?shù)據(jù)遷移是一次性的將數(shù)據(jù)從一個存儲轉移到另一個存儲系統(tǒng)上，它包括對新存儲的啟用和數(shù)據(jù)可用性的保證。在一些情況下，基于存儲的數(shù)據(jù)遷移是進行數(shù)據(jù)大集中的手段，非常適合大規(guī)模數(shù)據(jù)遷移需求?；诖鎯Φ臄?shù)據(jù)遷移又可分為同構存儲遷移和異構存儲遷移兩大類。目前基于同構存儲的遷移是指在同廠家同型號產(chǎn)品之間數(shù)據(jù)遷移，需要配置支持基于磁盤陣列內（間）的數(shù)據(jù)復制

2、軟件，在HDS同系列存儲環(huán)境下，經(jīng)常性的數(shù)據(jù)遷移可利用存儲產(chǎn)品中的遷移復制（Volume Migration，ShadowImage）及存儲間的復制TrueCopy功能簡化數(shù)據(jù)遷移工作；對EMC而言是配置SRDF-DM或TIMEFINDER等。異構存儲間數(shù)據(jù)遷移需要虛擬化技術支持，HDS虛擬化技術非常成熟，在虛擬化基礎上將原來不能完成數(shù)據(jù)復制的存儲設備整合在一起，形成統(tǒng)一存儲池，這時物理上在兩個磁盤的數(shù)據(jù)卷之間的遷移，在邏輯上來講是在整合虛擬后的同一個磁盤陣列內卷遷移，大大簡化了數(shù)據(jù)遷移的復雜性。許許多多國內外客戶都通過這種數(shù)據(jù)遷移方式實現(xiàn)了在線數(shù)據(jù)遷移。2.數(shù)據(jù)遷移的難題當今數(shù)據(jù)遷移的主要難

3、題是進行一次成功的數(shù)據(jù)遷移時間要求越來越短。然而應用在存儲方面的需求不斷增加，存儲的升級和更替更加頻繁；同時，用戶的應用趨向于全年不停頓運行、對系統(tǒng)的可靠性、可用性要求不斷提高，維護時間窗口的不斷減少等因素，使得進行一次平滑的成功數(shù)據(jù)遷移越來越具挑戰(zhàn)。在進行數(shù)據(jù)遷移項目計劃時，一些因素是必須考慮的。2.1數(shù)據(jù)的保護數(shù)據(jù)的保護是最重要的，在數(shù)據(jù)遷移中數(shù)據(jù)的安全必須得到完全的保護。任何一個更換過個人計算機中的硬盤的人，都對因為在更換過程中對某些細節(jié)的忽視造成的數(shù)據(jù)丟失有預期和經(jīng)驗。當在企業(yè)級數(shù)據(jù)遷移中，數(shù)據(jù)備份、實施步驟的回退計劃是保證數(shù)據(jù)在遷移后的可用性的必需準備。2.2在線或離線遷移如果應用可

4、以暫停，則遷移過程可以更快捷；但是當今大多數(shù)系統(tǒng)有著嚴格的可用性要求。當數(shù)據(jù)遷移在生產(chǎn)環(huán)境中進行時，不僅要密切監(jiān)控數(shù)據(jù)遷移的過程，而且要將遷移對生產(chǎn)系統(tǒng)的影響降到最低。2.3維護時間窗口通常遷移工作只能在預先確定的維護時間窗口中進行。通常時間窗口是在夜間或周末生產(chǎn)活動最少的時候。這些嚴格的時間窗口的存在使得遷移項目可能表現(xiàn)出不規(guī)則間斷的情況：緊張的遷移在時間窗口中進行，然后在時間窗口關閉時停止，業(yè)務繼續(xù)運行；遷移工作只有在時間窗口再次打開后才可以繼續(xù)進行。從而使得遷移工作分散成數(shù)成不連續(xù)的多個階段性工作。2.4遷移技術在開放系統(tǒng)環(huán)境中，沒有一個完美的數(shù)據(jù)遷移技術。每個遷移技術均有優(yōu)勢和劣勢。針

5、對每個特定的業(yè)務環(huán)境，應該根據(jù)不同技術的特點進行仔細甄別選擇。 直接費用（人力、硬件和軟件等）因素應該和間接因素（應用停止和生產(chǎn)系統(tǒng)性能影響等）結合起來作為選擇遷移技術的判據(jù)。有些需要更大的維護時間窗口，而有些對生產(chǎn)系統(tǒng)的性能會有較大影響。這些都會成為選擇相應存儲技術的考慮因素。2.5計劃和應用停頓的容忍程度數(shù)據(jù)遷移會對生產(chǎn)系統(tǒng)有著或多或少的影響，當分析完應用可用性要求，完成維護時間窗口的選擇后，可供選擇的技術就相對比較固定。2.6測試需求根據(jù)應用的情況，特定時間的遷移前測試和遷移后測試是必須的。因為沒有一個普遍適用的測試計劃，所以針對每個特定的環(huán)境都需要做出詳細的有針對性的測試計劃。測試的時

6、間跨度也與應用情況相關，時間長短也是根據(jù)應用的需求決定。2.7數(shù)據(jù)遷移的時間跨度總的來說，決定數(shù)據(jù)遷移時間跨度的最主要因素是用戶對遷移對原應用的影響的容忍程度。而時間跨度與應用可用性之間密切相關。通常，在費用和可以接受的應用可用性之間有著一定的關系。越高要求的應用可用性意味著越多的費用，從而也就制約了時間跨度。經(jīng)驗表明，在沒有詳細徹底的評估環(huán)境和項目目標的情況下，進行遷移時間的預測是很困難的。一般來說，需要經(jīng)過評估，分析，計劃和實施等幾個步驟。2.8整個環(huán)境的復雜性在數(shù)據(jù)遷移過程中涉及到各種應用和數(shù)據(jù)之間的關系，越復雜的應用環(huán)境，則相應的計劃和實施就越復雜。3.數(shù)據(jù)遷移技術的選擇客戶的原系統(tǒng)應

7、用系統(tǒng)架構中包括了HP、IBM等多種主機平臺，存儲為HDS9970V，將來可擴展個多種存儲平臺，在進行初步分析的基礎上，針對未來主機操作系統(tǒng)改變與否，我們認為未來系統(tǒng)的選擇可以分為兩大類：同構環(huán)境和異構環(huán)境。3.1同構環(huán)境的數(shù)據(jù)遷移技術針對與現(xiàn)有系統(tǒng)同構，我們認為至少可以有以下一些技術手段可以選擇：基于磁盤陣列遠程數(shù)據(jù)復制技術的數(shù)據(jù)遷移?；谥鳈C操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移。基于數(shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移。基于三方工具的數(shù)據(jù)遷移。基于存儲虛擬化技術的數(shù)據(jù)遷移3.2異構環(huán)境的數(shù)據(jù)遷移技術針對異構計算環(huán)境，一般推薦可以使用以下幾種方法之一，具體方法的選擇還需進一步詳細了解現(xiàn)有系統(tǒng)運行環(huán)境：

8、基于主機操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移?；跀?shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移?；谌焦ぞ叩臄?shù)據(jù)遷移?；诖鎯μ摂M化技術的數(shù)據(jù)遷移3.3可選的數(shù)據(jù)遷移技術對于業(yè)務數(shù)據(jù)的遷移，目前主要采用如下五種方法：基于磁盤陣列遠程數(shù)據(jù)復制技術的數(shù)據(jù)遷移。基于主機操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移?；跀?shù)據(jù)庫備份和恢復技術的數(shù)據(jù)遷移?；诘谌焦ぞ叩臄?shù)據(jù)遷移。基于存儲虛擬化技術的數(shù)據(jù)遷移最后的遷移方案應該是上述方案的結合，我們會在上述方法結合過程中找到最佳數(shù)據(jù)遷移方案。3.3.1基于主機操作系統(tǒng)邏輯卷鏡像技術的數(shù)據(jù)遷移此種數(shù)據(jù)遷移方法，主要利用業(yè)務主機操作系統(tǒng)內置的邏輯卷管理系統(tǒng)的邏輯卷鏡像（LV Mirror

9、）技術，對于業(yè)務系統(tǒng)所使用的每個LV，都進行PV映射擴展，在新的目標磁盤陣列上擴展一個PV映射，這樣，通過數(shù)據(jù)的初始化同步，可以保證業(yè)務數(shù)據(jù)在原有的磁盤陣列和新的磁盤陣列上保持同步，兩邊數(shù)據(jù)完全一致。然后，在刪除每個LV到原有磁盤陣列的PV映射，這樣，數(shù)據(jù)就完全從原有磁盤陣列遷移到新的磁盤陣列。原有磁盤陣列上的數(shù)據(jù)在一段時間內保持不變，以用來回退，一旦數(shù)據(jù)遷移因各種原因無法成功，則還可以利用原來的磁盤陣列提供數(shù)據(jù)訪問。此種方法存在如下優(yōu)點：*步驟簡單，容易實現(xiàn)，速度快；*不需要考慮到上層數(shù)據(jù)應用系統(tǒng)的內部的結構；*可以在線進行，只需要較短的停機時間（在所有的LV鏡像完成后，需要停機斷開LV和原

10、有磁盤陣列上的PV的映射）；*LV在進行PV映射擴展時，在經(jīng)過初始化數(shù)據(jù)同步后，保持鏡像狀態(tài)對系統(tǒng)的性能影響很?。ù蟾艜?%的系統(tǒng)資源）；但是，利用這種方法，也存在如下的問題：*在LV進行初始化數(shù)據(jù)同步的時候，需要消耗主機系統(tǒng)較大的CPU、memory以及IO資源，因此在進行LV初始化數(shù)據(jù)同步的時候，會對在線系統(tǒng)的性能造成較大的沖擊；基于主機的數(shù)據(jù)遷移方案對于安徽郵政存儲銀行信息中心本次項目是可行的，采用該方案可以逐步實現(xiàn)數(shù)據(jù)遷移，但需要較多的實施步驟和停機次數(shù)。采用該種數(shù)據(jù)遷移方案各公司間是沒有根本區(qū)別，HDS公司在這類數(shù)據(jù)遷移實踐中也積累了大量經(jīng)驗。3.3.2基于數(shù)據(jù)庫備份和恢復技術的

11、數(shù)據(jù)遷移此種數(shù)據(jù)遷移方法，主要通過數(shù)據(jù)庫自帶的備份和恢復功能以及邏輯日志追加的技術，實現(xiàn)一個數(shù)據(jù)逐步遷移的方法，最后達到把數(shù)據(jù)從原有的磁盤陣列完全遷移到新的磁盤陣列的目的。本方法比較安全，當數(shù)據(jù)遷移不成功時，不影響生產(chǎn)系統(tǒng)的正常運行，但是遷移時間較長，對技術要求較高，而且需要專門用于數(shù)據(jù)遷移的一臺與生產(chǎn)主機環(huán)境一樣的主機，硬件配置可以稍低一點。基于數(shù)據(jù)庫的數(shù)據(jù)遷移方案僅僅能夠遷移數(shù)據(jù)庫業(yè)務應用，對非數(shù)據(jù)庫應用不可行。因此，對于安徽郵政存儲銀行信息中心本次項目是不可行的。3.3.3基于磁盤陣列遠程數(shù)據(jù)復制技術的數(shù)據(jù)遷移此種數(shù)據(jù)遷移方法，可以在同一個磁盤陣列內通過基于磁盤陣列的克隆軟件或卷遷移軟件

12、實現(xiàn)數(shù)據(jù)復制，完成數(shù)據(jù)遷移。如果兩個異構的磁盤陣列通過HDS虛擬化技術整合在一起，那么在兩個異構的磁盤陣列間的數(shù)據(jù)復制就轉化為在同一磁盤陣列間的數(shù)據(jù)復制，這就是HDS異構磁盤陣列數(shù)據(jù)遷移核心所在。對于兩套同型號磁盤陣列，可以通過陣列之間的數(shù)據(jù)復制技術來實現(xiàn)數(shù)據(jù)的遷移，如目前的HDS的TureCopy技術，EMC的SRDF技術，都可以實現(xiàn)在兩套磁盤陣列之間的數(shù)據(jù)遷移，并且此種方法不占用主機資源，對應用透明。但是源磁盤陣列和目標磁盤陣列必須是同一廠家的同一系列的產(chǎn)品，而且遷移過程對生產(chǎn)系統(tǒng)有一定的性能影響。3.3.4基于第三方工具的數(shù)據(jù)遷移此種數(shù)據(jù)遷移的方法，利用一些第三方的工具實現(xiàn)數(shù)據(jù)遷移，如V

13、eritas的VVR。這種方法，不僅需要額外購買第三方工具，實施比較復雜，同時，對于特定的第三方工具，需要滿足一些前提條件，如Veritas的VVR只能基于VxFS文件系統(tǒng)上的卷復制，對于其它的文件系統(tǒng)或raw device，則無法使用。3.3.5基于HDS存儲虛擬化的數(shù)據(jù)遷移此種數(shù)據(jù)遷移的方法，利用HDS 特有的USPv/USPvm的UVM(Universal volume manager)+ 卷遷移復制VolumeMigration實現(xiàn)數(shù)據(jù)遷移。這種方法，可以采用HDS UVM和Volume Migration功能軟件，通過UVM實現(xiàn) USPv對外部存儲的虛擬化管理和應用重新映射訪問，然后

14、用卷遷移軟件Volume Migration將數(shù)據(jù)應用不停止的在線遷移到 USPv內部，由于不涉及主機的任何設置修改，實施比較簡單, 遷移速度非常快。數(shù)據(jù)遷移方案的比較遷移方案是否需要計劃性停機，幾次數(shù)據(jù)遷移速度、性能遷移所需要消耗的資源實施難度操作系統(tǒng)鏡像數(shù)據(jù)命令1次可以根據(jù)業(yè)務情況，LUN級靈活控制拷貝速度需要消耗較少的主機端資源（文件系統(tǒng)層次鏡像）完全采用系統(tǒng)管理員熟悉的文件系統(tǒng)命令，難度很小但管理非常復雜，手工操作容災出錯，風險較大。Oracle Standy by方式備份和恢復2次中等需要消耗一定的主機端資源（數(shù)據(jù)庫層次log）取決于對數(shù)據(jù)庫的熟悉程度（注意數(shù)據(jù)庫的no log操作）

15、磁盤陣列復制(只能在同構陣列間實施）1-2次較快，但不能靈活調節(jié)1.需消耗陣列的控制器能力和大量緩存資源； 2.主機IO需增加一定的時延，若在同機房遷移則影響較小需仔細規(guī)劃，確保陣列和主機之間的數(shù)據(jù)完整性。遷移結束后測試驗證可回退性差。存在安全隱患，實施案例很少。第三方工具2次速度可控TDMF需要占用5-10%的主機系統(tǒng)資源取決于數(shù)據(jù)遷移服務人員實施能力。HDS存儲虛擬化+卷遷移1次速度最快，非常靈活1不消耗任何主機資源，需消耗陣列的控制器能力和大量緩存資源； 2.主機IO需增加微不足道的時延需要將外部存儲FC端口和USPv邏輯連接，以便USPv能識別和虛擬化外部存儲的LUN,然后通過卷遷移將

16、外部存儲的卷在線遷移到 USPv內部。非常多成功案例。4.安徽郵政存儲銀行數(shù)據(jù)遷移方法數(shù)據(jù)遷移方法的選擇要依據(jù)客戶的現(xiàn)狀選擇相應的遷移技術。例如：是否可以停機做數(shù)據(jù)遷移、可以停機時間、是否需要在線做數(shù)據(jù)遷移。通過對多種數(shù)據(jù)遷移方法的分析和比較，根據(jù)安徽郵政存儲銀行信息中心的實際狀況，由于新存儲系統(tǒng)選用的是HDS中端AMS2300，與原有高端9970V存儲系統(tǒng)無法進行直接的數(shù)據(jù)復制。因此，建議采用操作系統(tǒng)鏡像方式的實際數(shù)據(jù)遷移方案。4.1數(shù)據(jù)遷移方案描述數(shù)據(jù)遷移方案架構如上圖所示，數(shù)據(jù)遷移方案需要通過操作系統(tǒng)的鏡像，在原9970V和新購得AMS2300間進行數(shù)據(jù)復制。數(shù)據(jù)遷移的操作前需要對業(yè)務系

17、統(tǒng)主機進行比較繁瑣的配置，需要較長的準備時間。4.2數(shù)據(jù)遷移方案步驟4.2.1數(shù)據(jù)遷移的測試為了保證數(shù)據(jù)遷移的成功實施，必須在正式進行數(shù)據(jù)遷移前，對所采用的技術進行測試。一方面驗證技術是否切實可行，另一方面，通過測試，可以大致了解數(shù)據(jù)同步的速度，這樣就可以計算整個數(shù)據(jù)遷移所需要的時間。同時，為了避免數(shù)據(jù)遷移在業(yè)務高峰時段對應用系統(tǒng)的性能造成沖擊，可以根據(jù)測試得到的數(shù)據(jù)同步的速度值和每個業(yè)務低峰時段持續(xù)的時間，把所有相關的LV進行分組，保證每組LV都可以在一個業(yè)務低峰時段完成數(shù)據(jù)同步。這樣就可以把對系統(tǒng)性能沖擊最大的數(shù)據(jù)同步操作控制在業(yè)務低峰時斷進行。4.2.2數(shù)據(jù)遷移的準備1.安裝并配置新儲存

18、 HDS AMS23002.將AMS2300劃分的LUN按用戶要求分配給相應的主機3.在主機端識別新加的LUN（PV） AIX: #cfgmgr v#lspv Linux: #dmesg#fdisk l4.確認原有的HDLM是否支持AMS2300，如果不支持，則需要升級HDLM，具體升級步驟按HDLM手冊執(zhí)行，需要停機。（HDLM不支持紅旗Linux）5.主機認到新的LUN（PV）后，加入到需要遷移的VG中 #extendvg vgname hdiskx hdisky6.確認添加后的VG的狀態(tài)是否正常 #lsvg l vgname4.2.3數(shù)據(jù)遷移的實施在準備工作完成的情況下，就可以進行生產(chǎn)數(shù)

19、據(jù)的遷移工作。為了避免數(shù)據(jù)遷移在業(yè)務高峰時段對應用系統(tǒng)的性能造成沖擊，可以根據(jù)測試得到的數(shù)據(jù)同步的速度值和每個業(yè)務低峰時段持續(xù)的時間，來確定執(zhí)行數(shù)據(jù)同步的時間，這樣就可以把對系統(tǒng)性能沖擊最大的數(shù)據(jù)同步操作控制在業(yè)務低峰時斷進行。同步速度主要依賴于主機和存儲的性能，目前2G SAN架構下的主流速度約在150GB/小時左右，綜合用戶的環(huán)境保守估計同步速度約在100GB/小時左右，而用戶的關鍵業(yè)務數(shù)據(jù)庫總數(shù)據(jù)量約在300GB左右，即遷移關鍵業(yè)務數(shù)據(jù)庫的同步時間約在3小時左右。關鍵業(yè)務其他數(shù)據(jù)約1200GB，遷移時間約要12小時。對于次關鍵業(yè)務數(shù)據(jù)庫數(shù)據(jù)（150GB）遷移時間約需2小時。次關鍵業(yè)務其他

20、數(shù)據(jù)（500GB）遷移時間約需6小時。1.創(chuàng)建鏡像#mirrorvg m vgname hdiskx hdisky2.確認鏡像同步完成#lsvg -l vgname    -所有l(wèi)v都是syncd狀態(tài)3.測試數(shù)據(jù)庫的可用性，正常則數(shù)據(jù)庫數(shù)據(jù)鏡像成功回退：a.去除新加PV的鏡像#unmirror vgname hdiskx hdiskyb.將新盤從VG中去除#reducevg vgname hdiskx hdisky4.開始停應用，確保對磁盤無任何IO操作5. 將9970的光纖線拔出，可以確保原數(shù)據(jù)保存6.去除原有PV的鏡像#unmirror vgname hdiska hdiskb7.將原盤從VG中去除#reducevg vgname hdiska hdiskb#varroffvg vgname#varronvg vgname