數(shù)據(jù)遷移技術(shù)方案

1、數(shù)據(jù)遷移方案N8000到 AS13000廣東XX信息技術(shù)有限2015年 7月請瀏覽后下載，資料供參考，期待您的好評(píng)與關(guān)注！1 .系統(tǒng)拓?fù)鋱D目核心交換機(jī)中間服務(wù)器文件服務(wù)mu.ITOI華賽N8000已有存儲(chǔ)萬兆交換機(jī)1AS13000nmioil:miDM®成果存儲(chǔ) 主T萬兆交換機(jī)2NAS網(wǎng)nixxAS13000成果存儲(chǔ)備千兆以太網(wǎng)線路成果數(shù)據(jù)存儲(chǔ)系統(tǒng)拓?fù)鋱D千兆以太網(wǎng)光纖線路萬兆以太網(wǎng)光纖線路2 .需求分析新增設(shè)備：2臺(tái)AS13000-NAS 1臺(tái)NAS網(wǎng)關(guān)和1套DPS備份系統(tǒng)通過光纖 跳線連接萬兆交換機(jī)，中間服務(wù)器和華賽 N8000通過6類網(wǎng)線連接萬兆交換機(jī)， 最低達(dá)到千兆交換的物理基

2、礎(chǔ)架構(gòu)。其中 1臺(tái)AS13000-NAS乍為成果數(shù)據(jù)存儲(chǔ)， 通過NAS網(wǎng)關(guān)對外提供存儲(chǔ)服務(wù)，另一臺(tái)通過 DP略份軟件實(shí)現(xiàn)數(shù)據(jù)備份。華賽N8000存儲(chǔ)數(shù)據(jù)有40TB,包括各種大小文件、壓縮包，需安全遷移到 AS1300Q實(shí)現(xiàn)數(shù)據(jù)的備份和共享。數(shù)據(jù)遷移是敏感性動(dòng)作，必須保證遷移數(shù)據(jù) 的完整性、可用性，一致性。華賽N8000已發(fā)生硬件故障，須盡快完成數(shù)據(jù)遷移工作。3 . 數(shù)據(jù)遷移方案本次數(shù)據(jù)遷移的目標(biāo)是在最少存儲(chǔ)中斷服務(wù)時(shí)間內(nèi)完成數(shù)據(jù)在兩個(gè)存儲(chǔ)設(shè)備之間快速有序遷移，并保證數(shù)據(jù)的完整性、可用性，一致性。我們在本方案中建議以下2 種方式實(shí)現(xiàn)存儲(chǔ)設(shè)備之間的數(shù)據(jù)遷移：文件復(fù)制通過全備份、增量備份實(shí)現(xiàn)數(shù)據(jù)遷移

3、實(shí)現(xiàn)方式簡單，遷移成本較低需要較長的存儲(chǔ)中斷服務(wù)時(shí)間備份軟件遷移通過建立選擇備份的模式運(yùn)行實(shí)現(xiàn)數(shù)據(jù)自動(dòng)復(fù)制，實(shí)現(xiàn)數(shù)據(jù)遷移支持異構(gòu)平臺(tái)需要第三方備份工具支持，成本較高3.1. 文件復(fù)制該方法是通過中間服務(wù)器的指令在2 個(gè)存儲(chǔ)設(shè)備之間復(fù)制數(shù)據(jù)，數(shù)據(jù)遷移實(shí)現(xiàn)方式簡單，不需要對源數(shù)據(jù)進(jìn)行設(shè)置變更，不影響源數(shù)據(jù)的正常運(yùn)行；但該方式遷移數(shù)據(jù)需要較長的遷移周期，同時(shí)需要安排一定的存儲(chǔ)中斷服務(wù)時(shí)間，以保證數(shù)據(jù)的完整遷移。該方法不適用于增量數(shù)據(jù)遷移，增量數(shù)據(jù)需另配存儲(chǔ)或在存儲(chǔ)中臨時(shí)劃LUN替用，遷移完原數(shù)據(jù)后再遷移增量數(shù)據(jù)。3.2. 備份軟件遷移該方法通過安裝的備份軟件實(shí)現(xiàn)2 個(gè)存儲(chǔ)設(shè)備之間數(shù)據(jù)備份，向?qū)е敢?/p>

4、進(jìn)行文件的備份與恢復(fù)，支持任務(wù)排程，進(jìn)行備份時(shí)可以根據(jù)文件類型有選擇的進(jìn)行備份，備份文件可以壓縮為 ZIP文件進(jìn)行存放，以節(jié)省空間，并且可以通過壓縮密碼保護(hù)您的文件。整個(gè)遷移過程都是可控的，原有存儲(chǔ)環(huán)境保留，避免了遷移過程中的數(shù)據(jù)損失，保證了系統(tǒng)的平穩(wěn)過渡。該方法適用于增量數(shù)據(jù)遷移，滿足存儲(chǔ)系統(tǒng)不間斷運(yùn)行。需另行采購備份軟件實(shí) 施，提高實(shí)施成本。3.3. 方案對比文件復(fù)制備份軟件遷移難易程度較為容易需要專業(yè)軟件存儲(chǔ)中斷服務(wù)時(shí)間較長長實(shí)施額外費(fèi)用無需要購買軟件授權(quán)需要調(diào)整現(xiàn)有數(shù)據(jù)設(shè)置無無遷移周期較長長平臺(tái)要求同構(gòu)平臺(tái)無要求通過以上2種方案綜合比對，建議采購文件復(fù)制方式實(shí)施數(shù)據(jù)遷移4 .數(shù)據(jù)遷移實(shí)

5、施4.1. AS13000 部署新購存儲(chǔ)預(yù)計(jì)7月10日到貨，硬件設(shè)備上架安裝1天，存儲(chǔ)系統(tǒng)規(guī)劃調(diào)試3 大，預(yù)計(jì)7月17日可開始實(shí)施數(shù)據(jù)遷移工作。4.2. 數(shù)據(jù)遷移實(shí)施數(shù)據(jù)遷移系統(tǒng)搭建數(shù)據(jù)遷移系統(tǒng)由華賽N8000、中間服務(wù)器、AS1300Q網(wǎng)絡(luò)設(shè)備組成。數(shù)據(jù)遷移鏈路由華賽N8000、中間服務(wù)器、AS13000連接到萬兆交換機(jī)，最低1000Mbps的以太網(wǎng)鏈路互聯(lián)。如不能連接到萬兆交換機(jī)，需要專門的千兆交換機(jī)保證數(shù)據(jù)傳輸，減少影響業(yè)務(wù)網(wǎng)絡(luò)運(yùn)行。遷移速度網(wǎng)絡(luò)最大傳輸速度為1000Mbps,最大的數(shù)據(jù)傳輸速度為100 Mbps,按大小 文件傳輸平均速率大概為60Mbps。一天數(shù)據(jù)傳輸量=文件傳輸速率*

6、3600*24=60*3600*24=5184000=5TB實(shí)施時(shí)間數(shù)據(jù)遷移包括4 個(gè)階段：測試、預(yù)演、正式遷移、檢驗(yàn)，主要耗費(fèi)時(shí)間為正式遷移時(shí)間，目前N8000需傳輸?shù)臄?shù)據(jù)量為40TB,傳輸時(shí)間=40TBy5TB=8天整個(gè)遷移完成時(shí)間預(yù)計(jì)10 天左右。4.3. 數(shù)據(jù)校驗(yàn)為了保證數(shù)據(jù)遷移后的一致性，需進(jìn)行遷移前后數(shù)據(jù)的驗(yàn)證，可采取以下3 個(gè)方法核驗(yàn)。業(yè)務(wù)驗(yàn)證方式業(yè)務(wù)驗(yàn)證方式是數(shù)據(jù)遷移驗(yàn)證的核心，由于遷移流程中從小到大、從易到難會(huì)經(jīng)歷測試、 預(yù)演和正式遷移三個(gè)實(shí)施階段，而這三個(gè)階段分別需要業(yè)務(wù)的驗(yàn)證。由于成果數(shù)據(jù)的數(shù)量太多，業(yè)務(wù)驗(yàn)證時(shí)間和參與驗(yàn)證的數(shù)據(jù)各有不同，業(yè)務(wù)驗(yàn)證不可能面面俱到，不可能涵蓋

7、每一筆數(shù)據(jù)，因此需要根據(jù)每個(gè)階段的測試目的，根據(jù)數(shù)據(jù)的重要性，在不同的實(shí)施階段，選擇不同的數(shù)據(jù)和數(shù)量，制定每個(gè)階段可行的業(yè)務(wù)驗(yàn)證。在測試階段，業(yè)務(wù)驗(yàn)證主要是驗(yàn)證數(shù)據(jù)遷移后應(yīng)用能否正常使用，因此該階段驗(yàn)證側(cè)重的是業(yè)務(wù)的可用性和正確性。預(yù)演階段是正式遷移的預(yù)先演習(xí)。由于內(nèi)部測試已經(jīng)測試了較為完整的遷移流程， 預(yù)演的目的主要是驗(yàn)證實(shí)際數(shù)據(jù)遷移的可靠性，另外預(yù)演還能起到對數(shù)據(jù)遷移鏈路一個(gè)壓力測試作用。在正式遷移階段，所有的驗(yàn)證數(shù)據(jù)均為真實(shí)的操作，之前兩個(gè)階段的驗(yàn)證只在數(shù)據(jù)遷移有效性。遷移完成后的數(shù)據(jù)，此時(shí)的驗(yàn)證要盡可能的詳細(xì)，必須包 含所有核心業(yè)務(wù)，能測的都需要盡可能得測到。外圍系統(tǒng)驗(yàn)證如果存在外圍系

8、統(tǒng)，并且這些外圍系統(tǒng)有些是需要與核心系統(tǒng)的應(yīng)用和數(shù)據(jù)打交 道，有些是不需要通過業(yè)務(wù)交易直接在數(shù)據(jù)層面或者其他層面與核心系統(tǒng)進(jìn)行交 互，基于此，可以對所有外圍系統(tǒng)進(jìn)行分析，將新舊數(shù)據(jù)遷移后是否正常的系統(tǒng) 進(jìn)行篩選，列出各外圍系統(tǒng)與核心系統(tǒng)的關(guān)聯(lián)性， 并提供可行的外圍系統(tǒng)驗(yàn)證方 法，從而提高數(shù)據(jù)遷移驗(yàn)證的準(zhǔn)確性，減少業(yè)務(wù)交易驗(yàn)證的工作量。技術(shù)驗(yàn)證方案技術(shù)驗(yàn)證的方法可以考慮通過在特定的時(shí)間在原有的數(shù)據(jù)中插入特定的內(nèi) 容，當(dāng)數(shù)據(jù)遷移完成后，在新的數(shù)據(jù)中查找插入的特定內(nèi)容是否存在，如果不存在，遷移肯定有問題，如果存在，則在一定程度上可以證明數(shù)據(jù)的一致性。為了進(jìn)一步驗(yàn)證遷移前后數(shù)據(jù)的一致性， 還可以考慮將數(shù)據(jù)中與應(yīng)用相關(guān)的、 重 要的數(shù)據(jù)求和進(jìn)行統(tǒng)計(jì)，在數(shù)據(jù)遷移完成后，在新的存儲(chǔ)中同樣執(zhí)行相同的統(tǒng)計(jì)， 能得到兩個(gè)數(shù)據(jù)，將前后兩次所得到的數(shù)據(jù)進(jìn)行對比，如果兩個(gè)數(shù)都分別完全一 致，則從另一個(gè)角度也能說明遷移前后新舊數(shù)據(jù)庫數(shù)據(jù)的一致性。完整性和可用性驗(yàn)證相對比較簡單，只要遷移后的新數(shù)據(jù)能正常打開，并且架構(gòu)在數(shù)據(jù)之上的 應(yīng)用能正常啟動(dòng)，不會(huì)報(bào)由于數(shù)據(jù)的問題導(dǎo)致應(yīng)用不可用， 那就可以肯定遷移后 的新數(shù)據(jù)是完整的、可用的。數(shù)據(jù)遷移的驗(yàn)證是一個(gè)非常重要的內(nèi)容， 通過驗(yàn)證 可以確定新舊數(shù)據(jù)庫內(nèi)容是否一致，可以確定新的數(shù)據(jù)的完整性和有效性。4