專題19《數(shù)據(jù)遷移技術(shù)》

數(shù)據(jù)遷移技術(shù)作者：許云松工號：03043課程簡介 本課程首先講解了數(shù)據(jù)遷移的概念、特點(diǎn)和方法，然后介紹了數(shù)據(jù)遷移的整個過程，最后說明了華為3Com公司的數(shù)據(jù)遷移方法。培訓(xùn)目標(biāo) 學(xué)完本課程后，學(xué)員能夠達(dá)到：熟悉數(shù)據(jù)遷移的基本概念和過程了解主要的數(shù)據(jù)遷移方法課程介紹目錄數(shù)據(jù)遷移的基本概念數(shù)據(jù)遷移方法數(shù)據(jù)遷移準(zhǔn)備和檢驗(yàn)華為3Com數(shù)據(jù)遷移策略友商數(shù)據(jù)遷移軟件

數(shù)據(jù)遷移的基本概念——什么是數(shù)據(jù)遷移從應(yīng)用系統(tǒng)角度來說，數(shù)據(jù)遷移是將歷史數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，并裝載到新系統(tǒng)中的過程。從存儲系統(tǒng)角度來說，數(shù)據(jù)遷移是把數(shù)據(jù)從一個存儲網(wǎng)絡(luò)設(shè)備轉(zhuǎn)移到另外一個存儲網(wǎng)絡(luò)設(shè)備的過程。目的是為了平衡工作負(fù)載、系統(tǒng)擴(kuò)充、故障恢復(fù)等。數(shù)據(jù)遷移的基本概念——傳統(tǒng)的數(shù)據(jù)遷移方式策略一：應(yīng)用系統(tǒng)停機(jī)，一次或者分多次進(jìn)行數(shù)據(jù)遷移。策略二：應(yīng)用系統(tǒng)不停機(jī)，采用專門的遷移程序或者工具進(jìn)行。遷移過程中產(chǎn)生的I/O資源消耗，同前臺的應(yīng)用程序互相干擾。 缺陷：數(shù)據(jù)遷移過程會影響到應(yīng)用系統(tǒng)的正常工作數(shù)據(jù)遷移的基本概念——當(dāng)前的數(shù)據(jù)遷移需求在線遷移

在數(shù)據(jù)遷移過程中，應(yīng)用系統(tǒng)不宕機(jī)，仍然在運(yùn)行。不影響應(yīng)用性能

在數(shù)據(jù)遷移過程中，不影響原有應(yīng)用系統(tǒng)的性能。存儲設(shè)備實(shí)現(xiàn)

數(shù)據(jù)遷移過程對應(yīng)用程序透明，在存儲設(shè)備層實(shí)現(xiàn)。說明：數(shù)據(jù)遷移完成后，如果要進(jìn)行應(yīng)用切換，需要生產(chǎn)系統(tǒng)暫時中斷目錄數(shù)據(jù)遷移的基本概念數(shù)據(jù)遷移方法數(shù)據(jù)遷移準(zhǔn)備和校驗(yàn)華為3Com數(shù)據(jù)遷移策略友商數(shù)據(jù)遷移軟件

數(shù)據(jù)遷移方法——數(shù)據(jù)遷移分類應(yīng)用層數(shù)據(jù)遷移 使用專門的程序或者工具，在應(yīng)用程序?qū)用?，將?shù)據(jù)從舊系統(tǒng)遷移到新系統(tǒng)操作系統(tǒng)層數(shù)據(jù)遷移

使用操作系統(tǒng)的工具，將數(shù)據(jù)從一臺機(jī)器遷移到另一臺機(jī)器存儲層數(shù)據(jù)遷移

使用復(fù)制等技術(shù)，在存儲設(shè)備層，將數(shù)據(jù)從一個存儲設(shè)備遷移到另一個存儲設(shè)備數(shù)據(jù)遷移方法——不同層面數(shù)據(jù)遷移的特點(diǎn)應(yīng)用程序相關(guān)，通用性差，影響應(yīng)用性能操作系統(tǒng)相關(guān)，通用性較好，耗費(fèi)主機(jī)資源對應(yīng)用和操作系統(tǒng)透明，通用性好應(yīng)用程序應(yīng)用程序遷移操作系統(tǒng)操作系統(tǒng)遷移存儲設(shè)備存儲設(shè)備遷移數(shù)據(jù)遷移方法——應(yīng)用層數(shù)據(jù)遷移

使用專門的程序或者工具，在應(yīng)用程序?qū)用?，將?shù)據(jù)從舊系統(tǒng)遷移到新系統(tǒng)，例如：通過數(shù)據(jù)庫日志，實(shí)現(xiàn)Oracle數(shù)據(jù)庫之間的數(shù)據(jù)遷移。在Windows環(huán)境下，通過ODBC，實(shí)現(xiàn)不同數(shù)據(jù)庫之間的數(shù)據(jù)遷移。比如從SQLServer遷移到Oracle。數(shù)據(jù)遷移方法——數(shù)據(jù)庫日志實(shí)現(xiàn)數(shù)據(jù)遷移具體步驟如下：在原系統(tǒng)生成數(shù)據(jù)庫日志或者SQL腳本將數(shù)據(jù)庫日志傳送到新系統(tǒng)在新系統(tǒng)上重做數(shù)據(jù)庫日志，生成新數(shù)據(jù)數(shù)據(jù)庫工具實(shí)現(xiàn)遠(yuǎn)程日志復(fù)制1.數(shù)據(jù)訪問2.生成日志寫入數(shù)據(jù)3.日志傳輸4.重做日志生成數(shù)據(jù)數(shù)據(jù)遷移方法——操作系統(tǒng)層數(shù)據(jù)遷移 使用卷鏡像等技術(shù)，在操作系統(tǒng)級別，將數(shù)據(jù)從一臺機(jī)器遷往另一臺機(jī)器，或者從一個存儲設(shè)備遷移到另一個存儲設(shè)備。例如：使用邏輯卷管理工具，將數(shù)據(jù)從原存儲轉(zhuǎn)移到新存儲。在Windows環(huán)境下，使用“文件和設(shè)置的轉(zhuǎn)移向?qū)А?，將系統(tǒng)配置和各類文檔等信息轉(zhuǎn)移到新機(jī)器。數(shù)據(jù)遷移方法——邏輯卷管理實(shí)現(xiàn)數(shù)據(jù)遷移

具體步驟如下：主機(jī)連接原卷主機(jī)再連接一個新卷原卷和新卷之間做數(shù)據(jù)同步鏡像鏡像完成后，將原卷拆離，實(shí)現(xiàn)數(shù)據(jù)遷移原卷新卷鏡像拆離原卷新卷加鏡像鏡像同步原卷數(shù)據(jù)遷移方法——存儲層數(shù)據(jù)遷移 采用備份、復(fù)制等技術(shù)，將數(shù)據(jù)從一個存儲設(shè)備遷移到另一個存儲設(shè)備。例如：磁帶備份方式：將SAN上的數(shù)據(jù)備份到磁帶，將磁帶運(yùn)送到目的地，將磁帶上的數(shù)據(jù)導(dǎo)入到新的存儲設(shè)備，完成數(shù)據(jù)遷移。使用遠(yuǎn)程復(fù)制技術(shù)，將數(shù)據(jù)從一套存儲設(shè)備遷移到另一套存儲設(shè)備。數(shù)據(jù)遷移方法——基于備份技術(shù)和磁帶的數(shù)據(jù)遷移具體步驟如下：在原系統(tǒng)上，將數(shù)據(jù)備份到磁帶將磁帶運(yùn)輸?shù)侥康牡貙?shù)據(jù)從磁帶導(dǎo)入到新的存儲上，完成數(shù)據(jù)遷移應(yīng)用服務(wù)器生產(chǎn)卷復(fù)制卷運(yùn)輸導(dǎo)出導(dǎo)入數(shù)據(jù)遷移方法——基于復(fù)制技術(shù)的數(shù)據(jù)遷移具體步驟如下：應(yīng)用服務(wù)器正常工作在存儲端對卷進(jìn)行遠(yuǎn)程復(fù)制，復(fù)制過程對主機(jī)透明復(fù)制完成后，數(shù)據(jù)遷移也就完成應(yīng)用服務(wù)器復(fù)制生產(chǎn)卷復(fù)制卷數(shù)據(jù)遷移方法——復(fù)制技術(shù)數(shù)據(jù)遷移的實(shí)現(xiàn)

在存儲設(shè)備層通過復(fù)制技術(shù)實(shí)現(xiàn)數(shù)據(jù)遷移，可以有三種方式：在同一類型的存儲設(shè)備之間實(shí)現(xiàn)。在不同類型的存儲設(shè)備實(shí)現(xiàn)。通過虛擬存儲設(shè)備實(shí)現(xiàn)。數(shù)據(jù)遷移方法——同類存儲設(shè)備的數(shù)據(jù)遷移 在同一類型的存儲設(shè)備之間實(shí)現(xiàn)。各個存儲廠家的都有類似產(chǎn)品，比如：EMCClariion系列的mirrorviewHDS的Cross-SystemCopyNetApp的SnapMirror

優(yōu)缺點(diǎn)： 使用簡單，但受廠家和型號的限制，只用于同一廠家同型號的產(chǎn)品之間。數(shù)據(jù)遷移方法——不同類存儲設(shè)備的數(shù)據(jù)遷移 在不同類型的存儲設(shè)備實(shí)現(xiàn)。這種方式下，必然有一種存儲能夠識別另一存儲的數(shù)據(jù)。 比如： EMCSANCopy：將IBMDS4000陣列上的數(shù)據(jù)復(fù)制到EMCCX500。

優(yōu)缺點(diǎn)： 突破了廠家限制，使用簡單。但是管理和控制不靈活，提供此項(xiàng)功能的廠家較少。數(shù)據(jù)遷移方法——虛擬存儲設(shè)備實(shí)現(xiàn)數(shù)據(jù)遷移 在不同種的存儲設(shè)備之間架設(shè)虛擬存儲設(shè)備，通過它來實(shí)現(xiàn)不同種存儲之間的互同。比如：H3CNeoceanIV5000IBMSVC

優(yōu)缺點(diǎn)：

使用靈活方便，兼容多種存儲。但需要額外購買虛擬存儲設(shè)備。目錄數(shù)據(jù)遷移的基本概念數(shù)據(jù)遷移方法數(shù)據(jù)遷移準(zhǔn)備和校驗(yàn)華為3Com數(shù)據(jù)遷移策略友商數(shù)據(jù)遷移軟件

數(shù)據(jù)遷移準(zhǔn)備和校驗(yàn)——數(shù)據(jù)遷移準(zhǔn)備 數(shù)據(jù)遷移不是簡單的工作，而是一項(xiàng)工程，牽涉設(shè)備、軟件、人力物力多方面，需要做好充分的準(zhǔn)備。數(shù)據(jù)遷移的準(zhǔn)備工作包括：選擇合適的數(shù)據(jù)遷移方案 根據(jù)允許的應(yīng)用停機(jī)時間、數(shù)據(jù)量、操作系統(tǒng)類型、應(yīng)用類型、成本等多方面進(jìn)行綜合評估和考慮準(zhǔn)備軟件/硬件環(huán)境 根據(jù)選擇的方案，準(zhǔn)備相應(yīng)的軟件硬件環(huán)境。風(fēng)險評估和預(yù)演 對于重要數(shù)據(jù)的遷移，要充分評估風(fēng)險，必要的情況下，進(jìn)行預(yù)演，確保數(shù)據(jù)安全。數(shù)據(jù)遷移準(zhǔn)備和校驗(yàn)——數(shù)據(jù)遷移成功的標(biāo)準(zhǔn)

數(shù)據(jù)遷移成功的標(biāo)準(zhǔn)并不唯一。要根據(jù)數(shù)據(jù)遷移的目的和方式進(jìn)行判斷。具體可分為三種：完全數(shù)據(jù)遷移 這種數(shù)據(jù)遷移方式，要求遷移前后的數(shù)據(jù)，從內(nèi)容到格式都完全一致，沒有任何差異。部分?jǐn)?shù)據(jù)遷移 這種數(shù)據(jù)遷移方式，只要求遷移一部分?jǐn)?shù)據(jù)，只要這一部分?jǐn)?shù)據(jù)的內(nèi)容無誤，就可確認(rèn)成功。歸檔式數(shù)據(jù)遷移 這種方式的數(shù)據(jù)遷移，遷移后的數(shù)據(jù)格式與遷移前的數(shù)據(jù)格式不一樣，無法立即確認(rèn)成功。需要將遷移后的數(shù)據(jù)還原到原數(shù)據(jù)格式，才能進(jìn)行數(shù)據(jù)校驗(yàn)。數(shù)據(jù)遷移準(zhǔn)備和校驗(yàn)——數(shù)據(jù)遷移校驗(yàn) 數(shù)據(jù)遷移是否成功，需要數(shù)據(jù)校驗(yàn)來確定。數(shù)據(jù)校驗(yàn)主要包括兩方面：數(shù)據(jù)完整性校驗(yàn) 確認(rèn)數(shù)據(jù)是否是完成的，是否有數(shù)據(jù)缺失。比如確認(rèn)記錄條數(shù)、文件大小等。數(shù)據(jù)一致性校驗(yàn) 確認(rèn)數(shù)據(jù)是否一致，比如對于數(shù)據(jù)庫系統(tǒng)，不能有未完成的事務(wù)結(jié)果。目錄數(shù)據(jù)遷移的基本概念數(shù)據(jù)遷移方法數(shù)據(jù)遷移準(zhǔn)備和校驗(yàn)華為3Com數(shù)據(jù)遷移策略友商數(shù)據(jù)遷移軟件

華為3Com數(shù)據(jù)遷移策略

我司做為一個存儲廠商，主要提供存儲級別的數(shù)據(jù)遷移方案。主要包括：IV5000/IX1000的復(fù)制功能實(shí)現(xiàn)數(shù)據(jù)遷移IV5000鏡像功能實(shí)現(xiàn)數(shù)據(jù)遷移

DiskSafe實(shí)現(xiàn)數(shù)據(jù)遷移華為3Com數(shù)據(jù)遷移策略

——基于復(fù)制技術(shù)的數(shù)據(jù)遷移策略數(shù)據(jù)遷移過程不影響生產(chǎn)系統(tǒng)工作基于IP網(wǎng)絡(luò)進(jìn)行連續(xù)數(shù)據(jù)保護(hù)，可適應(yīng)不同的網(wǎng)絡(luò)環(huán)境提供全面的數(shù)據(jù)保護(hù)，可有效應(yīng)對軟錯誤（比如人為故障、病毒）所帶來的故障難題適用于較遠(yuǎn)兩地的數(shù)據(jù)遷移華為3Com數(shù)據(jù)遷移策略——IV5000復(fù)制技術(shù)數(shù)據(jù)遷移數(shù)據(jù)庫服務(wù)器應(yīng)用服務(wù)器中間件服務(wù)器桌面PCIX5000單IPSAN交換機(jī)IV5100LAN/WAN生產(chǎn)卷復(fù)制卷數(shù)據(jù)復(fù)制到遠(yuǎn)端IX5000單IPSAN交換機(jī)IV5200FCSAN華為3Com數(shù)據(jù)遷移策略——IX1000復(fù)制技術(shù)數(shù)據(jù)遷移