關(guān)于數(shù)據(jù)遷移的各種方法

1、 關(guān)于數(shù)據(jù)遷移的各種方法在項(xiàng)目中經(jīng)常會(huì)遇到系統(tǒng)完全更換后的歷史數(shù)據(jù)遷移問(wèn)題，以示對(duì)客戶(hù)歷史工作的尊重，何況很多數(shù)據(jù)仍有保留的必要。那怎么做歷史數(shù)據(jù)遷移呢？系統(tǒng)分析：1、分析原有的業(yè)務(wù)系統(tǒng)精確到大致的系統(tǒng)功能模塊、大致的處理流程即可2、分析現(xiàn)有的業(yè)務(wù)系統(tǒng)精確到大致的系統(tǒng)功能模塊、大致的處理流程即可3、分析兩者自己的區(qū)別和差異大致分析一下兩個(gè)業(yè)務(wù)系統(tǒng)之間的區(qū)別，有助于確定工作量和工作進(jìn)度4、分析用戶(hù)對(duì)舊有數(shù)據(jù)的需求分析對(duì)舊有數(shù)據(jù)的需求，才不至于盲目的全部性的進(jìn)行遷移5、分析用戶(hù)對(duì)舊有數(shù)據(jù)的處理規(guī)則舊有數(shù)據(jù)的處理規(guī)則，一般分為以下幾類(lèi)：1、基礎(chǔ)數(shù)據(jù)，通常這一類(lèi)容易遷移，數(shù)據(jù)格式簡(jiǎn)單，但是會(huì)

2、影響所有的相關(guān)業(yè)務(wù)數(shù)據(jù)，關(guān)注點(diǎn)為數(shù)據(jù)的主鍵和唯一鍵的方式。2、純歷史數(shù)據(jù)的導(dǎo)入，僅供參考用的，這一類(lèi)數(shù)據(jù)導(dǎo)入容易 2.1 純歷史數(shù)據(jù) 這一類(lèi)數(shù)據(jù)處理起來(lái)會(huì)比較容易，一次性導(dǎo)入即可，后續(xù)采用增量數(shù)據(jù)導(dǎo)入。 2.2 流程性數(shù)據(jù) 這一類(lèi)數(shù)據(jù)只有在記錄完全關(guān)閉后才能結(jié)束，需要進(jìn)行增量導(dǎo)入和數(shù)據(jù)更新，同時(shí)還要進(jìn)行相關(guān)查詢(xún)界面的開(kāi)發(fā)，以保證舊有數(shù)據(jù)能夠在新系統(tǒng)中查詢(xún)的到。3、新老系統(tǒng)表結(jié)構(gòu)變化較大的歷史數(shù)據(jù) 這一類(lèi)數(shù)據(jù)的工作量是最重的，就需要仔細(xì)去研究新老業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)了。 1、盡量通過(guò)甲方單位來(lái)收集齊全相關(guān)原系統(tǒng)的相關(guān)設(shè)計(jì)文檔，這一點(diǎn)對(duì)數(shù)據(jù)

3、分析很有幫助，通過(guò)人的感覺(jué)和對(duì)數(shù)據(jù)的觀察來(lái)分析畢竟不太靠譜。 2、在原系統(tǒng)上進(jìn)行相關(guān)數(shù)據(jù)的觀察，了解數(shù)據(jù)的變化和數(shù)據(jù)表數(shù)據(jù)的關(guān)系（對(duì)于比較難以理解的相關(guān)字段很有幫助） 3、比較新老系統(tǒng)數(shù)據(jù)的差異，如果實(shí)在很不靠譜的話(huà)，建議按2.2去處理。系統(tǒng)設(shè)計(jì)：1、做完系統(tǒng)分析之后，對(duì)相關(guān)數(shù)據(jù)進(jìn)行歸類(lèi)，基礎(chǔ)數(shù)據(jù)、純歷史數(shù)據(jù)、變化較大的歷史數(shù)據(jù)2、先從簡(jiǎn)單的入手，給自己點(diǎn)信心3、在excel表中進(jìn)行相關(guān)表的數(shù)據(jù)字典對(duì)照，勾畫(huà)出對(duì)應(yīng)字段、轉(zhuǎn)換邏輯、依賴(lài)關(guān)系、必要時(shí)在新系統(tǒng)表上做相應(yīng)的冗余，等數(shù)據(jù)遷移完畢后再清除。關(guān)鍵點(diǎn)：不同數(shù)據(jù)庫(kù)的字段類(lèi)型的匹配問(wèn)題，比如SQLServer的text，在Or

4、acle應(yīng)該對(duì)應(yīng)clob，但是寧愿轉(zhuǎn)換成幾個(gè)varchar2，從實(shí)現(xiàn)角度相對(duì)容易些。關(guān)于主鍵的問(wèn)題，一致的數(shù)據(jù)類(lèi)型盡量維持現(xiàn)有狀態(tài)，不一致的盡量采用oracle的序列或sqlserver的identity int，但是遷移完畢后，要注意序列值的更新系統(tǒng)實(shí)現(xiàn)：1、PL/SQL或T-SQL，DTS、SSIS或者PowerBuilder的管道作為數(shù)據(jù)遷移的方式2、相關(guān)業(yè)務(wù)邏輯的遷移，與數(shù)據(jù)完整性和業(yè)務(wù)相關(guān)的存儲(chǔ)過(guò)程、觸發(fā)器、函數(shù)的改寫(xiě)，甚至SQL的改寫(xiě)3、業(yè)務(wù)查詢(xún)頁(yè)面的編寫(xiě)后話(huà)：1、數(shù)據(jù)遷移沒(méi)有特別或高級(jí)的方法2、對(duì)業(yè)務(wù)數(shù)據(jù)的分析最為關(guān)鍵，需要不斷的嘗試在新系統(tǒng)上不斷的測(cè)試3、數(shù)據(jù)遷移技術(shù)，主要通過(guò)

5、SQL、存儲(chǔ)過(guò)程、甚至游標(biāo)來(lái)實(shí)現(xiàn)，優(yōu)先級(jí)也如上還有一種數(shù)據(jù)遷移僅僅是數(shù)據(jù)庫(kù)的平遷或異構(gòu)數(shù)據(jù)庫(kù)遷移數(shù)據(jù)庫(kù)平遷，即為了性能擴(kuò)展需要從一臺(tái)服務(wù)器遷移到另外一臺(tái)服務(wù)器上，用數(shù)據(jù)庫(kù)的導(dǎo)出導(dǎo)入或備份恢復(fù)工具處理即可，當(dāng)然也要考慮遷移后的一些序列字段的初始值。異構(gòu)數(shù)據(jù)遷移，即從一個(gè)數(shù)據(jù)庫(kù)平臺(tái)遷移到另外一個(gè)數(shù)據(jù)庫(kù)平臺(tái)，用ETL工具或SQL均可實(shí)現(xiàn)，不過(guò)要注意業(yè)務(wù)邏輯的遷移，即存儲(chǔ)過(guò)程、函數(shù)、觸發(fā)器之類(lèi)的。歷史數(shù)據(jù)遷移測(cè)驗(yàn)數(shù)據(jù)遷移重要利用在新老系統(tǒng)到切換，重要有兩種種類(lèi)，一種是將老系統(tǒng)的數(shù)據(jù)全副遷移到新系統(tǒng)中，業(yè)務(wù)上只利用新系統(tǒng)，老系統(tǒng)不再利用，另外一種是，老系統(tǒng)的局部功能在新系統(tǒng)中臨時(shí)無(wú)法告終，然而在業(yè)務(wù)上必

6、需利用新系統(tǒng)，必需將新系統(tǒng)中發(fā)生到數(shù)據(jù)導(dǎo)入到老系統(tǒng)到數(shù)據(jù)庫(kù)中，做特異用處。利用從老系統(tǒng)中遷移到來(lái)的數(shù)據(jù)，在業(yè)務(wù)系統(tǒng)中舉行流程測(cè)驗(yàn)，功能測(cè)驗(yàn)確保遷移后到數(shù)據(jù)可用。數(shù)據(jù)遷移后的校驗(yàn)在數(shù)據(jù)遷移完成后，需要對(duì)遷移后的數(shù)據(jù)進(jìn)行校驗(yàn)。數(shù)據(jù)遷移后的校驗(yàn)是對(duì)遷移質(zhì)量的檢查，同時(shí)數(shù)據(jù)校驗(yàn)的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依據(jù)?？梢酝ㄟ^(guò)以下2種方式對(duì)遷移后的數(shù)據(jù)進(jìn)行校驗(yàn)：新舊系統(tǒng)查詢(xún)數(shù)據(jù)對(duì)比檢查，通過(guò)新舊系統(tǒng)各自的查詢(xún)工具，對(duì)相同指標(biāo)的數(shù)據(jù)進(jìn)行查詢(xún)，并比較最終的查詢(xún)結(jié)果；先將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，然后將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)全部補(bǔ)錄到新系統(tǒng)，檢查有無(wú)異常，并和舊系統(tǒng)比較最終產(chǎn)生的結(jié)果。對(duì)遷移后的數(shù)據(jù)進(jìn)行質(zhì)量分析，可以通過(guò)數(shù)據(jù)質(zhì)量檢查工具或編寫(xiě)有針對(duì)性的檢查程序進(jìn)行。對(duì)遷移后數(shù)據(jù)的校驗(yàn)有別于遷移前歷史數(shù)據(jù)的質(zhì)量分析，主要是檢查指標(biāo)的不同。遷移后數(shù)據(jù)校驗(yàn)的指標(biāo)主要包括5方面：完整性檢查，引用的外鍵是否存在；一致性檢查，相同含義的