歷史數(shù)據(jù)遷移方案

歷史數(shù)據(jù)遷移設(shè)計(jì)由于本項(xiàng)目目前存在大量的數(shù)據(jù)，需要遷移到新系統(tǒng)中，為確保數(shù)據(jù)遷移工作保質(zhì)保量，如期進(jìn)行，為確保數(shù)據(jù)遷移后能夠正常訪問(wèn)，我們從如下幾方面進(jìn)行設(shè)計(jì)：數(shù)據(jù)遷移策略數(shù)據(jù)遷移的策略是指采用什么方式進(jìn)行數(shù)據(jù)的遷移。結(jié)合不同的遷移方法，主要有一次遷移、分次遷移、先錄后遷、先遷后補(bǔ)等幾種方式可供選擇：1．一次遷移一次遷移是通過(guò)數(shù)據(jù)遷移工具或遷移程序，將需要的歷史數(shù)據(jù)一次性全部遷移到新系統(tǒng)中。一次遷移的優(yōu)點(diǎn)是遷移實(shí)施的過(guò)程短，相對(duì)分次遷移，遷移時(shí)涉及的問(wèn)題少，風(fēng)險(xiǎn)相對(duì)比較低。其缺點(diǎn)工作強(qiáng)度比較大，由于實(shí)施遷移的人員需要一直監(jiān)控遷移的過(guò)程，如果遷移所需的時(shí)間比較長(zhǎng)，工作人員會(huì)很疲勞。一次遷移的前提是新舊系統(tǒng)數(shù)據(jù)庫(kù)差異不大，允許的宕機(jī)時(shí)間內(nèi)可以完成所有數(shù)據(jù)量的遷移；2．分次遷移分次遷移是通過(guò)數(shù)據(jù)遷移工具或遷移程序，將需要的歷史數(shù)據(jù)分幾次遷移到新系統(tǒng)中。分次遷移可以將任務(wù)分開(kāi)，有效地解決了數(shù)據(jù)量大和宕機(jī)時(shí)間短之間的矛盾。但是分次切換導(dǎo)致數(shù)據(jù)多次合并，增加了出錯(cuò)的概率，同時(shí)為了保持整體數(shù)據(jù)的一致性，分次遷移時(shí)需要對(duì)先切換的數(shù)據(jù)進(jìn)行同步，增加了遷移的復(fù)雜度。分次遷移一般在系統(tǒng)切換前先遷移將靜態(tài)數(shù)據(jù)和變化不頻繁的數(shù)據(jù)，例如代碼、用戶(hù)信息等，然后在系統(tǒng)切換時(shí)遷移動(dòng)態(tài)數(shù)據(jù)，對(duì)于靜態(tài)數(shù)據(jù)遷移之后發(fā)生的數(shù)據(jù)變更，可以每天同步到新系統(tǒng)中，也可以在系統(tǒng)切換時(shí)通過(guò)增量的方式一次同步到新系統(tǒng)中；3．先錄后遷先錄后遷是在系統(tǒng)切換前，先通過(guò)手工把一些數(shù)據(jù)錄入到新系統(tǒng)中，系統(tǒng)切換時(shí)再遷移其它的歷史數(shù)據(jù)。先錄后遷主要針對(duì)新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)存在特定差異的情況，即對(duì)于新系統(tǒng)啟用時(shí)必需的期初數(shù)據(jù)，無(wú)法從現(xiàn)有的歷史數(shù)據(jù)中得到。對(duì)于這部分期初數(shù)據(jù)，就可以在系統(tǒng)切換前通過(guò)手工錄入；4．先遷后補(bǔ)先遷后補(bǔ)是指在系統(tǒng)切換前通過(guò)數(shù)據(jù)遷移工具或遷移程序，將原始數(shù)據(jù)遷移到新系統(tǒng)中，然后通過(guò)新系統(tǒng)的相關(guān)功能，或?yàn)榇藢?zhuān)門(mén)編寫(xiě)的配套程序，根據(jù)已經(jīng)遷移到新系統(tǒng)中的原始數(shù)據(jù)，生成所需要的結(jié)果數(shù)據(jù)。先遷后補(bǔ)可以減少遷移的數(shù)據(jù)量。數(shù)據(jù)遷移方法根據(jù)業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)量以及安全性考慮，數(shù)據(jù)遷移可以采取不同的方法進(jìn)行，歸納起來(lái)主要有三種方法，即系統(tǒng)切換前通過(guò)工具遷移、系統(tǒng)切換前采用手工錄入、系統(tǒng)切換后通過(guò)新系統(tǒng)生成：1、系統(tǒng)切換前通過(guò)工具遷移系統(tǒng)由于數(shù)據(jù)量大，對(duì)數(shù)據(jù)正確性要求較高，因此適用通過(guò)ETL工具進(jìn)行遷移。在系統(tǒng)切換前，利用ETL（ExtractTransformLoad）工具把舊系統(tǒng)中的歷史數(shù)據(jù)抽取、轉(zhuǎn)換，并裝載到新系統(tǒng)中去。其中ETL工具可以購(gòu)買(mǎi)成熟的產(chǎn)品，也可以是自主開(kāi)發(fā)的程序。這種方法是數(shù)據(jù)遷移最主要，也是最快捷的方法。其實(shí)施的前提是，歷史數(shù)據(jù)可用并且能夠映射到新系統(tǒng)中。2、系統(tǒng)切換前采用手工錄入對(duì)于無(wú)法通過(guò)工具遷移的數(shù)據(jù)，可以考慮在切換前使用手工錄入。在系統(tǒng)切換前，組織相關(guān)人員把需要的數(shù)據(jù)手工錄入到新系統(tǒng)中。這種方法消耗的人力、物力比較大，同時(shí)出錯(cuò)率也比較高。主要是一些無(wú)法轉(zhuǎn)換到新系統(tǒng)中的數(shù)據(jù)，和新系統(tǒng)啟用時(shí)必需要而舊系統(tǒng)無(wú)法提供的數(shù)據(jù)采用這種方法，可作為第一種方法的有益補(bǔ)充。3、系統(tǒng)切換后通過(guò)新系統(tǒng)生成在系統(tǒng)切換后，通過(guò)新系統(tǒng)的相關(guān)功能，或?yàn)榇藢?zhuān)門(mén)開(kāi)發(fā)的配套程序生成所需要的數(shù)據(jù)。通常根據(jù)已經(jīng)遷移到新系統(tǒng)中的數(shù)據(jù)來(lái)生成所需的信息。其實(shí)施的前提是，這些數(shù)據(jù)能夠通過(guò)其它數(shù)據(jù)產(chǎn)生。數(shù)據(jù)遷移步驟系統(tǒng)數(shù)據(jù)遷移的目標(biāo)是充分利用已有系統(tǒng)產(chǎn)生的各類(lèi)業(yè)務(wù)數(shù)據(jù)，減少系統(tǒng)初始化的工作量，使得新系統(tǒng)和原有系統(tǒng)之間平滑過(guò)渡，無(wú)縫對(duì)接。數(shù)據(jù)遷移的可分為遷移規(guī)劃、數(shù)據(jù)整理、數(shù)據(jù)試遷移和數(shù)據(jù)正式遷移四個(gè)步驟。其流程如下圖所示：數(shù)據(jù)遷移的四個(gè)階段的目標(biāo)和著重點(diǎn)不同，遷移規(guī)劃階段確定數(shù)據(jù)遷移的目標(biāo)和范圍，并確定遷移的人員和工作計(jì)劃。數(shù)據(jù)遷移準(zhǔn)備階段主要對(duì)原數(shù)據(jù)進(jìn)行校驗(yàn)并進(jìn)行數(shù)據(jù)清理、數(shù)據(jù)整理，保證數(shù)據(jù)遷移不會(huì)受原數(shù)據(jù)中的異常數(shù)據(jù)影響。數(shù)據(jù)試遷移階段主要完成遷移程序的開(kāi)發(fā)和驗(yàn)證，遷移程序完成原有系統(tǒng)中的數(shù)據(jù)資源和各級(jí)部門(mén)管理的相關(guān)信息資源中可復(fù)用到的歷史數(shù)據(jù)的轉(zhuǎn)換、清理工作，并通過(guò)測(cè)試對(duì)比保證數(shù)據(jù)遷移工具的正確性。最后的數(shù)據(jù)正式遷移階段，完成全部可復(fù)用數(shù)據(jù)的遷移工作，保證業(yè)務(wù)的正確性和連續(xù)性。遷移規(guī)劃遷移規(guī)劃階段主要對(duì)遷移過(guò)程進(jìn)行整理規(guī)劃，并明確需要的各類(lèi)軟硬件資源和組織機(jī)構(gòu)。此階段的主要工作如下：1、成立數(shù)據(jù)遷移小組數(shù)據(jù)遷移小組的成員應(yīng)包括本系統(tǒng)得分析設(shè)計(jì)人員，原系統(tǒng)的開(kāi)發(fā)設(shè)計(jì)人員、原系統(tǒng)的維護(hù)管理人員和主要使用人員等組成；2、明確系統(tǒng)遷移計(jì)劃的目標(biāo)遷移計(jì)劃的目標(biāo)包括對(duì)遷移數(shù)據(jù)的范圍、內(nèi)容以及最終在新系統(tǒng)中的使用范圍的明確；3、明確系統(tǒng)遷移工作的質(zhì)量要求需要明確對(duì)遷移數(shù)據(jù)的質(zhì)量要求，包括最終對(duì)數(shù)據(jù)遷移效果的定義和校驗(yàn)方法，可以定義幾張統(tǒng)計(jì)表對(duì)比遷移前后數(shù)據(jù)的一致性和完整性等；4、制定項(xiàng)目實(shí)施時(shí)間表。最終制定遷移的時(shí)間進(jìn)度表，明確遷移的任務(wù)。數(shù)據(jù)整理數(shù)據(jù)遷移準(zhǔn)備是對(duì)原系統(tǒng)業(yè)務(wù)數(shù)據(jù)，進(jìn)行遵守統(tǒng)一標(biāo)準(zhǔn)的規(guī)范性整理、補(bǔ)齊數(shù)據(jù)內(nèi)容的完整性整理和實(shí)現(xiàn)數(shù)據(jù)的正確性整理，一般包括內(nèi)部整理和外部核對(duì)兩部分。具體過(guò)程是，首先按照全國(guó)統(tǒng)一標(biāo)準(zhǔn)并結(jié)合飛標(biāo)監(jiān)管應(yīng)用系統(tǒng)建設(shè)應(yīng)用的需求，建立結(jié)構(gòu)規(guī)范的臨時(shí)數(shù)據(jù)庫(kù)（簡(jiǎn)稱(chēng)為整理庫(kù)或中間庫(kù)），把在原有系統(tǒng)中的數(shù)據(jù)資源及各部門(mén)管理的相關(guān)信息資源中能夠可復(fù)用的歷史數(shù)據(jù)轉(zhuǎn)換導(dǎo)入該庫(kù)。然后對(duì)導(dǎo)入的信息進(jìn)行初步比較、核查、校正以后，采用邏輯推理、經(jīng)驗(yàn)判斷、合理數(shù)值范圍檢驗(yàn)等方法，進(jìn)行合法性檢查及代碼過(guò)濾等方面的審核和篩選，濾出可疑數(shù)據(jù)和缺失數(shù)據(jù)，并提交至外部核對(duì)環(huán)節(jié)，由相關(guān)主管部門(mén)對(duì)外部核對(duì)返回后的數(shù)據(jù)進(jìn)行審核，據(jù)此進(jìn)行完整性和正確性修正，包括補(bǔ)充缺失數(shù)據(jù)、更正錯(cuò)誤數(shù)據(jù)、剔除冗余數(shù)據(jù)、清理垃圾數(shù)據(jù)、調(diào)整矛盾數(shù)據(jù)等。隨后再次進(jìn)行上述邏輯審查工作，如此反復(fù)直至數(shù)據(jù)補(bǔ)齊記實(shí)。1、歷史數(shù)據(jù)整理對(duì)歷史數(shù)據(jù)的數(shù)據(jù)庫(kù)結(jié)構(gòu)、代碼表、業(yè)務(wù)管理和數(shù)據(jù)邏輯進(jìn)行分析和整理。此階段需要根據(jù)原系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)以及系統(tǒng)設(shè)計(jì)文檔為基礎(chǔ)、并與原系統(tǒng)開(kāi)發(fā)設(shè)計(jì)人員以及熟悉原系統(tǒng)的管理維護(hù)、業(yè)務(wù)使用人員的配合，最終形成原數(shù)據(jù)的分析報(bào)告作為后續(xù)數(shù)據(jù)整理，校驗(yàn)、遷移的基礎(chǔ)。2、數(shù)據(jù)校驗(yàn)數(shù)據(jù)校驗(yàn)是在數(shù)據(jù)整理完畢后，對(duì)實(shí)際數(shù)據(jù)的質(zhì)量進(jìn)行校驗(yàn)和整理的過(guò)程，其主要目的是對(duì)原系統(tǒng)的數(shù)據(jù)質(zhì)量情況進(jìn)行分析和排查，在遷移之前將有問(wèn)題的數(shù)據(jù)清理處理完畢。數(shù)據(jù)校驗(yàn)分為完整性校驗(yàn)、有效性校驗(yàn)和一致性校驗(yàn)三種:（1）完整性校驗(yàn)一些老的數(shù)據(jù)由于采集的時(shí)間比較早，采集手段相對(duì)比較落后，因此可能會(huì)存在信息不全的情況。另外新系統(tǒng)由于采用了最新的技術(shù)并與最新的業(yè)務(wù)需求及管理需求聯(lián)系在一起，因此與老系統(tǒng)相比在設(shè)計(jì)上肯定會(huì)有較大的提升，對(duì)于數(shù)據(jù)的要求也會(huì)更加的嚴(yán)格和全面，這就導(dǎo)致有些數(shù)據(jù)放在老系統(tǒng)中來(lái)看是比較完整的，但是放在新系統(tǒng)中，卻還是有所欠缺。對(duì)數(shù)據(jù)完整性進(jìn)行校驗(yàn)時(shí)，要以新系統(tǒng)的數(shù)據(jù)要求為基準(zhǔn)，檢驗(yàn)新系統(tǒng)中規(guī)定不可為空的數(shù)據(jù)或在新系統(tǒng)中非常關(guān)鍵的一些數(shù)據(jù)在老系統(tǒng)中是否存在。對(duì)于校驗(yàn)出來(lái)不完整的數(shù)據(jù)要交由用戶(hù)方補(bǔ)齊。（2）有效性校驗(yàn)人工采集數(shù)據(jù)或舊系統(tǒng)對(duì)輸入數(shù)據(jù)的校驗(yàn)不嚴(yán)密，都可能會(huì)造成無(wú)效數(shù)據(jù)的存在，校驗(yàn)無(wú)效數(shù)據(jù)主要是通過(guò)對(duì)數(shù)據(jù)取值范圍的校驗(yàn)來(lái)實(shí)現(xiàn)。有效性的校驗(yàn)一般主要針對(duì)代碼值的校驗(yàn)，如：“1”代表男性，“2”代表女性，如果數(shù)據(jù)中出現(xiàn)性別代碼為“1”，“2”之外的代碼，則就是無(wú)效數(shù)據(jù)了。數(shù)據(jù)有效性校驗(yàn)首先要明確需要進(jìn)行校驗(yàn)的目標(biāo)數(shù)據(jù)及有效值范圍。一般說(shuō)來(lái)代碼類(lèi)的數(shù)據(jù)都是需要進(jìn)行有效性校驗(yàn)的，這些數(shù)據(jù)的有效值范圍也比較容易確定。另外還有些數(shù)據(jù)如出生日期、年齡等也是需要進(jìn)行校驗(yàn)的。這些數(shù)據(jù)的有效值范圍相對(duì)來(lái)講比較難確定一些，但基本上都能確定一個(gè)比較合理的取值區(qū)間。校驗(yàn)出來(lái)的無(wú)效數(shù)據(jù)需要交給用戶(hù)進(jìn)行更正，對(duì)于更正的結(jié)果需要進(jìn)行重新校驗(yàn)。 （3）一致性校驗(yàn)數(shù)據(jù)的一致性校驗(yàn)一般是通過(guò)同一表內(nèi)或多個(gè)數(shù)據(jù)表間的相關(guān)數(shù)據(jù)項(xiàng)的比較來(lái)進(jìn)行的，如：明細(xì)匯總數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù)的一致性比較、等。由此可見(jiàn)，要校驗(yàn)歷史數(shù)據(jù)的一致性就必須對(duì)原有系統(tǒng)的數(shù)據(jù)表間的各種關(guān)系，數(shù)據(jù)流向等非常的清楚。檢驗(yàn)出來(lái)的不一致數(shù)據(jù)需要交給用戶(hù)方進(jìn)行更正，對(duì)于更正的結(jié)果要進(jìn)行重新校驗(yàn)。3、異常數(shù)據(jù)處理異常數(shù)據(jù)處理就是對(duì)數(shù)據(jù)校驗(yàn)發(fā)現(xiàn)的不完整或者不一致的數(shù)據(jù)進(jìn)行處理和調(diào)整。（1）對(duì)于不完整的數(shù)據(jù)需要根據(jù)已有的數(shù)據(jù)進(jìn)行推導(dǎo)和補(bǔ)充，但這種補(bǔ)充必須依據(jù)業(yè)務(wù)的內(nèi)在邏輯，并得到業(yè)務(wù)人員的認(rèn)可；（2）對(duì)于無(wú)效數(shù)據(jù)需要進(jìn)行清理和補(bǔ)充，無(wú)法對(duì)應(yīng)的數(shù)據(jù)需要?jiǎng)h除、代碼不存在的數(shù)據(jù)項(xiàng)需要根據(jù)實(shí)際情況進(jìn)行補(bǔ)充或者校正、對(duì)于不合理的數(shù)據(jù)需要提交業(yè)務(wù)人員判斷并做出相應(yīng)的處理；（3）對(duì)于不一致的數(shù)據(jù)需要將數(shù)據(jù)提交業(yè)務(wù)人員進(jìn)行分類(lèi)處理，確定哪一方數(shù)據(jù)為準(zhǔn)，并相應(yīng)調(diào)整另一方數(shù)據(jù)；（4）數(shù)據(jù)異常處理完畢后需要再次進(jìn)行數(shù)據(jù)校驗(yàn)，并再次對(duì)校驗(yàn)的異常數(shù)據(jù)進(jìn)行處理，直到所有數(shù)據(jù)都整理完畢。數(shù)據(jù)試遷移數(shù)據(jù)試遷移階段是根據(jù)數(shù)據(jù)遷移準(zhǔn)備階段產(chǎn)生的數(shù)據(jù)分析報(bào)告和數(shù)據(jù)校驗(yàn)的結(jié)果開(kāi)始將原有系統(tǒng)的部份復(fù)用數(shù)據(jù)實(shí)際遷移到新系統(tǒng)中，遷移的過(guò)程需要首先進(jìn)行數(shù)據(jù)的遷移設(shè)計(jì)，將原系統(tǒng)的指標(biāo)與新系統(tǒng)的對(duì)應(yīng)指標(biāo)進(jìn)行匹配，設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換和清洗的規(guī)則，然后進(jìn)行遷移測(cè)試，驗(yàn)證遷移程序的穩(wěn)定性、容錯(cuò)性和正確性，并根據(jù)試遷移的結(jié)果對(duì)數(shù)據(jù)遷移工具進(jìn)行調(diào)整，最后對(duì)遷移的數(shù)據(jù)與原數(shù)據(jù)進(jìn)行對(duì)比，根據(jù)對(duì)比的結(jié)果調(diào)整遷移程序并重復(fù)測(cè)試直到達(dá)到原定的質(zhì)量要求為止。數(shù)據(jù)遷移設(shè)計(jì)在對(duì)歷史數(shù)據(jù)進(jìn)行整理遷移設(shè)計(jì)階段需要編寫(xiě)《數(shù)據(jù)字典對(duì)照?qǐng)?bào)告》，《數(shù)據(jù)字典對(duì)照?qǐng)?bào)告》主要描述新建應(yīng)用系統(tǒng)數(shù)據(jù)與歷史數(shù)據(jù)之間的對(duì)照關(guān)系以及代碼對(duì)照關(guān)系。以新建應(yīng)用系統(tǒng)為準(zhǔn)，原系統(tǒng)及各部門(mén)負(fù)責(zé)管理的相關(guān)數(shù)據(jù)資料作為參照，將歷史數(shù)據(jù)分別對(duì)應(yīng)到相應(yīng)的新建系統(tǒng)數(shù)據(jù)字典中。在對(duì)照過(guò)程中，需要遵循數(shù)據(jù)照搬原則，數(shù)據(jù)盡量不要作處理。在數(shù)據(jù)字典對(duì)照表中需要進(jìn)行轉(zhuǎn)換的數(shù)據(jù)字段應(yīng)該一一對(duì)應(yīng)，對(duì)新舊數(shù)據(jù)表中字段的名稱(chēng)、類(lèi)型、精度等都要有詳細(xì)的描述，同時(shí)還要明確數(shù)據(jù)的轉(zhuǎn)換方式。數(shù)據(jù)遷移開(kāi)發(fā)測(cè)試根據(jù)數(shù)據(jù)遷移的設(shè)計(jì)，需要開(kāi)發(fā)數(shù)據(jù)遷移的程序用于實(shí)際的數(shù)據(jù)遷移工作，程序的開(kāi)發(fā)必須完全符合設(shè)計(jì)的功能，保證各種數(shù)據(jù)轉(zhuǎn)換的正確性，正確性是數(shù)據(jù)遷移程序的關(guān)鍵。為保證數(shù)據(jù)遷移工具的正確性需要對(duì)遷移工具進(jìn)行測(cè)試運(yùn)行，為了不影響原有系統(tǒng)的運(yùn)行，需要部署專(zhuān)門(mén)的測(cè)試環(huán)境，在測(cè)試環(huán)境中運(yùn)行測(cè)試程序，首先保證程序可以完整地運(yùn)行，將所有的數(shù)據(jù)轉(zhuǎn)換成新系統(tǒng)數(shù)據(jù)，這一過(guò)程實(shí)際上是對(duì)系統(tǒng)遷移工具基本流程和容錯(cuò)性的驗(yàn)證，完成后就可以開(kāi)始后續(xù)的遷移結(jié)果比對(duì)，對(duì)工具的正確性進(jìn)行驗(yàn)證。遷移結(jié)果比對(duì)調(diào)整遷移結(jié)果比對(duì)調(diào)整階段是對(duì)遷移程序的正確性進(jìn)行校驗(yàn)，采取兩個(gè)方法進(jìn)行，分別是原系統(tǒng)數(shù)據(jù)比對(duì)方法和新系統(tǒng)運(yùn)行校驗(yàn)方法：1、原系統(tǒng)數(shù)據(jù)比對(duì)將歷史數(shù)據(jù)和新建應(yīng)用系統(tǒng)數(shù)據(jù)進(jìn)行比對(duì)，檢驗(yàn)數(shù)據(jù)是否完整準(zhǔn)確地遷移到新系統(tǒng)中，校驗(yàn)的方法包括簡(jiǎn)單的數(shù)據(jù)量對(duì)比，數(shù)據(jù)統(tǒng)計(jì)報(bào)表對(duì)比。首先進(jìn)行數(shù)據(jù)量對(duì)比，對(duì)新舊數(shù)據(jù)中同樣信息的數(shù)據(jù)量進(jìn)行對(duì)比，從數(shù)量上保證數(shù)據(jù)的一致性。然后分別利用新舊兩套數(shù)據(jù)生成相同的報(bào)表數(shù)據(jù)，對(duì)比報(bào)表數(shù)據(jù)的一致性，對(duì)于發(fā)現(xiàn)的不一致數(shù)據(jù)進(jìn)行逐個(gè)的對(duì)比，分析數(shù)據(jù)不一致發(fā)生的原因，并修改遷移程序，繼續(xù)測(cè)試并對(duì)比調(diào)整，直到所有數(shù)據(jù)一致性比對(duì)通過(guò)。2、新系統(tǒng)運(yùn)行校驗(yàn)在數(shù)據(jù)一致性比對(duì)通過(guò)后，可以保證遷移數(shù)據(jù)與原數(shù)據(jù)一致，但遷移數(shù)據(jù)如果需要在新建系統(tǒng)中能夠安全穩(wěn)定的使用，還需要保證遷移數(shù)據(jù)符合新建應(yīng)用系統(tǒng)的功能和標(biāo)準(zhǔn)規(guī)范。為了保證新系統(tǒng)上線(xiàn)運(yùn)行，需要在部分遷移數(shù)據(jù)上試運(yùn)行新系統(tǒng)，保證數(shù)據(jù)可以正常的查詢(xún)，顯示，各種數(shù)據(jù)狀態(tài)正常，各項(xiàng)功能完整正常。如果發(fā)現(xiàn)系統(tǒng)功能不正常是由于數(shù)據(jù)造成的，還需要調(diào)整遷移程序，并重新進(jìn)行比對(duì)測(cè)試和運(yùn)行校驗(yàn)測(cè)試，直到所有比對(duì)結(jié)果符合，所有系統(tǒng)功能正常。數(shù)據(jù)正式遷移數(shù)據(jù)正式遷移階段就是飛標(biāo)監(jiān)管應(yīng)用系統(tǒng)上線(xiàn)替換原有信息應(yīng)用系統(tǒng)的過(guò)程。此階段的重點(diǎn)是保證新舊系統(tǒng)的平穩(wěn)過(guò)渡，無(wú)縫對(duì)接，保證業(yè)務(wù)人員的工作不受影響。系統(tǒng)切換分成三個(gè)步驟，分別是：原系統(tǒng)停機(jī)、數(shù)據(jù)正式遷移和新系統(tǒng)上線(xiàn)。1、原系統(tǒng)停機(jī)（非工作時(shí)間）在進(jìn)行數(shù)據(jù)正式遷移之前需要首先將原系統(tǒng)停機(jī)，否則將不能保證數(shù)據(jù)完整的遷移到新系統(tǒng)中，原系統(tǒng)的停機(jī)時(shí)間應(yīng)該選擇在非工作時(shí)間，盡量減小對(duì)業(yè)務(wù)辦理的影響，同時(shí)要求在原系統(tǒng)停機(jī)前業(yè)務(wù)人員將所有正在辦理的業(yè)務(wù)完成辦理，保證業(yè)務(wù)流程都是完整的，以免造成辦理過(guò)程中的業(yè)務(wù)無(wú)法繼續(xù)辦理的問(wèn)題；2、數(shù)據(jù)正式遷移在原系統(tǒng)停機(jī)、保證業(yè)務(wù)數(shù)據(jù)已經(jīng)不再變換后，運(yùn)行數(shù)據(jù)遷移工具，將原系統(tǒng)數(shù)據(jù)分批遷移到新系統(tǒng)中，完成后再次運(yùn)行遷移結(jié)果比對(duì)程序，比對(duì)數(shù)據(jù)遷移一致性和新系統(tǒng)功能完整性；3、新系統(tǒng)上線(xiàn)數(shù)據(jù)正式遷移完成并比對(duì)測(cè)試通過(guò)后，重新啟動(dòng)原有系統(tǒng)。數(shù)據(jù)遷移校驗(yàn)在數(shù)據(jù)遷移完成后，需要對(duì)遷移后的數(shù)據(jù)進(jìn)行校驗(yàn)。數(shù)據(jù)遷移后的校驗(yàn)是對(duì)遷移質(zhì)量的檢查，同時(shí)數(shù)據(jù)校驗(yàn)的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依據(jù)?？梢酝ㄟ^(guò)兩種方式對(duì)遷移后的數(shù)據(jù)進(jìn)行校驗(yàn)。對(duì)遷移后數(shù)據(jù)的校驗(yàn)有別于遷移前歷史數(shù)據(jù)的質(zhì)量分析，主要是檢查指標(biāo)的不同。遷移后數(shù)據(jù)校驗(yàn)的指標(biāo)主要包括以下五個(gè)方面：1、完整性檢查，引用的外鍵是否存在；2、一致性檢查，相同含義的數(shù)據(jù)在不同位置的值是否一致；3、總分平衡檢查，例如指標(biāo)的總和與分部門(mén)、分戶(hù)不同粒度的合計(jì)對(duì)比；4、記錄條數(shù)檢查，檢查新舊數(shù)據(jù)庫(kù)對(duì)應(yīng)的記錄條數(shù)是否一致；5、特殊樣本數(shù)據(jù)的檢查，檢查同一樣本在新舊數(shù)據(jù)庫(kù)中是否一致。新舊系統(tǒng)查詢(xún)數(shù)據(jù)對(duì)比檢查，通過(guò)新舊系統(tǒng)各自的查詢(xún)工具，對(duì)相同指標(biāo)的數(shù)據(jù)進(jìn)行查詢(xún)，并比較最終的查詢(xún)結(jié)果；先將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，然后將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)全部補(bǔ)錄到新系統(tǒng)，檢查有無(wú)異常，并和舊系統(tǒng)比較最終產(chǎn)生的結(jié)果。數(shù)據(jù)遷移工具數(shù)據(jù)遷移工具采用靈活配置的方式實(shí)現(xiàn)在數(shù)據(jù)遷移過(guò)程中的數(shù)據(jù)采集，轉(zhuǎn)換，清洗，裝載等各步驟，可以滿(mǎn)足各業(yè)務(wù)數(shù)據(jù)的遷移需求。數(shù)據(jù)采集工具數(shù)據(jù)采集工具是一種問(wèn)答式采集向?qū)У臄?shù)據(jù)采集工具，通過(guò)簡(jiǎn)單明了的操作提示和向?qū)дf(shuō)明，用戶(hù)可以很容易理解每一步如何分析數(shù)據(jù)，如何進(jìn)行操作，從而幫助用戶(hù)進(jìn)行自定義設(shè)置完成數(shù)據(jù)采集。系統(tǒng)可以識(shí)別并采集多種數(shù)據(jù)庫(kù)格式的數(shù)據(jù)源（SQLServer、Access、FoxPro、dBase、Excel、Oracle、文本等）的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)遷移人員可以根據(jù)數(shù)據(jù)遷移工作的實(shí)際需要選擇導(dǎo)入業(yè)務(wù)數(shù)據(jù)庫(kù)中的相關(guān)的數(shù)據(jù)表，同時(shí)對(duì)于所選擇的某一數(shù)據(jù)表也可設(shè)置其具體采集屬性，可以靈活的選擇要采集的字段、修改某一字段的顯示名稱(chēng)以及字段類(lèi)型等。數(shù)據(jù)清理工具本功能可以輔助現(xiàn)場(chǎng)檢查人員對(duì)數(shù)據(jù)表的合規(guī)性和完整性進(jìn)行檢查，并且可以方便的對(duì)數(shù)據(jù)進(jìn)行整理清洗，得到符合數(shù)據(jù)規(guī)劃要求的檢查數(shù)據(jù)中間表、要