知識(shí)管理系統(tǒng)數(shù)據(jù)遷移通用方案

1、知識(shí)管理系統(tǒng)數(shù)據(jù)遷移通用方案在信息化建設(shè)過(guò)程中，隨著技術(shù)的發(fā)展，原有的信息系統(tǒng)不斷被功能更強(qiáng)大 的新系統(tǒng)所取代。在新舊系統(tǒng)的切換過(guò)程中，必然要面臨一個(gè)數(shù)據(jù)遷移的問(wèn)題。原有的舊系統(tǒng)從啟用到被新系統(tǒng)取代，在其使用期間必然會(huì)積累大量珍貴的 歷史數(shù)據(jù)，其中許多歷史數(shù)據(jù)都是新系統(tǒng)順利啟用所必須的。另外，這些歷史數(shù)據(jù)也是進(jìn)行決策分析的重要依據(jù)。數(shù)據(jù)遷移，就是將這些歷史數(shù)據(jù)進(jìn)行活洗、轉(zhuǎn) 換，并裝載到新系統(tǒng)中的過(guò)程。數(shù)據(jù)遷移主要適用于一套舊系統(tǒng)切換到另一套新 系統(tǒng)，或多套舊系統(tǒng)切換到同一套新系統(tǒng)時(shí)， 需要將舊系統(tǒng)中的歷史數(shù)據(jù)轉(zhuǎn)換到 新系統(tǒng)中的情況。數(shù)據(jù)遷移對(duì)系統(tǒng)切換乃至新系統(tǒng)的運(yùn)行有著十分重要的意義。數(shù)據(jù)遷移

2、的質(zhì) 量不光是新系統(tǒng)成功上線的重要前提，同時(shí)也是新系統(tǒng)今后穩(wěn)定運(yùn)行的有力保 障。如果數(shù)據(jù)遷移失敗，新系統(tǒng)將不能正常啟用；如果數(shù)據(jù)遷移的質(zhì)量較差，沒(méi) 能屏蔽全部的垃圾數(shù)據(jù)，對(duì)新系統(tǒng)將會(huì)造成很大的隱患，新系統(tǒng)一旦訪問(wèn)這些垃 圾數(shù)據(jù)，可能會(huì)由這些垃圾數(shù)據(jù)產(chǎn)生新的錯(cuò)誤數(shù)據(jù)，嚴(yán)重時(shí)還會(huì)導(dǎo)致系統(tǒng)異常。 相反，成功的數(shù)據(jù)遷移可以有效地保障新系統(tǒng)的順利運(yùn)行，能夠繼承珍貴的歷史數(shù)據(jù)。系統(tǒng)切換時(shí)的數(shù)據(jù)遷移不同于從生產(chǎn)系統(tǒng) OLTP (On-line Transaction Processin。，到數(shù)據(jù)倉(cāng)庫(kù) DW (Data Warehouse的數(shù)據(jù)抽取。后者主要將生產(chǎn) 系統(tǒng)在上次抽取后所發(fā)生的數(shù)據(jù)變化同步到數(shù)據(jù)倉(cāng)

3、庫(kù)，這種同步在每個(gè)抽取周期 都進(jìn)行，一般以天為單位。而數(shù)據(jù)遷移是將需要的歷史數(shù)據(jù)一次或幾次轉(zhuǎn)換到新 的生產(chǎn)系統(tǒng)，其最主要的特點(diǎn)是需要在短時(shí)間內(nèi)完成大批量數(shù)據(jù)的抽取、活洗和裝載。數(shù)據(jù)遷移的內(nèi)容是整個(gè)數(shù)據(jù)遷移的基礎(chǔ)，需要從信息系統(tǒng)規(guī)劃的角度統(tǒng)一考慮。以處理數(shù)據(jù)的功能模塊為劃分依據(jù)，需要考慮在新系統(tǒng)中沒(méi)有被包含的功能 模塊，其所涉及數(shù)據(jù)的處理問(wèn)題。這類(lèi)數(shù)據(jù)由于無(wú)法建立映射關(guān)系， 一般不需要 遷移到新系統(tǒng)中。但對(duì)于模塊問(wèn)偶合度比較緊密的舊系統(tǒng)， 在縱向劃分時(shí)需要注 意數(shù)據(jù)的完整性。對(duì)于這次的數(shù)據(jù)遷移，舊系統(tǒng)的各個(gè)功能模塊可以和新系統(tǒng)建 立一定的映射關(guān)系，因此本次的遷移基本是針對(duì)模塊做的工作數(shù)據(jù)遷移方法

4、：在本次數(shù)據(jù)遷移過(guò)程中，我們將根據(jù)實(shí)際情況采用以下方案中的一種，或綜合方案：系統(tǒng)切換前通過(guò)工具遷移，在系統(tǒng)切換前，利用 ETL (Extract Transform Load)工具把舊系統(tǒng)中的歷史數(shù)據(jù)抽取、轉(zhuǎn)換，并裝載到新系統(tǒng)中去。其中ETL工具可以購(gòu)買(mǎi)成熟的產(chǎn)品 (如Business Objects公司的Data Integrator Designer , 也可以是自主開(kāi)發(fā)的程序。這種方法是數(shù)據(jù)遷移最主要，也是最快捷的方法。其 實(shí)施的前提是，歷史數(shù)據(jù)可用并且能夠映射到新系統(tǒng)中。編寫(xiě)后臺(tái)數(shù)據(jù)庫(kù)程序，在系統(tǒng)切換前，將舊系統(tǒng)涉及到的遷移數(shù)據(jù)，在新系 統(tǒng)中建立相應(yīng)的數(shù)據(jù)庫(kù)表結(jié)構(gòu)，并將舊數(shù)據(jù)導(dǎo)入相應(yīng)的

5、表中，然后在新系統(tǒng)中編 寫(xiě)后臺(tái)程序，將歷史數(shù)據(jù)遷移到新系統(tǒng)中。本次我們的遷移是建立一個(gè)和正式系 統(tǒng)一模一樣的數(shù)據(jù)遷移數(shù)據(jù)庫(kù)，將舊系統(tǒng)的遷移數(shù)據(jù)imp到此遷移數(shù)據(jù)庫(kù)中，所 有的編碼和調(diào)試也都在此環(huán)境中進(jìn)行，這樣就可以將導(dǎo)入到新系統(tǒng)的數(shù)據(jù)可能產(chǎn) 生的問(wèn)題，如：字典表數(shù)據(jù)的轉(zhuǎn)化、外鍵約束等等，在遷移數(shù)據(jù)庫(kù)中全部處理掉， 這樣得到的數(shù)據(jù)便可順利的導(dǎo)入新系統(tǒng)。系統(tǒng)切換前采用手工錄入，在系統(tǒng)切換前，組織相關(guān)人員把需要的數(shù)據(jù)手工 錄入到新系統(tǒng)中。這種方法消耗的人力、物力比較大，同時(shí)出錯(cuò)率也比較高。主 要是一些無(wú)法轉(zhuǎn)換到新系統(tǒng)中的數(shù)據(jù)，和新系統(tǒng)啟用時(shí)必需要而舊系統(tǒng)無(wú)法提供 的數(shù)據(jù)采用這種方法，可作為第一種方法

6、的有益補(bǔ)充。系統(tǒng)切換后通過(guò)新系統(tǒng)生成，在系統(tǒng)切換后，通過(guò)新系統(tǒng)的相關(guān)功能，或?yàn)?此專(zhuān)門(mén)開(kāi)發(fā)的配套程序生成所需要的數(shù)據(jù)。 通常根據(jù)已經(jīng)遷移到新系統(tǒng)中的數(shù)據(jù) 來(lái)生成所需的信息。其實(shí)施的前提是，這些數(shù)據(jù)能夠通過(guò)其它數(shù)據(jù)產(chǎn)生。數(shù)據(jù)遷移策略：在數(shù)據(jù)遷移的策略方面，我們將采用以下方案中的一種或綜合方案：一次遷移是通過(guò)數(shù)據(jù)遷移工具或遷移程序，將需要的歷史數(shù)據(jù)一次性全部遷 移到新系統(tǒng)中。一次遷移的優(yōu)點(diǎn)是遷移實(shí)施的過(guò)程短， 相對(duì)分次遷移，遷移時(shí)涉 及的問(wèn)題少，風(fēng)險(xiǎn)相對(duì)比較低。其缺點(diǎn)工作強(qiáng)度比較大，由于實(shí)施遷移的人員需 要一直監(jiān)控遷移的過(guò)程，如果遷移所需的時(shí)間比較長(zhǎng)，工作人員會(huì)很疲勞。一次 遷移的前提是新舊系統(tǒng)數(shù)

7、據(jù)庫(kù)差異不大，允許的宕機(jī)時(shí)間內(nèi)可以完成所有數(shù)據(jù)量 的遷移。分次遷移是通過(guò)數(shù)據(jù)遷移工具或遷移程序，將需要的歷史數(shù)據(jù)分幾次遷移到 新系統(tǒng)中。分次遷移可以將任務(wù)分開(kāi)，有效地解決了數(shù)據(jù)量大和宕機(jī)時(shí)間短之間 的矛盾。但是分次切換導(dǎo)致數(shù)據(jù)多次合并， 增加了出錯(cuò)的概率，同時(shí)為了保持整 體數(shù)據(jù)的一致性，分次遷移時(shí)需要對(duì)先切換的數(shù)據(jù)進(jìn)行同步， 增加了遷移的復(fù)雜 度。分次遷移一般在系統(tǒng)切換前先遷移將靜態(tài)數(shù)據(jù)和變化不頻繁的數(shù)據(jù)，例如代碼、用戶(hù)信息等，然后在系統(tǒng)切換時(shí)遷移動(dòng)態(tài)數(shù)據(jù)，例如交易信息，對(duì)于靜態(tài)數(shù) 據(jù)遷移之后發(fā)生的數(shù)據(jù)變更，可以每天同步到新系統(tǒng)中，也可以在系統(tǒng)切換時(shí)通 過(guò)增量的方式一次同步到新系統(tǒng)中。本次就采

8、用了分次遷移的策略，即按分局分 次遷移；對(duì)于某些信息也采用了定時(shí)更新的手段，以保證數(shù)據(jù)的正確性。先錄后遷是在系統(tǒng)切換前，先通過(guò)手工把一些數(shù)據(jù)錄入到新系統(tǒng)中，系統(tǒng)切 換時(shí)再遷移其它的歷史數(shù)據(jù)。先錄后遷主要針對(duì)新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)存在特定差異 的情況，即對(duì)于新系統(tǒng)啟用時(shí)必需的期初數(shù)據(jù)，無(wú)法從現(xiàn)有的歷史數(shù)據(jù)中得到。 對(duì)于這部分期初數(shù)據(jù)，就可以在系統(tǒng)切換前通過(guò)手工錄入。比如這次的核定信息、 征管鑒定信息、減免稅審批結(jié)果、發(fā)票領(lǐng)購(gòu)申請(qǐng) /審批等等，就是采用的先錄后 遷的方式。先遷后補(bǔ)是指在系統(tǒng)切換前通過(guò)數(shù)據(jù)遷移工具或遷移程序，將原始數(shù)據(jù)遷移 到新系統(tǒng)中，然后通過(guò)新系統(tǒng)的相關(guān)功能，或?yàn)榇藢?zhuān)門(mén)編寫(xiě)的配套程序，根

9、據(jù)已 經(jīng)遷移到新系統(tǒng)中的原始數(shù)據(jù)，生成所需要的結(jié)果數(shù)據(jù)。先遷后補(bǔ)可以減少遷移 的數(shù)據(jù)量。數(shù)據(jù)遷移實(shí)現(xiàn)：數(shù)據(jù)遷移的實(shí)現(xiàn)可以分為三個(gè)階段：數(shù)據(jù)遷移前的準(zhǔn)備、數(shù)據(jù)遷移的實(shí)施和 數(shù)據(jù)遷移后的校驗(yàn)。由于數(shù)據(jù)遷移的特點(diǎn)，大量的工作都需要在準(zhǔn)備階段完成，充分而周到的準(zhǔn) 備工作是完成數(shù)據(jù)遷移的主要基礎(chǔ)。具體而言，要進(jìn)行待遷移數(shù)據(jù)源的詳細(xì)說(shuō)明， 包括數(shù)據(jù)的存放方式、數(shù)據(jù)量、數(shù)據(jù)的時(shí)間跨度，建立新舊系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)字 典，就是我們常說(shuō)的參照表；對(duì)舊系統(tǒng)的歷史數(shù)據(jù)進(jìn)行質(zhì)量分析， 新舊系統(tǒng)數(shù)據(jù) 結(jié)構(gòu)的差異分析；新舊系統(tǒng)代碼數(shù)據(jù)的差異分析；建立新老系統(tǒng)數(shù)據(jù)庫(kù)表的映射 關(guān)系，對(duì)無(wú)法映射字段的處理方法，開(kāi)發(fā)、部屆 ETL工

10、具，編寫(xiě)數(shù)據(jù)轉(zhuǎn)換的測(cè) 試計(jì)劃和校驗(yàn)程序，制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。這次，我們對(duì)于部分由于時(shí)間太 久而無(wú)法對(duì)應(yīng)的數(shù)據(jù)字典數(shù)據(jù)，采用建特殊代碼并對(duì)新系統(tǒng)禁用的方式， 以保證 遷移的完整性，此部分?jǐn)?shù)據(jù)可在今后通過(guò)于客戶(hù)協(xié)商采用更好的方式進(jìn)行修正。其中，數(shù)據(jù)遷移的實(shí)施是實(shí)現(xiàn)數(shù)據(jù)遷移的三個(gè)階段中最重要的環(huán)節(jié)。 它要求 制定數(shù)據(jù)轉(zhuǎn)換的詳細(xì)實(shí)施步驟流程； 準(zhǔn)備數(shù)據(jù)遷移環(huán)境；業(yè)務(wù)上的準(zhǔn)備，結(jié)束未 處理完的業(yè)務(wù)事項(xiàng)，或?qū)⑵涓嬉欢温?；?duì)數(shù)據(jù)遷移涉及的技術(shù)都得到測(cè)試； 最后 實(shí)施數(shù)據(jù)遷移。數(shù)據(jù)遷移后的校驗(yàn)是對(duì)遷移工作的檢查，數(shù)據(jù)校驗(yàn)的結(jié)果是判斷新系統(tǒng)能否 正式啟用的重要依據(jù)。可以通過(guò)質(zhì)量檢查工具或編寫(xiě)檢查程序進(jìn)行數(shù)據(jù)

11、校驗(yàn)，通過(guò)試運(yùn)行新系統(tǒng)的功能模塊，特別是查詢(xún)、報(bào)表功能，檢查數(shù)據(jù)的準(zhǔn)確性。數(shù)據(jù)遷移的技術(shù)準(zhǔn)備數(shù)據(jù)轉(zhuǎn)換與遷移通常包括多項(xiàng)工作：舊系統(tǒng)數(shù)據(jù)字典整理、舊系統(tǒng)數(shù)據(jù)質(zhì)量 分析、新系統(tǒng)數(shù)據(jù)字典整理、新舊系統(tǒng)數(shù)據(jù)差異分析、建立新舊系統(tǒng)數(shù)據(jù)之間的 映射關(guān)系、開(kāi)發(fā)部署數(shù)據(jù)轉(zhuǎn)換與遷移程序、制定數(shù)據(jù)轉(zhuǎn)換與遷移過(guò)程中的應(yīng)急方 案、實(shí)施舊系統(tǒng)數(shù)據(jù)到新系統(tǒng)的轉(zhuǎn)換與遷移工作、檢查轉(zhuǎn)換與遷移后數(shù)據(jù)的完整 性與正確性。數(shù)據(jù)轉(zhuǎn)換與遷移程序,即ETL的過(guò)程大致可以分為抽取、轉(zhuǎn)換、裝載三個(gè) 步驟。數(shù)據(jù)抽取、轉(zhuǎn)換是根據(jù)新舊系統(tǒng)數(shù)據(jù)庫(kù)的映射關(guān)系進(jìn)行的，而數(shù)據(jù)差異分析是建立映射關(guān)系的前提，這其中還包括對(duì)代碼數(shù)據(jù)的差異分析。轉(zhuǎn)換步驟一般 還

12、要包含數(shù)據(jù)活洗的過(guò)程，數(shù)據(jù)活洗主要是針對(duì)源數(shù)據(jù)庫(kù)中， 對(duì)出現(xiàn)二義性、重 復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問(wèn)題的數(shù)據(jù)進(jìn)行相應(yīng)的活洗操作，在活洗之前需要進(jìn)行數(shù)據(jù)質(zhì)量分析，以找出存在問(wèn)題的數(shù)據(jù)，否則數(shù)據(jù)活洗將無(wú)從談起。 數(shù)據(jù)裝載是通過(guò)裝載工具或自行編寫(xiě)的 SQL程序?qū)⒊槿　⑥D(zhuǎn)換后的結(jié)果數(shù)據(jù)加 載到目標(biāo)數(shù)據(jù)庫(kù)中。數(shù)據(jù)檢查數(shù)據(jù)格式檢查：檢查數(shù)據(jù)的格式是否一致和可用，目標(biāo)數(shù)據(jù)要求為 number 型。數(shù)據(jù)長(zhǎng)度檢查：檢查數(shù)據(jù)的有效長(zhǎng)度。對(duì)于 char類(lèi)型的字段轉(zhuǎn)換到varchar 類(lèi)型中，需要特別關(guān)注。區(qū)間范圍檢查：檢查數(shù)據(jù)是否包含在定義的最大值和最小值的區(qū)間中；例如年齡為300，或錄入日期在4000-1-

13、10空值、默認(rèn)值檢查：檢查新舊系統(tǒng)定義的空值、默認(rèn)值是否相同，不同數(shù)據(jù) 庫(kù)系統(tǒng)對(duì)空值的定義可能不同，需要特別關(guān)注。完整性檢查：檢查數(shù)據(jù)的關(guān)聯(lián)完整性。如記錄引用的代碼值是否存在, 特別 需要注意的是有些系統(tǒng)在使用一段時(shí)間后，為了提高效率而去掉了外鍵約束。一致性檢查：檢查邏輯上是否存在違反一致性的數(shù)據(jù)， 特別是存在分別提交 操作的系統(tǒng)。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換的工作在ETL過(guò)程中主要體現(xiàn)為對(duì)源數(shù)據(jù)的活洗和代碼數(shù)據(jù)的轉(zhuǎn) 換。數(shù)據(jù)活洗主要用于活洗源數(shù)據(jù)中的垃圾數(shù)據(jù)，可以分為抽取前活洗、抽取中活洗、抽取后活洗。ETL對(duì)源數(shù)據(jù)主要采用抽取前活洗。 對(duì)代碼表的轉(zhuǎn)換可以考 慮在抽取前轉(zhuǎn)換和在抽取過(guò)程中進(jìn)行轉(zhuǎn)換。具體如

14、下：1、針對(duì)ETL涉及的源數(shù)據(jù)庫(kù)中數(shù)據(jù)表，根據(jù)數(shù)據(jù)質(zhì)量分析的結(jié)果，建立數(shù) 據(jù)抽取前的活洗腳本。該活洗腳本可由調(diào)度控制程序在數(shù)據(jù)抽取前進(jìn)行統(tǒng)一調(diào) 度，也可分散到各個(gè)抽取函數(shù)中調(diào)度。2、針對(duì)ETL涉及的源數(shù)據(jù)庫(kù)中數(shù)據(jù)表，根據(jù)代碼數(shù)據(jù)差異分析的結(jié)果，對(duì) 需要轉(zhuǎn)換的代碼數(shù)據(jù)值，如果數(shù)據(jù)長(zhǎng)度無(wú)變化或變化不大，考慮對(duì)源數(shù)據(jù)表中引 用的代碼在抽取前進(jìn)行轉(zhuǎn)換。抽取前轉(zhuǎn)換需要建立代碼轉(zhuǎn)換腳本。 代碼轉(zhuǎn)換腳本 由調(diào)度控制程序在數(shù)據(jù)抽取前進(jìn)行統(tǒng)一調(diào)度。3、對(duì)新舊代碼編碼規(guī)則差異較大的代碼，考慮在抽取過(guò)程中進(jìn)行轉(zhuǎn)換。根 據(jù)代碼數(shù)據(jù)差異分析的結(jié)果，調(diào)整所有涉及該代碼數(shù)據(jù)的抽取腳本。數(shù)據(jù)遷移后校驗(yàn)在數(shù)據(jù)遷移完成后，需要對(duì)遷移后的數(shù)據(jù)進(jìn)行校驗(yàn)。數(shù)據(jù)遷移后的校驗(yàn)是對(duì) 遷移質(zhì)量的檢查，同時(shí)數(shù)據(jù)校驗(yàn)的結(jié)果也是判斷新系統(tǒng)能否正式啟用的重要依 據(jù)?？梢酝ㄟ^(guò)兩種方式對(duì)遷移后的數(shù)據(jù)進(jìn)行校驗(yàn)。對(duì)遷移后的數(shù)據(jù)進(jìn)行質(zhì)量分析，可以通過(guò)數(shù)據(jù)質(zhì)量檢查工具，或編寫(xiě)有針對(duì) 性的檢查程序進(jìn)行。對(duì)遷移后數(shù)據(jù)的校驗(yàn)有別于遷移前歷史數(shù)據(jù)的質(zhì)量分析， 主 要是檢查指標(biāo)的不同。遷移后數(shù)據(jù)校驗(yàn)的指標(biāo)主要包括五方面： 完整性檢查，引 用的外鍵是否存在；一致性檢查，相同含義的