新老系統(tǒng)遷移及整合方案

新老零碎遷移及整合方案之楊若古蘭創(chuàng)作本次總局綜合營業(yè)零碎是在原有零碎的基礎上開發(fā)完成，是以，新舊零碎間就存在著切換的成績.另外，新開發(fā)的零碎還存在與其他一些利用零碎，例如，企業(yè)信譽聯(lián)網利用零碎、企業(yè)登記子網站、外資登記子網站等零碎進行整合使之成為一個彼此連通的零碎.本章將針對新老零碎遷移和整合提出解決方案.新老零碎遷移及整合需求分析零碎遷移又稱為零碎切換，即新零碎開發(fā)完成后將老零碎切換到新零碎上來.零碎切換得次要任務包含：數據資本整合、新舊零碎遷移、新零碎運轉監(jiān)控過程.數據資本整合包含兩個步調：數據清算與數據轉換.數據清算就是將原零碎數據清算為零碎轉換程序能夠識此外數據；數據轉換就是將清算完成后的數據按照必定的轉換規(guī)則轉換成新零碎請求的數據格式，數據的整合是整合零碎切換的關鍵；新舊零碎遷移就是在數據精確轉換的基礎上，擬定一個切實可行的計劃，包管營業(yè)籌劃順利、平穩(wěn)過渡到新零碎中進行；新零碎運轉監(jiān)控就是在新零碎正常運轉后，還須要監(jiān)控全部新零碎運轉的無效性和精確性，以便及時對數據轉換過程中出現(xiàn)的成績進行糾正.零碎整合是針對新開發(fā)的零碎與保存的老零碎之間的整合，以包管新開發(fā)的零碎能與保存的老零碎互動，包管營業(yè)的順利開展.次要的任務是接口的開發(fā).須要進行遷移的零碎須要進行整合的零碎須要與保存零碎整合的零碎包含：1、企業(yè)登記管理（含信譽分類），全國企業(yè)信譽聯(lián)網統(tǒng)計分析，不冠行政區(qū)劃企業(yè)名稱核準，大屏幕觸摸屏零碎與企業(yè)信譽聯(lián)網利用，企業(yè)登記子網站，屬地監(jiān)管傳輸，網上營業(yè)受理之間的整合；2、外資企業(yè)登記管理（含信譽分類），全國外資企業(yè)監(jiān)測分析與屬地監(jiān)管傳輸，外資登記子網站，網上營業(yè)受理，大屏幕觸摸屏零碎之間的整合；3、廣告監(jiān)管零碎與廣告監(jiān)管子網站之間的整合；4、12315數據統(tǒng)計分析與12315子網站之間的整合；5、通用信息查詢、統(tǒng)計零碎與數據收集轉換之間的整合；數據遷移和轉換分析根據投標文件工商總局新建零碎的數據庫基于IBMDB2，而原有零碎的數據庫包含ORACLE，SQLServer，DB2.這類異構數據在總局次要存在于兩個方面，即部分內部的異構數據和上上級部分之間的異構數據.同時，零碎的技術構件有.NET和J2EE兩大類.對于部分內部的異構數據的集成采取數據移植的方法，如：如果數據有基于DB2管理的，有ORACLE管理的，有SQLServer管理的，就根據新零碎DB2的請求，把ORACLE的數據遷移到DB2數據庫中，把SQLServer的數據遷移到DB2數據庫中.上上級國工商局之間的異構數據的集成利用數據交換零碎來完成，重點在于數據庫存儲尺度、交換尺度的擬定和恪守，包管數據的共享，這部分工作由數據中間完成.零碎遷移和整合目標一、零碎切換的次要目標：包管零碎正常運轉在數據轉換過程中，因為原本的零碎數據的復雜性，給數據轉換工作帶來了很大的難度，為了在新零碎啟動后不影響原零碎正常的營業(yè)，是以數據轉換完成后，必須包管新零碎的正常運轉.包管原有零碎在新零碎中的獨立性原有零碎是獨立運轉的零碎，數據在新零碎中雖然是集中存放的，但是各個零碎因為存在營業(yè)上的不同，數據在邏輯上該當堅持必定的獨立性.二、零碎整合的目標：包管直接關聯(lián)的零碎互動，包管營業(yè)的正?；I劃.例如公眾服務零碎與基本營業(yè)零碎之間互動，基本營業(yè)與協(xié)同營業(yè)之間互動等等.零碎切換方案零碎切換工作流程零碎切換包含前期調研、數據清算、數據轉換、零碎切換、運轉監(jiān)控五個階段.零碎切換的全部工作流程如下所示：圖STYLEREF1\s9SEQ圖\*ARABIC\s11零碎切換流程示意圖零碎切換工作步調前期調研階段前期調研是數據轉換中很次要的一個步調，也是相當次要的一部分.在進行數據轉換工作前，我們須要先認真瀏覽零碎的相干文檔，如《數據字典》、《零碎概要設計陳述》等，來熟悉原本的零碎.當然在瀏覽文檔的過程中肯定還會有理解不清晰的地方，這時候還須要熟悉原有零碎的工程師的幫忙.數據轉換的前期工作就是對原零碎做一次完好的全面了解，次要須要的考慮的有上面一些情況：1、原零碎的收集結構；2、原零碎的營業(yè)范圍、存在幾套營業(yè)零碎和他們之間的關系；3、原零碎的開發(fā)商、開發(fā)工具、開發(fā)平臺和采取的數據庫；4、原零碎的數據分布情況：包含數據范圍、數據量大小等；5、原零碎的營業(yè)流程；6、原零碎的數據流程；7、原零碎的數據結構；在了解這些要素的基礎上，須要編寫《前期調研分析陳述》.調研陳述次要包含如下一些方面：1、將所無數據表進行分類，如零碎參數類、代碼類、綜合營業(yè)類、相干營業(yè)類等等.2、對所無數據表的數據構成、數據來源、用處等進行描述.3、并不是所有的數據都是須要進行轉換的，在《數據字典分析陳述》中要指出那些數據表是須要進行轉換的，那些是不須要進行轉換的，對于不須要轉換的表要說明不須要轉換的緣由.4、描述數據在各表中的流向，對于關鍵的或復雜的營業(yè)點要做具體說明.轉換設計階段轉換設計階段主如果完成新舊數據字典的對照，同時明確各個表中具體數據字段的轉換方式.在轉換設計階段主如果編寫《數據字典對照陳述》《數據字典對照陳述》次要描述新舊零碎數據表間的對照關系和代碼對照關系.以新零碎為準，原零碎作參照，將原零碎的數據字典對應到響應的零碎數據字典中.在對照過程中，須要遵守數據照搬準繩，數據盡量不要作處理.在數據字典對照表中須要進行轉換的數據字段應當逐個對應，對新舊數據表中字段的名稱、類型、精度等都要有具體的描述，同時還要明確數據的轉換方式.數據轉換方式次要有以下幾種：1. 直接轉換.直接轉換方式是最經常使用的方式，就是將原表中對應字段的數據原封不動的搬到新表中來.按照“數據照搬”準繩，我們應當應當盡量采取這類方法.2. 程序轉換.對那些須要進行計算才干進行轉換的數據將采取程序轉換方式進行.3. 代碼對照.某些代碼字段，常常新舊零碎的編碼不不異，這時候就須要參照代碼對照表進行代碼對照轉換.4. 類型轉換.少數數據可能須要對類型進行轉換，如就表以字符串‘YYYY-MM-DD’來存放日期，而新表中以DATE型來存放日期，這時候就須要進行類型轉換.5. 常量轉換.新表中某些字段可能存在缺省值，這時候將采取常量轉換方式，當舊表沒有對應字段或舊表對應字段數據為空時，將直接在新表中寫入缺省數據.6. 不轉換.對于舊表有但新表中沒有的字段將不作任何轉換.新舊零碎代碼對照列出了全部須要進行轉換的新舊零碎數據表中存在的二級代碼間的對照關系，次要以二級代碼對照表的方式來反映.數據遷移一、數據清算計謀數據清算就是將原零碎數據清算為零碎轉換程序能夠識此外數據.數據清算大致分為兩個階段：第一階段就是將分歧類型來源數據收集備份到統(tǒng)一的數據庫中；第二階段就是將原始數據進行清算，按照分歧的請求分類進入分歧的兩頭數據庫，為數據轉換提供兩頭數據.數據清算過程采取了以下方法：確保原始數據的完好性在進行數據清算之間，我們先須要對原始收集數據進行備份.備份的目的有兩個：一個是統(tǒng)一數據庫，便于數據轉換，另一個就是為當前數據追根溯源提供參考根據.在本零碎中，我們將采取DB2作為備份統(tǒng)一數據庫.數據分級過濾計謀數據分級過濾就是把數據按照分歧的數據級別進行分類清算進入分歧的兩頭數據庫中.本零碎中我們把數據分為三個級別：廢棄數據、待調整數據、可轉換數據.廢棄數據就是該部分數據的存在對零碎資本形成浪費的數據，而且會影響當前零碎的運轉.待調整數據就是該部分數據嚴重影響新零碎的運轉，必須進行人工調整后，方可進行數據轉換.可轉換數據就是該部分數據不需做任何處理，基本滿夠數據轉換的請求或者是該部分數據新零碎建議調整，但是不影響零碎的運轉，可以等新零碎運轉后再調整，如許可覺得數據轉換工作節(jié)省很多時間.借助數據清算相干工具數據清算非常艱巨，涉及的數據量很大，通過人工檢查是不成能完成的，是以必須編寫相干的數據清算工具完成數據清算.包含數據清算工具和數據糾錯工具.數據清算工具負責將原始備份數據庫中的數據進行分類進入分歧的兩頭數據庫；數據糾錯工具負責提供敵對、方便的工具界面供用戶方相干人員完美和糾正錯誤數據.利用兩頭庫作為橋梁因為原零碎和新零碎的數據庫結構可能紛歧樣，所以采取兩頭庫作為跟尾新舊零碎數據的次要橋梁，對于建立新舊零碎的對照關系很次要.一旦營業(yè)人員對新零碎中某項轉換數據存在疑問的情況下，就可以通過兩頭庫的關聯(lián)，順利找出原數據.二、數據轉換數據轉換就是將清算后的數據，按照對照表的請求進行轉換，并寫入到新零碎.這個過程可以通過交換零碎實現(xiàn).三、數據清算與轉換步調設計數據移植方案設計數據移植方案次要包含以下幾個方面工作：研討歷史數據的結構、來源、數據項定義、取值等近況，研討新舊數據庫結構的差別，評估和選擇數據移植的軟硬件平臺、選擇數據移植方法、選擇數據備份和恢復計謀、設計數據移植和測試方案等.源數據庫數據清理對于一個運轉已久的數據庫，次要存在三種數據庫垃圾：數據庫對象垃圾、數據庫權限垃圾、數據垃圾.數據庫對象的清理不是一件容易的工作，需有認真負責的態(tài)度，要有耐力，任何錯誤的清理不但會形成前端不克不及運轉，而且將會形成數據的丟失.所以清理數據庫對象或許須要一個平安、精確，可很快恢復的方法.首先要認識數據庫資本，包含數據庫對象，如表、數據庫事件、過程、函數，數據庫結構關系，在此基礎上結合運轉零碎，確認數據庫垃圾，擬定合理的垃圾清理方案，達到清理垃圾的目的.次要方法是對數據庫數據進行整合和分解，整合相干數據減少數據的反復，分解數據則可是數據團體更趨向合理，當然整合和分解要以適合新設計的數據庫結構為基礎，以便簡化轉化程序.進行數據模擬移植根據設計的數據移植方案，建立一個模擬的數據移植環(huán)境，它既能仿真實際環(huán)境又不影響實際數據，然后在數據模擬移植環(huán)境中測試數據移植的后果.數據模擬移植前也應按備份計謀備份模擬數據，以便數據移植后能按恢復計謀進行恢復測試.測試數據模擬移植根據設計的數據移植測試方案測試數據模擬移植，也就是檢查數據模擬移植后數據和利用軟件是否正常，次要包含：數據分歧性測試、利用軟件履行功能測試、功能測試、數據備份和恢復測試等.籌辦實施數據移植數據模擬移植測試成功后，在正式實施數據移植前還須要做好以下幾個方面工作：進行完好數據備份、確定數據移植方案、安裝和配置軟硬件等.正式實施數據移植按照確定的數據移植方案，正式實施數據移植.數據清算和轉換的關鍵技術對于多源異構數據庫之間的數據轉換，因為目標數據庫的格式和束縛的限制嚴酷，直接編寫轉換程序實現(xiàn)困難，可在原無數據庫零碎中編寫轉換程序.對于源數據庫、目標數據庫結構有差別的數據，建立兩頭過渡庫，兩頭庫在原數據庫平臺中建立，但結構與目標數據庫的結構不異.將源數據庫轉入兩頭庫的過程是一個數據的從頭組合和關聯(lián)的過程，將是轉換的中間和重點工作，須要對源數據庫與新數據庫的數據關系進行深入分析，對每一個數據庫寫出轉換計謀.非空處理：對于應當非空但實際為空的記錄擬定處理規(guī)則.取值束縛處理：對于有取值范圍束縛的字段進行規(guī)范化處理，即將轉換后的數據取值規(guī)范到該范圍內.主鍵處理：從頭對兩頭庫進行編號.填寫外鍵：每個數據庫或多或少存在外鍵，外鍵越多，標明與其它庫關聯(lián)越多，如許的庫應后處理；反之，外鍵越少的庫應當先處理.獨一鍵處理：對請求獨一的數據項（主鍵、獨一鍵）進行獨一檢測，并對檢測出的不獨一的記錄，擬定處理規(guī)則.附加分散處理：對某些表中的某些字段進行數據規(guī)范化處理，即將分歧規(guī)范的數據替換成規(guī)范的數據，幾個表之間的關聯(lián)處理，和一些特殊處理等.數據分歧性處理：對于有多個數據源的數據進行分歧性檢查,擬定處理規(guī)則.新舊零碎切換第一步：編寫《零碎切換方案》.零碎切換方案包含零碎切換方法、零碎切換計劃等內容.第二步：組織相干人員對《零碎切換方案》進行評審，如果未通過，則須要調整零碎切換方案.第三步：進行營業(yè)零碎數據轉換.在進行營業(yè)零碎數據轉換前，須要先選擇一個時間點進行營業(yè)零碎數據收集.該時間點的選擇以完成一個完好的營業(yè)周期為準.轉換時機根據以往的經驗，我們建議將正式數據轉換的時間放在月結剛剛完成后而且最好是節(jié)假日.籌辦工作正式數據轉換前的籌辦工作是非常多的，現(xiàn)列舉如下：編寫具體的《數據轉換指南》.《數據轉換指南》應當是在前面的幾次試轉換過程中編寫并完美的，要具體說明數據轉換的全過程，包含：籌辦工作、履行步調、留意事項等.編寫履行腳本.在前面幾次試轉換的基礎上編寫并完美好數據轉換履行腳本.履行腳本包含：轉換履行腳本、驗證履行腳本等.所有的腳本都必須安裝履行的前后順序編寫，在正式轉換時將按照順序來履行.數據庫環(huán)境籌辦.根據以往的經驗，在正式轉換階段出現(xiàn)的異常常常都是無數據庫方面的，大部分是因為數據庫環(huán)境沒有籌辦好.數據庫方面須要做好如下幾方面的籌辦：表空間劃分、大數據文件籌辦、大回滾段籌辦、創(chuàng)建索引等.其他須要籌辦.在正式轉換前，老零碎要停止使用，同時在還須要把老零碎的數據做一次完好的備份.履行過程數據轉換時將按照曾經編寫好的轉換履行腳本來進行.對沒一步的操縱都要做好日志記錄，日志分兩種，一種是計算機主動發(fā)生的日志，如LOG文件；另一種是在轉換履行過程中手工做的記錄.在正式轉換時，請求至多兩人一路工作，其中一人負責操縱，另外一人負責監(jiān)督，兩人都必須做好記錄.每履行完一條轉換命令后都須要去檢查一些錯誤記錄表，如果出現(xiàn)異常錯誤信息，須要暫停轉換履行，對錯誤分析處理終了后才干繼續(xù)履行.驗證過程轉換履行結束后，須要對轉換的結果進行驗證，驗證時按照曾經編寫好的驗證腳本來進行，驗證最好由兩名以上的人員分開來進行，在驗證過程中做好每一步的驗證記錄.如果在驗證過程中沒有發(fā)現(xiàn)異常，而且?guī)酌炞C人員的驗證記錄都非常分歧，則可以認為曾經通過驗證.收尾工作數據轉換工作履行終了后，須要對關閉原有零碎全部的營業(yè)經辦功能，只開發(fā)查詢功能，以便營業(yè)人員在須要時可以繼續(xù)查詢舊零碎中的數據.對新零碎的數據進行一次物理備份，同時啟動新零碎數據庫的重做日志功能.到此時為止新舊零碎數據轉換工作全部結束，全部利用零碎將切換到新零碎上來運轉.第四階段：新零碎運轉監(jiān)控及數據清算在所有新零碎平穩(wěn)運轉后，還須要進行定期的運轉監(jiān)控和對部分數據進行調整.對于那些對零碎運轉未形成影響的，在數據清算過程中，沒有進行數據批改，所以在零碎平穩(wěn)運轉后，須要對這些數據進行調整.零碎切換包管措施零碎在全部切換過程中，平安、平穩(wěn)過渡是第一名的.我們將采取如下措施包管零碎切換平安：1、數據備份在進行新舊零碎數據轉換時，對原零碎數據進行備份以包管歷史數據的可追溯性.一旦在新零碎中營業(yè)籌劃出現(xiàn)成績，則可以通過追溯歷史數據來判斷是數據轉換錯誤，還是新零碎程序存在BUG.2、數據測試數據測試分為兩個條理測試，一個是數據監(jiān)測性測試，就是在數據轉換完成后，測試數據的轉換精確性；二是驗證性測試，驗證性測試通過使用曾經通過功能測試的新零碎籌劃實際營業(yè)來驗證數據轉換的精確性.數據測試是一個關鍵環(huán)節(jié)，關系到零碎切換的成功與否，所以必須加大測試力度來包管數據轉換的精確性.而與數據測試相干的零碎功能測試也必須看重，因為如果零碎功能如果存在成績，則數據測試也就沒法包管精確性.3、切換點的選擇零碎在什么時候進行切換，也是一個很關鍵的成績.普通情況下，我們都選擇一個營業(yè)周期結束，下一個營業(yè)周期開始的時候進行切換.4、切換方式的選擇零碎切換有兩種方式，一種是新舊零碎并軌運轉，一種是新零碎單軌運轉.對于第一種方式舊零碎為主，新零碎為輔，在時機成熟的時候在切換到新零碎運轉；第二種是以新零碎為主，舊零碎為輔，舊零碎只是驗證新零碎營業(yè)