數(shù)據(jù)庫實時同步技術(shù)解決方案

數(shù)據(jù)庫實時同步技術(shù)解決方案一、前言隨著企業(yè)的不斷發(fā)展，企業(yè)信息化的不斷深入，企業(yè)內(nèi)部存在著各種各樣的異構(gòu)軟、硬件平臺，形成了分布式異構(gòu)數(shù)據(jù)源。當(dāng)企業(yè)各應(yīng)用系統(tǒng)間需要進(jìn)行數(shù)據(jù)交流時，其效率及準(zhǔn)確性、及時性必然受到影響。為了便于信息資源的統(tǒng)一管理及綜合利用，保障各業(yè)務(wù)部門的業(yè)務(wù)需求及協(xié)調(diào)工作，常常涉及到相關(guān)數(shù)據(jù)庫數(shù)據(jù)實時同步處理。基于數(shù)據(jù)庫的各類應(yīng)用系統(tǒng)層出不窮，可能涉及到包括ACCESS、SQLSERVER、ORACLE、DB2、MYSQL等數(shù)據(jù)庫。目前國內(nèi)外幾家大型的數(shù)據(jù)庫廠商提出的異構(gòu)數(shù)據(jù)庫復(fù)制方案主要有：Oracle的透明網(wǎng)關(guān)技術(shù)，IBM的CCD表(一致變化數(shù)據(jù)表)方案，微軟公司的出版者/訂閱等方案。但由于上述系統(tǒng)致力于解決異構(gòu)數(shù)據(jù)庫間復(fù)雜的交互操作，過于大而全而且費用較高，并不符合一些中小企業(yè)的實際需求。本文結(jié)合企業(yè)的實際應(yīng)用實踐經(jīng)驗，根據(jù)不同的應(yīng)用類型，給出了相應(yīng)的數(shù)據(jù)庫實時同步應(yīng)用的具體解決方案，主要包括：⑴SQLSERVER到SQLSERVER同步方案ORACLE到SQLSERVER同步方案ACCESS到SQLSERVER/ORACLE同步方案二、異構(gòu)數(shù)據(jù)庫異構(gòu)數(shù)據(jù)庫系統(tǒng)是相關(guān)的多個數(shù)據(jù)庫系統(tǒng)的集合，可以實現(xiàn)數(shù)據(jù)的共享和透明訪問，每個數(shù)據(jù)庫系統(tǒng)在加入異構(gòu)數(shù)據(jù)庫系統(tǒng)之前本身就已經(jīng)存在，擁有自己的DMBS。異構(gòu)數(shù)據(jù)庫的各個組成部分具有自身的自治性，實現(xiàn)數(shù)據(jù)共享的同時，每個數(shù)據(jù)庫系統(tǒng)仍保有自己的應(yīng)用特性、完整性控制和安全性控制。異構(gòu)數(shù)據(jù)庫的異構(gòu)性主要體現(xiàn)在以下幾個方面：1、計算機體系結(jié)構(gòu)的異構(gòu)各數(shù)據(jù)庫可以分別運行在大型機、小型機、工作站、PC嵌入式系統(tǒng)中。2、基礎(chǔ)操作系統(tǒng)的異構(gòu)各個數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)操作系統(tǒng)可以是Unix、WindowsNT、Linux等。3、DMBS本身的異構(gòu)可以是同為關(guān)系型數(shù)據(jù)庫系統(tǒng)的Oracle、SQLServer等，也可以是不同數(shù)據(jù)模型的數(shù)據(jù)庫，如關(guān)系、模式、層次、網(wǎng)絡(luò)、面向?qū)ο螅瘮?shù)型數(shù)據(jù)庫共同組成一個異構(gòu)數(shù)據(jù)庫系統(tǒng)。三、數(shù)據(jù)庫同步技術(shù)對于異構(gòu)數(shù)據(jù)庫系統(tǒng)，實現(xiàn)數(shù)據(jù)共享應(yīng)當(dāng)達(dá)到兩點：一是實現(xiàn)數(shù)據(jù)庫轉(zhuǎn)換；二是實現(xiàn)數(shù)據(jù)的透明訪問。所謂透明訪問，就是在異構(gòu)數(shù)據(jù)系統(tǒng)中用戶可以將異構(gòu)分布式數(shù)據(jù)庫系統(tǒng)看成普通的分布式數(shù)據(jù)庫系統(tǒng)，用自己熟悉的數(shù)據(jù)處理語言去訪問數(shù)據(jù)庫，如同訪問一個數(shù)據(jù)庫系統(tǒng)一樣。但目前還沒有一種廣泛使用的數(shù)據(jù)定義模型和數(shù)據(jù)查詢語言，實現(xiàn)數(shù)據(jù)的透明訪問可以采用多對一轉(zhuǎn)換、雙向的中間件等技術(shù)。開放式數(shù)據(jù)庫互連(OpenDataBaseConnectivity簡稱0DBC)是一種用來在相關(guān)或不相關(guān)的數(shù)據(jù)庫管理系統(tǒng)中存取數(shù)據(jù)的標(biāo)準(zhǔn)應(yīng)用程序接口(API)。ODBC為應(yīng)用程序提供了一套高層調(diào)用接口規(guī)范和基于動態(tài)鏈接庫的運行支持環(huán)境。目前，常用的數(shù)據(jù)庫應(yīng)用開發(fā)的前端工具如PowerBuilder、Delphi等都通過開放數(shù)據(jù)庫互聯(lián)(ODBC)接口來連接各種數(shù)據(jù)庫系統(tǒng)。而多數(shù)數(shù)據(jù)庫管理系統(tǒng)(如：Oracle、Sybase、SQLServer等)都提供了相應(yīng)的ODBC驅(qū)動程序，使數(shù)據(jù)庫系統(tǒng)具有很好的開放性。ODBC接口的最大優(yōu)點是其互操作能力，理想情況下，每個驅(qū)動程序和數(shù)據(jù)源應(yīng)支持完全相同的ODBC函數(shù)調(diào)用和SQL語句，使得ODBC應(yīng)用程序可以操作所有的數(shù)據(jù)庫系統(tǒng)。然而，實際上不同的數(shù)據(jù)庫對SQL語法的支持程度各不相同，因此，ODBC規(guī)范定義了驅(qū)動程序的一致性級別，ODBCAPI的一致性確定了應(yīng)用程序所能調(diào)用的ODBC函數(shù)種類。數(shù)據(jù)庫同步是在兩個不同的數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)交換，以使得任何一個數(shù)據(jù)庫的改變，會以同樣的方式出現(xiàn)在另一個數(shù)據(jù)庫里。數(shù)據(jù)

庫同步可以是單向的，也可以是雙向的。單向同步也叫主從同步，也就是說，其中的一個數(shù)據(jù)庫是主數(shù)據(jù)庫，另一個數(shù)據(jù)庫是從數(shù)據(jù)庫。只有主數(shù)據(jù)庫的改變可以被復(fù)制到從數(shù)據(jù)庫里去，從數(shù)據(jù)庫是被動的。使用數(shù)據(jù)庫同步技術(shù)，用戶可以將一份數(shù)據(jù)發(fā)布到多臺服務(wù)器上，從而使不同的服務(wù)器用戶都可以在權(quán)限的許可的范圍內(nèi)共享這份數(shù)據(jù)。同步技術(shù)可以確保分布在不同地點的數(shù)據(jù)自動同步更新，從而保證數(shù)據(jù)的一致性。0圖1數(shù)據(jù)庫同步示意圖目前國內(nèi)外幾家大型的數(shù)據(jù)庫廠商提出的異構(gòu)數(shù)據(jù)庫復(fù)制方案主要有：Oracle的透明網(wǎng)關(guān)技術(shù)，IBM的CCD表(一致變化數(shù)據(jù)表)方案，微軟公司的出版者/訂閱者方案。國外的如土耳其中東科技大學(xué)的MIND系統(tǒng)，美國密歇根－迪爾波恩大學(xué)、斯坦福大學(xué)的TSUNMMIS項目，國內(nèi)的如中關(guān)村科技軟件有限公司、華中科技大學(xué)的Panorama系統(tǒng)都有過類似系統(tǒng)的研究。但是由于上述系統(tǒng)致力于解決異構(gòu)數(shù)據(jù)庫間復(fù)雜的交互操作，大而全，并不符合一些中小企業(yè)的需求，如IBM的CCD表方案實現(xiàn)復(fù)雜且CD表占用資源較多維護(hù)費用高昂，微軟公司的出版者/訂閱者方案只能在NT運行等。而其它的系統(tǒng)大多都存在此類問題。四、局域網(wǎng)數(shù)據(jù)同步解決方案(―).SQLSERVER到SQLSERVER同步復(fù)制SQLSERVER同類數(shù)據(jù)庫之間實現(xiàn)同步，可直接參照Microsoft的發(fā)布/訂閱模式。具體方法步驟如下：(1)SQL復(fù)制的基本元素包括出版服務(wù)器、訂閱服務(wù)器、分發(fā)服務(wù)器、出版物、文章。SQL復(fù)制的工作原理SQLSERVER主要采用出版物、訂閱的方式來處理復(fù)制。源數(shù)據(jù)所在的服務(wù)器是出版服務(wù)器，負(fù)責(zé)發(fā)表數(shù)據(jù)。出版服務(wù)器把要發(fā)表的數(shù)據(jù)的所有改變情況的拷貝復(fù)制到分發(fā)服務(wù)器，分發(fā)服務(wù)器包含有一個分發(fā)數(shù)據(jù)庫，可接收數(shù)據(jù)的所有改變，并保存這些改變，再把這些改變分發(fā)給訂閱服務(wù)器。SQLSERVER復(fù)制技術(shù)類型SQLSERVER提供了三種復(fù)制技術(shù)，分別是：1、快照復(fù)制/2、事務(wù)復(fù)制/3、合并復(fù)制。發(fā)布/訂閱方案第一步：來配置出版服務(wù)器1、選中指定［服務(wù)器］節(jié)點。2、 從［工具］下拉菜單的［復(fù)制］子菜單中選擇［發(fā)布、訂閱服務(wù)器和分發(fā)］命令。3、 系統(tǒng)彈出一個對話框點［下一步］然后看著提示一直操作到完成4、 當(dāng)完成了出版服務(wù)器的設(shè)置以后系統(tǒng)會為該服務(wù)器的樹形結(jié)構(gòu)中添加一個復(fù)制監(jiān)視器。同時也生成一個分發(fā)數(shù)據(jù)庫(distributen)。第二步：創(chuàng)建出版物1、 選中指定的服務(wù)器。2、 從［工具］菜單的［復(fù)制］子菜單中選擇［創(chuàng)建和管理發(fā)布］命令。此時系統(tǒng)會彈出一個對話框。3、 選擇要創(chuàng)建出版物的數(shù)據(jù)庫，然后單擊［創(chuàng)建發(fā)布］。4、 在［創(chuàng)建發(fā)布向?qū)В莸奶崾緦υ捒蛑袉螕簦巯乱徊剑菹到y(tǒng)就會彈出一個對話框。對話框上的內(nèi)容是復(fù)制的三個類型。我們現(xiàn)在選第一個也就是默認(rèn)的快照發(fā)布(其他兩個大家可以去看看幫助)。5、 單擊［下一步］系統(tǒng)要求指定可以訂閱該發(fā)布的數(shù)據(jù)庫服務(wù)器類型，SQLSERVER允許在不同的數(shù)據(jù)庫如ORACLE或ACCESS之間進(jìn)行數(shù)據(jù)復(fù)制。但是在這里我們選擇運行"SQLSERVER2000"的數(shù)據(jù)庫服務(wù)器。6、 單擊［下一步］系統(tǒng)就彈出一個定義文章的對話框也就是選擇要出版的表。7、然后［下一步］直到操作完成。當(dāng)完成出版物的創(chuàng)建后創(chuàng)建出版物的數(shù)據(jù)庫也就變成了一個共享數(shù)據(jù)庫。第三步：設(shè)計訂閱1、選中指定的訂閱服務(wù)器。2、從［工具］下拉菜單中選擇［復(fù)制］子菜單的［請求訂閱］。3、按照單擊［下一步］操作直到系統(tǒng)會提示檢查SQLSERVER代理服務(wù)的運行狀態(tài)，執(zhí)行復(fù)制操作的前提條件是SQLSERVER代理服務(wù)必須已經(jīng)啟動。4、單擊［完成］。完成訂閱操作。完成上面的步驟其實復(fù)制也就是成功了。但是如何來知道復(fù)制是否成功了呢？這里可以通過這種方法來快速看是否成功。展開出版服務(wù)器下面的復(fù)制——發(fā)布內(nèi)容——右鍵發(fā)布內(nèi)容——屬性——擊活——狀態(tài)然后點立即運行代理程序接著點代理程序?qū)傩該艋钫{(diào)度把調(diào)度設(shè)置為每一天發(fā)生，每一分鐘，在0：00：00和23：59：59之間。接下來就是判斷復(fù)制是否成功了打開。C:/ProgramFiles/MicrosoftSQLServer/MSSQL/REPLDATA/unc/XIAOWANGZI_database_database下面看是不是有一些以時間做為文件名的文件夾差不多一分中就產(chǎn)生一個。如果不確定是否創(chuàng)建成功，打開你的數(shù)據(jù)庫看在訂閱的服務(wù)器的指定訂閱數(shù)據(jù)庫下看是否能夠看到剛才所發(fā)布的表。（二）、Oracle與SQLServer的互連及共享不同數(shù)據(jù)庫平臺的互連一般稱之為數(shù)據(jù)庫的異構(gòu)服務(wù)，現(xiàn)在各大數(shù)據(jù)庫之間都可以實現(xiàn)這樣的異構(gòu)互連，只是各廠商的具體實現(xiàn)技術(shù)不一樣，如：在SQLSERVER里面叫做LINKEDSERVER，通過ODBC實現(xiàn)與其它數(shù)據(jù)庫的互聯(lián)。而ORACLE實現(xiàn)異構(gòu)服務(wù)的技術(shù)叫做透明網(wǎng)關(guān)TransparentGateway，當(dāng)然之前ORACLE還采用過通用連接技術(shù)。目前ORACLE利用透明網(wǎng)關(guān)可以實現(xiàn)和SQLSERVER.SYBASE、DB2等多種數(shù)據(jù)庫的互聯(lián)。透明網(wǎng)關(guān)的體系結(jié)構(gòu)也很簡單，在ORACLE和SQLERVER之間使用ORACLE透明網(wǎng)關(guān)服務(wù)器實現(xiàn)互連互通，其中透明網(wǎng)關(guān)服務(wù)器可以與ORACLE或SQLSERVER數(shù)據(jù)庫在同一臺主機上，也可以是在獨立的一臺主機上。測試步驟如下：⑴、在SQLSERVER數(shù)據(jù)庫上創(chuàng)建測試賬號和表數(shù)據(jù)庫:PUBS，賬號cyx，createtablet(cchar(10));、測試用數(shù)據(jù)庫和透明網(wǎng)關(guān)在同一臺機器上，透明網(wǎng)關(guān)在oracle默認(rèn)安裝時是不安裝的，所以如果你想用需要選擇這一選項。、安裝透明網(wǎng)關(guān)forsqlserver的軟件后，可以在$ORACLE_HOME下看到tg4msql目錄，編輯$ORACLE_HOME/tg4msql/admin/inittg4msql.sql文件確認(rèn)這一行正確：HS_FDS_CONNECT_INFO="SERVER=IP;DATABASE=pubs"⑷、修改透明網(wǎng)關(guān)server上的listener.ora，在SID_LIST中加入以下內(nèi)容：(SID_NAME=tg4msql)#SID自己命名(ORACLE_HOME=c:)(PROGRAM=tg4msql)(5)、在oracleserver上的tnsnames.ora中加入到透明網(wǎng)關(guān)的tnsname，內(nèi)容如下：sql2k=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=10.16.98.16)(PORT=1521))#此處HOST填的是透明網(wǎng)關(guān)SERVER的地址)(CONNECT_DATA=(SID=tg4msql))#此SID應(yīng)和透明網(wǎng)關(guān)SERVER上設(shè)定的SID相同(HS=OK))、修改ORACLESERVER的初始化參數(shù)，將globalnames設(shè)為false，因為我們并不使用GLOBALNAME。然后重起數(shù)據(jù)庫。、現(xiàn)在在ORACLESERVER上創(chuàng)建DBLINK就可以了。以上測試實現(xiàn)通過透明網(wǎng)關(guān)來訪問sqlserver的數(shù)據(jù)，只需要注意0RACLE訪問配置問題。［注意事項］：1、 OracleForSQLServer的透明網(wǎng)關(guān)在UNIX下無法實現(xiàn)，目前只支持WIN;原因很簡單，SQLServer本身不支持UNIX，所以O(shè)racle也無法直接在UNIX下訪問SQLServer。2、 OracleFor其它數(shù)據(jù)庫的透明網(wǎng)關(guān)，如SYBASE等有UNIX本版本的數(shù)據(jù)庫在UNIX可以實現(xiàn)。3、 Oracle透明網(wǎng)關(guān)軟件在Oracle8i時是需要花錢另買的，大約1萬$;到Oracle9i時是作為數(shù)據(jù)庫的一個組件免費發(fā)布的，安裝時在組件種選擇即可。4、 針對我們的實際應(yīng)用，如果有需要實現(xiàn)Oracle到SQLServer的互連，我們需要另夕卜用一臺WIN下的Oracle9i來做透明網(wǎng)關(guān)服務(wù)器，其它UNIX下的Oracle通過這個透明網(wǎng)關(guān)來訪問SQLServer。5、 同數(shù)據(jù)庫間的數(shù)據(jù)處理需使用標(biāo)準(zhǔn)SQL來實現(xiàn)。6、 各數(shù)據(jù)庫中特殊的數(shù)據(jù)類型，需要在程序中實現(xiàn)轉(zhuǎn)換，應(yīng)盡量避免使用無法轉(zhuǎn)換的數(shù)據(jù)類型。(三)、Oracle與SQLServer的實時同步盡管透明網(wǎng)關(guān)技術(shù)實現(xiàn)了OQACLE與SQLSERVER的互連，但在同步應(yīng)用中不便于控制同步數(shù)據(jù)的要求，特別是ORACEL與SQLSERVER存在數(shù)據(jù)類型轉(zhuǎn)換時存在困難。以下給出同步數(shù)據(jù)代碼樣例如下：為實現(xiàn)ORACLE到SQLSERVER的數(shù)據(jù)同步，首先需在ORACLE中建一需同步的數(shù)據(jù)視圖，以便于操作訪問。1、在ORACLE中創(chuàng)建需同步的數(shù)據(jù)視圖2、配置局域網(wǎng)客戶端建立tnsname.ora文件，使其能訪問遠(yuǎn)程ORACLE數(shù)據(jù)庫3、 在SQLSERVER中創(chuàng)建與ORACLE視圖同構(gòu)的數(shù)據(jù)庫表4、 定義同步方式及步驟5、 將VBS轉(zhuǎn)換成EXE文件，并將EXE程序制作成windows服務(wù)，以便在后臺運行。6、 以下是ORACLE到SQLSERVER數(shù)據(jù)同步主要VBS示例代碼；==========oracleTOsqlserver數(shù)據(jù)同步腳本=====================檢測遠(yuǎn)程oracle服務(wù)器網(wǎng)絡(luò)是否連通通則連接；連接oracle;連接sqlserver；取N天的cklsz記錄集；取oracle的dataset;notinsqlserver中的inserttosqlserver;日志寫入txt文件，以日期為文件名稱，只保留7天的日志；DoWhileTruedimf,txtfile----創(chuàng)建日志文件對象判定7天前的log文件是否存在，存在則刪除！ Setf=CreateObject("Scripting.FileSystemObject")settxtfile=f.opentextfile("D:\wxjl\oracleTOsqlserver\"&date&".txt",8,True)Iff.FileExists("D:\wxjl\oracleTOsqlserver\"&date-7&".txt")Thenf.DeleteFile("D:\wxjl\oracleTOsqlserver\"&date-7&".txt")endif pingoracle服務(wù)器，連通-->則連接oracle/sqlserver-- ip="10.98.51.82"SetFileSys=CreateObject("Scripting.FileSystemObject")SetWShShell=CreateObject("WScript.Shell")RetCode=WShShell.Run("ping-n1"&IP,0,True)ifRetCode=0Thentxtfile.write(date&""&time&"---pinganywherehostok!") 測試連接遠(yuǎn)程oracle (OraOLEDB.Oracle.1/MSDAORA.1)conn_ora="Provider=OraOLEDB.Oracle.1;PersistSecurityInfo=True;UserID=qyselect;Password=qy08select12;DataSource=hydata"setrs_ora=createobject("adodb.recordset")sql_ora="select*fromHybjsb.V_QY_CKLSZ"Err.clearOnErrorResumeNext---出錯不顯示,執(zhí)行下一條rs_ora.opensql_ora,conn_ora,1,1rs_ora.closeIfErr.Number=0Thentxtfile.writeline("---connectanywheredatabasesuccessful!") 連接本地sqlserver,insertsqlserverconn_local="PROVIDER=SQLOLEDB;DATASOURCE=local;UID=sa;PWD=sa"setrs_local=createobject("adodb.recordset")--更新30天以內(nèi)的數(shù)據(jù)Nday=30dept二"卷包車間"DB="wxjl_1bjb"callxcopyelsetxtfile.writeline("---*****遠(yuǎn)程數(shù)據(jù)庫連接失敗!*****")endifelsetxtfile.writeline(date&""&time&"---#####網(wǎng)絡(luò)故障#######")endifreleaseconnectionconn_orareleaseconnectionconn_localsetf=nothingsettxtfile=nothingsetrs_local=nothingsetrs_ora=nothing間隔5分鐘循環(huán)一次WScript.Sleep300000Loop 數(shù)據(jù)同步過程 --Subxcopy()dimrecords(0) 判斷temp是否存在，存在則刪除sql_local="selectcount(1)asrecfrom"&DB&".dbo.sysobjectswherename=tempandxtype=U"rs_local.opensql_local,conn_local,1,1records=rs_local("rec")rs_local.closeifrecords>0thensql_local="droptable"&DB&".dbo.temp"rs_local.opensql_local,conn_local,1,1endif(1)——取當(dāng)前日期前Nday天的數(shù)據(jù)插入臨時表tempsql_local="SELECT*INTO"&DB&".dbo.tempFROMOPENROWSET(MSDAORA.1,hydata;qyselect;qy08select12,SELECT*FROMHybjsb.V_QY_CKLSZ