DSGRealsync管理維護辦法

1、DSG RealSync 操作治理手冊 2012/1/14DSGdata Inc.目 錄 TOC o 1-3 h z HYPERLINK l _Toc314305611 1RealSync工作原理 PAGEREF _Toc314305611 h 4 HYPERLINK l _Toc314305612 1.1原理概論 PAGEREF _Toc314305612 h 4 HYPERLINK l _Toc314305613 1.2日志抓?。―ata Capture） PAGEREF _Toc314305613 h 5 HYPERLINK l _Toc314305614 1.3日志分析（Analyze

2、） PAGEREF _Toc314305614 h 5 HYPERLINK l _Toc314305615 1.4交易合成（Synthesize） PAGEREF _Toc314305615 h 6 HYPERLINK l _Toc314305616 1.5交易傳輸 PAGEREF _Toc314305616 h 7 HYPERLINK l _Toc314305617 1.6數(shù)據(jù)裝載 PAGEREF _Toc314305617 h 8 HYPERLINK l _Toc314305618 2realsync支持列表 PAGEREF _Toc314305618 h 10 HYPERLINK l _

3、Toc314305619 2.1首次全同步 PAGEREF _Toc314305619 h 10 HYPERLINK l _Toc314305620 2.2復(fù)制關(guān)系維護 PAGEREF _Toc314305620 h 10 HYPERLINK l _Toc314305621 2.3DML操作復(fù)制支持 PAGEREF _Toc314305621 h 10 HYPERLINK l _Toc314305622 2.4DDL操作復(fù)制支持 PAGEREF _Toc314305622 h 12 HYPERLINK l _Toc314305623 2.5常見的不支持操作及處理方式 PAGEREF _Toc3

4、14305623 h 14 HYPERLINK l _Toc314305624 3各復(fù)制端口一覽表 PAGEREF _Toc314305624 h 16 HYPERLINK l _Toc314305625 4軟件部署結(jié)構(gòu)講明 PAGEREF _Toc314305625 h 19 HYPERLINK l _Toc314305626 5發(fā)起全同步并啟動復(fù)制 PAGEREF _Toc314305626 h 20 HYPERLINK l _Toc314305627 6realsync目錄和文件結(jié)構(gòu)講明 PAGEREF _Toc314305627 h 23 HYPERLINK l _Toc3143056

5、28 6.1源端安裝目錄講明 PAGEREF _Toc314305628 h 23 HYPERLINK l _Toc314305629 6.1.1config目錄重點文件講明 PAGEREF _Toc314305629 h 23 HYPERLINK l _Toc314305630 6.1.2scripts目錄中的文件講明 PAGEREF _Toc314305630 h 23 HYPERLINK l _Toc314305631 6.1.3bin目錄重點文件講明 PAGEREF _Toc314305631 h 24 HYPERLINK l _Toc314305632 6.1.4log目錄重點文件講

6、明 PAGEREF _Toc314305632 h 24 HYPERLINK l _Toc314305633 6.1.5rmp目錄重點文件講明 PAGEREF _Toc314305633 h 25 HYPERLINK l _Toc314305634 6.2目標端安裝目錄講明 PAGEREF _Toc314305634 h 25 HYPERLINK l _Toc314305635 6.2.1scripts目錄重點文件講明 PAGEREF _Toc314305635 h 25 HYPERLINK l _Toc314305636 6.2.2bin目錄重點文件講明 PAGEREF _Toc314305

7、636 h 26 HYPERLINK l _Toc314305637 6.2.3log目錄重點文件講明 PAGEREF _Toc314305637 h 26 HYPERLINK l _Toc314305638 6.2.4rmp目錄重點文件講明 PAGEREF _Toc314305638 h 26 HYPERLINK l _Toc314305639 7realsync日常維護 PAGEREF _Toc314305639 h 28 HYPERLINK l _Toc314305640 7.1進程檢查 PAGEREF _Toc314305640 h 28 HYPERLINK l _Toc3143056

8、41 7.1.1數(shù)據(jù)復(fù)制的進程檢查 PAGEREF _Toc314305641 h 28 HYPERLINK l _Toc314305642 7.2如何停止和啟動進程 PAGEREF _Toc314305642 h 29 HYPERLINK l _Toc314305643 7.2.1源端進程的停止 PAGEREF _Toc314305643 h 29 HYPERLINK l _Toc314305644 7.2.2源端進程的啟動 PAGEREF _Toc314305644 h 29 HYPERLINK l _Toc314305645 7.2.3目標端進程的停止 PAGEREF _Toc31430

9、5645 h 30 HYPERLINK l _Toc314305646 7.2.4目標端進程的啟動 PAGEREF _Toc314305646 h 30 HYPERLINK l _Toc314305647 7.3日志監(jiān)控 PAGEREF _Toc314305647 h 31 HYPERLINK l _Toc314305648 7.3.1源端日志分析監(jiān)控 PAGEREF _Toc314305648 h 31 HYPERLINK l _Toc314305649 7.3.2目標端裝載日志 PAGEREF _Toc314305649 h 34 HYPERLINK l _Toc314305650 7.4

10、隊列累積查看 PAGEREF _Toc314305650 h 36 HYPERLINK l _Toc314305651 7.4.1源端日常是否xf1積壓 PAGEREF _Toc314305651 h 36 HYPERLINK l _Toc314305652 7.4.2目標端日常是否xf1積壓 PAGEREF _Toc314305652 h 37 HYPERLINK l _Toc314305653 7.5如何進行重新全同步 PAGEREF _Toc314305653 h 37 HYPERLINK l _Toc314305654 7.5.1停止并清空源端的realsync程序只需執(zhí)行full_s

11、ync_ds.sh PAGEREF _Toc314305654 h 37 HYPERLINK l _Toc314305655 7.5.2停止并清空目標端的realsync程序秩序執(zhí)行full_sync_dt.sh PAGEREF _Toc314305655 h 40 HYPERLINK l _Toc314305656 7.5.3重新啟動源端的realsync程序只需執(zhí)行start_dsg.sh PAGEREF _Toc314305656 h 41 HYPERLINK l _Toc314305657 7.5.4重新啟動目標端的realsync程序只需執(zhí)行start_dsg_dt.sh PAGER

12、EF _Toc314305657 h 42 HYPERLINK l _Toc314305658 7.5.5確認全同步差不多結(jié)束同時進入到實時同步時期 PAGEREF _Toc314305658 h 42 HYPERLINK l _Toc314305659 7.6如何修改日志分析間隔 PAGEREF _Toc314305659 h 45 HYPERLINK l _Toc314305660 7.7維護需要過濾的DDL操作 PAGEREF _Toc314305660 h 45 HYPERLINK l _Toc314305661 7.7.1過濾DDL操作的意義 PAGEREF _Toc31430566

13、1 h 45 HYPERLINK l _Toc314305662 7.7.2支持的過濾操作種類 PAGEREF _Toc314305662 h 45 HYPERLINK l _Toc314305663 7.8日常需要刪除的一些文件 PAGEREF _Toc314305663 h 48 HYPERLINK l _Toc314305664 7.8.1檢查磁盤陣列的剩余空間 PAGEREF _Toc314305664 h 48 HYPERLINK l _Toc314305665 7.8.2刪除源端realsync的文件 PAGEREF _Toc314305665 h 48 HYPERLINK l _

14、Toc314305666 7.8.3刪除目標端realsync的文件 PAGEREF _Toc314305666 h 49RealSync工作原理原理概論RealSync技術(shù)是針對數(shù)據(jù)庫提供了基于邏輯的交易復(fù)制方式。該方式通過直接捕獲源數(shù)據(jù)庫的交易，將數(shù)據(jù)庫的改變邏輯復(fù)制到目標系統(tǒng)數(shù)據(jù)庫中，實現(xiàn)源系統(tǒng)和目標系統(tǒng)數(shù)據(jù)的一致性。如上圖所示，RealSync在數(shù)據(jù)源（Data Source，簡稱DS）端和數(shù)據(jù)目標端（Data Target端，簡稱DT）分不安裝Agent進程，Source端的Agent進程對ORACLE日志進行監(jiān)控，發(fā)覺改變及時對目標數(shù)據(jù)庫進行更新。當應(yīng)用系統(tǒng)在Data Source

15、端向數(shù)據(jù)庫進行任何操作時時，這些信息都將在Redo Log中保存，RealSync Agent通過對實時獵取的Log日志進行分析，獲得本次操作的交易指令和交易數(shù)據(jù)，然后將這些交易指令和交易數(shù)據(jù)通過格式轉(zhuǎn)化生成XF1數(shù)據(jù)格式，并實時通過網(wǎng)絡(luò)傳送到Data Target系統(tǒng)。Data Target系統(tǒng)的RealSync Agent接收數(shù)據(jù)庫包，通過校驗碼檢查，確認正確的數(shù)據(jù)庫包后，調(diào)用Oracle函數(shù)按照交易的先后順序在Data Target系統(tǒng)中執(zhí)行該交易。日志抓?。―ata Capture）RealSync對數(shù)據(jù)的抓取是通過安裝在Data Source端的Agent模塊定時分析Oracle R

16、edo Log來獵取Data Source端的交易類型及數(shù)據(jù)的。RealSync Agent在推斷Data Source端的Oracle系統(tǒng)是否有新的交易產(chǎn)生時是通過定期檢查oracle提供的視圖中記錄的當前SCN號來推斷的，如此幸免每次檢都通過讀取log文件來推斷否有新的交易產(chǎn)生時造成的系統(tǒng)阻礙。在確認有新的交易產(chǎn)生時，能夠同時獲得當前的Redo Log 組，以及最新日志在日志文件的最新位置。RealSync Agent模塊依照這些信息將上次抓取時記錄的日志位置與本次讀取的最新位置之間的Log讀取并加以分析。然后將這些數(shù)據(jù)保存在Online Log Cache文件中，等待下一步作交易合成處理

17、。RealSync的優(yōu)勢：與其他類似日志復(fù)制產(chǎn)品相比，RealSync對日志進行分析，得到交易信息再進行傳送；而其他類似產(chǎn)品不對日志作分析，傳送全部日志，然后在目標端通過日志作Recover， 如此一來，不僅傳送數(shù)據(jù)量大，而且目標端數(shù)據(jù)庫不能打開。日志分析（Analyze）Oracle數(shù)據(jù)庫的所有更改都記錄在日志中，其中記錄了對數(shù)據(jù)庫中的每一個變化。當我們需要了解數(shù)據(jù)庫中所作的交易時，一個最有效有用而又低成本的方法確實是分析Oracle數(shù)據(jù)庫的日志文件。RealSync Agent中集成了DSG的優(yōu)秀日志分析功能，該功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都

18、大大提高，要緊體現(xiàn)在系統(tǒng)性能的優(yōu)化上，大幅度提高日志分析的速度，使得關(guān)于高并發(fā)業(yè)務(wù)系統(tǒng)的復(fù)制成為可能。按照RealSync的日志分析設(shè)計目標，每秒能夠分析的日志量達到10M/s。RealSync通過對日志的分析，得到該數(shù)據(jù)庫中的每個SQL指令，并將這些SQL指令生成XF1格式的表達方式。XF1格式是DSG公司的專有技術(shù)，該技術(shù)是DSG公司用來表達SQL指令的方式，該數(shù)據(jù)格式能夠通過DSG的專有轉(zhuǎn)換算法能夠直接轉(zhuǎn)換為ORACL的內(nèi)部數(shù)據(jù)表達格式，從而在分析和轉(zhuǎn)載時需要最小的轉(zhuǎn)化，提高分析和裝載速度，減少資源占用、豐富能夠表達的各種數(shù)據(jù)類型。交易合成（Synthesize）通過ORACLE RED

19、O LOG分析的交易指令存在如下的幾個特點：（1）這些指令是交叉出現(xiàn)的，屬于一個交易（Transaction）的多條SQL指令是非連續(xù)存儲的，多個交易的SQL之間是相互穿插的；（2）Redo log中記錄了所有的commit的交易以及沒有commit的交易；因此，為了提高系統(tǒng)的可操縱性、保證邏輯完整性、幸免數(shù)據(jù)丟失，最好將復(fù)制的最小單位為一個交易（Transaction），而不是以單個SQL指令為復(fù)制單位，如此在Data Target端的交易裝載更加容易操縱。同時，關(guān)于復(fù)制的數(shù)據(jù)而言，只有那些Commit的數(shù)據(jù)關(guān)于Data Target端系統(tǒng)是有意義的，而關(guān)于那些Rollback的數(shù)據(jù)無需復(fù)制

20、到Data target系統(tǒng)上。因此RealSync在復(fù)制過程中不是復(fù)制每個SQL語句，而是對抓取的數(shù)據(jù)進行交易整合后以交易（Transaction）為單位進行復(fù)制，同時只復(fù)制COMMIT的交易。如上圖所示，在Online Log Cache文件中，包括Commit的交易，沒有Commit的交易和Rollback的交易。交易合成模塊首先按照交易序號對SOL語句進行劃分，每個交易包含多條SOL語句。然后，以交易為單位進行處理，將差不多Commit的交易，傳至傳輸處理模塊；將未提交的交易保存在本地，一旦通過日志得知保存的未提交交易已提交，立立即該交易發(fā)送到傳輸處理模塊；對Rollback的交易作丟

21、棄處理。RealSync的優(yōu)勢：RealSync是以交易為單位進行傳輸?shù)?，而不是以SOL語句為單位進行傳輸?shù)模菀妆ＷC數(shù)據(jù)的一致性和完整性。交易傳輸RealSync技術(shù)為了保證數(shù)據(jù)傳輸?shù)陌踩?、可靠，在傳輸處理上作了專門的處理與支持:（1）數(shù)據(jù)在傳輸之前首先存入Data Source端的Cache，傳輸進程（sender）從Cache中讀取交易數(shù)據(jù)封裝為TCP/IP數(shù)據(jù)包傳送給Data target端的vagentd進程。（2）在data target端，vagentd進程在收到傳輸?shù)慕灰讛?shù)據(jù)包后，首先存入Queue，然后由Load進程從Queue中嚴格按照交易的順序裝載交易信息。如上圖所示，

22、負責傳輸?shù)倪M程（sender）從本地隊列中按照先進先出的原則抓取需要傳輸?shù)慕灰?，將交易?shù)據(jù)封裝成一個數(shù)據(jù)包后通過TCP/IP協(xié)議傳遞給對端系統(tǒng)。在封裝的數(shù)據(jù)包的包頭部分描述了包的大小。對端系統(tǒng)在同意到傳來的數(shù)據(jù)包后，首先依照包頭描述的包大小進行傳輸?shù)暮戏ㄐ詸z查，推斷是否傳輸完整。數(shù)據(jù)裝載在傳統(tǒng)的復(fù)制技術(shù)中，常用的數(shù)據(jù)裝載方式是采納Oracle 的SQL接口，通過Insert、Update、Delete等SQL語句實現(xiàn)數(shù)據(jù)的裝載。這種方式在通用性上專門好，但關(guān)鍵在于性能問題特不突出。SQL語句的執(zhí)行需要通過parse、plan、格式轉(zhuǎn)換等過程，造成大量的系統(tǒng)開銷。尤其是update和Delte操

23、作的大量Where子句操作需要進行復(fù)雜的查詢定位任務(wù)，從而導(dǎo)致裝載性能低下，對處理能力的要求比生產(chǎn)系統(tǒng)的還高。DSG RealSync在設(shè)計之初就定位于電信級大數(shù)據(jù)量系統(tǒng)的應(yīng)用，因此在裝載性能上進行了大幅度的改善，使得裝載端的性能和處理能力需求降至最低。在其中DSG RealSync采納了兩個關(guān)鍵的技術(shù)提高了裝載速度：（1）采納XF1數(shù)據(jù)格式的裝載；（2）采納Rowid mapping的方式實現(xiàn)快速定位；XF1（DSG Extend Format）格式是DSG公司的專有技術(shù)，該技術(shù)是DSG公司用來表達SQL指令的方式，該數(shù)據(jù)格式能夠通過DSG的專有轉(zhuǎn)換算法能夠直接轉(zhuǎn)換為ORACL的內(nèi)部數(shù)據(jù)表達

24、格式，從而在分析和轉(zhuǎn)載時需要最小的轉(zhuǎn)化，提高分析和裝載速度，減少資源占用、豐富sql語句的表達方式。Oracle數(shù)據(jù)庫系統(tǒng)在設(shè)計上提供了4個層次的接口，其中包括User層，SQL層，Transformation層和I/O層。其結(jié)構(gòu)為：USERUSERSQLTransformationI/O在這四層當中，當采納SQL接口進行數(shù)據(jù)裝載時，調(diào)用的是User層，而DSG RealSync通過XF1數(shù)據(jù)格式裝載時，調(diào)用I/O層直接將數(shù)據(jù)通過Oracle的最底層函數(shù)寫入系統(tǒng)中，因此DSG RealSync在裝載層上有一定優(yōu)勢；關(guān)于交易中的操作，存在著大量的Where子句操作，在采納標準SQL語句執(zhí)行這些操

25、作時，系統(tǒng)需要首先定位目標記錄所在的數(shù)據(jù)文件的位置信息，這將帶來大量的索引查詢開銷，當并發(fā)執(zhí)行數(shù)千條指令時，系統(tǒng)的開銷將變得特不龐大。DSG RealSync工具不采納該方式實現(xiàn)裝載數(shù)據(jù)的定位，而是通過ROW Mapping的方式實現(xiàn)記錄的快速定位：當RealSync從源端Log文件中讀取交易數(shù)據(jù)時，將獲得該交易對應(yīng)記錄的所在位置，用rowid表示為rowid_ds；當該交易在目標端裝載時，系統(tǒng)不翻譯為Where子句，而是去通過保存在目標端的row mapping表獲得對應(yīng)目標端該記錄的所在位置rowid，記錄為rowid_dt。從而在目標端裝載時通過rowid能夠直接定位于該數(shù)據(jù)需要寫入的位

26、置。幸免了大量的索引查找時刻。每條記錄的row mapping信息是在該記錄執(zhí)行insert操作、sql loader或首次批量同步時建立起來的。RealSync的優(yōu)勢：DSG擴展格式XF1(DSG Extend Format)是RealSync產(chǎn)品的一個核心技術(shù)，是一種最高效率表示ORACLE記錄的數(shù)據(jù)格式，該格式只需要通過最小的轉(zhuǎn)換過程就能夠裝載到ORACLE數(shù)據(jù)庫中，同時裝載效率特不高。無需標準SQL語句執(zhí)行的復(fù)雜過程加快裝載速度關(guān)于Update，Delete等帶Where子句的交易，能夠大幅度提高裝載速度realsync支持列表首次全同步（1）指定復(fù)制對象 指定需要復(fù)制的user 指定

27、需要復(fù)制的表 指定哪些表需要復(fù)制 指定哪些表不需要復(fù)制（2）不停業(yè)務(wù)的首次全同步（3）指定表的重新全同步復(fù)制關(guān)系維護（1）添加新表到復(fù)制任務(wù)（2）刪除某些表的復(fù)制任務(wù)（3）添加新的用戶到復(fù)制任務(wù)（4）刪除某個用戶的復(fù)制任務(wù)DML操作復(fù)制支持（1）支持的DML操作類型 Insert； Update； Delete；（2）支持對Truncate Table操作復(fù)制（3）支持DIRECT PATH LOADING在Logging模式下批量裝載數(shù)據(jù)的復(fù)制 sqlldr direct=y impdp insert into /*+ APPEND */（4）提供ROWID Mapping模式的映射關(guān)系（支

28、持Unique key和非unique key的表的復(fù)制）（5）支持的DATA TYPES： CHAR DATE NUMBER LONG VARCHAR VARCHAR VARCHAR2 NCHAR NVARCHAR2 FLOAT LONG LONG RAW BLOB CLOB ROWID（6）支持的Table 類型 Table with partitions Table with chainedrows（7）支持Insert all操作insert all when 1=1 then into ts_test_nokey values (id , name,addr,info,sysdate

29、,systimestamp,num) when id=1000 then into ts_test values(id+1,name,addr , info,sysdate,systimestamp,num) select * from ts_test ;（8）支持Merge操作begin for i in 1.1000 loop if mod(i,3)=0 then insert into ts_test values( i , 測試|i , 中上海, 1, sysdate, systimestamp , i/200) ; end if ; end loop ; commit ; for i

30、 in 1.1000 loop merge into ts_test a using dual b on (a.id = i) when matched then update set name=測試|to_char(sysdate,yyyymmdd) when not matched then insert values ( i , 測試|i , 中上海, 1, sysdate, systimestamp , i/200) ; end loop ; commit ;end;DDL操作復(fù)制支持（1）系統(tǒng)支持的DDL操作Objects typeOperate type備注tablesCreate

31、 tableDrop tableTruncate tableAlter table:column_clauses:add_column_clausesmodify_column_clausesdrop_column_clauserename_column_clauseconstraint_clauses:ADD constraintsMODIFY constraintsDrop constraintsalter_table_partitioning:add_table_partitiondrop_table_partitiontruncate partition indexesCreateAl

32、terDropviewsCreateAlterDropsequencesCreateAlterfunctionsCreateAlterDropproceduresCreateAlterDroppackagesCreate packageCreate package bodyAlter packageDrop packageDrop package bodygrantalter databaseuserCreate userAlter userDrop userroleCreate roleAlter roleDrop rolecreate bodydirectoryCreate directo

33、ryDrop directoryprofileCreate profileAlter profileDrop profiledblinkCreate dblinkAlter dblinkDrop dblinkrevoke（2）支持的DDL操作配置可在以上支持的DDL中進行一些DDL是否復(fù)制的配置，包括： database level 的DDL過濾，可指定role,user,dblink，profile等database級的操作是否需要同步 USER level的DDL過濾：可指定user級下的重要操作是否需要同步，例如可指定所有的drop table等大破壞性的操作都不能被復(fù)制。 TABLE

34、LEVEL的ddl過濾：可指定某些重要表的TRUNCATE TABLE,DROP TABLE等大破壞性操作不被復(fù)制。常見的不支持操作及處理方式不支持的對象類型ClusterContextIOT TABLEORGANIZATION EXTERNAL tableNESTED TABLEXML TABLEDIRECTORYBITMAP INDEXDomain indexesLibraryType/type bodyUser defined typeBFILE以上對象或者數(shù)據(jù)類型DSG Realsync臨時沒支持，但假如應(yīng)用中的確用到了這些對象，DSG將承諾立即支持，因為這些對象的數(shù)據(jù)差不多分析到了，

35、只只是是過濾了而已。不支持的database級的常見操作alter database add tablespacealter database add datafilealter system 不支持的schema下的對象操作關(guān)于nologging的table上執(zhí)行的如下操作：insert /*+append*/, impdp, sqlldr direct=y；關(guān)于不支持的操作，只需要對這些表或整個schema進行一次全同步就能夠把數(shù)據(jù)全部復(fù)制過去。各復(fù)制端口一覽表生產(chǎn)系統(tǒng)容災(zāi)系統(tǒng)復(fù)制內(nèi)容口腔醫(yī)院復(fù)制IP:130.1.10.19安裝路徑：/oracle/realsync登錄用戶名：oracle

36、Dbpsd port：60000Vagentd port：60001IP：130.1.31.8安裝路徑：/oracle/realsync登錄用戶名：oracleVagentd port：60001DSG DSGXXKLOG XXKLOGOUTPBILL OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINIST

37、RATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTME

38、DADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE本地復(fù)制IP：130.1.10.18IP：130.1.10.6DSG DSGXXKLOG XXKLOGOUTPBILL OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABAD

39、MINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTP

40、DOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE安裝路徑：/sharedisk/realsync安裝路徑：/dsg/realsync登錄用戶名：oracle登錄用戶名：oraclevagentd port：50001vagentd port：50001dbpsd port：50000軟件部署結(jié)構(gòu)講明如上圖所示，RealSync在生產(chǎn)數(shù)據(jù)庫(source)上和備份系統(tǒng)端(target)分不安裝Agent進程，Source端的vagent進程對ORACLE日志進行監(jiān)控，發(fā)覺改變及時對目標數(shù)

41、據(jù)庫進行更新。當應(yīng)用系統(tǒng)在Source端向數(shù)據(jù)庫進行任何操作時時，這些信息都將在Redo Log中保存，RealSync Agent通過對實時獵取的Log日志進行分析，獲得本次操作的交易指令和交易數(shù)據(jù)，然后將這些交易指令和交易數(shù)據(jù)通過格式轉(zhuǎn)化生成XF1數(shù)據(jù)格式，并由發(fā)送進程sender實時通過網(wǎng)絡(luò)傳送到Target系統(tǒng)。Target系統(tǒng)的vagentd進程接收數(shù)據(jù)庫包，通過校驗碼檢查，確認正確的數(shù)據(jù)庫包后，由裝載進程loder調(diào)用Oracle函數(shù)按照交易的先后順序在Target系統(tǒng)中執(zhí)行該交易。dbpsd進程為治理操縱進程，該進程是在作系統(tǒng)配置和發(fā)起全同步時使用的，該進程一般安裝在生產(chǎn)系統(tǒng)上。

42、vman程序為配置終端，該終端通過dbpsd進程治理source和target上的vagentd程序。發(fā)起全同步并啟動復(fù)制發(fā)起全步的方式確實是在bin目錄下執(zhí)行vm文件。源端的全同步rac2 /sharedisk/realsync/bin$ cat vmconnect : 50000user root/dbpsset ds 1 -itvl 3 -state startset dt 1.1 -tgt db 2 -xf1 y -state startset dm 1.1 -cfg -sync ftcqiM6rac2 /sharedisk/realsync/bin$ ./vmanvmanvmset

43、dm過程的日志信息set dm過程是realsync軟件中進行數(shù)據(jù)的導(dǎo)出和導(dǎo)入過程，該過程分為源端導(dǎo)出過程和目標端裝載過程。導(dǎo)出過程的日志在源端的log/log.vagentd文件中，在導(dǎo)出過程中的日志信息如下：Log.vagentd日志內(nèi)容（全同步過程中）$ cd log$ tail f log.vagentd$r 0.18% 13MB (R9: 4.44,C1: 0.00,W5: 0.00,P: 4.44,T:0,E:1) TIME:Thu Dec 15 23:14:55 2011/*開始抽取表，顯示百分比（0.18%），差不多抽取的大?。?3MB），讀取速度（R9:4.44），壓縮速度（

44、C1: 0.00，寫速度（W5: 0.00），平均速度（P: 4.44），總共耗時（E:1ms）*/INFO: CR-POOL initialized! CR_POOL size: 1000, eliminate algorithm : 1(FIFO) xexp TBCS.SUBS_PRODUCT P_R_20 .(PID:26945 ReaderID:2)Performance report is disabledDetail Performance report is disabled2012-01-14:23:15:01, 0 sequence save to cachegrp# siz

45、e seq# bsz nab flg dup TH Next-SCN 2011/12/15 23:15:0110 4192256 21014 1024 1283568 8 1 1 0 xffffffffffff 21014.1283083.014 4192256 15840 1024 1668169 8 1 2 0 xffffffffffff 15840.1667573.0線程、日志大小、seq號、標志位、塊大小、下一塊、標志位（8為當前日志）假如出現(xiàn)以上信息表明全同步過程正常開始。log.s0,log.s1,log.s2,log.s3是全同步過程中目標端的日志執(zhí)行tail -f log.s0

46、日志不斷變化同時無錯誤提示表明目標端裝載正常。$ cd log$tail f log.s0IPC_KEY=0 x630106cdCHECK_MEMLEAK is turned offEntering XF1ToOracleLoader(pid:17379, sem_no:8). .Loader: 0.xf1 2012-01-14:12:16:38: TRUNCATE TABLE ODS.SUBSCRIBER_1 .Truncate OK2012-01-14:12:16:38: 0-I 0-D 0-U 2-DDL(0 ms)Loader: 1.xf1 DP: handler size: 0, a

47、llocated 16384KB, maxrows one time 10242012-01-14:12:16:38: 1-I 0-D 0-U 0-DDL(0 ms)Loader: 2.xf1 Mapping TBCS. SUBSCRIBER - ODS. SUBSCRIBER_1ODS SUBSCRIBER_1 1 rows1 rows mapped如何推斷全同步過程順利完成全同步過程的完成分為兩個時期：源端導(dǎo)出過程完成和目標端裝載過程完成。源端導(dǎo)出過程完成的標志：源端導(dǎo)出過程都打印在log.vagentd日志中，在該日志的導(dǎo)出完成后會看到如下信息：= Summary of DBPS Exp

48、ress Export = Tables 6 (36) Rows 835752820 Extents 16272 Zip Level 1 To Read 4800.00MB Read 130176.00MB CR Read 0.00MB XF1 117434.39MB XF1 Zipped 33602.50MB (71.39%) Elapsed 00:32:59.579(1979.579s) =當看到以上的全同步導(dǎo)出統(tǒng)計信息時，可認為源端的導(dǎo)出差不多結(jié)束目標端裝載過程完成的檢查：目標端的裝載是有多個隊列共同完成的，因此我們需要監(jiān)測幾個隊列下都差不多完成了。檢查一：檢查目標端的log.s*日志中

49、差不多沒有新的任務(wù)在執(zhí)行。檢查二：檢查目標端的rmp/sync0,sync1,sync2隊列中差不多沒有任何xf1文件。$ cd rmp$ls sync*sync0:cfg.loadernosync1:cfg.loadernosync2:cfg.loaderno當目標端裝載完成全同步的數(shù)據(jù)后，將自動進入到實時同步時期，我們能夠通過查看目標端的log.r0觀看系統(tǒng)是否差不多自動進入到了實時同步時期：$ cd log$tail f log.r0Loader: 1.xf1 2011-12-16:03:31:41: 6-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 201

50、1-12-16:03:31:41: 0-I 0-D 6-U 0-DDL(2086 ms)Loader:3.xf1 2011-12-16:03:31:41: 0-I 6-D 0-U 0-DDL(2086 ms)Loader: 4.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 5.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 6.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)realsync目錄

51、和文件結(jié)構(gòu)講明源端安裝目錄講明安裝完成的目錄結(jié)構(gòu)如下：rac2 /sharedisk/realsync$ ls -lrt total 128drwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 indexdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 softdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 expdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:12 scriptsdrwxr-xr-x 3 dsg oinstall 96 Dec 15 21:21

52、 logdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:24 vcfsddrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:52 configdrwxr-xr-x 4 dsg oinstall 8192 Dec 19 12:00 bindrwxr-xr-x 3 dsg oinstall 32768 Dec 20 15:16 rmpdrwxr-xr-x 3 dsg oinstall 8192 Dec 20 15:16 vcfsarac2 /sharedisk/realsync$Scripts目錄：所有腳本所在目錄$VCFS_HOME：該

53、環(huán)境變量一般設(shè)為vcfsa，用以保存系統(tǒng)運行狀態(tài)，如log讀取的位置，uncommitted交易、統(tǒng)計信息$XLDR_HOME：該環(huán)境變量一般設(shè)為rmp，用以保存數(shù)據(jù)傳輸之前的緩存隊列和傳輸操縱信息bin目錄：執(zhí)行文件所在目錄Vcfsd目錄：系統(tǒng)配置信息，由dbpsd進程使用config目錄重點文件講明mapping.ini：set dm命令中用到的映射關(guān)系文件。ddl.ini：對DDL操作過濾進行設(shè)置的配置文件。scripts目錄中的文件講明start_vagentd：啟動realsync進程的腳本。stop_vagentd：停止realsync進程的腳本。clean_vagentd：刪除r

54、ealsync工作過程中的所有的中間狀態(tài)。注：clean_vagentd腳本只有在必須作重新全同步的時候才能使用，否則將造成專門大的破壞性。check：檢查realsync所有啟動的進程命令。bin目錄重點文件講明bin目錄為所有執(zhí)行文件和vm文件的存放地點vagentd：日志分析程序。sender：數(shù)據(jù)發(fā)送程序。dbpsd：服務(wù)程序。vman：字符菜單治理工具。vm：全同步執(zhí)行批處理文件。其他命令均為DSG公司的工具程序，是為了檢查問題時所使用的工具，用戶可不必掌握。log目錄重點文件講明log目錄存放了所有的進程日志文件：log.vagentd：日志分析過程的log文件。log.sende

55、r：發(fā)送過程的log文件。log.dbpsd：dbpsd進程的log文件。archivelog目錄：該目錄下為歷史的log.vagentd和log.sender文件，這些文件可隨時刪除。rmp目錄重點文件講明源端rmp目錄存放了所有發(fā)送的隊列信息*.xf1文件：為sender發(fā)送的隊列文件2.cfg.senderno：sender隊列的操縱文件目標端安裝目錄講明DSG /dsg/realsync$ ls -lrt total 32568drwxr-xr-x 2 dsg dba 96 Dec 15 21:07 indexdrwxr-xr-x 2 dsg dba 96 Dec 15 21:07 i

56、mpdrwxr-xr-x 2 dsg dba 96 Dec 15 21:07 softdrwxr-xr-x 3 dsg dba 96 Dec 15 23:14 vcfsadrwxr-xr-x 2 dsg dba 1024 Dec 16 13:46 scriptsdrwxr-xr-x 3 dsg dba 1024 Dec 16 16:44 logdrwxr-xr-x 2 dsg dba 96 Dec 19 09:35 configdrwxr-xr-x 4 dsg dba 1024 Dec 19 12:01 bindrwxr-xr-x 9 dsg dba 1024 Dec 19 18:15 rmp

57、dsgbasua1:/dsg/etlplus$Scripts目錄：所有腳本所在目錄$VCFS_HOME：該環(huán)境變量一般設(shè)為vcfsa，用以保存系統(tǒng)運行狀態(tài)， $XLDR_HOME：數(shù)據(jù)裝載之前的緩存隊列和裝載操縱信息Rowid mapping文件源數(shù)據(jù)庫的數(shù)據(jù)字典文件bin目錄：執(zhí)行文件所在目錄scripts目錄重點文件講明start_vagentd：啟動realsync進程的腳本。stop_vagentd：停止realsync進程的腳本。clean_vagentd：刪除realsync工作過程中的所有的中間狀態(tài)。注：clean_vagentd腳本只有在必須作重新全同步的時候才能使用，否則將造

58、成專門大的破壞性。check：檢查realsync所有啟動的進程命令。bin目錄重點文件講明bin目錄為所有執(zhí)行文件和vm文件的存放地點vagentd：日志分析程序。loader：裝載進程。其他命令均為DSG公司的工具程序，是為了檢查問題時所使用的工具，用戶可不必掌握。log目錄重點文件講明log目錄存放了所有的進程日志文件：log.vagentd：數(shù)據(jù)接收過程的log文件。log.s0、log.s1、log.s2、log.s3：全同步過程中的裝載日志文件。log.r0：增量復(fù)制過程中的裝載日志文件。archivelog目錄：該目錄下為歷史的log.r0，這些文件可隨時刪除。rmp目錄重點文件

59、講明目標端的rmp目錄存放了特不重要的隊列信息和rowid mapping信息。DSG /dsg/realsync/rmp$ ls -lrt total 428830drwxr-xr-x 2 dsg dba 96 Dec 15 23:14 verifydrwxr-xr-x 2 dsg dba 96 Dec 15 23:14 rowiddrwxr-x 2 dsg dba 115712 Dec 16 01:49 sync1drwxr-x 2 dsg dba 131072 Dec 16 04:22 sync2-rw-r-r- 1 dsg dba 711558 Dec 16 13:38 err_dum

60、p-rw-r-r- 1 dsg dba 2 Dec 16 13:38 idx.sync-rw-r-r- 1 dsg dba 1386 Dec 16 13:41 cfg.objs-rw-r-r- 1 dsg dba 1386 Dec 16 13:41 cfg.objs.old-rw-r-r- 1 dsg dba 6 Dec 16 16:44 cfg.syncdrwxrwxrwx 8 dsg dba 1024 Dec 16 16:44 imp_crmdb11drwxr-x 2 dsg dba 126976 Dec 16 16:44 sync0-rw-r-r- 1 dsg dba 2 Dec 16