Goldengate配置手冊

1、目錄1綜述31.1目的31.2原則32OGG設(shè)計原則42.1OGG的版本及下載42.2GoldenGate運行用戶42.3為GoldenGate運行用戶配置環(huán)境變量42.4網(wǎng)絡(luò)設(shè)置42.5GoldenGate安裝位置42.6OGG DDL復(fù)制52.7OGG數(shù)據(jù)復(fù)制鏈路結(jié)構(gòu)52.8OGG進程命名規(guī)則62.8.1總述62.8.2主Extract進程命名規(guī)則62.8.3本地隊列命名規(guī)則62.8.4Data Pump Extract進程命名規(guī)則72.8.5本地隊列命名規(guī)則72.8.6Replicat進程命名規(guī)則72.9OGG進程數(shù)量設(shè)計82.9.1主Extract進程設(shè)計82.9.2Data Pump

2、進程設(shè)計82.9.3Replicat進程設(shè)計93GG實施步驟103.1準(zhǔn)備103.2創(chuàng)建運行GoldenGate的用戶113.3安裝GoldenGate113.4添加變量123.5增加附加日志123.6OGG源端配置123.6.1MGR進程參數(shù)模板123.6.2主Extract進程參數(shù)模板133.6.3Data Pump傳輸進程參數(shù)模板163.7OGG目標(biāo)端配置173.7.1安裝GoldenGate173.7.2添加變量183.7.3MGR進程配置183.7.4數(shù)據(jù)入庫Replicat進程參數(shù)模板183.8啟動GoldenGate進程203.8.1啟動源端管理進程203.8.2啟動目標(biāo)端管理進

3、程203.8.3啟動源端抽取進程203.8.4啟動源端傳輸進程203.8.5啟動目標(biāo)端入庫進程214GG初始化說明214.1數(shù)據(jù)庫說明214.2數(shù)據(jù)庫信息214.3Goldengate同步內(nèi)容224.3.1 個稅內(nèi)部Goldengate進程說明224.3.2 與外部其他系統(tǒng)Goldengate進程說明244.4附件251 綜述1.1 目的本文檔作為實施人員在使用Oracle GoldenGate數(shù)據(jù)復(fù)制時作為詳細設(shè)計的指導(dǎo)性規(guī)范。1.2 原則在實施整個項目過程中實現(xiàn)各進程命令的規(guī)范化，并提供規(guī)劃數(shù)據(jù)復(fù)制鏈路的設(shè)計原則。2 OGG設(shè)計原則2.1 OGG的版本及下載AIX系統(tǒng)下目前安裝的是ggs_

4、AIX_ppc_ora11g_64bit.tar 。Linux64位系統(tǒng)目前安裝的是fbo_ggs_Linux_x64_ora11g_64bit.tar。版本都為.3。2.2 GoldenGate運行用戶國網(wǎng)直接使用oracle運行用戶運行OGG，完全遵循Oracle已有用戶屬組和權(quán)限。2.3 為GoldenGate運行用戶配置環(huán)境變量確保為oracle和OGG運行用戶配置動態(tài)庫路徑。確保Oracle數(shù)據(jù)庫的運行庫（<ORACLE_HOME>/lib）添加到操作系統(tǒng)的動態(tài)庫環(huán)境變量中：LD_LIBRARY_PATH (Solaris, Linux), LIBPATH

5、 (AIX), SHLIB_PATH (HPUX)。2.4 網(wǎng)絡(luò)設(shè)置OGG只需要復(fù)制兩端的IP地址之間能夠建立TCP連接。防火墻添加策略參考防火墻策略申請表（目前版本要填寫兩份，保證策略是雙向的）即可。2.5 GoldenGate安裝位置由于是測試環(huán)境，當(dāng)前并沒有產(chǎn)生歸檔，檢查當(dāng)前OGG空間充足，用于OGG本身的安裝以及緩存數(shù)據(jù)隊列，可以參照以下原則配置OGG安裝位置：· 一個數(shù)據(jù)庫上有多個Oracle實例同樣安裝一套GoldenGate；· OGG安裝位置統(tǒng)一為/Golgengate目錄2.6 OGG DDL復(fù)制日常復(fù)制中，原則上不建議打開DDL復(fù)制。因為：1 DDL的捕

6、捉是通過源端建立Trigger來實現(xiàn)的，會對源數(shù)據(jù)庫產(chǎn)生性能影響，尤其是對于業(yè)務(wù)量大的業(yè)務(wù)系統(tǒng)；2 由于兩端的數(shù)據(jù)庫存儲結(jié)構(gòu)和對象等不可能完全一致，源端能夠執(zhí)行的DDL語句到了目標(biāo)端不一定能夠執(zhí)行成功，為此打開DDL復(fù)制需要較大的維護工作量；3 源端數(shù)據(jù)庫發(fā)生DDL變化時，可以通過在目標(biāo)端同樣打補丁的方式予以解決，而不通過DDL復(fù)制。如確因業(yè)務(wù)需求需要考慮打開DDL復(fù)制，可以采取在業(yè)務(wù)較閑階段打開DDL復(fù)制的Trigger觀察其對業(yè)務(wù)系統(tǒng)影響，如沒有性能上的較大降低，可以考慮保留DDL復(fù)制。需實時對于業(yè)務(wù)系統(tǒng)進行監(jiān)控，觀察其在業(yè)務(wù)高峰期是否正常。DDL復(fù)制建議只復(fù)制最小的集合，如table、i

7、ndex、create user等。2.7 OGG數(shù)據(jù)復(fù)制鏈路結(jié)構(gòu)Oracle GoldenGate數(shù)據(jù)復(fù)制的鏈路結(jié)構(gòu)如下圖所示：1) 源端首先配置一個主Extract進程，負責(zé)從數(shù)據(jù)庫日志中解析數(shù)據(jù)，然后將數(shù)據(jù)寫入到本地隊列；2) 源端再配置一個Data Pump Extract，用于將本地隊列經(jīng)由網(wǎng)絡(luò)傳輸?shù)侥繕?biāo)端的遠程隊列；3) 目的端配置replicat進程，負責(zé)將傳輸?shù)侥繕?biāo)的隊列文件寫入數(shù)據(jù)庫。2.8 OGG進程命名規(guī)則2.8.1 總述n OGG的進程命名遵循規(guī)則1) 長度不超過8；2) 只建議包含字母和下劃線，不建議使用數(shù)字和其它特殊字符。n OGG的隊列命名遵循規(guī)則隊列名稱包含絕對

8、路徑或相對路徑，以及作為標(biāo)識的兩個字母，如./dirdat/rt和/Goldengate/dirdat/rt均可，建議使用相對路徑。2.8.2 主Extract進程命名規(guī)則主Extract的命令建議格式如下：e +源端數(shù)據(jù)屬性或?qū)?yīng)數(shù)據(jù)庫縮寫 +“ _”+目標(biāo)數(shù)據(jù)庫+ extract序列號 其中1) 前面的一個字母e表示本進程為主Extract，負責(zé)抽取數(shù)據(jù)庫日志；2) 下劃線左邊是源端復(fù)制的數(shù)據(jù)屬性或者數(shù)據(jù)對應(yīng)的源端數(shù)據(jù)庫縮寫，下劃線右邊對應(yīng)目標(biāo)數(shù)據(jù)庫的縮寫；3) 由于兩個庫之間可能有多個復(fù)制進程，在這就添加一個Extract序列號以示區(qū)別。舉例：egs_zj9, ehx_jq0,phx_j

9、k7具體進程數(shù)量請參考下節(jié)的介紹。2.8.3 本地隊列命名規(guī)則本地隊列命名建議格式如下：<oggpath>/dirdat/xx或./dirdat/xx建議盡量采用相對路徑格式，后面的兩位字母一般為本地隊列定義為g+一個標(biāo)識字母，標(biāo)識字母可以根據(jù)extract進程確定，有助于顯式地將extract進程與隊列聯(lián)系起來。例如:./dirdat/ga2.8.4 Data Pump Extract進程命名規(guī)則Data Pump Extract的命名建議格式如下：p+源端數(shù)據(jù)屬性或?qū)?yīng)數(shù)據(jù)庫縮寫 +“ _”+目標(biāo)數(shù)據(jù)庫+ extract序列號 其中1) dpe表示本進程為data pump e

10、xtract，以與主extract區(qū)分開。2) 后面幾位命名要求嚴(yán)格與extract對應(yīng)，即extract如果是egs_zj9，則對應(yīng)的data pump進程命令為pgs_zj9，以便于識別那個dpe與哪個ext進程對應(yīng)。2.8.5 本地隊列命名規(guī)則本地隊列命名建議格式如下：<oggpath>/dirdat/xx或./dirdat/xx建議盡量采用相對路徑格式，后面的兩位字母一般遠程隊列定義為r+一個標(biāo)識字母，標(biāo)識字母保持與本地隊列一致。例如，本地隊列./dirdat/ga，遠程隊列./dirdat/ra。2.8.6 Replicat進程命名規(guī)則Replicat的命名建議格式如下：

11、r+源端數(shù)據(jù)屬性或?qū)?yīng)數(shù)據(jù)庫縮寫 +“ _”+目標(biāo)數(shù)據(jù)庫+ 投遞序列號 其中1) 前面一個字母r表示本進程為replicat進程，負責(zé)向數(shù)據(jù)庫投遞數(shù)據(jù)；2) 下劃線左邊是源端復(fù)制的數(shù)據(jù)屬性或者數(shù)據(jù)對應(yīng)的源端數(shù)據(jù)庫縮寫，下劃線右邊對應(yīng)目標(biāo)數(shù)據(jù)庫的縮寫;3) 如果一個隊列數(shù)據(jù)較多，需要拆分為多個replicat，則可以在后面加上1-2位阿拉伯?dāng)?shù)字的序列號以示區(qū)別。以下為一個復(fù)制鏈路的命名示例，其中有一個extract和一個data pump和三個replicat：Extract: ezsj_gs1本地隊列：./dirdat/ zgData Pump Extract:pzsj_gs1遠程隊列：./d

12、irdat/ rgReplicat:rzsj_gs12.9 OGG進程數(shù)量設(shè)計2.9.1 主Extract進程設(shè)計Oracle GoldenGate的Extract進程處理能力根據(jù)主機、操作系統(tǒng)、內(nèi)存、磁盤IO等因素會有所不同，但其總體處理能力較強，請參照以下原則設(shè)定其數(shù)量：1) 對于每個數(shù)據(jù)庫實例至少需要一個單獨的extract；2) 各進程之間應(yīng)當(dāng)分別負責(zé)不同的數(shù)據(jù)庫實例、schema、業(yè)務(wù)表集合，并且各進程之間盡量實現(xiàn)負載均衡。2.9.2 Data Pump進程設(shè)計僅一條：1) Data Pump與主Extract必須一一對應(yīng)。2.9.3 Replicat進程設(shè)計Replicat進程設(shè)計

13、原則如下：1) 每個遠程隊列至少有一個replicat負責(zé)；2) 每個replicat進程能夠處理的隊列大小要根據(jù)系統(tǒng)配置、數(shù)據(jù)庫性能、數(shù)據(jù)結(jié)構(gòu)如表是否有主鍵和索引等而定，一般需要經(jīng)過一段時間實際運行方可獲得可靠數(shù)據(jù)。相對extract而言，replicat的處理能力要差很多，經(jīng)常需要將一個trail拆分為多個replicat并行處理。3) Replicat如需拆分，按照schema、業(yè)務(wù)所涉及表范圍、表名稱前綴等方法進行依次拆分，經(jīng)常需要多次拆分方能達到最佳效果?？梢圆榭丛炊薳xtract的報告或者使用stats命令找出變化較頻繁的表，為一個或幾個這些大數(shù)量級表單獨配置投遞進程。以下為一個t

14、rail拆分為多個replicat的示例：Extract示例：EXTRACT extgbsetenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID goldengate, PASSWORD XXXXEXTTRAIL ./dirdat/gbDynamicresolution-這里共有兩個schematable UCR_UIF1.*;table UCR_UEC.*;Data Pump與Extract類似，略。Replicat示例：replicatrepgbpsetenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )

15、USERID goldengate, PASSWORD XXXXDynamicresolution-本replicat負責(zé)一個schemamap UCR_UIF1.*, target UCR_UIF1.*;replicatrepgbtsetenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID goldengate, PASSWORD XXXX.Dynamicresolution-本replicat負責(zé)另一個schema中的一張大表MapUCR_UEC.TF_O_SELFSERVICE_STATE, target UCR_UEC.TF_O_SELF

16、SERVICE_STATE;replicatrepgbusetenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID goldengate, PASSWORD XXXX.dynamicresolution-本replicat負責(zé)另一個schema中除去上述大表外的所有表MAPEXCLUDE UCR_UEC.TF_O_SELFSERVICE_STATmap UCR_UEC.*, target UCR_UEC.*;3 GG實施步驟3.1 準(zhǔn)備a. 為GoldenGate軟件劃分目錄為/Goldengate，存儲空間充足；b. 數(shù)據(jù)庫必須處于歸檔模式，建

17、議保留10天的歸檔日志；c. 不同廠商之間數(shù)據(jù)同步由雙方工程師共同確定所需要復(fù)制的表以及劃分復(fù)制通道。d. 為GoldenGate防火墻開端口7809，7840-7850（在源和目標(biāo)端）3.2 創(chuàng)建運行GoldenGate的用戶1) 在源端采用ORACLE用戶運行GoldenGate2) 創(chuàng)建GG安裝位置：/Goldengate3) 創(chuàng)建GoldenGate數(shù)據(jù)庫用戶ggs$ sqlplus / as sysdbaSQL> create user ggs identified by XXXX;SQL> grant connect, resource, dba to ggs;SQL&

18、gt; exit;4) 檢查源端數(shù)據(jù)庫是否為歸檔模式，若為非歸檔模式，將其改為歸檔模式SQL>archive log list;5) 檢查源端數(shù)據(jù)庫附加日志是否打開SQL>select supplemental_log_data_min from v$database;a) 將數(shù)據(jù)庫附加日志打開SQL>alter database add supplemental log data;b) 切換日志以使附加日志生效-SQLAlter system switch logfile;Select * from v$transaction3.3 安裝GoldenGate通過sftp上傳

19、GoldenGate軟件包道安裝目錄，并解壓縮tar -xvf *.tar在ggsci環(huán)境下創(chuàng)建GoldenGate子目錄，create subdirsShell>ggsciGGSCI> CREATE SUBDIRSGGSCI> EXIT3.4 添加變量vi .bash_profileexport GG_HOME=/Goldengateexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GG_HOME:$LD_LIBRARY_PATH3.5 增加附加日志在GGSCI命令行中登陸數(shù)據(jù)庫，為需要復(fù)制的數(shù)據(jù)表添加trandataa) 執(zhí)行完畢通過下列s

20、ql檢查，查看那些表已經(jīng)添加了附加日志：Info tradataschema.tableb) 如果發(fā)現(xiàn)尚有部分表未添加附加日志，需有手工添加，例：Ggsci>dbloginuseridggs,password XXXX如果該表有主鍵：Ggsci>add trandataschema.tableGgsci>add trandataschema.table- Ggsci>add trandata schema.*3.6 OGG源端配置現(xiàn)在以一條完整的鏈路為例，詳細演示各進程的配置方法。3.6.1 MGR進程參數(shù)模板GGSCI>edit param mgr-Manage

21、r使用的端口port 7809DYNAMICPORTLIST 7840-7850-自動啟動所有的Extract進程-AUTOSTART EXTRACT *-自動重啟所有的Extract，每隔2分鐘重試，重試次數(shù)5次AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 2-每隔1小時檢查延遲報告-LAGREPORTHOURS 1-每隔30分鐘檢查延遲，如果超過延遲閥值，將寫入錯誤日志-LAGINFOMINUTES 30-延遲閥值45分鐘-LAGCRITICALMINUTES 453.6.2 主Extract進程參數(shù)模板當(dāng)前源端IP：100.12.XXX.XXX

22、SID：bjscgshx1為egs_zj9進程配置參數(shù):GGSCI>edit param egs_zj9-Extract進程名EXTRACT egs_zj9-設(shè)置環(huán)境變量SETENV (ORACLE_SID="bjscgshx1")SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)-GoldenGate用戶名、密碼useridggs,password XXXX-捕獲Truncate操作GETTRUNCATESREPORT AT 01:59REPORTROLLOVER AT 02:00TRANLOGOPTIONS CONVERTUCS

23、2CLOBSEXTTRAIL ./dirdat/xtNUMFILES 3000EOFDELAYCSECS 30GETTRUNCATEStranlogoptionsasmusersysasm, asmpassword XXXX-動態(tài)解析表名DYNAMICRESOLUTIONDBOPTIONS ALLOWUNUSEDCOLUMNFETCHOPTIONS NOUSESNAPSHOTFETCHOPTIONS SUPPRESSDUPLICATESFETCHOPTIONS FETCHPKUPDATECOLSWARNLONGTRANS 3H, CHECKINTERVAL 3MTABLE GS_HX.CS_F

24、YKCBZ;TABLE GS_HX.DM_DJ_BGDJXM;Ø 添加egs_zj9進程，從數(shù)據(jù)庫日志中抓取有效數(shù)據(jù)GGSCI (HYGSDBDQ03) 11> add extract egs_zj9, tranlog, threads 2, begin nowGGSCI (HYGSDBDQ03) 14> add exttrail ./dirdat/ xt,extract egs_zj9,megabytes 100Ø 檢查配置情況：GGSCI> INFO EXTTRAIL *GGSCI> START EXTRACT egs_zj9GGSCI>

25、VIEW REPORT egs_zj93.6.3 Data Pump傳輸進程參數(shù)模板對應(yīng)的抽取進程為egs_zj9為對相應(yīng)的抽取進程配置相應(yīng)的傳輸進程：GGSCI>edit param pgs_zj9-Data Pump進程名稱EXTRACT pgs_zj9-設(shè)置環(huán)境變量SETENV (ORACLE_SID="bjscgshx1")SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)REPORT AT 01:59REPORTROLLOVER AT 02:00FLUSHCSECS 30NUMFILES 3000EOFDELAYCSECS

26、 30-目標(biāo)機器IP和端口RMTHOST 100.12.98.XX,MGRPORT 7809, TCPBUFSIZE 100000, TCPFLUSHBYTES 300000-隊列文件在目標(biāo)端的存放位置rmttrail ./dirdat/zf-采用pass-through模式處理表PASSTHRU-動態(tài)解析表名DYNAMICRESOLUTION-要復(fù)制的表清單TABLE GS_HX.*;Ø 添加pgs_zj9進程，將本地隊列的數(shù)據(jù)抽取出來GGSCI (HYGSDBDQ03) 33> add extract pgs_zj9,exttrailsource ./dirdat/xt&#

27、216; 添加遠端隊列，將pgs_zj9進程捕捉到的數(shù)據(jù)將寫入該隊列GGSCI (HYGSDBDQ03) 34> add rmttrail ./dirdat/rt, extract pgs_zj9, megabytes 100Ø 檢查配置情況GGSCI> START EXTRACT pgs_zj9GGSCI> INFO EXTRACT pgs_zj93.7 OGG目標(biāo)端配置3.7.1 安裝GoldenGate通過sftp上傳GoldenGate軟件包道安裝目錄，并解壓縮tar -xvf *.tar在ggsci環(huán)境下創(chuàng)建GoldenGate子目錄，create sub

28、dirsShell>ggsciGGSCI> CREATE SUBDIRSGGSCI> EXIT3.7.2 添加變量在oracle用戶的.bash_profile文件中添加：vi .bash_profileexport GG_HOME=/Goldengateexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GG_HOME:$LD_LIBRARY_PATH3.7.3 MGR進程配置GGSCI>edit parammgr-Manager使用的端口port 7809DYNAMICPORTLIST 7840-7850-自動啟動所有的Extract進

29、程-AUTOSTART EXTRACT *-自動重啟所有的Extract，每隔2分鐘重試，重試次數(shù)5次AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 2-每隔1小時檢查延遲報告LAGREPORTHOURS 1-每隔3分鐘檢查延遲，如果超過延遲閥值，將寫入錯誤日志LAGINFOMINUTES 3-延遲閥值5分鐘LAGCRITICALMINUTES 53.7.4 數(shù)據(jù)入庫Replicat進程參數(shù)模板當(dāng)前目標(biāo)端IP：100.12.XX.XXSID：bjsczsj1 GGSCI>edit params rgs_zj9-Replicat進程名稱replicat rgs_zj9SETENV (ORACLE_SID="bjsczsj1")SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)-GoldenGate用戶名、密碼USERID ggs , PASSWORD XXXXsqlexec "Alter session set commit_write=nowait"REPORT AT 01:59REPORTROLLOVER AT 02:00-除重處理-HANDLECOLLISIONSREPERROR DEFAULT,ABEND-REPERROR DEFAULT