Goldengate配置手冊全文

目錄

1綜述3

1.1目的3

1.2原那么4

20GG設(shè)計原那么4

2.10GG的版本及下載4

2.2GoldenGate運(yùn)行用戶4

2.3為GoldenGate運(yùn)行用戶配置環(huán)境變量4

2.4網(wǎng)絡(luò)設(shè)置4

2.5GoldenGate安裝位置5

2.6OGGDDL復(fù)制5

2.7OGG數(shù)據(jù)復(fù)制鏈路構(gòu)造5

2.8OGG進(jìn)程命名規(guī)那么6

281總述6

2.8.2主Extract進(jìn)程命名規(guī)刃陷6

2.8.3本地隊(duì)列命名規(guī)那么7

2.8.4DataPumpExtract進(jìn)程命名規(guī)那么7

2.8.5本地隊(duì)列命名規(guī)那么8

2.8.6Replicat進(jìn)程命名規(guī)那么8

2.9OGG進(jìn)程數(shù)量設(shè)計9

2.9.1主Extract進(jìn)程設(shè)計9

2.9.2DataPump進(jìn)程設(shè)計10

2.9.3Replicat進(jìn)程削10

3GG實(shí)施步驟12

3.1準(zhǔn)備12

3.2創(chuàng)立運(yùn)行GoldenGate的用戶12

3.3安裝GoldenGatel3

3.4添加變量13

3.5增加附加日志14

3.6OGG源端配置14

361MGR進(jìn)程參數(shù)模板14

3.6.2主Extract進(jìn)程參數(shù)模板15

3.6.3DataPump傳輸進(jìn)程參數(shù)模板17

3.7OGG目標(biāo)端配置19

3.7.1安裝GoldenGatel9

3.7.2添加變量19

3.7.3MGR進(jìn)程配置19

3.7.4數(shù)據(jù)入庫Replicat進(jìn)程參數(shù)模板20

3.8啟動GoldenGate進(jìn)程22

381啟動源端管理進(jìn)程22

3.8.2啟動目標(biāo)端管理進(jìn)程22

3.8.3啟動源端抽取進(jìn)程22

3.8.4啟動源端傳輸進(jìn)程23

3.8.5啟動目標(biāo)端入庫進(jìn)程23

4GG初始化說明23

4.1數(shù)據(jù)庫說明23

4.2數(shù)據(jù)庫信息23

4.3Goldengate同步內(nèi)容23

4.3.1個稅內(nèi)部Goldengate進(jìn)程說明23

4.3.2與外部其他系統(tǒng)Goldengate進(jìn)程說明23

4.4附件錯誤!未定義書簽。

1綜述

1.1目的

本文檔作為實(shí)施人員在使用OracleGoldenGate數(shù)據(jù)復(fù)制時作為詳細(xì)設(shè)計的指導(dǎo)性標(biāo)

準(zhǔn)。

1.2原那么

在實(shí)施整個工程過程中實(shí)現(xiàn)各進(jìn)程命令的標(biāo)準(zhǔn)化，并提供規(guī)劃期s復(fù)制鏈路的設(shè)計原那

么。

2OGG設(shè)計原那么

2.1OGG的版本及下載

AIX系統(tǒng)下目前安裝的是ggs_AIX_ppc_orallg_64bit.tar。

Linux64位系統(tǒng)目前安裝的是fbo_ggs_Linux_x64_orallg_64bit.tar。

版本都為1121.0.3。

2.2GoldenGate運(yùn)行用戶

國網(wǎng)直接使用oracle運(yùn)行用戶運(yùn)行OGG,完全遵循Oracle已有用戶屬組和權(quán)限。

2.3為GoldenGate運(yùn)行用戶配置環(huán)境變量

確保為oracle和OGG運(yùn)行用戶配置動態(tài)庫路徑。確保Oracle數(shù)據(jù)庫的運(yùn)行庫

(<ORACLE_HOME>/lib)添加到操作系統(tǒng)的動態(tài)庫環(huán)境變量中：LD_LIBRARY_PATH

(Solaris,Linux),LIBPATH(AIX),SHLIB.PATH(HPUX)。

2.4網(wǎng)絡(luò)設(shè)置

OGG只需要復(fù)制兩端的IP地址之間能夠建立TCP連接。

防火墻添加策略參考?防火墻策略申請表？〔目前版本要填寫兩份，保證策略是雙向的〕

即可。

2.5GoldenGate安裝位置

由于是測試環(huán)境，當(dāng)前并沒有產(chǎn)生歸檔，檢查當(dāng)前OGG空間充足，用于OGG本身的

安裝以及緩存數(shù)據(jù)隊(duì)列，可以參照以下原那么配置OGG安裝位置:

?一個數(shù)據(jù)庫上有多個Oracle實(shí)例同樣安裝一套GoldenGate;

?OGG安裝位置統(tǒng)一為/Golgengate目錄

2.6OGGDDL復(fù)制

日常復(fù)制中，麻B么上不建議翻開DDL復(fù)制。因?yàn)椋?/p>

1DDL的捕捉是通過源端建立Trigger來實(shí)現(xiàn)的，會對源數(shù)據(jù)庫產(chǎn)生性能影響，尤其是

對于業(yè)務(wù)量大的業(yè)務(wù)系統(tǒng)；

2由于兩端的數(shù)據(jù)庫存儲構(gòu)造和對象等不可能完全一致，源端能夠執(zhí)行的DDL語句到

了目標(biāo)端不一定能夠執(zhí)行成功，為此翻開DDL復(fù)制需要較大的維護(hù)工作量;

3源端數(shù)據(jù)庫發(fā)生DDL變化時,可以通過在目標(biāo)端同樣打補(bǔ)丁的方式予以解決，而不

通過DDL復(fù)制。

如確因業(yè)務(wù)需求需要考慮翻開DDL復(fù)制，可以采取在業(yè)務(wù)較閑階段翻開DDL復(fù)制的

Trigger觀察其對業(yè)務(wù)系統(tǒng)影響,如沒有性能上的較大降低，可以考慮保存DDL復(fù)制。需

實(shí)時對于業(yè)務(wù)系統(tǒng)進(jìn)展監(jiān)控，觀察其在業(yè)務(wù)頂峰期是否正常。DDL復(fù)制建議只復(fù)制最小的

集合，如table、index、createuser等。

2.7OGG數(shù)據(jù)復(fù)制鏈路構(gòu)造

OracleGoldenGate數(shù)據(jù)復(fù)制的鏈路構(gòu)造如以下圖所示:

1）源端首先配置一個主Extract進(jìn)程，負(fù)責(zé)從數(shù)據(jù)庫日志中解析數(shù)據(jù),然后將數(shù)據(jù)寫

入到本地隊(duì)列；

2）源端再配置一個DataPumpExtract,用于將本地隊(duì)列經(jīng)日網(wǎng)絡(luò)傳輸?shù)侥繕?biāo)端的

遠(yuǎn)程隊(duì)列；

3）目的端配置replicat進(jìn)程，負(fù)責(zé)將傳輸?shù)侥繕?biāo)的隊(duì)列文件寫入數(shù)據(jù)庫。

2.8OGG進(jìn)程命名規(guī)那么

2.8.1總述

■OGG的進(jìn)程命名遵循規(guī)那么

1）長度不超過8;

2）只建議包含字母和下劃線，不建議使用數(shù)字和其它特殊字符。

■OGG的隊(duì)列命名遵循規(guī)那么

隊(duì)列名稱包含絕對路徑或相對路徑，以及作為標(biāo)識的兩個字母，如./dirdat/rt和

/Goldengate/dirdat/rt均可,建議使用相對路徑。

2.8.2主Extract進(jìn)程命名規(guī)那么

主Extract的命令建議格式如下：

e+源端數(shù)據(jù)屬性或?qū)?yīng)數(shù)據(jù)庫縮寫十目標(biāo)數(shù)據(jù)庫+[extract序列號]

其中

1）前面的一個字母e表示本進(jìn)程為主Extract,負(fù)責(zé)抽取數(shù)據(jù)庫日志；

2）下劃線左邊是源端復(fù)制的數(shù)據(jù)屬性或者數(shù)據(jù)對應(yīng)的源端數(shù)據(jù)庫縮寫，下劃線右

邊對應(yīng)目標(biāo)數(shù)據(jù)庫的縮寫；

3）由于兩個庫之間可能有多個復(fù)制進(jìn)程，在這就添加一個Extract序列號以示區(qū)

別。

舉例：

egs_zj9,ehxJqO,phxJk7

具體進(jìn)程數(shù)量請參考下節(jié)的介紹。

2.83本地隊(duì)列命名規(guī)那么

本地隊(duì)列命名建議格式如下：

<oggpath>/dirdat/xx

或

./dirdat/xx

建議盡量采用相對路徑格式后面的兩位字母一般為本地隊(duì)列定義為g+一個標(biāo)識字母,

標(biāo)識字母可以根據(jù)extract進(jìn)程確定,有助于顯式地將extract進(jìn)程與隊(duì)列聯(lián)系起來。

例如：

./dirdat/ga

2.8.4DataPumpExtract進(jìn)程命名規(guī)那么

DataPumpExtract的命名建議格式如下：

P+源端數(shù)據(jù)屬性或?qū)?yīng)數(shù)據(jù)庫縮寫+目標(biāo)數(shù)據(jù)庫+[extract序列號】

其中

1）dpe表示本進(jìn)程為datapumpextract,以與主extract區(qū)分開。

2）后面幾位命名要求嚴(yán)格與extract對應(yīng)，即extract如果是egs_zj9,那么對應(yīng)

的datapump進(jìn)程命令為pgs_zj9,以便于識別那個dpe與哪個ext進(jìn)程對

應(yīng)。

2.8.5本地隊(duì)列命名規(guī)那么

本地隊(duì)列命名建議格式如下：

<oggpath>/dirdat/xx

或

./dirdat/xx

建議盡量采用相對路徑格式，后面的兩位字母一般遠(yuǎn)程隊(duì)列定義為r+一個標(biāo)識字母，

標(biāo)識字母保持與本地隊(duì)列一致。

例如，

本地隊(duì)歹i」./dirdat/ga,遠(yuǎn)程隊(duì)歹山/dirdat/ra。

2.8.6Replicat進(jìn)程命名規(guī)那么

Replicat的命名建議格式如下：

r+源端數(shù)據(jù)屬性或?qū)?yīng)數(shù)據(jù)庫縮寫,“二+目標(biāo)數(shù)據(jù)庫+［投遞序列號］

其中

1）前面一個字母r表示本進(jìn)程為replicat進(jìn)程，負(fù)責(zé)向數(shù)據(jù)庫投遞數(shù)據(jù);

2）下劃線左邊是源端復(fù)制的數(shù)據(jù)屬性或者數(shù)據(jù)對應(yīng)的源端數(shù)據(jù)庫縮寫，下劃線右

邊對應(yīng)目標(biāo)數(shù)據(jù)庫的翁寫；

3）如果一個隊(duì)列數(shù)據(jù)較多，需要拆分為多個replicat,那么可以在后面加上1-2

位阿拉伯?dāng)?shù)字的序列號以示區(qū)別。

以下為一個復(fù)制鏈路的命名例如，其中有一個extract和一個datapump和三個

replicat:

Extract:

ezsy_gsl

本地隊(duì)列：

./dirdat/zg

DataPumpExtract:

pzsj,gsl

遠(yuǎn)程隊(duì)列：

./dirdat/rg

Replicat:

rzsj_gsl

2.9OGG進(jìn)程數(shù)量設(shè)計

2.9.1主Extract進(jìn)程設(shè)計

OracleGoldenGate的Extract進(jìn)程處理能力根據(jù)主機(jī)、操作系統(tǒng)、內(nèi)存、磁盤10等

因素會有所不同，但其總體處理能力較強(qiáng)，請參照以下原那么設(shè)定其數(shù)量：

1）對于每個數(shù)據(jù)庫實(shí)例至少需要一個單獨(dú)的extract;

2）各進(jìn)程之間應(yīng)當(dāng)分別負(fù)責(zé)不同的數(shù)據(jù)庫實(shí)例、schema.業(yè)務(wù)表集合，并且各進(jìn)程

之間盡量實(shí)現(xiàn)負(fù)載均衡。

2.9.2DataPump進(jìn)程設(shè)計

僅一條：

1)DataPump與主Extract必須----對應(yīng)。

2.93Replicat進(jìn)程設(shè)計

Replicat進(jìn)程設(shè)計原那么如下：

1)每個遠(yuǎn)程隊(duì)列至少有一個replicat負(fù)責(zé)；

2)每個replicat進(jìn)程能夠處理的隊(duì)列大小附艮據(jù)系統(tǒng)配置、數(shù)據(jù)庫性能、數(shù)據(jù)構(gòu)造如

表是否有主鍵和索引等而定，一般需要經(jīng)過一段時間實(shí)際運(yùn)行方可獲得可靠數(shù)據(jù)。

相對extract而言，replicat的處理能力要差很多，經(jīng)常需要將一個trail拆分為多

個replicat并行處理。

3)Replicat如需拆分,按照schema,業(yè)務(wù)所涉及表范圍、表名稱前綴等方法進(jìn)展依

次拆分,經(jīng)常需要屢次拆分方能到達(dá)最正確效果?？梢圆榭丛炊薳xtract的報告或

者使用stats命令找出變化較頻繁的表，為一個或幾個這些大數(shù)量級表單獨(dú)配置投

遞進(jìn)程。

以下為Ttrail拆分為多個replicat的例如：

Extract例如:

EXTRACTextgb

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

EXTTRAIL./dirdat/gb

Dynamicresolution

■■這里共有兩個schema

tableUCR_UIF1.*;

tableUCR_UEC*;

DataPump與Extract類似，略。

Replicat例如：

replicatrepgbp

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

Dynamicresolution

--本replicat負(fù)責(zé)一個schema

mapUCR_UIF1.*targetUCR_UIF1.*;

replicatrepgbt

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

Dynamicresolution

--本replicat負(fù)責(zé)另一個schema中的一張大表

MapUCR_UECTF_O_SELFSERVICE_STATEttarget

UCR_UEC.TF_O_SELFSERVICE_STATE;

rep/icatrepgbu

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

dynamicresolution

一本replicat負(fù)責(zé)另一個schema中除去上述大表勺卜的所有表

MAPEXCLUDEUCR_UEC.TF_O_SELFSERVICE_STAT

mapUCR_UEC.*targetUCR_UEC.*;

3GG實(shí)施步驟

3.1準(zhǔn)備

a.為GoldenGate軟件戈吩目錄為/Goldengate,存儲空間充足；

b.數(shù)據(jù)庫必須處于歸檔模式，建議保存10天的歸檔日志；

c.不同廠商之間數(shù)據(jù)同步由雙方工程師共同確定所需要復(fù)制的表以及劃分復(fù)制通道。

d.為GoldenGate防火墻開端口7809,7840-7850〔在源和目標(biāo)端〕

3.2創(chuàng)立運(yùn)行GoldenGate的用戶

1）在源端采用ORACLE用戶運(yùn)行GoldenGate

2）創(chuàng)立GG安裝位置：/Goldengate

3）創(chuàng)立GoldenGate數(shù)據(jù)庫用戶ggs

$sqlplus/assysdba

SQL>createuserggsidentifiedbyXXXX;

SQL>grantconnect,resource,dbatoggs;

SQL>exit;

4）檢查源端數(shù)據(jù)庫是否為歸檔模式，假設(shè)為非歸檔模式，將其改為歸檔模式

SQL>archiveloglist;

5）檢直源端數(shù)據(jù)庫附加日志是否翻開

SQL>selectsupplemental_log_data_minfromv$database;

a）將數(shù)據(jù)庫附加日志翻開

SQL>alterdatabaseaddsupplementallogdata;

b）切換口志以使附加口志生效

—SQL）Altersystemswitchlogfile;

Select*fromv$transaction

3.3安裝GoldenGate

通過sftp上傳GoldenGate軟件包道安裝目錄，并解壓縮

tar-xvf*.tar

在ggsci環(huán)境下創(chuàng)立GoldenGate子目錄，createsubdirs

Shell>ggsci

GGSCI>CREATESUBDIRS

GGSCI>EXIT

3.4添加變量

vi.bash_profile

exportGG_HOME=/Goldengate

exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:\$GG_HOME:\$LD_LIBRARY_PATH

3.5增加附加日志

在GGSQ命令行中登陸數(shù)據(jù)庫，為需要復(fù)制的數(shù)據(jù)表添加trandata

a）執(zhí)行完畢通過以下sql檢查，查看那些表已經(jīng)添加了附加日志：

Infotradataschema.table

b）如果發(fā)現(xiàn)尚有局部表未添加附加日志,需有手工添加，例：

Ggsci>dbloginuseridggsfpasswordXXXX

如果該表有主鍵：

Ggsci>addtrandataschema.table

Ggsci>addtrandataschema.table

—Ggsci>addtrandataschema.*

3.6OGG源端配置

現(xiàn)在以一條完整的鏈路為例，詳細(xì)演示各進(jìn)程的配置方法。

3.6.1MGR進(jìn)程參數(shù)模板

GGSCI>editparammgr

--Manager使用的端口

port7809

DYNAMICPORTLIST7840-7850

?■自動啟動所有的Extract進(jìn)程

-AUTOSTARTEXTRACT*

一自動重啟所有的Extract,每隔2分鐘重試,重試次數(shù)5次

AUTORESTARTEXTRACT*,RETIES5,WAITMINUTES2

一每隔1小時檢查延遲報告

-LAGREPORTHOURS1

一每隔30分鐘檢查延遲，如果超過延遲閥值，將寫入錯誤日志

-LAGINFOMINUTES30

--延遲閥值45分鐘

-LAGCRITICALMINUTES45

3.6.2主Extract進(jìn)程參數(shù)模板

當(dāng)前源端IP：100.12.XXX.XXXSID:bjscgshxl

為egs_^9進(jìn)程配置參數(shù)：

GGSCI>editparamegs_zj9

—Extract進(jìn)程名

EXTRACTegs_zj9

一設(shè)置環(huán)境變量

SETENV(ORACLE_SID="bjscgshxl")

SETENV(NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

■■GoldenGate用戶名、密碼

useridggs,passwordXXXX

--捕獲Truncate操作

GETTRUNCATES

REPORTAT01:59

REPORTROLLOVERAT02:00

TRANLOGOPTIONSCONVERTUCS2CLOBS

EXTTRAIL./dirdat/xt

NUMFILES3000

EOFDELAYCSECS30

GETTRUNCATES

tranlogoptionsasmusersys@asm,asmpasswordXXXX

--動態(tài)解析表名

DYNAMICRESOLUTION

DBOPTIONSALLOWUNUSEDCOLUMN

FETCHOPTIONSNOUSESNAPSHOT

FETCHOPTIONSSUPPRESSDUPLICATES

FETCHOPTIONSFETCHPKUPDATECOLS

WARNLONGTRANS3H,CHECKINTERVAL3M

TABLEGS_HX.CS_FYKCBZ

TABLEGS_HX.DM_DJ_BGDJXM;

>添加egs_zj9進(jìn)程，從數(shù)據(jù)庫日志中抓取有效數(shù)據(jù)

GGSCI(HYGSDBDQ03)11>addextractegs_zj9,tranlog,threads2,begin

now

GGSCI(HYGSDBDQ03)14>addexttrail./dirdat/xt,extractegs_zj9,megabytes100

A檢杳配置情況：

GGSCI>INFOEXTTRAIL*

GGSCI>STARTEXTRACTegs_zj9

GGSCI>V正WREPORTegs_zj9

3.63DataPump傳輸進(jìn)程參數(shù)模板

對應(yīng)的抽取進(jìn)程為egs_zj9

為對相應(yīng)的抽取進(jìn)程配置相應(yīng)的傳輸進(jìn)程：

GGSCI>editparampgs_zj9

—DataPump進(jìn)程名稱

EXTRACTpgs_zj9

?一設(shè)置環(huán)境變量

SETENV(ORACLE_SID="bjscgshxl")

SETENV(NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

REPORTAT01:59

REPORTROLLOVERAT02:00

FLUSHCSECS30

NUMFILES3000

EOFDELAYCSECS30

--目標(biāo)機(jī)器IP和端口

RMTHOST100.12.98.XX,MGRPORT7809,TCPBUFSIZE100000,

TCPFLUSHBYTES300000

-隊(duì)-列文件在目標(biāo)端的存放位置

rmttrail./dirdat/zf

-采-用pass-through模式處理表

PASSTHRU

-動-態(tài)解析表名

DYNAMICRESOLUTION

一要復(fù)制的表清單

TABLEGS_HX.*;

>添加pgs_zj9進(jìn)程,將本地隊(duì)列的數(shù)據(jù)抽取出來

GGSCI(HYGSDBDQ03)33>addextractpgs_zj9,exttrailsource./dirdat/xt

>添加遠(yuǎn)端隊(duì)列，將pgs_zj9進(jìn)程捕捉到的數(shù)據(jù)將寫入該隊(duì)列

GGSCI(HYGSDBDQ03)34>addrmttrail,/dirdat/rt,extractpgs_zj9,

megabytes100

>檢查配置情況

GGSCI>STARTEXTRACTpgs_zj9

GGSCI>INFOEXTRACTpgs_zj9

3.7OGG目標(biāo)端配置

3.7.1安裝GoldenGate

通過sftp上傳GoldenGate軟件包道安裝目錄，并解壓縮

tar-xvf*.tar

在ggsci環(huán)境下創(chuàng)立GoldenGate子目錄,createsubdirs

Shell>ggsci

GGSCI>CREATESUBDIRS

GGSCI>EXIT

3.7.2添加變量

在oracle用戶的.bash_profile文件中添加：

vi.bash_profile

exportGG_HOME=/Goldengate

exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:\$GG_HOME:\$LD_LIBRARY_PATH

3.73MGR進(jìn)程配置

GGSCI>editparammgr

■?Manager使用的端口

port7809

DYNAMICPORTLIST7840-7850

一自動啟動所有的Extract進(jìn)程

-AUTOSTARTEXTRACT*

--自動重啟所有的Extract,每隔2分鐘重試，重試次數(shù)5次

AUTORESTARTEXTRACT*,RETRIES5,WAITMINUTES2

-每隔1小時檢查延遲報告

LAGREPORTHOURS1

一每隔3分鐘檢查延遲，如果超過延遲閥值，將寫入錯誤日志

LAGINFOMINUTES3

■?延遲閥值5分鐘

LAGCRITICALMINUTES5

3.7.4數(shù)據(jù)入庫Replicat進(jìn)程參數(shù)模板

當(dāng)前目標(biāo)端IP:100.12.XX.XX

SID:bjsczsjl

GGSCI>editparamsrgs_zj9

--Replicat進(jìn)程名稱

replicatrgs_zj9

SETENV(ORACLE_SID="bjsczsjl")

SETENV(NLS_LANG=AMERICAN_AME