第一部分_GoldenGate及其工作原理（清風(fēng)課堂）

1、GoldenGate軟件及工作原理介紹軟件及工作原理介紹1青苗學(xué)班青苗學(xué)班B公司目標(biāo)公司目標(biāo) GoldenGate為客戶提供為客戶提供交易數(shù)據(jù)管理（交易數(shù)據(jù)管理（Transactional Data Management）解決方案解決方案. 有效幫助客戶優(yōu)化數(shù)據(jù)訪問(wèn)性能，提高交易數(shù)據(jù)的可訪問(wèn)有效幫助客戶優(yōu)化數(shù)據(jù)訪問(wèn)性能，提高交易數(shù)據(jù)的可訪問(wèn)性和可用性，滿足關(guān)鍵業(yè)務(wù)的需要性和可用性，滿足關(guān)鍵業(yè)務(wù)的需要Real-Time AccesstoReal-Time Information2公司簡(jiǎn)介公司簡(jiǎn)介歷史及現(xiàn)狀歷史及現(xiàn)狀 與多家著名廠商與多家著名廠商結(jié)為戰(zhàn)略合作伙伴結(jié)為戰(zhàn)略合作伙伴全球35個(gè)國(guó)家300

2、 多客戶， 2000多個(gè)安裝廣泛的客戶基礎(chǔ)廣泛的客戶基礎(chǔ)始建于 1995在北美、歐洲、亞太、拉丁美洲設(shè)有分公司24x7 全球技術(shù)支持3交易數(shù)據(jù)管理交易數(shù)據(jù)管理Transactional Data ManagementTDM提供異構(gòu)環(huán)境下交易數(shù)據(jù)的實(shí)時(shí)捕捉、變換、投遞。提供異構(gòu)環(huán)境下交易數(shù)據(jù)的實(shí)時(shí)捕捉、變換、投遞。TDM 具有:實(shí)時(shí)性秒一級(jí)延遲異構(gòu)環(huán)境支持在不同平臺(tái)和數(shù)據(jù)庫(kù)環(huán)境下復(fù)制數(shù)據(jù)以交易為單位復(fù)制維護(hù)交易一致性特點(diǎn):高性能能夠以低資源消耗完成每秒數(shù)千交易的復(fù)制可擴(kuò)展開(kāi)放的結(jié)構(gòu)使客戶適應(yīng)各種異構(gòu)數(shù)據(jù)平臺(tái)可靠保證數(shù)據(jù)的連續(xù)可用4GoldenGate支持平臺(tái)支持平臺(tái)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)操作系統(tǒng)操作系統(tǒng)抽

3、取抽取: Oracle DB2 OS/390 DB2 UDB Microsoft SQL Server Sybase Enscribe SQL/MP SQL/MX Teradata投遞投遞: All listed above MySQL, Ingres and any ODBC compatible databases Windows 2000, 2003, XPLinuxSun SolarisHP-UXIBM AIXHP NonStopTRU64IBM z/OS, LUW5GoldenGate 解決方案解決方案高可用性與容災(zāi)高可用性與容災(zāi)活動(dòng)備份無(wú)宕機(jī)運(yùn)行Active-Active 層次化企

4、業(yè)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)集成實(shí)時(shí)數(shù)據(jù)集成數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)數(shù)據(jù)供給實(shí)時(shí)報(bào)表數(shù)據(jù)整合 6實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)訪問(wèn)實(shí)時(shí)訪問(wèn)災(zāi)難恢復(fù)災(zāi)難恢復(fù) 災(zāi)難容忍災(zāi)難容忍 無(wú)間斷運(yùn)行無(wú)間斷運(yùn)行磁帶備份 磁盤(pán)鏡像 塊復(fù)制 熱備份 Active-Active硬件 存儲(chǔ) 數(shù)據(jù)庫(kù) 應(yīng)用物理結(jié)構(gòu)物理結(jié)構(gòu) 數(shù)據(jù)數(shù)據(jù) 交易交易批處理批處理 即時(shí)復(fù)制即時(shí)復(fù)制 近似實(shí)時(shí)復(fù)制近似實(shí)時(shí)復(fù)制 實(shí)時(shí)復(fù)制實(shí)時(shí)復(fù)制腳本 ETL工具加腳本 EAI和ETL工具加腳本 GoldenGate TDMWeeks Days Hours Minutes / SecondsSub-secondsReal Time Threshold高可用性高可用性數(shù)據(jù)整合數(shù)據(jù)整合實(shí)時(shí)性要

5、求實(shí)時(shí)性要求7為什么選擇為什么選擇 GoldenGate TDM?消除批處理窗口消除批處理窗口方便實(shí)現(xiàn)整合流程方便實(shí)現(xiàn)整合流程低資源占用低資源占用實(shí)時(shí)獲取數(shù)據(jù)實(shí)時(shí)獲取數(shù)據(jù)基于日志的復(fù)制基于日志的復(fù)制對(duì)源系統(tǒng)影響小只捕捉數(shù)據(jù)變化只捕捉數(shù)據(jù)變化降低系統(tǒng)負(fù)荷無(wú)需額外編程保證交易完整性和一致性保證交易完整性和一致性可以保證在各種平臺(tái)下數(shù)據(jù)的完整性和一致性8GoldenGate TDM軟件技術(shù)概覽軟件技術(shù)概覽Transactional Data Management (TDM) Software Platform9青苗學(xué)班青苗學(xué)班BTDM 工作原理工作原理: 模塊化模塊化 “積木積木” ”網(wǎng)絡(luò)網(wǎng)絡(luò)源數(shù)據(jù)

6、庫(kù) 目的數(shù)據(jù)庫(kù)雙向復(fù)制隊(duì)列文件隊(duì)列文件: 暫存數(shù)據(jù)變化暫存數(shù)據(jù)變化.傳輸傳輸: 數(shù)據(jù)經(jīng)過(guò)壓縮和加密傳送到目的地?cái)?shù)據(jù)經(jīng)過(guò)壓縮和加密傳送到目的地. Capture: 實(shí)時(shí)讀取交易日志捕捉數(shù)據(jù)變化并可實(shí)現(xiàn)過(guò)濾實(shí)時(shí)讀取交易日志捕捉數(shù)據(jù)變化并可實(shí)現(xiàn)過(guò)濾.Delivery:執(zhí)行所需的數(shù)據(jù)變化，然后將數(shù)據(jù)變化提交到目的庫(kù).CaptureSource TrailTarget TrailSource TrailTarget TrailDeliverDeliverCapture10邏輯邏輯數(shù)據(jù)復(fù)制的幾個(gè)數(shù)據(jù)復(fù)制的幾個(gè)重要重要問(wèn)題問(wèn)題（一）（一）數(shù)據(jù)變化來(lái)源數(shù)據(jù)變化來(lái)源讀取在線日志或歸檔日志在信息不足時(shí)與數(shù)據(jù)庫(kù)交互

7、- 數(shù)據(jù)字典信息- 查詢?nèi)罩静蛔阈畔ⅲ绱髮?duì)象只復(fù)制提交交易如何標(biāo)志記錄的唯一性？如何標(biāo)志記錄的唯一性？Rowid- 邏輯復(fù)制源和目標(biāo)的rowid是不一致的，除非自行為兩端記錄建立額外的rowid map主鍵- 實(shí)際應(yīng)用中主要業(yè)務(wù)表均建立有主鍵- 唯一索引也可作為唯一標(biāo)示- 無(wú)主鍵表可使用全部列作為唯一標(biāo)示11邏輯邏輯數(shù)據(jù)復(fù)制的幾個(gè)數(shù)據(jù)復(fù)制的幾個(gè)問(wèn)題問(wèn)題（二）（二）oracle數(shù)據(jù)庫(kù)附加日志數(shù)據(jù)庫(kù)附加日志缺省狀況下只記錄變化記錄的rowid及對(duì)應(yīng)變化（前影像、后影像）為了能夠在目標(biāo)投遞到對(duì)應(yīng)的記錄，需在日志中記錄主鍵或唯一索引數(shù)據(jù)庫(kù)級(jí)附加日志- SUPPLEMENTAL_LOG_DATA_M

8、IN （最小附加日志）- SUPPLEMENTAL_LOG_DATA_PK/UI- SUPPLEMENTAL_LOG_DATA_FK/ALL（10g）表級(jí)附加日志 GoldenGate建議方式- sqlplus alter table add supplemental log group- Ggsci add trandata ctais2.mytable /自動(dòng)尋找PK/UI- Dba_log_groups和dba_log_group_columns- 每個(gè)log group不能超過(guò)32列，超過(guò)需要人工分組12邏輯邏輯數(shù)據(jù)復(fù)制的幾個(gè)數(shù)據(jù)復(fù)制的幾個(gè)問(wèn)題問(wèn)題（三）（三）目標(biāo)端使用附加日志還原目標(biāo)

9、端使用附加日志還原sql根據(jù)附加日志中的主鍵信息構(gòu)筑where條件如果沒(méi)有附加日志或者沒(méi)有足夠的列則無(wú)法執(zhí)行update和delete操作，而insert不受影響主鍵變化要重新添加表的附加日志無(wú)主鍵表則列的增刪均要重新添加表的附加日志CREATE TABLE tcustmer( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX);For Record: (a,a,a,a)Update tcustmer set name=b

10、;Oracle附加日志會(huì)記錄cust_code列的值a到日志中；目標(biāo)端根據(jù)cust_code=a構(gòu)筑update 的sql語(yǔ)句；如果兩端主鍵變?yōu)閏ity，而沒(méi)有重新添加附加日志，則目標(biāo)端會(huì)根據(jù)自己的主鍵city建立附加日志，此時(shí)日志中沒(méi)有該字段值，導(dǎo)致目標(biāo)update失敗如果修改表但沒(méi)有修改主鍵，則附加日志不受影響13邏輯邏輯數(shù)據(jù)復(fù)制的幾個(gè)數(shù)據(jù)復(fù)制的幾個(gè)問(wèn)題問(wèn)題（四）（四）如何將數(shù)據(jù)裝載到目標(biāo)庫(kù)？如何將數(shù)據(jù)裝載到目標(biāo)庫(kù)？常規(guī)加載- 通過(guò)SQL裝載直接加載- 通過(guò)數(shù)據(jù)塊裝載- 不利用空閑存儲(chǔ)空間- 不檢查外鍵等約束- 裝載速度較快GoldenGate采用常規(guī)加載- 保證數(shù)據(jù)安全和一致性- 有效提

11、高性能的選項(xiàng) 合并小交易 拆分大交易 批處理的加速14單向復(fù)制單向復(fù)制報(bào)表、災(zāi)備雙向復(fù)制雙向復(fù)制立即接管點(diǎn)對(duì)點(diǎn)點(diǎn)對(duì)點(diǎn)負(fù)載均衡, 高可用性及容災(zāi)廣播復(fù)制廣播復(fù)制 數(shù)據(jù)分發(fā)集中復(fù)制集中復(fù)制數(shù)據(jù)倉(cāng)庫(kù)靈活的拓?fù)浣Y(jié)構(gòu)靈活的拓?fù)浣Y(jié)構(gòu)多級(jí)復(fù)制多級(jí)復(fù)制層次化企業(yè)數(shù)據(jù)15Data Pumps 與一對(duì)多復(fù)制與一對(duì)多復(fù)制Database Transaction LogsExtractProcessTrailExtractProcessTrailTrailTrailExtractProcessExtractProcess16GoldenGate Veridata快速數(shù)據(jù)對(duì)比方案快速數(shù)據(jù)對(duì)比方案能夠快速設(shè)別和報(bào)告在線數(shù)

12、據(jù)的差異用途用途:降低數(shù)據(jù)差異帶來(lái)的風(fēng)險(xiǎn)簡(jiǎn)便快捷的對(duì)比無(wú)需影響業(yè)務(wù)關(guān)鍵特性關(guān)鍵特性:支持大數(shù)據(jù)量對(duì)比支持在線狀態(tài)的數(shù)據(jù)對(duì)比優(yōu)秀的對(duì)比效率和速度可執(zhí)行選擇性對(duì)比可自動(dòng)執(zhí)行無(wú)需人工干預(yù)靈活的報(bào)表17GoldenGate Director能夠使客戶定義、配置和管理能夠使客戶定義、配置和管理GoldenGate TDM 各節(jié)點(diǎn)和進(jìn)程，各節(jié)點(diǎn)和進(jìn)程，監(jiān)控運(yùn)行狀態(tài)監(jiān)控運(yùn)行狀態(tài)優(yōu)化系統(tǒng)管理優(yōu)化系統(tǒng)管理關(guān)鍵特性關(guān)鍵特性:集中管理多個(gè)GG進(jìn)程豐富的客戶端和web界面提高可用性提供報(bào)警以及與第三方軟件集成的接口實(shí)時(shí)獲取GG進(jìn)程信息對(duì)原系統(tǒng)無(wú)影響18典型案例典型案例19案例一：美案例一：美 國(guó)國(guó) 銀銀 行行超過(guò)五千

13、八百家分行及一萬(wàn)六千多部自動(dòng)柜員機(jī)熱 備 份 數(shù) 據(jù) 中 心 從 貫 穿 北 美 的 四 臺(tái) 主 機(jī) (HP NSK) 抓 取 數(shù) 據(jù)保 障 ATM 7X24小時(shí)可用熱熱 備備 份份 點(diǎn)點(diǎn)主主 數(shù)數(shù) 據(jù)據(jù) 中中 心心客客 戶戶客客 戶戶客客 戶戶客客 戶戶雙向數(shù)據(jù)復(fù)制雙向數(shù)據(jù)復(fù)制GoldenGate has helped the Bank of America accommodate growth.Michele Schwappach, Vice President and Senior Systems Manager20案例二：中華人民共和國(guó)海關(guān)總署l遠(yuǎn)距離容災(zāi)遠(yuǎn)距離容災(zāi)l低帶寬低帶寬l低延

14、時(shí)低延時(shí)l可隨時(shí)接管的雙業(yè)務(wù)可隨時(shí)接管的雙業(yè)務(wù)中心中心l快速業(yè)務(wù)切換快速業(yè)務(wù)切換21案例三：國(guó)家體育總局體彩中心lN+1N+1模式容災(zāi)模式容災(zāi)l各省市集中備份各省市集中備份l遠(yuǎn)距離遠(yuǎn)距離l低帶寬低帶寬22GoldenGate安裝及其組件安裝及其組件23青苗學(xué)班青苗學(xué)班B系統(tǒng)需求系統(tǒng)需求為獲取高可用性，建議安裝于共享陣列，可以隨集群軟件切換到備用節(jié)點(diǎn)為獲取高可用性，建議安裝于共享陣列，可以隨集群軟件切換到備用節(jié)點(diǎn)復(fù)制軟件只需不到復(fù)制軟件只需不到200M空間大小，考慮到需要緩存隊(duì)列數(shù)據(jù)，建議保留相空間大小，考慮到需要緩存隊(duì)列數(shù)據(jù)，建議保留相當(dāng)于數(shù)據(jù)庫(kù)歸檔日志量當(dāng)于數(shù)據(jù)庫(kù)歸檔日志量3-7天的存儲(chǔ)空間

15、天的存儲(chǔ)空間復(fù)制軟件安裝目錄可位于任何位置復(fù)制軟件安裝目錄可位于任何位置復(fù)制軟件可使用現(xiàn)有系統(tǒng)用戶或者建立專門(mén)系統(tǒng)用戶，需滿足一下條件復(fù)制軟件可使用現(xiàn)有系統(tǒng)用戶或者建立專門(mén)系統(tǒng)用戶，需滿足一下條件該用戶具有為Oracle安裝用戶組成員，環(huán)境變量與Oracle運(yùn)行用戶一致，可訪問(wèn)Oracle數(shù)據(jù)庫(kù)其內(nèi)存限制應(yīng)當(dāng)滿足數(shù)據(jù)復(fù)制要求，可以通過(guò)ulimit a輸出察看信息，具體配置在/etc/security/limits 文件中。24雙機(jī)環(huán)境下的理想配置方案雙機(jī)環(huán)境下的理想配置方案正常運(yùn)行狀態(tài)備機(jī)接管狀態(tài)25安裝步驟安裝步驟Unix下的安裝步驟1.ftp .gz file to GoldenGate安

16、裝目錄2.gzip d *.gz3.tar xvf *.tar4.ldd ggsci5./ggsci6.GGSCI CREATE SUBDIRS26數(shù)據(jù)庫(kù)需求數(shù)據(jù)庫(kù)需求復(fù)制用戶可以使用現(xiàn)有或者新建用戶，復(fù)制用戶可以使用現(xiàn)有或者新建用戶，DML復(fù)制要求權(quán)限如下：復(fù)制要求權(quán)限如下：源端：CONNECT/ALTER ANY TABLE/ALTER SESSION/CREATE SESSION /FLASHBACK ANY TABLE/SELECT ANY DICTIONARY/SELECT ANY TABLE/RESOURCE“目標(biāo)端在源端基礎(chǔ)上加以下權(quán)限：INSERT ANY TABLE/DELE

17、TE ANY TABLE/UPDATE ANY TABLE;需要打開(kāi)數(shù)據(jù)庫(kù)級(jí)最小附加日志需要打開(kāi)數(shù)據(jù)庫(kù)級(jí)最小附加日志select SUPPLEMENTAL_LOG_DATA_MIN from v$database; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 針對(duì)所有復(fù)制表打開(kāi)表級(jí)附加日志針對(duì)所有復(fù)制表打開(kāi)表級(jí)附加日志GGSCI add trandata select * from user_log_group_columns where table_name= ;超過(guò)32列無(wú)主鍵表需要手工添加附加日志：-Alter table add supplemental log group (column,.) always;27GoldenGate組件與目錄結(jié)構(gòu)組件與目錄結(jié)構(gòu)基本組件基本組件Manager 管