Oracle容災(zāi)備份實(shí)時(shí)備份 數(shù)據(jù)遷移應(yīng)用實(shí)踐

1、iStream DDS Oracle數(shù)據(jù)庫(kù)復(fù)制軟件介紹 DDS實(shí)時(shí)復(fù)制軟件的技術(shù)體系 DRS邏輯備份與恢復(fù) DDS解決方案與案例 DDS產(chǎn)品特點(diǎn) 技術(shù)交流SQL透明壓縮傳輸redo logShare memoryDisk生產(chǎn)數(shù)據(jù)庫(kù) OCIShare memoryDiskSQL復(fù)制數(shù)據(jù)庫(kù) IP網(wǎng)絡(luò)DTFPTRACKPMONSPMSGSPRECVSPCOMMPCLEANSHM-SYS系統(tǒng)參數(shù)以及狀態(tài)信息PMERGESHM-MEM 交易信息交換區(qū)域Redo log Blocks共享內(nèi)存區(qū)后臺(tái)進(jìn)程Msg.log磁盤緩存目 標(biāo)數(shù)據(jù)庫(kù)操作指令PTRACK跟蹤到redo log增量信息，將其寫入共享內(nèi)存，并

2、通知 PMERGE 進(jìn)行處理，PTRACK同時(shí)將此數(shù)據(jù)包寫入緩存目錄以便后續(xù)進(jìn)程沒(méi)有成功處理或系統(tǒng)其它異常情況時(shí)，這些數(shù)據(jù)能夠恢復(fù)并重新進(jìn)行處理。PMERGE收到PTRACK的通知，將收到的數(shù)據(jù)包進(jìn)行各種必要的處理，生成處理后的數(shù)據(jù)包，將新數(shù)據(jù)包寫入共享內(nèi)存，并通知PCOMM 進(jìn)行處理。PCOMM 收到PMERGE的通知，將收到的數(shù)據(jù)包發(fā)送到目標(biāo)端系統(tǒng)，如果發(fā)送不成功（目標(biāo)系統(tǒng)未啟動(dòng)、網(wǎng)絡(luò)故障），將數(shù)據(jù)包寫入緩存目錄 。PCLEAN清道夫進(jìn)程，負(fù)責(zé)將緩存中不再需要的文件刪除掉。PPUTPMONTPMSGTSHM系統(tǒng)運(yùn)行狀態(tài)以及參數(shù)Msg.log磁盤緩存后臺(tái)進(jìn)程目標(biāo)數(shù)據(jù)庫(kù)操作指令PMONT負(fù)責(zé)建

3、立共享內(nèi)存、信號(hào)燈、消息隊(duì)列，監(jiān)控系統(tǒng)其它進(jìn)程的狀態(tài)，重起異常退出進(jìn)程并報(bào)告狀態(tài)；PMSGT負(fù)責(zé)收集其它所有進(jìn)程報(bào)告的各種錯(cuò)誤信息，將錯(cuò)誤信息存放到日志文件msg.log中；PRECVT負(fù)責(zé)接收界面發(fā)送來(lái)的管理命令并執(zhí)行，接收增量數(shù)據(jù)包，裝載歷史數(shù)據(jù)；PPUT負(fù)責(zé)裝載歷史、增量信息到數(shù)據(jù)庫(kù)中,做數(shù)據(jù)驗(yàn)證；PRECVTPCLEAN共享內(nèi)存區(qū)delete from xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxcommitc

4、ommitupdate xx set xx where xxupdate xx set xx where xxrollbackMemoryTrackprocessInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxcommitInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set

5、 xx where xxxcommitMergeprocessMergeprocess 以交易為單位傳輸，保證數(shù)據(jù)的一致性和完整性 rollback的DML放棄處理Redo log生產(chǎn)數(shù)據(jù)庫(kù)生產(chǎn)數(shù)據(jù)庫(kù)復(fù)制數(shù)據(jù)庫(kù)復(fù)制數(shù)據(jù)庫(kù)datafiledatafileRedo logArchive logDDSDDSApplydatafile 步驟1：批量數(shù)據(jù)初始化同步 （快照方式與直接讀取數(shù)據(jù)文件） 步驟2：增量數(shù)據(jù)實(shí)時(shí)更新 （支持裸設(shè)備、文件系統(tǒng)、OCFS）InstanceSGAShared poolSGA壓縮傳輸壓縮傳輸目標(biāo)系統(tǒng)目標(biāo)系統(tǒng)源系統(tǒng)源系統(tǒng)CommprocessCommprocessTrackp

6、rocessPUTprocess兩端都設(shè)置磁盤緩存，交易文件按照交易順序傳輸在網(wǎng)絡(luò)中斷、系統(tǒng)宕機(jī)、數(shù)據(jù)庫(kù)shutdown等故障情況下，仍能保證復(fù)制數(shù)據(jù)的連續(xù)性等目標(biāo)端確認(rèn)寫入磁盤后才刪除源端數(shù)據(jù)對(duì)象過(guò)濾對(duì)象過(guò)濾Sys系統(tǒng)表系統(tǒng)表Table復(fù)制復(fù)制Schema復(fù)制復(fù)制Schema復(fù)制復(fù)制Table復(fù)制復(fù)制 表級(jí)復(fù)制 組級(jí)復(fù)制(多表) 用戶級(jí)復(fù)制TablePartition TableTemporary TableIOTViewSequenceIndexProcedureFunctionPackageSynonymTriggerRolePrivilegeUDTMaterialized View 支

7、持異構(gòu)平臺(tái)，硬件可自由選擇存儲(chǔ)系統(tǒng)異構(gòu) DAS、NAS、SAN、IPSAN服務(wù)器異構(gòu) IBM aix、HP hpux、SUN solaris、Linux WindowsOracleOracleOracle Where 方式復(fù)制優(yōu)點(diǎn)：源端目標(biāo)段相互切換方便缺點(diǎn)：同步速度慢 rowid方式復(fù)制優(yōu)點(diǎn)：同步速度快 缺點(diǎn)：源端目標(biāo)段相互切換需做全同步 靈活的復(fù)制方式單向1:1復(fù)制,可實(shí)現(xiàn)完全復(fù)制和選擇性復(fù)制N:1復(fù)制,可實(shí)現(xiàn)海量數(shù)據(jù)整合，集中(N無(wú)限制)1:N復(fù)制,可實(shí)現(xiàn)數(shù)據(jù)分發(fā)、篩選、遷移（N無(wú)限制）支持雙向復(fù)制（where模式）OracleOracleOracleOracleOracleOracle

8、OracleOracleOracle Data Rollback Server 利用DDS產(chǎn)生的過(guò)程文件進(jìn)行數(shù)據(jù)庫(kù)回滾和前滾 重現(xiàn)數(shù)據(jù)庫(kù)的歷史狀態(tài)，審計(jì)、查詢、恢復(fù)單表回滾全部數(shù)據(jù)回滾交易系統(tǒng)DB容災(zāi)系統(tǒng)DBDDS軟件0.dtf.bak1dtf.bak。100.dtf.bak101.dtf.bak。1000.dtf.bak10001.dtf.bak。10019.dtf10020.dtfDTF列表恢復(fù)交易數(shù)據(jù)庫(kù)恢復(fù)時(shí)刻恢復(fù)數(shù)據(jù)回復(fù)同步時(shí)刻DRS truncate誤操作給用戶帶來(lái)巨大損失 利用傳統(tǒng)技術(shù)如何恢復(fù)？ DRS自動(dòng)“保存”數(shù)據(jù) 保存時(shí)間通過(guò)配置參數(shù)指定Truncate table xxRe

9、name XX to XXCreate table XXXXXXXX 傳統(tǒng)容災(zāi)技術(shù)的局限傳統(tǒng)容災(zāi)技術(shù)的局限不能支持異構(gòu)環(huán)境，產(chǎn)品選擇余地小，成本不可控；在傳輸方面對(duì)帶寬和距離的限制頗多；系統(tǒng)部署時(shí)間長(zhǎng)、步驟復(fù)雜、對(duì)生產(chǎn)系統(tǒng)影響較大；容災(zāi)切換存在一定的風(fēng)險(xiǎn)； iStream DDSiStream DDS容災(zāi)方案特點(diǎn)容災(zāi)方案特點(diǎn) 支持異構(gòu)硬件平臺(tái)和異構(gòu)操作系統(tǒng)環(huán)境 傳輸數(shù)據(jù)量小，帶寬要求低，距離無(wú)限制 數(shù)據(jù)可以復(fù)用，可獲更多投資回報(bào) 容災(zāi)切換沒(méi)有風(fēng)險(xiǎn)1生產(chǎn)生產(chǎn)容災(zāi)容災(zāi)234距離距離100100公里公里1生產(chǎn)生產(chǎn)容災(zāi)容災(zāi)距離距離無(wú)限制無(wú)限制同城災(zāi)備數(shù)據(jù)庫(kù)同城災(zāi)備數(shù)據(jù)庫(kù) Linux AS4U4 Ora

10、cle 10g異地災(zāi)備數(shù)據(jù)庫(kù)異地災(zāi)備數(shù)據(jù)庫(kù)Oracle 10g2個(gè)節(jié)點(diǎn)個(gè)節(jié)點(diǎn)RAC Linux AS4U4集中交易數(shù)據(jù)庫(kù)集中交易數(shù)據(jù)庫(kù) Oracle 10G 2個(gè)節(jié)點(diǎn)個(gè)節(jié)點(diǎn)RACIBM AIX5L本地復(fù)制本地復(fù)制100M帶寬帶寬總部福州總部福州福州同城營(yíng)業(yè)部災(zāi)備機(jī)房福州同城營(yíng)業(yè)部災(zāi)備機(jī)房10M上海上海單實(shí)例Linux 10g單實(shí)例Linux 10g本地容災(zāi)查詢2個(gè)節(jié)點(diǎn)IBM AIX5LDDS本地復(fù)制1000M帶寬合肥總部總部機(jī)房2M同城營(yíng)業(yè)部災(zāi)備機(jī)房 關(guān)鍵系統(tǒng)數(shù)據(jù)遷移的難點(diǎn)關(guān)鍵系統(tǒng)數(shù)據(jù)遷移的難點(diǎn)必須長(zhǎng)時(shí)間停止業(yè)務(wù)交易用于導(dǎo)出導(dǎo)入數(shù)據(jù)；過(guò)長(zhǎng)的業(yè)務(wù)中斷時(shí)間，可能是幾小時(shí)，也可能是幾天；7*24運(yùn)行

11、的業(yè)務(wù)系統(tǒng)如何遷移？ iStream DDS數(shù)據(jù)遷移優(yōu)勢(shì)數(shù)據(jù)遷移優(yōu)勢(shì)實(shí)時(shí)數(shù)據(jù)遷移，無(wú)需暫停業(yè)務(wù)交易；只有系統(tǒng)割接需要停止交易，分鐘級(jí)；支持異構(gòu)硬件、操作系統(tǒng)平臺(tái)遷移；支持Oracle數(shù)據(jù)庫(kù)不同版本之間的遷移；5節(jié)點(diǎn)節(jié)點(diǎn)Linux 10g RAC4節(jié)點(diǎn)節(jié)點(diǎn)Linux 10g RAC本地容災(zāi)查詢本地容災(zāi)查詢單實(shí)例單實(shí)例Linux 10g5公里公里DDS復(fù)制復(fù)制10M帶寬帶寬DDS本地復(fù)制本地復(fù)制1000M帶寬帶寬應(yīng)用查詢應(yīng)用查詢應(yīng)用效果： 已經(jīng)集中的用戶量100萬(wàn)左右 實(shí)時(shí)復(fù)制過(guò)程中交易系統(tǒng)主機(jī)CPU占用率5% 本地?cái)?shù)據(jù)復(fù)制平均延遲26秒 異地系統(tǒng)平均延遲48秒。 總部總部同城營(yíng)業(yè)部災(zāi)備機(jī)房同城營(yíng)

12、業(yè)部災(zāi)備機(jī)房 復(fù)制數(shù)據(jù)庫(kù)實(shí)時(shí)打開(kāi) 原來(lái)在生產(chǎn)系統(tǒng)上的操作可以轉(zhuǎn)移到復(fù)制系統(tǒng)支持?jǐn)?shù)據(jù)查詢支持?jǐn)?shù)據(jù)抽取支持?jǐn)?shù)據(jù)回滾到歷史時(shí)間點(diǎn)查詢數(shù)據(jù)庫(kù)查詢數(shù)據(jù)庫(kù)10g單實(shí)例單實(shí)例HP UINX 11.23容災(zāi)數(shù)據(jù)庫(kù)容災(zāi)數(shù)據(jù)庫(kù)10g單實(shí)例單實(shí)例HP UINX 11.23集中交易數(shù)據(jù)庫(kù)集中交易數(shù)據(jù)庫(kù)Oracle10g 2個(gè)節(jié)點(diǎn)個(gè)節(jié)點(diǎn)RAC HP UINX 11.23DDS本地復(fù)制本地復(fù)制1000M帶寬帶寬上?？偛可虾？偛客菭I(yíng)業(yè)部災(zāi)備機(jī)房同城營(yíng)業(yè)部災(zāi)備機(jī)房100公里公里 10M 建立企業(yè)第二數(shù)據(jù)中心 支持硬件及操作系統(tǒng)異構(gòu)環(huán)境 支持不同的Oracle版本 支持?jǐn)?shù)據(jù)過(guò)濾及篩選 支持本地或遠(yuǎn)程部署 支持?jǐn)?shù)據(jù)源數(shù)據(jù)庫(kù)數(shù)量

13、可達(dá)256個(gè)Oracle10gOracle9iOracle10gOracle9iOracle10g各地市生產(chǎn)交易庫(kù)各地市生產(chǎn)交易庫(kù)AIXAIX（oracleoracle為為10g 10g 或或9i)9i)主交易主交易2 2各縣生產(chǎn)交易庫(kù)各縣生產(chǎn)交易庫(kù)AIX(AIX(oracleoracle為為10g 10g 或或9 9i)i)主交易主交易1 1AIX10gAIX10g加加 HACMPHACMP異地容災(zāi)機(jī)房異地容災(zāi)機(jī)房DDSDDS復(fù)制復(fù)制DDSDDS復(fù)制復(fù)制多對(duì)一：容災(zāi)、查詢、實(shí)時(shí)多對(duì)一：容災(zāi)、查詢、實(shí)時(shí)監(jiān)控等多種用途有效結(jié)合監(jiān)控等多種用途有效結(jié)合應(yīng)用查詢應(yīng)用查詢，webweb實(shí)時(shí)監(jiān)控實(shí)時(shí)監(jiān)控源

14、端源端節(jié)點(diǎn)節(jié)點(diǎn)數(shù)總數(shù)總共為共為204204臺(tái)臺(tái)容災(zāi)查詢?nèi)轂?zāi)查詢端只安裝端只安裝l l了一個(gè)數(shù)了一個(gè)數(shù)據(jù)庫(kù)與一據(jù)庫(kù)與一套套DDSDDS目標(biāo)目標(biāo)端軟件端軟件IBM IBM 小型機(jī)（小型機(jī)（AIXAIX）+ +Oracle 10gOracle 10g主交易主交易5959IBM PC SERVERIBM PC SERVER（LinuxLinux）+ +Oracle 10gOracle 10g主交易主交易1414IBM PC SERVER(Linux)+IBM PC SERVER(Linux)+Oracle 10g RACOracle 10g RAC異地容災(zāi)機(jī)房異地容災(zāi)機(jī)房DDSDDS復(fù)制復(fù)制DDSDDS復(fù)制復(fù)制多對(duì)一：容災(zāi)、查詢、實(shí)時(shí)多對(duì)一：容災(zāi)、查詢、實(shí)時(shí)監(jiān)控與警綜平臺(tái)測(cè)試等多種監(jiān)控與警綜平臺(tái)測(cè)試等多種用途有效結(jié)合用途有效結(jié)合應(yīng)用查詢應(yīng)用查詢，webweb實(shí)時(shí)監(jiān)控實(shí)時(shí)監(jiān)控源端主機(jī)分源端主機(jī)分別放在各地別放在各地市，共九臺(tái)市，共九臺(tái)機(jī)器機(jī)器, ,總數(shù)總數(shù)據(jù)量約為據(jù)量約為1.8TB1.8TB容災(zāi)查詢?nèi)轂?zāi)查詢端只安裝端只安裝l l了一個(gè)數(shù)了一個(gè)數(shù)據(jù)庫(kù)與一據(jù)庫(kù)與一套套DDSDDS目標(biāo)目標(biāo)端軟件端