大型數(shù)據(jù)庫(kù)高性能容災(zāi)平臺(tái)

DatappGlobeGovernance大型數(shù)據(jù)庫(kù)高性能容災(zāi)平臺(tái)數(shù)存科技DGG容災(zāi)技術(shù)白皮書(shū)ver1.8本產(chǎn)品白皮書(shū)涉及的數(shù)據(jù)庫(kù)復(fù)制產(chǎn)品針對(duì)于Oracle9i/10g/11g/RAC等環(huán)境，針對(duì)于其它數(shù)據(jù)庫(kù)保護(hù)產(chǎn)品詳情需咨詢深圳市數(shù)存科技有限公司datapp?官方網(wǎng)站或聯(lián)系4008-672-818，數(shù)存科技版權(quán)所有。1前言大數(shù)據(jù)、云、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、自動(dòng)化等促進(jìn)了信息化的快速發(fā)展，推動(dòng)了社會(huì)的進(jìn)步，爆炸性的數(shù)據(jù)增長(zhǎng)帶來(lái)便利的同時(shí)，也為我們信息化的安全敲響了警鐘，“勒索病毒”、“刪庫(kù)”、“變種”以及各種物理的損壞都會(huì)帶來(lái)巨大的經(jīng)濟(jì)損失和社會(huì)影響，所以企業(yè)需要有一套安全有效的數(shù)據(jù)保護(hù)機(jī)制，來(lái)保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)服務(wù)能力，立于不敗之地。1.1信息安全系統(tǒng)指標(biāo)任意的物理?yè)p壞、病毒、邏輯錯(cuò)誤等均有可能造成企業(yè)的數(shù)據(jù)丟失或業(yè)務(wù)宕機(jī)，衡量一個(gè)企業(yè)信息安全水準(zhǔn)，應(yīng)從以下四個(gè)指標(biāo)入手：RPO（RecoveryPointObjective）：數(shù)據(jù)丟失量；RPO是指企業(yè)能夠容忍的數(shù)據(jù)丟失量，這個(gè)指標(biāo)是由企業(yè)目前正在使用或計(jì)劃采用的安全產(chǎn)品所決定；RTO（RecoveryTimeObjective）：業(yè)務(wù)中斷時(shí)間；RTO是指企業(yè)能夠容忍的業(yè)務(wù)中斷時(shí)間，這個(gè)指標(biāo)是指企業(yè)采用現(xiàn)有的任意手段在故障發(fā)生后，業(yè)務(wù)重新上線的最大時(shí)間；ROI（ReturnofInvestment）：建設(shè)運(yùn)維和收益比；企業(yè)建設(shè)容災(zāi)備份是大勢(shì)所趨，而如何讓投資回報(bào)可見(jiàn)，能夠在企業(yè)信息化的發(fā)展過(guò)程中，可視化投資回報(bào)，均攤或支撐信息化健康應(yīng)用的投入產(chǎn)出比；容災(zāi)備份產(chǎn)品是一套工具型產(chǎn)品，而非核心的生產(chǎn)業(yè)務(wù)系統(tǒng)，在信息安全的道路上沒(méi)有最好，只有更好，做為衡量信息安全系統(tǒng)指標(biāo)RPO、RTO成為容災(zāi)備份的終極指標(biāo)，但是，如果能夠?qū)崿F(xiàn)容災(zāi)備份的同時(shí)，對(duì)生產(chǎn)業(yè)務(wù)形成業(yè)務(wù)分流，加固或加強(qiáng)信息化的支撐能力，保護(hù)ROI的收益指標(biāo)，則更具備實(shí)用價(jià)值和投資回報(bào)。1.2信息化系統(tǒng)的威脅企業(yè)需要建設(shè)一套高效、安全、可視化的容災(zāi)備份系統(tǒng)，以實(shí)現(xiàn)更加優(yōu)秀的RPO及RTO指標(biāo)，通過(guò)容災(zāi)備份的手段，保證信息化系統(tǒng)可以在安全、有序、穩(wěn)定的態(tài)勢(shì)下健康運(yùn)行。1.3災(zāi)備等級(jí)容災(zāi)備份從實(shí)現(xiàn)的結(jié)果和效果分為多個(gè)等級(jí)，按照國(guó)際標(biāo)準(zhǔn)SHARE78定義的容災(zāi)標(biāo)準(zhǔn)有7個(gè)層次：0級(jí)：本地磁帶備份；1級(jí)：本地備份的磁帶放置于異地；2級(jí)：建立異地?cái)?shù)據(jù)熱備系統(tǒng)，支持本地或異地?cái)?shù)據(jù)恢復(fù)，恢復(fù)時(shí)間可以是幾小時(shí)也可以是幾天；3級(jí)：建立異地?cái)?shù)據(jù)熱備并建立異地應(yīng)用系統(tǒng)，業(yè)務(wù)可以在數(shù)小時(shí)或數(shù)天內(nèi)異地恢復(fù)；4級(jí)：建立異地?cái)?shù)據(jù)熱備并建立異地應(yīng)用系統(tǒng)，可以定時(shí)進(jìn)行本、異地業(yè)務(wù)切換；5級(jí)：異地遠(yuǎn)程雙活中心，小時(shí)內(nèi)切換、數(shù)據(jù)一致性保證；6級(jí)：異地遠(yuǎn)程雙活中心，本、異地均處于活動(dòng)狀態(tài)，實(shí)現(xiàn)0中斷、數(shù)據(jù)0丟失并自動(dòng)切換；0---2級(jí)：是一種基于備份壓縮副本的恢復(fù)技術(shù)，一旦生產(chǎn)系統(tǒng)出現(xiàn)問(wèn)題，采用備份數(shù)據(jù)恢復(fù)數(shù)據(jù)，這種技術(shù)有在數(shù)據(jù)恢復(fù)前需準(zhǔn)備大量的軟硬件環(huán)境，導(dǎo)致業(yè)務(wù)中斷時(shí)間變長(zhǎng)，滿足不了業(yè)務(wù)系統(tǒng)對(duì)中斷時(shí)間的要求；3---4級(jí)：一般采用存儲(chǔ)遠(yuǎn)程復(fù)制技術(shù)，能夠?qū)崿F(xiàn)相對(duì)較好的RPO，但RTO指標(biāo)相對(duì)較差，同時(shí)此種模式對(duì)帶寬要求極高，不適宜于遠(yuǎn)距離部署；同時(shí)容災(zāi)演練操作復(fù)雜，容災(zāi)系統(tǒng)演練可能性變低；5級(jí)：一般是基于核心的數(shù)據(jù)庫(kù)復(fù)制技術(shù)，基于日志的復(fù)制原理，可以實(shí)現(xiàn)基于數(shù)據(jù)庫(kù)異構(gòu)、操作系統(tǒng)異構(gòu)、存儲(chǔ)異構(gòu)，可以實(shí)現(xiàn)讀寫(xiě)分離以及分鐘級(jí)的容災(zāi)環(huán)境，此種模式對(duì)技術(shù)要求較高，維護(hù)量較大；6級(jí)：目前沒(méi)有成熟的技術(shù)或產(chǎn)品。2Datapp-DGG技術(shù)實(shí)現(xiàn)數(shù)存DGG可以實(shí)現(xiàn)高可用和實(shí)時(shí)的數(shù)據(jù)整合方案，保證Oracle數(shù)據(jù)庫(kù)可以7*24小時(shí)正常運(yùn)轉(zhuǎn)，滿足對(duì)客戶核心數(shù)據(jù)庫(kù)連續(xù)可用的要求；針對(duì)于大型具備多個(gè)分支機(jī)構(gòu)的企業(yè)，數(shù)存DGG可以快速按照相應(yīng)的要求進(jìn)行快速的數(shù)據(jù)分發(fā)和收集關(guān)健數(shù)據(jù)，推動(dòng)決策。數(shù)存DGG是基于Oracle日志挖掘技術(shù)的數(shù)據(jù)實(shí)時(shí)復(fù)制工具，具有延時(shí)低、簡(jiǎn)單靈活對(duì)生產(chǎn)庫(kù)影響度約為“0”的數(shù)據(jù)庫(kù)應(yīng)用級(jí)解決方案。數(shù)存DGG可以與原Oracle在數(shù)據(jù)同步的同時(shí)，形成讀寫(xiě)分離的解決方案，完美實(shí)現(xiàn)Oracle的容災(zāi)備份、數(shù)據(jù)遷移、業(yè)務(wù)數(shù)據(jù)的分發(fā)和收集、整合形成大型數(shù)據(jù)倉(cāng)庫(kù)的工作。2.1無(wú)縫數(shù)據(jù)遷移數(shù)存DGG在同步過(guò)程中無(wú)需停止業(yè)務(wù)，通過(guò)容災(zāi)端主動(dòng)挖掘Oracle生產(chǎn)庫(kù)的日志Redolog，通過(guò)災(zāi)備端的logtable記錄數(shù)據(jù)同步差異，完整的將Oracle生產(chǎn)端的數(shù)據(jù)復(fù)制到容災(zāi)端，可以在7*24小時(shí)遠(yuǎn)行的業(yè)務(wù)系統(tǒng)上完成安全、高性能、無(wú)縫的Oracle數(shù)據(jù)遷移工作。2.2邏輯數(shù)據(jù)容災(zāi)技術(shù)數(shù)存DGG使用邏輯數(shù)據(jù)容災(zāi)技術(shù)，可以細(xì)粒度到用戶schema或者表table級(jí)別，傳遞交易指令，傳輸數(shù)據(jù)量極小，保證了在低帶寬環(huán)境下實(shí)現(xiàn)低延遲的數(shù)據(jù)異步復(fù)制，是一種高效且低成本的數(shù)據(jù)庫(kù)容災(zāi)解決方案。數(shù)存DGG采用萬(wàn)兆/千兆以太網(wǎng)絡(luò)進(jìn)行通訊，容災(zāi)端DGG可以部署在本地或異地，無(wú)距離限制；同時(shí)備端的Oracle始終處于打開(kāi)狀態(tài)，當(dāng)生產(chǎn)數(shù)據(jù)庫(kù)遇到計(jì)劃內(nèi)宕機(jī)或計(jì)劃外宕機(jī)時(shí)，數(shù)存DGG可以快速、無(wú)縫的切換至容災(zāi)數(shù)據(jù)庫(kù)，保證業(yè)務(wù)的連續(xù)工作，與傳統(tǒng)的基于備份或CDP技術(shù)相比，沒(méi)有數(shù)據(jù)的恢復(fù)時(shí)間，保證100%的切換成功率。2.3快速數(shù)據(jù)落盤(pán)技術(shù)數(shù)存DGG會(huì)主動(dòng)根據(jù)logtable的日志差異表，從生產(chǎn)數(shù)據(jù)庫(kù)主動(dòng)捕獲新log，log在傳輸過(guò)程中進(jìn)行打包加密并傳送至容災(zāi)端，DGG在獲取新的日志后，落盤(pán)并反饋給logtable，執(zhí)行遞減動(dòng)作，容災(zāi)端根據(jù)獲取的日志SQL相應(yīng)的語(yǔ)句，生成數(shù)據(jù)，由備端呈現(xiàn)讀，生產(chǎn)端呈現(xiàn)寫(xiě)的讀寫(xiě)分離的模式。本地執(zhí)行日志復(fù)制的時(shí)間一般是0~2秒，遠(yuǎn)距離傳輸時(shí)，一般的時(shí)間是2~4秒，故做讀寫(xiě)分離時(shí)，備端的數(shù)據(jù)一般在3秒左右，可以完成查詢動(dòng)作。2.4Oracle讀寫(xiě)分離模式大量的信息信息在部署完成后，一般沒(méi)有特殊情況下，硬件及應(yīng)用軟件部分會(huì)維持7*24*365天的正常工作，但隨著信息化的發(fā)展、數(shù)據(jù)類型、業(yè)務(wù)數(shù)據(jù)的提升，期初的硬件處理能力已經(jīng)無(wú)法承擔(dān)爆炸式的數(shù)據(jù)增長(zhǎng)，特別是針對(duì)于核心數(shù)據(jù)庫(kù)服務(wù)器，CPU及內(nèi)存更新迭代的速度非?？欤瑹o(wú)休止的更換服務(wù)器不是解決問(wèn)題的根本；通過(guò)數(shù)存Datapp-DGG產(chǎn)品，日志復(fù)制的模式實(shí)時(shí)克隆一臺(tái)新的Oracle數(shù)據(jù)庫(kù)，原生產(chǎn)Oracle服務(wù)器承擔(dān)生產(chǎn)業(yè)務(wù)，新生成的Oracle服務(wù)器承擔(dān)數(shù)據(jù)的讀業(yè)務(wù)，完美的將I（in寫(xiě)）O（out讀）PS靜態(tài)的分?jǐn)傊羶膳_(tái)服務(wù)器上，即做了數(shù)據(jù)安全，也做了負(fù)載的分擔(dān)。2.5Oracle數(shù)據(jù)集合/分發(fā)模式對(duì)于有大量分公司、辦事處、分支機(jī)構(gòu)的企業(yè)，通過(guò)總部數(shù)存Datapp-DGG數(shù)據(jù)庫(kù)復(fù)制軟件，可以將各子公司的數(shù)據(jù)全部提取到總部，在總部可以進(jìn)行數(shù)據(jù)的查詢、分析等業(yè)務(wù)，同時(shí)任意一個(gè)分公司、辦事處、分支機(jī)構(gòu)在發(fā)生數(shù)據(jù)丟失時(shí)，總部可以將數(shù)據(jù)進(jìn)行提取恢復(fù)。對(duì)于大型數(shù)據(jù)庫(kù)平臺(tái)，如XX省國(guó)土不動(dòng)產(chǎn)數(shù)據(jù)庫(kù)，如需將各市不動(dòng)產(chǎn)數(shù)據(jù)庫(kù)單獨(dú)拆分發(fā)送給各市不動(dòng)產(chǎn)部門(mén)或各市不動(dòng)市只可以查詢本市的數(shù)據(jù)，數(shù)存Datapp-DGG可以按照條件進(jìn)行數(shù)據(jù)庫(kù)的獨(dú)立拆分和分發(fā)。2.6交叉容災(zāi)模式根據(jù)數(shù)存DGG的工作原理及工作機(jī)制，如客戶的業(yè)務(wù)系統(tǒng)有兩套Oracle生產(chǎn)數(shù)據(jù)庫(kù)，即可以實(shí)現(xiàn)在不增加任何硬件的基礎(chǔ)上實(shí)現(xiàn)雙向容災(zāi)，如下圖示：2.7DGG跨平臺(tái)數(shù)據(jù)遷移數(shù)存DGG可以實(shí)現(xiàn)windows、linux、Unix環(huán)境下Oracle9i、Oracle10g、Oracle11g，各平臺(tái)之間交叉遷移，如windows環(huán)境下的9i，遷移至AIX環(huán)境下的Oracle11g等，任意操作系統(tǒng)下的任意Oracle數(shù)據(jù)庫(kù)版本的遷移功能。2.8DGG生產(chǎn)庫(kù)的“0”感知同步數(shù)存科技DGG是一種主動(dòng)的數(shù)據(jù)庫(kù)日志挖掘技術(shù)，在生產(chǎn)庫(kù)服務(wù)器上無(wú)需安裝任何軟件，通過(guò)備庫(kù)上的數(shù)存DGG主動(dòng)發(fā)起“挖掘