分布式雙活數(shù)據(jù)中心技術(shù)體系

1、分布式雙活數(shù)據(jù)中心技術(shù)體系分布式雙活數(shù)據(jù)中心在傳統(tǒng)“兩地三中心”模式的基礎(chǔ)上，針對(duì)不同雙活模型部署不同的技術(shù)。基于IP 地址發(fā)布業(yè)務(wù)的數(shù)據(jù)中心端網(wǎng)絡(luò)的Ingress 方向(客戶端到服務(wù)器)上需要設(shè)備支持 RHI 特性，在 Egress 方向(服務(wù)器到客戶端)上需要配置網(wǎng)關(guān)分離。在數(shù)據(jù)中心后端需要部署服務(wù)器負(fù)載均衡與 HA，以及數(shù)據(jù)分布式雙活技術(shù)。基于發(fā)布業(yè)務(wù)的數(shù)據(jù)中心端網(wǎng)絡(luò)需要采用全局負(fù)載分擔(dān)設(shè)備(GSLB)進(jìn)行選路。以下將對(duì)各類實(shí)現(xiàn)方式與技術(shù)進(jìn)行介紹分析。1 數(shù)據(jù)中心前端分布式雙活網(wǎng)絡(luò)技術(shù)在分布式雙活數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境下，通過(guò)數(shù)據(jù)中心前端分布式雙活技術(shù)，用戶能快速“距離最近”的可用數(shù)據(jù)中心相對(duì)

2、應(yīng)的業(yè)務(wù)，提高服務(wù)響應(yīng)速度，用戶體驗(yàn)。數(shù)據(jù)中心的業(yè)務(wù)對(duì)外發(fā)布時(shí)，可以采用純 IP 地址也可以采方式。根據(jù)業(yè)務(wù)對(duì)外發(fā)布方式的不同，數(shù)據(jù)中心前端也相應(yīng)采用不用 DNS同的技術(shù)實(shí)現(xiàn)分布式網(wǎng)絡(luò)雙活。1.1 純IP 地址方式發(fā)布業(yè)務(wù)的前端網(wǎng)絡(luò)雙活技術(shù)如圖 1 所示，當(dāng)業(yè)務(wù)采用純IP 方式對(duì)外發(fā)布時(shí)，正常情況下只有主中心DCA 對(duì)外發(fā)布業(yè)務(wù)路由，從而將用戶流量牽引到主中心，實(shí)現(xiàn)主中心業(yè)務(wù)。而備中心DC B 的流量管理設(shè)備(支持 RHI 特性)只探測(cè)業(yè)務(wù)地址，因沒(méi)有探測(cè)到而不對(duì)外發(fā)布業(yè)務(wù)路由，實(shí)現(xiàn)主中心的備份作用。圖 1. 純IP 地址方式發(fā)布業(yè)務(wù)正常情況由主中心提供業(yè)務(wù)當(dāng)主中心業(yè)務(wù)遷移到備中心后，備中心的

3、流量管理設(shè)備探測(cè)到業(yè)務(wù) IP 已經(jīng)轉(zhuǎn)移到備中心，從而對(duì)外發(fā)布業(yè)務(wù)路由，引導(dǎo)用戶備中心的業(yè)務(wù) IP，從而實(shí)現(xiàn)基于純IP 發(fā)布業(yè)務(wù)的數(shù)據(jù)中心前端網(wǎng)絡(luò)雙活。值得注意的是，該方案需要備中心流量管理設(shè)備支持RHI 特性(如圖2 所示)，能夠?qū)ν獍l(fā)布路由。數(shù)據(jù)中心間需配置網(wǎng)關(guān)分離(如采用 ACL 方式對(duì)相關(guān)報(bào)文進(jìn)行控制)。若數(shù)據(jù)中心互聯(lián)采用 EVI 方式，則天然支持網(wǎng)關(guān)分離，無(wú)需配置。圖 2. 純IP 地址方式發(fā)布業(yè)務(wù)備中心接管業(yè)務(wù)方式發(fā)布業(yè)務(wù)的前端網(wǎng)絡(luò)雙活技術(shù)1.2當(dāng)業(yè)務(wù)系統(tǒng)基于 DNS方式對(duì)外發(fā)布時(shí)，可以采用基于智能 DNS的GSLB1。GSLB 解決了第一步即引導(dǎo)數(shù)據(jù)中心前端廣域網(wǎng)用戶流量適當(dāng)?shù)臄?shù)據(jù)

4、中心問(wèn)題，所以 GSLB 的應(yīng)用環(huán)境往往是基于擔(dān)和相互之間的容災(zāi)備份。的多數(shù)據(jù)中心之間的負(fù)載分圖 3. DNS 方式GSLB 的基本模型(如圖 3 所示)GSLB 基于DNS 的流量管理機(jī)制主要完成DNS請(qǐng)求的負(fù)載均衡、服務(wù)器狀態(tài)、用戶路徑優(yōu)化。用戶應(yīng)用時(shí)，請(qǐng)求將由 GSLB 負(fù)責(zé)處理，它通過(guò)一組預(yù)先定義好的策略，將最接近用戶的節(jié)點(diǎn)地址提供給用戶，使其可以得到快速的服務(wù)。同時(shí)，它還與分布在各 DC 的所有 GSLB節(jié)點(diǎn)保持通訊，搜集各節(jié)點(diǎn)的健康狀態(tài)，以保證不將用戶的請(qǐng)求分配到任何一個(gè)已經(jīng)不可用的節(jié)點(diǎn)上。GSLB 通過(guò)就近探測(cè)實(shí)現(xiàn)負(fù)載分擔(dān)(如圖 4 所示)。圖 4. GSLB 就近探測(cè)原理數(shù)據(jù)中

5、心A、B、C 各部署一個(gè)GSLB，其中 DC A 的GSLB 為主GSLB，響應(yīng)流程如下：1. Local DNS 向主GSLB 發(fā)起請(qǐng)求;2. GSLB-A、GSLB-B、GSLB-C 將local DNS 的延遲時(shí)間等相關(guān)信息返回給GSLB-A 匯總，并判斷最優(yōu)的地址返回給local DNS;3. 以站點(diǎn)的響應(yīng)時(shí)間作為引導(dǎo)用戶的依據(jù)，用戶的好，響應(yīng)時(shí)間快的站點(diǎn)。請(qǐng)求被導(dǎo)向到性能DNS 方式的GSLB 主要功能和特性如下：應(yīng)用智能：感知應(yīng)用，及時(shí)發(fā)現(xiàn)業(yè)務(wù)中斷;可管理：自動(dòng)切換，通知用戶改變數(shù)據(jù)點(diǎn);高性能：支持流量在數(shù)據(jù)中心的動(dòng)態(tài)負(fù)載均衡。服務(wù)器負(fù)載均衡與 HA 技術(shù)為了保證分布式雙活數(shù)據(jù)中心

6、的持續(xù)業(yè)務(wù)提供能力，需要在后端采用服務(wù)器負(fù)載均衡與 HA 技術(shù)，和前端網(wǎng)絡(luò)雙活配合，實(shí)現(xiàn)服務(wù)資源的調(diào)配和高可用保證。2.1 服務(wù)器負(fù)載均衡為了滿足高性能和高可靠性的服務(wù)需求，將多臺(tái)服務(wù)器通過(guò)網(wǎng)絡(luò)設(shè)備相連組成一個(gè)服務(wù)器集群，每臺(tái)服務(wù)器都提供相同或相似的網(wǎng)絡(luò)服務(wù)。服務(wù)器集群前端部署一臺(tái) SLB2 設(shè)備，負(fù)責(zé)根據(jù)已配置的均衡策略將用戶請(qǐng)求在服務(wù)器集群中分發(fā)，為用戶提供服務(wù)，并對(duì)服務(wù)器可用性進(jìn)行。服務(wù)器負(fù)載均衡可以工作在 L4 或 L7 模式下，一般采用 L4 模式。負(fù)載均衡的工作方式有以下兩種。DR(Direct Routing)方式。(如圖 5 所示)負(fù)載均衡設(shè)備對(duì)數(shù)據(jù)流量?jī)?yōu)化時(shí)，采用旁掛方式部署

7、，在此模式下只有客戶端的請(qǐng)求報(bào)文通過(guò)負(fù)載均衡設(shè)備，服務(wù)器的響應(yīng)報(bào)文不經(jīng)過(guò)負(fù)載均衡設(shè)備，從而減輕負(fù)載，有效的避免了其成為網(wǎng)絡(luò)瓶頸?？蛻舳苏?qǐng)求報(bào)文的目的地址為虛服務(wù)地址(VSIP)，此地址由負(fù)載均衡設(shè)備對(duì)外呈現(xiàn)。負(fù)載均衡設(shè)備分發(fā)服務(wù)請(qǐng)求時(shí)，不改變目的IP 地址，而將報(bào)文的目的MAC 替換為實(shí)服務(wù)的MAC 后直接把報(bào)文轉(zhuǎn)發(fā)給實(shí)服務(wù)。圖 5. DR 方式的服務(wù)器負(fù)載均衡NAT 方式。(如圖 6 所示)組網(wǎng)更加靈活，后端服務(wù)器可以位于不同的物理位置或不同的局域網(wǎng)內(nèi)。客戶端將發(fā)往 VSIP 的請(qǐng)求發(fā)送至服務(wù)器群前端的負(fù)載均衡設(shè)備，負(fù)載均衡設(shè)備上的虛服務(wù)接收客戶端請(qǐng)求，根據(jù)持續(xù)性功能、調(diào)度算法依次選擇真實(shí)服

8、務(wù)器，再通過(guò)網(wǎng)絡(luò)地址轉(zhuǎn)換，用真實(shí)服務(wù)器地址重寫請(qǐng)求報(bào)文的目標(biāo)地址后，將請(qǐng)求發(fā)送給選定的真實(shí)服務(wù)器;真實(shí)服務(wù)器的響應(yīng)報(bào)文通過(guò)負(fù)載均衡設(shè)備文的源地址被還原為虛服務(wù)的 VSIP，再返回給客戶，完成整個(gè)負(fù)載調(diào)度過(guò)程。圖 6. NAT 方式的服務(wù)器負(fù)載均衡一般情況下，SLB 更加適合在一個(gè)數(shù)據(jù)中心部署，而不是跨數(shù)據(jù)中心部署。因?yàn)楫?dāng) SLB 跨數(shù)據(jù)中心部署時(shí)，會(huì)導(dǎo)致跨中心的廣域/城域鏈路承載流量多，而且跨中心轉(zhuǎn)發(fā)一般延遲高，流量路徑復(fù)雜低效，不利于實(shí)現(xiàn)高性能的負(fù)載均衡集群(如圖 7 所示)。而 GSLB 更加適合實(shí)現(xiàn)跨數(shù)據(jù)中心的負(fù)載均衡，所以GSLB 和SLB 配合能夠很好的實(shí)現(xiàn)從數(shù)據(jù)中心前端到數(shù)據(jù)中心全

9、路徑的負(fù)載均衡，以及更好的實(shí)現(xiàn)服務(wù)器健康狀態(tài)檢測(cè)(如圖 8 所示)，主要包括：GSLB 可針對(duì) SLB、服務(wù)器做狀態(tài)監(jiān)測(cè)，可消除單點(diǎn)故障，并引導(dǎo)流量避開性能較低的站點(diǎn)和服務(wù)器;通過(guò)收集這些設(shè)備的性能測(cè)量數(shù)據(jù)，GSLB 可了解網(wǎng)絡(luò)狀態(tài)，對(duì)包速率、每秒千字節(jié)、磁盤、內(nèi)存、CPU 利用率以及連接數(shù)量等參數(shù)進(jìn)量。圖 7. SLB 跨中心部署圖 8. GSLB 和 SLB 配合實(shí)現(xiàn)服務(wù)器健康狀態(tài)檢測(cè)2.2 服務(wù)器 HA 技術(shù)高可用性集群(High Availability Cluster，HA Cluster)是以減少服務(wù)器中斷時(shí)間為目的實(shí)現(xiàn)故障的服務(wù)器集群技術(shù)，主要包括可靠性和容錯(cuò)性兩方面。在這種高可

10、用集群環(huán)境下，若某臺(tái)服務(wù)器出現(xiàn)故障導(dǎo)致服務(wù)中斷，預(yù)先設(shè)定的接管服務(wù)器會(huì)自動(dòng)接管相關(guān)應(yīng)用并繼續(xù)對(duì)用戶提供服務(wù)，具有更高的可用性、可管理性和更優(yōu)異的可伸縮性。HA Clusters 是可用于“熱備模式容災(zāi)”的集群技術(shù)(如表 1所示)，其技術(shù)特點(diǎn)是：需要共享資源(磁盤卷或是卷)，HA 集群可在同城或較近距離署;對(duì)客戶端來(lái)說(shuō)，集群只有一個(gè)IP 地址，由Active 節(jié)點(diǎn)響應(yīng)ARP;需要一個(gè)獨(dú)立的網(wǎng)絡(luò)做節(jié)點(diǎn)之間的進(jìn)程通信(心跳);心跳網(wǎng)絡(luò)對(duì)傳輸延遲不敏感(如微軟 MSCS 要求的最節(jié)點(diǎn)間的傳輸延遲小于 500ms 即可;跳間隔是 1 秒)，因此兩因?yàn)閷?duì)外只有一個(gè)虛IP 地址，所有節(jié)點(diǎn)需在一個(gè)網(wǎng)段(二層互

11、聯(lián));雙節(jié)點(diǎn)的高可用性集群典型的工作方式有以下兩種。主/主( Active/Active) 。集群中兩節(jié)點(diǎn)同時(shí)運(yùn)行各自的應(yīng)用并且相互對(duì)方的情況， 當(dāng)一臺(tái)主機(jī)宕機(jī)后，預(yù)先設(shè)定好的另一臺(tái)主機(jī)立即接管它的一切工作。這種工作方式允許最大程度的利用硬件資源，一般要求各節(jié)點(diǎn)具有相等或相似的處理能力，所有的服務(wù)在故障轉(zhuǎn)移后仍保持可用。主/從( Active /Standby) 。主機(jī)工作，從機(jī)處于準(zhǔn)備狀況。當(dāng)主機(jī)宕機(jī)后，從機(jī)接管主機(jī)的一切工作，繼續(xù)為客戶機(jī)提供服務(wù)，待主機(jī)恢復(fù)正常后，用戶可以自行設(shè)定以自動(dòng)或手動(dòng)方式將服務(wù)從 Standby 上切換到 Active 上，也可不切換。廠商名稱簡(jiǎn)明IBM HACM

12、P 應(yīng)用于小型機(jī)的高可用服務(wù)器集群技術(shù)OracleRAC 數(shù)據(jù)庫(kù)應(yīng)用集群技術(shù)MSCS 應(yīng)用于X86 Windows 環(huán)境的服務(wù)器集群技術(shù)VMware SRM 應(yīng)用于虛擬化環(huán)境下的服務(wù)器集群技術(shù)表 1 常見(jiàn)的HA CLUSTER 產(chǎn)品2.3 延時(shí)對(duì)服務(wù)器集群部署的影響與傳統(tǒng) IP 網(wǎng)絡(luò)應(yīng)用能夠較大的網(wǎng)絡(luò)傳輸延時(shí)不同，網(wǎng)絡(luò)對(duì)傳輸延時(shí)非常敏感。由于服務(wù)器集群成員一般是共享，所以必須考慮延時(shí)對(duì)服務(wù)器集群部署的影響。以通信線路SDH 155M 鏈路(其中 50M 用于業(yè)務(wù))為例，經(jīng)過(guò)測(cè)算：光纖距離為 50KM(典型的同城距離)時(shí)的單向延時(shí)為 1.51 ms，正常系統(tǒng)能夠接受;光纖距離為 1000KM(典

13、型的異地距離)時(shí)的單向延時(shí)為 7.26 ms，將導(dǎo)致共享部署時(shí)服務(wù)器應(yīng)用能力急劇下降到不可接受的程度?？梢?jiàn)，距離對(duì)傳輸延時(shí)的影響巨大。因此在“兩地三中心”數(shù)據(jù)中心災(zāi)備方案中，遠(yuǎn)距離的異地范圍要部署采用異步的暖備災(zāi)備方案(如圖 9 所示)，即采用廣域鏈路如 SDH、ATM 或IP 相連，通過(guò)異步方式實(shí)現(xiàn)災(zāi)備功能;同城范圍內(nèi)則可以部署基于共享的服務(wù)器 HA 方案(如圖 10 所示)，即兩個(gè)中心之間用光纖、波分或 SDH 項(xiàng)鏈，通過(guò)同步方式部署HA Cluster，在這種部署環(huán)境下，主備中心之間需要二層互聯(lián)以滿足集群成員之間二層通信需求，同時(shí)還需要 SAN 互聯(lián)以實(shí)現(xiàn)數(shù)據(jù)同步。圖 9. 三站容災(zāi)方案

14、的網(wǎng)絡(luò)圖 10. 適用城容災(zāi)的HA Cluste 工作方式3 數(shù)據(jù)分布式雙活技術(shù)3.1 數(shù)據(jù)庫(kù)分布式雙活技術(shù)目前主要的數(shù)據(jù)庫(kù)備份技術(shù)有兩種。主-備方式image002圖 11. 數(shù)據(jù)庫(kù)級(jí)備份系統(tǒng)互聯(lián)方式(如圖 11 所示)主數(shù)據(jù)庫(kù)服務(wù)器(PRIMARY)承擔(dān)生產(chǎn)業(yè)務(wù)，備用數(shù)據(jù)庫(kù)服務(wù)器(STANDBY)只完成數(shù)據(jù)功能。當(dāng)主數(shù)據(jù)庫(kù)中發(fā)生事務(wù)操作時(shí)，會(huì)同時(shí)將日志文件通過(guò) TCP/IP 協(xié)議傳送到備用數(shù)據(jù)庫(kù)服務(wù)器，然后備用數(shù)據(jù)庫(kù)對(duì)接受到的日志文件進(jìn)行重放(Replay)，從而保持與主數(shù)據(jù)庫(kù)的一致性。當(dāng)主數(shù)據(jù)庫(kù)發(fā)生故障時(shí)，備用數(shù)據(jù)庫(kù)服務(wù)器才會(huì)接管主數(shù)據(jù)庫(kù)服務(wù)器的事務(wù)處理。此時(shí)，備用數(shù)據(jù)庫(kù)服務(wù)器作為新的主

15、數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行數(shù)據(jù)庫(kù)的讀寫操作，而客戶端應(yīng)用程序的數(shù)據(jù)庫(kù)連接可以通過(guò)自動(dòng)客戶端重新路由機(jī)制轉(zhuǎn)移到新的主服務(wù)器。當(dāng)原來(lái)的主數(shù)據(jù)庫(kù)服務(wù)器被修復(fù)后，又可以作為新的備用數(shù)據(jù)庫(kù)服務(wù)器加入系統(tǒng)。主流的數(shù)據(jù)庫(kù)(如IBM DB2、Oracle、SQL Server 等)都支持通用主-備方式數(shù)據(jù)備份技術(shù)，金融行業(yè)業(yè)務(wù)以該備份方式為主。雙活數(shù)據(jù)庫(kù)備份技術(shù)隨著技術(shù)的發(fā)展，出現(xiàn)了更加先進(jìn)的雙活數(shù)據(jù)庫(kù)備份技術(shù)(如圖 12 所示)，活數(shù)據(jù)庫(kù)備份技術(shù)的主、備數(shù)據(jù)庫(kù)能夠同時(shí)承擔(dān)生產(chǎn)業(yè)務(wù)并且實(shí)現(xiàn)備份功采能，即主-主方式的數(shù)據(jù)庫(kù)雙活技術(shù)。極大提高數(shù)據(jù)庫(kù)的利用效率。圖 12. 雙活數(shù)據(jù)庫(kù)備份技術(shù)工作原理雙活數(shù)據(jù)庫(kù)備份技術(shù)在源數(shù)據(jù)

16、庫(kù)端實(shí)時(shí)交易日志數(shù)據(jù)，捕獲數(shù)據(jù)的變化部分并暫存到隊(duì)列中，然后將變化的數(shù)據(jù)經(jīng)過(guò)壓縮和加密后通過(guò)網(wǎng)絡(luò)傳送到目的地。在目的數(shù)據(jù)庫(kù)端，變化的數(shù)據(jù)被還原為標(biāo)準(zhǔn)的 SQL 語(yǔ)句提交到目的庫(kù)實(shí)現(xiàn)修改數(shù)據(jù)的備份功能。這個(gè)備份過(guò)程是雙向的，即可以從目的端向源端數(shù)據(jù)庫(kù)做類似的。雙活數(shù)據(jù)庫(kù)備份技術(shù)能夠支持靈活的拓?fù)浣Y(jié)構(gòu)(包括單向、雙向、點(diǎn)對(duì)多點(diǎn)、集中和分級(jí)等方式)，如圖 13 所示。圖 13. 雙活數(shù)據(jù)庫(kù)備份技術(shù)支持多種拓?fù)浣Y(jié)構(gòu)雙活數(shù)據(jù)庫(kù)備份技術(shù)可以應(yīng)用于高可用的容災(zāi)備份環(huán)境中，最大化利用災(zāi)備中心的 IT 設(shè)施，實(shí)現(xiàn)加倍的計(jì)算能力，系統(tǒng)整體性能，實(shí)現(xiàn)雙中心負(fù)載均衡，改善地域分布，提高系統(tǒng)及網(wǎng)絡(luò)響應(yīng)實(shí)現(xiàn)分布式雙活的數(shù)

17、據(jù)庫(kù)，雙向，同時(shí)兩端數(shù)據(jù)庫(kù)都是活動(dòng)的，可以對(duì)兩端的數(shù)據(jù)庫(kù)同時(shí)進(jìn)行操作，兩端數(shù)據(jù)庫(kù)的同步。雙活數(shù)據(jù)庫(kù)備份技術(shù)提供異構(gòu)環(huán)境下交易數(shù)據(jù)的實(shí)時(shí)捕捉、變換、投遞，支持多種類型的異構(gòu)數(shù)據(jù)庫(kù)(如 Oracle、DB2 UDBSQL Server、Sybase ASE、Teradata、Ingres、 Enscribe、SQL/MP、SQL/MX)和操作系統(tǒng)(如 Windows2000/2003/ XP、Linux、Sun Solaris、HP NonStoIBM z/OS)。-UX、HP TRU64、IBM AIX、分布式雙活技術(shù)3.2在容災(zāi)備份的應(yīng)用環(huán)境中，有兩種典型的備份工作方式。主-備方式這是主流廠商

18、如 EMC、IBM、HDS 等都支持的備份方式，即建立物理上獨(dú)立的兩個(gè)系統(tǒng)之間的完全的、實(shí)時(shí)的數(shù)據(jù)鏡像，數(shù)據(jù)中心現(xiàn)場(chǎng)發(fā)生災(zāi)難時(shí)，確保另有一套完整的生產(chǎn)數(shù)據(jù)安全可用，達(dá)到容災(zāi)級(jí)別的數(shù)據(jù)高可用性。由于傳統(tǒng)的備份技術(shù)是采用主備方式，從而決定了主中心和災(zāi)備中心也工作在主動(dòng)-方式，即在同城災(zāi)備中心建立主中心的同步鏡像備份，當(dāng)主中心出現(xiàn)故障不能工作時(shí)災(zāi)備中心利用備份的數(shù)據(jù)接管主中心工作(如圖 14 所示)。該備份技術(shù)廣泛應(yīng)用于各個(gè)行業(yè)，特別是在追求安全穩(wěn)定高可靠地金融行業(yè)。圖 14. 主動(dòng)-的和數(shù)據(jù)中心分布式雙活技術(shù)分布式雙活解決方案基于虛擬化技術(shù)實(shí)現(xiàn)，用于數(shù)據(jù)中心內(nèi)、跨數(shù)據(jù)中心和在數(shù)據(jù)中心之間進(jìn)行信息虛擬化、共享和遷移。本地聯(lián)合提供站點(diǎn)內(nèi)信息基礎(chǔ)架構(gòu)的透明協(xié)作;分布式聯(lián)合提供跨遠(yuǎn)距離兩個(gè)位置的讀寫能力。隨著技術(shù)的不斷發(fā)展，分布式雙活技術(shù)逐步成熟，為實(shí)現(xiàn)分布式雙活數(shù)據(jù)中心打下了良好的基礎(chǔ)。分布式雙活方案承載于一個(gè)硬件與虛擬化，作為基于虛擬化的解決方案，可實(shí)現(xiàn)本地和分布式數(shù)據(jù)中心。通過(guò)部署分布式雙活技術(shù)，跨數(shù)據(jù)中心實(shí)現(xiàn)了的邏輯映像，進(jìn)而支撐分布式雙活數(shù)據(jù)