我院雙活數(shù)據(jù)中心的設(shè)計(jì)與實(shí)現(xiàn)

1、    我院雙活數(shù)據(jù)中心的設(shè)計(jì)與實(shí)現(xiàn)    郭英杰 錢朝陽(yáng)摘要：為了應(yīng)對(duì)醫(yī)院信息系統(tǒng)停機(jī)、業(yè)務(wù)中斷等風(fēng)險(xiǎn)，我院建設(shè)了雙活數(shù)據(jù)中心。當(dāng)其中任一個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)交換機(jī)、服務(wù)器、存儲(chǔ)、san交換機(jī)等出現(xiàn)故障時(shí)，應(yīng)用可以在數(shù)秒內(nèi)自動(dòng)切換本數(shù)據(jù)中心其它冗余設(shè)備上或者另一個(gè)數(shù)據(jù)中心，保證了醫(yī)院業(yè)務(wù)系統(tǒng)的持續(xù)運(yùn)行；為了解決誤刪除 、數(shù)據(jù)庫(kù)、病毒入侵等邏輯錯(cuò)誤，部署了虛擬化環(huán)境下的持續(xù)數(shù)據(jù)保軟件，保證數(shù)據(jù)恢復(fù)rto達(dá)到分鐘到級(jí)別、rpo達(dá)到秒級(jí)別，為我院his、emr等應(yīng)用系統(tǒng)不間斷的運(yùn)行提供了堅(jiān)實(shí)的保障；雙活數(shù)據(jù)中心還解決了傳統(tǒng)的容災(zāi)機(jī)房網(wǎng)絡(luò)設(shè)備長(zhǎng)期處于active-

2、standby狀態(tài)并耗費(fèi)大量能源的問題、提高醫(yī)院的經(jīng)濟(jì)效益。關(guān)鍵詞：雙活數(shù)據(jù)中心；虛擬化；持續(xù)數(shù)據(jù)保護(hù)；rto；rpo：tp308 ：a ：1007-9416（2018）06-0182-021 活數(shù)據(jù)中心實(shí)現(xiàn)的功能一個(gè)完善的雙活數(shù)據(jù)中心架構(gòu)必須具有如下的功能：（1）前端應(yīng)用服務(wù)器可以從兩個(gè)數(shù)據(jù)中心均能對(duì)同一份數(shù)據(jù)進(jìn)行正常訪問；（2）同一個(gè)應(yīng)用的服務(wù)器可以根據(jù)實(shí)際需要部署在兩個(gè)中心當(dāng)中的任何一個(gè)或同時(shí)部署在兩個(gè)中心；（3）部署在兩個(gè)中心的應(yīng)用服務(wù)器均可以處于服務(wù)提供狀態(tài)，任何一個(gè)數(shù)據(jù)中心的存儲(chǔ)整體宕機(jī)不會(huì)影響該中心應(yīng)用系統(tǒng)的正常數(shù)據(jù)訪問；（4）在兩個(gè)中心均提供足夠的數(shù)據(jù)訪問性能和擴(kuò)展能力。在實(shí)現(xiàn)

3、雙活數(shù)據(jù)中心架構(gòu)的基礎(chǔ)上，兩個(gè)數(shù)據(jù)中心之間能實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的相互保護(hù)，并且實(shí)現(xiàn)智能化的故障檢測(cè)和災(zāi)難切換，從而避免傳統(tǒng)容災(zāi)技術(shù)的復(fù)雜且冗長(zhǎng)的災(zāi)難切換的過(guò)程。2 雙活數(shù)據(jù)中心核心技術(shù)體現(xiàn)在以下幾方面：2.1 以太網(wǎng)絡(luò)層面在數(shù)據(jù)中心之間建設(shè)一張?zhí)摂M的大二層網(wǎng)絡(luò)是實(shí)現(xiàn)網(wǎng)絡(luò)雙活的基礎(chǔ)。使用大二層網(wǎng)絡(luò)的irf（intelligent resilient framework）技術(shù)一是將多臺(tái)網(wǎng)絡(luò)設(shè)備虛擬化為一臺(tái)網(wǎng)絡(luò)設(shè)備（虛擬設(shè)備），并將這些設(shè)備作為單一設(shè)備管理和使用。其優(yōu)點(diǎn)是：（1）簡(jiǎn)化組網(wǎng)拓?fù)浣Y(jié)構(gòu)，簡(jiǎn)化管理，減少了設(shè)備數(shù)量少量；（2）多臺(tái)設(shè)備合并后不存環(huán)路寬，可有效的提高數(shù)據(jù)包轉(zhuǎn)發(fā)性能；（3）多臺(tái)設(shè)備之間可

4、以實(shí)現(xiàn)無(wú)縫切換，有效提高網(wǎng)絡(luò)ha性能；（4）通過(guò)交換機(jī)的負(fù)載均衡技術(shù)，可以實(shí)現(xiàn)流量在不同數(shù)據(jù)中心間的調(diào)度以及在單數(shù)據(jù)中心內(nèi)多服務(wù)器的負(fù)載分擔(dān)；服務(wù)器部署在兩個(gè)數(shù)據(jù)中心機(jī)房里，每個(gè)數(shù)據(jù)中心均各配置兩臺(tái)網(wǎng)絡(luò)交換機(jī)；可以是兩臺(tái)核心交換機(jī)。如果節(jié)省成本，可以是一臺(tái)核心加一臺(tái)二層匯聚交換機(jī)；通過(guò)兩個(gè)數(shù)據(jù)中心預(yù)埋的單模光纖連接，現(xiàn)兩個(gè)數(shù)據(jù)中心交換機(jī)的互聯(lián)互通。對(duì)于醫(yī)院各個(gè)樓層的匯聚交換機(jī)，均通過(guò)預(yù)埋的光纖分別連接到兩個(gè)數(shù)據(jù)中心的核心交換機(jī)上，實(shí)現(xiàn)鏈路冗余連接，任何一條光纖或核心交換機(jī)發(fā)生故障，不影響樓層科室業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)中心的訪問。2.2 服務(wù)器虛擬化層面采用服務(wù)器虛擬化架構(gòu)解決方案在兩個(gè)數(shù)據(jù)中心之間構(gòu)建

5、一個(gè)計(jì)算資源池，每個(gè)數(shù)據(jù)中心分別部署若干臺(tái)物理服務(wù)器，安裝vmware虛擬化軟件，將兩個(gè)數(shù)據(jù)中心的服務(wù)器配置成為一個(gè)vmware ha集群，有效的利用服務(wù)器資源，節(jié)省采購(gòu)和運(yùn)維成本，降低管理復(fù)雜度。同時(shí)在構(gòu)建的vmware ha集群中，任何一臺(tái)物理服務(wù)器發(fā)生故障，該服務(wù)器上的虛擬機(jī)會(huì)平滑遷移到其他的物理服務(wù)器上，保障了醫(yī)院業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行。對(duì)于醫(yī)院最重要的his等業(yè)務(wù)系統(tǒng)，還可以在2個(gè)虛擬機(jī)之間采用微軟的mscs技術(shù)，保證應(yīng)用高可用；利用natapp的存儲(chǔ)技術(shù)，實(shí)現(xiàn)跨數(shù)據(jù)中心的服務(wù)器集群，任何一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器或數(shù)據(jù)中心發(fā)生故障，醫(yī)院的his數(shù)據(jù)庫(kù)仍然能夠從另外一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器繼續(xù)訪問醫(yī)院的h

6、is等數(shù)據(jù)庫(kù)，確保醫(yī)院業(yè)務(wù)的穩(wěn)定運(yùn)行，實(shí)現(xiàn)業(yè)務(wù)連續(xù)性。2.3 san網(wǎng)絡(luò)層面在每個(gè)數(shù)據(jù)中心各部署2臺(tái)san交換機(jī)，光纖交換機(jī)之間互為冗余，所以的服務(wù)器通過(guò)hba卡與兩臺(tái)冗余的交換機(jī)進(jìn)行連接，san交換機(jī)再與本地的存儲(chǔ)的控制器連接。2.4 存儲(chǔ)架構(gòu)層面為了實(shí)現(xiàn)醫(yī)院的雙活數(shù)據(jù)中心建設(shè)，必須能夠?qū)蓚€(gè)數(shù)據(jù)中心的存儲(chǔ)進(jìn)行整合并虛擬成為一個(gè)存儲(chǔ)系統(tǒng)，將多個(gè)存儲(chǔ)虛擬成為一臺(tái)存儲(chǔ)對(duì)外服務(wù)有如下優(yōu)點(diǎn)：（1）存儲(chǔ)系統(tǒng)能夠?qū)崿F(xiàn)對(duì)跨數(shù)據(jù)中心兩臺(tái)存儲(chǔ)系統(tǒng)的“雙寫”，任何一個(gè)業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)的讀寫都是通過(guò)兩條鏈路對(duì)兩臺(tái)存儲(chǔ)進(jìn)行操作，任何一臺(tái)存儲(chǔ)發(fā)生故障，數(shù)據(jù)都不會(huì)丟失；（2）任何一個(gè)數(shù)據(jù)中心的存儲(chǔ)發(fā)生宕機(jī)，可以通過(guò)另一個(gè)

7、院區(qū)數(shù)據(jù)中心的存儲(chǔ)繼續(xù)訪問，應(yīng)用系統(tǒng)不會(huì)中斷，仍然能夠保障醫(yī)院正常業(yè)務(wù)的開展。在由存儲(chǔ)系統(tǒng)構(gòu)建的雙活數(shù)據(jù)中心中，為了判斷數(shù)據(jù)中心的運(yùn)行狀態(tài)，在兩個(gè)數(shù)據(jù)中心外的任何一個(gè)樓層配置一個(gè)第三點(diǎn)仲裁，該第三點(diǎn)仲裁通過(guò)網(wǎng)絡(luò)與兩個(gè)數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)互相通信，傳遞心跳信息，能夠?qū)崿F(xiàn)存儲(chǔ)之間的故障自動(dòng)檢測(cè)和故障自動(dòng)切換。3 我院雙活數(shù)據(jù)中心具體實(shí)現(xiàn)使用以上技術(shù)同時(shí)結(jié)合我院的實(shí)際情況，提出如下雙活數(shù)據(jù)中心解決方案：3.1 網(wǎng)絡(luò)雙活目前我院雙活數(shù)據(jù)中心為兩臺(tái)h3c核心交換機(jī)，設(shè)備位于南區(qū)核心機(jī)房，部署虛擬化服務(wù)，南區(qū)服務(wù)器、存儲(chǔ)通過(guò)匯聚光纖交換機(jī)接入南區(qū)一臺(tái)核心交換機(jī)，北區(qū)服務(wù)器、存儲(chǔ)通過(guò)匯聚光纖交換機(jī)經(jīng)物理萬(wàn)兆鏈

8、路接入南區(qū)另一臺(tái)核心交換機(jī)，保證兩個(gè)院區(qū)之間的網(wǎng)絡(luò)設(shè)備都互相連接，互相冗余，南區(qū)和北區(qū)的為大二層網(wǎng)絡(luò)，保證院區(qū)設(shè)備在同一局域網(wǎng)下。虛擬化云計(jì)算資源主要通過(guò)12臺(tái)高性能4路x86服務(wù)器（南區(qū)有8臺(tái)、北區(qū)南區(qū)有4臺(tái)）及2套netapp存儲(chǔ)（南區(qū)、北區(qū)各有1套）能夠支持3050個(gè)醫(yī)院應(yīng)用系統(tǒng)的正常運(yùn)行。3.2 存儲(chǔ)和應(yīng)用的雙活目前的我院南、北區(qū)各部署了一套2節(jié)點(diǎn)netapp存儲(chǔ)，每個(gè)節(jié)點(diǎn)都有一個(gè)控制器、磁盤柜。netapp的metrocluster是結(jié)合了netapp數(shù)據(jù)鏡像、快照、控制器雙活和故障切換并能遠(yuǎn)距離實(shí)現(xiàn)（最遠(yuǎn)100公里）的一項(xiàng)雙活架構(gòu)技術(shù)。每套節(jié)點(diǎn)的數(shù)據(jù)通過(guò)synmirror實(shí)時(shí)復(fù)制到

9、另一個(gè)節(jié)點(diǎn)中，中間的線路會(huì)保證兩臺(tái)存儲(chǔ)實(shí)時(shí)進(jìn)行數(shù)據(jù)同步，保證數(shù)據(jù)的一致性。所有數(shù)據(jù)會(huì)保證存放兩份，各區(qū)的存儲(chǔ)分別上聯(lián)兩個(gè)存儲(chǔ)光纖交換機(jī)，兩個(gè)存儲(chǔ)交換機(jī)之間互聯(lián)，保證冗余性。無(wú)論的南、北區(qū)數(shù)據(jù)中心其中任何一存儲(chǔ)節(jié)點(diǎn)發(fā)生故障，這個(gè)區(qū)的另一個(gè)節(jié)點(diǎn)會(huì)自動(dòng)接管；如果兩個(gè)存儲(chǔ)節(jié)點(diǎn)都發(fā)生故障，那么醫(yī)院的業(yè)務(wù)會(huì)找自動(dòng)切換到另一區(qū)的存儲(chǔ)上。借助于vmware vmotion功能可以實(shí)現(xiàn)虛擬機(jī)在不同物理服務(wù)器之間的無(wú)中斷移動(dòng)。vmware 負(fù)責(zé)業(yè)務(wù)應(yīng)用漂移，netapp存儲(chǔ)負(fù)責(zé)數(shù)據(jù)的漂移，整個(gè)過(guò)程對(duì)用戶透明，大大增加業(yè)務(wù)系統(tǒng)的可用性以及系統(tǒng)資源的利用率，對(duì)于基于vmware ha和netapp metroclus

10、te 的雙活數(shù)據(jù)中心架構(gòu)來(lái)說(shuō)，如果在其中一個(gè)數(shù)據(jù)中心發(fā)生了導(dǎo)致服務(wù)中斷的計(jì)劃外事件，則中斷的服務(wù)可以在容災(zāi)站點(diǎn)上重啟，最大限度地縮短了rto。4 邏輯數(shù)據(jù)保護(hù)如前所述，核心交換機(jī)、存儲(chǔ)等采用雙活部署，兩臺(tái)存儲(chǔ)數(shù)據(jù)鏡像寫入，可以較好的避免存儲(chǔ)的物理故障，但是核心數(shù)據(jù)在邏輯上只有一份，如果虛擬化系統(tǒng)或是核心數(shù)據(jù)發(fā)生人為誤刪除、系統(tǒng)崩潰、病毒入侵，邏輯錯(cuò)誤或是丟失，將會(huì)導(dǎo)致不可預(yù)料的后果。因此對(duì)于虛擬化平臺(tái)的安全和邏輯數(shù)據(jù)保護(hù)是此次項(xiàng)目建設(shè)考慮的另外一個(gè)重點(diǎn)。傳統(tǒng)的數(shù)據(jù)備份、容災(zāi)手段需要專業(yè)的存儲(chǔ)管理員和應(yīng)用管理員配合才能執(zhí)行操作，對(duì)于醫(yī)院信息中心來(lái)說(shuō)是無(wú)法完成的，然而由于醫(yī)院業(yè)務(wù)需要，又要求能夠快

11、速恢復(fù)；針對(duì)這樣的矛盾，此次方案選型應(yīng)考慮管理簡(jiǎn)單，可以由應(yīng)用管理員自行進(jìn)行恢復(fù)。對(duì)于醫(yī)院來(lái)說(shuō)一方面系統(tǒng)不能停機(jī)，另一方面不能丟失數(shù)據(jù)，對(duì)于rto和rpo的需求都是極高的。針對(duì)醫(yī)療行業(yè)的特殊需求，結(jié)合目前在業(yè)界最先進(jìn)的數(shù)據(jù)保護(hù)手段，要求重要業(yè)務(wù)系統(tǒng)rto和rpo如下：rto20分鐘；rpo1分鐘；由于業(yè)務(wù)系統(tǒng)目前已經(jīng)全面虛擬化，要求恢復(fù)的單位應(yīng)該以虛擬機(jī)為單位，包括操作系統(tǒng)，應(yīng)用程序和數(shù)據(jù)庫(kù)。我院采用emc業(yè)界領(lǐng)先的虛擬機(jī)連續(xù)數(shù)據(jù)保護(hù)解決方案（recoverpoint for vms）。其特點(diǎn)：（1）提供vcenter plug-in管理和vcenter無(wú)縫對(duì)接，和vmware深度整合，可通過(guò)

12、vsphere client發(fā)起對(duì)任意虛機(jī)的保護(hù)和恢復(fù)管理，無(wú)需安裝任何代理和管理軟件，簡(jiǎn)單易用自動(dòng)化程度 和存儲(chǔ)無(wú)關(guān)。（2）無(wú)需專門的管理界面能夠?qū)mware的虛擬機(jī)系統(tǒng)和數(shù)據(jù)自動(dòng)監(jiān)控，連續(xù)捕獲和備份數(shù)據(jù)變化，只要保護(hù)虛機(jī)的數(shù)據(jù)發(fā)生變化，便實(shí)時(shí)、準(zhǔn)確的備份下來(lái)。（3）內(nèi)置自動(dòng)化流程，只需選擇要恢復(fù)的時(shí)間點(diǎn)，先在測(cè)試環(huán)境恢復(fù)測(cè)試，確認(rèn)數(shù)據(jù)沒有問題后再在原存儲(chǔ)上進(jìn)行數(shù)據(jù)恢復(fù)，即可將數(shù)據(jù)恢復(fù)至故障發(fā)生前的任意時(shí)間點(diǎn)，大大縮了故障恢復(fù)時(shí)間，避免了因發(fā)生邏輯性數(shù)據(jù)錯(cuò)誤時(shí)帶來(lái)的數(shù)據(jù)丟失。5 結(jié)語(yǔ)我院雙活數(shù)據(jù)中心現(xiàn)在能夠達(dá)到以下效果：（1）服務(wù)器故障，能夠利用服務(wù)器vmwareha技術(shù)自動(dòng)切換，恢復(fù)時(shí)間

13、：數(shù)秒鐘，據(jù)損失：0；（2）san交換機(jī)、hba卡、光纖鏈路故障，醫(yī)院應(yīng)用不會(huì)造中短，恢復(fù)時(shí)間：0，數(shù)據(jù)損失：0；（3）南、北區(qū)數(shù)據(jù)中心其中任一存儲(chǔ)節(jié)點(diǎn)發(fā)生故障，本區(qū)另一存儲(chǔ)節(jié)點(diǎn)自動(dòng)接管應(yīng)用，醫(yī)院應(yīng)用不會(huì)造成停頓，恢復(fù)時(shí)間：小于10秒，數(shù)據(jù)損失：0；（4）主中心數(shù)據(jù)中出現(xiàn)災(zāi)難性故障，另一數(shù)據(jù)中心的交換機(jī)、服務(wù)器、存儲(chǔ)會(huì)自動(dòng)接管應(yīng)用，恢復(fù)時(shí)間：小于5秒，數(shù)據(jù)損失：0；（5）邏輯數(shù)據(jù)錯(cuò)誤，利用持續(xù)數(shù)據(jù)保護(hù)回滾（回滾到故障時(shí)間點(diǎn)前，主要針對(duì)數(shù)據(jù)庫(kù)類應(yīng)用），恢復(fù)時(shí)間：數(shù)分鐘，數(shù)據(jù)損失：小于3秒。雙活數(shù)據(jù)中心建好了只是第一步，信息中心每過(guò)3個(gè)月或者半年就必須進(jìn)行一次數(shù)據(jù)中心的切換實(shí)戰(zhàn)演練，模擬數(shù)據(jù)中心可

14、能發(fā)生的各種軟硬件故障；及時(shí)發(fā)現(xiàn)模擬切換中存在的問題并加以解決。這樣才能為醫(yī)院的應(yīng)用系統(tǒng)不間斷的運(yùn)行提供了堅(jiān)實(shí)保障。參考文獻(xiàn)1李彬，蘇悅，麥了銘，任忠敏，何彩升.醫(yī)院雙活數(shù)據(jù)中心設(shè)計(jì)和應(yīng)用j.醫(yī)學(xué)信息學(xué)雜志，2017，38（2）：33-37.2陸偉，費(fèi)家忠.醫(yī)院his網(wǎng)絡(luò)安全隱患與防范j.數(shù)字技術(shù)與應(yīng)用，2011，（3）：128-129.abstract：in order to deal with the risk of hospital information system downtime and business interruption， our hospital has built

15、a double live data center. when any of the network switches， servers， storage， and san switches in any data center failed， the application can automatically switch to other redundant devices or another data center in a few seconds to ensure the continuous operation of the hospital business system. i

16、n order to solve the logical errors such as deleting database and virus intrusion， the continuous data guarantee software under the virtualization environment is deployed to ensure that the data recovery rto reaches the level of minutes to the second level of rpo， and provides a solid guarantee for the uninterrupted operation of his and emr applications in our hospital.the double live data center also solves the problem that the traditional network equipme