醫(yī)療行業(yè)容災(zāi)備份系統(tǒng)架構(gòu)設(shè)計、實施經(jīng)驗與運維方案

醫(yī)療行業(yè)容災(zāi)備份系統(tǒng)架構(gòu)設(shè)計、實施經(jīng)驗與運維方案

【導(dǎo)讀】本文從需求分析、架構(gòu)設(shè)計、實施到運維方案，全面介紹了大型醫(yī)院容災(zāi)備份平臺建設(shè)中的重點并分享了經(jīng)驗，供廣大同行參考。1、醫(yī)療行業(yè)業(yè)務(wù)系統(tǒng)特點與存在的痛點隨著醫(yī)療行業(yè)信息化的進程的加深，對醫(yī)療數(shù)據(jù)進行高效地存儲和管理，以便提供安全有效地數(shù)據(jù)與信息的快速訪問和利用成為醫(yī)療行業(yè)數(shù)據(jù)存儲的主要發(fā)展趨勢，在醫(yī)院眾多的信息化系統(tǒng)中，HIS作為最重要的醫(yī)院信息系統(tǒng)，貫穿了業(yè)務(wù)流程的各個環(huán)節(jié)，起著核心支撐作用，包含財務(wù)、人事、住院、門診、掛號、醫(yī)技、收費、分診、藥品管理等多個子系統(tǒng)，是醫(yī)療服務(wù)和醫(yī)院管理的核心?，F(xiàn)在醫(yī)院對信息系統(tǒng)的依賴性越來越大，除了HIS系統(tǒng)，醫(yī)院其他關(guān)鍵業(yè)務(wù)還包括PACS、EMR、LIS和CIS等應(yīng)用系統(tǒng)。這些業(yè)務(wù)系統(tǒng)包含了大量的醫(yī)療影像信息、病人電子病歷信息、臨床信息和檢驗信息等。但隨著醫(yī)院的不斷發(fā)展，龐大的數(shù)據(jù)量和后臺服務(wù)器的軟硬件保護成為醫(yī)院信息化建設(shè)面臨的一大難題。任何的系統(tǒng)停機或數(shù)據(jù)丟失輕則降低患者的滿意度，重則損害醫(yī)院信譽。如何避免數(shù)據(jù)丟失，當遇到數(shù)據(jù)災(zāi)難時如何快速地恢復(fù)數(shù)據(jù)，保障醫(yī)院業(yè)務(wù)開展的連續(xù)性，已成為影響醫(yī)院業(yè)務(wù)發(fā)展的關(guān)鍵因素。經(jīng)過多次對醫(yī)院的相關(guān)技術(shù)人員的訪談，總結(jié)出以下急需解決的問題：1、HIS、PACS、EMR、LIS和CIS等應(yīng)用系統(tǒng)雖然實現(xiàn)了本地的數(shù)據(jù)級備份通過備份軟件定期把數(shù)據(jù)備份到磁盤陣列或是帶庫上，但無法應(yīng)對設(shè)備的硬件故障，生產(chǎn)機房火災(zāi)、漏水等突發(fā)情況，存在數(shù)據(jù)安全的隱患，需要建立同城容災(zāi)中心保障數(shù)據(jù)安全提升業(yè)務(wù)連續(xù)性。2、建設(shè)同城容災(zāi)中心后有條件需要建設(shè)異地容災(zāi)中心，可以避免水災(zāi)、地震等其它的大范圍的自然災(zāi)害，使得數(shù)據(jù)和應(yīng)用的安全等級得到進一步的提升。3、現(xiàn)有的備份系統(tǒng)沒有建立相應(yīng)的運維方案和管理制度，沒有相應(yīng)的備份恢復(fù)演練計劃，備份后的數(shù)據(jù)是否可用無法得到保障。2、醫(yī)療行業(yè)業(yè)務(wù)系統(tǒng)容災(zāi)備份需求分析在確定醫(yī)院關(guān)于業(yè)務(wù)系統(tǒng)容災(zāi)備份需求之前先明確幾個后文會經(jīng)常用到的關(guān)鍵詞：容災(zāi)備份系統(tǒng)，也稱災(zāi)難備份系統(tǒng)，就是通過建立和維護與原系統(tǒng)完全相同或相似的一個或多個冗余系統(tǒng)，利用地理上分散性或數(shù)據(jù)系統(tǒng)的冗余性來保證數(shù)據(jù)抵御災(zāi)難的能力。它保證數(shù)據(jù)完整性和安全性，并且，當面臨大范圍的突發(fā)性災(zāi)難，如地震、火災(zāi)、水災(zāi)時，能迅速恢復(fù)應(yīng)用系統(tǒng)的數(shù)據(jù)和服務(wù)。RTO恢復(fù)時間目標（recoverytimeobjective)：指災(zāi)難發(fā)生后，信息系統(tǒng)或業(yè)務(wù)功能從停頓到必須恢復(fù)的時間要求。RPO恢復(fù)點目標（recoverypointobjective)：指災(zāi)難發(fā)生后，系統(tǒng)和數(shù)據(jù)必須恢復(fù)到的時間點要求。隨著醫(yī)院各個信息系統(tǒng)的建設(shè)，相關(guān)的數(shù)據(jù)量不斷增加，當遇到災(zāi)難時使用傳統(tǒng)的備份、恢復(fù)會導(dǎo)致耗時過長，嚴重影響業(yè)務(wù)的開展，已經(jīng)不能滿足醫(yī)院的需求。醫(yī)院HIS核心系統(tǒng)有超過一次非計劃停機，其中服務(wù)器硬件故障是核心系統(tǒng)非計劃停機主要原因，非計劃停機排在前三位的是服務(wù)器硬件故障、網(wǎng)絡(luò)故障和數(shù)據(jù)庫故障。硬件故障、軟件故障、人為錯誤，自然災(zāi)害等很多主觀和客觀的原因都會影響到醫(yī)院業(yè)務(wù)系統(tǒng)數(shù)據(jù)的安全，為了保障數(shù)據(jù)的安全和業(yè)務(wù)的連續(xù)性，經(jīng)過多次對醫(yī)院的相關(guān)技術(shù)人員、操作人員和管理人員的訪談，結(jié)合醫(yī)院業(yè)務(wù)系統(tǒng)存在的痛點與業(yè)務(wù)系統(tǒng)的關(guān)鍵程度形成的醫(yī)院容災(zāi)備份需求如下：醫(yī)院的HIS信息管理系統(tǒng)實現(xiàn)應(yīng)用級備份，其他關(guān)鍵業(yè)務(wù)系統(tǒng)PACS、EMR、LIS和CIS等系統(tǒng)實現(xiàn)數(shù)據(jù)級備份。3、醫(yī)療行業(yè)容災(zāi)備份系統(tǒng)架構(gòu)設(shè)計根據(jù)醫(yī)院當前業(yè)務(wù)系統(tǒng)的特點和實際的災(zāi)備建設(shè)需求，實現(xiàn)業(yè)務(wù)系統(tǒng)容災(zāi)備份架構(gòu)設(shè)計主要包括以下幾個方面的內(nèi)容：1、重要信息系統(tǒng)災(zāi)難恢復(fù)指南根據(jù)上級主管部門的相關(guān)文件要求，醫(yī)院業(yè)務(wù)系統(tǒng)的容災(zāi)備份按照五級標準進行建設(shè)，容災(zāi)備份恢復(fù)能力達到五級標準指國務(wù)院信息化工作辦公室發(fā)布的《重要信息系統(tǒng)災(zāi)難恢復(fù)指南》中的第五級，該標準要求如下：

2、容災(zāi)備份系統(tǒng)設(shè)計標準醫(yī)院業(yè)務(wù)系統(tǒng)容災(zāi)備份系統(tǒng)建設(shè)需要遵循以下標準：1.

《中華人民共和國網(wǎng)絡(luò)安全法》2.

《重要信息系統(tǒng)災(zāi)難恢復(fù)規(guī)劃指南》國信辦3.

《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》（GB/T20988-2007)4.

信息技術(shù)設(shè)備的安全（GB4943-2011）5.

電子計算機機房設(shè)計規(guī)范（2018）6.

遵循電子與電氣工程師協(xié)會制定的計算機和電子工業(yè)參考標準7.

遵循國際參考標準化組織制定的各種國際技術(shù)參考標準3、容災(zāi)備份系統(tǒng)設(shè)計方案醫(yī)院建設(shè)容災(zāi)備份系統(tǒng)方案時，依據(jù)技術(shù)先進性、可擴充性、高可靠性、高可用性、成熟性、可管理性等原則進行建設(shè)。按照容災(zāi)系統(tǒng)對應(yīng)用系統(tǒng)的保護程度可以分為數(shù)據(jù)級容災(zāi)和應(yīng)用級容災(zāi)，數(shù)據(jù)級容災(zāi)系統(tǒng)只保證數(shù)據(jù)的完整性、可靠性和安全性，但提供實時服務(wù)的請求在災(zāi)難中會中斷。應(yīng)用級容災(zāi)系統(tǒng)能夠提供不間斷的應(yīng)用服務(wù)，讓服務(wù)請求能夠透明(在災(zāi)難發(fā)生時毫無覺察)地繼續(xù)運行，保證數(shù)據(jù)中心提供的服務(wù)完整、可靠、安全。因此對服務(wù)中斷不太敏感的部分可以選擇數(shù)據(jù)級容災(zāi)，以便節(jié)省成本，在數(shù)據(jù)級容災(zāi)的基礎(chǔ)上構(gòu)建應(yīng)用級容災(zāi)系統(tǒng)，保證實時服務(wù)不間斷運行，為用戶提供更好的服務(wù)。下表是幾種災(zāi)備技術(shù)的對比：數(shù)據(jù)級容災(zāi)實現(xiàn)的方式，OracleGoldenGate是基于日志實時更改數(shù)據(jù)庫捕獲和交付，它抽取在線日志中的數(shù)據(jù)變化，轉(zhuǎn)換為GGS自定義的數(shù)據(jù)格式存放在本地隊列或遠端隊列中。兩端數(shù)據(jù)庫是活動的，備份端可以提供實時的數(shù)據(jù)查詢及報表業(yè)務(wù)等，從而提高系統(tǒng)整體的業(yè)務(wù)處理能力，充分利用備份端的計算能力，提升系統(tǒng)整體業(yè)務(wù)處理性能。數(shù)據(jù)備份軟件可以選擇TSM或是NBU，他們都是成熟的備份軟件，在市場上有很高的占有率，支持Windows、Linux、Unix等操作系統(tǒng)和Oracle、SQLServer、DB2、Informix、Sybase等數(shù)據(jù)庫，可以采用LAN備份或是LAN-Free備份，能夠為醫(yī)院提供企業(yè)級的存儲數(shù)據(jù)管理解決方案，包括備份、歸檔、空間管理以及災(zāi)難恢復(fù)管理等功能實現(xiàn)同城數(shù)據(jù)級容災(zāi)。還可以選用其它的商用災(zāi)備軟件，云災(zāi)備軟件或是備份一體機實現(xiàn)同城應(yīng)用級容災(zāi)，相對來講比在同城災(zāi)備中心部署一套與生產(chǎn)中心相同的硬件設(shè)備投入的成本能少一些。采用存儲同步鏡像的方式實現(xiàn)同城應(yīng)用級容災(zāi)，采用存儲異步鏡像的方式實現(xiàn)異地數(shù)據(jù)級容災(zāi)，容災(zāi)備份系統(tǒng)架構(gòu)圖如下：對于HIS系統(tǒng)要實現(xiàn)應(yīng)用級容災(zāi)，需要在同城災(zāi)備中心增加一套與生產(chǎn)中心相同的服務(wù)器和存儲設(shè)備，兩臺服務(wù)器做集群，分別連接兩臺存儲設(shè)備，兩臺存儲之間做同步鏡像，當任何一臺存儲故障時，另一臺存儲上的鏡像數(shù)據(jù)能保證業(yè)務(wù)起來，一點建議：異地容災(zāi)的配置可以參考同城災(zāi)備中心或可適當?shù)慕档团渲谩４鎯ν界R像的方式，可以做到生產(chǎn)（主）和容災(zāi)（備）中心磁盤陣列同步地進行數(shù)據(jù)更新，應(yīng)用系統(tǒng)的I/O寫入主磁盤陣列后(寫入Cache中)，主磁盤陣列將利用自身的機制（如MetroMirror或SRDF/S）同時將寫I/O寫入后備磁盤陣列，后備磁盤陣列確認后，主中心磁盤陣列才返回應(yīng)用的寫操作完成信息。存儲異步鏡像的方式，是在應(yīng)用系統(tǒng)的I/O寫入主磁盤陣列后(寫入Cache中)，主磁盤陣列立即返回給主機應(yīng)用系統(tǒng)“寫完成”信息，主機應(yīng)用可以繼續(xù)進行讀、寫I/O操作。同時，主中心磁盤陣列將利用自身的機制（如GlobalMirror或SRDF/A）將寫I/O寫入后備磁盤陣列，實現(xiàn)數(shù)據(jù)保護。采用存儲同步鏡像的方式實現(xiàn)同城應(yīng)用級容災(zāi)的優(yōu)勢是同城范圍鏡像數(shù)據(jù)不會丟失；異地鏡像數(shù)據(jù)根據(jù)災(zāi)難情形，可以采用Flashcopy技術(shù)盡可能降低數(shù)數(shù)據(jù)丟失機率；鏡像網(wǎng)絡(luò)中斷恢復(fù)正常后，任意兩地之間可以通過增量方式實現(xiàn)數(shù)據(jù)同步，無需全部數(shù)據(jù)重傳；建設(shè)同城災(zāi)備中心后可以應(yīng)對設(shè)備的硬件故障，生產(chǎn)機房火災(zāi)、漏水等突發(fā)情況，建設(shè)異地容災(zāi)中心，可以避免水災(zāi)、地震等其它的大范圍的自然災(zāi)害，使得數(shù)據(jù)和應(yīng)用的安全等級得到進一步的提升，保障了數(shù)據(jù)安全提升業(yè)務(wù)連續(xù)性。下面是容災(zāi)備份建設(shè)需要關(guān)注的幾個點：線路的選擇：生產(chǎn)中心到同城備份中心的數(shù)據(jù)傳輸采用祼光纖，同城備份中心到異地備份中心采用專線方式，生產(chǎn)中心到異地備份中心采用專線方式，該線路做為備用線路使用，正常情況下數(shù)據(jù)通過同城災(zāi)備中心采用異步傳輸方式復(fù)制到異地災(zāi)備中心，當同城到異地的專線中斷后啟用生產(chǎn)中心到異地的線路，從而保障數(shù)據(jù)的正常備份。應(yīng)用的切換：當生產(chǎn)中心服務(wù)器出現(xiàn)故障后，生產(chǎn)中心的集群功能將應(yīng)用切換到同城災(zāi)備服務(wù)器上，同時災(zāi)備中心的數(shù)據(jù)庫服務(wù)器接管災(zāi)備中心的存儲，進而恢復(fù)數(shù)據(jù)的訪問及業(yè)務(wù)的連續(xù)性。實現(xiàn)應(yīng)用切換的前條件是：1）數(shù)據(jù)已經(jīng)從生產(chǎn)中心同步到災(zāi)備中心，如果數(shù)據(jù)復(fù)制采用的是異步的方式，在網(wǎng)絡(luò)故障的情況下，就有可能造成數(shù)據(jù)不一致的問題，導(dǎo)致數(shù)據(jù)不可用或無法訪問。2）災(zāi)備中心配置與生產(chǎn)中心對應(yīng)的應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器和中間件服務(wù)器等,且運行正常。3）災(zāi)備中心網(wǎng)絡(luò)運行正常或能夠?qū)崿F(xiàn)正常切換。數(shù)據(jù)級容災(zāi)：PACS、EMR、LIS和CIS等應(yīng)用系統(tǒng)做數(shù)據(jù)級容災(zāi)，當生產(chǎn)中心數(shù)據(jù)損壞后，同城和異地生產(chǎn)中心還有一份可用數(shù)據(jù)的副本，同城的存儲與生產(chǎn)中心的存儲采用數(shù)據(jù)同步復(fù)制技術(shù)，與異地災(zāi)備中心的存儲采用數(shù)據(jù)異步復(fù)制技術(shù)。4、醫(yī)療行業(yè)容災(zāi)備份系統(tǒng)實施經(jīng)驗醫(yī)院采用存儲同步鏡像的方式實現(xiàn)同城應(yīng)用級容災(zāi)，如果生產(chǎn)中心存儲發(fā)生意外故障，災(zāi)備中心存儲上的應(yīng)用與數(shù)據(jù)是否能夠正常啟動，數(shù)據(jù)是否一致是擺在施工人員面前的一個問題同時也是檢驗項目是否成功的一個依據(jù)。按以下步驟進行測試：1，通過MetroMirror將存儲1上的數(shù)據(jù)復(fù)制到存儲2，在存儲1不斷添加新的數(shù)據(jù)。2，斷開兩臺存儲之間FCSW的光纖，此時在主機端在存儲1存放新數(shù)據(jù)。

3，接通兩臺存儲之間FCSW的光纖，手工啟動一致性群組可以看到很快一致性群組又回到同步狀態(tài)。4，此時將存儲2重新映射給主機，發(fā)現(xiàn)數(shù)據(jù)與存儲1映射卷上的數(shù)據(jù)一致。

測試結(jié)果說明主備站點的鏈路中斷不影響主站點數(shù)據(jù)的應(yīng)用；鏈路恢復(fù)后，重新同步采用增量方式，可以快速達到重新同步。切換演練在容災(zāi)建設(shè)工作中必不可少，通過演練可以幫助管理人員提高操作水平，提高應(yīng)急恢復(fù)速度；演練工作同時需要控制風(fēng)險，降低對生產(chǎn)系統(tǒng)的影響。演練實現(xiàn)方式有兩種，一是定期或隨時利用容災(zāi)中心所提供的多點快照，加載快照到容災(zāi)主機，同時啟動容災(zāi)數(shù)據(jù)庫和應(yīng)用進行演練和驗證；二是切斷復(fù)制鏈路，直接提取容災(zāi)中心的數(shù)據(jù)盤，啟動容災(zāi)中心應(yīng)用，業(yè)務(wù)演練驗證后既可以將生產(chǎn)端數(shù)據(jù)同步災(zāi)備端數(shù)據(jù)，消除災(zāi)備端由于演練產(chǎn)生的垃圾數(shù)據(jù)，又可以將災(zāi)備端數(shù)據(jù)同步生產(chǎn)端數(shù)據(jù)，保留由于演練產(chǎn)生的真實數(shù)據(jù)。通過切換演練，模擬真實故障恢復(fù)場景，制定應(yīng)急恢復(fù)預(yù)案，檢驗容災(zāi)方案的適用性、有效性。當真實故障發(fā)生時，通過預(yù)案快速恢復(fù)，提高業(yè)務(wù)連續(xù)性。切換演練參考步驟：1，停止業(yè)務(wù)2，操作系統(tǒng)刪盤,varyoff、rmdev3，通過暫掛H1-H2之間的MM關(guān)系cmdsess-quiet-actionsuspendTest_ZB_MM4，H2接管，可以看到這個H2變成targetavailablecmdsess-quiet-actionrecoverTest_ZB_MM5，主存儲移除hostconnect關(guān)系chvolgrp-dev75SK65-actionremove-volume3E01,3E02,3EBBV147

chvolgrp-dev75SK65-actionremove-volume3E01,3E02,3EBBV1486，備存儲添加hostconnect關(guān)系chvolgrp-dev75NK36-actionadd-volume3E01,3E02,3EBBV147

chvolgrp-dev75NK36-actionadd-volume3E01,3E02,3EBBV1487，操作系統(tǒng)認盤，varyon8，啟動本業(yè)務(wù)此時業(yè)務(wù)已經(jīng)在備存儲上運行，運行一段時間后，主存儲恢復(fù)，我們可以選擇將增加的數(shù)據(jù)“沖回”主存儲。9，反轉(zhuǎn)MM關(guān)系（只有enable_copy_to_site_1后，才能startH2->H1）cmdsess-quiet-actionenable_copy_to_site_1Test_ZB_MM10，啟動反向MMcmdsess-quiet-actionstart_h2:h1Test_ZB_MM完成切換演練。5、醫(yī)療行業(yè)容災(zāi)備份系統(tǒng)日常運維方案為確保容災(zāi)系統(tǒng)穩(wěn)定、可靠的運行，達到項目建設(shè)預(yù)期的效果，需要建立容災(zāi)備份系統(tǒng)配套的運維管理制度。具體如下：(1)

建立運維管理的組織架構(gòu)，統(tǒng)一負責(zé)實施、運營維護、應(yīng)急響應(yīng)和恢復(fù)的管理和決策工作。(2)

制定一套完整的容災(zāi)日常運維管理制度,進行人員崗位設(shè)置和職責(zé)劃分，制訂變更管理、問題管理、事件管理、供應(yīng)商管理、介質(zhì)管理、災(zāi)難恢復(fù)中心資源管理等管理制度規(guī)范；制訂系統(tǒng)日常巡檢、系統(tǒng)與維護、系統(tǒng)緊急上下電等技術(shù)規(guī)范模板。(3)

建立一個完整、易用、明確、有效、兼容的災(zāi)難恢復(fù)預(yù)案。a.完整性：災(zāi)難恢復(fù)預(yù)案（以下稱預(yù)案）應(yīng)包含災(zāi)難恢復(fù)的整個過程，以及災(zāi)難恢復(fù)所需的盡可能全面的數(shù)據(jù)和資料；b.易用性：預(yù)案應(yīng)運用易于理解語言和圖表，并適合在緊急情況下使用；c.明確性：預(yù)案應(yīng)采用清晰的結(jié)構(gòu)，對資源進行清楚的描述，工作內(nèi)容和步驟應(yīng)具體，每項工作應(yīng)有明確的責(zé)任人；d.有效性：預(yù)案應(yīng)盡可能滿足災(zāi)難發(fā)生時進行恢復(fù)的實際需要，并保持與實際系統(tǒng)和人員組織的同步更新；e.兼容性：災(zāi)難恢復(fù)預(yù)案應(yīng)與其它應(yīng)急預(yù)案體系有機結(jié)合。制定信息系統(tǒng)災(zāi)難恢復(fù)過程中所需的任務(wù)、行動、數(shù)據(jù)和資源文件，以備不時之需，一旦系統(tǒng)出現(xiàn)重大故障即可采用應(yīng)急預(yù)案恢復(fù)系統(tǒng)，確保容災(zāi)系統(tǒng)能夠發(fā)揮作用。建立一個完整的災(zāi)難恢復(fù)預(yù)案是一個周而復(fù)始、持續(xù)改進的過程。(4)

為使相關(guān)人員了解信息系統(tǒng)災(zāi)難恢復(fù)的目標和流程、熟悉災(zāi)難恢復(fù)的操作規(guī)程，應(yīng)組織災(zāi)難恢復(fù)預(yù)案的教育、培訓(xùn)和演練，不定期的做好容災(zāi)應(yīng)急演練。只有通過反復(fù)的容災(zāi)切換演練，才能發(fā)現(xiàn)并處理災(zāi)難恢復(fù)預(yù)案中潛在的問題，以保證災(zāi)難來臨時，系統(tǒng)能順利切換至容災(zāi)系統(tǒng)，保證業(yè)務(wù)的連續(xù)性。在運維過程中不容易被發(fā)現(xiàn)的問題：1)

通常存儲之間的鏡像會自動同步數(shù)據(jù)，但是在一個存儲出現(xiàn)問題斷開鏈接關(guān)系的時候，一般系統(tǒng)沒有在前面板告警，沒有亮黃燈。所以需要管理員經(jīng)常檢查系統(tǒng)的狀態(tài)才能及時發(fā)現(xiàn)問題。2)

存儲替換升級需要考慮系統(tǒng)之間的兼容性，比如存儲微碼升級工作，要關(guān)注連接存儲的所有主機，確認與操作系統(tǒng)、主機存儲驅(qū)動程序、主機HBA卡微碼，存儲虛擬化設(shè)備等等的兼容性，關(guān)于兼容性風(fēng)險