廣東金融科學(xué)技術(shù)進(jìn)步獎(jiǎng)勵(lì)申報(bào)書高可用

1、廣東金融科學(xué)技術(shù)進(jìn)步獎(jiǎng)勵(lì)申報(bào)書一、項(xiàng)目基本情況項(xiàng)目名稱中文中國(guó)工商銀行廣東省分行開放平臺(tái)高可用項(xiàng)目英文High Availability Project of ICBC Gua ngdo ng branch主要完成人主要完成單位中國(guó)工商銀行股份有限公司廣東省分行信息科技部任務(wù)來源A國(guó)家級(jí)攻關(guān)、B其它國(guó)家計(jì)劃、C總行（公司、局）、 VD 一級(jí)分行、E其它單位委托、F中外合作、G自選、H非 職務(wù)、I其它。計(jì)劃名稱和 編 號(hào)研制起止時(shí)間2012年4月-2013年1月成果用于生產(chǎn)時(shí)間2013年1月成果進(jìn)度A階段性成果VB最終成果C可否轉(zhuǎn)讓基層申報(bào)單位中國(guó)工商銀行股份有限公司廣東省分行信息科技部組織鑒定

2、單位和時(shí)間申報(bào)部門中國(guó)工商銀行股份有限公司廣東省分行信息科技部申報(bào)日期2013年11月25日申報(bào)等級(jí)二級(jí)審 定 或推薦等級(jí)建議密級(jí)A絕密B機(jī)密V C秘密批準(zhǔn)密級(jí)A絕密B機(jī)密C秘密保密編號(hào)可否公布可市級(jí)成果登記號(hào)?。ú浚┘?jí) 成果登記號(hào)國(guó) 家級(jí) 成果登記號(hào)圖書資料分類號(hào)社會(huì)/經(jīng)濟(jì)目標(biāo)A陸地海洋大氣、B民用宇航、C農(nóng)林牧漁、D工業(yè)、E能源、F交通 通信、G教育、H衛(wèi)生醫(yī)藥、VI社會(huì)經(jīng)濟(jì)發(fā)展、J生態(tài)環(huán)保、K知識(shí)全 面發(fā)展、L其它民用目標(biāo)、M國(guó)防獎(jiǎng)勵(lì)類別A新成果、VB推廣、C米用新技術(shù)、D消化吸收、E標(biāo)準(zhǔn)、F計(jì)量、G情報(bào)、H軟科學(xué)、1其它應(yīng)用行業(yè)A農(nóng)林牧漁水、B工業(yè)、C地址、勘探、D建筑業(yè)、E交通、郵電

3、、通 訊業(yè)、F商業(yè)、飲食、供銷、倉(cāng)儲(chǔ)、G房地產(chǎn)、公共服務(wù)、H衛(wèi)生、體 育、社會(huì)福利、1文教、廣播電視、J科研技術(shù)服務(wù)、V K金融、保險(xiǎn)、L黨政機(jī)關(guān)團(tuán)體、M國(guó)防專用、N公安、安全、0其它行業(yè)本項(xiàng) 目 主 題 詞高可用，負(fù)載均衡，數(shù)據(jù)保護(hù)。內(nèi)容摘要：（600-800漢字）（大家改）由于現(xiàn)代社會(huì)對(duì)于金融業(yè)務(wù)連續(xù)性的要求日益提高，尤其是直接面對(duì)銀行客戶的業(yè)務(wù)服務(wù)，業(yè)務(wù)中斷帶來的直接經(jīng)濟(jì)損失和社會(huì)聲譽(yù)損失日益增大，因此，提升信息系統(tǒng)的可 用性能獲得巨大的效益。隨著IT技術(shù)的迅速發(fā)展，PC服務(wù)器和各種Unix服務(wù)器性能也飛速提高，使得這些 服務(wù)器能夠承載以前只有高端設(shè)備才能完成的計(jì)算任務(wù)， 與此同時(shí)，這些

4、服務(wù)器的性價(jià)比 較好，使得能夠采用各種高可用技術(shù)以提高其性能和可靠性。廣東省分行從2012年實(shí)施開放平臺(tái)高可用項(xiàng)目，根據(jù)應(yīng)用系統(tǒng)的重要性分為5個(gè)級(jí)別，針對(duì)26套系統(tǒng)采用統(tǒng)一的技術(shù)要求進(jìn)行了項(xiàng)目實(shí)施，目前應(yīng)用系統(tǒng)關(guān)聯(lián)較為復(fù)雜， 方案以服務(wù)器為節(jié)點(diǎn)采用各種技術(shù)提升可用性，主要實(shí)施內(nèi)容包含單臺(tái)網(wǎng)卡聚合、光纖卡 冗余，對(duì)應(yīng)用服務(wù)器實(shí)施負(fù)載均衡和多點(diǎn)接入，對(duì)oracle數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)保護(hù)，這些技術(shù)綜合起來都是以消除單點(diǎn)風(fēng)險(xiǎn)來提升可用性的。26套系統(tǒng)中，直接面向客戶的柜面交易、自助設(shè)備等系統(tǒng)屬于高級(jí)別應(yīng)用，還在同城機(jī)房實(shí)施多點(diǎn)接入，實(shí)現(xiàn)了單點(diǎn)機(jī)房故障時(shí)的 業(yè)務(wù)連續(xù)性功能。2012年下半年逐步完成各應(yīng)用系統(tǒng)

5、實(shí)施以來，未發(fā)生過因部件故障而影響業(yè)務(wù)的情 況，為信息系統(tǒng)的連續(xù)性提供了強(qiáng)力的保障。5 / 28當(dāng)前國(guó)（?。﹥?nèi)外同類先進(jìn)技術(shù)概況黃俊未有系統(tǒng)性地進(jìn)行相關(guān)項(xiàng)對(duì)于銀行系統(tǒng)來說，業(yè)務(wù)連續(xù)性要高于很多行業(yè)，上網(wǎng)查 目建設(shè)。我也去上網(wǎng)查，。7 / 28申報(bào)項(xiàng)目的詳細(xì)情況及申報(bào)理由1項(xiàng)目的主要技術(shù)內(nèi)容A. 采用的技術(shù)原理（羅綿川）1、應(yīng)用服務(wù)器負(fù)載均衡2、網(wǎng)卡聚合3、數(shù)據(jù)庫(kù)數(shù)據(jù)保護(hù)4、自動(dòng)切換腳本B. 關(guān)鍵技術(shù)及創(chuàng)新點(diǎn)（鄧忠京）高可用模型的建立：據(jù)不完全統(tǒng)計(jì)，造成非計(jì)劃宕機(jī)的原因主要有硬件問題（40%）、軟件問題（30%）、人為因素（20%）、環(huán)境因素（10%），因此，高可用模型的建立充分的 考慮了上述因

6、素。該模型主要涉及主機(jī)、數(shù)據(jù)、存儲(chǔ)、網(wǎng)絡(luò)等多部份內(nèi)容，高可用模型為 項(xiàng)目規(guī)劃設(shè)計(jì)提供了整體框架，可以通過某個(gè)環(huán)節(jié)的可用性指標(biāo)對(duì)整體可用率的影響程度 進(jìn)行分析，反之，將整體可用率也可分解為各關(guān)鍵環(huán)節(jié)的可用率指標(biāo)（例如應(yīng)用可用率、 系統(tǒng)可用率），對(duì)各環(huán)節(jié)的高可用規(guī)劃設(shè)計(jì)提出具體建設(shè)要求，這種從局部到全局，再?gòu)?全局分解到局部的雙向可逆模型，為我行高可用建設(shè)提供了整體框架及具體實(shí)施依據(jù)。高可用模型建立的關(guān)鍵因素（key factor）包括：應(yīng)用級(jí)別、災(zāi)備等級(jí)、設(shè)備冗余、數(shù)據(jù)冗余、 網(wǎng)絡(luò)冗余、RTO目標(biāo)及操作風(fēng)險(xiǎn)控制等，具體說明如下：應(yīng)用級(jí)別分為A/B/C/D四類，其中A/B類為7*24小時(shí)不中斷業(yè)務(wù)

7、，對(duì)RTO及冗余度 要求最高。災(zāi)備等級(jí)分為1-5級(jí)，數(shù)字越大級(jí)別越高，例如綜合前置類應(yīng)用災(zāi)備等級(jí)為5,表示既需要在本地中心機(jī)房部署主備機(jī)，又同時(shí)在災(zāi)備機(jī)房也部署該類應(yīng)用。設(shè)備冗余主要分為負(fù)載均衡、主備模式、HA自動(dòng)切換，其中主備模式又細(xì)分為熱備、冷備或N+1冷備。數(shù)據(jù)冗余包括是否接入SAN存儲(chǔ)，采用何種數(shù)據(jù)冗余方式（例如 RAID1、RAID5）， 如果是數(shù)據(jù)庫(kù)，還需要指定是否實(shí)施 Oracle dataguard Oracle RAC等數(shù)據(jù)保護(hù)技術(shù)。網(wǎng)絡(luò)冗余主要包括是否實(shí)施多網(wǎng)卡聚合技術(shù)，以及光纖連接方式，例如雙服務(wù)器、雙 交換機(jī)和雙通信通路，實(shí)現(xiàn)交叉互聯(lián)。RTO目標(biāo)及操作風(fēng)險(xiǎn)控制，主要說明

8、該套應(yīng)用可以容忍的最大RTO，例如綜合前置為30min，操作風(fēng)險(xiǎn)控制手段主要為是否投產(chǎn)我行自研發(fā)的主備切換腳本。以中間業(yè)務(wù)平臺(tái)應(yīng)用為例，建立了高可用模型樹，見圖表二。高可用項(xiàng)目全過程的風(fēng)險(xiǎn)控制：采用ITSM（IT服務(wù)管理）對(duì)高可用項(xiàng)目進(jìn)行全過程的風(fēng)險(xiǎn)控制，從被動(dòng)審計(jì)變主動(dòng)的風(fēng)控體系建設(shè)，控制過程貫穿包括從立項(xiàng)、開發(fā)、測(cè)試到最后 實(shí)施及驗(yàn)收階段。對(duì)高可用架構(gòu)實(shí)施的每個(gè)過程進(jìn)行風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估，并定義了 KPI（關(guān) 鍵績(jī)效指標(biāo)，詳見圖表一）對(duì)項(xiàng)目進(jìn)行風(fēng)險(xiǎn)控制，以確保項(xiàng)目建設(shè)與總行規(guī)劃、全行經(jīng)營(yíng) 戰(zhàn)略目標(biāo)保持高度一致。通過實(shí)施 ITSM,將高可用架構(gòu)規(guī)劃過程、IT資源、經(jīng)營(yíng)策略及 目標(biāo)聯(lián)系起來，形

9、成一個(gè)三維體系結(jié)構(gòu)。IT資源主要包括項(xiàng)目人力、應(yīng)用系統(tǒng)、技術(shù)、設(shè)備、數(shù)據(jù)等在內(nèi)的相關(guān)資源；高可 用架構(gòu)規(guī)劃過程則是在企業(yè)經(jīng)營(yíng)策略及目標(biāo)的指導(dǎo)下，對(duì)系統(tǒng)從立項(xiàng)、開發(fā)、測(cè)試到最后 實(shí)施及驗(yàn)收階段確定的多個(gè)處理過程， 每個(gè)處理過程包括更加詳細(xì)的控制目標(biāo)、項(xiàng)目是否符合企業(yè)要求的評(píng)估。高可用項(xiàng)目風(fēng)險(xiǎn)定量評(píng)估模型的建立：（1）應(yīng)用系統(tǒng)類型，包括應(yīng)用等級(jí)、系統(tǒng) RTO以中間業(yè)務(wù)平臺(tái)為例，中間業(yè)務(wù)為 B類應(yīng)用，對(duì)外服務(wù)RTC為30分鐘。（2）重大風(fēng)險(xiǎn)識(shí)別重大風(fēng)險(xiǎn)包括：系統(tǒng)或數(shù)據(jù)庫(kù)服務(wù)異常、關(guān)鍵進(jìn)程宕、網(wǎng)絡(luò)故障、外部環(huán)境原因、操作失誤等，總體上可概括為系統(tǒng)風(fēng)險(xiǎn)、技術(shù)風(fēng)險(xiǎn)、操作風(fēng)險(xiǎn)等。（3）高可用結(jié)構(gòu)對(duì)可用率影響

10、的風(fēng)險(xiǎn)評(píng)估以中間業(yè)務(wù)為例，設(shè)備冗余包括3臺(tái)應(yīng)用服務(wù)器（F5負(fù)載均衡）、1臺(tái)數(shù)據(jù)庫(kù)服務(wù)器、1臺(tái)數(shù)據(jù)庫(kù)standby備機(jī)；網(wǎng)絡(luò)冗余包括所有服務(wù)器均實(shí)施了雙網(wǎng)卡聚合技術(shù)，雙光 纖卡4通道技術(shù)；數(shù)據(jù)冗余包括實(shí)施了數(shù)據(jù)庫(kù)物理 standby技術(shù)；操作風(fēng)險(xiǎn)控制手段 包括實(shí)施主備切換半自動(dòng)化腳本，減少人工操作帶來的失誤率。應(yīng)用可用率計(jì)算為：十 Ptnnet x II eightiU -JxlOO%Stmwn：表示某個(gè)應(yīng)用發(fā)生的告警事件的數(shù)量Ptime :表示報(bào)警的持續(xù)時(shí)間，單位：秒Weighti:某一種告警事件對(duì)整個(gè)應(yīng)用的影響度；關(guān)鍵進(jìn)程宕對(duì)應(yīng)用影響度為100%Mi:表示應(yīng)用節(jié)點(diǎn)的臺(tái)數(shù) ，例如中間平臺(tái)系統(tǒng)有

11、 5臺(tái)，則Mi=5Stime:表示某應(yīng)用對(duì)外服務(wù)的時(shí)間，單位：秒；以一周為例，Stime=60*60*24*7=604800秒由上可見，采用上述高可用架構(gòu)的情況下，當(dāng)數(shù)據(jù)庫(kù)服務(wù)器主機(jī)宕機(jī)的應(yīng)用可用率影 響是最大的，而應(yīng)用服務(wù)器由于做了負(fù)載均衡， 應(yīng)用服務(wù)器關(guān)鍵進(jìn)程宕對(duì)高可用服務(wù)的整 體影響為0。而由于采用了 oracle standby 的數(shù)據(jù)保護(hù)結(jié)構(gòu)，當(dāng)數(shù)據(jù)庫(kù)服務(wù)出現(xiàn)異常情 況下，高可用架構(gòu)仍能保證RTC不超過最大容忍度。相反，如果不采用應(yīng)用服務(wù)器負(fù)載均衡方式，甚至應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器部署在同一臺(tái)機(jī)器，那么關(guān)鍵進(jìn)程宕對(duì)應(yīng)用影響度將達(dá)100%風(fēng)險(xiǎn)大大增加。圖表一說明了項(xiàng)目全過程控制中的各個(gè)

12、 KPI數(shù)據(jù)。（4）風(fēng)險(xiǎn)重復(fù)計(jì)算及補(bǔ)償性控制由于中間業(yè)務(wù)平臺(tái)數(shù)據(jù)庫(kù)保護(hù)實(shí)施了oracle sta ndby技術(shù)，在發(fā)生數(shù)據(jù)庫(kù)服務(wù)異常情況下將對(duì)業(yè)務(wù)連續(xù)性產(chǎn)生影響，雖然采用oracle sta ndby技術(shù)能確保數(shù)據(jù)庫(kù)服務(wù)及時(shí)切換至備機(jī)，但新的系統(tǒng)風(fēng)險(xiǎn)、操作風(fēng)險(xiǎn)也隨切換過程伴隨而來，因此，有必要實(shí)施風(fēng)險(xiǎn) 的補(bǔ)償性控制，例如，建立ITSM流程控制，對(duì)應(yīng)急方案、變更方案進(jìn)行流程化審核；實(shí) 施主備切換半自動(dòng)化腳本，減少人工操作帶來的失誤率，控制操作風(fēng)險(xiǎn)。研發(fā)高可用架構(gòu)半自動(dòng)化切換腳本，有效降低人為操作風(fēng)險(xiǎn)，減少RTO :由于高可用架構(gòu)應(yīng)用主備間切換涉及關(guān)聯(lián)關(guān)系復(fù)雜，主備可能是Oracle datagu

13、ard結(jié)構(gòu)、冷備N+1結(jié)構(gòu)，人為操作上的“失誤”可能帶來極其嚴(yán)重的后果和不可估計(jì)的經(jīng)濟(jì)損失，基于此， 我行自行研發(fā)了高可用架構(gòu)半自動(dòng)化切換腳本。該腳本減少了主備切換時(shí)人為干預(yù)的操 作，自動(dòng)進(jìn)行應(yīng)用進(jìn)程啟停、存儲(chǔ)切換、網(wǎng)絡(luò)服務(wù)接管，有效降低了人為操作風(fēng)險(xiǎn)，并大大縮短了 RTO，明顯提升了我行高可用架構(gòu)可用率指標(biāo)C. 必要的圖表圖表一：高可用項(xiàng)目ITIL目標(biāo)KPI過程目標(biāo)KPI項(xiàng)計(jì)算依據(jù)實(shí)際KPI計(jì)算結(jié) 果符合服務(wù)級(jí) 別協(xié)議(SLAs)的交易響應(yīng)時(shí)間交易超時(shí)率mXi 4 ioo%Yi 1M:表示交易種類個(gè)數(shù)，例如綜合前置共分為 POSATM 自助終端三類X:表示某種交易超時(shí)數(shù)Y:表示某種交易的交易量最小化交易故障應(yīng)用可用率亡x Weight,(1MJxIOOOqStme只要Ptime為0，應(yīng)用可用率即為100%n：表示某個(gè)置應(yīng)用發(fā)生的告警事件的數(shù)量Ptime :表示報(bào)警的持續(xù)時(shí)間，單位：秒Weighti:某一種告警事件對(duì)整個(gè)應(yīng)用的影響度；關(guān)鍵進(jìn)程宕對(duì)應(yīng)用影響度為100%Mi:表示某一種應(yīng)用節(jié)點(diǎn)的臺(tái)數(shù)，例如綜合前置系統(tǒng)有2臺(tái)，則Mi=2Stime:表示某應(yīng)用對(duì)外服務(wù)的時(shí)間，單位：秒 ；以一周為例，Stime=60*60*24*7=604800 秒最小化停機(jī)系統(tǒng)可用時(shí)間率只要Ptime為0，最小的RTO主備切換時(shí)間(l-