中國(guó)移動(dòng)拓展思路，勇創(chuàng)新，實(shí)現(xiàn)應(yīng)急保障早、快、小

1 拓展思路，勇創(chuàng)新， 實(shí)現(xiàn)應(yīng)急保障“早、快、小” 2 匯報(bào)內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 3 應(yīng)急保障系統(tǒng)的建設(shè)理念 應(yīng)急保障系統(tǒng)的建設(shè)，首先要明確系統(tǒng) “保什么、怎么保、追求什么” 。 我們認(rèn)為一個(gè)完善、高效的應(yīng)急系統(tǒng)應(yīng)具備以下特點(diǎn)： 浙江公司應(yīng)急保障系統(tǒng)具備處理故障時(shí)“ 發(fā)現(xiàn) 早 、響應(yīng) 快 、影響 小 ”等能力 及時(shí)、快速 分層分級(jí) 重點(diǎn)業(yè)務(wù) 重點(diǎn)保障 總體能力 及時(shí)發(fā)現(xiàn)問(wèn)題 快速定位問(wèn)題 快速處理問(wèn)題 系統(tǒng)快速恢復(fù) 分層 依據(jù)系統(tǒng)每層架構(gòu)特點(diǎn)， 構(gòu)建不同的應(yīng)急保障方 案； 實(shí)現(xiàn)應(yīng)急保障體系的多樣 化、立體化 分級(jí) 不同重要等級(jí)的業(yè)務(wù)系 統(tǒng)，采用不同級(jí)別的應(yīng)急 保障機(jī)制 實(shí)現(xiàn)資源使用效益的最大化 業(yè)務(wù)分類 根據(jù)不同業(yè)務(wù)特點(diǎn)及保障需求，制定不同的應(yīng)急方案 實(shí)現(xiàn)前后臺(tái)業(yè)務(wù)部署分離，單筆業(yè)務(wù)與批量業(yè)務(wù)部署分離 重點(diǎn)保證 重點(diǎn)保障前臺(tái)業(yè)務(wù)、客戶主動(dòng)發(fā)起業(yè)務(wù) 實(shí)現(xiàn)業(yè)務(wù)應(yīng)急保障 主次有序，重點(diǎn)突出，管理高效 4 應(yīng)急保障系統(tǒng)建設(shè)現(xiàn)狀 業(yè)務(wù)統(tǒng)一門戶集群模式部署，由負(fù)載均衡設(shè)備實(shí)現(xiàn)主備節(jié)點(diǎn)自動(dòng)切換 核心 CRM系統(tǒng)構(gòu)建了數(shù)據(jù)級(jí)容災(zāi)；其應(yīng)用分布式部署，并實(shí)現(xiàn)前后臺(tái)、單筆與批量業(yè)務(wù)的分離部署 針對(duì)關(guān)鍵子系統(tǒng)：產(chǎn)品管理平臺(tái)、綜合查詢子系統(tǒng)建設(shè)了應(yīng)用級(jí)容災(zāi)系統(tǒng) BOSS核心系統(tǒng)：計(jì)費(fèi)系統(tǒng)、開(kāi)通平臺(tái)、帳務(wù)管理、充值系統(tǒng)均構(gòu)建了從應(yīng)用服務(wù)到數(shù)據(jù)層面的應(yīng)急容災(zāi)系統(tǒng) 多中心間的公共數(shù)據(jù)庫(kù)采用數(shù)據(jù)級(jí)容災(zāi)方案，增強(qiáng)公用類數(shù)據(jù)的應(yīng)急保障能力 5 核心業(yè)務(wù)系統(tǒng)均建設(shè)了對(duì)等的同城異地應(yīng)急容災(zāi)系統(tǒng) 核心系統(tǒng)組網(wǎng)現(xiàn)狀 中 心 2 主應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫(kù) 服 務(wù) 器H P I S D 分 區(qū)陣 列H P X P 2 4 0 0 0 * 1B C 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 4陣 列H P X P 2 4 0 0 0 * 1數(shù) 據(jù) 庫(kù) 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 2數(shù) 據(jù) 庫(kù) 服 務(wù) 器H P I S D * 2 分 區(qū)陣 列H P X P 2 4 0 0 0 * 1濱江三層B C 服 務(wù) 器中 心 3 備學(xué)院路六層I PS A NI PS A NI PS A N陣 列H P X P 2 4 0 0 0 * 1中 心 3 主 中 心 1 備三墩機(jī)房3 - 2中 心 1 主應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫(kù) 服 務(wù) 器H P I S D 分 區(qū)B C 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 2陣 列H P X P 2 4 0 0 0 * 1數(shù) 據(jù) 庫(kù) 服 務(wù) 器中 心 2 備圖 例 ：新 增B C 服 務(wù) 器H P I S D * 2 分 區(qū)數(shù) 據(jù) 庫(kù) 服 務(wù) 器H P I S D * 2 分 區(qū)B C 服 務(wù) 器H P I S D * 2 分 區(qū)B C 服 務(wù) 器應(yīng) 用 服 務(wù) 器H P 9 0 0 0 S D * 2三墩機(jī)房2 - 3應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫(kù) 服 務(wù) 器H P I S D 分 區(qū)數(shù) 據(jù) 庫(kù) 服 務(wù) 器數(shù) 據(jù) 庫(kù) 服 務(wù) 器H P I S D 分 區(qū)應(yīng) 用 服 務(wù) 器H P I S D 分 區(qū)陣 列H P X P 2 4 0 0 0 * 16 采用的應(yīng)急容災(zāi)核心技術(shù)方案 應(yīng)急容災(zāi) 核心技術(shù) 應(yīng)用服務(wù)集群部署技術(shù)： 借助智能 DNS，實(shí)現(xiàn)應(yīng)用服務(wù)與前端 WEB服務(wù)間的多路訪問(wèn)模式（類似 TAF技術(shù) ) 實(shí)現(xiàn)應(yīng)用服務(wù)數(shù)據(jù)庫(kù)訪問(wèn)的自動(dòng)重連 存儲(chǔ)底層數(shù)據(jù)復(fù)制技術(shù) ：關(guān)鍵業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)采用底層數(shù)據(jù)復(fù)制技術(shù)（ HP CA），保障數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步到容災(zāi)系統(tǒng) 數(shù)據(jù)庫(kù)多節(jié)點(diǎn)集群技術(shù) ： 數(shù)據(jù)庫(kù)采用 ORACLE RAC + TAF集群模式，實(shí)現(xiàn)節(jié)點(diǎn)的自動(dòng)切換，增強(qiáng)本地?cái)?shù)據(jù)訪問(wèn)的高可用性 數(shù)據(jù)庫(kù)系統(tǒng)容災(zāi)自動(dòng)監(jiān)測(cè)分析及切換技術(shù) ： 采用突破性的創(chuàng)新理念及技術(shù)，實(shí)現(xiàn)系統(tǒng)健康度的自動(dòng)監(jiān)測(cè)，并依據(jù)結(jié)果實(shí)現(xiàn)容災(zāi)的自動(dòng)切換 借助負(fù)載均衡器及智能 DNS，實(shí)現(xiàn)前端 WEB服務(wù)的集群部署，主備節(jié)點(diǎn)自動(dòng)、快速切換 針對(duì)關(guān)鍵類業(yè)務(wù)，提供輕量級(jí)的應(yīng)急系統(tǒng)，實(shí)現(xiàn)快速切換 7 匯報(bào)內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 8 依托完善的應(yīng)急保障管理體系，確保系統(tǒng)的快速恢復(fù) 完善的組織職責(zé)設(shè)置 全面的業(yè)務(wù)影響性分析 完善的恢復(fù)策略設(shè)置 有效的計(jì)劃測(cè)試、培訓(xùn) 和演習(xí) 標(biāo)準(zhǔn)的災(zāi)難恢復(fù)流程定義 浙江公司已構(gòu)建了較為完善的應(yīng)急保障管理體系；體系中的每個(gè)環(huán)節(jié)都有相應(yīng)的執(zhí)行文檔，已經(jīng)規(guī)范化的實(shí)施流程 評(píng)估各類應(yīng)用系統(tǒng)和服務(wù)流程，決定其對(duì)公司的業(yè)務(wù)重要性 評(píng)估災(zāi)難或服務(wù)中斷帶來(lái)的成本損失 定義應(yīng)用系統(tǒng)和業(yè)務(wù)服務(wù)流程的恢復(fù)優(yōu)先級(jí) 清晰定義各類關(guān)鍵業(yè)務(wù)系統(tǒng)的 RTO、 RPO指標(biāo) 明確規(guī)定備份的頻率、方式 制定容災(zāi)點(diǎn)選擇標(biāo)準(zhǔn) 按照高性價(jià)比的原則選擇出最優(yōu)的恢復(fù)策略 災(zāi)難恢復(fù)流程劃分為以下階段： 通知啟動(dòng)階段 恢復(fù)階段 重建階段 關(guān)閉階段 制定測(cè)試計(jì)劃內(nèi)容 定義測(cè)試計(jì)劃類型 規(guī)范測(cè)試流程 制定培訓(xùn)計(jì)劃 定義演習(xí)內(nèi)容 規(guī)范演習(xí)流程 規(guī)劃和建立應(yīng)急保障管理團(tuán)隊(duì) 制定其組成結(jié)構(gòu)和其相應(yīng)的角色、職責(zé)、崗位人員 明確其災(zāi)難或重大故障是的溝通模式 9 應(yīng)急保障組織的設(shè)置方案 角色 職責(zé) 信息技術(shù)部服務(wù)連續(xù)性主管領(lǐng)導(dǎo) 作為信息管理部的代表參加公司層面的業(yè)務(wù)連續(xù)性管理團(tuán)隊(duì) IT服務(wù)連續(xù)性計(jì)劃負(fù)責(zé)人，回顧和評(píng)審、批準(zhǔn)對(duì)它的修改 領(lǐng)導(dǎo)信息技術(shù)部的服務(wù)連續(xù)性管理團(tuán)隊(duì)，宣布災(zāi)難，激活 IT服務(wù)連續(xù)性計(jì)劃，指揮信息技術(shù)部經(jīng)歷災(zāi)難和服務(wù)恢復(fù) 與中國(guó)移動(dòng)浙江公司層面的業(yè)務(wù)連續(xù)性管理團(tuán)隊(duì)進(jìn)行溝通，成為業(yè)務(wù)連續(xù)性管理團(tuán)隊(duì)的成員 IT服務(wù)連續(xù)性經(jīng)理 創(chuàng)建并維護(hù)一個(gè)合適的業(yè)務(wù)連續(xù)性計(jì)劃，該計(jì)劃需要明確在災(zāi)難發(fā)生時(shí)該如何發(fā)應(yīng) 擔(dān)當(dāng) IT服務(wù)連續(xù)性計(jì)劃引入之后的單一聯(lián)系人 在 IT服務(wù)恢復(fù)過(guò)程中協(xié)調(diào) IT服務(wù)團(tuán)隊(duì)的活動(dòng)與資源，并向服務(wù)連續(xù)性主管領(lǐng)導(dǎo)報(bào)告恢復(fù)狀況 協(xié)助服務(wù)連續(xù)性主管領(lǐng)導(dǎo)制定決策或者升級(jí) 負(fù)責(zé)與公司業(yè)務(wù)連續(xù)性管理團(tuán)隊(duì)協(xié)調(diào)人進(jìn)行溝通以得到對(duì)方的支持和 IT服務(wù)恢復(fù)狀況的反饋 與客戶和合作伙伴進(jìn)行協(xié)調(diào)溝通，必要時(shí)請(qǐng)他們參與其中 IT服務(wù)連續(xù)性管理員 對(duì)損壞情況進(jìn)行評(píng)估以判斷損壞程度并估計(jì)恢復(fù)時(shí)間 將損壞程度和 IT服務(wù)恢復(fù)狀況通知服務(wù)連續(xù)性主管領(lǐng)導(dǎo)和 IT服務(wù)連續(xù)性經(jīng)理。協(xié)助連續(xù)性經(jīng)理制定決策。 在整個(gè)災(zāi)難恢復(fù)過(guò)程中領(lǐng)導(dǎo)并協(xié)調(diào) IT服務(wù)團(tuán)隊(duì)的活動(dòng)，并遵循前期制定的災(zāi)難恢復(fù)計(jì)劃 組織對(duì)災(zāi)難恢復(fù)計(jì)劃進(jìn)行開(kāi)發(fā)，測(cè)試和維護(hù) 災(zāi)難恢復(fù)團(tuán)隊(duì) 負(fù)責(zé)恢復(fù) IT服務(wù)計(jì)算機(jī)環(huán)境，以及連續(xù)性管理員管理下的所有應(yīng)用軟件 對(duì)災(zāi)難恢復(fù)計(jì)劃進(jìn)行測(cè)試和維護(hù) 在災(zāi)難恢復(fù)計(jì)劃中定義詳細(xì)的災(zāi)難恢復(fù)團(tuán)隊(duì)的信息 10 在規(guī)范的管理體系中，每個(gè)環(huán)節(jié)都有標(biāo)準(zhǔn)執(zhí)行文檔 通知啟動(dòng)階段 恢復(fù)階段 重建階段 關(guān)閉階段 1 2 3 4 災(zāi)難恢復(fù)流程 11 基于災(zāi)難恢復(fù)流程，科學(xué)有序的實(shí)施應(yīng)急保障 信息技術(shù)中心根據(jù)集團(tuán)公司和浙江公司業(yè)務(wù)連續(xù)性計(jì)劃，充分支持業(yè)務(wù)的需求和需要來(lái)規(guī)劃應(yīng)急保障管理流程。設(shè)置了專門的應(yīng)急組、應(yīng)急角色 ，并制定了科學(xué)的災(zāi)難恢復(fù)流程 12 基于規(guī)范化流程，確立了與其他部門間的溝通機(jī)制 公司各部門間的應(yīng)急保障主控流程 各部門職責(zé)： 市場(chǎng)部 ：危機(jī)應(yīng)急方案的業(yè)務(wù)總調(diào)度；和信息技術(shù)部討論后決定啟用什么樣的應(yīng)急流程； 信息技術(shù)部 ：危機(jī)的準(zhǔn)確診斷 ;危機(jī)診斷信息的及時(shí)報(bào)告； 涉及到技術(shù)層面的危機(jī)修復(fù) 客戶服務(wù)部 ： 服務(wù)應(yīng)急方案（包括營(yíng)業(yè)廳通告、解釋口徑制定等）的及時(shí)調(diào)度 客戶服務(wù)中心： 危機(jī)處理應(yīng)急流程的執(zhí)行（例如：為用戶提供緊急復(fù)機(jī)、跟用戶做好相關(guān)的解釋工作等） 網(wǎng)管中心： 協(xié)調(diào)地市網(wǎng)絡(luò)部對(duì)地市市場(chǎng)部門提供的投訴用戶進(jìn)行及時(shí)復(fù)機(jī) 涉及相關(guān)子流程： 危機(jī)信息上報(bào)流程； 危機(jī)診斷和應(yīng)急處理流程 危機(jī)信息知會(huì)流程 處理進(jìn)展信息知會(huì)流程 13 應(yīng)急演練的常態(tài)化、規(guī)范化，有力保障了容災(zāi)切換的成功率 在應(yīng)急保障管理體系中，制定了完善的應(yīng)急演練計(jì)劃，并編寫了相應(yīng)的演習(xí)方案，以及演習(xí)操作手冊(cè)。從而大大規(guī)范了應(yīng)急演練操作，使其常態(tài)化，保障了災(zāi)難發(fā)生時(shí)容災(zāi)切換的高成功率 演練原則 ：為確保 BOSS容災(zāi)系統(tǒng)層隨時(shí)正常可用，需要增強(qiáng)操作人員對(duì)系統(tǒng)層容災(zāi)切換步驟的熟練程度，保證切換工作順利，有序，高效的完成 演練范圍 ：包括 BOSS系統(tǒng)中已建設(shè)容災(zāi)的相關(guān)系統(tǒng)，根據(jù)后期容災(zāi)系統(tǒng)建設(shè)情況，調(diào)整相應(yīng)的演練范圍 演練內(nèi)容 ：抽查操作時(shí)，被抽查人根據(jù)指定的系統(tǒng)，可參照操作手冊(cè)進(jìn)行操作，要求被抽查人能在具體操作中做到正確、熟練的執(zhí)行相關(guān)步驟 演練時(shí)間： 演練時(shí)間分為 月演練和周演練 月演練指每月執(zhí)行一次 所有容災(zāi)系統(tǒng)的切換演練 ； 周演練指每周執(zhí)行一次 指定容災(zāi)系統(tǒng)（演練范圍中選定兩個(gè)）的切換演練 演練人員 ： 演練人員范圍包括系統(tǒng)優(yōu)化室主機(jī)組所有成員 演練過(guò)程記錄表 14 規(guī)范全面的演練方案，有力保證了應(yīng)急演練的效果 應(yīng)急演練執(zhí)行方案 涉及到的相關(guān)文檔 15 15 構(gòu)建應(yīng)急預(yù)案庫(kù)，完善應(yīng)急保障處理機(jī)制 針對(duì)每類故障類型、來(lái)源、以及業(yè)務(wù)場(chǎng)景，構(gòu)建對(duì)應(yīng)的預(yù)案關(guān)聯(lián)信息，規(guī)范每種故障、災(zāi)難的處理流程、提升應(yīng)急保障的響應(yīng)效率，以及保障實(shí)施的準(zhǔn)確性 目前預(yù)案庫(kù)主要涵蓋了安全 ,網(wǎng)絡(luò) ,硬件設(shè)備 ,應(yīng)用軟件 ,備份 ,機(jī)房 ,電源安全等 在定義應(yīng)急預(yù)案時(shí)，也同時(shí)制定相應(yīng)的演練措施，并定期實(shí)施應(yīng)急演習(xí) 應(yīng)急預(yù)案庫(kù)包含的 應(yīng)急方案及預(yù)案類別 應(yīng)急預(yù)案 啟動(dòng)條件及執(zhí)行人 16 匯報(bào)內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 17 借助 BAM系統(tǒng)，及時(shí)預(yù)見(jiàn)系統(tǒng)潛在故障 全路徑全流程 -全地域全用戶立體監(jiān)控 業(yè)務(wù)層 ： IT部門管理者將重點(diǎn)關(guān)注 邏輯層 ：應(yīng)用維護(hù)和優(yōu)化人員關(guān)注整個(gè)應(yīng)用系統(tǒng)的狀態(tài) 物理層 ：配置管理員了解物理設(shè)備的存放位置和信息 性能數(shù)據(jù) ：實(shí)時(shí) KPI數(shù)據(jù)，幫助了解系統(tǒng)狀態(tài) 配置數(shù)據(jù) ：幫助了解配置信息以及變化 告警數(shù)據(jù) ：按照設(shè)定閾值產(chǎn)生告警信息。幫助運(yùn)維人員快速判斷系統(tǒng)故障 18 借鑒 TAF實(shí)現(xiàn)機(jī)制，實(shí)現(xiàn)從應(yīng)用層到數(shù)據(jù)層多通路間的透明切換 透明應(yīng)用切換技術(shù)（ TAF)：是指 “ 應(yīng)用程序數(shù)據(jù)庫(kù) ” 連接的自動(dòng)切換和重新連接，而這一切對(duì)客戶端應(yīng)用均為透明。我們 創(chuàng)新性的將此理念運(yùn)用到前端應(yīng)用服務(wù)之間的訪問(wèn)連接上 WEB層到中間件服務(wù)器端配置多條訪問(wèn)路徑，采用智能 DNS來(lái)實(shí)現(xiàn)中間件層的 TAF。由智能DNS來(lái)檢測(cè) Tuxedo的服務(wù)是否正常，從而支撐 服務(wù)層之間主備訪問(wèn)路徑的自動(dòng)切換 在 ORACLE RAC雙節(jié)點(diǎn)模式下， 使用 TAF技術(shù)實(shí)現(xiàn)應(yīng)用服務(wù)到數(shù)據(jù)庫(kù)端的多條訪問(wèn)路徑 ，并靈活支撐主備路徑間的自動(dòng)切換 通過(guò)成功整合 Oracle數(shù)據(jù)庫(kù)和 Tuxedo中間件的 TAF技術(shù)，構(gòu)建出了 “ 三層架構(gòu)環(huán)境下的透明應(yīng)用切換 ” 的高可用系統(tǒng)，大大增強(qiáng)系統(tǒng)應(yīng)急容災(zāi)能力，減少了應(yīng)用切換時(shí)間 19 構(gòu)建數(shù)據(jù)庫(kù)容災(zāi)自動(dòng)監(jiān)測(cè)分析及切換平臺(tái)，實(shí)現(xiàn)電信級(jí)的業(yè)務(wù)連續(xù)性 生 產(chǎn) 存 儲(chǔ)生 產(chǎn) 1 號(hào) 主 機(jī) 生 產(chǎn) 2 號(hào) 主 機(jī)容 災(zāi) 存 儲(chǔ)容 災(zāi) 1 號(hào) 主 機(jī) 容 災(zāi) 2 號(hào) 主 機(jī)容 災(zāi) 自 動(dòng) 切 換 控 制 服 務(wù) 器 端 部 署1 ： 完 成 對(duì) 生 產(chǎn) 系 統(tǒng) 和 容災(zāi) 系 統(tǒng) 的 運(yùn) 行 指 標(biāo) 的 采集 以 及 自 動(dòng) 分 析 ；2 ： 完 成 對(duì) 生 產(chǎn) 系 統(tǒng) 環(huán) 境變 化 的 收 集 以 及 對(duì) 容 災(zāi)系 統(tǒng) 環(huán) 境 的 自 動(dòng) 配 置 ；3 ： 完 成 切 換 時(shí) 的 所 有 操作 的 控 制 和 處 理容 災(zāi) 自 動(dòng) 切 換 控 制 服 務(wù) 器容 災(zāi) 自 動(dòng) 切 換 生 產(chǎn) 系 統(tǒng) 端 部 署 容 災(zāi) 自 動(dòng) 切 換 容 災(zāi) 系 統(tǒng) 端 部 署1 ： 完 成 運(yùn) 行 監(jiān) 測(cè) 數(shù)據(jù) 的 收 集 上 發(fā) ；2 ： 完 成 自 動(dòng) 切 換 的具 體 操 作 命 令 的 執(zhí)行 ；1 ： 完 成 運(yùn) 行 監(jiān) 測(cè) 數(shù)據(jù) 的 收 集 上 發(fā) ；2 ： 完 成 自 動(dòng) 切 換 的具 體 操 作 命 令 的 執(zhí)行 ；3 ： 完 成 環(huán) 境 參 數(shù) 修改 的 執(zhí) 行針對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的容災(zāi)，構(gòu)建自動(dòng)監(jiān)控分析及切換控制平臺(tái)，實(shí)現(xiàn)對(duì)生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)運(yùn)行狀況的監(jiān)測(cè)，以及故障發(fā)生時(shí)的指標(biāo)數(shù)據(jù)采集，并最終依據(jù)容災(zāi)切換計(jì)算公式，給出切換概率及建議。同時(shí)能夠自動(dòng)實(shí)施容災(zāi)切換操作。 采用上述技術(shù)后，浙江公司 BOSS容災(zāi)切換時(shí)間 平均由 1.5小時(shí)縮短到 5分鐘 平臺(tái)監(jiān)測(cè)功能： 對(duì)生產(chǎn)系統(tǒng)，主要監(jiān)測(cè)其是否會(huì)產(chǎn)生需要進(jìn)行容災(zāi)切換的故障的趨勢(shì) 對(duì)容災(zāi)環(huán)境，主要監(jiān)測(cè)系統(tǒng)的軟硬件配置等，是否和生產(chǎn)環(huán)境相同，以保證在切換時(shí)，容災(zāi)系統(tǒng)完全具備切換條件 采集生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)的運(yùn)行指標(biāo)，并綜合分析整個(gè)系統(tǒng)需要切換容災(zāi)的可能性，容災(zāi)系統(tǒng)是否具有切換條件等綜合因素，給出最終容災(zāi)切換的概率 自動(dòng)切換功能 通過(guò)配置，支持自動(dòng)或者手工啟動(dòng)來(lái)實(shí)施容災(zāi)切換 該平臺(tái)向生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)下發(fā)一系列的控制命令，并由生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)進(jìn)行自動(dòng)的切換，所有操作均自動(dòng)完成，降低對(duì)切換過(guò)程中工程師個(gè)人能力的依賴 20 應(yīng)急子系統(tǒng)的建設(shè)情況 為了進(jìn)一步提升 BOSS業(yè)務(wù)服務(wù)的連續(xù)性運(yùn)營(yíng)能力，構(gòu)建了專業(yè)化的應(yīng)急小系統(tǒng)，提供 充值卡充值、繳費(fèi)、開(kāi)戶、補(bǔ)卡、 充值、繳費(fèi) 開(kāi)機(jī) 等前臺(tái)業(yè)務(wù)的應(yīng)急受理。 應(yīng)急小系統(tǒng)的建設(shè)有效 完善了應(yīng)急保障體系的階梯化組成機(jī)制 ，提供各類應(yīng)急處理流程，確保系統(tǒng)故障期間客戶關(guān)鍵業(yè)務(wù)的不間斷受理 主要建設(shè)方案 采用數(shù)據(jù)庫(kù) BCV技術(shù)，周期性（ 1天）復(fù)制生產(chǎn)數(shù)據(jù)到 BC數(shù)據(jù)庫(kù)中，并以 BC庫(kù)為應(yīng)急數(shù)據(jù)庫(kù) 根據(jù)每類業(yè)務(wù)的應(yīng)急處理流程單獨(dú)實(shí)現(xiàn)應(yīng)用服務(wù)，并獨(dú)立部署 為每類應(yīng)急業(yè)務(wù)提供特殊的前臺(tái) WEB服務(wù)，并部署在 WEB集群主機(jī)上 提供應(yīng)急業(yè)務(wù)數(shù)據(jù)修復(fù)功能，實(shí)現(xiàn)客戶應(yīng)急數(shù)據(jù)同步到生產(chǎn)庫(kù)中 技術(shù)特點(diǎn) 應(yīng)急服務(wù)與正常服務(wù)分離部署，相互影響較小 應(yīng)急狀態(tài)下，只需調(diào)整智能 DNS域名配置，將正常前臺(tái)域名指向應(yīng)急服務(wù)地址，即可完成應(yīng)急切換， 其時(shí)間可控制在 1分鐘之內(nèi) 21 借助應(yīng)急子系統(tǒng)，實(shí)現(xiàn)快速、輕量級(jí)的業(yè)務(wù)連續(xù)性保障 應(yīng)急系統(tǒng)提供開(kāi)戶、補(bǔ)卡、充值、停復(fù)機(jī)和資料查詢服務(wù)； 應(yīng)急系統(tǒng)所有界面布局和操作風(fēng)格完全同目前營(yíng)業(yè)系統(tǒng)的界面風(fēng)格； 使用應(yīng)急系統(tǒng)前，準(zhǔn)備工作： 給應(yīng)急系統(tǒng)號(hào)碼庫(kù)存發(fā)放應(yīng)急系統(tǒng)啟用后需要使用的號(hào)碼資源； 需要為營(yíng)業(yè)廳準(zhǔn)備實(shí)物的 SIM卡庫(kù)存，以便應(yīng)急情況下開(kāi)戶和補(bǔ)卡使用； 22 匯報(bào)內(nèi)容 Contents Contents 總體介紹 管理流程及組織方案 應(yīng)急保障關(guān)鍵技術(shù)介紹 應(yīng)急保障案例及成效 后續(xù)思路 23 借助規(guī)范化管理以及創(chuàng)新技術(shù)應(yīng)用，應(yīng)急保障系統(tǒng)的總體實(shí)施成效 應(yīng)急切換關(guān)鍵業(yè)務(wù)系統(tǒng) 應(yīng)急保障方式 應(yīng)急切換所需時(shí)長(zhǎng)（小時(shí)） CRM系統(tǒng)的全部業(yè)務(wù) 容災(zāi)系統(tǒng) 切換耗時(shí) =15分鐘 帳務(wù)系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時(shí) =30分鐘 充值系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時(shí) =30分鐘 計(jì)費(fèi)系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時(shí) =2小時(shí) 統(tǒng)一開(kāi)通系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時(shí) =30分鐘 客服系統(tǒng)的全部功能 容災(zāi)系統(tǒng) 切換耗時(shí) =30分鐘 繳費(fèi)卡充值業(yè)務(wù)和復(fù)機(jī)業(yè)務(wù)、客戶信息和定購(gòu)信息查詢業(yè)務(wù)、業(yè)務(wù)受理功能查詢業(yè)務(wù)、應(yīng)急開(kāi)戶業(yè)務(wù)、補(bǔ)卡業(yè)務(wù)、現(xiàn)金繳費(fèi)業(yè)務(wù)、業(yè)務(wù)登記。 應(yīng)急系統(tǒng) 5分鐘之內(nèi) 客服系統(tǒng)的話務(wù)接入功能 應(yīng)急系統(tǒng) 5分鐘之內(nèi) 24 數(shù)據(jù)庫(kù)多節(jié)點(diǎn) TAF技術(shù)的運(yùn)用，有力保障系統(tǒng)連續(xù)性運(yùn)營(yíng)能力 050100計(jì)劃外停機(jī)時(shí)間 計(jì)劃內(nèi)停機(jī)時(shí)間優(yōu)化前優(yōu)化后節(jié)省時(shí)間28% 36% 采用 TAF技術(shù)，在故障發(fā)生時(shí)只要不是所有節(jié)點(diǎn)同時(shí)出現(xiàn)問(wèn)題，業(yè)務(wù)就可以繼續(xù)進(jìn)行 如果是個(gè)別數(shù)據(jù)庫(kù)節(jié)點(diǎn)出現(xiàn)問(wèn)題，只有技術(shù)人員會(huì)通過(guò)監(jiān)控系統(tǒng)發(fā)現(xiàn)問(wèn)題，前臺(tái)業(yè)務(wù)人員甚至毫無(wú)感覺(jué)，往往連報(bào)障都沒(méi)有 根據(jù)統(tǒng)計(jì)，從改造上線以來(lái)，營(yíng)業(yè)系統(tǒng)的計(jì)劃外停機(jī)時(shí)間 降低了 28%，計(jì)劃內(nèi)停機(jī)時(shí)間 下降了 36% 在 TAF技術(shù)支撐下，進(jìn)行系統(tǒng)維護(hù)時(shí)可以逐個(gè)重起數(shù)據(jù)庫(kù)實(shí)例，該實(shí)例上的連接會(huì)透明切換到別的實(shí)例，對(duì)前臺(tái)基本不造成影響 ,大大降低了維護(hù)操作的難度和代價(jià) 25 案例分析 綜合查詢子系統(tǒng)的應(yīng)急保障流程 聯(lián) 系 移 動(dòng) 負(fù) 責(zé) 人 張皞 統(tǒng) 一 協(xié) 調(diào) 恢 復(fù)同 時(shí) 通 知 服 務(wù) 臺(tái)發(fā) 送 故 障 信 息 通知 單由 張 皞 聯(lián) 系 綜 合 查詢 應(yīng) 急 專 家 確 定 應(yīng)急 災(zāi) 難 恢 復(fù) 項(xiàng) 目 組由 專 家 組 確 定應(yīng) 急 實(shí) 施 方 案確 定 產(chǎn) 生 災(zāi) 難 問(wèn)題 根 源應(yīng) 急 方 案實(shí) 施災(zāi) 難 恢 復(fù) 后 通知 Q A 進(jìn) 行 回 歸 測(cè) 試通 知 服 務(wù)