電子運維高可用方案

電子運維高可用方案

2015.3議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算高可用高性能可靠性容災性容錯性什么是高可用？頁面響應時間不高于2s大數(shù)據(jù)操作延遲短接口調(diào)用無明顯延遲數(shù)據(jù)量增加不影響響應時間用戶數(shù)增加不影響響應時間高可用性（HighAvailability，縮寫為HA），是系統(tǒng)的一種特性，代表系統(tǒng)的可用性程度。其度量方式，是根據(jù)系統(tǒng)損害、無法使用的時間，以及由無法運作回復到可運作狀況的時間，與系統(tǒng)總運作時間的比較。高可用性是進行系統(tǒng)設計時的準則之一。宕機次數(shù)少平均停機時間控制在一個范圍之內(nèi)停機后的恢復時間短不因為單點故障導致系統(tǒng)整體不可用邏輯錯誤數(shù)據(jù)可以自動清理或者屏蔽不因為網(wǎng)絡延遲而導致線程掛起或CPU使用率偏高業(yè)務數(shù)據(jù)可以實時備份、快速恢復服務器硬件故障可轉(zhuǎn)移重要的程序文件不丟失議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算業(yè)務背景集中化改造滿足故障集中化管理導致管理范圍的擴大、鐵通10050與移動10086融合、LTE告警故障工單接入的需求，保證在用戶數(shù)及工單數(shù)激增的情況下EOMS系統(tǒng)安全、穩(wěn)定運行用戶量增加代維系統(tǒng)上線后代維人員需要參與故障處理；系統(tǒng)整體的用戶量激增，約有3-5倍的增加，用戶量的增加導致在線人數(shù)和峰值并發(fā)訪問數(shù)量的增加，如果保證系統(tǒng)的響應速度不變的情況下，必須對性能進行優(yōu)化；工單量增加集中化故障系統(tǒng)的上線和鐵通10050融合以及LTE業(yè)務推廣后，家寬、無線流量用戶會帶來投訴量大量增加，最多的工單量達達5萬/天，預計2015年會達到20萬張/月；務必做到工單不丟失，派單要及時；不間斷服務電子運維系統(tǒng)的重要地位導致客戶對系統(tǒng)可用性的要求提升，部分省份提出99.99%的可用性需求，所以必須對系統(tǒng)的架構(gòu)進行調(diào)整以適應高可用性的需求，傳統(tǒng)的架構(gòu)難以改進和提升；議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算解決思路硬件架構(gòu)調(diào)整提升硬件/虛擬化單一物理機/虛擬機硬件水平提升，X86云化集群化

單一集群向多集群轉(zhuǎn)變四層交換機

系統(tǒng)入口動態(tài)負載均衡業(yè)務域拆分按重點業(yè)務功能域和數(shù)據(jù)用途拆分硬件分別部署基礎架構(gòu)調(diào)整WPS8流程引擎版本由6升級到8Informix數(shù)據(jù)庫向Oracle的遷移（11g）OracleRAC共享存儲的集群方案OracleDataGuard主/備模式的容災方案軟件架構(gòu)調(diào)整SOA的架構(gòu)扁平化系統(tǒng)層次結(jié)構(gòu)，支持分布式部署接口協(xié)議簡單化輕量級遠程調(diào)用協(xié)議，引入請求隊列和多線程處理機制提高接口響應速度統(tǒng)計分析

DataGuard備用數(shù)據(jù)庫/中間表方法實時響應引入異步的WEB頁面消息推送機制，改善監(jiān)控類業(yè)務的使用感受引入成熟的技術(shù)框架性能監(jiān)控日志及預警99.99%=53分鐘議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算硬件架構(gòu)調(diào)整–現(xiàn)有架構(gòu)WEB服務器應用服務器數(shù)據(jù)庫服務器IHSORACLE/InformixWPS6節(jié)點系統(tǒng)存儲RAID系統(tǒng)不可用！壓力轉(zhuǎn)移！壓力轉(zhuǎn)移！系統(tǒng)不可用！硬件架構(gòu)調(diào)整–高可用架構(gòu)（低配）WEB服務器應用服務器數(shù)據(jù)庫服務器HTTPServerORACLEWPS8集群系統(tǒng)存儲RAID5故障工單集群其它功能、流程集群APACHEPortalINSTANCE數(shù)據(jù)庫集群INSTANCERACPRIMARYDMNODE1NODEnDMNODE1NODEnX86云平臺4C/16G8C/32G8C/64G升級此模塊只需要更新這個集群X86服務器硬件架構(gòu)調(diào)整–高可用架構(gòu)（中配）WEB服務器應用服務器數(shù)據(jù)庫服務器HTTPServerORACLEWPS8集群系統(tǒng)存儲RAID5故障工單集群接口總線其它流程、功能集群DMDMNODE1NODEnAPACHEPortal1APACHEPortal2INSTANCE數(shù)據(jù)庫集群INSTANCERACPRIMARYDMDMNODE1NODEnDMDMNODE1NODEnDM采取冷備份方式X86云平臺4C/16G8C/32G8C/64G升級此模塊只需要更新這個集群X86服務器硬件架構(gòu)調(diào)整–高可用架構(gòu)（高配）WEB服務器應用服務器數(shù)據(jù)庫服務器HTTPServerORACLEWPS8集群系統(tǒng)存儲RAID5網(wǎng)絡四層交換機故障工單集群投訴工單集群接口總線其它功能集群DMDMNODE1NODEnAPACHEPortal1APACHEPortal2APACHEportalnINSTANCE流程引擎庫集群INSTANCERACPRIMARYSTANDBYDataGuardINSTANCE業(yè)務數(shù)據(jù)庫集群INSTANCERACPRIMARYSTANDBYDataGuardDMDMNODE1NODEnDMDMNODE1NODEnDMDMNODE1NODEn建立不同的數(shù)據(jù)庫賬號將流程數(shù)據(jù)剝離出去服務負載均衡和故障轉(zhuǎn)移DM采取冷備份方式X86云平臺4C/16G8C/32G8C/64G升級此模塊只需要更新這個集群X86服務器硬件架構(gòu)調(diào)整–高可用架構(gòu)HTTPSERVER宕機F5實現(xiàn)動態(tài)負載均衡和容錯每個節(jié)點都保存完整的靜態(tài)文件（HTML/JS/CSS）每個節(jié)點均鏈接到全部集群入口地址單個集群中DM宕機冷備份方法，備機平時不啟動，主DM故障后，啟動備機替代主DMDM在集群運行期間不起作用，只要在節(jié)點重啟之前恢復即可集群內(nèi)的節(jié)點宕機集群具備容錯和動態(tài)負載功能，可以把請求轉(zhuǎn)移到其它正常工作的節(jié)點如果節(jié)點全部失敗只影響本集群的業(yè)務功能，不影響其它集群功能數(shù)據(jù)庫宕機Standby數(shù)據(jù)庫可以接管Primary，啟用備用存儲Primary恢復后，作為Standby角色替換盤陣宕機切換到Standby服務器議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算軟件架構(gòu)調(diào)整異步化輕量化分布化服務化123隊列或者總線123ABCAABBCCServiceServiceServiceService業(yè)務模塊業(yè)務模塊業(yè)務模塊業(yè)務模塊ABCEDABC123隊列或總線系統(tǒng)1接口不可用123123發(fā)生錯誤返回重做正常返回占用了更多資源導致系統(tǒng)緩慢軟件架構(gòu)調(diào)整–異步化模塊越來越多，單服務器負荷越來越大軟件架構(gòu)調(diào)整–分布化分布的服務之前數(shù)據(jù)可以同步服務不一定在本地，可能來自遠程調(diào)用ServiceServiceServiceServiceServiceServiceServiceServiceREST/JavaCall/EJB/RPC/ESB/JMS/JDBC/FTP業(yè)務模塊1業(yè)務模塊2業(yè)務模塊n軟件架構(gòu)調(diào)整–服務化技術(shù)點現(xiàn)有技術(shù)替代技術(shù)接口協(xié)議WebServiceHTTP+JSON頁面數(shù)據(jù)推送無WebSocket/Flash頁面框架ExtJS/FLASH/SVGFlash/Bootstrap/jQuery實時監(jiān)控無NodeJS分布式緩存無RedisXML解析CastorXStreamMVC框架StrutsSpringMVC持久化框架HibernateSpringJDBC/SpringDATAIoC技術(shù)框架Spring1.2.8Spring3.x流程協(xié)議BPELBPM應用服務器WAS+IHSNginx+TomcatJDK1.41.6報表存儲關系數(shù)據(jù)庫Mongodb數(shù)據(jù)庫Informix/OracleOracle+NOSQL軟件架構(gòu)調(diào)整–輕量化軟件架構(gòu)調(diào)整–整體技術(shù)架構(gòu)架構(gòu)變化包括：

SOA架構(gòu)：將以前完整打包的應用以SOA的概念拆分為可組合的服務單元，將底層服務和上層業(yè)務分離，支持服務的遠程調(diào)用和二次開發(fā)，支持分布式部署；接口優(yōu)化：放棄笨重的WebService協(xié)議，采取REST+JSON和Hessian輕量級接口協(xié)議，提供異步/同步二種接口形式，提高接口效率；成熟底層框架：采用SpringFramework業(yè)界成熟的開發(fā)框架，提高開發(fā)效率和系統(tǒng)的穩(wěn)定性，跟方便的進行部署和測試；實時Web響應：針對實時的監(jiān)控類型的業(yè)務需求，引入高性能的Web開發(fā)框架Nodejs，提供高性能異步的Web通訊解決方案，使用WebSocket來實現(xiàn)和頁面的實時交互，提供更好的用戶體驗和提升數(shù)據(jù)的信息量；UI：采用EXTJS/HTML5開發(fā)框架，提供更好的、一致的使用體驗，使用門戶的開發(fā)模式，將系統(tǒng)的分布的功能集成在一個界面中，業(yè)務模塊可單獨發(fā)布和升級，不會影響系統(tǒng)其它部分的正常運行；WPS7JVMJ2EESpringSecuritySpringJDBCSpringDATASpringMVCSpringFrameworkESBMQORACLEREDISDerbyMongoDBHessianxFireNodeJSMemoryCacheAxStreamDroolsQuartz組織架構(gòu)實時數(shù)據(jù)統(tǒng)計并發(fā)任務管理數(shù)據(jù)導入導出流程引擎封裝數(shù)據(jù)字典角色/權(quán)限報表服務性能監(jiān)控接口監(jiān)控定時任務表單服務故障工單投訴工單應急管理大屏展示工單看板工單流水線知識管理代維量化薪酬值班/作業(yè)基礎架構(gòu)技術(shù)框架基礎服務業(yè)務模塊Servlets/JSPsJavaScriptsHTML/CSS/IMGPortletsFLEXUIHTTPRESTWebserviceRemotecallJMSESBFTP本地或遠程調(diào)用GISEOMS35.war新增工單隊列追單/告警清除隊列告警系統(tǒng)IBMWPSDB記錄接口日志W(wǎng)ebService調(diào)用立即返回工單號Interfacequeue.warnewzhuipai目前除了福建,新增和追單分離為2個隊列,其它省為1個隊列異常隊列消息從隊列里彈出CentralCommonfaultServlet1234A4B567InterSwitchAlarmnewAlarm()syncAlarm()失敗次數(shù)少于3次；被追單的主工單沒有生成，需要繼續(xù)等待；被清除的工單尚未生成；重試3次依然失?。ㄈ鏦PS異常/程序異常等）發(fā)生了未知的異常（比如：網(wǎng)絡問題/磁盤滿等）派單追單清除告警軟件架構(gòu)調(diào)整–接口調(diào)整軟件架構(gòu)調(diào)整–統(tǒng)計RACPrimarySTANDBYDataGuardKETTLE中間表報表基于STANDBY數(shù)據(jù)庫,不影響在線數(shù)據(jù)庫的性能采用KETTLE工具將細節(jié)數(shù)據(jù)抽取為較粗粒度的中間表基于中間表進行數(shù)據(jù)查詢，完全脫離在線數(shù)據(jù)庫采用REDIS等非關系型數(shù)據(jù)庫提高實時報表的處理效率REDIS應用服務器詳細數(shù)據(jù)【壓縮】實時統(tǒng)計數(shù)據(jù)軟件架構(gòu)調(diào)整–實時監(jiān)控Blazeds.wareoms35.war目前湖北的工單看板已經(jīng)上線，效果良好；可以滿足目前指標的動態(tài)呈現(xiàn)需求showpad.js采用獨立的基于異步Web服務的Nodejs作為實時監(jiān)控的服務器；與現(xiàn)有EOMS系統(tǒng)分離，保證不干擾正常業(yè)務操作的執(zhí)行；界面采用HTML5開發(fā)，支持手機和桌面多種客戶端，且無需安裝任何插件；議程什么是高可用業(yè)務背景解決思路硬件架構(gòu)調(diào)整軟件架構(gòu)調(diào)整實施步驟工作量估算遷移方案

-原則先搭建穩(wěn)定的基礎架構(gòu)平臺部署與業(yè)務無關的Service模塊，并作壓力測試采取逐步、且功能完整的模塊整體遷移分階段實施，不可冒進新舊系統(tǒng)并行待舊系統(tǒng)全部遷移完成再徹底關閉充分測試和驗證實施步驟1.基礎環(huán)境搭建InformixOracle(WPS)Oracle(EOMS)WPS7故障工單投訴工單其它工單值班/作業(yè)基礎模塊統(tǒng)計報表技術(shù)框架基礎服務http://eoms35http://eoms5實施步驟2.模塊的分布遷移InformixOracle(WPS)Oracle(EOMS)WPS8投訴工單其它工單值班/作業(yè)基礎模塊統(tǒng)計報表技術(shù)框架基礎服務http://eoms35http://eoms5故障工單遷移之后新功能