集團公司智慧IT運維平臺-技術(shù)路線方案

1、PAGE 集團公司智慧IT運維平臺技術(shù)路線方案目 錄 TOC o 1-4 h z u HYPERLINK l _Toc528144440 1.目標(biāo)及范圍 PAGEREF _Toc528144440 h 5 HYPERLINK l _Toc528144441 1.1 項目目標(biāo) PAGEREF _Toc528144441 h 5 HYPERLINK l _Toc528144442 1.2 項目范圍 PAGEREF _Toc528144442 h 6 HYPERLINK l _Toc528144443 2.技術(shù)方案 PAGEREF _Toc528144443 h 7 HYPERLINK l _Toc

2、528144444 2.1 技術(shù)路線 PAGEREF _Toc528144444 h 7 HYPERLINK l _Toc528144445 2.1.1 關(guān)鍵技術(shù) PAGEREF _Toc528144445 h 8 HYPERLINK l _Toc528144446 運行監(jiān)控系統(tǒng) PAGEREF _Toc528144446 h 8 HYPERLINK l _Toc528144447 配置管理數(shù)據(jù)庫系統(tǒng) PAGEREF _Toc528144447 h 27 HYPERLINK l _Toc528144448 IT服務(wù)管理系統(tǒng) PAGEREF _Toc528144448 h 31 HYPERLIN

3、K l _Toc528144449 運維門戶 PAGEREF _Toc528144449 h 33 HYPERLINK l _Toc528144450 大屏展示 PAGEREF _Toc528144450 h 36 HYPERLINK l _Toc528144451 平臺集成 PAGEREF _Toc528144451 h 38 HYPERLINK l _Toc528144452 2.1.2 特色技術(shù) PAGEREF _Toc528144452 h 39 HYPERLINK l _Toc528144453 電信級的統(tǒng)一數(shù)據(jù)采集技術(shù) PAGEREF _Toc528144453 h 39 HYPE

4、RLINK l _Toc528144454 科學(xué)的業(yè)務(wù)可用性量化算法 PAGEREF _Toc528144454 h 43 HYPERLINK l _Toc528144455 特色的移動終端應(yīng)用技術(shù)（掌上運維） PAGEREF _Toc528144455 h 45 HYPERLINK l _Toc528144456 強大的系統(tǒng)集成ESB數(shù)據(jù)總線 PAGEREF _Toc528144456 h 52 HYPERLINK l _Toc528144457 高效的告警掃描產(chǎn)品 PAGEREF _Toc528144457 h 54 HYPERLINK l _Toc528144458 面向SOA的流程引擎

5、 PAGEREF _Toc528144458 h 54 HYPERLINK l _Toc528144459 CMDB靈活建模和調(diào)和技術(shù) PAGEREF _Toc528144459 h 58 HYPERLINK l _Toc528144460 大屏綜合展示開發(fā)技術(shù) PAGEREF _Toc528144460 h 59 HYPERLINK l _Toc528144461 2.1.3 系統(tǒng)性能 PAGEREF _Toc528144461 h 61 HYPERLINK l _Toc528144462 設(shè)備管理數(shù)量 PAGEREF _Toc528144462 h 61 HYPERLINK l _Toc5

6、28144463 響應(yīng)時間 PAGEREF _Toc528144463 h 62 HYPERLINK l _Toc528144464 容量 PAGEREF _Toc528144464 h 62 HYPERLINK l _Toc528144465 2.2 系統(tǒng)總體架構(gòu)及部署 PAGEREF _Toc528144465 h 62 HYPERLINK l _Toc528144466 2.2.1 總體架構(gòu) PAGEREF _Toc528144466 h 62 HYPERLINK l _Toc528144467 2.2.2 系統(tǒng)組成及系統(tǒng)體系結(jié)構(gòu) PAGEREF _Toc528144467 h 63 H

7、YPERLINK l _Toc528144468 2.3 標(biāo)準(zhǔn)化 PAGEREF _Toc528144468 h 64 HYPERLINK l _Toc528144469 2.3.1 運行監(jiān)控系統(tǒng) PAGEREF _Toc528144469 h 64 HYPERLINK l _Toc528144470 運行監(jiān)控系統(tǒng)接口規(guī)范 PAGEREF _Toc528144470 h 64 HYPERLINK l _Toc528144471 監(jiān)控對象命名規(guī)范 PAGEREF _Toc528144471 h 66 HYPERLINK l _Toc528144472 運行監(jiān)控服務(wù)目錄 PAGEREF _Toc5

8、28144472 h 68 HYPERLINK l _Toc528144473 運行監(jiān)控服務(wù)及報表申請流程 PAGEREF _Toc528144473 h 70 HYPERLINK l _Toc528144474 2.3.2 服務(wù)管理系統(tǒng) PAGEREF _Toc528144474 h 73 HYPERLINK l _Toc528144475 服務(wù)管理系統(tǒng)接口規(guī)范 PAGEREF _Toc528144475 h 73 HYPERLINK l _Toc528144476 運維術(shù)語和運維流程 PAGEREF _Toc528144476 h 73 HYPERLINK l _Toc528144477

9、相關(guān)指標(biāo) PAGEREF _Toc528144477 h 75 HYPERLINK l _Toc528144478 基礎(chǔ)數(shù)據(jù) PAGEREF _Toc528144478 h 77 HYPERLINK l _Toc528144479 2.3.3 配置管理系統(tǒng) PAGEREF _Toc528144479 h 78 HYPERLINK l _Toc528144480 配置項分類標(biāo)準(zhǔn) PAGEREF _Toc528144480 h 78 HYPERLINK l _Toc528144481 配置項命名標(biāo)準(zhǔn) PAGEREF _Toc528144481 h 79 HYPERLINK l _Toc528144

10、482 配置項信息變更規(guī)范 PAGEREF _Toc528144482 h 81 HYPERLINK l _Toc528144483 配置項信息模板 PAGEREF _Toc528144483 h 85 HYPERLINK l _Toc528144484 2.4 安全設(shè)計 PAGEREF _Toc528144484 h 85 HYPERLINK l _Toc528144485 2.4.1 物理安全 PAGEREF _Toc528144485 h 86 HYPERLINK l _Toc528144486 2.4.2 網(wǎng)絡(luò)安全 PAGEREF _Toc528144486 h 86 HYPERLIN

11、K l _Toc528144487 2.4.3 主機安全 PAGEREF _Toc528144487 h 86 HYPERLINK l _Toc528144488 2.4.4 數(shù)據(jù)安全 PAGEREF _Toc528144488 h 89 HYPERLINK l _Toc528144489 2.4.5 應(yīng)用安全 PAGEREF _Toc528144489 h 91 HYPERLINK l _Toc528144490 2.4.6 安全管理 PAGEREF _Toc528144490 h 92 HYPERLINK l _Toc528144491 2.5 與其他系統(tǒng)的集成 PAGEREF _Toc5

12、28144491 h 93 HYPERLINK l _Toc528144492 2.6 備份方案 PAGEREF _Toc528144492 h 94 HYPERLINK l _Toc528144493 2.6.1 備份方案 PAGEREF _Toc528144493 h 94 HYPERLINK l _Toc528144494 備份技術(shù)介紹 PAGEREF _Toc528144494 h 94 HYPERLINK l _Toc528144495 備份策略介紹 PAGEREF _Toc528144495 h 94 HYPERLINK l _Toc528144496 備份技術(shù)要求 PAGEREF

13、 _Toc528144496 h 95 HYPERLINK l _Toc528144497 重點備份內(nèi)容 PAGEREF _Toc528144497 h 96 HYPERLINK l _Toc528144498 2.6.2 恢復(fù)方案 PAGEREF _Toc528144498 h 96 HYPERLINK l _Toc528144499 恢復(fù)時間與策略 PAGEREF _Toc528144499 h 96 HYPERLINK l _Toc528144500 備份恢復(fù)處理流程 PAGEREF _Toc528144500 h 97 HYPERLINK l _Toc528144501 備份恢復(fù)處理方

14、案 PAGEREF _Toc528144501 h 98 HYPERLINK l _Toc528144502 3.軟硬件配置方案 PAGEREF _Toc528144502 h 101 HYPERLINK l _Toc528144503 3.1 軟件配置清單 PAGEREF _Toc528144503 h 101 HYPERLINK l _Toc528144504 3.1.1 運行監(jiān)控配置清單 PAGEREF _Toc528144504 h 101 HYPERLINK l _Toc528144505 3.1.2 服務(wù)管理配置清單 PAGEREF _Toc528144505 h 103 HYPE

15、RLINK l _Toc528144506 3.1.3 配置管理配置清單 PAGEREF _Toc528144506 h 104 HYPERLINK l _Toc528144507 3.1.4 運維門戶配置清單 PAGEREF _Toc528144507 h 104 HYPERLINK l _Toc528144508 3.1.5 大屏展示配置清單 PAGEREF _Toc528144508 h 105 HYPERLINK l _Toc528144509 3.2 硬件配置清單配置建議 PAGEREF _Toc528144509 h 105 HYPERLINK l _Toc528144510 3.

16、2.1 生產(chǎn)環(huán)境硬件配置建議 PAGEREF _Toc528144510 h 105 HYPERLINK l _Toc528144511 3.2.2 測試環(huán)境硬件配置清單 PAGEREF _Toc528144511 h 106 HYPERLINK l _Toc528144512 3.2.3 數(shù)據(jù)庫配置建議 PAGEREF _Toc528144512 h 107目標(biāo)及范圍項目目標(biāo)集團公司在總部和企業(yè)層面已經(jīng)建立了以綜合網(wǎng)管系統(tǒng)和SAP SLM系統(tǒng)為主的運維支持系統(tǒng)，運維支持系統(tǒng)概覽如 REF _Ref328568448 h * MERGEFORMAT 圖所示。圖 運維支持系統(tǒng)概覽集團公司總部建立

17、呼叫中心系統(tǒng)實時響應(yīng)了用戶有關(guān)門戶、OA、基礎(chǔ)應(yīng)用、安全、視頻、MES等系統(tǒng)的服務(wù)請求；工單系統(tǒng)實現(xiàn)了總部運維人員處理系統(tǒng)故障的工單流轉(zhuǎn)；SAP SLM實現(xiàn)了ERP系統(tǒng)服務(wù)請求受理、事件管理、應(yīng)用監(jiān)控及變更管理；網(wǎng)管監(jiān)控系統(tǒng)實現(xiàn)了因特網(wǎng)、主干網(wǎng)、局域網(wǎng)、服務(wù)器、安全設(shè)備、企業(yè)防火墻、基礎(chǔ)應(yīng)用等基礎(chǔ)設(shè)施的故障和性能監(jiān)控；資金集中監(jiān)控系統(tǒng)實現(xiàn)了資金集中系統(tǒng)的網(wǎng)絡(luò)設(shè)備、服務(wù)器、安全設(shè)備、存儲、負載均衡、災(zāi)備和應(yīng)用系統(tǒng)的一體化監(jiān)控；MES應(yīng)用監(jiān)控評價系統(tǒng)對MES應(yīng)用進行監(jiān)控，為MES上線達標(biāo)、驗收達標(biāo)及深化應(yīng)用提供了報告和依據(jù)。在企業(yè)，已建成76家企業(yè)的綜合網(wǎng)管系統(tǒng)，實現(xiàn)了對企業(yè)基礎(chǔ)設(shè)施的監(jiān)控；基本建

18、成防病毒管理Bigfix系統(tǒng)，截至2012年1月，共安裝18.3萬臺，授權(quán)數(shù)18萬。同時，廣州石化、茂名石化、燕山石化、北京石油等部分企業(yè)已建設(shè)了運維服務(wù)管理系統(tǒng)。本次項目的總體目標(biāo)是整合運維支持系統(tǒng)，建設(shè)集中的一體化運維平臺，支撐集團公司IT運維共享服務(wù)，提高運行效率，降低成本，實現(xiàn)總部和企業(yè)運維統(tǒng)一調(diào)度和集中管控，達到國內(nèi)領(lǐng)先、國際一流的水平。（1）建設(shè)集團公司IT運維平臺，實現(xiàn)運行監(jiān)控、配置管理數(shù)據(jù)庫、IT服務(wù)管理、運維門戶與大屏展示；實現(xiàn)與SAP SLM、SSOC、云資源管理平臺、資金集中監(jiān)控系統(tǒng)、加油卡監(jiān)控等系統(tǒng)的集成。具體實現(xiàn)如下：統(tǒng)一調(diào)度運維資源：建成集中的服務(wù)管理系統(tǒng)，集成SA

19、P SLM，實現(xiàn)運維支持工作的全過程管控和知識共享，通過在線流程有機協(xié)同總部、區(qū)域中心和企業(yè)之間，運維隊伍與項目組之間的運維支持工作。集中監(jiān)控應(yīng)用系統(tǒng)：建成集中的運行監(jiān)控系統(tǒng)，實現(xiàn)對50套應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控，從用戶使用的角度進行可用性監(jiān)控，及時發(fā)現(xiàn)和處理問題，縮短系統(tǒng)不可用時間。集中管理配置信息：建成集中的配置管理數(shù)據(jù)庫系統(tǒng)，實現(xiàn)50套應(yīng)用系統(tǒng)與總部管理的基礎(chǔ)設(shè)施的統(tǒng)一管理，為運維支持、變更風(fēng)險分析、重大問題處理決策等及時地提供真實數(shù)據(jù)。大屏展示運維情況：提升運維門戶和大屏展示，通過系統(tǒng)集成大屏展示應(yīng)用監(jiān)控指標(biāo)、信息安全狀況、服務(wù)受理情況、重大問題處理情況等運維服務(wù)信息。（2）制定集團公司IT

20、運維標(biāo)準(zhǔn)與規(guī)范。包括運行監(jiān)控規(guī)范、服務(wù)管理規(guī)范、 配置管理規(guī)范等。項目范圍項目范圍包含總部基礎(chǔ)設(shè)施和總部統(tǒng)建的50套應(yīng)用系統(tǒng)，以及與兩家試點企業(yè)已有運維系統(tǒng)的集成?；A(chǔ)設(shè)施的范圍主要包括總部4個數(shù)據(jù)中心，11個區(qū)域中心，涵蓋服務(wù)器、存儲、安全設(shè)備、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫、中間件等，當(dāng)前共有各類設(shè)備7000臺左右，具體數(shù)量以實際為準(zhǔn)。應(yīng)用系統(tǒng)的范圍主要包括ERP、MES、資金集中管理、總部生產(chǎn)營運指揮、電子商務(wù)、合同管理、綜合辦公、加油卡（區(qū)外）、APC等50套應(yīng)用系統(tǒng)，主要涵蓋了SAP、.NET、JAVA、Domino等技術(shù)平臺。技術(shù)方案技術(shù)路線IT運維平臺系統(tǒng)的建設(shè)將采取如下總體技術(shù)思路，兼并考慮

21、平臺的整體性與可擴充性。采用先進的企業(yè)級架構(gòu)技術(shù)采用先進的工作流引擎和組件化技術(shù)支持自動配置項發(fā)現(xiàn)和識別支持豐富的接口實現(xiàn)工具，保證相關(guān)系統(tǒng)協(xié)同運維平臺主要包括呼叫中心系統(tǒng)、服務(wù)管理系統(tǒng)、運行監(jiān)控系統(tǒng)、配置管理數(shù)據(jù)庫系統(tǒng)、綜合展示與運維門戶，平臺實施的技術(shù)路線為：產(chǎn)品路線選擇先進的成熟產(chǎn)品，在考慮利舊的同時，考慮易于適應(yīng)運維業(yè)務(wù)、平臺需求變更的產(chǎn)品；選擇系統(tǒng)間接口采用標(biāo)準(zhǔn)協(xié)議或具有集成相關(guān)系統(tǒng)成熟套件的產(chǎn)品；基于云架構(gòu)進行基礎(chǔ)設(shè)施及應(yīng)用部署。實施路線將專業(yè)工具與通用平臺相結(jié)合，通過系統(tǒng)集成滿足專業(yè)管理需求與通用管理需求。參照最佳運維實踐，定制業(yè)務(wù)流程及主要功能。對于不能由產(chǎn)品定制實現(xiàn)的功能，根

22、據(jù)產(chǎn)品技術(shù)路線，采取J2EE或.NET及其他技術(shù)路線進行二次開發(fā)，采用標(biāo)準(zhǔn)接口或其他技術(shù)手段進行集成 每個子系統(tǒng)使用的關(guān)鍵技術(shù)詳細描述如下。關(guān)鍵技術(shù) IT運維平臺在技術(shù)的選擇上遵循先進性和成熟型的原則，確保IT運維平臺達到國內(nèi)領(lǐng)先。具體采用關(guān)鍵技術(shù)分系統(tǒng)描述。運行監(jiān)控系統(tǒng)統(tǒng)一數(shù)據(jù)采集運行監(jiān)控系統(tǒng)的數(shù)據(jù)采集層通過與被管系統(tǒng)的接口采集相關(guān)數(shù)據(jù)，送到數(shù)據(jù)處理層進行數(shù)據(jù)處理。數(shù)據(jù)采集是運行監(jiān)控系統(tǒng)的重點，采集的效率、準(zhǔn)確性直接影響到整套運行監(jiān)控系統(tǒng)的效率。因此，需要一套高效、準(zhǔn)確的采集平臺。自主開發(fā)的統(tǒng)一數(shù)據(jù)采集平臺（軟件登記名稱：統(tǒng)一采集云平臺軟件V7.0）經(jīng)過多年的沉淀和積累可以很好地解決以上問題

23、。統(tǒng)一采集平臺的建設(shè)目標(biāo)是構(gòu)建基于云架構(gòu)的采集共享平臺，能夠?qū)崿F(xiàn)統(tǒng)一采集、統(tǒng)一共享、統(tǒng)一管控：統(tǒng)一采集：統(tǒng)一采集控制，對基礎(chǔ)設(shè)施的監(jiān)控進行管控，對不同廠商的監(jiān)控工具進行集中管理，實現(xiàn)監(jiān)控軟件的起停控制，策略的統(tǒng)一管理、下發(fā)，支持采集客戶端的的自動分發(fā)、集中部署。 可接入各種設(shè)備系統(tǒng)，具備靈活的擴展性。支持第三方廠家適配器插件，提高采集系統(tǒng)的平臺能力和開放性。 更合理的采集策略和并行度，采集執(zhí)行效率提升。支持云計算技術(shù)，突破硬件采集瓶頸。統(tǒng)一共享：按需采集，根據(jù)管理需要靈活設(shè)定采集范圍和采集指標(biāo)。采集平臺處理能力可根據(jù)負載進行調(diào)整，克服采集資源浪費的問題。統(tǒng)一的北向接口，采集規(guī)?？梢云交炜s，通

24、過采集機管理功能，滿足應(yīng)用和用戶規(guī)模伸縮的需要。對不同的數(shù)據(jù)源采用不同的采集適配器，以插件形式集成在統(tǒng)一采集平臺。一次采集多處復(fù)用，實現(xiàn)數(shù)據(jù)開放性，并可按照約定接口向第三方系統(tǒng)提供數(shù)據(jù)。統(tǒng)一管控：管理采集能力伸縮，支持超大規(guī)模數(shù)據(jù)采集，多服務(wù)器并行處理，實現(xiàn)大數(shù)據(jù)量的并行采集，提升采集效率。動態(tài)負載均衡，通過采集節(jié)點同構(gòu)、互換能力及任務(wù)轉(zhuǎn)移等措施來保障采集服務(wù)的高可靠性和容錯能力。指標(biāo)算法可視化?？梢暬闹笜?biāo)算法管理可方便維護人員對各類指標(biāo)算法的維護和使用，是實現(xiàn)數(shù)據(jù)質(zhì)量管理和采集過程管理的基礎(chǔ)。采集流程透明化，可監(jiān)控數(shù)據(jù)處理過程，簡化了接入過程，減少了維護工作量。功能架構(gòu)統(tǒng)一數(shù)據(jù)采集的功能架

25、構(gòu)如圖所示：圖 統(tǒng)一數(shù)據(jù)采集功能架構(gòu)具備如下功能： 采集適配器實現(xiàn)與設(shè)備側(cè)的接口協(xié)議適配，從設(shè)備側(cè)獲取原始數(shù)據(jù)，進行數(shù)據(jù)解析（詞法分析，數(shù)據(jù)格式標(biāo)準(zhǔn)化，根據(jù)處理規(guī)則將采集到的底層數(shù)據(jù)轉(zhuǎn)換成相應(yīng)的信息模型的數(shù)據(jù)）。采集適配器的功能組成如下：協(xié)議適配、數(shù)據(jù)獲取、告警風(fēng)暴抑制、數(shù)據(jù)解析、數(shù)據(jù)上報，并支持被動接收設(shè)備側(cè)發(fā)送的數(shù)據(jù)。經(jīng)過解析后的源數(shù)據(jù)通過適配器北向接口向上共享。 采集調(diào)度及處理數(shù)據(jù)處理接收采集任務(wù)，主動調(diào)用相應(yīng)采集適配器從設(shè)備側(cè)獲取數(shù)據(jù)，對數(shù)據(jù)進行解析、歸一化，并根據(jù)需要進行KPI指標(biāo)計算。原始數(shù)據(jù)、歸一化數(shù)據(jù)、KPI指標(biāo)均可以推送到數(shù)據(jù)共享層，可以文件、數(shù)據(jù)庫、消息等方式進行傳送和保存

26、。支持采集適配器的靈活擴展以支持不同設(shè)備的數(shù)據(jù)接入。同時可以接收訂閱策略，根據(jù)策略和當(dāng)前時間實例化成采集任務(wù)，根據(jù)各采集節(jié)點的運行環(huán)境和資源空閑情況進行判斷，能夠選擇合適的采集節(jié)點，并把任務(wù)下發(fā)；能夠接收采集節(jié)點反饋的任務(wù)執(zhí)行情況，并監(jiān)控各采集節(jié)點運行狀態(tài)；根據(jù)任務(wù)的采集結(jié)果分析數(shù)據(jù)是否完整，能夠根據(jù)設(shè)定的策略觸發(fā)數(shù)據(jù)的補采。支持如下采集能力：自動采集能力滿足定時任務(wù)周期性自動采集數(shù)據(jù)，采集周期和采集時間根據(jù)要求可任意設(shè)置。采集的時間粒度可以基于單個網(wǎng)元選擇。手動采集能力滿足任意時間通過手工方式下發(fā)采集任務(wù)。通過對要采集數(shù)據(jù)范圍設(shè)置開關(guān)量，即可隨時手動按網(wǎng)元或時間進行數(shù)據(jù)采集。全量采集功能提供

27、按照全部被管理對象的全量采集任務(wù)集中下發(fā)，根據(jù)數(shù)據(jù)需要進行全量數(shù)據(jù)的集中采集做系統(tǒng)整體數(shù)據(jù)更新能力。單網(wǎng)元采集功能在全量采集基礎(chǔ)上補充提供針對單網(wǎng)元的數(shù)據(jù)采集及數(shù)據(jù)更新，作為全量采集缺失的有效補充機制。 采集接入管理適配器的注冊、查詢、裝載以及采集單元設(shè)置。 采集策略管理對采集策略的配置、查詢等設(shè)置。能夠根據(jù)采集對象、采集指標(biāo)、采集頻率、采集時間、啟停狀態(tài)靈活定義被管理網(wǎng)元的采集策略?？芍С峙坎杉呗耘渲?，即一次對一組被管理對象設(shè)定采集策略。采集策略支持按分鐘、小時、天采集，可以是周期性連續(xù)的時間段，也可以根據(jù)實際使用需求需要針對一天中的特定的幾個時間點進行定制任務(wù)性采集數(shù)據(jù)。 指標(biāo)算法管理

28、采集算法的導(dǎo)入/導(dǎo)出、編輯、差異分析以及指標(biāo)的核查分析等。 數(shù)據(jù)共享管理數(shù)據(jù)訂閱請求，對數(shù)據(jù)消費者的管理和查詢、權(quán)限授權(quán)、根據(jù)設(shè)定的數(shù)據(jù)訂閱權(quán)限判斷該訂閱請求是否合理并作出響應(yīng)。數(shù)據(jù)準(zhǔn)備好后，給訂閱該數(shù)據(jù)的外部系統(tǒng)發(fā)送通知消息以及數(shù)據(jù)的訪問方法，外部系統(tǒng)主動獲取數(shù)據(jù)，對同一份數(shù)據(jù)的不同訂閱者分別發(fā)送通知。 負載均衡管理設(shè)置采集機/組啟停、采集服務(wù)查詢、負載均衡監(jiān)控及負荷閾值查看。 采集數(shù)據(jù)監(jiān)控分析對采集到的數(shù)據(jù)進行完整性等監(jiān)控及質(zhì)量問題分析。 系統(tǒng)自身管理對統(tǒng)一采集平臺自身的管理，把適配器注冊到平臺中，設(shè)置訪問設(shè)備的信息，對統(tǒng)一采集平臺中任務(wù)執(zhí)行情況、數(shù)據(jù)共享情況的監(jiān)控，設(shè)定各外部應(yīng)用系統(tǒng)對數(shù)

29、據(jù)訂閱的權(quán)限，支持通過統(tǒng)一采集平臺直接完成外部系統(tǒng)對數(shù)據(jù)的訂閱。部署架構(gòu)統(tǒng)一數(shù)據(jù)采集平臺的部署結(jié)構(gòu)如圖所示：統(tǒng)一數(shù)采的部署結(jié)構(gòu)圖各采集機做為采集節(jié)點，部署在各個專業(yè)網(wǎng)域內(nèi)，和被管理設(shè)備進行交互。采集調(diào)度服務(wù)器、消息服務(wù)器和各個采集節(jié)點進程之間保持網(wǎng)絡(luò)暢通，各采集節(jié)點之間可以不直接連通。這種部署方式通過采集節(jié)點同構(gòu)、互換能力及任務(wù)轉(zhuǎn)移等措施，可以保障采集服務(wù)的高可靠性和容錯能力。采集調(diào)度服務(wù)器及其存儲設(shè)備，部署控制層和應(yīng)用層，根據(jù)需要可以部署為主備服務(wù)器，支持在不同機器上分布部署。消息服務(wù)器，接受、傳遞、轉(zhuǎn)發(fā)消息，根據(jù)需要可以部署為主備服務(wù)器。數(shù)據(jù)來源本項目中，統(tǒng)一數(shù)據(jù)采集平臺的數(shù)據(jù)來源如下圖：

30、在本項目中統(tǒng)一數(shù)據(jù)采集的數(shù)據(jù)來源有三方面：（1）直接采集網(wǎng)絡(luò)、服務(wù)器、存儲、數(shù)據(jù)庫、中間件等基礎(chǔ)設(shè)施的性能數(shù)據(jù)、告警和主要配置數(shù)據(jù)。（2）直接采集22套應(yīng)用系統(tǒng)的可用性和響應(yīng)時間等應(yīng)用監(jiān)控數(shù)據(jù)。22套應(yīng)用系統(tǒng)包括會計集中、業(yè)務(wù)公開、合同管理、電子商務(wù)、綜合辦公、總部門戶、股份/集團公司網(wǎng)站、總部生產(chǎn)營運指揮、零售管理、目錄服務(wù)系統(tǒng)、統(tǒng)一郵件系統(tǒng)、統(tǒng)一通信系統(tǒng)、代理服務(wù)系統(tǒng)、文檔安全管理系統(tǒng)、統(tǒng)一身份管理、PKI/CA、日志審計系統(tǒng)、時間服務(wù)、防病毒。（3） 通過和其他監(jiān)控系統(tǒng)集成，實現(xiàn)對50套重點應(yīng)用系統(tǒng)（ REF _Ref349655104 h * MERGEFORMAT 表 1.6 REF

31、 _Ref349655112 h * MERGEFORMAT 表 1.8）中另外28套應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控。其他監(jiān)控系統(tǒng)包括SAP Solution Manager、微軟SCOM、安全SOC、資金集中監(jiān)控系統(tǒng)、加油卡監(jiān)控系統(tǒng)、MES應(yīng)用評價、APC運行監(jiān)控、勘探開發(fā)監(jiān)控、機房環(huán)境監(jiān)控系統(tǒng)。統(tǒng)一數(shù)據(jù)采集至少提供但不限于以下三種數(shù)據(jù)采集方式：通過配置實現(xiàn)采集：通過配置Syslog、SNMP Trap、Socket、ODBC、NetFlow、Eflow等方式將事件日志、告警信息、性能參數(shù)以及各類事件數(shù)據(jù)發(fā)送到采集服務(wù)器或數(shù)據(jù)集中管理組件。安裝代理實現(xiàn)采集：在服務(wù)器上安裝采集引擎代理程序，執(zhí)行后臺采集服

32、務(wù)以及采集腳本，將目標(biāo)系統(tǒng)上的事件日志、告警信息、性能參數(shù)以及各類事件數(shù)據(jù)收集后發(fā)送給采集服務(wù)器或數(shù)據(jù)集中管理組件。采集到的數(shù)據(jù)暫存于被管服務(wù)器端，緩存時長可調(diào)整，具備主動數(shù)據(jù)上傳能力，在與上層模塊通訊中斷的情況下，主動嘗試重連，提供斷點續(xù)傳能力。定時輪詢采集：通過ICMP、HTTP定時輪詢、用戶模擬體驗來獲取被管對象的數(shù)據(jù)。平臺至少支持：SNMP、 SNMP Trap、SYSLOG、專用Agent、Telnet/SSH、Ping、ODBC、JDBC、WebService、Flow、SMI-S、Http/Https、JMX、Socket等數(shù)據(jù)采集協(xié)議和接口。重點支持協(xié)議支持如下：表 運行監(jiān)控系

33、統(tǒng)支持的數(shù)據(jù)采集協(xié)議內(nèi)容規(guī)范數(shù)據(jù)采集SNMP、SNMPTrap V1、V2、V3：采集支持Snmp協(xié)議的產(chǎn)品。Syslog：采集支持Syslog協(xié)議的產(chǎn)品。Agent：采集專用Agent的數(shù)據(jù)，主要指服務(wù)器代理。Flow：Netflow、Netstream、Cflow、Sflow采集支持Flow協(xié)議的產(chǎn)品。ODBC/JDBC：采集存儲在數(shù)據(jù)庫的系統(tǒng)日志。API采集：運行監(jiān)控系統(tǒng)主動調(diào)用被監(jiān)控系統(tǒng)提供的API，來獲取監(jiān)控信息。SMIS采集：存儲設(shè)備、光纖交換機、HBA卡等SAN存儲設(shè)備運行數(shù)據(jù)采集。FTP，NFS或SMB等通用文件接口：采集基于文件的日志，包括數(shù)據(jù)庫日志文件、中間件日志文件、業(yè)務(wù)

34、系統(tǒng)日志文件、定時采集系統(tǒng)資源而生成的文件等。專用日志采集接口：通過監(jiān)控設(shè)備提供接口獲取日志。采用代理獲取：通過第三方代理獲取日志。包括但不限于SHELL、BAT、SOCKET等采集方式。終端用戶體驗：通過模擬用戶操作行為，探測應(yīng)用可用性。使用情況監(jiān)控：注冊用戶數(shù)、在線用戶數(shù)、交易量、成功交易次數(shù)、失敗交易次數(shù)等。針對不同的監(jiān)控對象將獲取不同的數(shù)據(jù)內(nèi)容，包括：針對網(wǎng)絡(luò)設(shè)備，獲取的信息包括：接口數(shù)量、IP/MAC地址、接口索引、接口類型、接口描述、接口速率、工作狀態(tài)、管理狀態(tài)、接口流量、VLAN信息、丟包信息、錯包信息等；針對安全設(shè)備，獲取安全設(shè)備的安全告警日志和運行狀態(tài)等信息；針對主機系統(tǒng)，獲

35、取的信息包括：操作系統(tǒng)類型和版本、網(wǎng)絡(luò)接口數(shù)量、IP地址/MAC地址、子網(wǎng)掩碼、CPU編號、內(nèi)核數(shù)、內(nèi)存大小、CPU動態(tài)信息、內(nèi)存動態(tài)信息、系統(tǒng)進程動態(tài)信息、硬盤動態(tài)信息、用戶訪問信息等；針對數(shù)據(jù)庫，獲取的信息包括：數(shù)據(jù)庫名稱、數(shù)據(jù)路徑、基本目錄、數(shù)據(jù)庫版本、字符集、配置的臨時表大小、臨時表目錄、數(shù)據(jù)表信息、緩存信息、線程信息、鎖信息、頁和行鎖信息、查詢命中率、數(shù)據(jù)庫內(nèi)存使用性能指標(biāo)、數(shù)據(jù)庫特定表的空間性能指標(biāo)、表空間性能指標(biāo)、數(shù)據(jù)文件或數(shù)據(jù)設(shè)備的讀寫次數(shù)性能指標(biāo)、數(shù)據(jù)庫碎片的情況性能指標(biāo)、數(shù)據(jù)庫日志空間或回滾段使用情況性能指標(biāo)等指標(biāo)針對中間件，獲取的信息包括：中間件系統(tǒng)類型、中間件系統(tǒng)版本信

36、息、會話動態(tài)信息、進程池動態(tài)信息、JDBC連接池動態(tài)信息、事務(wù)數(shù)動態(tài)信息、事務(wù)的平均持續(xù)時間、JVM動態(tài)信息、EJB動態(tài)信息等；針對存儲設(shè)備，獲取基本信息、健康度、磁盤信息、主機端口映射信息、陣列l(wèi)un信息、陣列組信息等；虛擬化管理：樹立并建立虛擬化資源對象間的關(guān)系模型，實現(xiàn)對虛擬化配置管理系統(tǒng)、運行狀態(tài)和故障管理、虛擬機運行性能管理。終端用戶體驗：對模擬終端用戶訪問各應(yīng)用系統(tǒng)（如登錄、查詢、報表、退出等）的過程進行監(jiān)測，監(jiān)測終端用戶訪問應(yīng)用系統(tǒng)的可用性與響應(yīng)時間；應(yīng)用系統(tǒng)使用情況：應(yīng)用性能管理應(yīng)該重點關(guān)注應(yīng)用交易的狀態(tài)，包括注冊用戶數(shù)、在線用戶數(shù)、交易量、成功交易次數(shù)、失敗交易次數(shù)；自定義對

37、象監(jiān)控：根據(jù)運行監(jiān)控系統(tǒng)的要求，系統(tǒng)提供對監(jiān)控對象和監(jiān)控內(nèi)容的擴展，擴展方式簡便，提供可視化、腳本等多種形式的擴展方式。關(guān)鍵技術(shù)管理服務(wù)器雙機熱備統(tǒng)一采集平臺支持分布部署，在日常運行過程中管理服務(wù)器屬于系統(tǒng)的核心中樞，統(tǒng)一采集平臺通過對自身軟件管理控制功能的優(yōu)化改造，無需采用例如HA等第三方的雙機熱備軟件，即可實現(xiàn)管理服務(wù)器的雙機熱備。通過雙機熱備方式，解決管理機單點故障，保障在一臺機器故障的情況下，能夠自動完成切換，不丟失采集任務(wù)，正常輸出數(shù)據(jù)，為上層應(yīng)用提供穩(wěn)定的數(shù)據(jù)支撐。統(tǒng)一采集平臺實現(xiàn)的雙機熱備功能，是針對系統(tǒng)自身的實時性特點所定制的高可用解決方案，屬于應(yīng)用軟件級別的雙機熱備，不僅能夠

38、應(yīng)對網(wǎng)絡(luò)、主機等基礎(chǔ)設(shè)施層面的故障，還能夠支持應(yīng)對主機應(yīng)用程序的掛死等故障，保障采集任務(wù)的不丟失，有效提升了統(tǒng)一采集平臺的穩(wěn)定性與安全。統(tǒng)一采集平臺實現(xiàn)管理服務(wù)器的雙機熱備，主要包括主備服務(wù)器信息同步功能、主用服務(wù)器狀態(tài)監(jiān)控功能、主/備服務(wù)器切換功能。用例示意圖如下：流程示意圖如下：采集節(jié)點負載均衡和容災(zāi)采集節(jié)點心跳監(jiān)控：采集節(jié)點實時上報心跳信息給管理服務(wù)器，心跳信息中包含系統(tǒng)資源占用情況，包括CPU、內(nèi)存占用情況，管理服務(wù)器通過心跳信息及時掌握各采集節(jié)點的狀態(tài)，管理服務(wù)器在3個心跳周期沒有收到心跳就置該采集節(jié)點為不可用狀態(tài)，不會再給該采集節(jié)點下發(fā)任務(wù)，同時發(fā)送告警信息及時通知維護人員。采集節(jié)

39、點負載均衡：根據(jù)當(dāng)前采集節(jié)點的資源空閑情況、當(dāng)前運行任務(wù)情況，待下發(fā)的任務(wù)權(quán)重，計算出發(fā)給每個采集節(jié)點的任務(wù)。支持定向到采集節(jié)點：由于網(wǎng)絡(luò)路由限制，允許對采集節(jié)點進行分組，在采集節(jié)點組內(nèi)部進行負載均衡，支持對某個采集源的采集定向到某一個采集節(jié)點。采集節(jié)點容災(zāi)：當(dāng)某個采集節(jié)點硬件出現(xiàn)故障后，該采集節(jié)點上正在執(zhí)行的任務(wù)會被重新分發(fā)給其他采集節(jié)點完成。系統(tǒng)自恢復(fù)能力采集節(jié)點和管理服務(wù)器之間的網(wǎng)絡(luò)斷開后，采集節(jié)點應(yīng)該能夠不斷嘗試和管理服務(wù)器通訊，網(wǎng)絡(luò)恢復(fù)后采集節(jié)點會及時上報心跳信息，后續(xù)管理服務(wù)器就會把該采集節(jié)點置為可用狀態(tài)，下發(fā)新的任務(wù)。監(jiān)控數(shù)量監(jiān)控數(shù)量每級節(jié)點支持的管理對象下限如下，可通過軟硬件處

40、理能力進一步擴展：網(wǎng)絡(luò)設(shè)備對象：不低于2000個（含虛擬網(wǎng)絡(luò)設(shè)備）。服務(wù)器對象：不低于2000個操作系統(tǒng)（含虛擬服務(wù)器）。通用應(yīng)用服務(wù)對象：不低于500個應(yīng)用實例（含DNS、IIS、tomcat等）。數(shù)據(jù)庫對象：不低于200個數(shù)據(jù)庫實例，含Oracle、SQL Server、My SQL等數(shù)據(jù)庫支持，并支持對神通數(shù)據(jù)庫的管理開發(fā)定制。存儲設(shè)備對象：不低于20個。應(yīng)用系統(tǒng)：不低于100個，主要為自主設(shè)計開發(fā)的專用業(yè)務(wù)系統(tǒng)。數(shù)據(jù)存儲能力系統(tǒng)保存所有原始告警數(shù)據(jù)，原始告警與監(jiān)控系統(tǒng)或網(wǎng)元管理終端所獲告警保持一致，告警數(shù)據(jù)一致性能達到100%。原始粒度性能數(shù)據(jù)默認在線保持3月以上，小時粒度性能數(shù)據(jù)默認

41、在線保持1年以上，日粒度性能數(shù)據(jù)默認在線保持2年以上。且此時間可以根據(jù)用戶需求自行修改；支持在線數(shù)據(jù)在線修改功能，用戶可通過對應(yīng)用界面進行修改。支持超過1年的數(shù)據(jù)歸檔導(dǎo)出，支持數(shù)據(jù)倒入恢復(fù)功能。各種日志文件、歷史告警文件應(yīng)至少能保存6 個月的事件。6個月以上數(shù)據(jù)采用光盤、磁帶等介質(zhì)進行備份，脫機保存，應(yīng)提供查詢功能。視圖管理拓撲視圖主要是對IT基礎(chǔ)網(wǎng)元拓撲關(guān)系的展示，業(yè)務(wù)視圖主要是對BSM（業(yè)務(wù)服務(wù)管理）要體現(xiàn)的業(yè)務(wù)系統(tǒng)與IT基礎(chǔ)網(wǎng)元相互關(guān)系的展示。在拓撲關(guān)系展示和業(yè)務(wù)關(guān)系展示的理論框架中，都包含服務(wù)的分解與構(gòu)建、應(yīng)用映射等功能的模塊，所以，運行監(jiān)控子系統(tǒng)中采用統(tǒng)一的視圖管理實現(xiàn)拓撲展示和業(yè)務(wù)

42、視圖的展示。架構(gòu)設(shè)計圖 web視圖技術(shù)架構(gòu)Topology在每一層次位置情況如下：數(shù)據(jù)源：配置文件將作為File數(shù)據(jù)被使用。在Topology模塊中，對于XML File數(shù)據(jù)的需求與依賴程度遠遠高于其它模塊，主要是因為Topology的全局開關(guān)與默認參數(shù)、交互動作、事件插件、指標(biāo)字典、顯示轉(zhuǎn)換器、告警、圖標(biāo)、右鍵菜單等等核心功能全部基于配置工作，并進一步用于屏蔽項目個性化帶來的分支維護與版本升級壓力。PM與AM分別指性能服務(wù)層與告警服務(wù)層，這部分并不發(fā)生改變，主要為客戶端提供實時的、高性能的性能與告警數(shù)據(jù)。Hyperspace是新的系統(tǒng)架構(gòu)中用于提供資源服務(wù)的模塊，與PM、AM同級，也是中層服

43、務(wù)的一部分。Topology 的所有資源數(shù)據(jù)都將不再依賴于數(shù)據(jù)庫，而是直接從Hyperspace查詢獲得，這其中不僅僅包括最基本的網(wǎng)元等，還包括更加高級的樹與圖。Database的作用在Topology核心功能中被弱化，但是在Topology各個業(yè)務(wù)的外圍功能中，地位不降反升，主要是因為趨勢、統(tǒng)計、排名、狀態(tài)類數(shù)據(jù)均存在通過Topology集中圖形化展示的需求。架構(gòu)層次：服務(wù)端：服務(wù)端DAO層次將借助Spring Transaction來進行事務(wù)管理。另外，服務(wù)端對于拓撲圖資源維護過程中的一些觸發(fā)式的預(yù)計算也要進行更多的支持，以便客戶端能夠更方便、更專注的完成圖形繪制的工作。數(shù)據(jù)交互：新架構(gòu)上

44、變更較大的是由服務(wù)端向客戶端主動推送數(shù)據(jù)，在一個瀏覽器中，Topology通過FlashPlayer與Web的整體框架共用同一個已經(jīng)在服務(wù)端注冊過的消息客戶端，從而接收由服務(wù)端主動推送給Topology模塊的告警、資源變更、狀態(tài)變更等消息，并在圖中將變更快速、直觀體現(xiàn)出來。此外，Hyperspace向外提供RESTful的WebService訪問接口，并提供Java與JavaScript兩種語言的客戶端，所以Topology將直接應(yīng)用其提供的客戶端完成對于資源數(shù)據(jù)和圖結(jié)構(gòu)數(shù)據(jù)的獲取?？蛻舳耍翰捎肑avaScript + CSS3 + SVG技術(shù)。除了智能手機的屏幕過小不適合瀏覽拓撲結(jié)構(gòu)視圖外，

45、Pad等屏幕稍大的移動終端應(yīng)該能夠支持拓撲圖形的顯示。智能終端推送可考慮小規(guī)模的異步輪詢模式，以極小代價獲取服務(wù)端是否更新的動態(tài)標(biāo)識，來達成推送的跨終端平臺能力。圖形引擎拓撲的圖形繪制完全由圖形引擎（GraphEngine）負責(zé)，它的接口比純粹的點、線、面繪圖更加高級，提供專門用于組織、繪制二維拓撲圖形的全部高度抽象接口。這些接口與具體繪制的拓撲業(yè)務(wù)無關(guān)。另外，圖形引擎對其定義的接口用哪一種繪圖技術(shù)來實現(xiàn)也不關(guān)心，只要這種技術(shù)能夠?qū)崿F(xiàn)圖形引擎所定義的接口，那么業(yè)務(wù)邏輯部分就可以通過圖形引擎的接口完成拓撲圖的繪制。大數(shù)據(jù)技術(shù)數(shù)量龐大的IT資源，在運行過程當(dāng)中，時時刻刻都在產(chǎn)生大量的運行事件信息，

46、同時也積累了超大數(shù)據(jù)量的歷史運行數(shù)據(jù)。采用大數(shù)據(jù)分析處理技術(shù)為告警相關(guān)性挖掘、長周期性能分析與預(yù)測、實時數(shù)據(jù)業(yè)務(wù)性能數(shù)據(jù)分析、告警日志檢索、應(yīng)用流量分析、數(shù)據(jù)分析挖掘等應(yīng)用場景提供了新的途徑和方法。大數(shù)據(jù)分析處理在產(chǎn)品系統(tǒng)中的應(yīng)用場景說明：大數(shù)據(jù)技術(shù)說明Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。Hadoop的成員架構(gòu)如下圖所示： Hadoop成員架構(gòu)圖本次系統(tǒng)中使用到的Hadoop框架內(nèi)容包括：（1）HDFSHadoop分布式文件系統(tǒng)(Distributed File System)

47、 HDFS (Hadoop Distributed File System)（2）Map-Reduce并行計算框架，0.20前使用 org.apache.hadoop.mapred 舊接口，0.20版本開始引入org.apache.hadoop.mapreduce的新API。本項目中此項技術(shù)用來解決大數(shù)據(jù)的預(yù)處理或特定要求下的大規(guī)模計算。具體特點：海量數(shù)據(jù)快速加載。海量數(shù)據(jù)的清洗與轉(zhuǎn)換工作。海量數(shù)據(jù)轉(zhuǎn)換為Hbase格式數(shù)據(jù)。Hbase HYPERLINK /view/1993870.htm t _blank HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。（ HYP

48、ERLINK /view/1993870.htm t _blank HBase和 HYPERLINK /view/4600961.htm t _blank Avro已經(jīng)于2010年5月成為頂級 Apache 項目），本次項目中，將使用Hbase作為大數(shù)據(jù)的索引查詢庫使用，滿足快速的ID查詢需求。具體特點：滿足海量數(shù)據(jù)的快速查詢。滿足海量數(shù)據(jù)的過濾、排序、分揀等操作。HiveHive：數(shù)據(jù)倉庫工具，可以使用SQL腳本方式，對數(shù)據(jù)進行開發(fā)，本項目作為日常的匯總統(tǒng)計工具。具體特點：滿足對數(shù)據(jù)的稽核統(tǒng)計與Impala的結(jié)合，滿足近線短周期的大數(shù)據(jù)快速JDBC、ODBC方式查詢。Redis內(nèi)存數(shù)據(jù)庫技術(shù)

49、redis是一個key-value存儲系統(tǒng)。和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set -有序集合)和hashs（哈希類型）。本項目中，Redis庫作為編碼集中管理，保持在集群內(nèi)部的編碼統(tǒng)一。告警相關(guān)性挖掘通過時間序列模型、 Hadoop 技術(shù)、數(shù)據(jù)挖掘、時間窗口模型等大數(shù)據(jù)技術(shù)，進行告警壓縮、告警規(guī)則生成、告警預(yù)測、告警歷史處理經(jīng)驗分析、故障定位，提升告警壓縮率、準(zhǔn)確率、關(guān)聯(lián)度。日志告警檢索利用Hbase數(shù)據(jù)裝載、與索引裝載的異步實現(xiàn)、大數(shù)據(jù)壓縮等Hadoop技術(shù)和Hive開發(fā)的數(shù)

50、據(jù)分析，對非結(jié)構(gòu)化日志數(shù)據(jù)的海量處理和檢索，精準(zhǔn)定位關(guān)鍵字熱點區(qū)域，對關(guān)鍵字進行重點組織、過濾、分析、報告輸出。實現(xiàn)查詢的跨越級目標(biāo)，實現(xiàn)秒級查詢。數(shù)據(jù)庫設(shè)計數(shù)據(jù)庫架構(gòu)設(shè)計做好數(shù)據(jù)庫的設(shè)計與優(yōu)化是保證系統(tǒng)性能的關(guān)鍵：數(shù)據(jù)庫的設(shè)計，包括表的設(shè)計、索引的設(shè)計等。增量層將去除不必要的索引；根據(jù)表、索引的設(shè)計情況，估算每個表的基準(zhǔn)數(shù)據(jù)量及大小，還有表數(shù)據(jù)的增長情況，合理設(shè)計每個表的參數(shù)值。對于數(shù)據(jù)量大的表，采用分區(qū)表和物化視圖等技術(shù)，以及在設(shè)計上考慮歷史表等方法來提高性能；根據(jù)表、索引的設(shè)計情況，合理設(shè)計表空間的大小、在磁盤上的分布以及相關(guān)的參數(shù)；合理調(diào)整數(shù)據(jù)庫的初始化參數(shù)以及操作系統(tǒng)的內(nèi)核參數(shù)等；合

51、理規(guī)劃連接池及客戶端對數(shù)據(jù)庫的連接數(shù)目；根據(jù)現(xiàn)場實際情況，定期監(jiān)測和檢查數(shù)據(jù)庫的使用情況，并對不合理參數(shù)做出調(diào)整。同時，也定期對數(shù)據(jù)庫中的碎片進行整理。大數(shù)據(jù)表設(shè)計存儲空間設(shè)計不要為監(jiān)控實例多、監(jiān)控周期少的性能數(shù)據(jù)表設(shè)置存儲的限制。在ORACLE數(shù)據(jù)庫中，對于一些數(shù)據(jù)容量比較小的表格，設(shè)置存儲配額限制是合理的，可以提高空間的利用率。對于大表設(shè)則不對其存儲空間做出任何的限制。為大表分配足夠的臨時空間查詢時，我們還會經(jīng)常的進行排序操作。當(dāng)記錄多的話，這個排序動作，要求具有比較大的臨時存儲空間。所以，當(dāng)某個表預(yù)計會有很大的記錄數(shù)量的時候，我們就要給其分配足夠多的臨時空間?？紤]表和表的索引分離存放大表

52、所對應(yīng)的索引通常也比較大。一般來說，索引的數(shù)量是隨著表記錄的數(shù)量增加而增加，兩者是接近于一個正比例的關(guān)系?？紤]把表和他的索引分別存儲于不同的表空間中，最大的好處是讓索引比較容易的獲得所需要的連續(xù)的存儲空間，從而提高輸入輸入的效率。大表分區(qū)設(shè)計當(dāng)數(shù)據(jù)庫表記錄達到千萬條以上時，不但影響著數(shù)據(jù)庫的運行效率，也增大了數(shù)據(jù)庫的維護難度，可以通過對大表進行合理分區(qū)得到很大的改善。當(dāng)表和索引變得非常大時，分區(qū)可以將數(shù)據(jù)分為更小、更容易管理的部分來提高系統(tǒng)的運行效率。系統(tǒng)通常按照如下的規(guī)劃進行分區(qū)：5分鐘性能表按天分區(qū)，小時表10天一個分區(qū)，天匯總表是1個月一個分區(qū)，表月也是一個月一個分區(qū)。表及索引分區(qū)對用戶

53、的訪問數(shù)據(jù)是透明的，完全不影響前端應(yīng)用的數(shù)據(jù)訪問邏輯。每個分區(qū)可以被單獨管理，可以不依賴于其他分區(qū)而單獨發(fā)揮作用，因而，分區(qū)可以提高可管理性、性能與可用性，從而給各種各樣的應(yīng)用程序帶來極大的好處。性能設(shè)計告警信息處理運行監(jiān)控系統(tǒng)擁有強大告警數(shù)據(jù)處理能力，在處理設(shè)備產(chǎn)生告警的同時也能接受Trap、syslog等告警數(shù)據(jù)。網(wǎng)絡(luò)正常情況下，集中告警系統(tǒng)的告警平均響應(yīng)時間（指從網(wǎng)元發(fā)生告警到集中告警系統(tǒng)顯示告警）不大于30 秒。告警處理時延（即本系統(tǒng)接口收到告警到本系統(tǒng)終端顯示出告警之間的時延）：不超過3秒。收集處理告警信息的能力：大于1000條/秒。系統(tǒng)能處理的最大當(dāng)前告警能力：大于5000條/秒。

54、在系統(tǒng)滿負荷情況下，告警響應(yīng)時間應(yīng)不大于以上指標(biāo)的150%。設(shè)備管理數(shù)量每級節(jié)點支持的管理對象下限如下，并可通過軟硬件處理能力進一步擴展：網(wǎng)絡(luò)設(shè)備對象：不低于2000個（含虛擬網(wǎng)絡(luò)設(shè)備）。服務(wù)器對象：不低于2000個操作系統(tǒng)（含虛擬服務(wù)器）。通用應(yīng)用服務(wù)對象：不低于500個應(yīng)用實例（含DNS、IIS、tomcat等）。數(shù)據(jù)庫對象：不低于200個數(shù)據(jù)庫實例，含Oracle、SQL Server、My SQL等數(shù)據(jù)庫支持，并支持對神通數(shù)據(jù)庫的管理開發(fā)定制。存儲設(shè)備對象：不低于20個。應(yīng)用系統(tǒng)：不低于100個，主要為自主設(shè)計開發(fā)的專用業(yè)務(wù)系統(tǒng)。系統(tǒng)處理效率監(jiān)控系統(tǒng)擁有高效的系統(tǒng)處理能力，具體參數(shù)如下

55、：后臺采集及解析處理，單個等效網(wǎng)元不超過2毫秒。后臺處理響應(yīng)：后臺數(shù)據(jù)平均處理速度小于7秒，最大不超過20秒。一般頁面響應(yīng)時間：用戶進行界面操作時，系統(tǒng)響應(yīng)時間小于2秒；用戶進行查詢、匯總數(shù)據(jù)時，系統(tǒng)響應(yīng)時間小于5秒；用戶生成報表時，系統(tǒng)響應(yīng)時間小于10秒。以上時間均排除網(wǎng)絡(luò)延遲的干擾。系統(tǒng)自身流量占用：平均每次采集請求/應(yīng)答流量約為1 Kbyte，經(jīng)過數(shù)據(jù)壓縮后，流量約為0.5Kbyte，約每 5分鐘采集一次，則帶寬需求為： “50 * 0.5K*8 / 300 = 0.67 Kbit/s”。數(shù)據(jù)庫：數(shù)據(jù)入庫能力大于500條/秒。運行監(jiān)控系統(tǒng)自身軟件占用資源：在系統(tǒng)硬件資源滿足的前提下，系統(tǒng)

56、資源平均內(nèi)存占用少于30%、峰值內(nèi)存占用少于70%，平均CPU占用少于30%,峰值CPU占用少于60%，主動擁有資源自動釋放功能，會定期整理系統(tǒng)資源。服務(wù)器端數(shù)據(jù)庫性能穩(wěn)定。數(shù)據(jù)存儲能力系統(tǒng)需要保存所有原始告警數(shù)據(jù)，原始告警應(yīng)與監(jiān)控系統(tǒng)或網(wǎng)元管理終端所獲告警保持一致，告警數(shù)據(jù)一致性能達到100%。性能數(shù)據(jù)默認在線保持1年以上，且此時間可以根據(jù)用戶需求自行修改；支持在線數(shù)據(jù)在線修改功能，用戶可通過對應(yīng)用界面進行修改。支持超過1年的數(shù)據(jù)歸檔導(dǎo)出，支持數(shù)據(jù)倒入恢復(fù)功能。各種日志文件、歷史告警文件應(yīng)至少能保存6 個月的事件。6個月以上數(shù)據(jù)采用光盤、磁帶等介質(zhì)進行備份，脫機保存。配置管理數(shù)據(jù)庫系統(tǒng)資源模

57、型管理采用自主開發(fā)的成熟的資源建模軟件產(chǎn)品GOAT，通過建立對象到關(guān)系型數(shù)據(jù)的映射和轉(zhuǎn)換，達到了數(shù)據(jù)的對象化封裝，包括對象查詢，數(shù)據(jù)檢查，規(guī)則約束等。按照現(xiàn)在廣泛使用的ORM的方法，完成對持久層產(chǎn)品的兩個重要組件的創(chuàng)建和修改，它們是持久層JAVA類和映射文件（MAP文件）。通過按照對象映射，規(guī)則約束條件等生成的JAVA類，最終打包成J2EE的EJB發(fā)布在中間件的服務(wù)器上，并以此對外提供API方式訪問。GOAT系統(tǒng)包括模型文件處理(Model Handle)、模型編輯模塊(ModelEditor)、持久化模塊(Persistent Module)、資源數(shù)據(jù)對象管理、數(shù)據(jù)導(dǎo)入、導(dǎo)出模塊、監(jiān)控管理接

58、口模塊和數(shù)據(jù)處理模塊。GOAT數(shù)據(jù)來源于：通過數(shù)據(jù)采集層采集的配置數(shù)據(jù)通過數(shù)據(jù)導(dǎo)入工具導(dǎo)入的客戶信息數(shù)據(jù)和手工錄入的網(wǎng)絡(luò)資源數(shù)據(jù)GOAT管理的數(shù)據(jù)包括：資源模型數(shù)據(jù)當(dāng)前網(wǎng)絡(luò)資源數(shù)據(jù)當(dāng)前業(yè)務(wù)資源數(shù)據(jù)模型文件處理（Model Handle）由于GOAT對持久層封裝了許多功能，比如數(shù)據(jù)檢查，規(guī)則約束等，按照現(xiàn)在廣泛使用的第三方持久層產(chǎn)品的方法，就必須完成對持久層產(chǎn)品的兩個重要組件的創(chuàng)建和修改，它們是持久層JAVA類和映射文件（MAP文件）。模型文件處理采用模型編輯器產(chǎn)生資源模型文件，把模型文件經(jīng)過解析后，按照模型文件中的要求對持久層需要的JAVA類（在JAVA類中實現(xiàn)規(guī)則定義，規(guī)則計算等封裝功能）和

59、MAP文件進行創(chuàng)建或修改，之后生成可以運行的類和配置文件，最后進行發(fā)布部署。模型編輯模塊（Model Editor）通過模型編輯器Model Editor上圖形化的生成和修改工具， 可以定義生成xml文本格式資源模型文件。ModelEditor不僅能定義被管對象資源的屬性以及資源之間的相互關(guān)系，還能定義資源上可以實現(xiàn)的業(yè)務(wù)功能接口API等。文件格式：xml文件。保存位置：Server端目錄。文件分類：按照預(yù)定義的分類歸并，便于管理。模型文件內(nèi)容：資源模型文件能描述多種數(shù)據(jù)類型，支持屬性信息的傳遞，計算，分組，能夠表示引用和多種包含關(guān)系，并包括資源操作接口和狀態(tài)變化操作接口。模型建模功能：涉及了

60、對資源模型的類，屬性，方法，方案，相互關(guān)系，全局方法，存儲表等多種操作。其他Model Editor實現(xiàn)的功能：包括模型文件打開/編輯/關(guān)閉等一般操作，模型文件內(nèi)容的檢查，模型文件導(dǎo)入導(dǎo)出功能，具備了自檢查內(nèi)容，并可以后臺獨立操作，產(chǎn)生的文件格式是通用的xml格式。持久化模塊（Persistent Module）這個模塊采用了目前成熟的ORM技術(shù)，用以簡化對數(shù)據(jù)庫的操作。通過面向?qū)ο蠡牟僮?，將資源模型數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)庫中的數(shù)據(jù)，表和約束關(guān)系，方便和高效地實現(xiàn)了對資源模型數(shù)據(jù)的處理。持久化模塊中的Cache & Transaction Coordinator是基于ORM技術(shù)或者Applicati