移動公司基于CMDB技術的自動化運維體系探索和應用最佳實踐

基于CMDB技術的自動化運維體系探索和實踐匯報材料目錄引入背景

二一實踐成果應對措施

三四后續(xù)計劃維護管理面臨的挑戰(zhàn)巨大設備種類眾多數(shù)量龐大主機數(shù)量

-10000+品牌型號110+

操作系統(tǒng)10+根本不可能針對CT設計開發(fā)，而非IT隨著IT系統(tǒng)的多年建設，IT設備數(shù)量越來越大，而且種類眾多，品牌型號龐雜，導致維護難度和成本越來越高，信息的完整性、準確性、一致性、可靠性無法保障，嚴重阻礙了IT智能化運維的推進，并給業(yè)務的安全高效運行帶來了越來越高的風險和不確定性。IT環(huán)境和形勢對CMDB作為核心基礎，缺少統(tǒng)一明確的認識和定位，而且缺少符合IT運維多方需要的體系化模型設計，導致沒有面向共享、支撐統(tǒng)一智能化運維而單獨建設。常年累月，帶來了數(shù)據(jù)的一致、完整準確等等問題，導致無法全面掌握IT資源狀況、范圍、關系，變更、故障的影響難以評估。無法及時感知IT資源、配置、關聯(lián)關系、業(yè)務環(huán)境的變化，并在IT智能運維體系內(nèi)外及時有效的傳達，并被有效而非誤導性使用，如配置變更、上線割接等。存儲數(shù)量-800+數(shù)據(jù)庫|中間件-1200+數(shù)通設備-600+品牌型號

96+人工管理維護現(xiàn)有綜合資管系統(tǒng)痛點1：數(shù)據(jù)管理分散，一致性、統(tǒng)一性差，可信度難以保證由于沒有統(tǒng)一的CMDB，簡單的IT資源數(shù)據(jù)往往通過文件方式管理，各種平臺也都獨自導入了一份資源數(shù)據(jù)，導致多方各自獨立維護一套數(shù)據(jù)，出入越來越大，甚至同一信息記錄完全不一致，導致數(shù)據(jù)準確性與一致性的嚴重缺失。甚至拿出一份全量、可信的數(shù)據(jù)都是非常困難的，導致難以完全掌握IT資源現(xiàn)況、范圍等情況。數(shù)據(jù)匯總ABCDA、C、DA、C1B、C、DC?orC1?到底有沒有B?數(shù)據(jù)以誰為準?部門1平臺1部門2平臺2部門3平臺3三份數(shù)據(jù)互有出入痛點2：缺失IT資源對象之間的關聯(lián)關系，會導致變更、故障的影響難以評估業(yè)務1業(yè)務2變更主機A主機B主機C主機D存儲X？主機A主機B存儲A存儲B存儲C存儲D宕機！各類IT資源對象之間，有著各種各樣的物理、邏輯、業(yè)務關聯(lián)關系，這個復雜的關系網(wǎng)組成了各種業(yè)務和支撐系統(tǒng)運行的環(huán)境，自動化運維也是基于這樣一個環(huán)境上的運維。而各種物理、邏輯、業(yè)務關聯(lián)關系的缺失，導致：配置變更、業(yè)務變更所發(fā)生的影響難以評估（圖1）故障影響難以評估（圖2）在此之上的自動化運維，其難度可想而知。圖2圖1痛點3：無法及時感知IT資源、配置、關聯(lián)關系、業(yè)務環(huán)境的變化運維的自動化，首先是基礎數(shù)據(jù)的自動化，由于CMDB和相關能力的缺失，無法及時、自動感知IT資源、配置、關聯(lián)關系、業(yè)務環(huán)境的變化，記錄這些變化以便追溯，并能將這種變化主動的向運維體系內(nèi)外及時高效的傳達和更新，以便被有效而非誤導性使用，如配置變更、上線割接等。這些問題和痛點的存在，都可能導致運維處置誤判，影響難以評估，可想而知，基于此之上的自動化運維，會給業(yè)務的安全高效運行帶來很高的風險和不確定性，會嚴重阻礙IT自動化運維的推進。業(yè)務、系統(tǒng)的割接等變更，會發(fā)送工單，受影響部門將會收到割接通知，然而難免存在通知不全面、不及時、甚至嚴重滯后的情況，同時，數(shù)據(jù)沒法自動同步，而是需要各方都手工修改。部門AIMEP工單系統(tǒng)受影響部門1受影響部門2受影響部門3還會有哪些部門和系統(tǒng)會受影響？手工修改業(yè)務環(huán)境變化信息手工修改業(yè)務環(huán)境變化信息手工修改業(yè)務環(huán)境變化信息發(fā)送割接請求通知通知通知現(xiàn)狀：目錄引入背景

二一實踐成果應對措施

三四后續(xù)計劃建設CMDB

–IT智能運維的基礎和核心CMDB網(wǎng)絡虛擬化邏輯實體業(yè)務應用人員……

主機存儲數(shù)據(jù)庫數(shù)據(jù)共享自動化運維體系故障處理變更流程

……監(jiān)控體統(tǒng)派單系統(tǒng)告警分析針對浙江移動IT設備量大、品牌型號龐雜，及痛點問題，建設CMDB系統(tǒng)，統(tǒng)一管理所有IT設備全生命周期的配置數(shù)據(jù)，并共享支撐智能運維的開展。存儲IT設備生命周期內(nèi)的配置信息數(shù)據(jù)存儲CI的屬性，CI之間的關聯(lián)關系；另外，還記錄員工、供應商、位置和機構(gòu)構(gòu)成等組織數(shù)據(jù)意義為其他服務管理流程提供準確的信息支持；使IT運維工作能夠在正確的時間做出正確的決定；配置項記錄得到完整的記錄和維護；確保配置信息是隨時、隨地可用的；確保CMDB平臺是統(tǒng)一運維消費場景的來源和基礎全面梳理并設計了一套：從主機到存儲、到數(shù)據(jù)庫、再到數(shù)通設備的全鏈路覆蓋，從物理硬件到邏輯組件，物理、邏輯、業(yè)務關聯(lián)關系全覆蓋，全配置管理的CMDB框架體系和模型梳理并構(gòu)建全面的CMDB框架體系和模型浙江公司CMDB平臺架構(gòu)IT資源主機數(shù)據(jù)庫中間件虛擬化主機應用進程數(shù)通設備業(yè)務邏輯處理及展示層CMDB系統(tǒng)綜合各采集平臺能力，匯總處理采集數(shù)據(jù)并集中實時展示數(shù)據(jù)。通過多種形式的接口，分別將服務器、存儲、數(shù)通設備同步過來的數(shù)據(jù)采集、解析、入庫。統(tǒng)一采集/ETL層數(shù)據(jù)和數(shù)據(jù)共享層存儲多設備、跨域配置信息自動化采集自動化采集主要依賴策略以及能力實現(xiàn)，通過策略與能力的匹配下達采集任務，實現(xiàn)自動化的采集；通過SSH、WMI、FTP等對主機、存儲、數(shù)據(jù)庫、數(shù)通設備、虛擬機實現(xiàn)自動化采集；自動化采集主要依賴策略以及能力實現(xiàn)，通過策略與能力的匹配下達采集任務，實現(xiàn)自動化的采集；通過SSH、WMI、FTP等對主機、存儲、數(shù)據(jù)庫、數(shù)通設備、虛擬機實現(xiàn)自動化采集；多設備、跨域配置信息自動化采集資源指標調(diào)度策略能力SSHWMIFTP采集機匹配……主機存儲數(shù)據(jù)庫虛擬機數(shù)通設備……把CMDB作為IT運維統(tǒng)一的數(shù)據(jù)應用基礎，提供各類數(shù)據(jù)接口，達到配置數(shù)據(jù)標準化管理，為其他服務管理流程和應用提供準確的信息支持；使IT運維工作能夠在正確的時間做出正確的決定，確保CMDB是統(tǒng)一運維消費場景的來源和基礎。統(tǒng)一調(diào)用接口，共享配置信息外部消費平臺功能CMDB數(shù)據(jù)全量IP管理資產(chǎn)管理和資產(chǎn)結(jié)算報表展示拓撲圖展示擴展屬性管理數(shù)據(jù)變更管理配置項管理變更對象查詢定位故障查詢定位告警關聯(lián)歷史故障/變更查詢告警平臺自動派單4A資產(chǎn)同步EOMS配置數(shù)據(jù)同步各監(jiān)控系統(tǒng)SMP安全資產(chǎn)同步資產(chǎn)共享故障管理配置變更配置管理變更管理上層應用安全一鍵應急目錄引入背景

二一實踐成果應對措施

三四后續(xù)計劃成果1：構(gòu)建了一套完整、實用的CMDB框架體系和模型基于這套體系，與綜合資管協(xié)同，能完善IT資源管理能力，有效的彌補能力缺少和短板，從而完善自動化運維的基礎數(shù)據(jù)能力。配置項（CI）分層管理一層分類：IT基礎架構(gòu)、網(wǎng)絡、應用二層分類：集群、服務器、虛擬化、主機、存儲、數(shù)據(jù)庫、網(wǎng)絡、應用、中間件三層分類：具體的CI對象，包括如小型機、刀片機、網(wǎng)卡、HBA卡、磁盤陣列、ORACLE、業(yè)務模塊、業(yè)務系統(tǒng)等CI屬性：CI對象的具體配置CI關系：物理、邏輯、業(yè)務關聯(lián)關系物理關系：如刀片機連接

HBA卡···

連接磁陣邏輯關系：如中間件實例運行于虛擬機業(yè)務關系：如業(yè)務系統(tǒng)包含業(yè)務模塊面向構(gòu)建統(tǒng)一自動化運維的多方需要，全面梳理、設計并構(gòu)建了一套：從主機到存儲、到數(shù)據(jù)庫、再到數(shù)通設備的全鏈路覆蓋，從物理硬件到邏輯組件，物理、邏輯、業(yè)務關聯(lián)關系全覆蓋，全配置管理的CMDB框架體系和模型。包括：配置項（CI）：59類

，CI屬性：1503個，關聯(lián)關系擴展屬性：31個，CI關系：162類已具備6類主要IT資源的接入能力，全部實現(xiàn)自動化采集，完成10000+主機、600+數(shù)通設備、1200+數(shù)據(jù)庫和中間件的覆蓋。通過掃描+流量識別雙重機制，自動發(fā)現(xiàn)在網(wǎng)設備及其變化。成果2：實現(xiàn)了IT設備的全鏈路覆蓋和接入能力設備類型數(shù)量主要品牌X86

PC1059HP、華為、聯(lián)想存儲820IBM、HP、EMC、華賽、SUN、NETAPP刀框408HP、聯(lián)想、CISCO刀片3510HP、聯(lián)想、CISCO光纖交換機120Brocade、HP、IBM虛擬機2316VMware小型機328SUN、HP、IBM設備類型數(shù)量主要品牌交換機404華為、H3C、CISCO防火墻136華為、H3C、Juniper路由器25華為、H3C、CISCO、Juniper負載均衡器46F5、Radware、Array服務器、存儲超過10000套防火墻、交換機超過600臺設備類型數(shù)量主要品牌數(shù)據(jù)庫504Oracle、Informix中間件736Weblogic、Tomcat、Apache數(shù)據(jù)庫、中間件超過1200套操作系統(tǒng)RedHat/SUSE/HP-UNIX/Solaris/AIX/Ubuntu/EnterpriseLinux/Fedorarelease/CentOS/WINDOWS設備采集率：100%

|CI屬性采集率：98%|采集準確率：100%（自校驗）成果3：實現(xiàn)了IT資源關聯(lián)關系的自動發(fā)現(xiàn)、采集和自動關聯(lián)能力各種各樣的物理、邏輯、業(yè)務關聯(lián)關系，組成了各種業(yè)務運行的環(huán)境，自動化運維也是基于這樣一個整體環(huán)境上的運維。本實踐從一開始就特別重視從整個IT環(huán)境和關系上思考，在前面兩個成果的基礎上，實現(xiàn)了162類配置項（CI）關系的自動發(fā)現(xiàn)、采集和自動關聯(lián)能力，其中154類自動關聯(lián)，8類從綜合資管同步，實現(xiàn)了物理、邏輯、業(yè)務關聯(lián)關系的全覆蓋。這使得配置變更、業(yè)務變更帶來的影響、故障的定位和影響等等，能夠完全準確的掌握?；谥鳈C服務器的關系：自動構(gòu)建如網(wǎng)卡、磁盤、數(shù)據(jù)庫、中間件與主機之間的關系。虛擬主機通過VCENTER采集并自動構(gòu)建關系。主機與數(shù)通設備之間的關系：自動構(gòu)建（包括虛擬化資源之間的關系）通過網(wǎng)卡和數(shù)通設備端口數(shù)據(jù)的匹配自動建立關系。主機與存儲之間的關系：自動構(gòu)建主機HBA卡的wwn屬性，與光纖交換機端口的wwn屬性，自動關聯(lián)建立關系，并進一步通過光纖交換機端口對象建立和磁盤陣列等存儲對象的關系。業(yè)務系統(tǒng)、場景、模塊之間的關系：從綜合資管同步主機、網(wǎng)絡設備與刀框、機柜的關系：從綜合資管同步這三個成果構(gòu)建的能力，保障自動化運維有全面完整、準確一致、可信可靠的數(shù)據(jù)，使自動化運維成為可能。成果4：建立了基于CMDB的自動化運維體系，縮短了運維處置流程和時間基于CMDB初步構(gòu)建了自動化運維體系，確保CMDB是自動化運維消費場景的數(shù)據(jù)來源和基礎，目前實現(xiàn)了CMDB數(shù)據(jù)在11個系統(tǒng)和自動化運維場景的統(tǒng)一共享和消費，包括：綜合資管、4A、SMP、告警監(jiān)控系統(tǒng)、安全一鍵應急、告警自動派單、告警關聯(lián)、故障查詢定位、歷史故障/變更查詢、EOMS配置數(shù)據(jù)同步、變更對象查詢定位；通過CMDB及時感知IT資源、配置、關聯(lián)關系、業(yè)務環(huán)境的變化，實時自動在IT自動化運維體系內(nèi)外有效的傳導和共享，把CMDB變成使能者：使自動化運維成為可能。這樣的體系，掃清了自動化運維由于基礎數(shù)據(jù)問題帶來的諸多障礙，保障自動化運維能夠在正確的時間做出正確的決定，切實推進了自動化運維的開展和落地。CMDB數(shù)據(jù)4A資產(chǎn)同步SMP一鍵應急告警自動派單歷史故障/變更查詢EOMS配置數(shù)據(jù)同步故障查詢定位告警關聯(lián)告警監(jiān)控系統(tǒng)變更對象查詢定位綜合資管成果4：建立了基于CMDB的自動化運維體系，縮短了運維處置流程和時間案例：安全一鍵應急----安全一鍵應急平臺是在CMDB形成能力后，基于CMDB，結(jié)合SMP，針對安全緊急情況，進行一鍵應急處置的自動化運維場景。CMDB向安全一鍵應急平臺實時同步IT資源、配置、關聯(lián)關系數(shù)據(jù)，驅(qū)動一鍵應急平臺結(jié)合各類安全事件，進行影響范圍、資源對象重要性、嚴重程度等自動分析，在需要的時候，結(jié)合CMDB的關聯(lián)關系數(shù)據(jù)，自動登錄到關聯(lián)的網(wǎng)絡設備下發(fā)命令，直接對安全事件進行精確封堵攔截。原來：多流程、多節(jié)點、多人、手工處置變成：單流程、單節(jié)點、自動處置G20期間，一鍵應急共處置：100+起安全事件（合并后事件）900+

精確封堵攔截處置命令自動下發(fā)（涉及多套網(wǎng)絡設備）有力、有效保障了G20期間的網(wǎng)絡和業(yè)務安全成果5：初步構(gòu)建循環(huán)優(yōu)化體系在基于CMDB的整個自動化運維體系中，CMDB以完整、準確、可信數(shù)據(jù)作為系統(tǒng)建設的核心，將數(shù)據(jù)無縫對接到各個數(shù)據(jù)共享和應用平臺上，提升了CMDB數(shù)據(jù)應用率。通過高應用率獲得大量數(shù)據(jù)使用反饋，倒推系統(tǒng)提高數(shù)據(jù)準確率及優(yōu)化CMDB模型，形成了良性循環(huán)，從而推動了整個自動化運維體系良性向前。通過CMDB循環(huán)優(yōu)化體系，有效擴大了管理規(guī)模，節(jié)約了管理成本。維護CMDB數(shù)據(jù)共享CMDB數(shù)據(jù)使用CMDB數(shù)據(jù)發(fā)現(xiàn)CMDB問題優(yōu)化CMDB系統(tǒng)CMDB循環(huán)優(yōu)化體系目錄引入背景

二一實踐成果應對措施

三四后續(xù)計劃2013年20