運維體系建設介紹

1、第1頁第2頁目錄目錄p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）p 運維工作的現(xiàn)狀與展望運維工作的現(xiàn)狀與展望第3頁運維部門的定位運維部門的定位p 運維部門在公司的位置圖例：運維部門在公司的位置圖例：對熱線服務提供疑對熱線服務提供疑難技術支持，提升難技術支持，提升品牌形象，對產品品牌形象，對產品優(yōu)化研究，提升產優(yōu)化研究，提升產品質量品質量

2、服務中心熱線RMA技術支持中心備件中心Tec中心實驗室平臺為最終用戶提平臺為最終用戶提供安全、可靠的支供安全、可靠的支付等服務付等服務豐臺豐臺菜市口菜市口CMNETCMNET望京望京亦莊亦莊根據(jù)產品方案，定制根據(jù)產品方案，定制集成的系統(tǒng)方案，并集成的系統(tǒng)方案，并保證按照規(guī)范平穩(wěn)的保證按照規(guī)范平穩(wěn)的運行系統(tǒng)運行系統(tǒng)各業(yè)務線前端的產各業(yè)務線前端的產品和研發(fā)人員設計品和研發(fā)人員設計和生產軟件模塊和生產軟件模塊第4頁運維部門的價值運維部門的價值p “以流程為導向，以客戶為中心，以技術為支點，提供低以流程為導向，以客戶為中心，以技術為支點，提供低成本、高質量的成本、高質量的ITIT服務，以滿足業(yè)務快速發(fā)

3、展的需要服務，以滿足業(yè)務快速發(fā)展的需要”全面管控企業(yè)范圍內基礎設施、信息資產等資源，實現(xiàn)前端業(yè)務的快速上線；售后用戶的投訴等問題實現(xiàn)第一時間、一次性的完善解決，提升內外部客戶的滿意度業(yè)務快速響應要求業(yè)務快速響應要求業(yè)務連續(xù)性要求業(yè)務連續(xù)性要求業(yè)務安全性要求業(yè)務安全性要求成本預測與量化要求成本預測與量化要求對在線業(yè)務從系統(tǒng)層到業(yè)務層實現(xiàn)全面的監(jiān)控，從被動處理轉變?yōu)橹鲃宇A防，制定SLA考核指標，提升故障的快速定位和解決，保障業(yè)務達到超出競爭對手的穩(wěn)定運行率運維服務實現(xiàn)標準流程化管理，統(tǒng)一計費單元，對服務進行計費管理，服務價值與業(yè)務發(fā)展相符。采用先進的技術，低成本對應業(yè)務轉型，技術創(chuàng)造價值橫向從人員

4、、流程、制度、技術手段等方面，縱向從網(wǎng)絡層、主機層、存儲層、數(shù)據(jù)層、業(yè)務層等方面，形成網(wǎng)狀結構全面梳理安全問題，保障業(yè)務的機密、完整和可用性第5頁運維部門的價值運維部門的價值p 運維部門在公司的地位和作用運維部門在公司的地位和作用大背景：大背景：產品的前期設計和開發(fā)在整個生命周期中只占產品的前期設計和開發(fā)在整個生命周期中只占20%20%左右，左右，80%80%時間集中在運時間集中在運維和運營工作，隨著各行各業(yè)的大規(guī)模信息化建設時代接近尾聲，維和運營工作，隨著各行各業(yè)的大規(guī)模信息化建設時代接近尾聲，ITIT運維運維時代已經來臨。時代已經來臨。不同的公司，公司不同的發(fā)展階段，運維部門地位和作用不同

5、：不同的公司，公司不同的發(fā)展階段，運維部門地位和作用不同：“管理要效益管理要效益”Consumer lead“規(guī)范期規(guī)范期”Normative夢網(wǎng)業(yè)務的夢網(wǎng)業(yè)務的“蠻荒期蠻荒期”Start up time業(yè)務拓展為重，業(yè)務量考核業(yè)務拓展為重，業(yè)務量考核，滿足接入上量為原則，滿足接入上量為原則SP為中心為中心緩解管理壓力為重，重點解緩解管理壓力為重，重點解決系統(tǒng)穩(wěn)定性、產品可用性決系統(tǒng)穩(wěn)定性、產品可用性、投訴處理、投訴處理運營、運維管理為中心運營、運維管理為中心效益考核為重，業(yè)務品牌效益考核為重，業(yè)務品牌建設，個性化服務細節(jié)，建設，個性化服務細節(jié)，產品質量提升產品質量提升用戶為中心用戶為中心移動

6、夢網(wǎng)發(fā)展三個階段移動夢網(wǎng)發(fā)展三個階段運維部門頻繁上線及排運維部門頻繁上線及排障，多采用人海戰(zhàn)術，障，多采用人海戰(zhàn)術，規(guī)范性較差，規(guī)范性較差，“被動、被動、無序無序”，產品的可用性，產品的可用性及安全問題突顯。及安全問題突顯。運維部門承擔了產品質運維部門承擔了產品質量的評價和部分管理職量的評價和部分管理職能，規(guī)范流程制度，向能，規(guī)范流程制度，向技術運維轉型，致力于技術運維轉型，致力于消除人為事故和安全隱消除人為事故和安全隱患患運維部門從系統(tǒng)整體性運維部門從系統(tǒng)整體性角度出發(fā)，牽頭持續(xù)優(yōu)角度出發(fā)，牽頭持續(xù)優(yōu)化產品質量和性能?；a品質量和性能。用戶滿意度成為考核指用戶滿意度成為考核指標標第6頁網(wǎng)絡和

7、產品缺乏可網(wǎng)絡和產品缺乏可用性等指標評價體用性等指標評價體系，系統(tǒng)優(yōu)化缺乏系，系統(tǒng)優(yōu)化缺乏依據(jù)；依據(jù)；運維人員在運維流運維人員在運維流程中缺乏服務評價程中缺乏服務評價指標體系，從而不指標體系，從而不能作為績效考核的能作為績效考核的依據(jù)；依據(jù)；生產環(huán)境中單點設生產環(huán)境中單點設備較多，業(yè)務中斷備較多，業(yè)務中斷風險高；風險高；老舊設備對新技術老舊設備對新技術支持較差，資源分支持較差，資源分配不靈活；配不靈活；監(jiān)控、撥測等自動監(jiān)控、撥測等自動化運維工具缺乏，化運維工具缺乏，工作效率差、人力工作效率差、人力成本高；成本高；CMDBCMDB缺乏，生產缺乏，生產環(huán)境中環(huán)境中“僵尸節(jié)點僵尸節(jié)點”較多，影響業(yè)務

8、較多，影響業(yè)務更新，甚至帶來平更新，甚至帶來平臺重構的風險；臺重構的風險； 運維部門處于生運維部門處于生產和銷售的中間環(huán)產和銷售的中間環(huán)節(jié)，對前后端各條節(jié)，對前后端各條業(yè)務線提供多種服業(yè)務線提供多種服務，規(guī)范的流程缺務，規(guī)范的流程缺失，導致解決問題失，導致解決問題靠英雄和人情，責靠英雄和人情，責任定位不明確；任定位不明確；各種特批流程泛濫各種特批流程泛濫，運維人員的工作，運維人員的工作處于無序化，緊急處于無序化，緊急且重要的業(yè)務需求且重要的業(yè)務需求得不到優(yōu)先支持，得不到優(yōu)先支持，影響內外部客戶的影響內外部客戶的滿意度；滿意度； 運維部門規(guī)模較運維部門規(guī)模較小，人員緊張，分小，人員緊張，分工粗泛

9、，要求一人工粗泛，要求一人多能，一人管理多多能，一人管理多條業(yè)務線，導致人條業(yè)務線，導致人員專業(yè)性不強，人員專業(yè)性不強，人員數(shù)量和技能與實員數(shù)量和技能與實際要求差距較大，際要求差距較大，業(yè)務需求得不到快業(yè)務需求得不到快速良好的支持；速良好的支持；運維人員的職業(yè)規(guī)運維人員的職業(yè)規(guī)劃和能力培養(yǎng)尚不劃和能力培養(yǎng)尚不完善，不規(guī)律的作完善，不規(guī)律的作息和巨大工作壓力息和巨大工作壓力，導致了運維人員，導致了運維人員大量流失，工作分大量流失，工作分工不明確，經驗固工不明確，經驗固化隨之薄弱?；S之薄弱。運維部門的挑戰(zhàn)運維部門的挑戰(zhàn)p 運維部門的困境和挑戰(zhàn)運維部門的困境和挑戰(zhàn)指標績效指標績效基礎設施基礎設施流

10、程制度流程制度運維人員運維人員第7頁目錄目錄p 運維部門的價值與挑戰(zhàn)運維部門的價值與挑戰(zhàn)p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）p 運維工作的現(xiàn)狀與展望運維工作的現(xiàn)狀與展望第8頁運維部門的工作內容運維部門的工作內容p 概念介紹概念介紹系統(tǒng)分層：系統(tǒng)分層：業(yè)務層業(yè)務層數(shù)據(jù)層數(shù)據(jù)層存儲層存儲層主機層主機層網(wǎng)絡層網(wǎng)絡層DBDB層層* *DBDB層的運維目前不在層的運維目前不在網(wǎng)

11、絡與系統(tǒng)運行部網(wǎng)絡與系統(tǒng)運行部第9頁運維部門的工作內容運維部門的工作內容p 工作內容的分類工作內容的分類配配置置梳梳理理配置配置間關間關系梳系梳理理日日常常巡巡檢檢全全面面監(jiān)監(jiān)控控售售前前方方案案系系統(tǒng)統(tǒng)調調優(yōu)優(yōu)投投訴訴處處理理備備份份災災備備問問題題排排查查故故障障處處理理上上線線割割接接商商戶戶接接入入業(yè)務業(yè)務推廣推廣活動活動支撐支撐業(yè)務業(yè)務數(shù)據(jù)數(shù)據(jù)提取提取告告警警處處理理容量容量分析分析與報與報告告安安全全掃掃描描安安全全加加固固安全安全工具工具更新更新安全安全策略策略制定制定 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1

12、3 14 15 16 17 18 19 20 2113 14 15 16 17 18 19 20 21應應急急演演練練第10頁運維部門的工作內容運維部門的工作內容p 運維工作部署演進運維工作部署演進運維工作多而雜，通過運維工作多而雜，通過把復雜的運維工作從項目把復雜的運維工作從項目、系統(tǒng)分層、業(yè)務線進行、系統(tǒng)分層、業(yè)務線進行三個維度的切分，使工作三個維度的切分，使工作內容職責清晰，更易于落內容職責清晰，更易于落地執(zhí)行；地執(zhí)行；對細分的工作內容進行對細分的工作內容進行梳理，固化工作經驗，形梳理，固化工作經驗，形成專業(yè)的操作手冊，對于成專業(yè)的操作手冊，對于可以自動化實現(xiàn)的部分，可以自動化實現(xiàn)的部分

13、，做成運維工具，達到降本做成運維工具，達到降本增效的目的，降低人為操增效的目的，降低人為操作的誤差；作的誤差；將細分的專業(yè)化的工作將細分的專業(yè)化的工作模塊化，由一線運維團隊模塊化，由一線運維團隊、二線支撐團隊，和臨時、二線支撐團隊，和臨時的虛擬項目組承擔，或者的虛擬項目組承擔，或者考慮成本的要求，在安全考慮成本的要求，在安全性要求較低的工作上購買性要求較低的工作上購買外包服務外包服務第11頁目錄目錄p 運維部門的價值與挑戰(zhàn)運維部門的價值與挑戰(zhàn)p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作

14、體系建設之技術（TechnologyTechnology）p 運維工作的現(xiàn)狀與展望運維工作的現(xiàn)狀與展望第12頁運維工作體系建設之流程制度運維工作體系建設之流程制度p 流程制度分類流程制度分類部門內部的流程制度部門內部的流程制度部門與外部的流程制度部門與外部的流程制度部門內各團隊間的工作流程一線、二線團隊之間的工作流程；虛擬團隊的工作流程；服務產品外包的工作流程；部門內的操作規(guī)范、安全制度銀聯(lián)的安全規(guī)范、制度移動的安全規(guī)范、制度公司的安全基線規(guī)范運維相關的編碼的安全規(guī)范售前技術支撐流程上線流程投訴處理流程事件管理流程問題管理流程敏感數(shù)據(jù)提取流程業(yè)務推廣活動支撐流程商戶接入流程第13頁運維工作體系

15、建設之流程制度運維工作體系建設之流程制度p 流程制度舉例流程制度舉例北京移動安全管理實施細則北京移動安全管理實施細則 V5V5為了防止客戶信息泄露等事故再次發(fā)生，重鑄公司的品牌和信譽，北京移動為了防止客戶信息泄露等事故再次發(fā)生，重鑄公司的品牌和信譽，北京移動公司網(wǎng)絡部牽頭，歷時公司網(wǎng)絡部牽頭，歷時1 1年，各個部門均有參與，參與編寫人員近百名，完成了年，各個部門均有參與，參與編寫人員近百名，完成了公司內部的安全管理實施細則，共公司內部的安全管理實施細則，共3535個分類，全面梳理了公司內部各重要的流程個分類，全面梳理了公司內部各重要的流程中人因因素的部分，制定了操作和審計制度。中人因因素的部分

16、，制定了操作和審計制度。系統(tǒng)的安全制度體系方系統(tǒng)的安全制度體系方面我們公司比較缺失面我們公司比較缺失第14頁運維工作體系建設之流程制度運維工作體系建設之流程制度p 部門間服務接口部門間服務接口-服務目錄服務目錄概念：服務目錄是管理內外部客戶期望，使服務產品化、提升服務交付質量的重要工具服務的內容服務的內容和范圍和范圍服務運行的服務運行的前提條件前提條件服務的水平服務的水平要求要求服務的溝通服務的溝通界面界面服務的評價服務的評價方法方法1 1售前技術支撐售前技術支撐2 2上線服務上線服務3 3投訴處理服務投訴處理服務4 4事件處理通報事件處理通報5 5問題處理問題處理6 6數(shù)據(jù)提取服務數(shù)據(jù)提取服

17、務7 7業(yè)務推廣支撐業(yè)務推廣支撐 我們會按照和各業(yè)我們會按照和各業(yè)務線梳理和簽訂的務線梳理和簽訂的服務目錄，制定人服務目錄，制定人力資源計劃和各團力資源計劃和各團隊及各人的隊及各人的KPIKPI服務項目服務項目服務內容服務內容第15頁運維工作體系建設之流程制度運維工作體系建設之流程制度p 服務目錄舉例服務目錄舉例上線服務上線服務服務的內容和范服務的內容和范圍圍服務運行的前服務運行的前提條件提條件服務的水平要服務的水平要求求服務的溝通界服務的溝通界面面服務的評價方服務的評價方法法1 1售前技術支售前技術支撐撐 服務項目服務項目服務內容服務內容第16頁目錄目錄p 運維部門的價值與挑戰(zhàn)運維部門的價值

18、與挑戰(zhàn)p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）p 運維工作的現(xiàn)狀與展望運維工作的現(xiàn)狀與展望第17頁運維工作體系建設之人員運維工作體系建設之人員p 研發(fā)團隊和運維團隊的關系舉例：研發(fā)團隊和運維團隊的關系舉例：項目項目1 1項目項目2 2保守期保守期X X產品生命周期產品生命周期例一：例一：NECNEC項目項目1 1項目項目2 2保守期保守期X X產品生命周期產品生命周期例二：華為、聯(lián)想、騰訊等例二：華為、聯(lián)想、

19、騰訊等項目項目保守期保守期X X產品生命周期產品生命周期例一：北京移動例一：北京移動運維部門運維部門研發(fā)組研發(fā)組1 1研發(fā)組研發(fā)組2 2例四：聯(lián)動優(yōu)勢例四：聯(lián)動優(yōu)勢第18頁運維工作體系建設之人員運維工作體系建設之人員p 運維團隊內的架構舉例運維團隊內的架構舉例產品產品1 1一線一線運維運維團隊團隊產品產品2 2產品產品n n二線應用運維團隊二線應用運維團隊一線一線運維運維團隊團隊一線一線運維運維團隊團隊二線網(wǎng)絡運維團隊二線網(wǎng)絡運維團隊二線主機運維團隊二線主機運維團隊二線數(shù)據(jù)庫運維團隊二線數(shù)據(jù)庫運維團隊安全團隊安全團隊北京移動北京移動：一線運維組：購買各產品原廠的一線運維組：購買各產品原廠的維保

20、；維保；二線應用運維組：系統(tǒng)負責人二線應用運維組：系統(tǒng)負責人A A、B B角；角；二線的網(wǎng)絡、主機、數(shù)據(jù)庫運維二線的網(wǎng)絡、主機、數(shù)據(jù)庫運維組購買神碼的專業(yè)團隊支撐所有組購買神碼的專業(yè)團隊支撐所有產品；產品；安全組：移動員工專業(yè)團隊安全組：移動員工專業(yè)團隊運營商、銀行、證劵公司多采用運營商、銀行、證劵公司多采用騰訊公司騰訊公司：一線運維組：按各產品劃分一線運維組：按各產品劃分二線的應用運維組：支撐產品組二線的應用運維組：支撐產品組合；合；二線的網(wǎng)絡、主機、數(shù)據(jù)庫組：二線的網(wǎng)絡、主機、數(shù)據(jù)庫組：按照機房物理地點劃分按照機房物理地點劃分安全組：管理所有產品安全組：管理所有產品互聯(lián)網(wǎng)公司多采用互聯(lián)網(wǎng)公

21、司多采用研發(fā)團隊研發(fā)團隊第19頁運維工作體系建設之人員運維工作體系建設之人員p 根據(jù)公司的運維人員來源，人員架構如下：根據(jù)公司的運維人員來源，人員架構如下：商商戶戶組組運運行行組組主主機機組組網(wǎng)網(wǎng)絡絡組組維維護護組組技術技術支撐組支撐組一線團隊一線團隊二線團隊二線團隊技術支撐團隊技術支撐團隊負責商戶接入負責商戶接入商戶接入前的技商戶接入前的技術支撐；接入中術支撐；接入中的調試；接入后的調試；接入后的問題解決的問題解決負責生產系統(tǒng)的一線運維負責生產系統(tǒng)的一線運維全面監(jiān)控生產環(huán)境；告警全面監(jiān)控生產環(huán)境；告警、投訴和故障的及時響應、投訴和故障的及時響應；一線問題梳理；協(xié)助二；一線問題梳理；協(xié)助二線對

22、系統(tǒng)優(yōu)化線對系統(tǒng)優(yōu)化負責應用深度運維負責應用深度運維各業(yè)務線一名專員在產品、研發(fā)階段各業(yè)務線一名專員在產品、研發(fā)階段隨工；產品設計階段規(guī)劃系統(tǒng)方案；隨工；產品設計階段規(guī)劃系統(tǒng)方案；做成維護手冊前移至一線團隊；各業(yè)做成維護手冊前移至一線團隊；各業(yè)務的系統(tǒng)排障；處理復雜投訴；負責務的系統(tǒng)排障；處理復雜投訴；負責系統(tǒng)質量指標制定和系統(tǒng)優(yōu)化工作系統(tǒng)質量指標制定和系統(tǒng)優(yōu)化工作負責自動化工具研發(fā)與新技術研究負責自動化工具研發(fā)與新技術研究研發(fā)監(jiān)控、部署、商戶調試等自動研發(fā)監(jiān)控、部署、商戶調試等自動化運維工具；業(yè)界先進的運維技術化運維工具；業(yè)界先進的運維技術研究并立項研究并立項負責網(wǎng)絡、主機的深負責網(wǎng)絡、主機

23、的深度運維度運維制定主機、網(wǎng)絡方案制定主機、網(wǎng)絡方案，維護及優(yōu)化生產環(huán)境維護及優(yōu)化生產環(huán)境物理設備，響應一線物理設備，響應一線團隊的告警、排障需團隊的告警、排障需求。求。第20頁運維工作體系建設之人員運維工作體系建設之人員p 運維人員的發(fā)展路徑運維人員的發(fā)展路徑以成本低、適應面以成本低、適應面廣、服務優(yōu)為視角廣、服務優(yōu)為視角，形成規(guī)?；木C，形成規(guī)?；木C合能力優(yōu)勢，鍛造合能力優(yōu)勢，鍛造一支準確定位、快一支準確定位、快速反應的一線運維速反應的一線運維技術服務技術服務團隊團隊一線運維專才一線運維專才1 1以技術精、業(yè)務通為以技術精、業(yè)務通為視角，鍛造專家型技視角，鍛造專家型技術支援團隊術支援團隊

24、, ,形成對形成對各業(yè)務線的核心把控各業(yè)務線的核心把控能力，向能力，向IBM 800IBM 800技技術熱線或思科術熱線或思科CASECASE團隊水平靠攏，彰顯團隊水平靠攏，彰顯公司技術售后服務品公司技術售后服務品牌形象牌形象TACTAC專家專家2 2系統(tǒng)技術架構師系統(tǒng)技術架構師3 3以靈活可靠以靈活可靠, ,擴展性擴展性強為視角，形成各強為視角，形成各業(yè)務線的軟件、硬業(yè)務線的軟件、硬件集成架構體系，件集成架構體系，具備主機、網(wǎng)絡、具備主機、網(wǎng)絡、DBDB及應用的綜合及應用的綜合技術能力，以及全技術能力，以及全方位的安全保障的方位的安全保障的能力能力技術體系規(guī)劃師技術體系規(guī)劃師4 4以技術前瞻

25、為視角以技術前瞻為視角，形成清晰的技術，形成清晰的技術體系規(guī)劃藍圖，確體系規(guī)劃藍圖，確?；A架構以最優(yōu)保基礎架構以最優(yōu)的方案滿足供公司的方案滿足供公司的業(yè)務需求，技術的業(yè)務需求，技術戰(zhàn)略與時俱進，保戰(zhàn)略與時俱進，保持行業(yè)領先水平，持行業(yè)領先水平，具有核心技術優(yōu)勢具有核心技術優(yōu)勢和競爭力和競爭力第21頁目錄目錄p 運維部門的價值與挑戰(zhàn)運維部門的價值與挑戰(zhàn)p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作的現(xiàn)狀與展望運維工作的

26、現(xiàn)狀與展望第22頁運維工作體系建設之技術運維工作體系建設之技術p 業(yè)務支撐能力建設業(yè)務支撐能力建設IaaSIaaS平臺架示意構圖平臺架示意構圖IaaSIaaS：基礎設施即服務，主要是將網(wǎng)絡、服務器等基礎設施和操作系統(tǒng)、數(shù)據(jù)庫等基礎軟件看作資源，對這些資源進行虛擬化，以CPU、內存、存儲容量、操作系統(tǒng)等為單位向用戶提供應用軟件運行環(huán)境的服務模式。IAAS平臺可提供的網(wǎng)絡資源、計算資源、存儲能力等構建成資源池，隨時隨需進行分配和調度；底層硬件設施的采購不會受制于應用的制約；對于業(yè)務增減變化頻繁的的情況，不僅可靈活彈性的分配資源，還可及時對下線業(yè)務占用的資源進行回收再利用，實現(xiàn)投資保護并減少系統(tǒng)建設

27、成本；通過資源的分配量，可計量每個業(yè)務所占用的系統(tǒng)成本，并使服務可度量，為公司預算管理提供依據(jù)；對于公司移動金融云的戰(zhàn)略，IaaS也是基礎。第23頁運維工作體系建設之技術運維工作體系建設之技術p 運營支撐能力建設運營支撐能力建設北京移動企業(yè)信息門戶北京移動企業(yè)信息門戶內部信息門戶：內部信息門戶：企業(yè)內部信息門戶是一個基于Web的系統(tǒng)，它是企業(yè)內部員工與團隊之間互動、信息和知識共享的門戶： 信息門戶可為員工提供一個統(tǒng)一入口，只需單點登錄，即可處理各類工作和流程，快捷獲取所需信息 可為整個企業(yè)的信息發(fā)布和集成提供統(tǒng)一的渠道。 實現(xiàn)統(tǒng)一的用戶認證、授權和安全管理。 企業(yè)內部的員工之間是有分工的，不同

28、員工由于角色不同、層級不同，因而不同的員工具有不同的工作，內部信息門戶為每位員工提供獨特的工作的平臺。由于公司辦公地點分散，不同的部門、項目組，也應該有自己的工作場景的門戶，包括團隊的工作方法、規(guī)范和共享的信息等，使大家感覺協(xié)同辦公的。第24頁運維工作體系建設之技術運維工作體系建設之技術p 自動化運維能力建設自動化運維能力建設自動化運維建設：自動化運維建設：本著“網(wǎng)絡質量是第一生命力”的宗旨，移動大力建設技術支撐平臺，實現(xiàn)對業(yè)務的全面、實時的監(jiān)控，不斷提升業(yè)務的連續(xù)性和可用性，主要部分包括：運維流程平臺：變更、配置、問題、事件等流程工具；業(yè)務管理平臺：端到端撥測、業(yè)務指標呈現(xiàn)及分析工具；監(jiān)控管

29、理平臺：系統(tǒng)各層的監(jiān)控工具、診斷工具、性能管理工具等；資源管理平臺：CMDB、知識庫、資源展現(xiàn)等安全管理平臺：漏洞掃描、日志審計、權限控制等安全類工具舉例舉例( (北京移動數(shù)據(jù)業(yè)務支撐體系北京移動數(shù)據(jù)業(yè)務支撐體系) )第25頁運維工作體系建設之技術運維工作體系建設之技術p 現(xiàn)有的自動化運維工具現(xiàn)有的自動化運維工具系統(tǒng)層的監(jiān)控工具系統(tǒng)層的監(jiān)控工具Mocha：網(wǎng)絡設備的連通性、主機的CPUMEMDISKNagios：進程、端口p 大部分監(jiān)控工作依靠人工大部分監(jiān)控工作依靠人工日志停刷大面積的返回碼報錯目前只有對主機、網(wǎng)絡層的設備指標的監(jiān)控，缺少網(wǎng)絡流量目前只有對主機、網(wǎng)絡層的設備指標的監(jiān)控，缺少網(wǎng)絡

30、流量、防攻擊等安全性方面的防護工具；缺少數(shù)據(jù)層的監(jiān)控工具、防攻擊等安全性方面的防護工具；缺少數(shù)據(jù)層的監(jiān)控工具，如對內存中的堆棧、線程棧等的監(jiān)控；缺少業(yè)務層的監(jiān)控，如對內存中的堆棧、線程棧等的監(jiān)控；缺少業(yè)務層的監(jiān)控工具，如業(yè)務撥測、業(yè)務質量指標等的監(jiān)控。工具，如業(yè)務撥測、業(yè)務質量指標等的監(jiān)控。隨著業(yè)務增長迅速，被監(jiān)控的應用數(shù)量成倍遞增，日志的復隨著業(yè)務增長迅速，被監(jiān)控的應用數(shù)量成倍遞增，日志的復雜度加大，人工輪詢的速度降低，受人因因素影響越加嚴重雜度加大，人工輪詢的速度降低，受人因因素影響越加嚴重，且缺少對返回碼的個性化監(jiān)控規(guī)則定制能力，只能發(fā)現(xiàn)大，且缺少對返回碼的個性化監(jiān)控規(guī)則定制能力，只能發(fā)

31、現(xiàn)大面積錯誤，應著力發(fā)展自動化運維，取代人工監(jiān)控面積錯誤，應著力發(fā)展自動化運維，取代人工監(jiān)控第26頁運維工作體系建設之技術運維工作體系建設之技術p NagiosNagios背景及問題背景及問題通過通過mochamocha已監(jiān)控到底層設備的關鍵指標，但是對于應用已監(jiān)控到底層設備的關鍵指標，但是對于應用層仍無法進行自動化監(jiān)控，無法第一時間發(fā)現(xiàn)應用的異常層仍無法進行自動化監(jiān)控，無法第一時間發(fā)現(xiàn)應用的異常，而應用層又是出現(xiàn)問題較多的區(qū)域，因此對應用的監(jiān)控，而應用層又是出現(xiàn)問題較多的區(qū)域，因此對應用的監(jiān)控需求非常迫切。需求非常迫切。解決方案解決方案 通過對市場上開源的監(jiān)控軟件進行調研，通過對市場上開源的

32、監(jiān)控軟件進行調研，nagiosnagios的成功案的成功案例較多。例較多。 基于基于nagiosnagios之上，運行人員深入研究，定制開發(fā)，之上，運行人員深入研究，定制開發(fā)，性能調試、配置優(yōu)化，試運行后，正式上線已經一年多，性能調試、配置優(yōu)化，試運行后，正式上線已經一年多，運行穩(wěn)定，達到了預期的目標運行穩(wěn)定，達到了預期的目標項目需求項目需求 通過新建一套自動化監(jiān)控工具，可以監(jiān)控到應用層面的狀通過新建一套自動化監(jiān)控工具，可以監(jiān)控到應用層面的狀態(tài)，細化到指標級別，期望可以監(jiān)控到應用進程和端口的態(tài)，細化到指標級別，期望可以監(jiān)控到應用進程和端口的存活狀態(tài)兩個關鍵指標。存活狀態(tài)兩個關鍵指標。投資估算投

33、資估算效益分析效益分析 由于開源軟件，且利用維護人員下班后時間自行研發(fā)，因由于開源軟件，且利用維護人員下班后時間自行研發(fā)，因此為零投資。此為零投資。 目前已經監(jiān)控了目前已經監(jiān)控了247247個進程，個進程，457457個端口，大概產生了個端口，大概產生了3 3萬萬個左右的報警，為及時發(fā)現(xiàn)應用異常提供了有力的支撐個左右的報警，為及時發(fā)現(xiàn)應用異常提供了有力的支撐第27頁運維工作體系建設之技術運維工作體系建設之技術p 自動化運維工具體系框架自動化運維工具體系框架 數(shù)據(jù)存儲層數(shù)據(jù)存儲層HDFSHDFS 邏輯層邏輯層 展示層展示層 數(shù)據(jù)收集層數(shù)據(jù)收集層數(shù)據(jù)展示數(shù)據(jù)展示監(jiān)控信息管理監(jiān)控信息管理規(guī)范化管理規(guī)

34、范化管理監(jiān)控工具監(jiān)控工具自動化部署自動化部署數(shù)據(jù)分析數(shù)據(jù)分析撥測工具撥測工具CacheCache工具工具數(shù)據(jù)中間層數(shù)據(jù)中間層NoSQLNoSQL（mysqlmysql、HbaseHbase）監(jiān)控信息管理監(jiān)控信息管理規(guī)范化管理規(guī)范化管理第28頁運維工作體系建設之技術運維工作體系建設之技術p 邏輯層邏輯層- -監(jiān)控工具監(jiān)控工具基礎監(jiān)控服務器監(jiān)控，如：cpu、memery、I/O、并發(fā)量等；操作系統(tǒng)監(jiān)控，堆棧監(jiān)控、線程棧監(jiān)控等網(wǎng)絡監(jiān)控，如：連通性、流量等應用監(jiān)控對交易狀態(tài)（返回碼、Exception）監(jiān)控用戶端URL監(jiān)控進程和端口的存活狀態(tài)監(jiān)控負載均衡監(jiān)控等業(yè)務監(jiān)控對業(yè)務量、成功率進行監(jiān)控等安全監(jiān)控

35、外部攻擊監(jiān)控等第29頁運維工作體系建設之技術運維工作體系建設之技術p 邏輯層邏輯層- -自動化部署工具自動化部署工具自動化配置快速且一致對集群內所有設備的系統(tǒng)參數(shù)進行配置，如：管理配置文件、用戶、軟件包、系統(tǒng)服務等對設備的系統(tǒng)參數(shù)的修改進行記錄和跟蹤，矯正個別設備的異常配置應用的配置文件自動化上線統(tǒng)一進行上線、發(fā)布及時、準確的進行應用回滾和監(jiān)控工具無縫集成根據(jù)上線內容能夠進行自動化監(jiān)控各業(yè)務線之間的影響關系分析第30頁運維工作體系建設之技術運維工作體系建設之技術p 邏輯層邏輯層- -數(shù)據(jù)分析工具數(shù)據(jù)分析工具應用日志分析實時日志分析非實時日志分析用戶行為分析產品成功率分析交易量分析安全分析網(wǎng)絡異

36、常流量分析外部攻擊行為分析內部人員行為審計系統(tǒng)信息分析容量分析、性能分析等第31頁運維工作體系建設之技術運維工作體系建設之技術p 目前的研究進度目前的研究進度 - - 對一些開源軟件進行可行性研究對一些開源軟件進行可行性研究 數(shù)據(jù)存儲層數(shù)據(jù)存儲層HDFSHDFS 邏輯層邏輯層 展示層展示層 數(shù)據(jù)收集層數(shù)據(jù)收集層數(shù)據(jù)展示數(shù)據(jù)展示監(jiān)控信息管理監(jiān)控信息管理規(guī)范化管理規(guī)范化管理監(jiān)控工具監(jiān)控工具自動化部署自動化部署數(shù)據(jù)分析數(shù)據(jù)分析撥測工具撥測工具CacheCache工具工具數(shù)據(jù)中間層數(shù)據(jù)中間層NoSQLNoSQL（mysqlmysql、HbaseHbase）監(jiān)控信息管理監(jiān)控信息管理規(guī)范化管理規(guī)范化管理c

37、acti、gangliaPuppet、kick、mcollective、funczabbix后羿后羿第32頁運維工作體系建設之技術運維工作體系建設之技術p 技術演進路線圖技術演進路線圖l學習搭建私有云的策略、學習搭建私有云的策略、原則及相關技術，大量在原則及相關技術，大量在現(xiàn)有系統(tǒng)中采用虛擬化技現(xiàn)有系統(tǒng)中采用虛擬化技術作為實踐經驗積累術作為實踐經驗積累l完善對完善對ITIT基礎設施和應用基礎設施和應用的監(jiān)控自動化，建設配置的監(jiān)控自動化，建設配置管理自動化工具管理自動化工具l學習學習ItilItil規(guī)范相關知識，規(guī)范相關知識，確定確定ItilItil實施范圍和步驟實施范圍和步驟l完成公司內部信息

38、門戶需完成公司內部信息門戶需求整理，產品和解決方案求整理，產品和解決方案調研調研201220132014需求收集需求收集初步建設初步建設整合階段整合階段l測試選型資源管理軟件，測試選型資源管理軟件，搭建小規(guī)模實驗云搭建小規(guī)模實驗云l實現(xiàn)安裝、部署、變更、實現(xiàn)安裝、部署、變更、交易模擬、健康檢查等自交易模擬、健康檢查等自動化運維動化運維l選定選定ITSMITSM解決方案供應商解決方案供應商，梳理事件管理、問題管，梳理事件管理、問題管理、配置管理、變更管理理、配置管理、變更管理流程流程l建立企業(yè)內部信息門戶的建立企業(yè)內部信息門戶的基礎運行環(huán)境和軟件平臺基礎運行環(huán)境和軟件平臺，并逐步集成已有管理信，

39、并逐步集成已有管理信息系統(tǒng)息系統(tǒng)l擴大擴大IaaSIaaS規(guī)模和覆蓋范圍規(guī)模和覆蓋范圍，完善運營服務和管理措，完善運營服務和管理措施，打造穩(wěn)定可靠的云計施，打造穩(wěn)定可靠的云計算平臺算平臺l整合各種自動化工具，建整合各種自動化工具，建立統(tǒng)一運維管理平臺，并立統(tǒng)一運維管理平臺，并加入知識管理、發(fā)布管理加入知識管理、發(fā)布管理、服務級別管理等功能和、服務級別管理等功能和相應流程，實現(xiàn)相應流程，實現(xiàn)ItilItil的完的完整落地整落地l完成各信息系統(tǒng)的集成整完成各信息系統(tǒng)的集成整合，完善內部信息門戶及合，完善內部信息門戶及運行維護支撐體系運行維護支撐體系使用使用與完善與完善向公司推廣各種支撐平臺向公司推

40、廣各種支撐平臺搭建各種支撐平臺的架構搭建各種支撐平臺的架構需求業(yè)務需求，建設需求業(yè)務需求，建設技術體系演進路線圖技術體系演進路線圖第33頁目錄目錄p 運維部門的價值與挑戰(zhàn)運維部門的價值與挑戰(zhàn)p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）第34頁運維工作現(xiàn)狀運維工作現(xiàn)狀p 幾組數(shù)字幾組數(shù)字 8 8月份舉例月份舉例網(wǎng)絡部生產系統(tǒng)上線次網(wǎng)絡部生

41、產系統(tǒng)上線次數(shù)：數(shù)：應用上線次數(shù)：應用上線次數(shù)：應用上線團隊加班數(shù)：應用上線團隊加班數(shù)：處理投訴數(shù)量：處理投訴數(shù)量：處理報警和故障事件：處理報警和故障事件：深夜問題對應的數(shù)量：深夜問題對應的數(shù)量：接入商戶數(shù)量：接入商戶數(shù)量：處理商戶問題：處理商戶問題：設備總數(shù)：設備總數(shù)：監(jiān)控應用數(shù)量：監(jiān)控應用數(shù)量：監(jiān)控返回碼數(shù)量：監(jiān)控返回碼數(shù)量：自動化運維率：自動化運維率：265265次次124124次次232232小時小時/2/2人人15941594次次/2/2人人125125次次3636次次4141家家530530個個/2/2人人911911臺臺297297個個12961296個個不足不足5%5%第35頁運維工作現(xiàn)狀運維工作現(xiàn)狀不良循環(huán)：不良循環(huán)：良性循環(huán)：良性循環(huán)：業(yè)務量和用戶業(yè)務量和用戶商戶和用戶投訴商戶和用戶投訴機械性上線機械性上線系統(tǒng)優(yōu)化系統(tǒng)優(yōu)化人員流失人員流失業(yè)務質量業(yè)務質量用戶滿意度用戶滿意度告警和排障告警和排障現(xiàn)狀的兩個突出矛盾現(xiàn)狀的兩個突出