2023年城域網(wǎng)應(yīng)急預(yù)案

鄂爾多斯電信2023年城域網(wǎng)應(yīng)急預(yù)案2023年8月目錄TOC\o"1-2"\h\z\u一、總則31、編制目的32、編制依據(jù)33、分類(lèi)分級(jí)34、適用范圍35、工作原則4二、組織體系51、領(lǐng)導(dǎo)機(jī)構(gòu)與職責(zé)52、工作機(jī)構(gòu)與職責(zé)53、技術(shù)支撐隊(duì)伍與職責(zé)54、廠商售后服務(wù)隊(duì)伍與職責(zé)6三、運(yùn)行機(jī)制61、預(yù)警機(jī)制62、應(yīng)急處置123、應(yīng)急處置后評(píng)估294、信息發(fā)布30四、應(yīng)急保障301、人力保障302、備件保障33五、監(jiān)督管理331、預(yù)案演練332、宣傳和培訓(xùn)33六、附則341、預(yù)案管理34七、附件341、事件分級(jí)標(biāo)準(zhǔn)342、應(yīng)急管理工作流程36一、總則1、編制目的為了保障數(shù)據(jù)網(wǎng)絡(luò)的正常運(yùn)行，在出現(xiàn)突發(fā)性故障或系統(tǒng)癱瘓時(shí)，能有效及時(shí)的組織相關(guān)維護(hù)人員，采取緊急措施，在最短的時(shí)間內(nèi)恢復(fù)網(wǎng)絡(luò)的正常通信，將意外事故的損失減少到最低程度，保障網(wǎng)絡(luò)提供服務(wù)的可持續(xù)性，確保在服務(wù)品質(zhì)協(xié)議（SLA）定義的時(shí)限內(nèi)恢復(fù)所承諾的服務(wù)。2、編制依據(jù)依據(jù)《運(yùn)維[2006]27號(hào)-關(guān)于組織開(kāi)展網(wǎng)絡(luò)安全評(píng)估和完善應(yīng)急保障預(yù)案工作的通知(1)》，根據(jù)內(nèi)蒙電信網(wǎng)絡(luò)發(fā)展現(xiàn)狀制定本預(yù)案。3、分類(lèi)分級(jí)本預(yù)案按照網(wǎng)絡(luò)層次分級(jí)，鄂爾多斯電信數(shù)據(jù)IP網(wǎng)分為：城域網(wǎng)核心層、業(yè)務(wù)控制層、匯聚接入層。4、適用范圍本預(yù)案適用于鄂爾多斯電信IP城域網(wǎng)。5、工作原則本預(yù)案工作原則：優(yōu)先恢復(fù)業(yè)務(wù)原則；城域網(wǎng)核心優(yōu)先于業(yè)務(wù)控制層，業(yè)務(wù)控制層優(yōu)先于匯聚接入層原則；按照業(yè)務(wù)重要等級(jí)優(yōu)先恢復(fù)原則；按照用戶(hù)服務(wù)等級(jí)優(yōu)先恢復(fù)原則。（1）業(yè)務(wù)恢復(fù)原則故障發(fā)生時(shí)，不同等級(jí)業(yè)務(wù)、業(yè)務(wù)網(wǎng)絡(luò)按照不同的優(yōu)先順序進(jìn)行恢復(fù)的原則。（2）應(yīng)急預(yù)案體系城域網(wǎng)數(shù)據(jù)網(wǎng)整體應(yīng)急預(yù)案城域網(wǎng)核心業(yè)務(wù)控制層匯聚接入層路由異常設(shè)備故障電路中斷路由異常設(shè)備故障電路中斷電路中斷設(shè)備故障路由異常電路中斷設(shè)備故障路由異常二、組織體系1、領(lǐng)導(dǎo)機(jī)構(gòu)與職責(zé)領(lǐng)導(dǎo)機(jī)構(gòu)：網(wǎng)運(yùn)部主任：燕龍區(qū)公司數(shù)據(jù)專(zhuān)業(yè)主管：狄光職責(zé)：1、組織應(yīng)急預(yù)案的定期更新；2、協(xié)調(diào)處理預(yù)案實(shí)施、演練等工作。2、工作機(jī)構(gòu)與職責(zé)工作機(jī)構(gòu)：維護(hù)中心數(shù)據(jù)專(zhuān)業(yè)維護(hù)人員：王斯日古楞、郝如意、王劍職責(zé)：1、負(fù)責(zé)應(yīng)急預(yù)案定期更新工作的具體實(shí)施；2、具體進(jìn)行預(yù)案實(shí)施、演練等工作。3、技術(shù)支撐隊(duì)伍與職責(zé)技術(shù)支撐隊(duì)伍：區(qū)公司網(wǎng)運(yùn)部、鄂爾多斯網(wǎng)運(yùn)部職責(zé)：1、負(fù)責(zé)應(yīng)急預(yù)案中涉及城域網(wǎng)設(shè)備的預(yù)案實(shí)施；2、解決鄂爾多斯分公司申請(qǐng)支撐的技術(shù)問(wèn)題。4、廠商售后服務(wù)隊(duì)伍與職責(zé)廠家售后服務(wù)隊(duì)伍：華為公司技術(shù)支撐隊(duì)伍中興公司技術(shù)支撐隊(duì)伍職責(zé)：1、配合應(yīng)急預(yù)案定期更新工作的具體實(shí)施；2、配合具體進(jìn)行預(yù)案實(shí)施、演練等工作。三、運(yùn)行機(jī)制1、預(yù)警機(jī)制（1）網(wǎng)絡(luò)分析評(píng)估鄂爾多斯針對(duì)網(wǎng)絡(luò)安全進(jìn)行分析的工作機(jī)制和相關(guān)管理制度如下：規(guī)定由網(wǎng)絡(luò)監(jiān)控人員通過(guò)數(shù)據(jù)網(wǎng)管7*24小時(shí)對(duì)全省數(shù)據(jù)網(wǎng)（城域網(wǎng)BAS設(shè)備到省出口間的各級(jí)電路流量、設(shè)備性能）進(jìn)行監(jiān)控；每周/月對(duì)全市總出入流量、盟市出入流量、155M電路出入流量、2.5G電路出入流量進(jìn)行分析,針對(duì)帶寬能力進(jìn)行分析、平均流速和峰值流速進(jìn)行分析，確定是否設(shè)備資源使用情況，帶寬利用率、是否需要擴(kuò)容、流量異常增長(zhǎng)下降原因等。監(jiān)測(cè)人員每班進(jìn)行三次據(jù)鏈路連通性測(cè)試并將測(cè)試結(jié)果保存以及隨時(shí)觀察網(wǎng)管告警情況結(jié)果。①數(shù)據(jù)鏈路連通性測(cè)試A、連通性及時(shí)延、丟包測(cè)試pingbaidu–t>baidu測(cè)試（目前我省訪(fǎng)問(wèn)baidu網(wǎng)站的IP地址：220.181.6.18，用于檢測(cè)鄂爾多斯NE80E與省干設(shè)備鏈路狀況）ping219.150.32.132–t>天津DNS測(cè)試1（用于檢測(cè)鄂爾多斯NE80E與省干設(shè)備鏈路狀況，以及測(cè)試天津DNS是否可達(dá)，我省主用DNS是天津DNS）ping219.146.0.130–t>山東DNS(測(cè)試山東DNS是否可達(dá),我省備用DNS是山東DNS)②路由測(cè)試A、tracertbaidu網(wǎng)站：tracert天津DNS:③網(wǎng)管監(jiān)控情況鄂爾多斯IP城域網(wǎng)后期可以利用的監(jiān)控終端有N2000網(wǎng)管做實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)情況，N2000網(wǎng)管可以監(jiān)控到IP網(wǎng)的城域網(wǎng)核心層、業(yè)務(wù)控制層以及匯聚接入層所有華為設(shè)備，并可通過(guò)N2000網(wǎng)管直接管理這些設(shè)備；通過(guò)Netcool告警平臺(tái)可以實(shí)時(shí)監(jiān)控省骨干層所有設(shè)備的運(yùn)行情況，通過(guò)IP三期網(wǎng)管系統(tǒng)可以實(shí)時(shí)監(jiān)控鄂爾多斯出城域網(wǎng)流量、鄂爾多斯互聯(lián)中繼流量、以及城域網(wǎng)各匯聚設(shè)備的流量的出入平均和峰值流量。A、正常情況下流量分布情況：鄂爾多斯中心局NE80E至呼市M3202.5GPOS鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至通遼Cisco124162.5GPOS鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至呼市M3202.5GPOS鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至通遼Cisco124162.5GPOS鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至鄂爾多斯火車(chē)站NE80E2.5GPOS鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至中心局NE40EGE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至火車(chē)站NE40EGE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至準(zhǔn)旗NE40EGE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至達(dá)旗局NE40GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至中心局NE40EGE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至火車(chē)站NE40EGE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至準(zhǔn)旗NE40EGE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至達(dá)旗局NE40-8GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至中心局ME60-16GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至火車(chē)站ME60-16GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至準(zhǔn)旗ME60-8GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至達(dá)旗ME60-8GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至伊旗MA5200G-4GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至棋盤(pán)井MA5200G-2GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至中心局ME60-16GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至火車(chē)站ME60-16GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至準(zhǔn)旗ME60-8GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至達(dá)旗ME60-8GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至伊旗MA5200G-4GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至棋盤(pán)井MA5200G-2GE鏈路正常情況下流量圖：鄂爾多斯中心局NE80E至中心局E1000GE鏈路正常情況下流量圖：鄂爾多斯火車(chē)站NE80E至中心局E1000GE鏈路正常情況下流量圖：B、鄂爾多斯出城域網(wǎng)2.5G電路中斷時(shí)流量圖：以下為相應(yīng)的A設(shè)備D設(shè)備之間的流量圖。當(dāng)中心機(jī)房NE80E至呼市M320出現(xiàn)中斷時(shí)，中心機(jī)房NE80E至通遼Cisco12416流量圖：2、應(yīng)急處置（1）應(yīng)急管理調(diào)動(dòng)處理流程數(shù)據(jù)網(wǎng)絡(luò)主要包括IP網(wǎng)絡(luò)、基礎(chǔ)網(wǎng)絡(luò)以及相關(guān)的后臺(tái)支撐系統(tǒng)，在以上網(wǎng)絡(luò)或系統(tǒng)發(fā)生緊急網(wǎng)絡(luò)故障時(shí)，網(wǎng)絡(luò)維護(hù)部負(fù)責(zé)牽頭啟動(dòng)應(yīng)急調(diào)動(dòng)預(yù)案進(jìn)行故障處理的調(diào)度，現(xiàn)場(chǎng)維護(hù)部分按照相應(yīng)的緊急故障處理預(yù)案處理故障。應(yīng)急調(diào)動(dòng)流程如下圖：設(shè)備整臺(tái)故障其他原因路由問(wèn)題板卡故障電路中斷設(shè)備整臺(tái)故障其他原因路由問(wèn)題板卡故障電路中斷處理流程圖如下：（2）應(yīng)急響應(yīng)鄂爾多斯電信IP城域網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)如下：城域網(wǎng)出口電路中斷1、中心機(jī)房NE80E至呼市M3202.5GPOS電路故障立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，如果2.5GPOS鏈路中斷后，所有出城域網(wǎng)流量都會(huì)通過(guò)火車(chē)站NE80E至通遼Cisco12416的2.5GPOS鏈路轉(zhuǎn)發(fā)所以此時(shí)需密切注意火車(chē)站NE80E至通遼Cisco12416的2.5GPOS鏈路流量情況；查看傳輸網(wǎng)管，如果是傳輸電路中斷引起的，則協(xié)調(diào)傳輸專(zhuān)業(yè)盡快處理；如果是NE80E路由器設(shè)備或單板故障，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作，盡快解決問(wèn)題。2、火車(chē)站NE80E至通遼Cisco124162.5GPOS電路故障立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，如果2.5GPOS鏈路中斷后，所有出城域網(wǎng)流量都會(huì)通過(guò)中心機(jī)房NE80E至呼市M320的2.5GPOS鏈路轉(zhuǎn)發(fā)所以此時(shí)需密切注意中心機(jī)房NE80E至呼市M320的2.5GPOS鏈路流量情況；查看傳輸網(wǎng)管，如果是傳輸電路中斷引起的，則協(xié)調(diào)傳輸專(zhuān)業(yè)盡快處理；如果是NE80E路由器設(shè)備或單板故障，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作，盡快解決問(wèn)題。城域網(wǎng)內(nèi)部中繼電路中斷當(dāng)SR或者BRAS設(shè)備與城域網(wǎng)核心路由器NE80E間鏈路單條鏈路出現(xiàn)中斷時(shí)，由于城域網(wǎng)內(nèi)部運(yùn)行動(dòng)態(tài)路由協(xié)議OSPF，此時(shí)業(yè)務(wù)會(huì)瞬斷幾秒，待城域網(wǎng)路由收斂完成后，所有業(yè)務(wù)均從另外一條正常鏈路上轉(zhuǎn)發(fā)數(shù)據(jù)；此時(shí)，應(yīng)進(jìn)行以下操作：a.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；b.檢查互聯(lián)端口link燈是否處于常亮狀態(tài)，若處于down狀態(tài)，此時(shí)應(yīng)該第一時(shí)間重新布放尾纖恢復(fù)鏈路，再進(jìn)行測(cè)試；c.若更換尾纖后，物理端口link燈仍不處于常亮狀態(tài)，則應(yīng)更換相應(yīng)的光模塊，以免光模口燒壞或者其它情況造成光口不能正常轉(zhuǎn)發(fā)數(shù)據(jù)；2、當(dāng)其中一臺(tái)SR設(shè)備的兩條上行鏈路均出現(xiàn)問(wèn)題時(shí)，若短時(shí)間內(nèi)不能恢復(fù)鏈路，應(yīng)將該臺(tái)SR設(shè)備上的所有業(yè)務(wù)暫時(shí)割接至另一臺(tái)正常的BRAS設(shè)備上，再進(jìn)行故障排除；此時(shí)，應(yīng)進(jìn)行以下操作：a.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；b.在大匯聚交換機(jī)上，將三層業(yè)務(wù)vlan透?jìng)髦琳＿\(yùn)行的BRAS設(shè)備上；c.在BRAS設(shè)備上，配置三層業(yè)務(wù)的網(wǎng)關(guān)，同時(shí)發(fā)布該業(yè)務(wù)路由段；3、當(dāng)其中一臺(tái)BRAS設(shè)備的兩條上行鏈路均出現(xiàn)問(wèn)題時(shí)；此時(shí)，應(yīng)進(jìn)行以下操作：a.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；b.若是單板故障引起，及時(shí)將備件單板換上，把原上行2路光纖更換到備板上，配置數(shù)據(jù)恢復(fù)上行c.若是整機(jī)故障，第一時(shí)間將大匯聚交換機(jī)8905跳纖到ODF，通過(guò)局間光纜連接至另一局點(diǎn)的BRAS上，將PPPOE業(yè)務(wù)或者Wlan業(yè)務(wù)全部強(qiáng)制倒換至另一臺(tái)正常的BRAS進(jìn)行認(rèn)證；為快速切換業(yè)務(wù)要提前布放8905至ODF和BRAS至ODF的光纖。（此條適用于大匯聚通過(guò)裸光纖上行至BRAS）d．若是整機(jī)故障，第一時(shí)間將另一局點(diǎn)正常運(yùn)行的BRAS通過(guò)光纖連至傳輸7500/3500，協(xié)調(diào)傳輸人員將8905上行業(yè)務(wù)通道做到此正常的BRAS上，將PPPOE業(yè)務(wù)或者Wlan業(yè)務(wù)全部強(qiáng)制倒換至這臺(tái)正常的BRAS進(jìn)行認(rèn)證；為快速切換業(yè)務(wù)要提前布放BRAS至傳輸設(shè)備的光纖。（此條適用于大匯聚通過(guò)傳輸上行至BRAS）e.在正常的BRAS設(shè)備上，查看用戶(hù)上線(xiàn)數(shù)量，確保業(yè)務(wù)已經(jīng)正常；Displayaccess-userdomaindslam_pppoeDisplayaccess-userdomainlan_pppoeDisplayaccess-userdomainwlan_web當(dāng)大匯聚交換機(jī)8905至BRAS設(shè)備互聯(lián)鏈路出現(xiàn)中斷時(shí)；此時(shí)，應(yīng)進(jìn)行以下操作：立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；查看傳輸網(wǎng)管，如果是傳輸電路中斷引起，則協(xié)調(diào)傳輸專(zhuān)業(yè)盡快處理；若是光模塊燒壞或者其它情況造成光模塊不能正常轉(zhuǎn)發(fā)數(shù)據(jù)，則更換光模塊，則進(jìn)行測(cè)試；若是尾纖出現(xiàn)問(wèn)題，則應(yīng)將提前布放的備用尾纖直接接入傳輸設(shè)備的端口，再進(jìn)行測(cè)試；若是8905或ME60單板故障，立即調(diào)用備件，并調(diào)整相關(guān)數(shù)據(jù)到備板上當(dāng)大匯聚交換機(jī)與兩臺(tái)BRAS或者兩臺(tái)SR設(shè)備互聯(lián)鏈路出現(xiàn)中斷時(shí)；此時(shí)，應(yīng)進(jìn)行以下操作：立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；第一時(shí)間聯(lián)系傳輸人員及數(shù)據(jù)維護(hù)人員進(jìn)行鏈路恢復(fù)；③鄂爾多斯城域網(wǎng)設(shè)備故障1、NE40E/NE80E出現(xiàn)異常a.按照上面鏈路故障的方法先將業(yè)務(wù)恢復(fù)至正常的設(shè)備上；b.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；c.硬件障礙：1)嘗試用telnet、遠(yuǎn)程撥號(hào)方式登陸，查看告警路由器告警信息，并根據(jù)在現(xiàn)場(chǎng)看到的設(shè)備面板告警信息，判斷障礙點(diǎn)。2)若判斷為板卡電源模塊等硬件故障，需要確認(rèn)是否有冗余板位，如果有可以將業(yè)務(wù)調(diào)整到冗余板位；如果有可用端口，將故障端口割接到可用端口。3)若為關(guān)鍵板件（如路由引擎、電源等）故障，且啟用冗余板位后業(yè)務(wù)仍不能恢復(fù)，立即調(diào)撥備件，備件上架后，及時(shí)與區(qū)公司網(wǎng)運(yùn)部聯(lián)系，配置軟件信息，恢復(fù)業(yè)務(wù)。4)若由于設(shè)備板卡吊死等不明原因引起的故障，則將搜集至的設(shè)備告警和板卡狀態(tài)等信息上報(bào)給區(qū)公司網(wǎng)運(yùn)部和網(wǎng)管中心，并將業(yè)務(wù)割接至備用板卡上。在廠商確認(rèn)、區(qū)公司網(wǎng)運(yùn)部及區(qū)公司網(wǎng)管中心認(rèn)可后，在確定不會(huì)對(duì)現(xiàn)有業(yè)務(wù)有更嚴(yán)重影響的前提下，重啟部件或設(shè)備。2、ME60出現(xiàn)異常a.按照上面鏈路故障的方法先將業(yè)務(wù)恢復(fù)至正常的設(shè)備上，b.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；c.硬件障礙：1)嘗試用telnet、遠(yuǎn)程撥號(hào)方式登陸，查看告警路由器告警信息，并根據(jù)在現(xiàn)場(chǎng)看到的設(shè)備面板告警信息，判斷障礙點(diǎn)。2)若判斷為板卡電源模塊等硬件故障，需要確認(rèn)是否有冗余板位，如果有可以將業(yè)務(wù)調(diào)整到冗余板位；如果有可用端口，將故障端口割接到可用端口。3)若為關(guān)鍵板件（如路由引擎、電源等）故障，且啟用冗余板位后業(yè)務(wù)仍不能恢復(fù)，立即調(diào)撥備件，備件上架后，及時(shí)與區(qū)公司網(wǎng)運(yùn)部聯(lián)系，配置軟件信息，恢復(fù)業(yè)務(wù)。4)若由于設(shè)備板卡吊死等不明原因引起的故障，則將搜集至的設(shè)備告警和板卡狀態(tài)等信息上報(bào)給區(qū)公司網(wǎng)運(yùn)部和網(wǎng)管中心，并將業(yè)務(wù)割接至備用板卡上。在廠商確認(rèn)、區(qū)公司網(wǎng)運(yùn)部及區(qū)公司網(wǎng)管中心認(rèn)可后，在確定不會(huì)對(duì)現(xiàn)有業(yè)務(wù)有更嚴(yán)重影響的前提下，重啟部件或設(shè)備。3、8905出現(xiàn)異常a.按照上面鏈路故障的方法先將業(yè)務(wù)恢復(fù)至正常的設(shè)備上，b.立即上報(bào)內(nèi)蒙古區(qū)公司網(wǎng)管中心及運(yùn)維部，應(yīng)積極區(qū)公司的指揮調(diào)度，做好現(xiàn)場(chǎng)維護(hù)工作；c.硬件障礙：1)嘗試用telnet、遠(yuǎn)程撥號(hào)方式登陸，查看告警路由器告警信息，并根據(jù)在現(xiàn)場(chǎng)看到的設(shè)備面板告警信息，判斷障礙點(diǎn)。2)若判斷為板卡電源模塊等硬件故障，需要確認(rèn)是否有冗余板位，如果有可以將業(yè)務(wù)調(diào)整到冗余板位；如果有可用端口，將故障端口割接到可用端口。3)若為關(guān)鍵板件（如路由引擎、電源等）故障，且啟用冗余板位后業(yè)務(wù)仍不能恢復(fù)，立即調(diào)撥備件，備件上架后，及時(shí)與區(qū)公司網(wǎng)運(yùn)部聯(lián)系，配置軟件信息，恢復(fù)業(yè)務(wù)。4)若由于設(shè)備板卡吊死等不明原因引起的故障，則將搜集至的設(shè)備告警和板卡狀態(tài)等信息上報(bào)給區(qū)公司網(wǎng)運(yùn)部和網(wǎng)管中心，并將業(yè)務(wù)割接至備用板卡上。在廠商確認(rèn)、區(qū)公司網(wǎng)運(yùn)部及區(qū)公司網(wǎng)管中心認(rèn)可后，在確定不會(huì)對(duì)現(xiàn)有業(yè)務(wù)有更嚴(yán)重影響的前提下，重啟部件或設(shè)備。4、DDOS攻擊情況DDOS攻擊概念：DoS的攻擊方式有很多種，最基本的DoS攻擊就是利用合理的服務(wù)請(qǐng)求來(lái)占用過(guò)多的服務(wù)資源，從而使合法用戶(hù)無(wú)法得到服務(wù)的響應(yīng)。DDoS攻擊手段是在傳統(tǒng)的DoS攻擊基礎(chǔ)之上產(chǎn)生的一類(lèi)攻擊方式。其原理如下圖一所示。單一的DoS攻擊一般是采用一對(duì)一方式的，當(dāng)攻擊目標(biāo)CPU速度低、內(nèi)存小或者網(wǎng)絡(luò)帶寬小等等各項(xiàng)性能指標(biāo)不高它的效果是明顯的。隨著計(jì)算機(jī)與網(wǎng)絡(luò)技術(shù)的發(fā)展，計(jì)算機(jī)的處理能力迅速增長(zhǎng)，內(nèi)存大大增加，同時(shí)也出現(xiàn)了千兆級(jí)別的網(wǎng)絡(luò)，這使得DoS攻擊的困難程度加大了-目標(biāo)對(duì)惡意攻擊包的"消化能力"加強(qiáng)了不少，于是分布式的拒絕服務(wù)攻擊手段（DDoS）就應(yīng)運(yùn)而生了。DDoS利用了更多的傀儡機(jī)來(lái)發(fā)起DOS攻擊，以比從前更大的規(guī)模來(lái)攻擊受害者。DDOS攻擊現(xiàn)象：出現(xiàn)DDOS網(wǎng)絡(luò)攻擊時(shí)，被攻擊端網(wǎng)絡(luò)及主機(jī)會(huì)出現(xiàn)一下的現(xiàn)象：1、被攻擊主機(jī)上有大量等待的TCP連接2、網(wǎng)絡(luò)中充斥著大量的無(wú)用的數(shù)據(jù)包，源地址為假3、制造高流量無(wú)用數(shù)據(jù)，造成網(wǎng)絡(luò)擁塞，使受害主機(jī)無(wú)法正常和外界通訊4、利用受害主機(jī)提供的服務(wù)或傳輸協(xié)議上的缺陷，反復(fù)高速的發(fā)出特定的服務(wù)請(qǐng)求，使受害主機(jī)無(wú)法及時(shí)處理所有正常請(qǐng)求5、嚴(yán)重時(shí)會(huì)造成系統(tǒng)死機(jī)，網(wǎng)絡(luò)嚴(yán)重?fù)砣鸖YN-Flood是目前最流行的DDoS攻擊手段，利用了TCP/IP協(xié)議的固有漏洞。據(jù)現(xiàn)網(wǎng)監(jiān)測(cè)上的統(tǒng)計(jì)，目前網(wǎng)絡(luò)中存在大量的DDOS攻擊，在ChinaNet網(wǎng)絡(luò)中，平均每天監(jiān)測(cè)到的攻擊有500個(gè)左右。所有的攻擊中，TCPSYN攻擊占全部DDOS攻擊的90%左右，而其中攻擊流量較大的類(lèi)型是TCPSYN、ICMP、TCPRST。面向連接的TCP三次握手是SynFlood存在的基礎(chǔ)。TCP/IP建立連接需要經(jīng)過(guò)三次握手，而攻擊者在發(fā)送了第一次Syn后，不再發(fā)送第二次Syn信息，導(dǎo)致被攻擊者一直等待發(fā)送方的Syn信息直到超時(shí)，而攻擊方通過(guò)發(fā)送大量的Syn信息，導(dǎo)致被攻擊方cpu資源耗盡而無(wú)法提供正常服務(wù)。DDOS檢測(cè)措施：在省骨干網(wǎng)和城域網(wǎng)匯聚層以上網(wǎng)絡(luò)，可以利用北方IP三期數(shù)據(jù)網(wǎng)管://219.150.32.197:2003/nms/login.jsp以及北方DDOS攻檢測(cè)工具ArborNetworks'Peakflows://219.150.59.250/進(jìn)行日常監(jiān)控、當(dāng)然還可以通過(guò)在設(shè)備上查看Access-List匹配方式來(lái)檢測(cè)網(wǎng)絡(luò)攻擊。在城域網(wǎng)匯聚層以下的網(wǎng)絡(luò)中，由于IP三期數(shù)據(jù)網(wǎng)管不能檢測(cè)到該層面的電路流量情況，因此，可以使用北方DDOS攻檢測(cè)工具ArborNetworks'Peakflows://219.150.59.250/和Access-List的檢測(cè)等方法，還可以采用一些二層網(wǎng)絡(luò)的檢測(cè)及使用協(xié)議分析技術(shù)進(jìn)行攻擊檢測(cè)。①利用北方IP三期數(shù)據(jù)網(wǎng)管進(jìn)行日常監(jiān)控各盟市以及區(qū)維護(hù)中心網(wǎng)絡(luò)監(jiān)控以及維護(hù)人員可登錄該系統(tǒng)，然后查看網(wǎng)絡(luò)所監(jiān)控范圍內(nèi)的電路波動(dòng)圖，如發(fā)現(xiàn)流量異常突然增加，則可初步考慮是否受到了DDOS攻擊，然后查找被攻擊主機(jī)以及攻擊源，即時(shí)上報(bào)并實(shí)施封堵或者清洗工作。下面是包頭一用戶(hù)遭受來(lái)至通遼方向省外DDOS攻擊時(shí)，包頭IP城域網(wǎng)上行呼和以及通遼出口2.5G電路流量檢測(cè)情況。分析流量圖可以發(fā)現(xiàn)在區(qū)呼和出口方向流量正常的情況下，去通遼出口方向入流量突然增加，可以初步判斷是包頭IP城域網(wǎng)內(nèi)IP地址遭到了來(lái)自通遼方向省外DDOS攻擊。InPCore包頭R3-呼和浩特R12.5G[流量觀察基準(zhǔn)端:A端]

啟動(dòng)即時(shí)流量監(jiān)控A端|NM-BT-AE-A-3.163:Pos3/0/0(219.148.165.210)B端|NM-HH-HCZ-A-1.163:so-7/0/0.0(219.148.165.209)InPCore包頭ML.A1-通遼A12.5G[流量觀察基準(zhǔn)端:A端]

啟動(dòng)即時(shí)流量監(jiān)控A端|NM-BT-ML-A-1.163:Pos1/0/0(219.148.166.94)B端|NM-TL-HP-A-1.163:POS9/0/0(219.148.166.93)InPCore包頭R3-呼和浩特R12.5G[流量觀察基準(zhǔn)端:A端]啟動(dòng)即時(shí)流量監(jiān)控②利用北方DDOS攻檢測(cè)工具ArborNetworks'Peakflow進(jìn)行檢測(cè)各盟市以及區(qū)維護(hù)中心網(wǎng)絡(luò)監(jiān)控以及維護(hù)人員可登錄該系統(tǒng)，查看Alerts菜單下的Summary子菜單，在AllAlerts列表中可以監(jiān)控到已經(jīng)匹配了Networks設(shè)置的過(guò)濾特征值的DDOS攻擊，其中包括攻擊源在北方九省以及被攻擊地址在北方九省的所有匹配特征DDOS攻擊。下面是10月8日內(nèi)蒙電信一用戶(hù)遭受IPNULL類(lèi)型DDOS攻擊時(shí)檢測(cè)到的結(jié)果，我們可以很快速的發(fā)現(xiàn)被攻擊的IP地址為222.74.34.106，以及攻擊源、PPS檢測(cè)情況、攻擊流量BPS情況、攻擊開(kāi)始時(shí)間、結(jié)束時(shí)間、攻擊類(lèi)型等相關(guān)信息，這樣我們就可以快速的部署針對(duì)性的流量封堵以及申請(qǐng)集團(tuán)NOC進(jìn)行流量清洗。③通過(guò)Access-List匹配方式進(jìn)行檢測(cè)由于ArborNetworks'Peakflow是基于特征值來(lái)進(jìn)行DDOS攻擊檢測(cè)的，所有可能有些攻擊不能被檢測(cè)出來(lái)，所以我們可以在擁塞發(fā)生的端口上綁定ACL，利用ACL匹配來(lái)進(jìn)行檢測(cè)。④利用抓包工具進(jìn)行協(xié)議分析來(lái)進(jìn)行檢測(cè)定位由于攻擊可能會(huì)發(fā)生在省網(wǎng)或者某個(gè)城域網(wǎng)內(nèi)部，這時(shí)我們無(wú)法借助北方系統(tǒng)進(jìn)行檢測(cè)，這樣通過(guò)PING、TRACERT等日常工具以及分析設(shè)備當(dāng)時(shí)端口流量，將故障定位在小范圍內(nèi)，然后通過(guò)使用協(xié)議分析工具進(jìn)行檢測(cè)定位具體被攻擊者或者攻擊源。如下圖所示，可以看到，在局域網(wǎng)中存在一個(gè)IP地址向隨機(jī)的目的IP地址發(fā)送ICMP的ECHO信息，因此可以判斷該IP地址的主機(jī)正在攻擊別的主機(jī)，需要檢查該主機(jī)并阻斷攻擊源。DDOS防范措施：目前集團(tuán)公司已經(jīng)組織各省建立了互聯(lián)網(wǎng)網(wǎng)絡(luò)安全事件防范與處理虛擬團(tuán)隊(duì)，旨在加強(qiáng)電信公司內(nèi)部及與外部安全組織間的信息溝通，加強(qiáng)對(duì)異常流量的監(jiān)測(cè)和分析，積極防范DDOS攻擊。并于9月30日前在京滬穗的出入口部署完成三套總共6G容量的異常流量清洗設(shè)備，為關(guān)鍵站點(diǎn)（黨政軍、重要新聞媒體網(wǎng)站和基礎(chǔ)域名服務(wù)器）提供網(wǎng)絡(luò)攻擊流量清洗手段。內(nèi)蒙電信已在網(wǎng)絡(luò)邊緣部署策略進(jìn)行虛假源地址流量和常見(jiàn)病毒流量的過(guò)濾，以充分遏止采用虛假源地址和蠕蟲(chóng)病毒的攻擊行為，并完善了網(wǎng)絡(luò)安全事件上報(bào)流程以及應(yīng)急處置預(yù)案。DDOS攻擊應(yīng)急處理流程：當(dāng)中國(guó)電信網(wǎng)內(nèi)北京區(qū)域的重要網(wǎng)站遭受DDOS攻擊時(shí)，如果攻擊源在內(nèi)蒙電信網(wǎng)內(nèi)，則區(qū)維護(hù)中心應(yīng)全力配合集團(tuán)NOC判斷攻擊特征和溯源，進(jìn)行流量清洗或者流量限速的方式對(duì)攻擊流量進(jìn)行處理。當(dāng)內(nèi)蒙電信網(wǎng)內(nèi)的重要網(wǎng)站和域名服務(wù)器遭受DDOS攻擊時(shí)，受攻擊所在盟市公司維護(hù)部以及區(qū)維護(hù)中心應(yīng)盡快確定被攻擊地址、判定攻擊特征，確定攻擊來(lái)源，同時(shí)應(yīng)向集團(tuán)北京NOC申請(qǐng)調(diào)用京滬穗出入口的流量清洗設(shè)備對(duì)攻擊流量進(jìn)行清洗。如無(wú)法對(duì)攻擊進(jìn)行有效處理時(shí)，在用戶(hù)同意時(shí)可使用“黑洞路由”或流量限速方式對(duì)攻擊流量進(jìn)行處理。當(dāng)內(nèi)蒙電信網(wǎng)內(nèi)普通站點(diǎn)遭受DDOS攻擊，造成省網(wǎng)、城域網(wǎng)、IDC擁塞時(shí)，可使用“黑洞路由”或流量限速方式對(duì)攻擊流量進(jìn)行處理。內(nèi)蒙電信區(qū)維護(hù)中心負(fù)責(zé)提供7x24小時(shí)的DDoS攻擊應(yīng)急響應(yīng)和技術(shù)支撐。當(dāng)DDOS攻擊造成大量用戶(hù)投訴時(shí)，各盟市公司應(yīng)在處理攻擊的同時(shí)，做好用戶(hù)解釋工作，和政府相關(guān)部門(mén)保持密切聯(lián)系，防止事態(tài)的惡化。應(yīng)急處理流程圖如下：（3）網(wǎng)絡(luò)復(fù)原后的處理故障恢復(fù)后首先查看故障點(diǎn)是否完全恢復(fù)、確認(rèn)網(wǎng)絡(luò)性能正常；其次進(jìn)行業(yè)務(wù)測(cè)試；在確認(rèn)業(yè)務(wù)已恢復(fù)后進(jìn)入觀察期并完成故障分析及報(bào)告。網(wǎng)絡(luò)正常狀態(tài)的判別標(biāo)準(zhǔn)（全區(qū)NE80E路由條目18347）根據(jù)網(wǎng)絡(luò)故障發(fā)生的層面可通過(guò)測(cè)試網(wǎng)絡(luò)連通性測(cè)試、網(wǎng)絡(luò)路由測(cè)試來(lái)確定網(wǎng)絡(luò)性能是否恢復(fù)正常，下面是正常情況下從鄂爾多斯中心局NE40E到北京以及天津的網(wǎng)絡(luò)性能及路由。鄂爾多斯中心局NE40E到北京：（2009年8鄂爾多斯中心局NE40E到天津：1、臨時(shí)搶通的業(yè)務(wù)電路復(fù)原流程如果是通過(guò)傳輸層倒波后恢復(fù)的業(yè)務(wù)，那么在傳輸故障恢復(fù)后，在將電路倒回前需要做以下工作：用儀表確認(rèn)故障電路性能已經(jīng)完全恢復(fù)——>確定電路倒回時(shí)可能造成的影響并制定相應(yīng)處理流程——>根據(jù)業(yè)務(wù)狀況網(wǎng)絡(luò)層面確定操作時(shí)間、人員并通知相關(guān)部門(mén)——>做好倒波前的準(zhǔn)備工作,包括端口的確認(rèn)、尾纖的測(cè)試、纖纜的布放等——>按照倒波流程配合傳輸專(zhuān)業(yè)完成割接——>在傳輸確認(rèn)倒波完成后檢測(cè)IP網(wǎng)絡(luò)連通性、網(wǎng)絡(luò)路由、網(wǎng)絡(luò)性能。2、如果是通過(guò)路由調(diào)整恢復(fù)的業(yè)務(wù)，那么在將路由復(fù)原前需要做以下工作：如果是由于網(wǎng)絡(luò)病毒或異常流量導(dǎo)致的路由調(diào)整，那么確認(rèn)病毒被查殺或隔離后在進(jìn)行復(fù)原、或是異常流量被抑制或過(guò)濾后在進(jìn)行復(fù)員。3、如果是一個(gè)方向傳輸故障后通過(guò)路由調(diào)整將流量引到其他方向恢復(fù)的業(yè)務(wù)，那么需確認(rèn)故障方向傳輸恢復(fù)后在將流量調(diào)整回來(lái)。4、如果是雙節(jié)點(diǎn)設(shè)備其中一臺(tái)設(shè)備故障，那么在將業(yè)務(wù)從另一臺(tái)倒回來(lái)前需確認(rèn)故障設(shè)備性能沒(méi)有問(wèn)題——>在將故障設(shè)備接入網(wǎng)絡(luò)前先將流量全部調(diào)整到那臺(tái)正常設(shè)備上——>將故障設(shè)備接入網(wǎng)絡(luò)并確認(rèn)端口設(shè)備沒(méi)有問(wèn)題可以正常轉(zhuǎn)發(fā)數(shù)據(jù)包——>將路由調(diào)整復(fù)原并觀察網(wǎng)絡(luò)流量、網(wǎng)絡(luò)路由、網(wǎng)絡(luò)性能是否恢復(fù)。3、應(yīng)急處置后評(píng)估分析故障處理是否啟用了相應(yīng)的預(yù)案、為什么沒(méi)有啟用或?yàn)槭裁礇](méi)有相應(yīng)的應(yīng)急預(yù)案；分析起用應(yīng)急預(yù)案的效果，是否在規(guī)定時(shí)間內(nèi)成功啟動(dòng)了相應(yīng)的應(yīng)急預(yù)案，重點(diǎn)分析沒(méi)有成功起用的原因，或者成功了但那些方面還需要改進(jìn)；分析故障是否在現(xiàn)有應(yīng)急預(yù)案的考慮范圍，能否對(duì)類(lèi)似故障制定出相應(yīng)的應(yīng)急預(yù)案；總結(jié)應(yīng)急預(yù)案中不完善的地方并針對(duì)故障完善相應(yīng)應(yīng)急預(yù)案。4、信息發(fā)布在啟動(dòng)應(yīng)急預(yù)案前按照流程進(jìn)行對(duì)各相關(guān)層面部門(mén)發(fā)送的同時(shí)通過(guò)電子郵件、OSS進(jìn)行預(yù)案的發(fā)布。信息內(nèi)容應(yīng)包括：應(yīng)急預(yù)案啟動(dòng)的原因、時(shí)間、地點(diǎn)、具體實(shí)施人員；針對(duì)的網(wǎng)絡(luò)層面；詳細(xì)的應(yīng)急預(yù)案；可能影響的范圍等。在啟動(dòng)應(yīng)急預(yù)案完成后向相關(guān)部門(mén)、人員發(fā)送本次應(yīng)急的實(shí)施過(guò)程及分析。四、應(yīng)急保障1、人力保障下面是北方網(wǎng)管中心、省網(wǎng)監(jiān)中心、各地市網(wǎng)監(jiān)中心、各設(shè)備廠家相應(yīng)的負(fù)責(zé)人及通信方式。根據(jù)不同的流程聯(lián)系不同層面的人員進(jìn)行故障處理。1、北方網(wǎng)管中心數(shù)據(jù)網(wǎng)管中心序號(hào)北方網(wǎng)管聯(lián)系1殷宇晶022-58810231153202302802楊斌022-58810234153202308183系統(tǒng)代維4值班022－58810291，58810292,588102952、內(nèi)蒙電信省網(wǎng)管中心序號(hào)內(nèi)蒙網(wǎng)管聯(lián)系1狄光0471-3337856133271022172王斯3郝如意4值0471-33800013、內(nèi)蒙古電信IP網(wǎng)各地市電信分公司24小時(shí)值班熱線(xiàn)：序號(hào)單位24小時(shí)機(jī)房維護(hù)值班1區(qū)維護(hù)中0471-33800012呼和浩特0