網(wǎng)絡(luò)應(yīng)急預(yù)案.doc

黑龍江移動-鐵通網(wǎng)絡(luò)應(yīng)急預(yù)案雞西應(yīng)急日常準(zhǔn)備1.1 網(wǎng)絡(luò)基本信息準(zhǔn)備：1.2 工具和儀表準(zhǔn)備：工具名稱用途光功率計用于測量光功率。光纖跳線用于替換故障尾纖。光纖綁扎帶用于捆扎替換后的故障尾纖。網(wǎng)線用于連接網(wǎng)元或局域網(wǎng)的網(wǎng)線。光譜分析儀用于查看光線路的光譜。萬用表用于測量各種電氣參數(shù)。防靜電腕帶防止人體靜電損壞敏感元器件。防靜電包裝袋保護(hù)需要防靜電的部件。防靜電服防止人體靜電損壞敏感元器件。十字螺絲刀用于拆裝設(shè)備螺絲。標(biāo)簽紙用于標(biāo)示設(shè)備或者線纜。SDH、ETH業(yè)務(wù)分析儀用于測量業(yè)務(wù)信號。2 應(yīng)急恢復(fù)總體原則：以業(yè)務(wù)快速恢復(fù)為目標(biāo)，優(yōu)先搶通業(yè)務(wù)，做好分工和解決方案的溝通，爭取搶通和搶修并行。當(dāng)故障業(yè)務(wù)條數(shù)小于等于2條時,如初步判斷不能短期解決,優(yōu)先將重要業(yè)務(wù)倒換到保護(hù)波道。2.1 事故信息收集（10分鐘） 第一時間關(guān)鍵信息收集操作人員操作步驟具體動作備注網(wǎng)管人員故障基本信息收集1、 故障發(fā)生時間：年/月/日 時:分:秒2、 影響業(yè)務(wù)信息：波數(shù)，業(yè)務(wù)級別（2.5G，10G，40G，100G)和承載的業(yè)務(wù)類型(大客戶專線，移動回傳)及對接設(shè)備類型（可選）。3、 故障前外部操作或環(huán)境變化：如掉電，機房溫度變化，光纜割接，網(wǎng)絡(luò)拓?fù)湔{(diào)整（增刪節(jié)點，網(wǎng)絡(luò)改造），客戶側(cè)業(yè)務(wù)割接調(diào)整等；4、 故障后已做操作及結(jié)果：網(wǎng)管側(cè)操作：業(yè)務(wù)配置，人工保護(hù)倒換，復(fù)位單板，環(huán)回等；現(xiàn)場操作：拔插光纖/電纜，物理環(huán)回，拔插單板，更換單板，網(wǎng)元上下電；處理結(jié)果：中斷業(yè)務(wù)部分恢復(fù)，中斷業(yè)務(wù)更多，網(wǎng)元返回失敗，單板不開工；等等網(wǎng)管人員網(wǎng)絡(luò)基本信息收集5、 網(wǎng)絡(luò)拓?fù)洌汗?jié)點數(shù)、保護(hù)類型(ODUk SNCP，OLP光線路1+1，客戶側(cè)1+1，ODUk Spring，ERPS，板內(nèi)1+1，無保護(hù))、網(wǎng)絡(luò)層次(骨干，匯聚，接入)、拓?fù)漕愋?鏈，環(huán)，環(huán)相切，環(huán)相交，環(huán)帶鏈)6、 設(shè)備信息及運行情況: 設(shè)備類型，網(wǎng)元版本、網(wǎng)元狀態(tài)網(wǎng)管人員查詢告警和性能信息根據(jù)承載業(yè)務(wù)中斷的具體時間，查詢對應(yīng)時間段是否存在關(guān)鍵告警或異常狀態(tài) (如:光纖中斷RLOS、單板復(fù)位、網(wǎng)元脫管、保護(hù)倒換告警、環(huán)回告警、安裝態(tài)告警)7、 在網(wǎng)管上先同步告警，然后查詢當(dāng)前和歷史告警以及當(dāng)前及歷史15m性能。8、 把設(shè)備、單板、線路的告警與業(yè)務(wù)中斷的時間進(jìn)行一致性確認(rèn)。9、 建議檢查告警屏蔽狀態(tài)和通道非介入監(jiān)視狀態(tài)，確保告警正常上報。10、 故障前后主通道光功率值(光放大板/OSC板)；（通過24H歷史性能查詢歷史值）網(wǎng)管人員查詢操作日志11、 根據(jù)承載業(yè)務(wù)中斷的具體時間,查詢該時間段的關(guān)鍵操作日志。（關(guān)鍵步驟為：配置業(yè)務(wù)、復(fù)位、環(huán)回、優(yōu)化、倒換等操作）網(wǎng)管人員初步判斷12、 根據(jù)告警和操作日志是否能初步準(zhǔn)確定位到關(guān)鍵設(shè)備和保護(hù)子網(wǎng)。采取相應(yīng)預(yù)案。網(wǎng)管人員求助烽火工程師13、 請第一時間電話烽火工程師。有條件的可以取得客戶授權(quán)的情況下遠(yuǎn)程接入；網(wǎng)管人員查詢業(yè)務(wù)中斷共同路由14、 如果是多波中斷，查詢所有中斷波長所經(jīng)過的路徑，確認(rèn)波長經(jīng)過的共同網(wǎng)元節(jié)點。網(wǎng)管人員通過環(huán)回功能定位到單站15、 選取一條中斷的路徑，點擊維護(hù)-環(huán)回，進(jìn)入環(huán)回界面。采用二分法，從源端到宿端逐步環(huán)回。確認(rèn)影響業(yè)務(wù)中斷具體設(shè)備，再根據(jù)該設(shè)備的具體異常，采取預(yù)案。避免在情況不明的情況下盲目操作, 導(dǎo)致問題擴(kuò)大化。處理過程中一定要作好故障記錄，保存好故障的原始數(shù)據(jù)。2.2 分析定界：（5分鐘）根據(jù)上述采集的信息，判斷是否波分網(wǎng)絡(luò)的問題：信息分析定界步驟操作人員判斷和定位時間花費1網(wǎng)管人員中斷的業(yè)務(wù)只在波分系統(tǒng)上有共同的故障路由，則需要先排除波分側(cè)故障；5分鐘2網(wǎng)管人員波分設(shè)備OTU單板的波分側(cè)存在OTN_LOF/OTN_LOS/OTUk_SM_BIP8_SD/OTUk_SM_BDI/OTUk_SM_BEIODUk_PM_AIS /ODUk_PM_BDI等告警，確認(rèn)為波分側(cè)問題；3網(wǎng)管人員中斷業(yè)務(wù)經(jīng)過的共同路由有明確的設(shè)備、單板等硬件故障告警（如：COMMUN_FAIL /TEMP_OVER等），判斷為波分設(shè)備問題，并馬上啟動硬件備件響應(yīng)；4網(wǎng)管人員波分設(shè)備OTU單板客戶側(cè)端口存在R_LOS、R_LOF等告警，則需要先排查客戶側(cè)光口和對接設(shè)備之間的故障。2.3 定位恢復(fù)：（50分鐘）場景一：單波業(yè)務(wù)中斷此處指無保護(hù)場景定位恢復(fù)步驟場景介紹A/B/C/D/E五個站點組成一個96波波分環(huán)（左上圖），各站信號流圖見右圖。每個波道在中間站點均OMU48-ODU48尾纖直接穿通。現(xiàn)發(fā)現(xiàn)AD之間的192.1THZ單波道中斷。有相關(guān)告警（OTN_LOS/OTN_LOF/ODUk_SM_BIP8_SD/ ODUk_PM_AIS等）上報。假設(shè)告警上報在D站點，A站有對應(yīng)的BDI回告。步驟操作人員排除故障原因操作動作時間花費1網(wǎng)管&現(xiàn)場人員快速恢復(fù)動作在資源允許的情況下：將客戶業(yè)務(wù)調(diào)至其它可用的波道或者備用波道；或者客戶對接設(shè)備存在保護(hù)則可以通過關(guān)閉OTU單板激光器觸發(fā)倒換，或者聯(lián)系對接設(shè)備維護(hù)人員手動倒換。30分鐘故障綜述：單波故障絕大部份可以歸為兩類，一類為由于光功率異常導(dǎo)致（以下統(tǒng)一描述為光功率子場景），另一類為由于板件、尾纖等異常導(dǎo)致（以下統(tǒng)一描述為非光功率子場景），關(guān)鍵在于定位到具體的故障點，采取相應(yīng)措施解決。光功率問題子場景（D站點波分側(cè)直接報R_LOS的情況）處理步驟1網(wǎng)管&現(xiàn)場人員排除收端先掃描收端站點192.1THZ波長是否丟失，如果沒有丟失且光功率正常，則進(jìn)一步排查站點下波尾纖、光衰，嘗試遠(yuǎn)程硬復(fù)位單板，同時安排人現(xiàn)場使用光纖環(huán)回OTU單板的波分側(cè)，確定是否單板故障，如故障，則更換單板；10分鐘2網(wǎng)管&現(xiàn)場人員排除發(fā)端然后再掃描發(fā)端站點192.1THZ波長是否丟失，如果丟失，則排查上波尾纖和光衰、嘗試遠(yuǎn)程硬復(fù)位單板，同時安排人現(xiàn)場使用光纖環(huán)回確定是否單板故障，如故障，則更換單板；5分鐘3網(wǎng)管&現(xiàn)場人員定位中間站點如果發(fā)端192.1THZ波長沒有丟失，從發(fā)端A站點開始，按信號流方向逐站掃描192.1THZ波長是否丟失，確認(rèn)波長丟失站點，（通過光功率計測試方法：發(fā)端站點：OTU-OMU48，收端站點：ODU48-OTU，中間穿通站點： ODU48-OMU48）查找故障點，并通過清潔光口、更換尾纖、更換單板的方式解決。15分鐘備注：如果現(xiàn)場沒有配置OPM單板，又無法調(diào)波，業(yè)務(wù)恢復(fù)時長很難控制，同時網(wǎng)管中心通過總光功率變化來粗略判斷故障點（波數(shù)很少的情況比較有效，波數(shù)多則無法判斷），需要維護(hù)人員帶上光功率計、光譜分析儀、備件、尾纖等物料逐站排查。光功率問題子場景（非報R_LOS）處理步驟1網(wǎng)管人員檢查光功率是否下降、是否有誤碼分別查詢A、D兩站OTU單板的收發(fā)光功率，并對比歷史24H性能值，確認(rèn)是否是光功率問題導(dǎo)致的故障（可通過與故障前的光功率數(shù)據(jù)（如歷史光功率性能數(shù)據(jù)或定期刷新過的文檔）進(jìn)行比較，以確定當(dāng)前光功率值是否異常。）此場景通常會伴隨存在誤碼、FEC糾錯等異常性能事件。3分鐘2網(wǎng)管&現(xiàn)場人員排除硬件故障分別對A、D站OTU單板使用光纖進(jìn)行環(huán)回，確認(rèn)是否單板故障，若單板故障直接更換；（單光口板可以直接嘗試硬復(fù)位單板）10分鐘3網(wǎng)管人員排除波長漂移問題對發(fā)端OTU單板（本例中為A站點）掃描波長，確認(rèn)是否波長漂移，若漂移則硬復(fù)位單板臨時恢復(fù)；5分鐘4網(wǎng)管人員快速恢復(fù)動作嘗試提高該單波的收光功率（不能超過過載點）并觀察性能變化。方法：從發(fā)端開始減少各站OMU48對應(yīng)通道的衰減值。3分鐘5網(wǎng)管人員快速恢復(fù)動作嘗試調(diào)整發(fā)端線路總光功率：注意觀察其他波長性能變化，在不影響其他波長性能的前提下小量多次，調(diào)整幅度不超過3dB。5分鐘6網(wǎng)管人員從發(fā)端A站點開始，按信號流方向逐站掃描192.1THZ波長，確認(rèn)波長突變量較大的點，（通過光功率計測試方法：發(fā)端站點：OTU-OMU48，收端站點：ODU48-OTU，中間穿通站點：ODU48-OMU48）查找故障點，并通過清潔光口、更換尾纖、減小M40V衰減、更換單板的方式解決。15分鐘非光功率問題子場景處理步驟1網(wǎng)管人員確認(rèn)為非光功率問題分別查詢A、D兩站OTU單板的收發(fā)光功率，并對比歷史24H性能值，確認(rèn)是非光功率問題導(dǎo)致的故障（可通過與故障前的光功率數(shù)據(jù)（如歷史光功率性能數(shù)據(jù)或定期刷新過的文檔）進(jìn)行比較，以確定當(dāng)前光功率值是否異常。）3分鐘2網(wǎng)管人員排除硬件故障1、 先硬復(fù)位發(fā)端單板，再硬復(fù)位收端單板；2、 如果硬復(fù)位完成后，業(yè)務(wù)未恢復(fù)，分別對A、D站OTU單板進(jìn)行軟件內(nèi)環(huán)回、外環(huán)回，確認(rèn)是否單板故障；5分鐘3現(xiàn)場人員排除硬件故障1、對收發(fā)端單板進(jìn)行硬環(huán)回，確認(rèn)故障單板。2、對故障單板進(jìn)行更換。10分鐘場景二：多波業(yè)務(wù)中斷 此處指無保護(hù)場景定位恢復(fù)步驟場景介紹A/B/C/D/E五個站點組成一個80波波分環(huán)（左上圖），每個站點均為背靠背的OTM站，各站信號流圖見左下圖。每個波道在中間站點均為M40-D40尾纖直接穿通?，F(xiàn)發(fā)現(xiàn)環(huán)上大量波道出現(xiàn)異常告警。多波中斷。步驟操作人員操作動作排除故障原因時間花費故障綜述：環(huán)路多波故障絕大部份都是由于主光路異常或者合分波板、光放板故障導(dǎo)致，在沒有光纖中斷的情況下，關(guān)鍵在于定位出故障出現(xiàn)的站點。1網(wǎng)管人員排除光纜故障查詢環(huán)路上所有站點OSC單板的輸入、輸出光功率（對比單板當(dāng)前和歷史性能值），對比歷史記錄值，確認(rèn)主光路是否存在光功率跌落，如果有跌落：1、 減少鏈路上可調(diào)衰減器件的衰減值（比如VOA等）；2、 適當(dāng)增大光放板增益；通知客戶修復(fù)主光路；5分鐘2網(wǎng)管&現(xiàn)場人員排除光放板故障查詢環(huán)路上所有段落光放板的輸入、輸出光功率，對比歷史記錄值（對比單板當(dāng)前和歷史性能值），確認(rèn)是否存在異常的光放板，如果異常：1、 首先確認(rèn)增益設(shè)置是否正確，不正確則修復(fù)并確認(rèn)故障是否恢復(fù)；2、 通過光功率確認(rèn)光放板（如果是OA系列單板）內(nèi)部口衰耗是否正常，不正常則更換尾纖（DCM模塊不動）；3、 嘗試修改光放增益，無效則硬復(fù)位光放，4、 上述三步無法解決則更換光放大板；5分鐘3網(wǎng)管&現(xiàn)場人員排除OMU48/OD U48故障查詢環(huán)路上所有站點OMU48/ODU48的輸入、輸出光功率，對比歷史記錄值（對比單板當(dāng)前和歷史性能值），如果有異常，則通過清潔光口、更換相關(guān)尾纖，調(diào)整光衰的方法排除故障，如無法排除，則更換單板。20分鐘4網(wǎng)管&現(xiàn)場人員排除操作異常上述主光功率問題均排除的情況下，應(yīng)重點了解現(xiàn)場人員故障前的操作情況，是否存在DCM和光纜變化的情況，同時核查各站DCM配置，分析路由，嘗試性增減、替換DCM來解決。25分鐘場景三：常見保護(hù)業(yè)務(wù)中斷此處常見保護(hù)包括：光線路保護(hù)、客戶側(cè)1+1保護(hù)、板內(nèi)1+1保護(hù)、ODUk SNCP保護(hù)、SW SNCP保護(hù)定位恢復(fù)步驟步驟操作人員操作動作快速恢復(fù)步驟時間花費1網(wǎng)管人員檢查保護(hù)組狀態(tài)，確認(rèn)是否存在保護(hù)組被強制/鎖定在非NORMAL的通道上。如果是，解除強制/鎖定倒換查看業(yè)務(wù)是否恢復(fù)，如業(yè)務(wù)未恢復(fù)，將保護(hù)組強制倒換到另一通道上，查看業(yè)務(wù)是否恢復(fù)。強制倒換恢復(fù)32網(wǎng)管人員針對SNCP保護(hù)，可以嘗試去激活、激活保護(hù)組，業(yè)務(wù)無法恢復(fù)則再嘗試進(jìn)行強制倒換，看業(yè)務(wù)是否恢復(fù)。去激活/激活恢復(fù)33網(wǎng)管人員刪除保護(hù)組重新配置，查看業(yè)務(wù)是否恢復(fù)；如果不恢復(fù)，再進(jìn)行強制倒換，看業(yè)務(wù)是否恢復(fù)。重新配置保護(hù)組恢復(fù)54網(wǎng)管人員如果采取以上操作后都不恢復(fù)，將保護(hù)組兩端強制到主通道，參照波分側(cè)單波故障、多波故障的方式恢