提升端到端業(yè)務質量的措施和手段云南

提升端到端業(yè)務質量的措施和手段研究2013年10月云南公司王錦華內容簡介一、IP承載網維護工作特點三、網絡層面端到端研究二、理解“端到端”的三個維度四、“規(guī)劃、建設、維護”端到端研究五、跨專業(yè)“業(yè)務端到端”研究特點一：重要，安全要求高特點二：業(yè)務接入量大、割接多特點四：規(guī)范、標準、精細特點三：跨專業(yè)多，支撐力度高IP專網工作特點一、IP承載網維護工作特點二、轉變維護思路，將“設備維護”轉變?yōu)椤岸说蕉藰I(yè)務質量保障”。形成“規(guī)劃、建設、維護、優(yōu)化”橫向溝通和“業(yè)務、承載、傳輸跨專業(yè)聯(lián)動”縱向溝通模式。一、根據(jù)IP承載網的網絡地位以及業(yè)務特點，要求我們做到“精細化”、“可靠性”、“安全性”管理。云南公司形成了“兩手段”（資源庫+自主開發(fā)的智能維護管理系統(tǒng)）、“一流程”（規(guī)范繁多的業(yè)務接入申請）的精細化工作模式。業(yè)務類型多，業(yè)務質量要求高，有效支撐未來大數(shù)據(jù)的業(yè)務演進“端到端”維護管理思路跨專業(yè)、跨產品、跨廠家，綜合性高，維護難度大日常各類業(yè)務接入CE需求多，割接頻繁，數(shù)據(jù)操作多各類業(yè)務接入具有標準化、一致性，數(shù)據(jù)規(guī)范嚴格，工作精細二、理解“端到端”的三個維度4打造優(yōu)質、高效的精品“IP承載”網絡規(guī)劃-建設-維護端到端2跨專業(yè)“業(yè)務端到端”31、網絡流量評估分析模型、CE業(yè)務接入原則及評估模板——提供計劃部門指導規(guī)劃；2、制定工程實施規(guī)范，例如標簽要求、板卡布放原則等——提供工程部門指導工程實施。3、業(yè)務接入現(xiàn)場檢查細則——提供分公司指導業(yè)務開通現(xiàn)場督導。1網絡層面端到端IP專網1、“兩手段”：完善資源記錄庫（資源信息及行為記錄）+自主開發(fā)的“智能維護系統(tǒng)”（定期采集、自動分析）；2、“一流程”：高效的業(yè)務接入流程及規(guī)劃模板《業(yè)務接入CE資源申請單》；3、建立設備級、網絡級、業(yè)務級三級維護模式，建立各級維護管理、ping檢測機制；4、端到端業(yè)務流量模型及分析。1、編寫“告警監(jiān)控指導手冊”、“派單原則”、“告警標準化整治”、監(jiān)控培訓——指導監(jiān)控專業(yè)；2、與傳輸專業(yè)聯(lián)動，優(yōu)化并整理全省各級鏈路；3、與業(yè)務側聯(lián)動，支撐業(yè)務側分析（如手機上網分析、SCTP端到端分析等）。轉變傳統(tǒng)的“設備維護”模式為“以業(yè)務為導向、端到端、全程全網”維護模式。IP專網維護為基點跨部門、專業(yè)聯(lián)動業(yè)務質量為核心三、網絡層面端到端研究三、網絡層面端到端研究——（一）兩手段CE面板資源信息全網各級鏈路傳輸信息全省各地市詳細拓撲信息業(yè)務端到端歸屬信息（如SGSN-BSC歸屬，MGW-MSS歸屬等）

軟件版本信息割接操作內容及過程記錄CE日常業(yè)務變更操作記錄各類業(yè)務接入申請及資源規(guī)劃記錄故障總統(tǒng)計一覽表故障案例庫及故障報告記錄備件記錄清單巡檢記錄等1、完善的資源記錄及更新實現(xiàn)全網各級鏈路ping測試配置采集、對比分析IP地址管理、查詢、路由查詢全網CE端口狀態(tài)檢查（光功率、CRC增長分析、端口信息（MTU、光模塊、協(xié)商情況、up/down信息等））其他信息：vrrp狀態(tài)、vlan信息、流量信息等通過使用該系統(tǒng)，為日常工作提供快速、便捷的各類查詢，例如，CE資源規(guī)劃時可快速查詢可用資源

；已將該系統(tǒng)推廣至監(jiān)控、地市維護人員使用。2、自主研發(fā)的“IP承載網質量可視化智能維護系統(tǒng)”IP承載網精細維護管理“兩手段”IP地址管理CE資源信息查詢鏈路質量Ping測……

拓撲信息

配置信息CE端口各類狀態(tài)檢查傳輸電路安全業(yè)務接入信息形成精細化維護管理1、完善的資源記錄及更新——資源信息CE面板信息各地市拓撲信息全網各級鏈路傳輸信息業(yè)務端到端歸屬信息全網CE局址、槽位、板卡、模塊配置及使用情況；CE各使用端口接入業(yè)務信息；vlan、VRRP號信息端口模式、使用情況；規(guī)劃時間、業(yè)務接入時間等。全網拓撲各地市CS域及PS域拓撲（明確到CE下掛網元信息）與承載網相連各業(yè)務系統(tǒng)拓撲（GPRS、IMS、CMNET等）全網BR-CR、BR-BR、BR-AR、AR-AR、AR-CE、CE-網元各級物理鏈路信息（跨局傳輸、同局樓間、裸纖）；各級電路傳輸實際配置帶寬信息CS域MGW-MSS間歸屬信息、PS域SGSN-BSC/RNC歸屬信息、MSS/SGSNPool信息等；設備級管理鏈路級管理網絡級管理業(yè)務級管理電子文檔記錄管理資源信息內容：1、完善的資源記錄及更新——行為記錄割接操作內容及過程記錄CE日常業(yè)務變更操作記錄各類業(yè)務接入申請及資源規(guī)劃記錄故障總統(tǒng)計一覽表故障案例庫及故障報告記錄備件記錄清單巡檢記錄等除了IP地址資源、設備信息資源等的記錄，我們形成了將日常工作內容分門別類記錄在案的精細化管理方式，確保數(shù)據(jù)操作追溯可查、信息更新及時完備，也便于為今后工作提供經驗參考。主要包括：資源庫2、自主開發(fā)的“IP承載網智能維護系統(tǒng)”本系統(tǒng)主要包括：主程序、數(shù)據(jù)庫、客戶端三部分。其中主程序可在省公司使用，完成數(shù)據(jù)采集、分析、ping測等。數(shù)據(jù)庫用來存儲主程序采集到的數(shù)據(jù)，主要保存設備信息、端口信息、IP地址信息等。客戶端用來訪問數(shù)據(jù)庫，主要提供查詢功能，供分公司和相關專業(yè)同事使用。該系統(tǒng)基于VC++6.0及MFC開發(fā)，使用CSocket類來telnet設備，同時考慮將來程序的移植性，在代碼編寫上，盡量使用STL中的模板類和函數(shù)，避免使用MFC自帶函數(shù)。數(shù)據(jù)采集數(shù)據(jù)分析查詢詢IP地址管理配置檢查全網IP地址統(tǒng)計IP地址查詢（歸歸屬、所屬業(yè)業(yè)務網元，已已使用和未使使用）IP地址沖突檢測測CRC增長VRRP狀態(tài)端口利用率(50%)提示光功率分析判判斷其它查詢檢查配置是否否保存全網CE的配置信息檢查匯聚路由由與黑洞路由由是否一一對對應標桿運營端口利用率端口信息VRRP信息、vlanif信息當前配置Bfd-sessionPing測試Ping測CE-AR鏈路質量Ping測CE至網元的互互聯(lián)及業(yè)務務地址“IP承載網智能能維護系統(tǒng)統(tǒng)”五大功能能本系統(tǒng)主要要功能包括括：數(shù)據(jù)采集、、配置檢查查、數(shù)據(jù)分分析及查詢詢、IP地址管理、、ping測等。功能介紹及及應用場景—數(shù)據(jù)采集1、端口利用率率：后臺程序序執(zhí)行disintbrief，對返回的的腳本進行行處理，提取分析析并呈現(xiàn)端端口、端口狀狀態(tài)、端口口利用率信息；2、端口信息：通過后臺臺程序的加加工處理，，將端口下下的關鍵信信息（對應應設備上執(zhí)執(zhí)行disintport后的信息中中的關鍵內內容），包包括端口描描述、IP地址、CRC、出入流量量、收發(fā)光光功率、協(xié)協(xié)商結果（（雙工并方方式、協(xié)商商帶寬）、、光模塊類類型、端口口最大帶寬寬等信息提提取并呈現(xiàn)現(xiàn)。3、當前配置：后臺執(zhí)行discu,對返回的設備配置置信息進行行加工處理理，提取““端口信息、vpn信息、sub地址、靜態(tài)路由表表、前綴列列表”關鍵等等。此步驟驟得到的信信息主要是是供“IP地址管理””和“ping測試”功能能使用。4、VRRP：后臺執(zhí)行行disvrrp,對返回的腳腳本進行分分析處理，，主要為““vrrp狀態(tài)檢測””和“ping測”提供數(shù)數(shù)據(jù)。本系統(tǒng)主要要功能包括括數(shù)據(jù)采集集、配置檢查、數(shù)據(jù)分析析、IP地址管理、、設備信息息查詢、ping測；1、例如檢查查“標桿應用：子接口下配置置statisticenable”，可以根據(jù)配配置，先找找出未配置置統(tǒng)計功能能的子接口口，再進行行逐條添加加，極大提提高工作效效率3、檢查配置是否保存存，程序依次在設備上上執(zhí)行compareconfig，根據(jù)返回回結果找出出未保存配配置的設備。2、依據(jù)prefix列表中的匯匯聚地址，，判斷是否否該匯聚地地址配置了了黑洞路由由。功能介紹及及應用場景—配置檢查1、CRC增長分析：該項工作作需要統(tǒng)計計所有物理理端口信息息，分別采采集兩次設設備端口信信息，即可可判斷CRC增長情況。。2、端口利用率率高于閾值值：通過執(zhí)行行disintbrief,將返回的信信息進行分分析，輸出出端口利用用率高于50%的端口。3、Vrrp狀態(tài)異常檢檢測：當網元以vrrp接入CE時，可能存在在vrrp狀態(tài)異常。通過disvrrp采集到vrrp信息，判斷斷是否存在雙雙主（奇數(shù)數(shù)和偶數(shù)平平面的vrrp狀態(tài)均為master）、initialize等異常狀況況。4、端口收光異異常：根據(jù)hedex不同端口收收光要求，，對各種類類型端口的的收光進行行判斷，是是否超出范范圍。功能介紹及及應用場景—數(shù)據(jù)分析1、IP地址查詢：：如果輸入的的IP不帶掩碼，，則取缺省省值32，這里查詢詢到的IP為與全網中中IP地址存在包包含或被包包含或相等等的地址（（說明一下下，任意兩兩段IP地址段只存存在包含、、被包含和和相等關系系，不存在在交集），，同時可以以輸出該段段IP地址剩余可可用的IP地址。已用用地址和可可用地址是是不存在沖沖突的，可可以用“沖突檢測功能”進行檢測。以信令地址（）為例，可可查詢到在在現(xiàn)網中已已被用的地地址和剩余余可用的IP地址。該功能可用用于IP地址規(guī)劃、查詢網元元接在哪對對CE下等。功能介紹及及應用場景—IP地址管理2、沖突檢測：業(yè)務接入入地址規(guī)劃劃時，難免存在筆筆誤等原因因會導致IP地址存在相相互包含或或相等，可可先對該IP地址段集合合進行分析析，挑出沖沖突的地址址段。這樣樣確保規(guī)劃劃的IP不沖突，但但需和現(xiàn)網網進行比較較，判斷是是否和現(xiàn)網網IP沖突。10.30.0.160/2910.30.0.128/26BSC與MSS7沖突10.30.0.168/2910.30.0.128/26BSC與MSS7沖突10.30.0.176/2910.30.0.128/26BSC與MSS7沖突10.30.0.224/2910.30.0.192/26BSC與MSS7沖突10.30.0.232/2910.30.0.192/26BSC與MSS7沖突10.30.0.240/2910.30.0.192/26BSC與MSS7沖突10.31.114.33/3210.31.114.32/28同為GA的業(yè)務地址10.31.114.34/3210.31.114.32/28同為GA的業(yè)務地址10.31.114.35/3210.31.114.32/28同為GA的業(yè)務地址10.31.114.36/3210.31.114.32/28同為GA的業(yè)務地址10.31.114.37/3210.31.114.32/28同為GA的業(yè)務地址10.31.114.38/3210.31.114.32/28同為GA的業(yè)務地址10.31.114.49/3210.31.114.48/28同為GA的業(yè)務地址10.31.114.50/3210.31.114.48/28同為GA的業(yè)務地址10.31.114.51/3210.31.114.48/28同為GA的業(yè)務地址10.31.114.52/3210.31.114.48/28同為GA的業(yè)務地址10.31.114.53/3210.31.114.48/28同為GA的業(yè)務地址10.31.114.54/3210.31.114.48/28同為GA的業(yè)務地址10.33.22.0/3010.33.22.0/26mgc-urp3與vlan10沖突10.33.84.0/3010.33.84.0/25urp5-mgw與vlan10沖突1、ping測試是對鏈路質量量檢測最簡簡單且可靠靠的方法，，根據(jù)采集集到的配置置，生產自自動ping測表格（手手動生成一一方面不完完整，其次次網絡頻繁繁變更，不不可能每次次都手動生生成），形形成ping測命令，登登陸到設備備上，執(zhí)ping測行指令，，實現(xiàn)自動動ping測。以CE-AR測試為例：：功能介紹及及應用場景—PING測試1、CE面板信息查查詢：選擇擇相應CE后，即顯示示出CE局址、可用用的vrid(virtualrouterid)和設備面板板信息，包包括端口信信息、IP地址信息等等端口參數(shù)數(shù)。2、匯聚和明明細IP查詢：在選選擇CE后，就可以以進行prefix查詢。該功能用于于填寫向集集團申請割割接的需求求單，避免免反復登陸陸設備，查查看prefix等信息。也也可查詢該該CE，某個業(yè)務務所使用地地址的情況。功能介紹及及應用場景——其他查詢舉舉例三、網絡層層面端到端端研究——（二）業(yè)務務接入CE資源申請流流程三、網絡層層面端到端端研究——（三）流量量模型分析析方法IP承載網的雙雙平面組網網方式、協(xié)協(xié)議的cost值規(guī)劃設計計、以及BFD及FRR等技術、路路由快速收收斂配置等等，保證了了任意一條條或以上鏈鏈路中斷時時，業(yè)務流流量能快速速地進行備備用鏈路切切換，而不不影響用戶戶感知。因因此，當網網絡中節(jié)點點或鏈路故故障，或業(yè)業(yè)務側發(fā)生生倒換等原原因改變了了原先的流流量模型，，正常來說說都不應該該影響業(yè)務務。但我們們的維護工工作中，仍仍多次遇到到因異廠家家設備對接接、網絡隱隱患問題、、配置錯誤誤等致使網網絡流量模模型改變時時發(fā)生業(yè)務務影響的故故障。所以，網絡絡維護人員員應熟知各各種情況下下的流量模模型。圖1CE1為主用業(yè)務務端到端流流量模型圖2CE1為主用且CE1-AR1間故障時業(yè)業(yè)務端到端端流量模型型圖2CE1為主用且AR1-BR1間故障時業(yè)業(yè)務端到端端流量模型型故障案例一一——曲靖CE-AR間傳輸帶寬寬配置缺失失引起的流流量擁塞問問題（1）【問題描述】曲靖所有BSC原都歸屬于于昆明CE5/6下掛的SGSN3。因SGSN3負荷較高，，GPRS核心網進行行了調整，，將曲靖部部分BSC調整至歸屬屬昆明CE5/6下掛掛的的SGSN14，之之后后發(fā)發(fā)現(xiàn)現(xiàn)曲曲靖靖全全市市所所有有BSC業(yè)務務流流量量均均上上漲漲30%。且且曲曲靖靖公公司司反反映映調調整整前前幾幾個個月月全全市市的的數(shù)數(shù)據(jù)據(jù)業(yè)業(yè)務務流流量量提提升升不不大大，，用用戶戶手手機機上上網網感感知知較較差差。。調調整整后后，，曲曲靖靖PS域數(shù)數(shù)據(jù)據(jù)流流量量整整體體提提升升了了30%左右右，，且且用用戶戶手手機機上上網網感感知知提提升升。?！締栴}題分分析析】為了了分分析析曲曲靖靖PS域數(shù)數(shù)據(jù)據(jù)業(yè)業(yè)務務流流量量發(fā)發(fā)展展與與GPRS核心心網網側側歸歸屬屬SGSN調整整之之間間的的關關系系，，進進一一步步發(fā)發(fā)現(xiàn)現(xiàn)潛潛在在的的問問題題，，優(yōu)優(yōu)化化全全市市數(shù)數(shù)據(jù)據(jù)業(yè)業(yè)務務，，省省公公司司IP專業(yè)業(yè)與與GPRS核心心網網專專業(yè)業(yè)共共同同參參與與排排查查。。排排查查過過程程如如下下：：1、流流量量模模型型分分析析：：GPRS專業(yè)業(yè)首首先先根根據(jù)據(jù)調調整整前前后后BSC歸屬屬的的SGSN3及SGSN14進行行了了檢檢查查分分析析，，未未發(fā)發(fā)現(xiàn)現(xiàn)異異常常。。IP承載載網網進進行行了了部部分分BSC調整整歸歸屬屬前前后后BSC-SGSN的流流量量模模型型分分析析，，分分別別如如下下：：部分分BSC歸屬屬調調整整前前，，曲曲靖靖所所有有BSCGB業(yè)務務均均歸歸屬屬到到昆昆明明SGSN3。因因SGSN3及BSC的GB業(yè)務務均均是是通通過過VRRP協(xié)議議以以主主備備方方式式接接入入本本站站點點CE，華華為為SGSN3的主主用用板板卡卡接接入入奇奇數(shù)數(shù)CE5，備備用用板板卡卡接接入入偶偶數(shù)數(shù)CE6，但但CE上配配置置的的該該VRRP組主主用用為為CE6，備備用用為為CE5；曲曲靖靖CE1/2上為為每每臺臺BSC配置置一一個個單單獨獨的的VRRP組，，且且每每個個VRRP組的的主主用用均均為為CE1，備備用用均均為為CE2。故故SGSN-BSC上下下行行流流量量路路徑徑不不同同：：調整整的的部部分分BSC-SGSN3流量量模模型型下行行流流量量方方向向：：華為為SGSN3—昆昆明明CE5—昆昆明明CE6—昆昆明明AR2—昆昆明明BR2—曲曲靖靖AR2—曲曲靖靖CE2—諾諾西西BSCxx。上行行流流量量方方向向：諾西西BSCxx—曲曲靖靖CE1—曲曲靖靖AR1—昆昆明明BR1—昆昆明明AR1—昆昆明明CE5—華華為為SGSN3。部分分BSC歸屬屬調調整整后后，，調調整整過過的的BSC歸屬屬到到昆昆明明SGSN14（流流量量模模型型如如圖圖二二）），，而而未未被被調調整整的的BSC仍歸歸屬屬到到SGSN3（流流量量模模型型仍仍為為圖圖一一））。。因因SGSN14的主主用用板板卡卡接接CE5，備備用用板板卡卡接接CE6，且且配配置置的的VRRP組CE5為主主用用，，CE6為備備用用；；曲曲靖靖CE1/2上為為每每臺臺BSC配置置一一個個單單獨獨的的VRRP組，，且且每每個個VRRP組的的主主用用均均為為CE1，備備用用均均為為CE2。故故此此時時SGSN-BSC間上上下下行行流流量量路路徑徑一一致致，，具具體體為為：：下行行流流量量方方向向：：華為為SGSN14—昆昆明明CE5—昆昆明明AR1—昆昆明明BR1—曲曲靖靖AR1—曲曲靖靖CE1—諾諾西西BSCxx。上行行流流量量方方向向：諾西BSCxx—曲靖靖CE1—曲靖靖AR1—昆明明BR1—昆明明AR1—昆明明CE5—華為為SGSN14。2、鏈路路檢查查：IP專業(yè)經經從BSC至SGSN做端到到端各各鏈路路排查查，發(fā)發(fā)現(xiàn)在在曲靖靖AR2-PS域CE2間GE鏈路有有丟包包。從從CE上持續(xù)續(xù)觀測測該鏈鏈路，，發(fā)現(xiàn)現(xiàn)忙時時流量量最大大為15%（且該該鏈路路兩端端互ping測試有有嚴重重丟包包），，忙時時另一一平面面曲靖靖CE1-AR1平均流流量為為12%，由此此按照照每鏈鏈路1G帶寬計計算，，忙時時曲靖靖GB業(yè)務流流量為為270M左右（（不考考慮傳傳輸開開銷等等）。。初步步懷疑疑因鏈鏈路質質差引引起CE2-AR2間丟包包。為為了先先恢復復數(shù)據(jù)據(jù)業(yè)務務，考考慮先先將曲曲靖AR2-CE2間的下下行流流量（（上行行都走走了奇奇數(shù)平平面））也調調整至至AR1-CE1奇數(shù)平平面。。調整整方法法是修修改曲曲靖AR2-CE2間的ospfcost值從10調整為為10000。此修修改后后觀察察雙平平面流流量，，在曲曲靖AR2-CE2間流量量逐漸漸減少少的故障案案例一一——曲靖CE-AR間傳輸輸帶寬寬配置置缺失失引起起的流流量擁擁塞問問題（2）過程中中對該該鏈路路進行行持續(xù)續(xù)ping測試，，發(fā)現(xiàn)現(xiàn)該鏈鏈路在在流量量小于于5%以后直直到無無流量量承載載情況況下，，鏈路路不再再丟包包，從從而證證明曲曲靖AR2-曲靖CE2整條傳傳輸鏈鏈路上上無故故障點點，鏈鏈路質質量正正常。。此時時曲靖靖CE1-AR1承載了了曲靖靖的所所有GB流量，，利用用率為為42%左右，，即曲曲靖忙忙時正正常流流量應應為400M以上，，與之之前雙雙平面面承載載時總總流量量為270M左右相相比，，流量量立即即上漲漲了130M以上，，該原原因即即為曲曲靖進進行部部分BSC調整后后整體體PS流量上上升30%的原因因。但之后后再將將該鏈鏈路cost值改回回10后，流流量倒倒回AR2-CE2鏈路并并到一一定值值時又又開始始丟包包，并并且最最大流流量值值只能能到達達15%（即130M左右））后無無法上上漲（（曲靖靖忙時時正常常流量量應為為400M以上，，而丟丟包時時雙平平面相相加只只有200多M流量被被傳送送，流流量丟丟失嚴嚴重））。至至此，，我們們推斷斷，該該問題題點在在于曲曲靖AR2-CE2間實際際配置置的傳傳輸帶帶寬可可能僅僅為155M左右（（因為為流量量最高高只能能到15%，即150M左右）），未未達到到最初初網絡絡規(guī)劃劃建設設時需需求的的帶寬寬1GE。故當當該鏈鏈路流流量未未達到到155M瓶頸時時我們們無法法發(fā)現(xiàn)現(xiàn)該問問題，，在2012年曲靖靖PS域數(shù)據(jù)據(jù)業(yè)務務發(fā)展展過程程中該該鏈路路上流流量超超過155M帶寬限限制時時出現(xiàn)現(xiàn)擁塞塞及嚴嚴重丟丟包，，進而而影響響了用用戶手手機上上網體體驗。?！締栴}解解決】找到了了問題題癥結結點為為曲靖靖CE2-AR2間傳輸輸帶寬寬配置置問題題，經經核實實，因因CE2與AR2為異局局址，，中間間經過過了曲曲靖本本地網網傳輸輸SDH系統(tǒng)，，在CE入網之之初，，本地地傳輸輸并未未按規(guī)規(guī)劃需需求配配置為為1GE帶寬，，而只只配置置了一一個VC4，即155M，進而而留下下了隱隱患。。曲靖靖本地地網重重新對對AR2-CE2間調度度配置置新的的傳輸輸OTNGE電路，，解決決了流流量受受限問問題。。經后后續(xù)流流量倒倒回測測試，，此時時AR2-CE2間流量量達到到28%以上。。故障案案例一一——曲靖CE-AR間傳輸輸帶寬寬配置置缺失失引起起的流流量擁擁塞問問題（3）故障案案例二二——諾西Flexi-BSCGb上下行行流量量路徑徑不一一致時時閃斷斷問題題（1）【問題描描述】2012年春節(jié)節(jié)節(jié)前前網絡絡評估估中發(fā)發(fā)現(xiàn)承承載GPRS核心網網（SGSN/GGSN）的昆昆明CE1及CE5上行至至昆明明AR1的流量量帶寬寬利用用率已已超過過70%以上（（峰值值達到到100%），為為保證證用戶戶手機機上網網感知知，1月18日凌晨晨對部部分SGSN的GB流量（（通過過vrrp協(xié)議實實現(xiàn)主主備接接入））從奇奇數(shù)CE疏導至至偶數(shù)數(shù)CE上行（（修改改vrrp優(yōu)先級級，該該調整整是IP網中最最常見見的一一種流流量疏疏導方方式））。調調整過過的SGSN對應的的紅河河、曲曲靖、、玉溪溪三地地市的的諾西西BSC側的GB入流量和出出流量不對對稱（圖1），此后發(fā)現(xiàn)三三個地市部部分諾西BSC出現(xiàn)業(yè)務閃閃斷，GB-link閃斷告警量量突增。圖1調整的SGSN與地市BSC間GB流量上下行行不一致【故障分析】1、當SGSN與BSC之間的上下下行流量路路徑相同時時，上述地地市所有BSC與SGSN間GB業(yè)務均正常常；當上下下行流量路路徑不一致致時，部分分BSC業(yè)務閃斷故故障出現(xiàn)。。2、承載網為為雙平面組組網，提供供負荷分擔擔的同時也也起到路由由和業(yè)務的的主備保護護，CE下掛業(yè)務網網元均以主主備方式（（配置VRRP組，如本例例的BSC及SGSN均通過主備備方式接入入，CE上提供VRRP虛網關）接接入CE。因此當某某一鏈路中中斷時有冗冗余備份鏈鏈路提供倒倒換和保護護，且業(yè)務務應該實現(xiàn)現(xiàn)毫秒級別別的切換，，不影響用用戶感知。。所以BSC與SGSN之間的GB業(yè)務雙向路路由怎么變變化都不應應該受影響響。3、分析告警警發(fā)現(xiàn)，當當雙向路由由不一致的的情況出現(xiàn)現(xiàn)時，大多多數(shù)BSCGB業(yè)務未受影影響，出現(xiàn)現(xiàn)業(yè)務閃斷斷故障的均均是諾西flexi-BSC，所以初步步定位為型型號flexi-BSC與SGSN之間的上層層協(xié)議(TCP層以上)是否存在兼兼容性問題題?！竟收咸幚怼繕I(yè)務應急恢恢復：通過修改改CE上配置的VRRP協(xié)議優(yōu)先級級的方式，，將SGSN（主用上行行到偶數(shù)平平面）對應應的玉溪、、紅河、曲曲靖三個地地市15臺flexi型號BSC的上行主用用也調整到到偶數(shù)CE，形成圖3-14流量模式，，暫時規(guī)避避GB-link閃斷問題。。分析定位：：1、當進行流流量路徑調調整，或網網絡中某鏈鏈路故障時時，均可能能出現(xiàn)Gb業(yè)務（其他他類型的VPN業(yè)務也一樣樣）上下行行路徑不一一致的情況況。故1中的調整不不能根本解解決問題。。需要進一一步排查flexi-BSC與CE對接兼容性性問題。云云南共有82臺flexiBSC，占比諾西西全網BSC的29.6%，本次將調調整部分SGSN主備后涉及及雙向流量量路徑不一一致的15臺flexiBSC也調整了主主備，占該該版本的18.3%。因此以這這15臺BSC為排查對象象。2、為定位問問題，于夜夜間選取紅紅河BSC進行故障重重現(xiàn)。情況況與第一次次調整時一一致，當將將紅河flexiBSC上行的主用用調回奇數(shù)數(shù)CE后，故障立立即重現(xiàn)，，并及時抓抓取CE側及BSC側日志信息息。GB鏈路是PCU發(fā)送一個單單播的NSIP_ALIVE報文到SGSN。對NSIP_ALIVE報文的回應應是由SGSN發(fā)送一個單單播的NSIP_ALIVE_ACK報文到PCU來維持的。。GB鏈路閃斷是是因為PCU暫時收不到到由SGSN發(fā)出的NSIP_ALIVE_ACK報文。從BSC側日志可發(fā)發(fā)現(xiàn)NSIP_ALIVE_ACK有丟失，如圖2所示圖3將涉及的flexi-BSC的上行主用用調至偶數(shù)數(shù)CE圖2BSC測日志故障案例二二——諾西Flexi-BSCGb上下行流量量路徑不一一致時閃斷斷問題（2）分析得知：：Gb上行流量通通過BSC內連接CE1的SWU2流出（如下下圖4中黃色虛線線），下行行流量通過過與CE2連接的SWU3流入。SWU2、SWU3均為BSC內嵌的二層層交換機ESB24，且部署了了廣播抑制制功能，其其學習PCU的MAC地址表aging-time為5分鐘，而CE的MAC地址aging-time為20分鐘（一般般路由器的的默認值，，各廠家一一致）。由上述，在在上下行路路徑非對稱稱模型下，，flexiBSC內ESB24間mac地址表存在在5分鐘更新時時間到而刪刪除的情況況，且因為為BSC內部署了廣廣播抑制功功能，故此此時ESB24上mac地址表消失失。當CE2在20分鐘更新時時間到后發(fā)發(fā)一次ARP請求（mac地址請求））報文到BSC內PCU時，SWU3才回送一個個Arpreply報文到CE2，所以SWU3的MAC地址表每20分鐘才更新新一次。期期間存在一一段時間內內無mac地址表的情情況，導致致下行流量量流入SWU3后因查詢不不到mac地址表而丟丟包，進而而引起Gb業(yè)務閃斷。。故障案例二二——諾西Flexi-BSCGb上下行流量量路徑不一一致時閃斷斷問題（3）圖4BSC內部結果解決思路：：對于上下行行流量非對對稱與ESB24的DLF廣播抑制功功能存在沖沖突，在此此流量模型型下為保證證flexiBSCGb業(yè)務正常，，可以采用用如下兩種種方案：1）屏蔽ESB24的DLF廣播抑制功功能。但是是由此將給給網絡帶來來很大的安安全隱患，，存在廣播播泛洪現(xiàn)象象，從而占占用大量不不必要帶寬寬，同時造造成PCU的負荷沖擊擊，影響設設備的正常常工作；諾諾西不推薦薦使用。2）設置SWU中的Mac-aging-timer大于或等于于CE上的MAC-aging-timer，此方案理理論上可行行，但是沒沒有經過測測試，建議議先在某臺臺BSC上經過測測試驗證證后再大大規(guī)模修修改使用用。【處理結果果】將flexiBSC的mac地址表更更新時間間aging-time由5分鐘改為為20分鐘，以以避免5分鐘計時時到mac地址表被被刪除，，又因BSC內廣播抑抑制功能能而導致致ESC24無法學習習到mac地址，造造成目的的不可達達而丟包包。因昆明的的flexi型號BSC歸屬的SGSN組成了pool，且pool內只有一一臺SGSN與昆明BSC有上下流流量不一一致情況況，其余余兩臺未未修改SGSN主備接入入的仍與與BSC間為雙向向路徑一一致，此此情況下下，昆明明的flexiBSCGB鏈路會有有告警，，但業(yè)務務不受影影響。故故首先選選取昆明明三臺flexi-BSC進行修改改測試，，觀察一一周未重重現(xiàn)告警警。其次次再選取取曲靖及及紅河flexi-BSC修改aging-time并測試驗驗證，故故障未重重現(xiàn)。之之后對全全網flexi-BSC修改aging-time為20分鐘，并并上報集集團建議議全國規(guī)規(guī)避?！景咐c評評】網絡拓撲撲如果要要發(fā)生變變化，建建議事先先通知各各業(yè)務廠廠家，進進行拓撲撲評估，，驗證和和可行性性測試，，測試通通過后方方可在現(xiàn)現(xiàn)網進行行應用。。故障案例例二——諾西Flexi-BSCGb上下行流流量路徑徑不一致致時閃斷斷問題（4）四、“規(guī)劃、建建設、維維護””端到端端研究Gb/Iu-ps上行流量量方向：：Gb/Iu-ps下行流量量方向：：Gi/GN流量出/入流量方方向：組網說明明：IP承載網按按雙平面面+對稱冗余余組網，，業(yè)務網網元以主主備方式式或負荷荷分擔方方式接入入CE，從而實實現(xiàn)雙平平面流量量的主備備保護及及流量分分擔。以2/3G手機上網網流量分分析為例例：通過過分主用用上行、、主用下下行、備備用上行行、備用用下行四四個鏈路路方向，，以及無無線側、、核心網網側、骨骨干網側側幾個維維度分析析IP專網對手手機端到到端上網網業(yè)務流流量及網網絡配置置需求。四、規(guī)劃劃、建設設、維護護端到端端研究——網絡流量量評估方方法模型型全網各級級鏈路峰峰值流量量分析1、BSC、RNC接入CE流量分析析（主用用平面））BSC接入CE方式：各各廠家BSC基本以1+1主備方式式雙上行行接入CE1/2。RNC均以1G+1G光口或2G+2G光口以““負荷分分擔方式式”接入入CE對，即各各RNC接入CE總帶寬為為2G或4G。通過提取取一定時時間內BSC/RNC至CE的鏈路峰峰值流量量，計算算各地市市PS域業(yè)務量量大小。。以BSC的計算為為例（RNC同理），，如圖：：一）地市市無線接接入側分分析2、無線側側各地市市2/3G總流量分分析及其其對CE-AR帶寬的利利用率（（主用平平面）1）各地市市2/3G上行峰值值流量和和：統(tǒng)計計各地市市2/3G上行峰值值流量總總和，圖圖左圖2中的藍色色曲線，，最大的的為昆明明CE3，為407.71Mbps，其次是是大理158.82Mbps。流量占占用CE出口至AR的帶寬利利用率均均未超過過15%。即CE-AR屬于輕載載。2）各地市市2/3G下行峰值值流量和和：統(tǒng)計計各地市市2/3G下行峰值值流量總總和，圖圖左圖3中的藍色色曲線，，最大的的為昆明明CE3，為941.42Mbps，其次是是曲靖898.25Mbps。流量占占用CE出口至AR的帶寬利利用率均均未超過過45%?？紤]擴容容。二）GPRS核心網接入側側分析目前全省共有有4對CE用于GPRS核心網元接入入各類業(yè)務（（含GB/IU/GI/GN/PCC等），為昆明明CE1/2及玉溪CE3/4（諾西GPRS）、昆明CE5/6及CE11/12（華為GPRS）。CE對同時接入本本地AR對及通過FW（防火墻）接接入CMNET。1、各CE下掛SGSN的2/3G總流量及其占占用CE至AR帶寬情況分析析提取9、10月中多次采集集CE-SGSN的峰值最大值值，計算出各各CE下掛SGSN的Gb/IU總流量，并用用此流量值計計算其對CE-AR帶寬的占比，，CE-AR鏈路均處于輕輕載。鏈路帶寬Mbps下行流量Mbps上行流量Mbps下行帶寬利用率%上行帶寬利用率%昆明CE1-AR1100001517.16568.8715.175.69昆明CE2-AR2100001509.51202.9015.102.03昆明CE5-AR110000855.41311.708.553.12昆明CE6-AR2100001230.80355.4712.313.55昆明CE11-AR1100003095.221044.7130.9510.45昆明CE12-AR210000609.62162.916.101.63玉溪CE3-AR1100001116.85331.5711.173.32玉溪CE4-AR2100000.0115.770.000.16二）昆明玉溪溪GPRS核心網接入側側分析2、CE至防火墻（GI/GN流量分析）鏈路帶寬Mbps入峰值流量(下行/Mbps)出峰值流量(上行/Mbps)下行帶寬利用率%上行帶寬利用率%昆明CE1-FW10000283361428.336.14昆明CE5-FW200003406193317.039.665昆明CE11-FW10000333282833.328.28玉溪CE3-FW2000010663575.331.785昆明CE2-FW100000000昆明CE6-FW200000000昆明CE12-FW100000000玉溪CE4-FW200000000提取9、10月中多次采集集峰值最大值值，各CE至防火墻的上上、下行流量量及帶寬利用用率如表中所所示。按照目前帶寬寬配置，鏈路路均處于輕載載。注：因防火墻墻特性配置，，GI流量只通過奇奇數(shù)平面CE-FW疏導，故偶數(shù)數(shù)CE-FW的流量幾乎為為0.3、無線側與核核心網側上、、下行流量比比較在前面分析數(shù)數(shù)據(jù)的基礎上上，選取9、10月中同時段峰峰值流量數(shù)據(jù)據(jù)，歸納計算算出：（1）全省16地市無線側BSC/RNC的Gb/IU上、下行峰值值總流量，（（2）昆明、玉溪溪GPRS核心網側SGSN的Gb/IU上、下行峰值值總流量。對比無線側及及核心網兩側側流量值基本本吻合。

下行峰值流量Mbps上行峰值流量Mbps核心網側Gb/IU總流量9934.572993.91無線側全省Gb/IU總流量10286.232669.36流量分析的意意義：通過網網絡流量分析析和評估，后后端部門推動動前端部門，，指導規(guī)劃建建設，支撐前前端運營；另另外從維護方方面也能預警警網絡帶寬瓶瓶頸問題，及及時擴容，保保障網絡平穩(wěn)穩(wěn)。維護、優(yōu)化規(guī)劃、建設流量分析支撐、指導自查、預警總結：五、跨專業(yè)“業(yè)務務端到端”研研究五、跨專業(yè)“業(yè)務務端到端”研研究——1、支撐監(jiān)控監(jiān)控人員專業(yè)人員編寫告警監(jiān)控控指導手冊每周將更新的的CE設備面板信息息同步至監(jiān)控控每季度一次培培訓及時處理監(jiān)控控人員反饋的的告警及故障障問題CE設備配置訪問問權限賬號給給監(jiān)控人員，，并教授常用用的簡單查詢詢指令培訓指導、監(jiān)控前前移故障咨詢、轉轉交處理五、跨專業(yè)“業(yè)務務端到端”研研究——2、“傳輸-承載-業(yè)務”聯(lián)動配配合CS域或PS域各類業(yè)務端端到端互通，，需基于業(yè)務務側上層運用用數(shù)據(jù)（例如如SCTP路徑可達）、、IP層路由可達、、物理層鏈路路可用等。因因此，在核心心網或無線網網業(yè)務發(fā)生告告警或故障時時，應根據(jù)實實際的影響范范圍和告警內內容，從業(yè)務務層面、IP網層面、傳輸輸層面進行端端到端聯(lián)合分分析。轉變維維護思路，建建立從各專業(yè)業(yè)的孤立維護護轉變?yōu)橐詷I(yè)業(yè)務端到端感感知、全程全全網為導向的的維護模式。。以業(yè)務側日常常常見的一大類類告警為SCTP路徑不可達告告警為例，分析發(fā)現(xiàn)主要要為以下幾種種情況之一：：1）因傳輸故障障導致IP承載網省干鏈鏈路閃斷引起起的網元端到到端SCTP不可達；2）因某一網元元側異常引起起的到對端網網元及涉及的的pool內網元間SCTP不可達。3）IP承載網CE設備板卡等故故障或轉發(fā)異異常引起的業(yè)業(yè)務閃斷。根據(jù)日常發(fā)生生過的大量SCTP路徑不可達告告警處理方式式，根據(jù)由業(yè)業(yè)務網元—IP承載網—傳輸輸從上而下、、由點到面的的處理思路，，總結出處理理步驟如下：：案例分析——大量異局址多多個地市網元元上報SCTP路徑不可達告告警問題（1）【問題描述】2013年7月30日下午14:53監(jiān)控室反映核核心網網管監(jiān)監(jiān)控平臺上報報大量SCTP路徑失敗告警警（SCTPPATHFAILURE），告警網元元涉及多個地地市的MSS及MGW。告警條目達達582條。15:11繼續(xù)發(fā)生德宏宏多個MGW上報SCTP路徑失敗告警警，告警量達達152條。此類告警警為業(yè)務網元元常見的一類類告警（包括括CS域及PS域業(yè)務），其其特性為：同同一時間點出出現(xiàn)大面積大大量同類型告告警，涉及不不同地市不同同CE下掛的多個網網元，均為SCTP路徑失敗告警警。此類告警警為信令鏈路路閃斷告警，，對話音業(yè)務務無影響。部分告警截圖圖如下：圖一、兩個時間點網網元告警信息息【原因分析】根據(jù)告警內容容和范圍，因因為同一時間間點上報的告告警涵蓋紅河河、楚雄、德德宏、臨滄、、版納、普洱洱、曲靖、昆昆明等多個地地市的軟交換換網元，且涉涉及的MSS不是同一個POOL內，由此可初初步判斷，該該告警原因可可能是IP承載網省干AR-BR間鏈路閃斷引引起?！咎幚磉^程】IP承載網專業(yè)檢檢查BR、AR上日志信息，，重點查看核核心網元兩次次出SCTP告警時間點時時的鏈路是否否閃斷。根據(jù)據(jù)日志信息可可知，14:53分BR1-玉溪AR1鏈路閃斷10S，15:11分BR1至麗江AR1、保山AR1、怒江AR1、德宏AR1，BR2至大理AR2、迪慶AR2等共6條省干鏈路出出現(xiàn)過10S左右閃斷。因因BR1/2各地市AR1/2均為省干一平平面OTN及省干二平面面SDH雙平面承載，，故未造成整整個地市的脫脫網和業(yè)務中中斷，只是影影響單邊信令令SCTPlink中斷。昆明BR1/2上日志信息如如下圖二所示示。圖二、昆明BR1、BR2上鏈路閃斷日日志信息從鏈路同時閃閃斷信息，及及BR、AR設備上并未其其他異常情況況可判斷，兩兩次時間點鏈鏈路閃斷應該該都是由于傳傳輸故障或環(huán)環(huán)路倒換引起起。故聯(lián)合傳傳輸專業(yè)進行行排查處理。。核對IP承載網閃斷鏈鏈路與傳輸側側告警時間點點如下：BR1:玉溪-高新省干二平平面SDH:Jul3014:53:59.245麗江-高新省干一平平面OTN:Jul3015:11:41.355保山-高新省干一平平面OTN:Jul3015:11:41.442怒江-高新省干一平平面OTN:Jul3015:11:41.474德宏-高新省干一平平面OTN:Jul3015:11:41.520BR2：大理-樞紐省干一平平面OTN:Jul3015:11:40.405迪慶-樞紐省干一平平面OTN:Jul3015:11:40.489經傳輸專業(yè)排排查，明確造造成IP承載網多個地地市鏈路閃斷斷進而導致業(yè)業(yè)務側SCTP鏈路告警的原原因為：1、二平面SDH承載部分：高高新-玉溪閃斷，與與傳輸二平面面波分西南環(huán)環(huán)線路光功率率突然降低，，又立刻恢復復，致傳輸出出現(xiàn)業(yè)務倒換換，時間與承承載網鏈路閃閃斷時間相符符合。2、一平面OTN承載部分：7個地市承載網網鏈路閃斷，，與一平面昆昆明祿勸到玉玉溪元謀間光光功率突然降降低，又立刻刻恢復，致傳傳輸出現(xiàn)業(yè)務務倒換，時間間與承載網鏈鏈路閃斷時間間相符合。案例分分析——大量異異局址址多個個地市市網元元上報報SCTP路徑不不可達達告警警問題題（2）【故障總總結】此次告告警由由傳輸輸線路路上出出現(xiàn)光光功率率突然然劣化化導致致IP承載網網鏈路路閃斷斷引起起。IP承載網網路由由器檢檢測到到相應應SDH信號劣劣化和和誤碼碼告警警從而而導致致鏈路路中斷斷，之之后傳傳輸側側光功功率恢恢復路路由器器隨即即便檢檢測到到性能能恢復復，從從而鏈鏈路自自動恢恢復，，閃斷斷時間間大約約為10S。對于于業(yè)務務層面面，因因為SCTP為ms級別的的檢測測機制制，且且各廠廠家的的業(yè)務務網元元對于于檢測測時間間的設設置不不一致致，故故相對對于檢檢測較較敏感感的諾諾西網網元便便出現(xiàn)現(xiàn)大量量信令令SCTP鏈路失失敗告告警，，但對對具體體的話話音、、數(shù)據(jù)據(jù)業(yè)務務無影影響，，不影影響用用戶感感知。。3、IP承載網網BR及AR設備檢檢測到到傳輸輸?shù)腟DH信號有有告警警，因因此在在設備備端產產生PRDI（遠端端劣點點指示示）、、BER（bit錯誤告告警））等告告警、、同時時將對對應接接口down，進而而引起起多地地市CE下掛的的多臺臺核心心網元元檢測測SCTP路徑失失敗告告警。。【案例點點評】“SCTP路徑不不可達達告警警”在在日常常監(jiān)控控中較較為常常見。。通常常IP承載網網各級級鏈路路（CE-AR、AR-BR間）閃閃斷均均可能能導致致端到到端的的網元元如MGW-MSS、BSC/RNC-SGSN產生SCTP告警，，加上上MSS、SGSN等網元元的通通過pool組網的的特性性，故故只要要兩個個網元元間配配置有有SCTPLink的都將將同時時檢測測到SCTP路徑失失敗，，造成成每次次告警警量都都很大大的現(xiàn)現(xiàn)象（（一般般為幾幾百條條至上上千條條告警警）。。此類告告警基基本對對業(yè)務務無影影響，，也不不可能能避免免。但但可以以通過過各專專業(yè)的的優(yōu)化化、建建立并并完善善告警警處理理聯(lián)動動機制制來進進行優(yōu)優(yōu)化。。關于于傳輸輸故障障或倒倒換引引起的的IP承載網網鏈路路閃斷斷問題題，只只可優(yōu)優(yōu)化不不可避避免。。論證證如下下：通常傳傳輸側側發(fā)生生倒換換，正正常情情況下下可以以在50ms內完成成倒換換，而而與之之連接接的IP承載網網路由由器（（BR、AR）設備備上均均配置置200ms延時（（集團團統(tǒng)一一配置置），，所以以路由由器應應該不不會有有任何何感知知才對對，但但是日日常維維護中中卻常常見到到傳輸輸正常常倒換換但路路由器器設備備仍發(fā)發(fā)生端端口down的情況況。因因此我我們會會提出出如下下疑問問：案例分分析——大量異異局址址多個個地市市網元元上報報SCTP路徑不不可達達告警警問題題（3）1）傳輸輸是否否能夠夠保證證每次次都是是在50ms內倒換換成功功？2）數(shù)通通設備備是否否真的的延時時了200ms才倒換換？3）兩者者開始始倒換換的時時間是是否相相同？？4）兩者者切換換的條條件是是否一一致？？根據(jù)我我們進進行的的大量量的傳傳輸?shù)沟箵Q測測試驗驗證、、原理理分析析、路路由器器與傳傳輸對對接測測試等等（可可參考考章節(jié)節(jié)），最最終確確認兩兩者切切換的的條件件不一一致：：數(shù)通通設備備由于于底層層芯片片比較較敏感感，而而且只只需要要感知知本接接口的的信息息，所所以可可以判判斷LOS，LOF以及各各種誤誤碼，，反應應比較較快，，但是是傳輸輸設備備倒換換的條條件是是主備備鏈路路的光光功率率差達達到5db，這樣樣就需需要底底層芯芯片獲獲取光光功率率信息息，而而且還還需要要兩路路進行行比較較，這這其中中涉及及到一一些電電路的的放大大以及及比較較等操操作，，需要要消耗耗一定定的時時間，，而且且在倒倒換過過程中中，肯肯定是是先出出現(xiàn)誤誤碼，，光功功率降降低5db需要延延遲一一段時時間才才能感感知到到，這這樣一一來傳傳輸開開始倒倒換的的時間間就會會慢于于數(shù)通通設備備，我我們假假設慢慢的時時間為為t1，傳輸輸?shù)箵Q換需要要的時時間為為t2，而數(shù)數(shù)通設設備設設置的的延時時為t3，如果果t1+t2大于t3，那么么數(shù)通通設備備就會會感知知到端端口down。這是是由多多種設設備互互聯(lián)的的不同同