河北唐山CDMA網(wǎng)絡(luò)質(zhì)量事故回溯報告

1、Huawei Technologies Co. Ltd.Report No.Strictly ConfidentialRev2.0河北唐山CDMA網(wǎng)絡(luò)質(zhì)量事故回溯報告Prepared by:劉利鋒Date：2009-7-16Checked by:Date：Approved by:Date： Huawei Technologies Co., Ltd. All rights reserved1、事件過程描述：32、事件反思44、問題背后的問題65、總結(jié)71、事件過程描述：河北CDMA項目唐山本地網(wǎng)為河北省重點(diǎn)區(qū)域，自6月10日割接完成，割接完成后立即進(jìn)行大量新建站及1x、DO擴(kuò)容；至今已有在網(wǎng)設(shè)備

2、1x基站556、載頻數(shù)2063，DO基站353個基站、載頻數(shù)2012。7月12日唐山項目組進(jìn)行參數(shù)核查時發(fā)現(xiàn)存在7個基站駐留策略與既定策略不一致，通過對割接腳本核查，原腳本正確，唐山網(wǎng)規(guī)組TL蘇文慶、TS孫軍計劃對7個站駐留策略參數(shù)進(jìn)行調(diào)整，安排合作方進(jìn)行準(zhǔn)備。7月14日唐山電信網(wǎng)優(yōu)部門在晚上20點(diǎn)收到用戶投訴“唐海黨?！被緹o法主被叫，唐山網(wǎng)規(guī)組檢查該站話務(wù)量、掉話、呼建KPI指標(biāo)正常。 7月15日11點(diǎn)再次收到“唐海黨?！蓖对V，網(wǎng)優(yōu)到達(dá)現(xiàn)場測試，現(xiàn)場測試“唐海黨?！敝鞅唤姓＃坏珳y試發(fā)現(xiàn)“唐海供電一所”無法起呼，但可以從其他基站切入該站； BSC側(cè)進(jìn)行該站告警、接入、登記數(shù)據(jù)檢查，并對基站

3、進(jìn)行復(fù)位操作，問題依舊。跟蹤信令發(fā)現(xiàn)，主叫沒有任何信令發(fā)到BSC，被叫的時候手機(jī)也沒有任何響應(yīng)消息，聯(lián)系交換核查數(shù)據(jù)正常。分析全網(wǎng)話務(wù)指標(biāo)進(jìn)行對比，發(fā)現(xiàn)26個基站話務(wù)量為0，且在同一Abis接口板?，F(xiàn)場派出多人測試，,經(jīng)用戶同意對發(fā)現(xiàn)不能通話基站進(jìn)行緊急閉塞。詢問現(xiàn)場沒有近期無操作，懷疑Abis接口板故障。7月15日14點(diǎn)左右現(xiàn)場B側(cè)工程師知會省項目組，并再次詢問現(xiàn)場沒有近期無操作。打800建單，啟動緊急事件處理流程。7月15日14點(diǎn)30左右分省項目組在石家莊召開電話會議，要請研發(fā)等相關(guān)人員接入處理。7月15日16點(diǎn)左右研發(fā)檢查日志，初步判斷為駐留策略問題，讓現(xiàn)場人員檢查駐留策略。檢查這三個站

4、主流策略，發(fā)現(xiàn)283、201頻點(diǎn)的CCLM、ECCLM發(fā)送參數(shù)均為不發(fā)送，導(dǎo)致在283、201頻點(diǎn)無法尋呼建立尋呼信道，導(dǎo)致1X語音無法接入，用戶主被叫均不能撥打，造成大量用戶投訴。根據(jù)日志檢查發(fā)現(xiàn)7月14日下午點(diǎn)唐海曹妃甸、唐海供電一所、樂亭遠(yuǎn)大酒店等七個基站的多載波參數(shù)駐留配置錯誤。后通過維護(hù)臺用LST CDMACH 檢查問題基站配置參數(shù)，發(fā)現(xiàn)三問題基站下的283、201頻點(diǎn)的CCLM、ECCLM發(fā)送參數(shù)值為不發(fā)送，即基站不下發(fā)任何尋呼信道列表。合作方鄭柯柯承認(rèn)7月14日16時未告知任何人下發(fā)7個站駐留參數(shù)調(diào)整腳本回顧整個事件，有以下幾個關(guān)鍵點(diǎn)：時間事件操作人結(jié)果7月12日參數(shù)核查蘇文慶（

5、TL）、孫軍（TS）參數(shù)檢查發(fā)現(xiàn)7個站201頻點(diǎn)僅在201頻點(diǎn)CCLM、ECCLM發(fā)送，與駐留策略不符。7月13日參數(shù)修改決策蘇文慶、孫軍與割接腳本進(jìn)行核查，割接腳本正確；決策需要進(jìn)行修改。7月14日駐留策略腳本制作鄭柯柯（合作方）腳本制作錯誤，問題隱患腳本審核未審核TL蘇文慶、TS孫軍未收到腳本；但未及時關(guān)注策略整改進(jìn)度。7月14日16點(diǎn)獨(dú)自下發(fā)加本、未經(jīng)允許鄭柯柯（合作方）問題：未在規(guī)定時間、下載未審核腳本、未經(jīng)TL/TS允許、下載腳本后未跟蹤涉及基站狀態(tài)7月14日20點(diǎn)用戶投訴“唐海黨校”基站無法主被叫孫軍、魏國星（合作方）檢查該站話務(wù)量、掉話、呼建KPI指標(biāo)正常7月15日11點(diǎn)再次收到

6、“唐海黨校”投訴，現(xiàn)場測試正常；測試發(fā)現(xiàn)“唐海供電一所”無法起呼蘇文慶、魏國星（合作方）發(fā)現(xiàn)故障基站，并進(jìn)行全網(wǎng)話務(wù)KPI指標(biāo)，發(fā)現(xiàn)26個基站接入次數(shù)為0次，部分未開通基站7月15日14點(diǎn)檢查基站無告警、分析存在無法進(jìn)行呼叫基站均在同一Abis接口板，現(xiàn)場測試對不能呼叫基站進(jìn)行閉塞，對測試站進(jìn)行復(fù)位，詢問現(xiàn)場近期無人進(jìn)行參數(shù)修改操作楊碩（B側(cè)）800建單，啟動緊急處理流程7月15日14點(diǎn)30分省項目組召集電話會議，跟蹤督促問題進(jìn)展河北省項目組7月15日16點(diǎn)研發(fā)分析發(fā)現(xiàn)硬指配存在問題800現(xiàn)場對7個基站進(jìn)行檢查發(fā)現(xiàn)201和283頻點(diǎn)CCLM、ECCLM參數(shù)均設(shè)置為“不下發(fā)”，現(xiàn)場修改后正常7月

7、16日省項目組7月15日晚連夜趕赴唐山，7月16日上午向用戶出具報告，進(jìn)行安撫。靳慶剛、劉利鋒2、事件反思本次事件由一名網(wǎng)優(yōu)工程師進(jìn)行參數(shù)修改沒有按照流程執(zhí)行引起，但是從整個過程中發(fā)現(xiàn)了很多本應(yīng)能夠杜絕事件發(fā)生的關(guān)鍵點(diǎn)沒有把握好，導(dǎo)致問題不斷擴(kuò)大。1. 每周項目會議均對網(wǎng)絡(luò)安全、參數(shù)修改流程（提交申請、審批、執(zhí)行、觀察、閉環(huán)）進(jìn)行重點(diǎn)強(qiáng)調(diào)，且上周剛完成規(guī)范學(xué)習(xí)考試，為什么現(xiàn)場仍然會存在私自修改參數(shù)的情況？2. 現(xiàn)場根據(jù)核查發(fā)現(xiàn)參數(shù)問題，已經(jīng)制定了調(diào)整決策，卻沒有跟蹤進(jìn)展和過程，沒有給出操作時間和流程提醒，是缺少責(zé)任心還是已經(jīng)麻痹、還是自認(rèn)為小事情、不會出問題。問題往往都會存在認(rèn)為不可能出現(xiàn)問題

8、的地方。3. 參數(shù)修改后，沒有對參數(shù)進(jìn)行檢查，且對修改基站指標(biāo)為什么沒有進(jìn)行跟蹤觀察？4. 收到用戶投訴后，僅對投訴基站進(jìn)行檢查；現(xiàn)場用戶只能通過位置進(jìn)行大概描述，第一次收到投訴分析時，僅分析用戶提及的基站，為什么不能擴(kuò)展到周邊基站？5. 現(xiàn)場進(jìn)行測試時，發(fā)現(xiàn)不能呼叫，從后來原因結(jié)果看，在廣播消息中完全安可以判斷出問題，為什么現(xiàn)場處理人員就不能進(jìn)行判斷？6. 出現(xiàn)問題時想到詢問現(xiàn)場是否進(jìn)行參數(shù)修改，但是為什么就沒能查出來參數(shù)被修改問題，而且LST CDMACH是常用命令，很快就能查到，為什么就沒能查到？7. 出現(xiàn)問題時已經(jīng)詢問現(xiàn)場人員是否進(jìn)行參數(shù)調(diào)整，現(xiàn)場均沒有人承認(rèn)自己進(jìn)行操作；且沒有該項操

9、作記錄；如果能夠多從自我分析，多想想自己，可能就會大大降低事態(tài)的擴(kuò)大？4、問題的警惕及改進(jìn)措施此次事件中，貫穿著流程意識薄弱、項目管理、操作監(jiān)控、現(xiàn)網(wǎng)安全意識差、問題跟蹤、操作記錄、故障判斷等眾多問題；通過對本次事故的分析，本次事故產(chǎn)生存在嚴(yán)重的隱患：1. 搬遷順利完成后，網(wǎng)絡(luò)指標(biāo)、用戶評價等均優(yōu)于原來預(yù)期；成功喜悅掩蓋了潛在的更大危機(jī)；雖然在項目組在周例會多次強(qiáng)調(diào)網(wǎng)絡(luò)安全、操作流程，但仍然存在沒有真正落實到每個成員實際工作當(dāng)中、沒有真正貫徹到每個成員思想當(dāng)中。今后項目組不但要定期進(jìn)行規(guī)范學(xué)習(xí)、考試，還要組織進(jìn)行答辯，切實讓每個人都能吸取教訓(xùn)，網(wǎng)絡(luò)安全天天抓、時時抓。2. 責(zé)任心、認(rèn)真重視程度

10、需要加強(qiáng)：真?zhèn)€事件過程中從決策制定后的跟蹤執(zhí)行、腳本制作、投訴處理、測試即故障排查，無數(shù)個只要再認(rèn)真細(xì)心一點(diǎn)、責(zé)任心再增強(qiáng)一點(diǎn)、對事情再深入一點(diǎn)就能夠?qū)⑹录绊懽钚』皶r解決；可是每次的擦肩而過、點(diǎn)到為止讓事情不斷擴(kuò)大；可見提高每個人的職業(yè)素養(yǎng)、責(zé)任心、事事小心的意識仍是一項重要工作。3. 敲響警鐘，網(wǎng)絡(luò)安全不容忽視：本事件涉及7個基站，從中反映的問題，想起來都后怕；如果修改的是BSC及或其它參數(shù)，后果不堪設(shè)想；每一個人都必須嚴(yán)格要求自己，網(wǎng)絡(luò)操作，責(zé)任重大，特別是優(yōu)化工作，所有操作都在現(xiàn)網(wǎng)進(jìn)行，只有按照規(guī)章制度辦事、按照流程操作，才能保證不犯錯誤，順利交付。 4. 事故處理完畢以后，組織唐山項目組全員召開事件進(jìn)行回溯會，通過對時間開始到最后處理過程進(jìn)行分析，現(xiàn)場每人根據(jù)對本次事件認(rèn)識和教訓(xùn)，結(jié)合自己工作進(jìn)行分析并發(fā)言；刨析到項目管理工作監(jiān)控不到位、審核工作不到位、流程意識薄弱、現(xiàn)網(wǎng)安全意識差、對問題跟蹤不徹底、沒有操作記錄危害、故障判斷不仔細(xì)等問題；通過本次會議讓每個人都認(rèn)識到規(guī)章、流程重要性；自由按照規(guī)章制度、流程規(guī)范操作才能保證項目順利進(jìn)行，任何一次偶爾、僥幸的違規(guī)都將造成嚴(yán)重后果。本要在整個河北項目組進(jìn)行學(xué)習(xí)，讓每個人都從中吸取經(jīng)驗，不