軟交換故障處理手冊(cè)

1軟交換故障處理RPHM-ARPHM-BCP-A&BFanFan2主講人：韓成貴臨沂網(wǎng)絡(luò)維護(hù)中心交換1班3

BTS

NodeB

BTS

BTS

BTS

BTS

BTS

NodeB

BTS

BTS

MSCserverpoolMGW

MSCserverpoolMGWMGWMGWMGWMGWExternalNetworks隨著移動(dòng)通信的發(fā)展，軟交換設(shè)備在現(xiàn)網(wǎng)中占據(jù)著越來越重要的地位，在全省各地軟交換設(shè)備已經(jīng)超過了普通的TDM設(shè)備，并且在即將到來的3G時(shí)代軟交換在核心網(wǎng)中將占據(jù)著絕對(duì)統(tǒng)治地位。4軟交換故障處理講座

第一章

GARP板等硬件故障處理

第二章設(shè)備軟件版本引起的故障處理

第三章電路故障處理

第四章錄音通知故障處理

第五章信令配合故障處理

第六章從ENUM事件告警和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理5定期解閉GARP板來防止信令瞬斷

愛立信軟交換設(shè)備由于GARP板問題經(jīng)常導(dǎo)致至MGW的信令瞬斷，關(guān)于MGW瞬斷的問題，是由于GARP板的某些counter溢出，導(dǎo)致GARP板每50天發(fā)生啟動(dòng)，從而導(dǎo)致MEDIAGATEWAYUNAVAILABLE告警。目前臨時(shí)性的解決方法為：在第49天的時(shí)候,手動(dòng)閉解GARP板RP,可避免該問題出現(xiàn)。日常維護(hù)建議：每月定期閉解一次GRAP板。GARP板等硬件故障處理6解閉有問題的RP解決M3UA鏈路問題通過MGW側(cè)告警得到哪個(gè)Association出現(xiàn)問題，即哪條鏈路出現(xiàn)問題通過命令M3RSP:DEST=ALL;來檢查MSC側(cè)對(duì)應(yīng)的Association通過命令I(lǐng)HALP:EPID=ALL;來檢查該Association對(duì)應(yīng)的IP地址通過命令I(lǐng)HCOP:IPPORT＝ALL；來得到該IP地址對(duì)應(yīng)的IPPORT通過命令EXEMP:EM=ALL,RP=ALL;得到該IPPORT對(duì)應(yīng)的RP閉解該RP，然后檢查MGW側(cè)告警是否消除，如果沒有消除，立即通知愛立信技術(shù)支持部請(qǐng)求技術(shù)支持。GARP板等硬件故障處理7更換低版本的GARP板來解決M3UA瞬斷經(jīng)愛立信確認(rèn)：對(duì)于版本ROJ20816/3R1A的RP硬件，有個(gè)別板子有硬件問題，主要體現(xiàn)在消息處理上的容忍限度，在很小干擾的情況下，RP就可能出現(xiàn)RP錯(cuò)誤，導(dǎo)致RP閃斷，出現(xiàn)M3UA的瞬斷，如果該RP在10分鐘內(nèi)出現(xiàn)3次閃斷，RP將倒換到備用RP上。通過兩個(gè)現(xiàn)象可以決定M3UA的瞬斷是由于RP的硬件錯(cuò)誤造成的

1、RP的eventcode來決定通過RP的EVENTCODE來看，如果ERWORKING是H'06AH'0002H'0055，證明該RP的硬件有問題，應(yīng)該及時(shí)更換

2、通過RPDUMP來判斷通過TERDI打印可以看出，如果打印出現(xiàn)FATALSDRAMECCERRORDETECTEDAT0xxxxxx，證明該硬件有故障，更換硬件GARP板等硬件故障處理8更換低版本的GARP板來解決M3UA瞬斷建議更換的RP版本為ROJ20816/3R1B/B，如果沒有這種版本，可以更換成版本為ROJ20816/1R3A，如果這2種版本都沒有，可以更換一塊新的版本為ROJ20816/3R1A板子，大多數(shù)這種板子都沒有這種問題。GARP板等硬件故障處理9

愛立信mgw硬件錯(cuò)誤故障的處理步驟：如果是普通硬件錯(cuò)誤，把板子lock，換板，unlock。

Scb板子故障會(huì)導(dǎo)致mgw重啟，把scb板子lock，拔線，拔板子，插板子之前，先把線插上，再把板子插上（否則mgw會(huì)啟動(dòng)）。Etc41板子中的交換功能壞了，會(huì)出現(xiàn)hardwarealarm，會(huì)導(dǎo)致msrn吊死，需要把etc41板子重啟一下，如果還不行，則重啟mgw。GARP板等硬件故障處理10軟交換故障處理講座

第一章GARP板等硬件故障處理

第二章設(shè)備軟件版本引起的故障處理

第三章電路故障處理

第四章錄音通知故障處理

第五章信令配合故障處理

第六章從ENUM事件告警和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理11LYIGM9以前因缺軟件補(bǔ)丁經(jīng)常出現(xiàn)資源吊死經(jīng)常導(dǎo)致下面的用戶不能正常通話,臨時(shí)性的解決辦法是在夜間做冷啟,后來聯(lián)系省公司打上補(bǔ)丁后才徹底解決。SERVER中的ET1551光板因RP軟件版本問題經(jīng)常出現(xiàn)瞬斷現(xiàn)象,后來降低RP軟件版本后瞬斷次數(shù)大大減少,但仍然偶爾發(fā)生。設(shè)備軟件版本引起的故障處理12LYIGM8、LYIGM9以前因SCB板子存在缺陷經(jīng)常出現(xiàn)媒體網(wǎng)關(guān)不可用的告警，后來更換了LYIGM8、LYIGM9兩個(gè)MGW共16塊SCB板子。更換完成并冷啟動(dòng)以后，交換機(jī)一直工作正常。從以上可以看出，對(duì)于因設(shè)備軟件版本引起的問題的解決辦法就是積極聯(lián)系廠商進(jìn)行軟件升級(jí)或者更換單板。設(shè)備軟件版本引起的故障處理13軟交換故障處理講座

第一章

GARP板等硬件故障處理

第二章設(shè)備軟件版本引起的故障處理

第三章電路故障處理

第四章錄音通知故障處理

第五章信令配合故障處理

第六章從ENUM事件告警和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理14數(shù)據(jù)添加后MGW上E1、TDM狀態(tài)正常，SERVER上DEVICE狀態(tài)正常，而SNT狀態(tài)為ABL。一般在MGW上閉解一下terminalgroup，重新向server發(fā)送teminition狀態(tài)改變通知可以恢復(fù)。關(guān)于愛立信軟交換和華為軟交換電路狀態(tài)的故障，是雙方信令配合的問題。可以對(duì)狀態(tài)不正確的電路進(jìn)行雙方的閉塞和解閉,必要時(shí)重新添加一下數(shù)據(jù)。如仍舊不能解決問題，可在愛立信交換機(jī)側(cè)用testsystem指令強(qiáng)制復(fù)位電路狀態(tài)。電路故障處理15數(shù)據(jù)添加后MGW上E1、TDM狀態(tài)正常，SERVER上SNT狀態(tài)正常，而DEVICE狀態(tài)為ABL。將設(shè)備在SNT上重新添加一遍，先在MGW側(cè)閉掉相應(yīng)的TERMINALGROUP,然后執(zhí)行EXDAE-EXDRE-NTCOE后再重新定義，解閉的時(shí)候先在MGW側(cè)解閉TERMINALGROUP，再解開SNT和DEV。這種情況還有一種原因是數(shù)據(jù)設(shè)置有誤，去年臨沂曾發(fā)生過因?qū)Χ藵?jì)南某局設(shè)置的路由參數(shù)SPN有誤導(dǎo)致DEVICE狀態(tài)為ABL，后來修改了SPN之后電路才恢復(fù)正常，這種錯(cuò)誤比較隱蔽，需要聯(lián)系雙方共同檢查數(shù)據(jù)后才行。電路故障處理16軟交換故障處理講座

第一章

GARP板等硬件故障處理

第二章設(shè)備軟件版本引起的故障處理

第三章電路故障處理

第四章錄音通知故障處理

第五章信令配合故障處理

第六章從ENUM事件告警和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理17根據(jù)用戶投訴或登陸到相應(yīng)非主機(jī)框GPB板上使用mesc_info_im-all查看是哪條錄音通知出問題。在SERVER上使用tctdi:bo=99,bnb=；指令監(jiān)聽錄音通知是否正常。對(duì)于GMPV3版本來說錄音通知一般放在主機(jī)框12、13板位，使用totalcommand工具登陸到相應(yīng)的MGW文件夾,進(jìn)入p001200/im_basic_messages/phrases目錄下查看具體的錄音通知是否存在，可用播放軟件測(cè)試一下是否正常。如不正?？捎闷渌麺GW上正常的錄音通知覆蓋掉。錄音通知故障處理18如果上述檢查錄音通知本身沒有問題，打開EMAS平臺(tái)上配置選項(xiàng)IM中對(duì)相應(yīng)的錄音通知閉解鎖一下,如果仍然不起作用的話可能是進(jìn)程吊死或相應(yīng)的MSB板子壞了，如果是進(jìn)程吊死的話，在EMAS平臺(tái)上從右框中選擇reliableprogram為msp_msa_im_streamer的進(jìn)程,點(diǎn)擊右健選擇“Properties”，在彈出的對(duì)話框點(diǎn)擊”Switch”，將進(jìn)程重啟一下即可，如果是MSB板子壞掉的話則更換相應(yīng)的單板。對(duì)于平常不使用的錄音通知但是使用指令查看REJECT次數(shù)一直在增長的情況，我們可以在SERVER上使用指令exaue:pos=pos刪除32位-16位映射關(guān)系。錄音通知故障處理19軟交換故障處理講座

第一章

GARP板等硬件故障處理

第二章設(shè)備軟件版本引起的故障處理

第三章電路故障處理

第四章錄音通知故障處理

第五章信令配合故障處理

第六章從ENUM事件告警和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理20由于各個(gè)廠家對(duì)于BICC消息規(guī)范的理解存在偏差，因此VOIP改造后不同廠家間的BICC消息配合存在很多的問題，尤其是關(guān)口局又存在互聯(lián)互通問題，信令消息配合問題更多。出現(xiàn)這種情況通過對(duì)信令消息跟蹤和分析來發(fā)現(xiàn)問題、解決問題是一個(gè)比較好的途徑。解決不同廠商信令消息配合差錯(cuò)的根本途徑是使雙方協(xié)商的消息達(dá)到一致，因此可以通過聯(lián)系廠商打補(bǔ)丁修改消息格式或者采用屏蔽消息錯(cuò)誤參數(shù)的方式來解決。

信令配合故障處理21臨沂曾發(fā)生過愛立信VoIP局下手機(jī)用戶無法撥打華為VoIP局下無線座機(jī)的情況，是由于被叫無線座機(jī)不能正常上報(bào)承載，被叫華為VOIP端局回送默認(rèn)編解碼AMR，而主叫選擇的是AMR2，從而造成雙方編解碼協(xié)商失敗，呼叫無法接續(xù)。聯(lián)系廠家說需要打補(bǔ)丁才能徹底解決此問題，在打補(bǔ)丁之前，暫時(shí)將兩局間話務(wù)改走TDM路由，這樣就不需要進(jìn)行編解碼協(xié)商，從而保證話務(wù)可以正常接續(xù)。信令配合故障處理22臨沂華為軟交換關(guān)口局VOIP改造后，聯(lián)通C網(wǎng)用戶撥打愛立信VOIP局下的手機(jī)無法接通，用戶聽空號(hào)的錄音通知，G網(wǎng)用戶撥打正常，TDM局下用戶被叫正常。該問題是由于愛立信VOIP端局不識(shí)別聯(lián)通C網(wǎng)發(fā)來BICC-IAM消息中的USI信源的3.1KHz傳輸能力所致，因此愛立信端局可以使用screeningmasks將該信源丟棄。在3GPP規(guī)范中IAM消息的USI參數(shù)編碼為00011101（即29），因此我們可以使用BISMI指令定義名為DISCARDUSI的BICCscreeningmasks將此信源屏蔽掉，然后使用BIRMC:SM=DISCARDUSI,R=LYDS1O；指令使該BICCscreeningmasks在華為軟交換關(guān)口局路由上生效。這樣就能保證通話的正常建立。信令配合故障處理23軟交換故障處理

第一章

GARP板等硬件故障處理

第二章設(shè)備軟件版本引起的故障處理

第三章電路故障處理

第四章錄音通知故障處理

第五章信令配合故障處理

第六章從ENUM事件告警和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理24通過對(duì)ENUM事件、EOS統(tǒng)計(jì)和歷史告警的分析，我們能挖掘到軟交換中存在的一些隱患，通常這三者是關(guān)聯(lián)的，我們可以多個(gè)側(cè)面看到交換機(jī)上存在的一些問題。對(duì)于在SERVER上出現(xiàn)的DISTURBANCESUPERVISIONLIMITREACHED，要先用EREPP:ENUM=*查看ENUM=*中錯(cuò)誤代碼的ERRCODE代表什么意義，再查看EMAS上的告警情況，從資料中找到錯(cuò)誤代碼表示的意義（屬于錄音通知的問題還是傳輸瞬斷引起），從歷史告警查看定位具體是哪塊板子出問題再進(jìn)行后續(xù)處理。從事件和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理25去年青島通過統(tǒng)計(jì)發(fā)現(xiàn)QDAGS15每個(gè)小時(shí)出100次左右EOS3748的現(xiàn)象，交換機(jī)沒有出直接告警，但可以看出QDAGS15存在ENUM=1009，MGW20側(cè)出現(xiàn)GCP500錯(cuò)誤。EOS3748表示收到原因?yàn)镾witchingEquipmentCongestion的釋放消息,具體表現(xiàn)為Server側(cè)出現(xiàn)ENUM1009事件，通過到相應(yīng)機(jī)框的GPB板用telogread打印分析tracelog可以發(fā)現(xiàn)發(fā)送有問題的Context的時(shí)隙及對(duì)應(yīng)的PCM設(shè)備號(hào):對(duì)上述電路進(jìn)行閉解，重新定義電路數(shù)據(jù)后恢復(fù)正常,觀察統(tǒng)計(jì)EOS3748消除。從事件和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理26RA告警處理

lyigm22的subrack=2,slot=6的msb板故障導(dǎo)致出現(xiàn)告警Media

Stream

Function

Resource

Access

Failure，將此msb板更換后，故障解決，但是告警一直沒有消除。登錄網(wǎng)元，查看原始告警信息包含“SpecificProblem:Media

Stream

Function

Resource

Access

Failure”,查詢ALEX，按其步驟解決。1、EMAS->Resource

Access,進(jìn)入后右鍵SHOW

LDN查到與告警信息中相同的LDN（...ResourceAccess=3）；2、可看到該條ResourceAccess中PIU

id

containing

active

RPU“...

ManageElement=1,Equipment,Subrack=2,Slot=2,pluginunit=1”

；3、LOCK該塊GPB

；4、RESTART該塊GPB；

5、UNLOCK該塊GPB

,按此步驟操作告警消除。從以上可以看到有些告警是關(guān)聯(lián)在一起,對(duì)于這種RA方面的告警一般可以通過重啟相應(yīng)的板子可以解決。從事件和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理27通過統(tǒng)計(jì)發(fā)現(xiàn)交換機(jī)隱患案例臨沂檢查交換機(jī)各項(xiàng)指標(biāo)發(fā)現(xiàn)愛立信voip軟交換局lyigs13到同是愛立信voip軟交換的lyigs15、lyigs16的切換成功率很差，幾乎是0，但是到其他局的切換成功率都正常。在交換機(jī)上查看有enum告警，查看errcode確定是M3UA問題導(dǎo)致切換不成功。根本原因在于LYIGS13到上述局向MAP切換信令走的是TDM，而上述局向到LYIGS13走的是VOIP，當(dāng)主用ET1551發(fā)生倒換的時(shí)候GS13到GS15的切換信令暫時(shí)無法送出，而GS15到GS13的切換信令通過IP送到GS13以后，GS13的M3UA相關(guān)BLOCK處理收到的信令以后無法將響應(yīng)送給GS15。這樣，GS13的M3UA相關(guān)BLOCK認(rèn)為出現(xiàn)了故障導(dǎo)致統(tǒng)計(jì)指標(biāo)異常。因此結(jié)合統(tǒng)計(jì)和ENUM我們能夠發(fā)現(xiàn)一些不易察覺的隱患。從事件和EOS統(tǒng)計(jì)發(fā)現(xiàn)的軟交換故障處理28日常維護(hù)中需要注意的事項(xiàng)

做好備份工作做好安全巡檢和作業(yè)計(jì)劃注意查看統(tǒng)計(jì)指標(biāo)和歷史告警，關(guān)注用戶投訴29從廣西愛立信MGW重大宕機(jī)事件可以看出備份對(duì)MGW的故障恢復(fù)時(shí)間的重要性。MGW的備份包括，數(shù)據(jù)盤（c，d盤）備份和DT（cv）備份。一般平常操作維護(hù)做的都是cv備份。全備份需要備份文件：整個(gè)C盤、D盤文件，P001200或P001300;RollbackList的設(shè)定：完成CV備份后要重新設(shè)定RollbackList，RollbackList的設(shè)定原則為：RollbackList里的第一個(gè)文件為最近一次CV備份的上次DUMP文件，第二個(gè)文件為上次RELOAD成功的DUMP文件；MGW中ConfigurationVersions的數(shù)量必須保持在40以下；CV備份不要