05-第5章 系統(tǒng)支持的故障分析與定位

HUAWEIMSOFTX3000移動(dòng)軟交換中心維護(hù)手冊(cè)故障處理分冊(cè)目錄表5-1所示。系統(tǒng)支撐常見(jiàn)故障現(xiàn)象故障分類(lèi)故障現(xiàn)象的具體表現(xiàn)形式單板硬件故障和端口故障告警臺(tái)上報(bào)某塊單板故障告警或者某塊單板的端口故障告警且告警不能恢復(fù)。CPU過(guò)載交換機(jī)或某個(gè)模塊的呼叫出現(xiàn)大范圍的阻塞現(xiàn)象，接通率急劇下降，CPU的占用率超過(guò)過(guò)載閾值，出現(xiàn)CPU過(guò)載告警。單板倒換異常不能倒換、倒換后主用異常、倒換后影響其他單板單板加載異常不能加載、反復(fù)加載、加載超時(shí)、加載后前后臺(tái)版本不一致單板硬件故障和端口故障的分析與定位預(yù)備知識(shí)MSOFTX3000系統(tǒng)中單板通過(guò)如下三種方式與WSMU板通信：前插板通過(guò)共享資源總線向WSMU板上報(bào)單板狀態(tài)；無(wú)處理器的后插板的狀態(tài)由對(duì)應(yīng)的前插板采集后通過(guò)共享資源總線上報(bào)WSMU板；有處理器的后插板的狀態(tài)則經(jīng)背板的串口總線直接上報(bào)給WSMU板。WSMU板依據(jù)單板狀態(tài)的正常與否產(chǎn)生相關(guān)的硬件故障告警或者恢復(fù)告警。擴(kuò)容框的WSMU板通過(guò)基本框的WSMU板向BAM發(fā)送告警。硬件異常和告警信息上報(bào)路徑如REF_Ref11121172\r\h圖5-1所示。單板硬件告警信息上報(bào)路徑單板硬件故障和端口故障的常見(jiàn)原因單板硬件故障和端口故障的常見(jiàn)原因有：告警單板自身硬件故障告警單板的上級(jí)單板故障單板與槽位接觸不良母板故障單板端口連接故障橋板WHSC故障LANSwitch故障單板硬件故障和端口故障的基本處理步驟各種單板硬件故障和端口故障的處理步驟基本上都很相似，如REF_Ref11141030\r\h圖5-2所示。單板硬件故障的基本處理步驟在處理單板硬件故障和端口故障的操作中需要注意以下幾點(diǎn)：復(fù)位、更換、倒換、拔插單板將對(duì)系統(tǒng)造成一定的影響，應(yīng)當(dāng)在華為技術(shù)支持人員的指導(dǎo)下方可進(jìn)行；對(duì)于主備用單板，只有在故障單板處于備用狀態(tài)下，才可進(jìn)行單板的拔插和更換；拔插和更換單板應(yīng)嚴(yán)格按照更換單板的操作規(guī)范進(jìn)行，其要點(diǎn)包括：更換單板必須在凌晨等話務(wù)量小時(shí)進(jìn)行；拔插和更換單板前需要將單板上的中繼、信令、資源通道等進(jìn)行閉塞、隔離操作；拔插和更換單板后，單板完成加載，維護(hù)人員注意查詢(xún)加載后的單板的軟硬件版本是否正確；單板運(yùn)行正常后需將單板資源進(jìn)行解閉塞、激活操作，并對(duì)單板功能進(jìn)行一定的測(cè)試。在不確定哪些單板與故障有關(guān)聯(lián)時(shí)，不要輕易進(jìn)行操作，應(yīng)首先通知華為技術(shù)支持人員。對(duì)于端口故障，請(qǐng)首先確認(rèn)所有端口連接的正確性，其次應(yīng)該注意橋板和母板的狀態(tài)是否正常，LANSwitch是否有問(wèn)題。CPU過(guò)載的故障分析與定位CPU過(guò)載是MSOFTX3000的嚴(yán)重故障，當(dāng)CPU占用率過(guò)高時(shí)，MSOFTX3000會(huì)對(duì)話務(wù)量進(jìn)行流量控制，從而導(dǎo)致呼損上升，接通率下降。CPU過(guò)載的常見(jiàn)原因CPU過(guò)載的常見(jiàn)原因有：話務(wù)量過(guò)大；話務(wù)統(tǒng)計(jì)任務(wù)周期過(guò)短；位置區(qū)設(shè)置不合理；維護(hù)操作不規(guī)范；數(shù)據(jù)設(shè)置不正確；CPU過(guò)載閾值設(shè)置不正確。CPU過(guò)載的處理步驟CPU過(guò)載的基本處理步驟如下：檢查維護(hù)操作是否合適大量的操作維護(hù)任務(wù)會(huì)占用大量的CPU資源，從而容易使CPU過(guò)載，為了避免在話務(wù)忙時(shí)因維護(hù)操作而導(dǎo)致CPU過(guò)載，應(yīng)注意以下幾點(diǎn)：忙時(shí)不要運(yùn)行大批量的修改命令。忙時(shí)不要執(zhí)行顯示結(jié)果過(guò)多的顯示命令。忙時(shí)不要將統(tǒng)計(jì)輸出到終端。忙時(shí)不要對(duì)鏈路進(jìn)行過(guò)多的動(dòng)態(tài)跟蹤。注意：由于向大量用戶發(fā)送廣播短消息時(shí)，會(huì)對(duì)MSCServer造成很大的沖擊，因而在發(fā)送廣播短消息時(shí)，需避開(kāi)話務(wù)高峰的時(shí)間，而且盡可能分批發(fā)送廣播短消息，每一批的人數(shù)要盡量少一些。對(duì)于話務(wù)量已經(jīng)非常高的地區(qū)，建議不要發(fā)送廣播短消息。檢查話務(wù)量交換機(jī)某一時(shí)段的實(shí)時(shí)話務(wù)量，可通過(guò)以下幾種途徑了解：查詢(xún)近段時(shí)期的話務(wù)統(tǒng)計(jì)報(bào)告。分析“試呼次數(shù)、接通次數(shù)、平均占用時(shí)長(zhǎng)”等與呼損、話務(wù)量有關(guān)的關(guān)鍵信息，了解系統(tǒng)的話務(wù)量。查詢(xún)中繼電路的占用情況。若中繼電路的占用率超過(guò)70%，說(shuō)明系統(tǒng)的局間話務(wù)量很大。對(duì)于話務(wù)量很大導(dǎo)致的CPU過(guò)載，一般是以觀察為主，對(duì)于長(zhǎng)期的因話務(wù)量而導(dǎo)致過(guò)載可以和其他局協(xié)商，采用話務(wù)分流的方法減少話務(wù)量，或考慮進(jìn)行適當(dāng)?shù)脑O(shè)備升級(jí)。檢查話務(wù)統(tǒng)計(jì)任務(wù)的統(tǒng)計(jì)周期話務(wù)統(tǒng)計(jì)任務(wù)的統(tǒng)計(jì)周期設(shè)定對(duì)CPU占用率也有這重要的影響。由于絕大多數(shù)話務(wù)統(tǒng)計(jì)任務(wù)與呼叫關(guān)系緊密，因此，當(dāng)任務(wù)的統(tǒng)計(jì)周期過(guò)短的時(shí)候，會(huì)造成CPU的負(fù)荷加重。目前比較合理的周期設(shè)置是1小時(shí)，這一信息可以通過(guò)維護(hù)命令查詢(xún)和修改：查詢(xún)命令字：LSTTRFINF，填入相應(yīng)的任務(wù)ID，按<F9>即可列出該務(wù)的所有信息，其中就包含了改任務(wù)的統(tǒng)計(jì)周期信息。修改任務(wù)周期命令字：MODTRFTM，填入相應(yīng)的任務(wù)ID，并且在Period下拉菜單中選擇對(duì)應(yīng)的時(shí)間參數(shù)，按<F9>即可進(jìn)行修改。需要注意的是，修改話務(wù)統(tǒng)計(jì)任務(wù)的統(tǒng)計(jì)周期對(duì)話務(wù)統(tǒng)計(jì)結(jié)果有一定的影響，那就是修改后的第一個(gè)統(tǒng)計(jì)周期將不會(huì)有話務(wù)統(tǒng)計(jì)的結(jié)果，請(qǐng)謹(jǐn)慎使用。檢查數(shù)據(jù)配置是否正常對(duì)于MSCServer而言，數(shù)據(jù)配置錯(cuò)誤導(dǎo)致的CPU過(guò)載主要有兩個(gè)方面，一個(gè)方面是關(guān)于信令鏈路、中繼的負(fù)荷分擔(dān)配置不均衡，導(dǎo)致某些信令鏈路負(fù)荷過(guò)大，以致負(fù)責(zé)處理該部分的業(yè)務(wù)處理板過(guò)載，這種情況應(yīng)該調(diào)整數(shù)據(jù)鏈路配置。另一類(lèi)數(shù)據(jù)配置錯(cuò)誤是MAP功能配置錯(cuò)誤，如將［周期性位置更新時(shí)間］設(shè)置過(guò)短（一般情況下，周期性位置更新時(shí)間應(yīng)設(shè)置為BSC/RNC設(shè)置的周期性位置更新時(shí)間的1.5～3倍），可能導(dǎo)致A/Iu-CS接口鏈路負(fù)荷過(guò)高。對(duì)設(shè)置不合理的位置區(qū)考慮位置區(qū)分裂由于在VLR中保存的用戶位置信息，都是以位置區(qū)形式的存儲(chǔ)的。因而當(dāng)MSCServer對(duì)用戶進(jìn)行尋呼時(shí)，是按照位置區(qū)向相應(yīng)的BSC/RNC發(fā)尋呼消息。因此如果一個(gè)MSCServer下帶有N個(gè)BSC/RNC，但是只有一個(gè)位置區(qū)，此時(shí)對(duì)用戶的尋呼消息將發(fā)送給所有的BSC/RNC，這樣相對(duì)于一個(gè)BSC/RNC一個(gè)位置區(qū)來(lái)說(shuō)，尋呼消息將增加N倍。因此對(duì)于一個(gè)位置區(qū)包含了多個(gè)BSC/RNC的情況而該位置區(qū)話務(wù)量居高不下時(shí)，應(yīng)該考慮適當(dāng)進(jìn)行位置區(qū)分裂，以減少系統(tǒng)的負(fù)荷，保證系統(tǒng)安全的渡過(guò)話務(wù)高峰期。（至于到底一個(gè)位置區(qū)多少個(gè)BSC/RNC合適，沒(méi)有明確的定論，但是一般認(rèn)為一個(gè)位置區(qū)超過(guò)4個(gè)BSC/RNC，就應(yīng)該進(jìn)行位置區(qū)分裂。）檢查CPU過(guò)載閾值的設(shè)置CPU過(guò)載閾值的設(shè)置將直接影響CPU過(guò)載故障的告警與恢復(fù)，因此需要直接確認(rèn)該閾值是否設(shè)置正確，如果設(shè)置錯(cuò)誤，一定要立即修改。該信息可以通過(guò)如下命令查詢(xún)和修改：LSTCPUTHD查詢(xún)CPU過(guò)載閾值命令字：LSTCPUTHD，填入相應(yīng)的模塊號(hào)，按<F9>即可列出該模塊的所有四級(jí)CPU過(guò)載閾值和恢復(fù)閾值。修改CPU過(guò)載閾值命令字：SETCPUTHD，填入相應(yīng)的模塊號(hào)以及各個(gè)級(jí)別的過(guò)載閾值和恢復(fù)閾值，即可進(jìn)行相應(yīng)的設(shè)置。目前默認(rèn)的CPU過(guò)載閾值信息如下：閾值OverloadLevel1OverloadLevel2OverloadLevel3OverloadLevel4ResumeLevel1ResumeLevel2ResumeLevel3ResumeLevel4默認(rèn)數(shù)值8085909575808590單板加載不成功的故障分析與定位預(yù)備知識(shí)在MSOFTX3000中，所有的加載工作都是通過(guò)WSMU板來(lái)完成的，所有的業(yè)務(wù)處理板的單板程序和相應(yīng)的數(shù)據(jù)都是從BAM經(jīng)過(guò)該框上的WSMU來(lái)加載到單板上的，而WCPC單板則是由BAM通過(guò)WSMU板再通過(guò)業(yè)務(wù)處理板來(lái)加載的。對(duì)于單板加載不成功的原因往往是單板加載的某段路徑出現(xiàn)異常，常見(jiàn)的加載路徑故障有：BAM上Exchange進(jìn)程和主機(jī)通信中斷；單板硬件版本與軟件版本不配套；某些單板的關(guān)鍵數(shù)據(jù)沒(méi)有配置；加載文件丟失或異常；標(biāo)識(shí)WSMU板所在框號(hào)的撥碼開(kāi)關(guān)設(shè)置錯(cuò)誤。單板加載故障的解決思路單板加載故障的基本思路為：檢查BAM和主機(jī)通信是否正常當(dāng)BAM和WSMU通信故障時(shí)，整個(gè)系統(tǒng)無(wú)法加載成功，當(dāng)BAM和其它單板通信故障時(shí)，則該板加載不能成功。檢查WSMU板撥碼開(kāi)關(guān)設(shè)置是否錯(cuò)誤通過(guò)維護(hù)命令字LSTBRD可以查詢(xún)指定框的單板配置，可以檢查一下該框的WSMU是否正確配置，如果未能查到，則需要檢查WSMU背板（WSIU板）撥碼開(kāi)關(guān)設(shè)置是否錯(cuò)誤。檢查是否是某些重要數(shù)據(jù)沒(méi)有配置當(dāng)沒(méi)有配置MAP功能信息、本局信息、WCDB功能配置時(shí)，會(huì)造成WCCU板重復(fù)加載；當(dāng)沒(méi)有配置位置區(qū)小區(qū)時(shí)，WCDP板也會(huì)重復(fù)加載。檢查軟件版本是否正確使用MML命令“DSPBVER”查詢(xún)軟件版本與是否與軟件版本描述表中內(nèi)容一致。單板加載后軟件版本與要加載的版本不一致一般是因?yàn)閱伟宄瑫r(shí)保護(hù)引起的。單板超時(shí)保護(hù)是指WSMU、WCDP、WCCU等主控板，在單板上電后一段時(shí)間內(nèi)得不到加載響應(yīng)，就會(huì)使用本板FLASH內(nèi)的程序數(shù)據(jù)。因此，如果FLASH內(nèi)的程序與加載的程序不一致，就會(huì)造成版本不一致的現(xiàn)象。另外加載軟開(kāi)關(guān)設(shè)置不正確也會(huì)造成軟件版本不一致的情況。（正確的軟件開(kāi)關(guān)設(shè)置應(yīng)該是：加載前為程序、數(shù)據(jù)不可用，程序、數(shù)據(jù)可寫(xiě)；加載完成后正常運(yùn)行時(shí)為程序、數(shù)據(jù)可用，程序不可寫(xiě)、數(shù)據(jù)可寫(xiě)。）檢查加載文件是否異常如果單板都可以完成加載，但單板狀態(tài)為故障，則有可能是加載文件異常造成的。出現(xiàn)這種情況，可以首先查詢(xún)加載軟件的大小、日期是否正確，再使用對(duì)比法，用一個(gè)已驗(yàn)證過(guò)的加載文件進(jìn)行加載。相關(guān)案例加載文件不對(duì)導(dǎo)致單板不能正常加載【故障現(xiàn)象】某MSOFTX3000局升級(jí)，發(fā)現(xiàn)單板長(zhǎng)時(shí)間沒(méi)有反應(yīng)，根本無(wú)法加載相應(yīng)的文件。【故障分析】在BAM安裝完畢后，單板加載的文件一般存放在d:\data目錄下：程序文件名為S3000.板名數(shù)據(jù)文件名為DB_模塊號(hào).datWSMU板擴(kuò)展BOOTROM文件名為smubios2.bin業(yè)務(wù)處理板二級(jí)BOOTROM文件名為iobios2.bin單板無(wú)法加載，可能是這些文件損壞，也可能是路徑被人為改變，從而導(dǎo)致無(wú)法找到相應(yīng)的加載文件?！竟收隙ㄎ弧繖z查BAM上的路徑是否存在，發(fā)現(xiàn)存在；檢查文件是否存在，發(fā)現(xiàn)文件已經(jīng)不存在了；在回收站里發(fā)現(xiàn)文件，經(jīng)問(wèn)詢(xún)得知是誤刪除導(dǎo)致；將文件還原，單板開(kāi)始正常加載。連線、撥碼開(kāi)關(guān)不正確導(dǎo)致WSMU板無(wú)法正常連接到BAM【故障現(xiàn)象】某MSOFTX3000局，WSMU板無(wú)法正常加載，不能連接到BAM。【故障分析】這個(gè)問(wèn)題可能由從LANSwitch故障或者該板上的端口故障引起，也可能是WSMU板后插WSIU板的撥碼開(kāi)關(guān)不正確而引起的。WSMU加載時(shí)IP地址為：左板：172.20.框號(hào).100，172.30.框號(hào).100右板：172.20.框號(hào).101，172.30.框號(hào).101【故障定位】檢查L(zhǎng)ANSwitch發(fā)現(xiàn)其工作正常。查詢(xún)?cè)摪錓P為172.20.9.100，172.30.9.100。查詢(xún)?cè)摪逅诘目蛱?hào)顯示為11框，但是實(shí)際上應(yīng)該是1框。檢查其后插WSIU的撥碼開(kāi)關(guān)，發(fā)現(xiàn)其撥碼狀態(tài)有誤，第四個(gè)撥碼開(kāi)關(guān)被錯(cuò)誤地?fù)艿搅?的位置，恢復(fù)后重新啟動(dòng)該板即恢復(fù)正常。倒換異常的故障分析與定位常見(jiàn)原因倒換異常的常見(jiàn)原因有：操作不規(guī)范系統(tǒng)運(yùn)行狀態(tài)不允許備板離線倒換異常的故障定位“不能倒換或倒換超時(shí)”故障的定位檢查備板是否離線當(dāng)備板未插、備板故障、備板狀態(tài)異常等造成的備板不可用時(shí)，稱(chēng)備板離線。此時(shí)若執(zhí)行倒換操作，系統(tǒng)將拒絕執(zhí)行。在維護(hù)臺(tái)的維護(hù)工具導(dǎo)航樹(shù)中打開(kāi)硬件配置面板圖，選擇相應(yīng)的模塊、機(jī)框，找到需要倒換的單板，查看該單板的信息，若單板狀態(tài)是“備用異?！?、“故障”、“待激活”、“就緒”、“隔離”等狀態(tài)，該單板就不能被倒換。其他不允許被倒換的情況為了保障交換機(jī)安全運(yùn)行，在系統(tǒng)出現(xiàn)大話務(wù)量、CPU高占用率、定時(shí)任務(wù)執(zhí)行、數(shù)據(jù)備份等特殊情況時(shí)，系統(tǒng)也將拒絕執(zhí)行倒換操作，此時(shí)若強(qiáng)行倒換，則會(huì)引起嚴(yán)重后果，如話單丟失、斷話、主備用單板全部復(fù)位等，因此，在這種情況下的執(zhí)行倒換操作應(yīng)十分謹(jǐn)慎?！暗箵Q后主用異?；蛴绊懫渌麊伟濉惫收系亩ㄎ挥捎赪CCU等控制單板是系統(tǒng)或模塊的控制核心，在進(jìn)行此類(lèi)單板的倒換操作前，必須要遵循以下兩個(gè)原則：