基于pmserver分布式升級(jí)0108定位問題方法

版本記 使用范 軟件版 組網(wǎng)方 部分網(wǎng)元無(wú)告警/polling未..........................................................................................OTNM2000無(wú)歷史性能數(shù) Filezillaserver服務(wù)無(wú)法啟 數(shù)據(jù)處理積壓--manager2積 數(shù)據(jù)處理積壓--pmserver積 數(shù)據(jù)處理積壓--增值產(chǎn)品積 設(shè)備未上報(bào)歷史性能數(shù)據(jù)--manager2未收到數(shù) 主要修改記錄1隨著0108版本增值產(chǎn)品的工程推廣和使用，同時(shí)由于0108版本增值產(chǎn)品需采用基于1）OTNM2000（0550BD4）：5.18日基礎(chǔ)包+8.6日全量補(bǔ)丁+8.19日增量補(bǔ)丁2）增值產(chǎn)品（0108版本）：8.19主2工程推廣部署方式調(diào)試環(huán)境：主ip：5，ip：。Manager協(xié)議ip：5和6manager2、pmserverperformance.log等性能日志文件，以及由于每個(gè)管理程序管理的網(wǎng)元數(shù)不得超過1200個(gè)網(wǎng)元（注：不得全部為PTN660網(wǎng)元），manager下面提供msyql語(yǔ)句進(jìn)行統(tǒng)計(jì)，具體命令如下：a）SELECT*FROM說明：使用SELECT*FROMmanager語(yǔ)句查詢每個(gè)管理程序?qū)?yīng)的managerid；如上圖所示：managerno=1對(duì)應(yīng)的managerid= ；managerno=2對(duì)應(yīng)的 b)SELECTCOUNT(*)FROMneWHEREpartidIN(SELECTpartidFROMpartWHERE SELECTCOUNT(*)FROMneWHEREpartidIN(SELECTpartidFROMpartWHERE 說明：根據(jù)步驟a)查出的managerid，替換b）中managerid的值進(jìn)行查詢，即可計(jì)算出每個(gè)管理程序管理的網(wǎng)元數(shù)。如上圖所示，管理程序1（managerid= ）管理1153個(gè)Manager日志：D:\OTNM\md\log\Manger2查看文件名：m2_pfm.logPmserver日志：D:\OTNM\md\log\PmServer”表示進(jìn)程c）pmserver日志在pmserver所在服務(wù)器上 b）performance_**號(hào)表示pmserver實(shí)例號(hào)每個(gè)實(shí)例performance_* 下自動(dòng)生成6個(gè)pm_1、 用于存在pb性能數(shù)據(jù)。部分網(wǎng)元無(wú)告警/polling告警，而且狀態(tài)和性能都無(wú)法查詢；管理配置等操作時(shí)提示polling未；協(xié)議ip地址；以及是否啟動(dòng)多個(gè)manager進(jìn)程，進(jìn)程數(shù)與[manager2]下Local個(gè)數(shù)是否一致；manager2日志下是否存在同樣個(gè)數(shù)的*m2_pfm.log日志文件。解決方法：根據(jù)管理程序配置，補(bǔ)充Local個(gè)數(shù)；網(wǎng)卡中設(shè)置相應(yīng)的協(xié)助ip，并重啟OTNM2000無(wú)歷史性能數(shù)otnm.iniPM_ENABLE_WRITEDB_PROC0（0:表示歷史性能不入庫(kù)，1:表示解決方法：如果未設(shè)置任務(wù)或任務(wù)已過期，需重新設(shè)置任務(wù)；如果PM_ENABLE_WRITEDB_PROC0，表示歷史性能已經(jīng)做不入庫(kù)處理，不是問題（估計(jì)工程配置太大，入庫(kù)效率，設(shè)置為0，需確認(rèn)是否開啟）。排查過程：manager2m2_pfm.logGatherInformation:SendDatatoPmServerSuccess，表示該管理程序已將歷史性能數(shù)據(jù)發(fā)送的pmserver服務(wù)進(jìn)行處理，10_170_162_36m2_pfm.log日志文件中全部打?。篢ip:Timetocallpmof:531butpartisinterrupt，表示6對(duì)應(yīng)的manager無(wú)法與設(shè)備連接，造成輪詢失敗。Filezillaserver現(xiàn)象：上Filezillaserver服務(wù)無(wú)法啟排查過程：首先查看DataBusServer服務(wù)是否啟動(dòng)，如DataBusServerD:\OTNM\md\binFileZillaServer.exe文件補(bǔ)丁是否加載（819日補(bǔ)丁具備解決方法：DataBusServerFileZillaServer.exe5.18日生成，需重新打8月19日補(bǔ)丁；09-0709:12:08GatherInformation:GetPerformtaskFail!ErrorCode=[2015-09-0611:16:24-2018-09-0811:16:241-1-6,1-1-5,1-1-4,1-1-3,1-1-2,1-1-1,1-2-5,1-2-4,1-2-3,1-2-2,1-2-1-3-5,1-3-1,1-3-4,1-3-3,1-3-2,1-4-11,1-4-10,1-4-9,1-4-8,1-4-7,1-4-1-4-5,1-4-4,1-4-3,1-4-2,1-4-1,1-5-1,1-6-31,1-6-30,1-6-29,1-6-28,1-6-1-6-13,1-6-12,1-6-11,1-6-9,1-6-8,1-6-7,1-6-26,1-6-23,1-6-22,1-6-20,1-6-1-6-15,1-6-10,1-6-6,1-6-5,1-6-4,1-6-3,1-6-2,1-6-1,1-7-32,1-7-26,1-7-1-7-23,1-7-22,1-7-18,1-7-31,1-7-30,1-7-27,1-7-29,1-7-28,1-7-25,1-7-24,1-7-1-7-20,1-7-17,1-7-16,1-7-15,1-7-14,1-7-13,1-7-12,1-7-11,1-7-10,1-7-9,1-7-1-7-7,1-7-6,1-7-5,1-7-4,1-7-3,1-7-2,1-7-1,1-8-35,1-8-27,1-8-26,1-8-1-8-23,1-8-22,1-8-21,1-8-34,1-8-20,1-8-19,1-8-16,1-8-18,1-8-15,1-8-14,1-8-1-8-33,1-8-12,1-8-32,1-8-31,1-8-24,1-8-17,1-8-11,1-8-10,1-8-9,1-8-8,1-8-1-8-6,1-8-5,1-8-4,1-8-3,1-8-2,1-8-1,1-9-32,1-9-31,1-9-3,1-9-13,1-9-解決方法：如果pmserver日志中未出現(xiàn)PM_TASK_DUMP關(guān)鍵字，pmserver服務(wù)器上icenode節(jié)點(diǎn)；如果pmserver正常，需重新任務(wù)ENABLE_REMOTE現(xiàn)象：增值產(chǎn)品日志performance.log.2015-09-07中出現(xiàn)“EmsIP=09/07/201509:32:27-INFO-COtnmApi-15mReceive[PmServer1]EMSPack! 排查過程pmserverotnm.ini中[pmserver]節(jié)點(diǎn)下，ENABLE_REMOTE是否拼1；解決方法ENABLE_REMOTE拼寫正常，使ENABLE_REMOTE=1PMSERVERIP09/07/201509:50:03-INFO-COtnmApi-15mReceive[PmServer1]EMSPack!=10000,Ip=5,FileName 09/07/201509:50:03-ERROR-CFTPFileHandler-[PmServer1],GetFile,9271.pb,ErrorCode=609/07/201509:50:03-ERROR-CGetNePerfFile-[PmServer1],GetFile,EmsIP=5,.pb,pmserverip解決方法PMSERVERIPip數(shù)據(jù)處理積壓--manager209-0709:49:33---RecieveFromDevice:PS5 neaddr:51 starttime9-7 endtime9-79:14:59，manager09:49:33starttime9-79:00:0manager2服數(shù)據(jù)處理積壓--pmserver排查過程：排查發(fā)現(xiàn)每個(gè)manager進(jìn)程日志均不存在數(shù)據(jù)積壓，需繼續(xù)查看pmserver服務(wù)日志[INFO][08:58:18][5176][1780]_PM_FRAME_DONE(0002)[Ne: 16ms[(15:0,24:0)][pre546post0]prepmserver服務(wù)數(shù)據(jù)已經(jīng)解決方法：pmserverpmserver2500-30000網(wǎng)元的能力進(jìn)行pmserver實(shí)例的擴(kuò)展。同時(shí)關(guān)閉otnm.ini中24_PROC=0（注：0：表示不啟用，1：表示啟用，默認(rèn)啟用數(shù)據(jù)處理積壓--增值產(chǎn)品積壓排查過程：排查發(fā)現(xiàn)增值產(chǎn)品日志performance.log.2015-09-07中出現(xiàn)AddToQueue_PmHisQueuesOverflow!，表示增值產(chǎn)品處理歷史性能數(shù)據(jù)已經(jīng)存在積壓，將積壓數(shù)據(jù)進(jìn)行丟棄處解決方法：在OTNM2000或增值產(chǎn)品上對(duì)不關(guān)注的性能類型進(jìn)行，減少歷史性能數(shù)據(jù)排查過程：在pmserver服務(wù)在服務(wù)上，在D:\OTNM\md\ftproot\download\reportdat下以網(wǎng)元pb上有那些網(wǎng)元存在管理盤通信中斷告警（NECONFAIL）或管理NE通信中斷告警（MCOMFAIL）5.2.12章節(jié)繼續(xù)查詢是否存在設(shè)備漏解決辦法5.2.12章節(jié)方法或抓包分析，設(shè)備未上報(bào)歷史性能數(shù)據(jù)--manager2據(jù)；或者OTNM2000上也缺失某個(gè)時(shí)間段的歷史性能數(shù)據(jù)；排查過程：如果排查發(fā)現(xiàn)增值產(chǎn)品日志未出現(xiàn)AddToQueue_PmHisQueuesOverflow，則表示未出現(xiàn)積壓；需繼續(xù)排查manager日志，使用關(guān)鍵字neaddr:104，在manager日志中使用UE進(jìn)行過濾，查看過濾結(jié)果是不是某個(gè)15分鐘內(nèi)設(shè)備未返回?cái)?shù)據(jù)；從下圖可以看出16:46:49發(fā)送sendpollingToDeveice：PS0501，但是未收到設(shè)備返回的數(shù)據(jù)---RecieveFromDevice:PS51 neaddr:104，只有日志中打印網(wǎng)元對(duì)象的每個(gè)15分鐘范圍都存在一一對(duì)應(yīng)的sendpollingToDeveice和-RecieveFromDevice:，才表明設(shè)備均正常上報(bào)歷史性能數(shù)據(jù)。Managermanager①09-0712:07:28SendpollingToDevice:PS5 neaddr:43 RequestCurrent②09-0712:07:28---RecieveFromDevice:PS5 neaddr:43 starttime:9-7 endtime:9-7③09-0712:07:28GatherInformation:SendDatatoPmServerSuccess!neaddr:neaddr:1437①SendpollingToDevice③GatherInformation:SendDatatoPmServerSuccess!：表示manager2pmserver Saveto .pbSuccess reportto09/06/201516:39:22-INFO-COtnmApi-15mReceive[PmServer1]EMSPack!=10000,Ip=,FileName09/06/201516:39:22-INFO-CIncreasePmRequest-[PmServer1],ProcessIncreasePmRequest,EmsID=10000,NeId= ,Count=34,ObjCount=20,T