IBM小型機(jī)常見故障的基本定位

1、故障的定義.弄清楚系統(tǒng)發(fā)生了什么問題.系統(tǒng)現(xiàn)在能做什么？不能做什么？.故障什么時候發(fā)生的？.有沒有做平時不同的操作？.故障有沒有規(guī)律？定時還是不定時？發(fā)生的頻率有多高？.是一臺機(jī)器出現(xiàn)故障還是多臺機(jī)器故障？故障現(xiàn)象是否相同？.最近有沒有做改動？如安裝了新的硬件、軟件，改變了系統(tǒng)的一些設(shè)置。故障信息的收集1）收集故障信息對于判斷、診斷故障原因，修復(fù)系統(tǒng)非常重要。2）系統(tǒng)故障記錄（errorlog）errdemon進(jìn)程在系統(tǒng)啟動時自動運(yùn)行記錄包括硬件、軟件及其他操作信息故障記錄文件為/var/adm/ras/errlog，可備份下來或拷貝到別的機(jī)器上分析errpt命令的使用（普通用戶權(quán)限也可使用）

2、#errpt|more列出簡短出錯信息ERROR_IDTIMESTAMPTCRESOURCE_NAMEERROR_DESCRIPTION192AC0710723100300T0errdemonErrorloggingturnedoff0E017ED10720131000PHmem2Memoryfailure9DBCFDEE0701000000T0errdemonErrorloggingturnedon038F25800624131000UHscdisk0UNDETERMINEDERRORAA8AB2410405130900TOOPERATOROPERATORNOTIFICATIONTIMEST

3、AMP:MMDDHHMMYY（月日時分年）T（類型）：P永久；T臨時；U未知（永久性的錯誤應(yīng)引起重視）C（分類）:H硬件;S軟件;O用戶;U未知#errpt-dH列出所有硬件出錯信息#errpt-dS列出所有軟件出錯信息#errpt-ajERROR_ID列出詳細(xì)出錯信息#errpt-aj0502f666ERROR_ID用大小寫均可例：LABEL：SCSI_ERR1ID：0502F666Date/Time：Jun1922：29：51SequenceNumber：95MachineID：123456789012NodeID：host1Class：HType：PERMResourceName:scs

4、i0ResourceClass:adapterResourceType:hscsiLocation:00-08VPD:VirtalProductDataTOC o 1-5 h zDeviceDriverLevel00DiagnosticLevel00DisplayableMessageSCSIECLevelC25928FRUNumber30F8834ManufacturerIBM97FPartNumber59F4566SerialNumber00002849ROSLevelandID24Read/WriteRegisterPtr0120DescriptionADAPTERERRORProbab

5、leCausesADAPTERHARDWARECABLECABLETERMINATORDEVICEFailureCausesADAPTERCABLELOOSEORDEFECTIVERecommendedActionsPERFORMPROBLEMDETERMINATIONPROCEDURESCHECKCABLEANDITSCONNECTIONSDetailDataSENSEDATA000000000000000000000000000000000000000000000000控制面板上的LED代碼.8位代碼，通常系統(tǒng)故障燈會同時亮起。某些機(jī)型還會同時顯示故障設(shè)備位置代碼。.4位代碼，通常是Exx

6、x。.3位代碼，通常為Oyyy，只看后3位。.8位和4位代碼可查看系統(tǒng)服務(wù)手冊(ServiceGuide)。3位代碼可查看系統(tǒng)診斷手冊(DiagnosticInformationforMultipleBusSystem)。.閃動的888,系統(tǒng)崩潰，硬件或軟件原因造成。按reset鍵會顯示更多內(nèi)容。888-102一般為軟件故障(888-102-207例外)系統(tǒng)會產(chǎn)生一個dump。888-102-XXX-0C9系統(tǒng)正在做dump,請等待。888-102-XXX-0C0系統(tǒng)dump完成，可關(guān)電重啟。888-103或105硬件故障，一般有SRN代碼及位置代碼。SMS(SystemManagementS

7、ervice)故障記錄如何進(jìn)入SMS菜單當(dāng)主控臺出現(xiàn)鍵盤圖標(biāo)后(LED顯示E1F1時)按1鍵。選擇Utilities選擇ErrorLog,抄下8位故障代碼(在SMS中還可以更改系統(tǒng)啟動順序表)MAIL#mail系統(tǒng)會向root用戶發(fā)mail報告出錯信息。通常系統(tǒng)出現(xiàn)故障后沒有進(jìn)行檢查修復(fù)，系統(tǒng)會定時提醒root。運(yùn)行故障診斷程序(Diagnostic)，對系統(tǒng)硬件進(jìn)行檢查和診斷。當(dāng)發(fā)現(xiàn)有硬件故障時應(yīng)立即使用diag#diag選高級診斷(AdvanceDiagnostic)選問題診斷(ProblemDetermination)或選系統(tǒng)檢查(SystemVerification)(選PD會對系統(tǒng)錯

8、誤記錄進(jìn)行分析)diag運(yùn)行后會給出SRN代碼，故障設(shè)備名稱及百分比，地址代碼等。對于PCI機(jī)型應(yīng)在系統(tǒng)報錯7天之內(nèi)運(yùn)行diag程序?qū)Τ鲥e記錄里的sense數(shù)據(jù)進(jìn)行分析。其他用于收集系統(tǒng)信息的命令lsdev-C系統(tǒng)設(shè)備信息#lsdev-Ccdiskhdisk0Available00-06-00-2,04.5GB16BitSCSIDiskDrivehdisk1Available00-06-00-1,04.5GB16BitSCSIDiskDrivehdisk2Defined00-06-00-4,016BitSCSIDiskDrivelspv查看物理卷信息#lspvhdisk00007821160a

9、f3d76rootvghdisk1000782117f571294rootvghdisk20000000045c45bdedatavglsvg查看卷組信息#lsvgdatavgVOLUMEGROUP:datavgVGIDENTIFIER:0000000055e2458bVGSTATE:activePPSIZE:4megabyte(s)VGPERMISSION:read/writeTOTALPPs:2169(8676megabytMAXLVs:256FREEPPs:1(4megabytes)LVs:3USEDPPs:2168(8672megabytOPENLVs:2QUORUM:2TOTALPV

10、s:1VGDESCRIPTORS:2STALEPVs:0STALEPPs:0ACTIVEPVs:1AUTOON:yesMAXPPsperPV:2032MAXPVs:16#lsvg-lrootvgrootvg:LVNAMETYPELPsPPsPVsLVSTATEMOUNTPOINThd5boot111closed/syncdN/Alv00jfs511021closed/stale/ibmcxxlv01jfs111open/syncd/cics_regionslv02jfs441open/syncd/var/mqmlslpp查看文件組信息#lslpp-L|grep23100020devices.p

11、ci.23100020.rte4.3.2.7CIBMPCI10/100EthernetAdapt看某個文件組是否已安裝，如以太網(wǎng)卡驅(qū)動。也用于查詢補(bǔ)丁程序的版本lsattr查看設(shè)備參數(shù)設(shè)置#lsattr-Elent2busio0 x7fffc00BusI/OaddressFalsebusintr9BusinterruptlevelFalseintr_priority3InterruptpriorityFalsetx_que_size512TRANSMITqueuesizeTruerx_que_size256RECEIVEqueuesizeTruerxbuf_pool_size384RECEIV

12、EbufferpoolsizeTruemedia_speed10_Half_DuplexMediaSpeedTrueuse_alt_addrnoEnableALTERNATEETHERNETaddressTruealt_addr0 x000000000000ALTERNATEETHERNETaddressTrueip_gap96Inter-PacketGapTruelscfg查看VPD信息(VirtualProductData)#lscfg-vlssa1DEVICELOCATIONDESCRIPTIONssa130-68IBMSSAEnhancedRAIDAdapter(14104500)Pa

13、rtNumber097H0645FRUNumber097H0645-備件號SerialNumberC8217227ECLevel0000F20825ManufacturerIBM053ROSLevelandID7201-微碼版本LoadableMicrocodeLevel04DeviceDriverLevel00DisplayableMessageSSA-ADAPTERDeviceSpecific.(Z0)DRAM=032DeviceSpecific.(Z1)CACHE=0DeviceSpecific.(Z2)000000062955dab2DeviceSpecific.(YL)P2-I7-槽

14、號不同的硬件設(shè)備有不同的VPD，所含的格式和信息都不一樣。通常備件號和微碼版本最有參考價值。注：FRU(FieldReplaceUnit)才是真正的備件號。硬件故障定位方法IBM小型機(jī)故障定位方法包括小型機(jī)I/O柜上的顯示面板上的Checkpoints信息，ErrorCode和SRNs。Checkpoints檢查點是系統(tǒng)加電CMOS初始化程序(initialprogramload(IPL)運(yùn)行后顯示在I/O柜的顯示面板上一系列信息。IPL流程當(dāng)交流電源接到系統(tǒng)后，IPL流程就開始了，IPL流程包括四個步驟：.Phase1:ServiceProcessor的初始化Phase1開始于交流電源接到系

15、統(tǒng)后，直到OK顯示在I/O柜上的顯示面板上為止。在這個步驟會顯示8xxx或9xxxcheckpoints代碼。.Phase2:由ServiceProcessor引導(dǎo)的硬件初始化Phase2開始于按下I/O柜上的白色電源開關(guān)。在這個步驟會顯示9xxxcheckpoints。91FF是最后的代碼標(biāo)志著第三步驟的開始.Phase3:系統(tǒng)固件的初始化在Phase3,一個系統(tǒng)處理器接管控制并繼續(xù)初始化系統(tǒng)資源，在這個步驟會顯示Exxx。E105是最后的代碼標(biāo)志著第四步驟AIX啟動的開始。在這個過程中還會顯示各種位置碼(位置碼代表著系統(tǒng)的每一個部分).Phase4:AIX啟動當(dāng)AIX開始啟動時，顯示面板上

16、的代碼為Oxxx，同時位置碼會出現(xiàn)在第二行。當(dāng)AIX的登錄窗口出現(xiàn)在控制臺上時第四步驟結(jié)束同時顯示面板上再無任何信息出現(xiàn)。ErrorCode當(dāng)系統(tǒng)運(yùn)行有錯誤發(fā)現(xiàn)時，一個8位碼會顯示在顯示面板上，同時在第二行顯示相對應(yīng)問題硬件的位置碼。SRNs(Servicerequestnumbers，服務(wù)請求碼)當(dāng)系統(tǒng)運(yùn)行有錯誤發(fā)現(xiàn)時，SRNs碼會以xxx-xxx的形式顯示在顯示面板上，同時在AIX的errorlog中也會有記載。以上所有代碼都會有相應(yīng)的步驟解決。由于代碼繁多，請在出現(xiàn)問題后記錄下代碼，并致電IBM服務(wù)熱線。系統(tǒng)的啟動順序:.系統(tǒng)不能啟動系統(tǒng)停在Stage1,可能為電源、系統(tǒng)板、CPU、內(nèi)存

17、等硬件故障。記錄故障代碼通知IBM工程師。系統(tǒng)停在Stage2，可能是啟動順序表(bootlist)損壞或I/O子系統(tǒng)故障?？蓢L試進(jìn)入SMS菜單檢查啟動順序表，并修改。若在選擇bootlist時沒有硬盤設(shè)備可選或顯示的硬盤信息不正確則可能是硬盤故障。若根本沒有SCSI設(shè)備可選則鏈路有問題。系統(tǒng)停在Stage3，可能是硬盤數(shù)據(jù)損壞，系統(tǒng)設(shè)置文件出錯，或I/O子系統(tǒng)故障。.系統(tǒng)停在551，555或557發(fā)生在系統(tǒng)啟動的第三階段(Stage3)，可能是：文件系統(tǒng)損壞文件系統(tǒng)日志(jfslog)損壞rootvg中有壞硬盤修復(fù)方法用系統(tǒng)光盤或系統(tǒng)備份帶啟動(必須與硬盤中的操作系統(tǒng)版本一致)啟動后選擇選項

18、3StartMaintenanceModeforSystemRecoveryAccessaRootVolumeGroupAccessthisvolumegroupandstartashellbeforemountingthefilesystems格式化文件系統(tǒng)日志(jfslog)#/usr/sbin/logform/dev/hd8檢查修復(fù)文件系統(tǒng)fsck-y/dev/hd1(/home文件系統(tǒng))fsck-y/dev/hd2(/usr文件系統(tǒng))#fsck-y/dev/hd3（/tmp文件系統(tǒng)）#fsck-y/dev/hd4（/文件系統(tǒng)）#fsck-y/dev/hd9var（/var文件系統(tǒng)）用e

19、xit命令退出，文件系統(tǒng)會自動mount起來。重建bootimagelslv-mhd5找出bootimage所在的硬盤，如hdiskObosboot-ad/dev/hdisk0bootlist-mnormal/dev/hdisk0重建啟動順序表。重啟動系統(tǒng)shutdown-Fr如上述步驟不奏效用系統(tǒng)備份帶恢復(fù)系統(tǒng)。如備份帶不能恢復(fù)，用診斷光盤（DiagnosticCDROM）檢查是否壞硬盤。.CDE圖形界面掛死CDE運(yùn)行時不要更改網(wǎng)絡(luò)參數(shù)（如：主機(jī)名和IP地址）更改網(wǎng)卡設(shè)置，請先退出CDE圖形環(huán)境，選擇命令行方式登錄，在字符界面下更改。如CDE已經(jīng)掛死遠(yuǎn)程telnet登錄找出所有dt有關(guān)的進(jìn)程

20、用kill命令殺掉ps-ef|grepdtkillPID檢查當(dāng)前主機(jī)名hostnametscf50查看主機(jī)名是否對應(yīng)有效的IP地址netstat-i|greptscf50tr0*15009.185.40tscf5050604902824700更改主機(jī)名或IP地址，使主機(jī)名與當(dāng)前有效的IP地址存在對應(yīng)關(guān)系。smittytcpip重新啟動CDE界面/etc/rc.dtHACMP環(huán)境下可把主機(jī)名alias到127.0.0.1上cat/etc/hosts127.0.0.1loopbacklocalhosttscf50#loopback（lo0）name/addressbvg.系統(tǒng)dump發(fā)生在系統(tǒng)崩潰

21、時，AIX會做dump（系統(tǒng)內(nèi)存的快照）。此時機(jī)器會顯示閃動的888102xxx0cx代碼：0c9系統(tǒng)dump進(jìn)行中。0c9狀態(tài)可能會維持超過2分鐘,不要關(guān)電和按reset,等待dump做完。0c0dump成功完成，這時可以斷電重起。0c2手動啟動dump功能0c4dump設(shè)備空間不足，只有部分信息保存下來0c5不明原因?qū)е耫ump失敗一般dump是由于軟件出錯引起（888-102-207除外），機(jī)器通?？梢灾貑?。重啟時可能提示用戶插入磁帶拷貝dump文件，不要選擇退出，這樣會丟失重要的故障信息。dump的有關(guān)設(shè)置估算系統(tǒng)dump的大小，在系統(tǒng)最繁忙時（內(nèi)存使用最多）sysdumpdev-e0

22、453-041Estimateddumpsizeinbytes:53477376lsps-aPageSpacePhysicalVolumeVolumeGroupSize%UsedActivepaging00hdisk0rootvg480MB1yeshd6hdisk1rootvg544MB1yes當(dāng)前的設(shè)置#sysdumpdev-lprimary/dev/hd6-dump的主設(shè)備secondary/dev/sysdumpnullcopydirectory/var/adm/ras1%ping自己網(wǎng)卡地址(ip地址)ping其它機(jī)器地址，如不通，在其機(jī)器上用diag檢測網(wǎng)卡是否有問題。在同一網(wǎng)中，s

23、ubnetmask應(yīng)一致。網(wǎng)絡(luò)配置的基本方法：如需修改網(wǎng)絡(luò)地址、主機(jī)名等，一定要用chdev命令chdev-linetO-ahostname二myhostchdev-len0-anetaddr=9.3.240.58-anetmask=255.255.255.0查看網(wǎng)卡狀態(tài)：#lsdev-Ccif確認(rèn)網(wǎng)絡(luò)地址：#ifconfigenO啟動網(wǎng)卡：#ifconfigenOup配置路由有兩種方式加入路由：永久路由chdev-linetO-aroute=1O.47.O.O,9.3.24O.59臨時路由routeadd1O.47.1.29.3.24O.59用命令netstat-rn查看路由表附：常用命令列

24、表：AnyXXXX,#,*,orXistobesubstitutedbyaname,resourcenameor#,fn=filenameDIR=Directory|=pipesymbolbosboot-a-d/dev/hdiskx-rebuildsbootrecord/imageonbootdevice(hdiskx)cat-viewcontentsofafilecat/tmp/*.1-viewafile,lookatoutputcatfnfnnewfile-combinestwofilestoasinglefilecd-willreturnyoutodefaultDIRcd/-willpu

25、tinrootDIRcd/xxxx-changeyoutoaDIRanywhereissystemcd.-willdropyououtof1DIRatatimecdxxxxx-willchangeyoutoaDIRincurrentdircfgmgr-willautoconfigdevicescfgmgr-v&-(-v)showsprocesses(&)putsinbackgroundchps-sxxhd#-increasepagingspace(xx=#ofaddtlPPs)cpoldfnnewfn-copyafilecpoldfnDirn-copyafiletoanotherdirecto

26、rycrontab-l-listcrontabentriesforthecurrentuserctrl+v-willpagedown1pagectrl+6-willpageup1pagedelfn-sameasrm-i,promtstoremovefndf-I-showsstatusoffilesystems(noinodes)df-Ik-(k)showstatusin1024bites(1mb)(onlyAIX4diag-a-updateschangesinhardwareconfigurationdiag*-*=adevicetype(astape,diskFastpath)diag-cd

27、rmtX-resetstapedrivedosformat-formatsadiskettetoDOSdosdir-listfilesondosformateddiskettedosreadXXYY-copiesdosfileXXtoaixfileYYdoswriteYYXX-copiesaixfileYYtodosfileXXerrpt-generatesaonelinesynopsisofloggederrorserrpt|pg-listerrorlog1pageatime(1stcolumnisID)errpt-a-displaysdetailedinformationofloggede

28、rrorserrpt-sMmddhhmmyy-selectentriespostedlaterthandateerrpt-ajXXXXXXX-listdetailerrorbyIDnumber.(XXX=1stcolumn)errpt-dS-listsoftwareerrorserrpt-jXXXXXXX-listsummaryreportbyIDnumber.errpt-aNXXXXXX-listdetailedreportbyresourcenamecolumnerrpt-NXXXXXXX-listsummaryreportbyresourcenamecolumnerrclear0-cle

29、arserrorlogerrclear-NXXXXX0-clearserrorlogbyresourcename,0=allentererrclear-jXXXXX0-clearserrorlogbyIDnumber.finger-sameaswhobutwithmoredetailsflcopy-copiesadiskettetoanotherdisketteformat-formatsadisketteindefaultdiskettedriveformat-l-formatsinlowerdenity:1.44on2.44/720on1.44hostname-respondswithho

30、stsystemnamehost(hostname)-respondswithinternetaddressinstfix-ikIPAR#-listsiparfixwascompletelyinstalledlppchk-v-checksinstallstatusofLPPslppchk-v2/dev/lpX-sendsoutputoflppchktoprinterlpxlpstat-aall-viewallprinterqueueslptest805/dev/lp0-sendtestpatterntolp0ls-listnamesoffiles&directoriesincurrentdir

31、ls-lia-listdetailsoffiles,currentdir&subdirls-al-listdetailsoffilesordirincurrentdirlsattr-Elxxxxxx-listspecificsettingsonadevicelsdev-C|sort-d-f-listsystemhardware(devices)lsdev-C|grep00-0X-listresoursesforaadapterlsdev-Ccxxxxx-H-listdevices(xxx=tty,printer,disk,memory,adptlsdev-Csscsi-listscsidevi

32、ces(notserialorraid)lsdev-Cctape-listtapedeviceslsdev-Cspci-listpcideviceslsdev-Csisa-listisadeviceslscons-liststheassignedconsolelscfg-listhardwarelist(sameasdiagslist)lscfg-rlmem*|pg-liststhememoryonPCIbusmachineslscfg-vlXXXXX-listconfiginfofromadevice.(rmt0,hdisk,etc)lscfg-vlsysplanar0-liststhema

33、chinetype,model,s/nonSMPlsfs-listallfilesystems+datafromdfcmdlslpp-l|grepBROKEN-listsincompleteptfslslv-mhd5-findsbootdriveunderpv1columnlsps-a-checksavailablepagingspacelsps-s-checksavailablepagingspacelspv-listsinformationaboutthephysicalvolumeslspvhdisk#-listdriveinfolspv-lhdisk#-listslogicalvolu

34、megroupdiskinlsuser-fALL-listsallattributesforalluserslsvg-listsvolumegroupslsvg-pXXXXXX-listsdisksinvolumegroup(xxxxx=volumename)more-readsfilesanddisplaysthetextonescreenatatime.mpcfg-df-listallsettingthemachineissetto(smp)mpcfg-cf111-changestofastIPLonSMPmachines(smp)mvfn(pathfn)-moveandrenameafi

35、leoslevel-showsAIXversion(3.2.4andabove)pg-readsanddisplaystextonescreenatatime.pdisable-makesunavailableorshowsalldisabledttyspdisabletty#-disablesattypenable-makesavailableorshowsallenabledttyspenabletty#-enablesattyps-el|pg-lookatprocessrunningonsystempwd-listwhatDIRyouarecurrentlyinr-repeatslast

36、commandrm-i*-removeafile&willpromptyouifyouaresurermdev-lXXXXX-removesadeviceanddefinesittodatabasermdev-lXXXXX-d-removesadeviceanddeletesitfromdatabaseset-ovi-setsuptoveiwcammandsthathavebeenrun:wq-write(save)andquitfileEsc+k-usedwithSETcommandtolistlastcommandk,l-k=listnextcommandran,l=stepsyouthr

37、ucommandI-usewithSETcommandinsertscharactersj-stepsyoubackwardscw-cw=removesaword,justtypeinnewword(usewithEsc)a,x,r-a=addedtext,x=deletetext,r=replacetext(r+letter)R-letsyoutypeoverlettersorwordssmit*-(*=tape,disk,tty,etc.fastpath)su-standsforswitchuser,(NOTsuperuser)su-switchestorootidorpromptsyou

38、forpasswordsuXXXXXX-switchestoXXXXXXsidtar-cvf/dev/rmtX/etc-willcopy/etctoatapedrivetar-tvf/dev/rmtX-willreadatapedrivetctl-f/dev/rmtXrewoffl-rewind&ejecttapetctl-f/dev/rmtX.1fsf3-forwardadvancesatapetobereadbyTARtctl-F-listavailcommands(-Fflagisnotcorrect)tctlretension-retensionstapeintapedrive&-pu

39、tanycommandinbackgroundwithprocessIDuptime-howlongsincelastIPLandhowmanyusersonsystemvmstat#-reportsvirtualmemorystatisticsandmoreiostat#-reportsCPU,disk&cdromstatisticsusewithvm&iostat-1st#(howmanysectorepeat),2nd#(howmanytimes)who-showsusersonsystemwhoami-showsuseridonyourterminal&ttynumberUSEthef

40、ollowingwithothercommands./tmp/*.1-createsafile(usedwithlsXXXcommand)/dev/lp#-redirectesoutputtoaprinter(usewithacomd)|grep-isusefultosearchfortextinafile.|pg-useafteranycommandtoviewonepageatatime|-pipesign-Takestheoutputofonecommandandfeedsittotheinputofanother.-redirectsignorgreaterthansign/-slas

41、hsign-backslashsign-doubleredirectwilladdtexttoendoffile&-putanycommandinbackgroundwithprocessIDMUSTunmountfilesystem1sttorunfsck&dfsck/onlyusewithaproblemfsckXXXXXXX-willcheckafilesystemforerrors&promptdfsck/XXXX/XXXX-willcheck2differentfilesysatthesametimeFOLLOWINGcommandlineswilldeleteagroupofdevicesasagroup,the#,signisthehdisk#sthatyouwanttodelete.(thisisanexampe.)fordiskin#-thislineandthenext3lineworktogetherdo-thepromptwillbe(REMEMBERtohite