Power服務(wù)器硬件故障診斷與AIX常見(jiàn)軟環(huán)境問(wèn)題診斷

1、2022-2-6errpt -dH -TPERMIDENTIFIER TIMESTAMP T C RESOURCE_NAME DESCRIPTION B6267342 0815095416 P H hdisk1 DISK OPERATION ERRORB6267342 0815055416 P H hdisk1 DISK OPERATION ERRORB6267342 0815015416 P H hdisk1 DISK OPERATION ERRORB6267342 0814215316 P H hdisk1 DISK OPERATION ERRORB6267342 0814175316 P

2、 H hdisk1 DISK OPERATION ERRORB6267342 0814135316 P H hdisk1 DISK OPERATION ERRORB6267342 0814095316 P H hdisk1 DISK OPERATION ERROR2022-2-6errpt -aj b6267342LABEL: SC_DISK_ERR2IDENTIFIER: B6267342Date/Time: Mon Aug 15 09:54:12 GMT+08:00 2016Sequence Number: 14391Machine Id: 00C26F764C00Node Id: eas

3、app1Class: HType: PERMWPAR: GlobalResource Name: hdisk1 Resource Class: diskResource Type: scsdLocation: U789D.001.DQD3A0V-P3-D2VPD: Manufacturer.IBM Machine Type and Model.ST3146457SS FRU Number.10N7204 ROS Level and ID.44413033 Serial Number.3SJ353F5 EC Level.L36403 Part Number.10N7203 Device Spec

4、ific.(Z0).000005329F001002 Device Specific.(Z1).0624DA03 Device Specific.(Z2).0021 Device Specific.(Z3).10333 Device Specific.(Z4). Device Specific.(Z5).22 Device Specific.(Z6).L36403 DescriptionDISK OPERATION ERRORProbable CausesDASD DEVICEFailure CausesDISK DRIVEDISK DRIVE ELECTRONICS2022-2-62022-

5、2-6HMCLED面板代碼面板代碼errptASMI核心部件AIX實(shí)例獨(dú)占部件非AIX實(shí)例獨(dú)占部件2022-2-6表示可見(jiàn)某些電源故障：外部交流供電正常，但電源對(duì)機(jī)內(nèi)直流供電存在問(wèn)題（但未徹底中斷） 檢查手段：查看電源模塊指示燈，電源模塊上有3個(gè)指示燈外部交流供電、內(nèi)部直流供電、故障燈。正常情況下應(yīng)該前兩者綠燈常亮，故障燈熄滅。發(fā)生診斷手段未體現(xiàn)的電源故障時(shí)，必然是外部交流供電燈綠色常亮，內(nèi)部直流供電燈綠色閃爍，故障燈熄滅。網(wǎng)卡、HBA卡對(duì)外接口故障： 亦即RJ45接口、SFP接口故障，由于這類故障不產(chǎn)生任何系統(tǒng)固件和檢查電路可感知的電氣和數(shù)據(jù)脈沖異常，所以對(duì)服務(wù)器系統(tǒng)來(lái)說(shuō)故障不可感知。 檢查

6、手段(線路中斷、交換機(jī)對(duì)應(yīng)端口故障也適用)： 網(wǎng)卡：netstat -v，輸出較長(zhǎng)，建議重定向到文件，然后在其中查找不通的網(wǎng)卡設(shè)備號(hào)（如ent3），往后翻頁(yè)，有網(wǎng)口連接狀態(tài)，可以準(zhǔn)確判斷物理上是通是斷 HBA卡：fcstat ，如fcstat fcs02022-2-6網(wǎng)卡：netstat -v ETHERNET STATISTICS (ent0) : Device Type: 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902) Hardware Address: 00:21:5e:8a:57:d4 Elapsed Time: 13 days

7、1 hours 15 minutes 0 seconds Transmit Statistics: Receive Statistics: - - . General Statistics: - . 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902) Specific Statistics: - Link Status : Up Media Speed Selected: Auto negotiation Media Speed Running: 1000 Mbps Full Duplex PCI Mode: PCI-X (100-133)2

8、022-2-6HBA卡：fcstat # fcstat fcs0 FIBRE CHANNEL STATISTICS REPORT: fcs0 Device Type: 4Gb FC PCI Express Adapter (df1000fe) (adapter/pciex/df1000fe) Serial Number: 1C0290805F Option ROM Version: 02E8277F ZA: Z1F2.70A5 World Wide Node Name: 0 x20000000C9D06D6A World Wide Port Name: 0 x10000000C9D06D6A

9、FC-4 TYPES: Supported: 0 x0000012000000000000000000000000000000000000000000000000000000000 Active: 0 x0000010000000000000000000000000000000000000000000000000000000000 Class of Service: 3 Port Speed (supported): 4 GBIT Port Speed (running): 4 GBIT Port FC ID: 0 x011600 Port Type: Fabric2022-2-6性能 CPU

10、性能：sys%、user%、io wait%、idle%系統(tǒng)核心進(jìn)程占用、用戶進(jìn)程占用、I/O等待占用、空閑 內(nèi)存性能：Computational、Non-computational、Paging space、Shared Memory計(jì)算內(nèi)存、非計(jì)算內(nèi)存、交換空間、共享內(nèi)存 磁盤I/O性能：Disk Busy%、CPU的I/O Wait%容量 文件系統(tǒng)占用率：df -k、df -m、df -g Paging space占用率：lsps -a（看各個(gè)paging space設(shè)備分別的占用率）、lsps -s（總體占用率）# lsps -sTotal Paging Space Percent U

11、sed 32768MB 2%# lsps -aPage Space Physical Volume Volume Group Size %Used Active Auto Type Chksumhd6 hdisk0 rootvg 16384MB 1 yes yes lv 0paging00 hdisk1 rootvg 16384MB 3 yes yes lv 02022-2-6topas：CPU占用率、計(jì)算內(nèi)存/非計(jì)算內(nèi)存使用率、paging space使用率、磁盤繁忙率 示例：topas -i 1 Topas Monitor for host: easapp1 EVENTS/QUEUES F

12、ILE/TTY Sat Jun 3 22:41:50 2017 Interval: 1 Cswitch 17775 Readch 109.7K Syscall 41124 Writech 80355 CPU User% Kern% Wait% Idle% Reads 574 Rawin 0 ALL 78.5 4.7 0.0 16.8 Writes 552 Ttyout 653 Forks 0 Igets 0 Network KBPS I-Pack O-Pack KB-In KB-Out Execs 0 Namei 2355 Total 4658.8 3642.0 3693.0 2523.9 2

13、134.9 Runqueue 18.0 Dirblk 0 Waitqueue 0.0 Disk Busy% KBPS TPS KB-Read KB-Writ MEMORY Total 0.0 88.0 2.0 0.0 88.0 PAGING Real,MB 43008 Faults 4 % Comp 62 FileSystem KBPS TPS KB-Read KB-Writ Steals 0 % Noncomp 29 Total 187.3 1.0K 109.6 77.7 PgspIn 0 % Client 29 PgspOut 0 Name PID CPU% PgSp Owner Page

14、In 0 PAGING SPACE java 2359808 29.8 865.7 root PageOut 22 Size,MB 16384 java 3081054 15.8 810.4 root Sios 22 % Used 0 java 3146710 13.3 837.3 root % Free 100 java 2687876 13.3 812.6 root NFS (calls/sec) java 2949770 8.5 871.0 root SerV2 0 WPAR Activ 0 java 1835366 0.3 355.3 root CliV2 0 WPAR Total 0

15、 topas 2491238 0.1 4.7 root SerV3 0 Press: h-help syncd 918144 0.0 0.6 root CliV3 0 q-quit2022-2-6nmon：*nix界最強(qiáng)大最易用的性能查看和收集工具，可以查看AIX內(nèi)核所有性能指標(biāo) 示例： nmon -s 1，交互式性能實(shí)時(shí)查看，每秒更新一次數(shù)據(jù)。常用熱鍵： h：查看幫助 c：CPU性能 d：磁盤性能 t：占用資源排名前列的各個(gè)進(jìn)程，這種顯示下按2按CPU排序、4按內(nèi)存占用排序、5按磁盤I/O排序 nmon -f -c288 -s300，以300秒為間隔，搜集288次性能數(shù)據(jù)（總共即為24小時(shí)）

16、，在當(dāng)前目錄下生成文件，文件名格式：_YYYYMMDD_HHMM.nmon 利用nmon_analyzer工具，可用收集的結(jié)果文件生成直觀且美觀的性能圖：nmon_analyzer是一個(gè)Excel文件，其中的處理程序都是Excel宏2022-2-6nmon_analyzer： 示例：2022-2-6ipcs -ma：查看共享內(nèi)存使用量IPC=Inter Process Communication(進(jìn)程間通訊)，包括共享內(nèi)存、隊(duì)列、信號(hào)燈ipcs=IPC status 示例： T ID KEY MODE OWNER GROUP CREATOR CGROUP NATTCH SEGSZ CPID L

17、PID ATIME DTIME CTIME Shared Memory: m 0 0 x580140de -rw-rw-rw- root system root system 1 134217728 3211302 3211302 3:20:10 no-entry 3:20:10 m 1048577 0 x21003016 -rw- pconsole system pconsole system 1 10485760 4391006 4391006 3:21:07 3:21:07 3:21:07 m 1048578 0 x78100100 -rw-rw-rw- root system root

18、 system 1 33554432 4588012 24969382 3:21:05 1:28:33 3:21:05 m 1048579 0 x78000100 -rw-rw-rw- root system root system 1 33554432 4588012 24969382 3:21:05 1:28:33 3:21:05 m 4 00000000 -rw-r- grid oinstall grid oinstall 32 4087808 6357466 21955002 1:31:06 1:31:06 3:24:41 m 5 00000000 -rw-r- grid oinsta

19、ll grid oinstall 32 411041792 6357466 21955002 1:31:06 1:31:06 3:24:41 m 6 0 xed304ac0 -rw-r- grid oinstall grid oinstall 32 8192 6357466 21955002 1:31:06 1:31:06 3:24:41 m 102760455 00000000 -rw-r- oracle asmadmin oracle asmadmin 112 536870912 25428048 34537836 1:30:41 1:30:14 21:58:13 m 6291464 00

20、000000 -rw-r- oracle asmadmin oracle asmadmin 112 99321118720 25428048 34537836 1:30:41 1:30:14 21:58:13 m 28311561 0 x725a96c0 -rw-r- oracle asmadmin oracle asmadmin 112 16384 25428048 34537836 1:30:41 1:30:41 21:58:13 m 297795594 0 x0d03d614 -rw-rw- root system root system 1 1440 13697508 20185104

21、 1:31:28 1:31:28 7:42:122022-2-6查看什么目錄占用最高：du -xm |sort -rn |more 示例： # du -xm /|sort -rn |more 318.56 / 107.60 /UltraPath 102.12 /UltraPath/Packages 97.35 /pconsole 76.02 /pconsole/lwi 74.43 /UltraPath/Packages/Update 70.40 /pconsole/lwi/runtime 48.24 /esa 46.86 /esa/runtime 39.49 /etc 36.04 /pcons

22、ole/lwi/runtime/core 36.00 /esa/runtime/core 22.94 /etc/perf 22.77 /etc/perf/daily 22.54 /pconsole/lwi/runtime/core/rcp/eclipse 22.54 /pconsole/lwi/runtime/core/rcp 22.54 /esa/runtime/core/rcp/eclipse 22.54 /esa/runtime/core/rcp2022-2-6萬(wàn)萬(wàn)不可上來(lái)就用rm刪除過(guò)大文件，因?yàn)楹艽罂赡芷鸩坏结尫盼募到y(tǒng)空間的作用*nix的文件空間釋放機(jī)理與Windows不同：Windows：正在被進(jìn)程使用的文件無(wú)法刪除*nix：任何時(shí)候都可以刪除文件，ls是看不到了，但如果文件正在被進(jìn)程所使用，則inode鏈并未刪掉，且文件占用空間會(huì)隨著進(jìn)程繼續(xù)寫入數(shù)據(jù)而繼續(xù)增大。只有最后一個(gè)在使用文件的進(jìn)程關(guān)閉文件后，才會(huì)真正釋放inode和空間，在這之前，df顯示的空余空間不變甚至