EMC磁盤連接AIX的方法及多路徑冗余軟件POWERPATH安裝、配置、測試報告

1、.EMC 磁盤連接 AIX 的方法及多路徑冗余軟件 POWERPATH 安裝、配置、測試報告第一、 ODM 部分21.安裝前準(zhǔn)備工作2獲取 EMC ODM文件22.安裝配置過程23、安裝后確認(rèn)3第二、 POWERPATH 部分4準(zhǔn)備工作4安裝配置過程4性能測試工作54、 powermt 提供的其他功能245、測試環(huán)境拓?fù)鋱D26第三、 Appendix ：28.第一、 ODM 部分1. 安裝前準(zhǔn)備工作說明：一般情況下， AIX 自帶的 FC 驅(qū)動也可以讓 AIX 正常識別出 EMC 的磁盤，但是會顯示為 other FC disk 之類，這樣 powerpath 是無法管理的，所以要加裝 ODM

2、 。獲取 EMC ODM文件1、 下載 EMC odm 文件，這是針對emc 在 aix 提供的驅(qū)動。下載地址：2. 安裝配置過程1、 下載的文件類型這個名字：EMC.AIX..tar.Z ，通過 FTP 傳到 AIX 上。使用 binary的方式傳，否則無法解壓。2、 gzip d，tar xvf 命令接包。3、 解包之后用installp 命令。4、 安裝的時候重點先看看包里面的readme 文件，里面重點提到的是不管鏈接那種EMC設(shè)備都只能安裝一種 support 軟件，對于 symmetric 而言，只能安裝如下 3 種文件的任意 1種。EMC Symmetrix FCP

3、 Support Software; IBM Fibre Channel driver support.EMC Symmetrix FCP MPIO Support Software; IBM default PCM MPIO support.EMC Symmetrix FCP PowerMPIO Support Software; PowerPath custom PCM MPIO support.（這次測試大部分時間都耗在這個問題上， 以前沒有認(rèn)真看 readme，把全部的都全部安裝了。一旦把全部安裝上， 根本無法識別 sysmmetrix 的盤，這樣導(dǎo)致了后面的 powerpath 也就

4、無法做了費了 2 天時間啊。）5、 安裝結(jié)果如下：# lslpp -l |grep EMC.*EMC.Symmetrix.aix.rteCOMMITTEDEMC Symmetrix AIX SupportEMC.Symmetrix.fcp.rteCOMMITTEDEMC Symmetrix FCP Support6、 如果 EMC 盤已經(jīng)在系統(tǒng)上被識別出來了比如：# lsdev -Ccdiskhdisk0 Available 11-08-00-2,0 16 Bit LVD SCSI Disk Drivehdisk1 Available 11-08-00-4,0 16

5、 Bit LVD SCSI Disk Drivehdisk2 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk3 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk4 Available 3A-08-01MPIO Other FC SCSI Disk Drive.hdisk5 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk6 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk

6、7 Available 3A-08-01MPIO Other FC SCSI Disk Drive使用了 aix 自帶的驅(qū)動，會顯示MPIO Other FC SCSI Disk Drive。7、 先刪除掉這些hdisk 設(shè)備，然后重啟AIX 。（疑問：應(yīng)該不用重啟，直接運行cfgmgr也可以把，但測試中發(fā)現(xiàn)確實重啟才行）3、安裝后確認(rèn)1、 顯示一下 disk 的名字即可# lsdev -Ccdiskhdisk0Available 11-08-00-2,0 16 Bit LVD SCSI Disk Drivehdisk1Available 11-08-00-4,0 16 Bit LVD SCS

7、I Disk Drivehdisk2Available 34-08-01EMC Symmetrix FCP Raid1hdisk3Available 34-08-01EMC Symmetrix FCP Raid1hdisk4Available 34-08-01EMC Symmetrix FCP Raid1hdisk5Available 34-08-01EMC Symmetrix FCP Raid1hdisk6Available 34-08-01EMC Symmetrix FCP Raid1hdisk7Available 34-08-01EMC Symmetrix FCP Raid1hdisk8

8、Available 34-08-01EMC Symmetrix FCP Diskhdisk9Available 34-08-01EMC Symmetrix FCP Raid1hdisk10Available 34-08-01EMC Symmetrix FCP Diskhdisk11Available 3A-08-01EMC Symmetrix FCP Raid1hdisk12Available 3A-08-01EMC Symmetrix FCP Raid1hdisk13Available 3A-08-01EMC Symmetrix FCP Raid1hdisk14Available 3A-08

9、-01EMC Symmetrix FCP Raid1hdisk15Available 3A-08-01EMC Symmetrix FCP Raid1hdisk16Available 3A-08-01EMC Symmetrix FCP Raid1hdisk17Available 3A-08-01EMC Symmetrix FCP Raid1.第二、 POWERPATH部分準(zhǔn)備工作1. 獲取 powerpath 安裝文件到 下載即可。2. 獲取 EMC support matrix到 的 E-Lab 按先導(dǎo)來操作Home > Support > Interoperability and

10、Product Lifecycle Information> E-Lab Interoperability Navigator安裝配置過程1. 安裝過程上面，然后解壓之后使用installp 安裝。2. 配置過程powermt config簡單，一個命令即可powermt display dev=all顯示 PATH# powermt config powerpath0 created# lspv(hdiskpower* 這個設(shè)備出現(xiàn)好像要延遲一點時間，不會馬上出現(xiàn)， 網(wǎng)上還看到說1 天以后才出現(xiàn)的情況。估計是盤比較多，路徑運算需要很多時間，此時連接拓?fù)淙鐖D1)hdisk0000a5e2

11、a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk4noneNonehdisk5noneNone.hdisk6noneNonehdisk7noneNonehdisk8noneNonehdisk9noneNonehdisk10noneNonehdisk11noneNonehdisk12noneNonehdisk13noneNonehdisk14noneNonehdisk15noneNonehdisk16noneNonehdisk17noneNonehdiskpower00

12、002530f757a406bNonehdiskpower10002530f757a532eNonehdiskpower20002530f757a64a6Nonehdiskpower30002530f757a9d86Nonehdiskpower40002530f757abfcaNonehdiskpower50002530f759af8eeNonehdiskpower60002530f75b96e18Nonehdiskpower70002530f759b0cccNone性能測試工作1. 基本功能測試1、 hdisk4 已經(jīng)沒有PVID ，嘗試分配PVID ，竟然成功，并且也hdiskpower

13、設(shè)備重復(fù)# chdev -l hdisk4 -a pv=yes hdisk4 changed# lspvhdisk0000a5e2a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk40002530f757a532eNonehdiskpower10002530f757a532eNone2、參數(shù)在全部hdiskpower* 設(shè)備上面建立VG ，成功；# lsvg tttVOLUMEGROUP:tttVGIDENTIFIER:0002530f00004c000000011b7

14、60be4b3VG STA TE:activePP SIZE:16 megabyte(s)VG PERMISSION:read/writeTOTAL PPs:2064 (33024 megabytes).MAX LVs:256FREE PPs:2064 (33024 megabytes)LVs:0USED PPs:0 (0 megabytes)OPEN LVs:0QUORUM:5TOTAL PVs:8VG DESCRIPTORS: 8STALE PVs:0STALE PPs:0ACTIVE PVs:8AUTO ON:yesMAX PPs per PV: 1016MAX PVs:32LTG si

15、ze:128 kilobyte(s)AUTO SYNC:noHOT SPARE:noBB POLICY:relocatable2、 嘗試在 hdisk 設(shè)備上建立 vg，竟然也成功，有點奇怪了，選擇hdisk4 和 hdisk5 ，慢慢觀察發(fā)現(xiàn)， 其實可以看到 hdiskpower1也已經(jīng) hdiskpower2 也已經(jīng)連接到vg：ttt 了 ,也就是說選 hdisk 或者 hdiskpower 都可以，最后都會反映到hdiskpower 上。# mkvg -y ttt hdisk4 hdisk50516-1254 mkvg: Changing the PVID in the ODM.ttt#

16、 lsvg tttVOLUME GROUP:tttVG IDENTIFIER:0002530f00004c000000011b760ebd42VG STA TE:activePP SIZE:4 megabyte(s)VG PERMISSION:read/writeTOTAL PPs:1374 (5496 megabytes)MAX LVs:256FREE PPs:1374 (5496 megabytes)LVs:0USED PPs:0 (0 megabytes)OPEN LVs:0QUORUM:2TOTAL PVs:2VG DESCRIPTORS: 3STALE PVs:0STALE PPs:

17、0ACTIVE PVs:2AUTO ON:yesMAX PPs per PV: 1016MAX PVs:32LTG size:128 kilobyte(s)AUTO SYNC:noHOT SPARE:noBB POLICY:relocatable# lspvhdisk40002530f757a532etttactivehdisk50002530f757a64a6tttactivehdisk6noneNonehdiskpower00002530f757a406bNonehdiskpower10002530f757a532etttactivehdiskpower20002530f757a64a6t

18、ttactive2.測試路徑（ path fail-over）的使用1、 在線添加一個路徑（可以看到 1、 cfmgr 2 、 powermt config 3 、盤全部被正常識別，并且路徑已經(jīng)添加 ,鏈接情況由圖 1 變成圖 2，添加了 path3）.# cfgmgr -l fcs0# lspvhdisk0000a5e2a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk4noneNonehdisk5noneNonehdisk6noneNonehdisk7noneNon

19、ehdisk8noneNonehdisk9noneNonehdisk10noneNonehdisk11noneNonehdisk12noneNonehdisk13noneNonehdisk14noneNonehdisk15noneNonehdisk16noneNonehdisk17noneNonehdiskpower00002530f757a406bNonehdiskpower10002530f757a532eNonehdiskpower20002530f757a64a6Nonehdiskpower30002530f757a9d86Nonehdiskpower40002530f757abfca

20、Nonehdiskpower50002530f759af8eeNonehdiskpower60002530f75b96e18Nonehdiskpower70002530f759b0cccNonehdisk18noneNonehdisk190002530f757a406bNonehdisk200002530f757a532eNonehdisk210002530f757a64a6Nonehdisk220002530f757a9d86Nonehdisk230002530f757abfcaNonehdisk240002530f75b96e18None# powermt config# lspvhdis

21、k0000a5e2a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk4noneNonehdisk5noneNonehdisk6noneNone.hdisk7noneNonehdisk8noneNonehdisk9noneNonehdisk10noneNonehdisk11noneNonehdisk12noneNonehdisk13noneNonehdisk14noneNonehdisk15noneNonehdisk16noneNonehdisk17noneNonehdi

22、skpower00002530f757a406bNonehdiskpower10002530f757a532eNonehdiskpower20002530f757a64a6Nonehdiskpower30002530f757a9d86Nonehdiskpower40002530f757abfcaNonehdiskpower50002530f759af8eeNonehdiskpower60002530f75b96e18Nonehdiskpower70002530f759b0cccNonehdisk18noneNonehdisk19noneNonehdisk20noneNonehdisk21non

23、eNonehdisk22noneNonehdisk23noneNonehdisk24noneNone# powermt display dev=allPseudo name=hdiskpower6 Symmetrix ID=6Logical device ID=0000state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk17FA4bAactivealiv

24、e010 fscsi0hdisk24FA5bAactivealive001 fscsi1hdisk9FA4aAactivealive00Pseudo name=hdiskpower0Symmetrix ID=6Logical device ID=0001state=alive; policy=SymmOpt; priority=0; queued-IOs=0=.- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk12FA4bAactivealive010 fs

25、csi0hdisk19FA5bAactivealive001 fscsi1hdisk3FA4aAactivealive00Pseudo name=hdiskpower1Symmetrix ID=6Logical device ID=0002state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk13FA4bAactivealive010 fscsi0hdis

26、k20FA5bAactivealive001 fscsi1hdisk4FA4aAactivealive00Pseudo name=hdiskpower2Symmetrix ID=6Logical device ID=0003state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk14FA4bAactivealive010 fscsi0hdisk21FA5bA

27、activealive001 fscsi1hdisk5FA4aAactivealive00Pseudo name=hdiskpower3Symmetrix ID=6Logical device ID=0004state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk15FA4bAactivealive010 fscsi0hdisk22FA5bAactiveal

28、ive001 fscsi1hdisk6FA4aAactivealive00Pseudo name=hdiskpower4.Symmetrix ID=6Logical device ID=0005state=alive; policy=SymmOpt; priority=0; queued-IOs=0 =- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk16FA4bAactivealive010 fscsi0hdisk23FA5bAactivealive001

29、 fscsi1hdisk7FA4aAactivealive00Pseudo name=hdiskpower5Symmetrix ID=6Logical device ID=0008state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=1 fscsi1hdisk8FA4aAactivealive00Pseudo name=hdiskpower7Symmetrix ID=6Logica

30、l device ID=0009state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=1 fscsi1hdisk10FA 4aAactive alive002、 把 path2 的光纖拔下，模擬生產(chǎn)中連接斷開的情況# errpt |more（可以看到 fcs1 錯誤，鏈接的hdisk3 hdiak10 全部報錯）IDENTIFIER TIMESTAMPT C RESOURCE_NA

31、MEDESCRIPTION3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk8CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk9CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF073107320

32、8 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk10CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk3CONNECTION FAILURE.3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIV

33、E516A2BC40731073208 P H hdisk4CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk5CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk6

34、CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk7CONNECTION FAILUREB8113DD10731073208 T H fcs1LINK ERROR檢查 powerpath 的路徑， hdisk3 hdisk10對于的路徑全部state成了 dead。# powermt display dev=allPseudo name=hdiskpower6 Symmetrix

35、 ID=6Logical device ID=0000state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk17FA4bAactivealive010 fscsi0hdisk24FA5bAactivealive001 fscsi1hdisk9FA4aAactivedead01Pseudo name=hdiskpower0Symmetrix ID=6Logi

36、cal device ID=0001state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk12FA4bAactivealive010 fscsi0hdisk19FA5bAactivealive001 fscsi1hdisk3FA4aAactivedead01Pseudo name=hdiskpower1Symmetrix ID=6Logical devic

37、e ID=0002state=alive; policy=SymmOpt; priority=0; queued-IOs=0.=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk13FA4bAactivealive010 fscsi0hdisk20FA5bAactivealive001 fscsi1hdisk4FA4aAactivedead01Pseudo name=hdiskpower2Symmetrix ID=6Logical device ID=000

38、3state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk14FA4bAactivealive010 fscsi0hdisk21FA5bAactivealive001 fscsi1hdisk5FA4aAactivedead01Pseudo name=hdiskpower3Symmetrix ID=6Logical device ID=0004state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk15FA4bAactivealive010 fscsi0hdisk22FA5bAactivealive001 fscsi1hdisk6FA4aAactivedead01Pseudo name=hdiskpower4S