GPFS安裝實(shí)施和維護(hù)

20232023.10伊迪艾電腦科技〔中國(guó)〕伊迪艾電腦科技GPFS安裝實(shí)施和維護(hù)AIX下GPFS安裝配置及維護(hù)鄒旭目錄1.概述 31.1IBMGPFS功能介紹 31.2GPFS體系架構(gòu)介紹 3?磁盤 3?網(wǎng)絡(luò)共享磁盤〔NSD〕 4?GPFS文件設(shè)備 4?連接模式：如下列圖 41.3GPFS的優(yōu)勢(shì) 52.GPFS安裝配置步驟 52.1GPFS安裝準(zhǔn)備 52.2GPFS軟件的安裝 6A.GPFS軟件放在目錄 6B.升級(jí)包 6C.通過SMIT安裝命令進(jìn)行安裝和升級(jí) 6D.成功的安裝完GPFS之后 7E.添加/etc/environment的執(zhí)行路徑 73.創(chuàng)立GPFS心跳地址 74.配置GPFS集群 84.1配置節(jié)點(diǎn)文件 84.2建立GPFS集群 84.3確認(rèn)查看GPFS集群 94.4激活GPFS授權(quán) 95配置GPFS的共享盤 105.1建立NSD〔NetworkSharedDisk〕文件 105.2生成NSD盤 105.3確認(rèn)結(jié)果 115.4啟動(dòng)GPFS系統(tǒng) 116配置GPFS的共享文件系統(tǒng) 116.1建立GPFS文件系統(tǒng) 116.2確認(rèn)文件系統(tǒng) 126.3裝載文件系統(tǒng) 136.4建立目錄 137配置GPFS的屬性 137.1配置GPFS選項(xiàng)屬性 13實(shí)施結(jié)果 158.GPFS管理和維護(hù) 168.1主機(jī)應(yīng)用的啟動(dòng)順序 168.2GPFS的啟動(dòng)和關(guān)閉 16節(jié)點(diǎn)狀態(tài) 168.3GPFS的文件系統(tǒng)管理 178.4GPFS的集群管理 178.5GPFS的磁盤管理 178.6GPFS的日志和安裝路徑 18其他有用的GPFS操作 181.新增一個(gè)節(jié)點(diǎn) 182.更換硬盤 183.停掉節(jié)點(diǎn) 194.修改inode數(shù)量 195.去除GPFS 191.概述1.1IBMGPFS功能介紹GPFS(GeneralParallelFileSystem)是IBM公司第一個(gè)共享文件系統(tǒng)，起源于IBMSP系統(tǒng)上使用的虛擬共享磁盤技術(shù)(VSD)。作為這項(xiàng)技術(shù)的核心，GPFS是一個(gè)并行的磁盤文件系統(tǒng)，它保證在資源組內(nèi)的所有節(jié)點(diǎn)可以并行訪問整個(gè)文件系統(tǒng)。而且針對(duì)此文件系統(tǒng)的效勞操作，可以同時(shí)平安地在使用此文件系統(tǒng)的多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。GPFS允許客戶共享文件，而這些文件可能分布在不同節(jié)點(diǎn)的不同硬盤上。它提供了許多標(biāo)準(zhǔn)的UNIX文件系統(tǒng)接口，允許應(yīng)用不需修改或者重新編輯就可以在其上運(yùn)行。GPFS也支持UNIX文件系統(tǒng)的工具，即：用戶可以像使用普通文件系統(tǒng)一樣使用基于GPFS的文件系統(tǒng)，唯一不同的在于管理GPFS文件系統(tǒng)的命令。GPFS提供的文件系統(tǒng)操作效勞可以支持并行應(yīng)用和串行應(yīng)用，它允許任何節(jié)點(diǎn)〔這些節(jié)點(diǎn)屬于同一個(gè)節(jié)點(diǎn)組〕上的并行應(yīng)用同時(shí)訪問同一個(gè)文件者不同的文件。1.2GPFS體系架構(gòu)介紹GPFS文件系統(tǒng)根本上由三層架構(gòu)組成：磁盤，網(wǎng)絡(luò)共享磁盤〔NSD〕，GPFS文件設(shè)備，如下列圖所示。?磁盤GPFS文件系統(tǒng)最底層的是物理磁盤設(shè)備。原那么上可以采用系統(tǒng)上任何塊設(shè)備，包括磁盤，磁盤分區(qū)，邏輯卷。從物理連接上來看，GPFS支持使用所有方式連接的磁盤。包括本地IDE磁盤，本地SCSI磁盤，光纖SAN磁盤，iSCSI磁盤，等等。?網(wǎng)絡(luò)共享磁盤〔NSD〕NSD是由磁盤映射出來的虛擬設(shè)備，NSD與磁盤是一一對(duì)應(yīng)的關(guān)系。NSD被標(biāo)記了不同性來區(qū)分其用途，我們可以將磁盤標(biāo)記為4種用途：DescOnly：只存儲(chǔ)GPFS文件系統(tǒng)描述信息的磁盤。DataOnly：只存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)信息。Metadataonly:只存儲(chǔ)文件系統(tǒng)中的目錄結(jié)構(gòu)inode信息。Metaanddata:存儲(chǔ)所有信息〔默認(rèn)〕。?GPFS文件設(shè)備GPFS設(shè)備是一個(gè)可被系統(tǒng)掛載的文件設(shè)備，由NSD創(chuàng)立而成，可以并行的同時(shí)掛載在多個(gè)節(jié)點(diǎn)上。?連接模式：如下列圖將存儲(chǔ)LUN/disk配置映射到GPFS集群節(jié)點(diǎn)–依據(jù)系統(tǒng)需求的不同，disk連接拓?fù)淇赡軙?huì)有差異SAN存儲(chǔ)模式是將所有節(jié)點(diǎn)直接映射到所有節(jié)點(diǎn)NSD模式只需由作為NSDServer的節(jié)點(diǎn)鏈接disk混合模式可以是局部節(jié)點(diǎn)直接連接存儲(chǔ)，局部做為NSDClient，它們通過NSDServer，通過IP網(wǎng)絡(luò)進(jìn)行IO訪問(NetworkBlockIO)1.3GPFS的優(yōu)勢(shì)?高性能GPFS允許在同一節(jié)點(diǎn)內(nèi)的多進(jìn)程或者應(yīng)用使用標(biāo)準(zhǔn)文件系統(tǒng)調(diào)用，同時(shí)訪問〔并發(fā)，讀寫〕同一個(gè)文件。通過將節(jié)點(diǎn)內(nèi)讀寫操作分布到多個(gè)磁盤上，大大增加了文件系統(tǒng)的帶寬，通過整個(gè)系統(tǒng)的負(fù)載均衡防止了某個(gè)磁盤過大的讀寫。?跨平臺(tái)設(shè)計(jì)GPFS支持在一個(gè)集群內(nèi)參加異構(gòu)的平臺(tái)。支持異構(gòu)的硬件環(huán)境：Systemp,Systemx。支持異構(gòu)的操作系統(tǒng)：AIX,Linux。?數(shù)據(jù)一致性GPFS通過一套復(fù)雜的信令管理機(jī)制提供數(shù)據(jù)一致性。通過這套機(jī)制允許任意節(jié)點(diǎn)通過各自獨(dú)立的路徑到達(dá)同一個(gè)文件。即使節(jié)點(diǎn)無法正常工作，GPFS也可以找到其它的路徑。?數(shù)據(jù)平安性GPFS是一種日志文件系統(tǒng)，為不同節(jié)點(diǎn)建立各自獨(dú)立的日志。日志中記錄metadata的分布，一旦節(jié)點(diǎn)發(fā)生故障后，可以保證快速恢復(fù)數(shù)據(jù)。GPFS的fail-over功能通過規(guī)劃，將數(shù)據(jù)分布到不同failuregroup內(nèi)到達(dá)高可用性，減少單點(diǎn)故障的影響。為了保證數(shù)據(jù)可用性，GPFS在多個(gè)failuregroup內(nèi)為每個(gè)數(shù)據(jù)實(shí)例做備份，即使創(chuàng)立文件系統(tǒng)時(shí)沒有要求復(fù)制，GPFS也會(huì)自動(dòng)在不同的failuregroup內(nèi)復(fù)制恢復(fù)日志。?系統(tǒng)可擴(kuò)展性通過GPFS，系統(tǒng)資源可以動(dòng)態(tài)調(diào)整，可以在文件系統(tǒng)掛載情況下添加或者刪除硬盤。系統(tǒng)處于相對(duì)空閑時(shí)，用戶可以在已配置的硬盤上重新均衡文件系統(tǒng)以提高吞吐量。可以在不重新啟動(dòng)GPFS效勞情況下添加新節(jié)點(diǎn)。?管理簡(jiǎn)單GPFS自動(dòng)在各個(gè)節(jié)點(diǎn)間同步配置文件和文件系統(tǒng)信息，而且在同一個(gè)節(jié)點(diǎn)內(nèi)，對(duì)GPFS的管理可以在任一個(gè)節(jié)點(diǎn)上進(jìn)行。2.GPFS安裝配置步驟2.1GPFS安裝準(zhǔn)備安裝GPFS之前必須配置：-存儲(chǔ)到IBMP系列主機(jī)-并且安裝多路徑軟件包中存儲(chǔ)的高可用-訪問配置修改所有機(jī)器的/etc/hosts,將以下行參加，使得機(jī)器之間互相能解析主機(jī)名。/etc/hosts#gpfsstart1gpfs11gpfs210.66.5.51App110.66.5.52App210.66.5.53App310.66.5.54App4#gpfsend-建立主機(jī)的信任關(guān)系〔使用.rhosts)修改所有效勞器的/.rhosts,將2個(gè)NSD效勞器主機(jī)名參加/.rhostsgpfs1rootgpfs2root2.2GPFS軟件的安裝A.GPFS軟件放在目錄：/tmp/gpfsinsB.升級(jí)包放到：/tmp/gpfsins/up下并用解壓命令解壓：gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-xvf-輸出：#gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-vxf-xchangelog,2518bytes,5mediablocks.xREADME,3832bytes,8mediablocks.xU860137.gpfs.docs.data.bff,926720bytes,1810mediablocks.xU869521.gpfs.msg.en_US.bff,202328bytes,394mediablocks.xU869771.gpfs.base.bff,50028544bytes,97712mediablocks.xU869772.gpfs.gnr.bff,98106368bytes,191614mediablocks.#lsU860137.gpfs.docs.data.bffU869771.gpfs.base.bffchangelogC.通過SMIT安裝命令進(jìn)行安裝和升級(jí)#smittyinstallp進(jìn)入軟件安裝菜單輸出：#lslpp-lgpfs*FilesetLevelStateDescriptionPath:/usr/lib/objreposgpfs.base3.5.0.3COMMITTEDGPFSFileManagergpfs.gnr3.5.0.3COMMITTEDGPFSNativeRAIDgpfs.msg.en_US3.5.0.3COMMITTEDGPFSServerMessages-U.S.EnglishPath:/etc/objreposgpfs.base3.5.0.3COMMITTEDGPFSFileManagerPath:/usr/share/lib/objreposgpfs.docs.data3.5.0.3COMMITTEDGPFSServerManpagesandDocumentation#smittyupdate_all進(jìn)入軟件升級(jí)菜單輸出#lslpp-lgpfs*FilesetLevelStateDescriptionPath:/usr/lib/objreposgpfs.base3.5.0.26COMMITTEDGPFSFileManagergpfs.gnr3.5.0.22COMMITTEDGPFSNativeRAIDgpfs.msg.en_US3.5.0.22COMMITTEDGPFSServerMessages-U.S.EnglishPath:/etc/objreposgpfs.base3.5.0.26COMMITTEDGPFSFileManagerPath:/usr/share/lib/objreposgpfs.docs.data3.5.0.4COMMITTEDGPFSServerManpagesandDocumentationD.成功的安裝完GPFS之后，運(yùn)行命令#lslpp-l|grepgpfs*列出如下所示輸出：同上E.添加/etc/environment的執(zhí)行路徑：/usr/lpp/mmfs/bin修改MM*路徑編輯每臺(tái)機(jī)器/etc/environment文件，在PATH字段參加mmfs路徑PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java5/jre/bin:/usr/java5/bin:/usr/lpp/mmfs:/usr/lpp/mmfs/sbin:/usr/lpp/mmfs/bin3.創(chuàng)立GPFS心跳地址注：假設(shè)條件允許，那么GPFS心跳地址可單獨(dú)設(shè)置在任一網(wǎng)卡接口上。[root@Lpar1:/]smittytcpip*HOSTNAME[gpfs1]*InternetADDRESS(dotteddecimal)[10.10.10.1]NetworkMASK(dotteddecimal)[255.255.255.0]*NetworkINTERFACEen3NAMESERVERInternetADDRESS(dotteddecimal)[]DOMAINName[]DefaultGatewayAddress(dotteddecimalorsymbolicname)[]Cost[]DoActiveDeadGatewayDetection?NoYourCABLETypeN/ASTARTNowno[root@Lpar2:/]smittytcpip*HOSTNAME[gpfs2]*InternetADDRESS(dotteddecimal)[10.10.10.2]NetworkMASK(dotteddecimal)[255.255.255.0]*NetworkINTERFACEen3NAMESERVERInternetADDRESS(dotteddecimal)[]DOMAINName[]DefaultGatewayAddress(dotteddecimalorsymbolicname)[]Cost[]DoActiveDeadGatewayDetection?NoYourCABLETypeN/ASTARTNowno[root@Lpar2:/]cat/etc/hosts#192.168.1.140LPAR1#192.168.1.141LPAR210.10.10.1LPAR110.10.10.2LPAR2注：可將hosts中其它IP暫時(shí)注釋，只保存GPFS心跳地址，因?yàn)閯?chuàng)立GPFS集群時(shí)會(huì)解析到其它地址，待mmcrcluster這步后再恢復(fù)正常4.配置GPFS集群4.1配置節(jié)點(diǎn)文件vi/tmp/gpfs/nodefilegpfs1:quorumgpfs2:quorum或：[root@Lpar2:/]mkdir/usr/lpp/mmfs[root@Lpar2:/]vi/usr/lpp/mmfs/nodefilegpfs1:manager-quorumgpfs2:manager-quorum盡量用第一種方法，后面的采用多個(gè)Tiebreakerquorum盤才能生效注：1、一個(gè)集群中至少需要一個(gè)仲裁〔quorum〕節(jié)點(diǎn)，當(dāng)一個(gè)集群中的仲裁節(jié)點(diǎn)少于一半，GPFS將無法啟動(dòng)。2、一個(gè)集群中，建議至少要有個(gè)一主一備的配置信息效勞器。4.2建立GPFS集群〔這一步必須重啟兩臺(tái)效勞器才能執(zhí)行此命令〕主管理者gpfs1同時(shí)將其作為quorum和manager節(jié)點(diǎn)。先確保清理干凈原先GPFS集群#mmdelnode-f#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2#mmcrcluster-Cedin-Ubgbc-N/tmp/gpfs/nodefile-pgpfs1-sgpfs2#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2MonOct1904:47:00CST2023:6027-1664mmcrcluster:Processingnodegpfs1MonOct1904:47:02CST2023:6027-1664mmcrcluster:Processingnodegpfs2mmcrcluster:Commandsuccessfullycompletedmmcrcluster:6027-1254Warning:NotallnodeshaveproperGPFSlicensedesignations.Usethemmchlicensecommandtodesignatelicensesasneeded.mmcrcluster:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.其中參數(shù)含義-Cbgbcrun設(shè)定集群名稱-Ubgbc定義域名-N/tmp/gpfs/nodefile指定節(jié)點(diǎn)文件名-pgpfs1指定主NSD效勞器為gpfs1-sgpfs2指定備NSD效勞器為gpfs24.3確認(rèn)查看GPFS集群(顯示)#mmlscluster===============================================================================|Warning:||ThisclustercontainsnodesthatdonothaveaproperGPFSlicense||designation.ThisviolatesthetermsoftheGPFSlicensingagreement.||UsethemmchlicensecommandandassigntheappropriateGPFSlicenses||toeachofthenodesinthecluster.FormoreinformationaboutGPFS||licensedesignation,seetheConcepts,Planning,andInstallationGuide.|===============================================================================GPFSclusterinformation========================GPFSclustername:edin.gpfs1GPFSUIDdomain:edin.gpfs1Remoteshellcommand:/usr/bin/rshRemotefilecopycommand:/usr/bin/rcpGPFSclusterconfigurationservers:Primaryserver:gpfs1Secondaryserver:gpfs2NodeDaemonnodenameIPaddressAdminnodenameDesignation1gpfs1192.168.0.62gpfs1quorum-manager2gpfs2192.168.0.63gpfs2quorum-manager4.4激活GPFS授權(quán)#mmchlicenseserver--accept-Ngpfs1,gpfs2ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:gpfs1gpfs2mmchlicense:Commandsuccessfullycompletedmmchlicense:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.激活后將看不到關(guān)于License的警告信息#mmlsclusterGPFSclusterinformation========================GPFSclustername:edin.gpfs1GPFSUIDdomain:edin.gpfs1Remoteshellcommand:/usr/bin/rshRemotefilecopycommand:/usr/bin/rcpGPFSclusterconfigurationservers:Primaryserver:gpfs1Secondaryserver:gpfs2NodeDaemonnodenameIPaddressAdminnodenameDesignation1gpfs1192.168.0.62gpfs1quorum-manager2gpfs2192.168.0.63gpfs2quorum-manager5配置GPFS的共享盤5.1建立NSD〔NetworkSharedDisk〕文件:#vinsdfilehdisk1:gpfs1:gpfs2:dataAndMetadata::cddisk1hdisk2:gpfs1:gpfs2:dataAndMetadata::cddisk2hdisk3:gpfs1:gpfs2:dataAndMetadata::cddisk35.2生成NSD盤#mmcrnsd-F/usr/lpp/mmfs/nsdfilemmcrnsd:Processingdiskhdisk1mmcrnsd:Processingdiskhdisk2mmcrnsd:Processingdiskhdisk3mmcrnsd:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.此時(shí)，該文件作了轉(zhuǎn)換catnsdfile#catnsdfile#hdisk1:gpfs1:gpfs2:dataAndMetadata::cddisk1cddisk1:::dataAndMetadata:-1::system#hdisk2:gpfs1:gpfs2:dataAndMetadata::cddisk2cddisk2:::dataAndMetadata:-1::system#hdisk3:gpfs1:gpfs2:dataAndMetadata::cddisk3cddisk3:::dataAndMetadata:-1::system5.3確認(rèn)結(jié)果lspv|grepgpfshdisk100f64935c14a9e3dcddisk1hdisk2nonecddisk2hdisk3nonecddisk35.4啟動(dòng)GPFS系統(tǒng)mmstartup-aThuJun1615:52:12BEIST2023:6027-1642mmstartup:StartingGPFS...bfts1:6027-2114TheGPFSsubsystemisalreadyactive.bfts2:6027-2114TheGPFSsubsystemisalreadyactive.確認(rèn)狀態(tài)#mmgetstate-aNodenumberNodenameGPFSstate1gpfs1active2gpfs2activeroot@LPAR1:/]#mmgetstate–aL–s-a所有節(jié)點(diǎn)-L列出仲裁數(shù)-s增加匯總信息6配置GPFS的共享文件系統(tǒng)6.1建立GPFS文件系統(tǒng)#mmcrfs/sharesharelv-F/usr/lpp/mmfs/nsdfile-Ayes-B64K-n30-vnoGPFS:6027-531Thefollowingdisksofsharelvwillbeformattedonnodegpfs1:cddisk1:size209715200KBcddisk2:size209715200KBcddisk3:size2097152KBGPFS:6027-540Formattingfilesystem...GPFS:6027-535Disksuptosize1.7TBcanbeaddedtostoragepoolsystem.CreatingInodeFileCreatingAllocationMapsCreatingLogFilesClearingInodeAllocationMapClearingBlockAllocationMapFormattingAllocationMapforstoragepoolsystemGPFS:6027-572Completedcreationoffilesystem/dev/sharelv.mmcrfs:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.參數(shù)含義如下：/share文件系統(tǒng)mount點(diǎn)名sharelv指定文件系統(tǒng)lv名-F指定NSD的文件名-A自動(dòng)mount選項(xiàng)為yes-B塊大小為1024K-v校驗(yàn)建立磁盤是否已有文件系統(tǒng)為否6.2確認(rèn)文件系統(tǒng)#mmlsfssharelvflagvaluedescription-f2048Minimumfragmentsizeinbytes-i512Inodesizeinbytes-I8192Indirectblocksizeinbytes-m1Defaultnumberofmetadatareplicas-M2Maximumnumberofmetadatareplicas-r1Defaultnumberofdatareplicas-R2Maximumnumberofdatareplicas-jclusterBlockallocationtype-Dnfs4Filelockingsemanticsineffect-kallACLsemanticsineffect-n30Estimatednumberofnodesthatwillmountfilesystem-B65536Blocksize-QnoneQuotasenforcednoneDefaultquotasenabled--filesetdfnoFilesetdfenabled?-V13.23(3.5.0.7)Filesystemversion--create-timeMonOct1905:58:262023Filesystemcreationtime-uyesSupportforlargeLUNs?-znoIsDMAPIenabled?-L4194304Logfilesize-EyesExactmtimemountoption-SnoSuppressatimemountoption-KwhenpossibleStrictreplicaallocationoption--fasteayesFastexternalattributesenabled?--inode-limit412032Maximumnumberofinodes-PsystemDiskstoragepoolsinfilesystem-dcddisk1;cddisk2;cddisk3Disksinfilesystem--perfileset-quotanoPer-filesetquotaenforcement-AyesAutomaticmountoption-ononeAdditionalmountoptions-T/shareDefaultmountpoint--mount-priority0Mountpriority大多數(shù)選項(xiàng)可用mmchfs來修改6.3裝載文件系統(tǒng)#mount/dev/sharelv#df-gFilesystemGBblocksFree%UsedIused%IusedMountedon/dev/hd40.250.0675%1035640%//dev/hd22.620.0599%5180475%/usr/dev/hd9var0.560.2360%895814%/var/dev/hd32.001.6617%631%/tmp/dev/hd10.060.061%51%/home/dev/hd11admin0.120.121%51%/admin/proc-----/proc/dev/hd10opt0.380.1561%1042023%/opt/dev/livedump0.250.251%41%/var/adm/ras/livedump/dev/sharelv402.00401.481%40361%/share6.4建立目錄[App1][root][/]>mkdir/share/user1work[App1][root][/]>chownuser1:bea/share/user1work[App1][root][/]>chmod700/share/user1work[App1][root][/]>mkdir/share/user1temp[App1][root][/]>chownuser1:bea/share/user1temp[App1][root][/]>chmod750/share/user1temp同樣在另3臺(tái)機(jī)器建立其他目錄并修改相應(yīng)所有者即權(quán)限，即work目錄只有所有者可操作，temp目錄可讀可進(jìn)入。7配置GPFS的屬性7.1配置GPFS選項(xiàng)屬性a.在節(jié)點(diǎn)開機(jī)后自動(dòng)啟動(dòng)GPFS#mmchconfigautoload=yesmmchconfig:Commandsuccessfullycompletedmmchconfig:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.b.采用多個(gè)Tiebreakerquorum盤？？？？#mmchconfigTiebreakerdisk="cddisk1;cddisk2;cddisk3"mmchconfig:6027-1377Attention:Unknownattributespecified:Tiebreakerdisk.PresstheENTERkeytocontinue.mmchconfig:6027-1573Commandcompleted:Nochangesmadec.更改pagepool大小#mmchconfigpagepool=512mmmchconfig:Commandsuccessfullycompletedmmchconfig:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.d.顯示GPFS屬性〔注意下面的區(qū)別〕#mmlsconfigConfigurationdataforclusteredin.gpfs1:myNodeConfigNumber1clusterNameedin.gpfs1autoloadyesdmapiFileHandleSize32pagepool512madminModecentralFilesystemsinclusteredin.gpfs1:/dev/sharelv#mmlsconfigConfigurationdataforclusteritas.bfts1:clusterNameitas.bfts1clusterIdclusterTypelcautoloadyesminReleaseLeveldmapiFileHandleSize32pagepool512mtiebreakerDisksitasgpfs1;itasgpfs2;itasgpfs3Filesystemsinclusteritas.bfts1:/dev/gpfs_itas至此GPFS的安裝配置完成#mmgetstate-aNodenumberNodenameGPFSstate1gpfs1active2gpfs2active實(shí)施結(jié)果最終，通過userid的不同，在gpfs1的共享目錄/share下，user1只能讀寫自己文件夾的文件，對(duì)其它用戶的temp目錄可讀，對(duì)其它用戶的work目錄不能讀寫。[App1][/share]>ls-latrdrwx2user1bea2048Jun2817:21user1workdrwxr--x--2user1bea2048Jun2817:21user1tempdrwx2502bea2048Jun2817:22user2workdrwxr--x2502bea2048Jun2817:22user2tempdrwx2503bea2048Jun2817:22user3workdrwxr-x--2503bea2048Jun2817:22user3tempdrwxr2504bea2048Jun2817:22user4workdrwxr-x2504bea2048Jun2817:23user4temp[App1][user1][/share]>cduser2workksh:user2temp:Permissiondenied.[App1][user1][/share]>cduser2temp[App1][user1][/share]>>aThefileaccesspermissionsdonotallowthespecifiedaction.ksh[2]:a:0403-005Cannotcreatethespecifiedfile.[App1][user1][/share]>cd/user1temp[App1][user1][/share/user1temp]>>a[App1][user1][/share/user1temp]>ls-l-rw-r1user1bea0Aug1318:47a[App1][user1][/share/xhtemp]>rma[App1][user1][/share/xhtemp]>ls-l[App1][/share]>ls-latrdrwxr2user1bea2048Jun2817:21user1workdrwxr2user1bea2048Jun2817:21user1tempdrwxr2502bea2048Jun2817:22user2workdrwxr2502bea2048Jun2817:22user2tempdrwxr2503bea2048Jun2817:22user3workdrwxr2503bea2048Jun2817:22user3tempdrwxr2504bea2048Jun2817:22user4workdrwxr2504bea2048Jun2817:23user4temp同樣，在其它3臺(tái)機(jī)器也有類似我們希望的結(jié)果。8.GPFS管理和維護(hù)8.1主機(jī)應(yīng)用的啟動(dòng)順序啟動(dòng)GPFSmmstartup–adf–g/gpfs1啟動(dòng)HACMPsmittyclstart啟動(dòng)ORACLE數(shù)據(jù)庫(kù)#su–oracle$>sqlplus“/assysdba〞SQL>startup8.2GPFS的啟動(dòng)和關(guān)閉GPFS的啟動(dòng)mmstartup–aroot@LPAR1:/]#mmstartupLPAR1//單節(jié)點(diǎn)啟動(dòng)root@LPAR1:/]#mmstartup-NLPAR1,LPAR2//多節(jié)點(diǎn)啟動(dòng)root@LPAR1:/]#mmstartup–a//多有節(jié)點(diǎn)啟動(dòng)GPFS的關(guān)閉mmshutdown–aroot@LPAR1:/]#mmshutdownLPAR1//關(guān)閉單節(jié)點(diǎn)root@LPAR1:/]#mmshutdownLPAR1，LPAR2//關(guān)閉多節(jié)點(diǎn)root@LPAR1:/]#mmshutdown-a//關(guān)閉所有節(jié)點(diǎn)單個(gè)節(jié)點(diǎn)gpfs的啟動(dòng)和關(guān)閉mmstartup/mmshutdown節(jié)點(diǎn)狀態(tài)root@LPAR1:/]#mmgetstate–aL–s-a所有節(jié)點(diǎn)-L列出仲裁數(shù)-s增加匯總信息GPFS的進(jìn)程監(jiān)控ps–ef|grepmmfsdmmgetstate-a8.3GPFS的文件系統(tǒng)管理Mount文件系統(tǒng)mount/dev/gpfs1Umount文件系統(tǒng)umount/dev/gpfs1刪除文件系統(tǒng)mmdelfsmmdelfsgpfs1mmchfsmmlsfsmmlsfsgpfs1mmdfmmdfgpfs18.4GPFS的集群管理創(chuàng)立gpfsclustermmcrcluster觀察gpfscluster配置信息mmlsclustermmlsconfig增加節(jié)點(diǎn)到clustermmaddnodenodename刪除節(jié)點(diǎn)從clustermmdelnodenodename注：不能是configserver和NSDserver顯示節(jié)點(diǎn)信息mmlsnode-a改變cluster配置信息mmchcluster改變primary和secondaryconfigserver到其他節(jié)點(diǎn)mmchcluster-pnodenamemmchconfigmmchconfigtiebreakerDisks="nsdName;nsdName;nsdName"8.5GPFS的磁盤管理mmcrnsdmmlsnsdmmadddiskmmdeldiskmmchdiskmmchdiskfs1change-d"gpfs2nsd:::dataOnly"mmchnsdmmchnsd"gpfs47nsd:nodename1:nodename2"mmlsdiskm