rhel6.4-rhcs集群安裝配置

1/1rhel6.4_rhcs集群安裝配置1、概述：

試驗(yàn)環(huán)境:節(jié)點(diǎn)1：

節(jié)點(diǎn)2：

iscsi存儲(chǔ)/配置服務(wù)器：

iscsi.sonic.com任務(wù):使用基于Web管理方式的Conga工具創(chuàng)建、管理兩節(jié)點(diǎn)Cluster,然后以一個(gè)簡(jiǎn)單的web服務(wù)(node2.sonic.com10.100.20.110.100.20.210.100.20.32、原理介紹：

cman集群管理器cman是一個(gè)基于內(nèi)核的對(duì)稱通用集群管理器。

它由兩部分組成：

連接管理器(cnxman)，用于處理成員、消息、投票數(shù)、事件通知和過(guò)渡；服務(wù)管理器(SM)，用于處理那些需要通過(guò)各種方式進(jìn)行集群管理的應(yīng)用及外部系統(tǒng)。

cman是RHCS中最核心的服務(wù)，可通過(guò)系統(tǒng)中的serivce命令進(jìn)行啟/停操作；DLM、GFS、CLVM及Fence都依賴于cman群集管理器。

rgmanager資料組管理器rgmanager(ResourceGroupManager)基于cman并使用DLM動(dòng)態(tài)鎖管理機(jī)制。

與cman一樣，rgmanager也是RHCS中的一個(gè)核心服務(wù)，可通過(guò)系統(tǒng)中的serivce命令進(jìn)行啟/停操作；rgmanager管理并為集群中的Service(服務(wù))和Resources(資源)提供Failover錯(cuò)誤切換功能。

Service(服務(wù))每個(gè)服務(wù)都被指定存在于一個(gè)FailoverDomain中，并與多個(gè)Resources(資源)關(guān)聯(lián)。

每個(gè)服務(wù)可以理解為實(shí)際操作中的一個(gè)應(yīng)用，如Web服務(wù)器、Java中間件、數(shù)據(jù)庫(kù)、文件共享系統(tǒng)、郵件系統(tǒng)等。

這些應(yīng)用在運(yùn)行時(shí)不但對(duì)應(yīng)用程序本身有要求(如某個(gè)運(yùn)行指令或多個(gè)運(yùn)行腳本的組合)，還要提供對(duì)諸如虛擬IP、文件系統(tǒng)等資源的支持。

FailoverDomain(錯(cuò)誤切換域)每個(gè)FailoverDomain都與兩個(gè)或兩個(gè)以上的Node(服務(wù)器節(jié)點(diǎn))進(jìn)行綁定，F(xiàn)ailoverDomain指定了集群中某個(gè)Service運(yùn)行時(shí)的范圍，也就是指定此Service將會(huì)由哪些服務(wù)器提供Failover錯(cuò)誤切換功能。

每個(gè)Node都允許與多個(gè)FailoverDomain進(jìn)行綁定，也就是說(shuō)每個(gè)Node都可以為多個(gè)Service服務(wù)，因此可以實(shí)現(xiàn)主動(dòng)/主動(dòng)(雙活動(dòng))方式的集群配置。

Resources(資源)Resources指的是組成一個(gè)應(yīng)用所需的各種組件，通常包括：

應(yīng)用程序、虛擬IP、文件系統(tǒng)。

資源與Service組合時(shí)，往往還會(huì)體現(xiàn)出一定的層次關(guān)系，例如：

通常系統(tǒng)都要求確認(rèn)虛擬IP及文件系統(tǒng)都已經(jīng)正常連接及掛載后，才可以運(yùn)行某個(gè)應(yīng)用程序，這個(gè)順序一旦調(diào)轉(zhuǎn)，就會(huì)使應(yīng)用程序運(yùn)行出錯(cuò)。

Fence機(jī)制在RHCS集群運(yùn)行時(shí)，為了避免因出現(xiàn)不可預(yù)知的情況而造成的腦裂現(xiàn)象(如：

心跳線斷連，此時(shí)兩臺(tái)服務(wù)器都無(wú)法找到對(duì)方，無(wú)法向?qū)Ψ桨l(fā)出操作指令，都各自認(rèn)為自己是主節(jié)點(diǎn)；又或者主服務(wù)器系統(tǒng)崩潰，系統(tǒng)能接收到備用服務(wù)器的操作指令，但無(wú)法返回運(yùn)行情況的確認(rèn)信號(hào)，導(dǎo)致備用服務(wù)器無(wú)法獲知系統(tǒng)資源的使用情況)，系統(tǒng)要求通過(guò)Fence機(jī)制來(lái)保障系統(tǒng)切換時(shí)的I/O使用安全。

如上所述，F(xiàn)ence主要就是通過(guò)服務(wù)器或存儲(chǔ)本身的硬件管理接口，又或者是外部電源管理設(shè)備，來(lái)對(duì)服務(wù)器或存儲(chǔ)發(fā)起直接的硬件管理指令，控制服務(wù)器或存儲(chǔ)鏈路的開關(guān)。

因此，F(xiàn)ence機(jī)制也被稱為I/O屏障技術(shù)。

當(dāng)腦裂發(fā)生時(shí)徹底斷開問(wèn)題服務(wù)器的所有I/O連接，保證問(wèn)題服務(wù)器不能對(duì)集群中的I/O資源(共享的文件系統(tǒng)資源)進(jìn)行任何操作，嚴(yán)格保證集群環(huán)境中企業(yè)核心數(shù)據(jù)的完整性。

RHEL6.4(RHCS)集群安裝與配置一、配置YUM源1、創(chuàng)建CDROM掛載目錄并掛載光盤#mkdir/rhel6#mount/dev/sr0/rhel62、創(chuàng)建新的repo文件#cp/etc/yum.repos.d/rhel-source.repo/etc/yum.repos.d/rhel6.repo3、編輯rhel6.repo文件#vi/etc/yum.repos.d/rhel-source.reporhel6.repo文件內(nèi)容以下：

5、安裝HA軟件包#yuminstallcluster-glueresource-agentspacemaker#yuminstallluciriccicmanopenaisrgmanagerlvm2-clustergfs2-utils二、配置RHEL6HA環(huán)境1、編輯hosts文件#vim/etc/hosts2、啟動(dòng)HA服務(wù)#servicelucistart#servicericcistart#servicergmanagerstart#servicecmanstart3、設(shè)置HA服務(wù)自啟動(dòng)#chkconfigriccion#chkconfiglucion做到該步可以通過(guò)某個(gè)節(jié)點(diǎn)，通過(guò)luci提供的plete.五、管理和維護(hù)GFS2文件系統(tǒng)GFS2文件系統(tǒng)提供了很多管理和維護(hù)工具，常用的有g(shù)fs2_fsck、gfs2_tool、gfs2_jadd、gfs2_quota、gfs2_convert等，這里重點(diǎn)介紹前三個(gè)命令的用法。

1.gfs2_fsck命令類似與ext3文件系統(tǒng)下的fsck.ext3命令，主要用于檢測(cè)和修復(fù)文件系統(tǒng)錯(cuò)誤。

其實(shí)GFS2還有一個(gè)fsck.gfs2命令，此命令與gfs2_fsck命令完全一致。

gfs2_fsck的用法如下：

gfs2_fsck[-afhnpqvVy]device下面列舉幾個(gè)使用例子：

[root@Mysql1~]#gfs2_fsck-y/dev/sdb5InitializingfsckValidatingResourceGroupindex.Level1RGcheck.(level1passed)Startingpass1Startingpass1cPass1ccompletePass5completegfs2_fsckcomplete2.gfs2_tool命令gfs2_tool命令參數(shù)較多，但使用并不復(fù)雜，它主要用來(lái)查看、修改GFS2文件系統(tǒng)的相關(guān)參數(shù)信息。

下面列舉幾個(gè)使用例子：

1）查看GFS2文件系統(tǒng)掛載信息[root@web1~]#gfs2_tooldf/gfs2/gfs2:SBlockproto=lock_dlmSBlocktable=mycluster:my-gfs2SBondiskformat=1801SBmultihostformat=1900Blocksize=4096Journals=4ResourceGroups=19Mountedlockproto=lock_dlmMountedlocktable=mycluster:my-gfs2Mountedhostdata=jid=2:id=65539:first=0Journalnumber=2Lockmoduleflags=0Localflocks=FALSELocalcaching=FALSETypeTotalBlocksUsedBlocksFreeBlocksuse%data1220724136578108414611%inodes108426311710841460%（2）gfs2_tool命令2）鎖定與解鎖GFS2文件系統(tǒng)：

[root@node1gfs2]#gfs2_toolfreeze/gfs2[root@node1gfs2]#gfs2_toolunfreeze/gfs2GFS2文件系統(tǒng)被鎖定后，無(wú)法進(jìn)行讀寫操作，直到被解鎖。

3）查詢GFS2可掛載的接點(diǎn)數(shù)[root@web1~]#gfs2_tooljournals/gfs2journal2-128MBjournal3-128MBjournal1-128MBjournal0-128MB4journal(s)found.這里顯示了可掛載節(jié)點(diǎn)數(shù)為4，并且每個(gè)journal的大小為128M。

4）顯示GFS2的版本信息：

[root@web1~]#gfs2_toolversiongfs2_tool0.1.62(builtMar31201007:34:25)Copyright(C)RedHat,Inc.2004-2006Allrightsreserved（3）gfs2-jadd命令gfs2-jadd主要用來(lái)配置GFS2的Journals數(shù)量和大小，用法非常簡(jiǎn)單：

gfs2_jadd[-cDhJjqV]/path/to/filesystem下面列舉幾個(gè)用例：

設(shè)置Journals的大小為64M[root@Mysql1~]#gfs2_jadd-J64M將GFS2可同時(shí)掛載的節(jié)點(diǎn)數(shù)目增加到5個(gè)[root@Mysql1~]#gfs2_jadd-j5/gfs2另外，另外gfs2_quota用于GFS2文件系統(tǒng)磁盤配額管理，gfs2_convert是一個(gè)數(shù)據(jù)轉(zhuǎn)換應(yīng)用程序，它可以對(duì)GFS文件系統(tǒng)的元數(shù)據(jù)進(jìn)行更新，把它轉(zhuǎn)換為一個(gè)GFS2文件系統(tǒng)。

要深入了解它們的使用，請(qǐng)參考幫助信息，這里不在進(jìn)行講述。

補(bǔ)充一：

Linux作為磁盤陣列客戶端進(jìn)行測(cè)試1、iSCSI包安裝部分yuminstalliscsi-initiator-utilsyuminstalliscsi-initiator-utils-devel#RHEL環(huán)境不用serviceiscsistart2、發(fā)現(xiàn)磁盤陣列iscsiadmmdiscoverytsendtargetsp192.168.6.251:3260該命令是發(fā)現(xiàn)IP地址為192.168.6.251磁盤陣列的目標(biāo)名補(bǔ)充二：

內(nèi)容讀寫測(cè)試1、先將所有磁盤陣列客戶主機(jī)注銷對(duì)磁盤陣列主機(jī)的連接2、然后在磁盤陣列主機(jī)上mount/dev/md0/raidcp/etc/passwd/raidcp/etc/shadow/raid寫完后，umount/raid3、在磁盤陣列客戶機(jī)（另外一臺(tái)Linux主機(jī)）對(duì)磁盤陣列主機(jī)進(jìn)行再次連接看內(nèi)容是否有變化？(下圖可以看出，在磁盤陣列主機(jī)進(jìn)行寫操作，而在另外一臺(tái)Linux主機(jī)上看到了新增加的內(nèi)容)補(bǔ)充三：

注意事項(xiàng)首次連接客戶端需要對(duì)共享磁盤進(jìn)行一次格式化多個(gè)客戶端可以同時(shí)連接共享磁盤柜，也可同時(shí)寫入但在同時(shí)寫入的同時(shí)是互相看不到對(duì)方寫入的數(shù)據(jù)的。

（除非對(duì)方Logout并Umount，才可看到對(duì)方寫入的數(shù)據(jù)）補(bǔ)充四：

GFS21.保證兩個(gè)節(jié)點(diǎn)cman服務(wù)啟動(dòng)2.NOde1與Node2分別iscsilogin磁盤柜3.Node1:cman_toolstatus|grepName#查看clusternameClusterName:cluster創(chuàng)建gfs文件系統(tǒng)#此處‐j2提供兩臺(tái)client主機(jī)連接Node2:mount‐tgfs2/dev/sdb1/mnt4、分別在Node1和Node2的磁盤柜的掛載點(diǎn)寫入數(shù)據(jù)看是否能實(shí)時(shí)看到數(shù)據(jù)。

vi/etc/fstab/dev/sdb1/mntgfs2defaults00/etc/init.d/gfs2s