rhel6.4-rhcs集群安裝配置

1/1rhel6.4_rhcs集群安裝配置1、概述：

試驗環(huán)境:節(jié)點1：

節(jié)點2：

iscsi存儲/配置服務(wù)器：

iscsi.sonic.com任務(wù):使用基于Web管理方式的Conga工具創(chuàng)建、管理兩節(jié)點Cluster,然后以一個簡單的web服務(wù)(node2.sonic.com10.100.20.110.100.20.210.100.20.32、原理介紹：

cman集群管理器cman是一個基于內(nèi)核的對稱通用集群管理器。

它由兩部分組成：

連接管理器(cnxman)，用于處理成員、消息、投票數(shù)、事件通知和過渡；服務(wù)管理器(SM)，用于處理那些需要通過各種方式進(jìn)行集群管理的應(yīng)用及外部系統(tǒng)。

cman是RHCS中最核心的服務(wù)，可通過系統(tǒng)中的serivce命令進(jìn)行啟/停操作；DLM、GFS、CLVM及Fence都依賴于cman群集管理器。

rgmanager資料組管理器rgmanager(ResourceGroupManager)基于cman并使用DLM動態(tài)鎖管理機制。

與cman一樣，rgmanager也是RHCS中的一個核心服務(wù)，可通過系統(tǒng)中的serivce命令進(jìn)行啟/停操作；rgmanager管理并為集群中的Service(服務(wù))和Resources(資源)提供Failover錯誤切換功能。

Service(服務(wù))每個服務(wù)都被指定存在于一個FailoverDomain中，并與多個Resources(資源)關(guān)聯(lián)。

每個服務(wù)可以理解為實際操作中的一個應(yīng)用，如Web服務(wù)器、Java中間件、數(shù)據(jù)庫、文件共享系統(tǒng)、郵件系統(tǒng)等。

這些應(yīng)用在運行時不但對應(yīng)用程序本身有要求(如某個運行指令或多個運行腳本的組合)，還要提供對諸如虛擬IP、文件系統(tǒng)等資源的支持。

FailoverDomain(錯誤切換域)每個FailoverDomain都與兩個或兩個以上的Node(服務(wù)器節(jié)點)進(jìn)行綁定，F(xiàn)ailoverDomain指定了集群中某個Service運行時的范圍，也就是指定此Service將會由哪些服務(wù)器提供Failover錯誤切換功能。

每個Node都允許與多個FailoverDomain進(jìn)行綁定，也就是說每個Node都可以為多個Service服務(wù)，因此可以實現(xiàn)主動/主動(雙活動)方式的集群配置。

Resources(資源)Resources指的是組成一個應(yīng)用所需的各種組件，通常包括：

應(yīng)用程序、虛擬IP、文件系統(tǒng)。

資源與Service組合時，往往還會體現(xiàn)出一定的層次關(guān)系，例如：

通常系統(tǒng)都要求確認(rèn)虛擬IP及文件系統(tǒng)都已經(jīng)正常連接及掛載后，才可以運行某個應(yīng)用程序，這個順序一旦調(diào)轉(zhuǎn)，就會使應(yīng)用程序運行出錯。

Fence機制在RHCS集群運行時，為了避免因出現(xiàn)不可預(yù)知的情況而造成的腦裂現(xiàn)象(如：

心跳線斷連，此時兩臺服務(wù)器都無法找到對方，無法向?qū)Ψ桨l(fā)出操作指令，都各自認(rèn)為自己是主節(jié)點；又或者主服務(wù)器系統(tǒng)崩潰，系統(tǒng)能接收到備用服務(wù)器的操作指令，但無法返回運行情況的確認(rèn)信號，導(dǎo)致備用服務(wù)器無法獲知系統(tǒng)資源的使用情況)，系統(tǒng)要求通過Fence機制來保障系統(tǒng)切換時的I/O使用安全。

如上所述，F(xiàn)ence主要就是通過服務(wù)器或存儲本身的硬件管理接口，又或者是外部電源管理設(shè)備，來對服務(wù)器或存儲發(fā)起直接的硬件管理指令，控制服務(wù)器或存儲鏈路的開關(guān)。

因此，F(xiàn)ence機制也被稱為I/O屏障技術(shù)。

當(dāng)腦裂發(fā)生時徹底斷開問題服務(wù)器的所有I/O連接，保證問題服務(wù)器不能對集群中的I/O資源(共享的文件系統(tǒng)資源)進(jìn)行任何操作，嚴(yán)格保證集群環(huán)境中企業(yè)核心數(shù)據(jù)的完整性。

RHEL6.4(RHCS)集群安裝與配置一、配置YUM源1、創(chuàng)建CDROM掛載目錄并掛載光盤#mkdir/rhel6#mount/dev/sr0/rhel62、創(chuàng)建新的repo文件#cp/etc/yum.repos.d/rhel-source.repo/etc/yum.repos.d/rhel6.repo3、編輯rhel6.repo文件#vi/etc/yum.repos.d/rhel-source.reporhel6.repo文件內(nèi)容以下：

5、安裝HA軟件包#yuminstallcluster-glueresource-agentspacemaker#yuminstallluciriccicmanopenaisrgmanagerlvm2-clustergfs2-utils二、配置RHEL6HA環(huán)境1、編輯hosts文件#vim/etc/hosts2、啟動HA服務(wù)#servicelucistart#servicericcistart#servicergmanagerstart#servicecmanstart3、設(shè)置HA服務(wù)自啟動#chkconfigriccion#chkconfiglucion做到該步可以通過某個節(jié)點，通過luci提供的plete.五、管理和維護(hù)GFS2文件系統(tǒng)GFS2文件系統(tǒng)提供了很多管理和維護(hù)工具，常用的有g(shù)fs2_fsck、gfs2_tool、gfs2_jadd、gfs2_quota、gfs2_convert等，這里重點介紹前三個命令的用法。

1.gfs2_fsck命令類似與ext3文件系統(tǒng)下的fsck.ext3命令，主要用于檢測和修復(fù)文件系統(tǒng)錯誤。

其實GFS2還有一個fsck.gfs2命令，此命令與gfs2_fsck命令完全一致。

gfs2_fsck的用法如下：

gfs2_fsck[-afhnpqvVy]device下面列舉幾個使用例子：

[root@Mysql1~]#gfs2_fsck-y/dev/sdb5InitializingfsckValidatingResourceGroupindex.Level1RGcheck.(level1passed)Startingpass1Startingpass1cPass1ccompletePass5completegfs2_fsckcomplete2.gfs2_tool命令gfs2_tool命令參數(shù)較多，但使用并不復(fù)雜，它主要用來查看、修改GFS2文件系統(tǒng)的相關(guān)參數(shù)信息。

下面列舉幾個使用例子：

1）查看GFS2文件系統(tǒng)掛載信息[root@web1~]#gfs2_tooldf/gfs2/gfs2:SBlockproto=lock_dlmSBlocktable=mycluster:my-gfs2SBondiskformat=1801SBmultihostformat=1900Blocksize=4096Journals=4ResourceGroups=19Mountedlockproto=lock_dlmMountedlocktable=mycluster:my-gfs2Mountedhostdata=jid=2:id=65539:first=0Journalnumber=2Lockmoduleflags=0Localflocks=FALSELocalcaching=FALSETypeTotalBlocksUsedBlocksFreeBlocksuse%data1220724136578108414611%inodes108426311710841460%（2）gfs2_tool命令2）鎖定與解鎖GFS2文件系統(tǒng)：

[root@node1gfs2]#gfs2_toolfreeze/gfs2[root@node1gfs2]#gfs2_toolunfreeze/gfs2GFS2文件系統(tǒng)被鎖定后，無法進(jìn)行讀寫操作，直到被解鎖。

3）查詢GFS2可掛載的接點數(shù)[root@web1~]#gfs2_tooljournals/gfs2journal2-128MBjournal3-128MBjournal1-128MBjournal0-128MB4journal(s)found.這里顯示了可掛載節(jié)點數(shù)為4，并且每個journal的大小為128M。

4）顯示GFS2的版本信息：

[root@web1~]#gfs2_toolversiongfs2_tool0.1.62(builtMar31201007:34:25)Copyright(C)RedHat,Inc.2004-2006Allrightsreserved（3）gfs2-jadd命令gfs2-jadd主要用來配置GFS2的Journals數(shù)量和大小，用法非常簡單：

gfs2_jadd[-cDhJjqV]/path/to/filesystem下面列舉幾個用例：

設(shè)置Journals的大小為64M[root@Mysql1~]#gfs2_jadd-J64M將GFS2可同時掛載的節(jié)點數(shù)目增加到5個[root@Mysql1~]#gfs2_jadd-j5/gfs2另外，另外gfs2_quota用于GFS2文件系統(tǒng)磁盤配額管理，gfs2_convert是一個數(shù)據(jù)轉(zhuǎn)換應(yīng)用程序，它可以對GFS文件系統(tǒng)的元數(shù)據(jù)進(jìn)行更新，把它轉(zhuǎn)換為一個GFS2文件系統(tǒng)。

要深入了解它們的使用，請參考幫助信息，這里不在進(jìn)行講述。

補充一：

Linux作為磁盤陣列客戶端進(jìn)行測試1、iSCSI包安裝部分yuminstalliscsi-initiator-utilsyuminstalliscsi-initiator-utils-devel#RHEL環(huán)境不用serviceiscsistart2、發(fā)現(xiàn)磁盤陣列iscsiadmmdiscoverytsendtargetsp192.168.6.251:3260該命令是發(fā)現(xiàn)IP地址為192.168.6.251磁盤陣列的目標(biāo)名補充二：

內(nèi)容讀寫測試1、先將所有磁盤陣列客戶主機注銷對磁盤陣列主機的連接2、然后在磁盤陣列主機上mount/dev/md0/raidcp/etc/passwd/raidcp/etc/shadow/raid寫完后，umount/raid3、在磁盤陣列客戶機（另外一臺Linux主機）對磁盤陣列主機進(jìn)行再次連接看內(nèi)容是否有變化？(下圖可以看出，在磁盤陣列主機進(jìn)行寫操作，而在另外一臺Linux主機上看到了新增加的內(nèi)容)補充三：

注意事項首次連接客戶端需要對共享磁盤進(jìn)行一次格式化多個客戶端可以同時連接共享磁盤柜，也可同時寫入但在同時寫入的同時是互相看不到對方寫入的數(shù)據(jù)的。

（除非對方Logout并Umount，才可看到對方寫入的數(shù)據(jù)）補充四：

GFS21.保證兩個節(jié)點cman服務(wù)啟動2.NOde1與Node2分別iscsilogin磁盤柜3.Node1:cman_toolstatus|grepName#查看clusternameClusterName:cluster創(chuàng)建gfs文件系統(tǒng)#此處‐j2提供兩臺client主機連接Node2:mount‐tgfs2/dev/sdb1/mnt4、分別在Node1和Node2的磁盤柜的掛載點寫入數(shù)據(jù)看是否能實時看到數(shù)據(jù)。

vi/etc/fstab/dev/sdb1/mntgfs2defaults00/etc/init.d/gfs2s