RHEL6.4_RHCS集群安裝配置v01

1、RHEL 6.4 (RHCS) 集群安裝與配置RHEL 6.4 (RHCS) 集群安裝與配置目錄1、概述：22、原理介紹：2RHEL 6.4 (RHCS) 集群安裝與配置4一、配置YUM源4二、配置RHEL6 HA 環(huán)境5三、配置集群6四、集群常用命令10補充一：Linux作為磁盤陣列客戶端進行測試17補充二：內容讀寫測試18補充三：注意事項18補充四：GFS2191、概述：試驗環(huán)境: 節(jié)點1：節(jié)點2：任務: 使用基于Web管理方式的Conga工具創(chuàng)建、管理兩節(jié)點Cluster,然后以一個簡單的web服務(httpd)作切換測試. 基本概念:Cong

2、a: 分為Luci(管理工具,Server端)及 Ricci(用于接收和傳遞Luci指令的服務程序,Agent)兩部分,其中Luci安裝在任一管理工作站上,Ricci安裝在被管理的Cluster節(jié)點上.腦裂(Head-split):當前激活的Cluster 節(jié)點因為處理器忙或者其他原因暫時停止響應時,其他節(jié)點可能誤認為該節(jié)點”已死”,從而奪取共享磁盤的訪問權,此時極有可能假死節(jié)點重新對共享文件系統(tǒng)產生讀寫操作,從而導致共享磁盤文件系統(tǒng)損壞.Fence:為了防止”腦裂”現(xiàn)象的產生,使用fence設備對”故障”節(jié)點進行”屏蔽”措施,如重啟該設備,從而嘗試恢復其節(jié)點功能. Fence 設備可以是交換

3、機,或者IPMI等. 這里我們采用PE2900的BMC充當Fence設備.Cman:cluster manager,Cluster組件之一,該服務用于cluster的配置,控制,查詢,仲裁計算等.Rgmanager:Resource group manager,Cluster組件之一,提供用戶定義的資源組的切換服務.Failover domain: cluster 環(huán)境中服務failover的區(qū)域.2、原理介紹：cman集群管理器cman是一個基于內核的對稱通用集群管理器。它由兩部分組成：連接管理器(cnxman)，用于處理成員、消息、投票數(shù)、事件通知和過渡；服務管理器(SM)，用于處理那些需

4、要通過各種方式進行集群管理的應用及外部系統(tǒng)。cman是RHCS中最核心的服務，可通過系統(tǒng)中的serivce命令進行啟/停操作；DLM、GFS、CLVM及Fence都依賴于cman群集管理器。rgmanager資料組管理器rgmanager(Resource Group Manager)基于cman并使用DLM動態(tài)鎖管理機制。與cman一樣，rgmanager也是RHCS中的一個核心服務，可通過系統(tǒng)中的serivce命令進行啟/停操作；rgmanager管理并為集群中的Service(服務)和Resources(資源)提供Failover錯誤切換功能。Service(服務)每個服務都被指定存在于

5、一個Failover Domain中，并與多個Resources(資源)關聯(lián)。每個服務可以理解為實際操作中的一個應用，如Web服務器、Java中間件、數(shù)據(jù)庫、文件共享系統(tǒng)、郵件系統(tǒng)等。這些應用在運行時不但對應用程序本身有要求(如某個運行指令或多個運行腳本的組合)，還要提供對諸如虛擬IP、文件系統(tǒng)等資源的支持。Failover Domain(錯誤切換域)每個Failover Domain都與兩個或兩個以上的Node(服務器節(jié)點)進行綁定，F(xiàn)ailover Domain指定了集群中某個Service運行時的范圍，也就是指定此Service將會由哪些服務器提供Failover錯誤切換功能。每個Nod

6、e都允許與多個Failover Domain進行綁定，也就是說每個Node都可以為多個Service服務，因此可以實現(xiàn)主動/主動(雙活動)方式的集群配置。Resources(資源)Resources指的是組成一個應用所需的各種組件，通常包括：應用程序、虛擬IP、文件系統(tǒng)。資源與Service組合時，往往還會體現(xiàn)出一定的層次關系，例如：通常系統(tǒng)都要求確認虛擬IP及文件系統(tǒng)都已經正常連接及掛載后，才可以運行某個應用程序，這個順序一旦調轉，就會使應用程序運行出錯。Fence機制在RHCS集群運行時，為了避免因出現(xiàn)不可預知的情況而造成的腦裂現(xiàn)象(如：心跳線斷連，此時兩臺服務器都無法找到對方，無法向對方

7、發(fā)出操作指令，都各自認為自己是主節(jié)點；又或者主服務器系統(tǒng)崩潰，系統(tǒng)能接收到備用服務器的操作指令，但無法返回運行情況的確認信號，導致備用服務器無法獲知系統(tǒng)資源的使用情況)，系統(tǒng)要求通過Fence機制來保障系統(tǒng)切換時的I/O使用安全。如上所述，F(xiàn)ence主要就是通過服務器或存儲本身的硬件管理接口，又或者是外部電源管理設備，來對服務器或存儲發(fā)起直接的硬件管理指令，控制服務器或存儲鏈路的開關。因此，F(xiàn)ence機制也被稱為I/O屏障技術。當腦裂發(fā)生時徹底斷開問題服務器的所有I/O連接，保證問題服務器不能對集群中的I/O資源(共享的文件系統(tǒng)資源)進行任何操作，嚴格保證集群環(huán)境中企業(yè)核心數(shù)據(jù)的完整性。配置共

8、享存儲a)從存儲分配所需共享磁盤給兩臺機器（兩臺機器共享一個磁盤）b)存儲若是多路徑.pvcreate/dev/mapper/mpath(n)e)創(chuàng)建vgvgcreatevg01/dev/mapper/mpath(n)f)創(chuàng)建lvlvcreatel10240nlv01vg01g)格式化lv(若是裸設備的話，跳過)mkfs.ext4/dev/vg01/lv01h)兩臺機器創(chuàng)建存儲掛載點mkdir/usr/sapRHEL 6.4 (RHCS) 集群安裝與配置一、配置YUM源1、創(chuàng)建CDROM 掛載目錄并掛載光盤#mkdir /rhel6#mount /dev/sr0 /rhel62、創(chuàng)建新的rep

9、o文件# cp /etc/yum.repos.d/rhel-source.repo /etc/yum.repos.d/rhel6.repo3、編輯rhel6.repo文件# vi /etc/yum.repos.d/rhel-source.reporhel6.repo文件內容以下：5、安裝HA軟件包# yum install cluster-glue resource-agents pacemaker# yum install luci ricci cman openais rgmanager lvm2-cluster gfs2-utils二、配置RHEL6 HA 環(huán)境1、 編輯hosts文件#

10、vim /etc/hosts2、 啟動HA服務# service luci start# service ricci start# service rgmanager start# service cman start3、 設置HA服務自啟動# chkconfig ricci on # chkconfig luci on 做到該步可以通過某個節(jié)點，通過luci提供的https地址,進行下面的配置，配置后cman rgmanager服務會自動開啟的。# chkconfig cman on # chkconfig rgmanager onchkconfi NetworkManager off 該服

11、務必須關閉，否則集群加node會報錯4、 修改ricci用戶密碼 使 用 passwd ricci 命 令 為 用 戶 ricci 將 ricci 密 碼 設 定 為 root用戶的密碼 # passwd ricci兩個節(jié)點分別修改完密碼并都重新ricci服務。三、配置集群1、 登錄HA的配置用 Firefox瀏覽器打開7:8084/用root登錄2、 創(chuàng)建一個群集3、 添加節(jié)點名稱和成員 4、 配置fence設備添加fence設備點節(jié)點名稱，關聯(lián)節(jié)點和Fence設備ip為共享存儲地址5、 創(chuàng)建失效域添加故障切換域優(yōu)先級小的優(yōu)先6、 創(chuàng)建資源7、 創(chuàng)建集群服務

12、在服務組中將資源中的信息加入進去。 集群測試環(huán)節(jié)1、關機測試（將主節(jié)點關機備節(jié)點接管過來沒有問題）2、將主節(jié)點的網卡 down測試（默認切換失敗）如果切換失?。?、看相關服務是否啟動2.通過日志看問題（message /var/log/cluster/.）動態(tài)查看日志(tail f)該命令用以觀察群集日志時特別有用，可看到群集何時進行磁盤mount，IP地址切換，服務啟動等信息。常用命令：Tail f /var/log/message四、集群常用命令使用clustat顯示HA服務# clustat查看HA的日志# tail -f /var/log/cluster/rgmanager.log查看

13、ORACLE實例是否啟來# ps -ef | grep ora+維護篇+一、啟動RHCS集群 RHCS集群的核心進程有cman和rgmanager，要啟動集群，依次在集群的每個節(jié)點執(zhí)行如下命令即可： service cman start service rgmanager start 需要注意的是，執(zhí)行這兩個命令是有先后順序的，需要首先啟動cman，然后在啟動rgmanager。在集群所有節(jié)點成功啟動cman服務后，然后繼續(xù)依次在每個節(jié)點啟動rgmanager服務。 二、關閉RHCS集群 與啟動集群服務剛好相反，關閉RHCS集群的命令為： service rgmanager stop serv

14、ice cman stop 首先在集群的每個節(jié)點依次關閉rgmanager服務，等待所有節(jié)點的rgmanager服務成功關閉后，再依次關閉每個節(jié)點的cman服務即可完成真?zhèn)€集群服務的關閉。 有時在關閉cman服務時，可能會提示關閉失敗，此時可以檢查本機的共享存儲GFS2文件系統(tǒng)是否已經卸載，還可以檢查其它節(jié)點的rgmanager服務是否都已經正常關閉。 三、管理應用服務 集群系統(tǒng)啟動后，默認是自動啟動應用服務的，但是如果某個應用服務沒有自動啟動，就需要通過手工方式來啟動。管理應用服務的命令是clusvcadm，通過這個命令可以啟動、關閉、重啟、切換集群中的應用服務。 1. 啟動某個應用服務 可

15、以通過如下方式啟動某個節(jié)點的應用服務： clusvcadm -e -m 其中： Service：表示集群中創(chuàng)建的應用服務名稱。l Node：表示集群節(jié)點名稱。l 例如，要啟動節(jié)點web1上的webserver服務，操作如下： rootweb1 # clusvcadm -e webserver -m web1 Member web1 trying to enable service:webserver.Success service:webserver is now running on web1 可以通過/var/log/messages文件查看啟動應用服務的詳細信息。當webserver啟動

16、后，與服務相關的集群資源：如虛擬IP、應用程序服務腳本也隨之啟動，可以通過如下命令查看集群資源是否已經正常加載： 2. 關閉某個應用服務 可以通過如下方式關閉某個節(jié)點的應用服務： clusvcadm -s -m 例如，要關閉節(jié)點Mysql1上的mysqlserver服務，操作如下： rootMysql1 # clusvcadm -s mysqlserver -m Mysql1 Member Mysql1 stopping service:mysqlserver.Success 可以通過/var/log/messages文件查看關閉應用服務的詳細信息。當mysqlserver關閉后，與服務相關的

17、集群資源：如虛擬IP、應用程序服務腳本也隨之釋放。 3. 重啟某個應用服務 可以通過如下方式重啟某個節(jié)點的應用服務： clusvcadm -R -m 例如，要重啟節(jié)點web1上的webserver服務，操作如下： rootweb2 # clusvcadm -R webserver -m web1 Member web1 trying to restart service:webserver.Success 這個命令是在web2節(jié)點上執(zhí)行的，但是也能成功將web1節(jié)點上的webserver進行重啟，由此可知，clusvcadm命令在集群任意節(jié)點執(zhí)行都是可以的。 4. 切換某個服務 可以通過如下方

18、式將一個應用服務從一個節(jié)點切換到另一個節(jié)點： clusvcadm -r -m 例如，要將節(jié)點web1的服務切換到節(jié)點web2上，操作如下： rootweb1 # clusvcadm -r webserver -m web2 Trying to relocate service:webserver to web2.Success service:webserver is now running on web2四、監(jiān)控RHCS集群狀態(tài) 通過對RHCS的監(jiān)控，有助于了解集群每個節(jié)點的健康狀況，并能發(fā)現(xiàn)問題，及時解決問題，RHCS集群提供了豐富的狀態(tài)查看命令，這里主要介紹下cman_tool、clus

19、tat、ccs_tool的使用方法。 1. cman_tool命令 cman_tool的參數(shù)比較多，但是用法比較簡單，基本用法格式為： cman_tool options 下面列舉幾個簡單的使用例子： rootweb1 # cman_tool nodes -a Node Sts Inc Joined Name 0 M 0 2010-08-23 01:24:00 /dev/sdb7 1 M 2492 2010-08-23 01:22:43 web2 Addresses: 40 2 M 2492 2010-08-23 01:22:43 Mysql1 Addresses: 1

20、31 3 M 2492 2010-08-23 01:22:43 Mysql2 Addresses: 32 4 M 2488 2010-08-23 01:22:43 web1 Addresses: 30 此命令顯示了節(jié)點名稱，以及對應的節(jié)點IP地址和加入集群的時間。 如果要了解更多集群節(jié)點信息，可以通過如下命令： rootweb1 # cman_tool status Version: 6.2.0 Config Version: 35 #集群配置文件版本號 Cluster Name: mycluster #集群名稱 Clust

21、er Id: 56756 Cluster Member: Yes Cluster Generation: 2764 Membership state: Cluster-Member Nodes: 4 #集群節(jié)點數(shù) Expected votes: 6 #期望的投票數(shù) Quorum device votes: 2 #表決磁盤投票值 Total votes: 6 #集群中所有投票值大小 Quorum: 4 #集群法定投票值，低于這個值，集群將停止服務 Active subsystems: 9 Flags: Dirty Ports Bound: 0 177 Node name: web1 Node I

22、D: 4 #本節(jié)點在集群中的ID號 Multicast addresses: 46 #集群廣播地址 Node addresses: 30 #本節(jié)點對應的IP地址 2. clustat命令 clustat命令使用非常簡單，詳細的使用方法可以通過“clustat -h”獲取幫助信息，這里僅僅列舉幾個例子。 rootweb1 #clustat -i 3 Cluster Status for mycluster Mon Aug 23 18:54:15 2010 Member Status: Quorate Member Name ID Status -

23、 - - - web2 1 Online, rgmanager Mysql1 2 Online, rgmanager Mysql2 3 Online, rgmanager web1 4 Online, Local, rgmanager /dev/sdb7 0 Online, Quorum Disk Service Name Owner (Last) State - - - - - service:mysqlserver Mysql1 started service:webserver web1 started 對輸出內容含義如下： clustat的“-i”參數(shù)可以實時的顯示集群系統(tǒng)中每個節(jié)點以

24、及服務的運行狀態(tài)，“-i 3”表示每三秒刷新一次集群狀態(tài)。 在這個輸出中，可以看到每個節(jié)點都處于“Online”狀態(tài)，表明每個節(jié)點都運行正常，如果某個節(jié)點退出了集群，對應的狀態(tài)應該是“Offline”，同時還可以看到，集群的兩個服務也處于“started”狀態(tài)，分別運行在Mysql1節(jié)點和web1節(jié)點。 另外，通過“ID”一列可以知道集群節(jié)點的對應關系，例如，web2在此集群中對應的就是“Node 1”節(jié)點，同理，web1對應的是“Node 4”節(jié)點。了解集群節(jié)點順序有助于對集群日志的解讀。 3. ccs_tool命令 ccs_tool主要用來管理集群配置文件cluster.conf，通過cc

25、s_tool可以在集群中增加/刪除節(jié)點、增加/刪除fence設備、更新集群配置文件等操作。 下面是ccs_tool的幾個應用實例： 當在一個節(jié)點修改完配置文件后，可以執(zhí)行“ccs_tool update”指令將配置文件在所有節(jié)點進行更新，例如： rootweb1 cluster# ccs_tool update /etc/cluster/cluster.conf Proposed updated config file does not have greater version number. Current config_version : 35 Proposed config_versio

26、n: 35 Failed to update config file. ccs_tool是根據(jù)cluster.conf中的“config_version”值來決定是否進行更新的，因此在修改完cluster.conf文件后，一定要將cluster.conf的config_version值進行更新，這樣執(zhí)行ccs_tool時才能更新配置文件。 rootweb1 cluster# ccs_tool update /etc/cluster/cluster.conf Config file updated from version 35 to 36 Update complete.五、管理和維護GFS2

27、文件系統(tǒng) GFS2文件系統(tǒng)提供了很多管理和維護工具，常用的有gfs2_fsck、gfs2_tool、gfs2_jadd、gfs2_quota、gfs2_convert等，這里重點介紹前三個命令的用法。 1. gfs2_fsck命令 類似與ext3文件系統(tǒng)下的fsck.ext3命令，主要用于檢測和修復文件系統(tǒng)錯誤。其實GFS2還有一個fsck.gfs2命令，此命令與gfs2_fsck命令完全一致。 gfs2_fsck的用法如下： gfs2_fsck -afhnpqvVy 下面列舉幾個使用例子： rootMysql1 # gfs2_fsck -y /dev/sdb5 Initializing fs

28、ck Validating Resource Group index. Level 1 RG check. (level 1 passed) Starting pass1 Starting pass1c Pass1c complete Pass5 complete gfs2_fsck complete 2. gfs2_tool命令 gfs2_tool命令參數(shù)較多，但使用并不復雜，它主要用來查看、修改GFS2文件系統(tǒng)的相關參數(shù)信息。 下面列舉幾個使用例子： 1）查看GFS2文件系統(tǒng)掛載信息 rootweb1 # gfs2_tool df /gfs2 /gfs2: SB lock proto =

29、lock_dlm SB lock table = mycluster:my-gfs2 SB ondisk format = 1801 SB multihost format = 1900 Block size = 4096 Journals = 4 Resource Groups = 19 Mounted lock proto = lock_dlm Mounted lock table = mycluster:my-gfs2 Mounted host data = jid=2:id=65539:first=0 Journal number = 2 Lock module flags = 0 L

30、ocal flocks = FALSE Local caching = FALSE Type Total Blocks Used Blocks Free Blocks use% - - - - - data 1220724 136578 1084146 11% inodes 1084263 117 1084146 0% （2）gfs2_tool命令 2）鎖定與解鎖GFS2文件系統(tǒng)： rootnode1 gfs2# gfs2_tool freeze /gfs2 rootnode1 gfs2# gfs2_tool unfreeze /gfs2 GFS2文件系統(tǒng)被鎖定后，無法進行讀寫操作，直到被解鎖

31、。 3）查詢GFS2可掛載的接點數(shù) rootweb1 # gfs2_tool journals /gfs2 journal2 - 128MB journal3 - 128MB journal1 - 128MB journal0 - 128MB 4 journal(s) found. 這里顯示了可掛載節(jié)點數(shù)為4，并且每個journal的大小為128M。 4）顯示GFS2的版本信息： rootweb1 # gfs2_tool version gfs2_tool 0.1.62 (built Mar 31 2010 07:34:25) Copyright (C) Red Hat, Inc. 2004-

32、2006 All rights reserved （3）gfs2-jadd命令 gfs2-jadd主要用來配置GFS2的Journals數(shù)量和大小，用法非常簡單： gfs2_jadd -cDhJjqV /path/to/filesystem 下面列舉幾個用例： 設置Journals的大小為64M rootMysql1 # gfs2_jadd -J 64M 將GFS2可同時掛載的節(jié)點數(shù)目增加到5個 rootMysql1 # gfs2_jadd -j 5 /gfs2 另外，另外gfs2_quota用于GFS2文件系統(tǒng)磁盤配額管理，gfs2_convert是一個數(shù)據(jù)轉換應用程序，它可以對GFS文件系統(tǒng)的元數(shù)據(jù)進行更新，把它轉換為一個GFS2文件系統(tǒng)。要深入了解它們的使用，請參考幫助信息，這里不在進行講述。補充一：Linux作為磁盤