使用RHCS套件架設高可用性集群設計方案

1、使用RHCS套件架設高可用性集群設計方案方案設計人：林超目錄一 RHCS背景簡介-1二高可用集群相關概念及原理-22.1集群的概念-22.2高可用性集群的概念-22.3自動故障接管-22.4 高可用集群原理-3三RHCS概念闡釋及工作原理-33.1 什么是RHCS-33.2 紅帽集群套件RHCS的工作原理-4四實驗設計-54.1 實驗目的- 54.2 實驗說明- -54.3 實驗步驟- -64.3.1 實驗環(huán)境的準備-64.3.2 RHCS套件的安裝-7 4.3.3 RHCS套件的配置-8五實驗測試-14一RHCS背景簡介 Red Hat 公司在2007年發(fā)布Red

2、0;Hat Enterprise Linux 5 時，就將原本是作為獨立軟件發(fā)售的用于構建企業(yè)級集群的集群套件redhat cluster suite(RHCS,紅帽集群套件)集成到了操作系統(tǒng)中一同發(fā)布，將RHCS集成到系統(tǒng)中，這意味著將是RHEL產(chǎn)品在集群功能方面的提升。而且RHCS的安裝與管理也將會變得更容易掌握。 紅帽的企業(yè)集群解決方案(RHCS)是全球領先的高可用性解決方案，專為紅帽企業(yè)Linux量身定做，是全球企業(yè)Linux廠商中唯一提供原生集群解決方案的廠商。RHCS集群經(jīng)過紅帽公司全球研發(fā)團隊以及廣大開發(fā)者社區(qū)的多年打造

3、，已經(jīng)成為企業(yè)級Linux平臺上頂尖的高可用解決方案。 紅帽RHCS集群采用了業(yè)界成熟的技術和主流國際標準，遵循高度安全和可靠的苛刻要求，被廣泛的部署在電信，金融，政府，軍隊，制造，醫(yī)療，商貿，教育等各行業(yè)。 通過長年于主流硬件制造商及軟件制造商的研發(fā)協(xié)作與合作，紅帽RHCS集群已經(jīng)在幾乎所有主流硬件平臺上運行，并且高度支持主流的數(shù)據(jù)庫及中間件應用，針對絕大多數(shù)網(wǎng)站/網(wǎng)絡所必須的應用服務也提供了完整的支持。 紅帽RHCS集群方案已經(jīng)預置了對主要網(wǎng)絡和數(shù)據(jù)庫服務的支持，用戶可通過紅帽全球專家服務(GlobalProfessional Service)完成對特殊服務和應用的集群

4、定制部署。二高可用集群相關概念及原理2.1 集群的概念 集群就是兩臺或更多的互連的電腦（我們稱之為節(jié)點）整合在一起，對外表現(xiàn)為具備高可用性、高性能和易管理性的單一的、統(tǒng)一的計算資源。2.2高可用性集群的概念 高可用性(HA)集群的出現(xiàn)是為了使集群的整體服務盡可能可用，以便考慮計算硬件和軟件的容錯性。假如高可用性集群中的主節(jié)點發(fā)生了故障，那 么這段時間內將由次節(jié)點代替他。次節(jié)點通常是主節(jié)點的映像，所以當他代替主節(jié)點時，他能夠完全接管其身份，并且因此使系統(tǒng)環(huán)境對于用戶是一致的。 HA集群致力于使服務器系統(tǒng)的運行速度和響應速度盡可能快。他們經(jīng)常在多臺機器上運行的冗余節(jié)點和服務，用來相互跟蹤。假如某個

5、節(jié)點失敗，他的替補將在幾秒鐘或更短時間內接管他的職責。因此，對于用戶而言，集群永遠不會停機。 某些 HA 集群也能夠維護節(jié)點間冗余應用程式。因此，即使正在使用的節(jié)點出了故障，用戶的應用程式將繼續(xù)運行，正在運行的應用程式會在幾秒之內遷移到另一個節(jié)點，而 任何用戶只會察覺到響應稍微慢了一點。但是，這種應用程式級冗余需要將軟件設計成具備集群意識的，并且知道節(jié)點失敗時應該做什么。但對于 Linux，現(xiàn)在要完全做到這一點更有一定難度。因為 現(xiàn)在Linux 系統(tǒng)沒有 HA 集群標準，并且也沒有公共 API 可供給用程式研發(fā)者構建有集群意識的軟件。 HA集群能夠執(zhí)行負載均衡，但通常主服務器運行作業(yè)，而系統(tǒng)使

6、輔助服務器保持閑置。輔助服務器通常是主服務器操作系統(tǒng)配置的映像，盡管硬件本身稍 有不同。輔助節(jié)點對主服務器進行活動監(jiān)控或心跳觀察，以查看他是否仍在運行。假如心跳計時器沒有接收到主服務器的響應，則輔助節(jié)點將接管網(wǎng)絡和系統(tǒng)身份 （如 IP主機名和地址）。 HA集群通常包括2至8個或更多的節(jié)點，但是現(xiàn)在80%的HA 集群都是2個節(jié)點。Apptime的Watchdog, Hewlett-Packard的MC/Service Guard, Legato Cluster Enterprise,Lineo的Availix Clustering, Mission Critical Linux的Convolo,

7、 Motorola的HA-Linux,SGI的FailSafe, SteelEye的LifeKeeper,連同VeritasCluster Server都是HA集群。 在集群的這三種基本類型之間，經(jīng)常會發(fā)生混合和交叉。能夠發(fā)現(xiàn)高可用性集群也能夠在其節(jié)點之間均衡用戶負載，同時仍試圖維持高可用性程度。同樣，能夠從要編入應用程式的集群中找到一個并行集群，他能夠在節(jié)點之間執(zhí)行負載均衡。 2.3自動故障接管 自動故障接管指的是當一個節(jié)點出現(xiàn)故障后，其相關資源能夠自動轉移到別的節(jié)點上。在一些集群產(chǎn)品中，故障節(jié)點的資源甚至能夠轉移到多個其他正常工作的節(jié)點上。通常需要轉移的資源包括：物理磁盤的歸屬、邏輯卷、數(shù)

8、據(jù)庫、IP地址、應用程式進程、打印隊列連同鎖等。 自動故障接管通常有兩種模式。一種為active/passive模式，一種為active/active模式。active/passive模式即一個 或多個節(jié)點運行應用程式，處于激活狀態(tài)，而另有一個節(jié)點處于備份狀態(tài)，當處于激活狀態(tài)的節(jié)點出現(xiàn)故障后，則備份節(jié)點立即將其工作接管。 active/active模式即任何節(jié)點都處于激活狀態(tài)，當其中有節(jié)點出現(xiàn)故障后，其工作自動由其他節(jié)點分攤而接管掉。2.4高可用集群原理圖1展現(xiàn)了一個典型的高可用集群，圖中描述了高可用集群的各個硬件組成部分，下面就圖中提到的一些技術名詞進行解釋。服務器集群：由兩臺以上服務器組成

9、，加入到集群的服務器被稱為"節(jié)點"。通常以私有網(wǎng)絡作為"心跳"，當集群中的一臺服務器出現(xiàn)故障時，其他服務器會按照集群中設定的接管機制實現(xiàn)"故障切換(Failover)"。為保證服務器網(wǎng)絡及其與外部存儲的連接，通常會對網(wǎng)卡進行"網(wǎng)卡綁定"，對外部存儲的HBA卡鏈接進行"多路徑綁定"。心跳：服務器集群中的服務器通過"心跳"機制來判斷自身及集群中的其他服務器是否存活，通常"心跳"會通過RJ45接口或COM接口實現(xiàn)。虛擬IP及公共網(wǎng)絡：集群軟件或硬件通過TCP/I

10、P協(xié)議對客戶端可見的公共網(wǎng)絡公開了一個虛擬的網(wǎng)絡IP，此IP由集群機制管理，指向當前"活動"的集群服務器"節(jié)點"。對于客戶端而言，集群就相當于一個服務器，可以實現(xiàn)透明訪問。圖1三概念闡釋及工作原理3.1什么是 RHCS：RHCS即 RedHat Cluster Suite ，中文意思即紅帽集群套件。紅帽集群套件（RedHat Cluter Suite, RHCS）是一套綜合的軟件組件，可以通過在部署時采用不同的配置，以滿足你的對高可用性，負載均衡，可擴展性，文件共享和節(jié)約成本

11、的需要。 對于需要最大正常運行時間的應用來說，帶有紅帽集群套件（Red Hat Cluster Suite）的紅帽企業(yè) Linux 集群是最佳的選擇。紅帽集群套件專為紅帽企業(yè) Linux 量身設計，它提供有如下兩種不同類型的集群：  1、高可用性：應用/服務故障切換通過創(chuàng)建n個節(jié)點的服務器集群來實現(xiàn)關鍵應用和服務的故障切換  2、負載均衡：IP 負載均衡對一群服務器上收到的 IP 網(wǎng)絡請求進行負載均衡 利用紅帽集群套件，可以以高可用性配置來部署應用，從而使其總是處于運行狀態(tài)這

12、賦予了企業(yè)向外擴展（scale-out）Linux 部署的能力。對于網(wǎng)絡文件系統(tǒng)（NFS）、Samba 和Apache 等大量應用的開源應用來說，紅帽集群套件提供了一個隨時可用的全面故障切換解決方案。而對于其它大多數(shù)應用來說，客戶可以使用紅帽集群套件提供的模板來創(chuàng)建自定義的故障切換腳本。如果需要，還可以采用紅帽專業(yè)服務（Red Hat Professional Services），由專業(yè)人員提供量身定制的紅帽集群套件部署服務。3.2紅帽集群套件RHCS的工作原理圖2是RHEL 5系列版本中RHCS的架構示意圖：此圖與紅帽官方的架構圖有

13、所不同，圖1-2主要展示了RHCS中常用的組件，通過簡單的圖例來描述RHCS架構中各個組件之件的關系。下面對這些組件進行詳細解釋：圖2 RHCS架構示意圖cman集群管理器cman是一個基于內核的對稱通用集群管理器。它由兩部分組成：連接管理器(cnxman)，用于處理成員、消息、投票數(shù)、事件通知和過渡；服務管理器(SM)，用于處理那些需要通過各種方式進行集群管理的應用及外部系統(tǒng)。cman是RHCS中最核心的服務，可通過系統(tǒng)中的serivce命令進行啟/停操作；DLM、GFS、CLVM及Fence都依賴于cman群集管理器。 rgmanager資料組管理器rgmanager(Resource G

14、roup Manager)基于cman并使用DLM動態(tài)鎖管理機制。與cman一樣，rgmanager也是RHCS中的一個核心服務，可通過系統(tǒng)中的serivce命令進行啟/停操作；rgmanager管理并為集群中的Service(服務)和Resources(資源)提供Failover錯誤切換功能。Service(服務)每個服務都被指定存在于一個Failover Domain中，并與多個Resources(資源)關聯(lián)。每個服務可以理解為實際操作中的一個應用，如Web服務器、Java中間件、數(shù)據(jù)庫、文件共享系統(tǒng)、郵件系統(tǒng)等。這些應用在運行時不但對應用程序本身有要求(如某個運行指令或多個運行腳本的組合

15、)，還要提供對諸如虛擬IP、文件系統(tǒng)等資源的支持。Failover Domain(錯誤切換域)每個Failover Domain都與兩個或兩個以上的Node(服務器節(jié)點)進行綁定，F(xiàn)ailover Domain指定了集群中某個Service運行時的范圍，也就是指定此Service將會由哪些服務器提供Failover錯誤切換功能。每個Node都允許與多個Failover Domain進行綁定，也就是說每個Node都可以為多個Service服務，因此可以實現(xiàn)"主動/主動(雙活動)"方式的集群配置。Resources(資源)Resources指的是組成一個應用所需的各種組件，通常

16、包括：應用程序、虛擬IP、文件系統(tǒng)。資源與Service組合時，往往還會體現(xiàn)出一定的層次關系，例如：通常系統(tǒng)都要求確認虛擬IP及文件系統(tǒng)都已經(jīng)正常連接及掛載后，才可以運行某個應用程序，這個順序一旦調轉，就會使應用程序運行出錯。Fence機制在RHCS集群運行時，為了避免因出現(xiàn)不可預知的情況而造成的"腦裂"現(xiàn)象(如：心跳線斷連，此時兩臺服務器都無法找到對方，無法向對方發(fā)出操作指令，都各自認為自己是主節(jié)點；又或者主服務器系統(tǒng)崩潰，系統(tǒng)能接收到備用服務器的操作指令，但無法返回運行情況的確認信號，導致備用服務器無法獲知系統(tǒng)資源的使用情況)，系統(tǒng)要求通過Fence機制來保障系統(tǒng)切換時

17、的I/O使用安全。如上所述，F(xiàn)ence主要就是通過服務器或存儲本身的硬件管理接口，又或者是外部電源管理設備，來對服務器或存儲發(fā)起直接的硬件管理指令，控制服務器或存儲鏈路的開關。因此，F(xiàn)ence機制也被稱為"I/O屏障"技術。當"腦裂"發(fā)生時徹底斷開問題服務器的所有I/O連接，保證問題服務器不能對集群中的I/O資源(共享的文件系統(tǒng)資源)進行任何操作，嚴格保證集群環(huán)境中企業(yè)核心數(shù)據(jù)的完整性。四實驗設計4.1實驗目的：深入理解HA集群原理和RHCS套件中故障域的概念。HA(High Available), 高可用性群集，是保證業(yè)務連續(xù)性的有效解決方案，一般有兩

18、個或兩個以上的節(jié)點，且分為活動節(jié)點及備用節(jié)點。通常把正在執(zhí)行業(yè)務的稱為活動節(jié)點，而作為活動節(jié)點的一個備份的則稱為備用節(jié)點。當活動節(jié)點出現(xiàn)問題，導致正在運行的業(yè)務（任務）不能正常運行時，備用節(jié)點此時就會偵測到，并立即接續(xù)活動節(jié)點來執(zhí)行業(yè)務。從而實現(xiàn)業(yè)務的不中斷或短暫中斷。故障切換域：故障切換域是多個群集節(jié)點的一個子集，用來執(zhí)行特定的群集服務。4.2實驗說明：分別用兩臺計算機做Web Server和 MySQL Server ,用一臺電腦做它們的HA，如果有一臺服務器DOWN了，就把該服務器運行的服務切換到做HA的備用機上，也就是設置兩個故障域。實驗準備：在三臺計算機上創(chuàng)建好yum，因為安裝軟件包

19、時依賴的包比較多。1、 把光盤放到光驅，掛載光驅：2、 設置yum源，在/etc/yum.repos.d目錄下添加一個文件，文件的內容如下：# vi dvd.repo3、清除舊記錄并生成新的倉庫4、# yum list好了，本地倉庫創(chuàng)建完成。4.3實驗步驟：4.3.1、實驗環(huán)境的準備4.3.2、RHCS套件的安裝4.3.3、RHCS套件的配置實驗環(huán)境圖例：4.3.1實驗環(huán)境的準備IP地址主機名角色01 Web Server02MySQL Server03Web Server 和MySQl Server HA（a） 同上表格設置好

20、相關選項，并安裝服務軟件包 給node1主機，配置主機名打開/etc/sysconfig/network對該文檔進行如下編輯后，保存退出編輯，重啟機器，主機名即修改生效。給node1主機配置ip地址node2,node3的主機名與ip地址配置請參照node1，在此不重復配置。（b）使用hosts文件實現(xiàn)主機名的解析rootnode1 # vim /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail. loca

21、lhost.localdomain localhost:1 localhost6.localdomain6 localhost601 node102 node203 node3rootnode1 # scp /etc/hosts 02:/etc/hostsrootnode1 # scp /etc/hosts 03:/etc/hosts4.3.2 RHCS套件的安裝1.在集群的三個成員中都安裝一下軟件包rootnode1 # yum install cmanrootnode1 # rpm

22、-ivhsystem-config-cluster-1.0.55-1.0.noarch.rpm rootnode1 # yum install oddjobrootnode1 # rpm -ivh modcluster-0.12.1-2.el5.i386.rpm rootnode1 # rpm -ivh Cluster_Administration-zh-CN-5.2-1.noarch.rpm rootnode1 # rpm -ivh lm_sensors-2.10.7-4.el5.i386.rpm rootnode1 # rpm -ivh net-snmp--5.el5.i38

23、6.rpm rootnode1 # rpm -ivh cluster-snmp-0.12.1-2.el5.i386.rpm rootnode1 # rpm -ivh tog-pegasus-2.7.1-2.el5.i386.rpm rootnode1 # rpm -ivh cluster-cim-0.12.1-2.el5.i386.rpm 2.在node2和node3上安裝MySQL，node1上安裝apache。rootnode1 # rpm -ivh httpd-2.2.3-22.el5.i386.rpm rootnode1 # echo "" > /var/ro

24、otnode1 # /etc/init.d/httpd startrootnode2 # rpm -ivh perl-DBI-1.52-2.el5.i386.rpm rootnode2 # rpm -ivh mysql-5.0.45-7.el5.i386.rpm rootnode2 # rpm -ivh perl-DBD-MySQL-3.0007-2.el5.i386.rpm rootnode2 # rpm -ivh mysql-server-5.0.45-7.el5.i386.rpm rootnode2 # /etc/init.d/mysqld startrootnode2# mysqlad

25、min -u root password unixhotrootnode3 # rpm -ivh perl-DBI-1.52-2.el5.i386.rpm rootnode3 # rpm -ivh mysql-5.0.45-7.el5.i386.rpm rootnode3 # rpm -ivh perl-DBD-MySQL-3.0007-2.el5.i386.rpm rootnode3 # rpm -ivh mysql-server-5.0.45-7.el5.i386.rpm rootnode3 # /etc/init.d/mysqld startrootnode3 # mysqladmin

26、-u root password unixhotrootnode3 # /etc/init.d/mysqld stoprootnode3 # rpm -ivh httpd-2.2.3-22.el5.i386.rpm rootnode3 # echo "" > /var/4.3.3 RHCS套件的配置rootnode1 # system-config-cluster 1.在彈出的窗口中點擊Create New ConfigurationChoose a name for the cluster: unixhotCustom Configure Multicast：用于指

27、定一個用于本集群的多播地址。Use a Quorum Disk：當多個節(jié)點要求仲裁機制時，指定仲裁策略。有興趣了解"Quorum Disk"的讀者可以參考紅帽公司的官方文檔。2.Cluster Nodes （節(jié)點的設置）點擊 Cluster Nodes 點擊Add a Cluster NodeCluster Node Name：Quorum Votes:1Multicast interface：eth0Cluster Node Name：Quorum Votes:1Multicast interface：eth0Cluster Node Name：Quorum Votes:

28、11Multicast interface：eth03. Fence Devices （fence 的配置）選中“Fence Devices”, 再選擇“Add a Fence Device”，打開Fence配置窗口。在"Add a New Fence Device"下拉菜單中選中“HP ILO Device”，如圖分別配置node1_ilo,node2_ilo,node3_ilo。  節(jié)點與Fence設備綁定在左視圖中選中剛添加的節(jié)點node1,在右視圖中選擇”Manage Fencing For This Node”, 在跳出的對話框中，單擊“Add a Ne

29、w Fence Level”。添加該節(jié)點的Fence。選擇”Fence-Level-1”,單擊”Add aNew Fence to this Level”,選擇名為node1_ilo的設備。 已綁定node1_ilo到node1節(jié)點同理node2與node2_ilo綁定，node3與node3_ilo綁定.請參照node1與node1_ilo綁定的過程。3.Failover Domanins （故障域的設置）點擊Failover Domains ,點擊 Create a Failover Domain創(chuàng)建兩個故障域，Name for new Failover Domain：apache Nam

30、e for new Failover Domain：mysqlRestrict Failover To This Domains Members：指派給這個Failover Domain的Service只可以在當前加入的成員上執(zhí)行；如果不選此項，Service將允許在本集群中的任何節(jié)點進行Failover切換。為保證系統(tǒng)的嚴謹性，建議選中此項。Prioritized List：用于調整Failover Domain中節(jié)點的優(yōu)先級別，指定Service優(yōu)先在哪個節(jié)點中運行。(注：對于雙節(jié)點情況，如果，兩臺服務器的性能相同，那么一般不需要設置它們的優(yōu)先關系，先啟動服務器為主服務器，后啟動的的為備用服務器。當主服務器出現(xiàn)故障，備用服務器進行Servic