高可用集群培訓(xùn)

方德高可信服務(wù)器集群

報(bào)告日期:

1中科方德軟件有限公司

信目錄

NFS-China

■

>集群介紹

>集群管理工具

>集群各模塊服務(wù)

>集群應(yīng)用

>總結(jié)

2中科方德軟件有限公司

集群介紹

NFS-China

■集群概述

>集群技術(shù)（Cluster技術(shù)）就是將多臺(tái)服務(wù)器用集群軟件連接在一

起，組成一個(gè)高度透明的大型服務(wù)器群的計(jì)算機(jī)系統(tǒng)；

>作為一個(gè)整體為客戶(hù)端提供服務(wù)，客戶(hù)端能共享網(wǎng)絡(luò)上的所有資源

,如數(shù)據(jù)或應(yīng)用軟件等，同時(shí)客戶(hù)端的用戶(hù)并不關(guān)心其應(yīng)用Server

運(yùn)行在那臺(tái)服務(wù)器上，只關(guān)心其應(yīng)用Server是否能連續(xù)工作。

3中科方德軟件有限公司?

集群介紹

當(dāng)集群系統(tǒng)內(nèi)某一臺(tái)服務(wù)器出現(xiàn)故障時(shí)，其備援服務(wù)器便

立即接管該故障服務(wù)器的應(yīng)用服務(wù)，繼續(xù)為前端的用戶(hù)提

供服務(wù)。

從客戶(hù)端看來(lái)，集群中的所有服務(wù)器是一個(gè)系統(tǒng)，就像一

臺(tái)大型的計(jì)算機(jī)系統(tǒng)，其上運(yùn)行著客戶(hù)端需要的應(yīng)用服務(wù)

o在一年之內(nèi)可達(dá)99.99%可用性時(shí)，這樣的集群系統(tǒng)我

們稱(chēng)為高可用性的集群系統(tǒng)。

4中科方德軟件有限公司

集群模型

集群普通結(jié)構(gòu)

]Linux系統(tǒng)簡(jiǎn)單負(fù)載均衡架構(gòu)

5中科方德軟件有限公司

集群分類(lèi)(1)

■高可用集群

高可用集群簡(jiǎn)稱(chēng)HA(HighAvailability

Cluster)o是一項(xiàng)以減少服務(wù)中斷時(shí)間為目

的的服務(wù)器集群技術(shù)。

中科方德軟件有限公司

翅工作方式

.NFS-China

高可用集群通常有兩種工作方式：

>容錯(cuò)系統(tǒng)：通常是主從服務(wù)器方式。

>互備系統(tǒng)：集群中所有的節(jié)點(diǎn)都處于活動(dòng)狀態(tài)，它們

承擔(dān)系統(tǒng)的工作負(fù)載。

Z中科方德軟件有限公司

集群分類(lèi)（2）

NFS-China

■負(fù)載均衡集群

>負(fù)載均衡集群就是帶均衡策略算法的服務(wù)器集

群。負(fù)載均衡集群在多節(jié)點(diǎn)之間按照一定的算法

分發(fā)網(wǎng)絡(luò)或計(jì)算處理負(fù)載。

8中科方德軟件有限公司?

集群的重要性

■在高可用性的集群系統(tǒng)中，由于是多臺(tái)服務(wù)器在高可用性的

集群系統(tǒng)軟件的管理下為客戶(hù)端提供服務(wù)，故每一個(gè)計(jì)算機(jī)

的部件都有冗余備份，其中最重要的是數(shù)據(jù)存放的介質(zhì)要有

冗余保護(hù)，一旦某個(gè)部件出現(xiàn)問(wèn)題，冗余部件會(huì)自動(dòng)接管故

障部件的工作，也就是說(shuō)某臺(tái)服務(wù)器出現(xiàn)故障，則備份服務(wù)

器將在集群軟件的指揮下自動(dòng)接管故障服務(wù)器的工作，從而

消除了此故障對(duì)整個(gè)系統(tǒng)的影響。

中科方德軟件有限公司

集群應(yīng)用前景

■網(wǎng)絡(luò)的高速發(fā)展,帶來(lái)了服務(wù)器的線(xiàn)形增長(zhǎng)，當(dāng)訪(fǎng)問(wèn)需求增

長(zhǎng)時(shí)，服務(wù)器會(huì)在很短的時(shí)間內(nèi)超載，集群技術(shù)由此應(yīng)運(yùn)而

生。目前,越來(lái)越多的企業(yè)采用Linux操作系統(tǒng),提供Web、

郵件、文件存儲(chǔ)數(shù)據(jù)庫(kù)等服務(wù)。

■隨著人們對(duì)Linux服務(wù)器依賴(lài)的加深,對(duì)其可靠性、負(fù)載能

力和數(shù)據(jù)能力也備加關(guān)注。Linux集群技術(shù)以低廉的成本，

實(shí)現(xiàn)了這些需求。Linux可以運(yùn)行于極為普及的PC機(jī)上，不

需要購(gòu)買(mǎi)昂貴的UNIX硬件設(shè)備。在幾臺(tái)運(yùn)行Linux的PC機(jī)上

,只要加入相應(yīng)的集群軟件,就可以組成具有很強(qiáng)可靠性、

負(fù)載能力和計(jì)算能力的Linux集群。

10中科方德軟件有限公司

集群介紹

小結(jié)：

?本次集群是在中科方德高可信服務(wù)器操作系

統(tǒng)平臺(tái)上進(jìn)行搭建；

?技術(shù)的目標(biāo)在于通過(guò)多層網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步提

高擴(kuò)展性、可用性與可靠性；

?將目前應(yīng)用最為廣泛的高可用集群技術(shù)和負(fù)

載均衡集群技術(shù)融合到一起。

11中科方德軟件有限公司

目錄

NFS-China

>集群介紹

>集群管理工具

>集群各模塊服務(wù)

>集群應(yīng)用

>總結(jié)

中科方德軟件有限公司

Heartbeat介紹:

概述：

>Heartbeat是Linux-HA工程的一個(gè)組件。是集群的管理

工具，同時(shí)也是集群中的一個(gè)服務(wù)；

>它通過(guò)插件技術(shù)實(shí)現(xiàn)了集群間的串口、多播、廣播和

組播通信，根據(jù)通信媒介選擇采用的通信協(xié)議，

heartbeat啟動(dòng)的時(shí)候檢查這些媒介是否存在，如果存

在則加載相應(yīng)的通信模塊。

>檢測(cè)各節(jié)點(diǎn)和服務(wù)的運(yùn)行狀態(tài)，不需要人工干預(yù)的情

況下，自動(dòng)保證系統(tǒng)能持續(xù)對(duì)外提供服務(wù)。

13中科方德軟件有限公司

Heartbeat組件結(jié)構(gòu)圖

NFS-China

■結(jié)構(gòu)圖

中科方德軟件有限公司

Heartbeat原理

高可用性集群的實(shí)現(xiàn)原理大致來(lái)說(shuō)，就是有服務(wù)監(jiān)測(cè)進(jìn)程

運(yùn)行在負(fù)載均衡器上，用來(lái)定期檢查服務(wù)器是否可用。

如果在指定的時(shí)間內(nèi)沒(méi)有響應(yīng)服務(wù)接入請(qǐng)求或沒(méi)有從服務(wù)

器獲得ICMPECHO_REQUEST數(shù)據(jù),監(jiān)測(cè)月艮務(wù)就會(huì)認(rèn)為

服務(wù)器是不可用，并且將它從現(xiàn)有的負(fù)載均衡器上的服務(wù)

器列表中刪除，從而不會(huì)有新的請(qǐng)求再被發(fā)送到這臺(tái)不可

用的服務(wù)器中。

當(dāng)監(jiān)測(cè)服務(wù)檢測(cè)到不可用的服務(wù)器已經(jīng)可以恢復(fù)工作，監(jiān)

測(cè)服務(wù)將會(huì)把這臺(tái)服務(wù)器重新添加到可用的服務(wù)器列表中

15中科方德軟件有限公司

pacemaker介紹

Pacemaker是集群資源管理。它利用你的集

群基礎(chǔ)組件（如heartbeat）來(lái)停止，啟動(dòng)

甚至監(jiān)控你希望集群提供服務(wù)的健康狀況。

它可以在任何大小規(guī)模的集群中工作，伴隨

使用可靠的模塊，管理可以很準(zhǔn)確的描述集

群中資源的關(guān)系。

中科方德軟件有限公司

hb_gui介紹

NFS-China

pacemaker的圖形管理工具:

中科方德軟件有限公司

圖形界面

■root用戶(hù)登錄信息：

中科方德軟件有限公司

Cman介紹

?cman概述

Acman(clustermanager)是RHCS(RedHat

ClusterSuite)管理工具集的其中一個(gè)組件，是

一個(gè)基于內(nèi)核的對(duì)稱(chēng)通用分布式集群管理工具，在

RHCS中執(zhí)行集群管理任務(wù)，通過(guò)配置和管理其它組

件來(lái)管理高可用集群。

19中科方德軟件有限公司

Cman介紹

?cnian原理

>cman通過(guò)監(jiān)視集群節(jié)點(diǎn)提供一個(gè)法定節(jié)點(diǎn)數(shù)（

quorum）,當(dāng)集群中有多余一半的節(jié)點(diǎn)處于活

躍狀態(tài)時(shí)說(shuō)明有一個(gè)法定節(jié)點(diǎn)數(shù)，當(dāng)有一半或

少于一半的節(jié)點(diǎn)處于活躍狀態(tài)是則不具有一個(gè)

法定節(jié)點(diǎn)數(shù)，此時(shí)整個(gè)集群不可用。cman通過(guò)

監(jiān)控節(jié)點(diǎn)來(lái)了解節(jié)點(diǎn)的成員關(guān)系，當(dāng)集群中的

成員關(guān)系改變時(shí)，cman通知底層結(jié)構(gòu)做相應(yīng)調(diào)

整。

中科方德軟件有限公司

Cman組件(1)

cman.ko:CMAN的內(nèi)核模塊。

cman_tool：這是CMAN的管理前臺(tái)，是一個(gè)管理

CMAN群集管理器的程序。它啟動(dòng)和停止CMAN并

能修改某些內(nèi)部參數(shù)，它提供加入集群、離開(kāi)集群

、殺死節(jié)點(diǎn)或修改集群里節(jié)點(diǎn)的預(yù)期quorum

votes的功能。

dlm-controld:由cman初始腳本啟動(dòng)的守護(hù)進(jìn)

程，它管理內(nèi)核中的dim;用戶(hù)不可直接使用。

21中科方德軟件有限公司

Cman組件(2)

gfs.controld：cman初始腳本啟動(dòng)的守護(hù)進(jìn)程，它管理

內(nèi)核中的gfs;用戶(hù)不可直接使用。

group-tool:用來(lái)獲取與保護(hù)（fencing）、DLM、GFS

相關(guān)的組群列表，并獲取調(diào)試信息，包括cman_tool

services在RHEL4中提供的信息。

Groupd：cman初始腳本啟動(dòng)的守護(hù)進(jìn)程，它是

openais/cman和dlm_controld/gfs_controld/fenced

之間的接口；用戶(hù)不可直接使用。

中科方德軟件有限公司

總結(jié)

?Heartbeat集群管理工具主要負(fù)責(zé)心跳信號(hào)，而Pacemaker

對(duì)資源進(jìn)行管理。Pacemaker則可以通過(guò)命令行或者圖形界

面來(lái)對(duì)資源（組），節(jié)點(diǎn)創(chuàng)建，管理，配置等工作，用來(lái)

搭建和管理一個(gè)高可用集群。

?cman集群管理工具用于管理集群成員，消息和通知。cman

包括一套內(nèi)核補(bǔ)丁和一個(gè)用戶(hù)空間程序。cman_tool用于

使一個(gè)節(jié)點(diǎn)加入或者離開(kāi)集群。改變集群的投票期望值。

中科方德軟件有限公司

集群介紹

集群管理工具

集群各模塊服務(wù)

集群應(yīng)用

總結(jié)

中科方德軟件有限公司

短多網(wǎng)卡綁定

NFS-China

.

I?bonding概述

>Linuxbonding實(shí)現(xiàn)就是用多塊網(wǎng)卡虛擬成

為一塊網(wǎng)卡，這個(gè)聚合起來(lái)的設(shè)備對(duì)外看起來(lái)

是一個(gè)單獨(dú)的以太網(wǎng)接口設(shè)備，通俗點(diǎn)講就是

多塊網(wǎng)卡具有相同的IP地址而并行鏈接聚合成

一個(gè)邏輯鏈路工作。

25中科方德軟件有限公司

Bonding原理

正常情況下，網(wǎng)卡只接收目的硬件地址(MACAddress)

,自身Mac的以太網(wǎng)幀，將別的數(shù)據(jù)幀都濾掉，以減輕

驅(qū)動(dòng)程序的負(fù)擔(dān)。

網(wǎng)卡也支持另夕I'一'種被稱(chēng)為混雜promise的模式，可以

接收網(wǎng)絡(luò)上所有的幀，bonding運(yùn)行在這個(gè)模式下，而

且修改了驅(qū)動(dòng)程序中的mac地址，將兩塊網(wǎng)卡的Mac地址

改成相同，可以接收特定mac的數(shù)據(jù)幀。然后把相應(yīng)的

數(shù)據(jù)幀傳送給bond驅(qū)動(dòng)程序處理。

Linuxbonding驅(qū)動(dòng)提供了一個(gè)把多個(gè)網(wǎng)絡(luò)接口設(shè)備捆

綁為單個(gè)的網(wǎng)絡(luò)接口設(shè)置來(lái)使用，用于網(wǎng)絡(luò)負(fù)載均衡及

網(wǎng)絡(luò)冗余。

26中科方德軟件有限公司

bonding模塊

bonding模塊本質(zhì)上是一個(gè)虛擬的網(wǎng)卡驅(qū)動(dòng)(

networkdevicedriver),只不過(guò)并沒(méi)有真實(shí)的

物理網(wǎng)卡與之對(duì)應(yīng)，而是由這個(gè)虛擬網(wǎng)卡去“

管轄”一系列的真實(shí)的物理網(wǎng)卡，所以它的代

碼結(jié)構(gòu)和一般網(wǎng)卡驅(qū)動(dòng)的代碼結(jié)構(gòu)非常類(lèi)似，

這是共性；除此之外，它還有自己的一些特性

功能，例如特別的鏈路狀態(tài)監(jiān)控機(jī)制，綁定/解

除綁定等。

27中科方德軟件有限公司

DRBD介紹

DRBD概述:

DRBD(DistributedReplicatedBlockDevice)

實(shí)際上是一種塊設(shè)備的實(shí)現(xiàn)，主要被用于構(gòu)建

linux系統(tǒng)下的高可用集群。它是由內(nèi)核模塊和

相關(guān)程序組成，通過(guò)網(wǎng)絡(luò)通信來(lái)同步鏡像整個(gè)設(shè)

備。DRBD負(fù)責(zé)接收數(shù)據(jù)，將數(shù)據(jù)寫(xiě)入本地

DRBD設(shè)備上的文件系統(tǒng)時(shí)，數(shù)據(jù)會(huì)同時(shí)被發(fā)送

到該服務(wù)器集群中另外的節(jié)點(diǎn)，并以完全相同的

內(nèi)容格式保存。

中科方德軟件有限公司

DRBD原理:

＞每個(gè)設(shè)備（DRBD提供了不止一個(gè)設(shè)備）都有一

個(gè)狀態(tài)，可能是主狀態(tài)或從狀態(tài)。在帶有主設(shè)備

的節(jié)點(diǎn)上，應(yīng)用程序能運(yùn)行并且訪(fǎng)問(wèn)主、從節(jié)點(diǎn)

設(shè)備。每次寫(xiě)入都會(huì)發(fā)往本地底層設(shè)備和從節(jié)點(diǎn)

設(shè)備中。從節(jié)點(diǎn)只能簡(jiǎn)單地把數(shù)據(jù)寫(xiě)入它的底層

塊設(shè)備上。

中科方德軟件有限公司

DRBD數(shù)據(jù)鏡像特點(diǎn)

適時(shí)性：當(dāng)應(yīng)用程序在寫(xiě)入或修改數(shù)據(jù)的同時(shí)也在向其它

節(jié)點(diǎn)進(jìn)行備份該數(shù)據(jù)；

透明性：將數(shù)據(jù)保存到本地設(shè)備時(shí)，實(shí)際上也保存到其它

節(jié)點(diǎn)上，而在其它節(jié)點(diǎn)也能看到數(shù)據(jù)的保存過(guò)程；

同步或異步：同步是指本地節(jié)點(diǎn)與集群中的其它節(jié)點(diǎn)同時(shí)

對(duì)數(shù)據(jù)進(jìn)行寫(xiě)入；異步是寫(xiě)數(shù)據(jù)被存儲(chǔ)到本地節(jié)點(diǎn)中之后

,寫(xiě)事務(wù)被認(rèn)可，對(duì)等節(jié)點(diǎn)中的數(shù)據(jù)副本出現(xiàn)在后臺(tái)中；

30中科方德軟件有限公司

DRBD模式

■單用戶(hù)模式

在單主模式下，任何資源，在任何時(shí)候，集群成員只有一

個(gè)主角色。這樣就保證了只有一個(gè)集群節(jié)點(diǎn)操縱數(shù)據(jù)，這

種模式可用于與任何傳統(tǒng)的文件系統(tǒng)。

■雙主模式

在雙主模式下，任何資源，在任何時(shí)候，兩個(gè)節(jié)點(diǎn)都在集

群節(jié)點(diǎn)上都發(fā)揮主節(jié)點(diǎn)作用。這種模式要求共享集群文件

系統(tǒng)管理者使用一個(gè)分布式鎖機(jī)制。包括GFS與0CFS2。

31中科方德軟件有限公司

麹DRBD組件

NFS-China

DRBD包含幾個(gè)具有可與內(nèi)核組件通信能力的管理工具,

為了能夠配置和管理DRBD資源。

■drbdadm:DRBD應(yīng)用套件的高層管理工具。

■drbdsetup:需要用戶(hù)配置已經(jīng)被載入到運(yùn)行內(nèi)核的DRBD

模型，它是drbd應(yīng)用套件的底層工具。

■drbdmeta:該應(yīng)用允許用戶(hù)創(chuàng)建，刪除，恢復(fù)，修改

DRBD的元數(shù)據(jù)結(jié)構(gòu)，也是一個(gè)很少使用的命令

32中科方德軟件有限公司

留iSCSI介紹

NFS-China

■

■iSCSI概述

iSCSI是由IEETF開(kāi)發(fā)的網(wǎng)絡(luò)存儲(chǔ)標(biāo)準(zhǔn)，目的是為

了用IP協(xié)議修存儲(chǔ)設(shè)備連接在一起。通過(guò)在IP網(wǎng)

上傳送SCSI命令和數(shù)據(jù)，iSCSI推動(dòng)了數(shù)據(jù)在網(wǎng)際

之間的傳遞，同時(shí)也促進(jìn)了數(shù)據(jù)的遠(yuǎn)距離管理。

33中科方德軟件有限公司

通iSCSI原理

NFS-China

■

■iSCSI技術(shù)的核心是在TCP/IP網(wǎng)絡(luò)上傳輸SCSI協(xié)議，是指用TCP/IP

報(bào)文、iSCSI報(bào)文封裝SCSI報(bào)文，使得SCSI命令和數(shù)據(jù)可以在普通

以太網(wǎng)絡(luò)上進(jìn)行傳輸，iSCSI協(xié)議定義了在TCP/IP網(wǎng)絡(luò)發(fā)送、接

收block（數(shù)據(jù)塊）級(jí)的存儲(chǔ)數(shù)據(jù)的規(guī)則和方法。發(fā)送端將SCSI命

令和數(shù)據(jù)封裝到TCP/IP包中再通過(guò)網(wǎng)絡(luò)轉(zhuǎn)發(fā)，接收端收到

TCP/IP包之后，將其還原為SCSI命令和數(shù)據(jù)并執(zhí)行，完成之后將

返回的SCSI命令和數(shù)據(jù)再封裝到TCP/IP包中再傳送回發(fā)送端。而

整個(gè)過(guò)程在用戶(hù)看來(lái)，使用遠(yuǎn)端的存儲(chǔ)設(shè)備就象訪(fǎng)問(wèn)本地的SCSI

設(shè)備一樣簡(jiǎn)單。

34中科方德軟件有限公司

iSCSI工作流程

iSCSI工作流程:

35中科方德軟件有限公司

iSCSI組件

iSCSI存儲(chǔ)使用以下三個(gè)組件：

服務(wù)端（Initiator）:安裝在需要使用iSCSI存儲(chǔ)設(shè)備的主機(jī)

上的客戶(hù)端軟件，提供連接iSCSI存儲(chǔ)設(shè)備并進(jìn)行數(shù)據(jù)讀寫(xiě)

的驅(qū)動(dòng)程序；

客戶(hù)端（Target）:iSCSI存儲(chǔ)設(shè)備，提供數(shù)據(jù)存儲(chǔ)服務(wù)；

端口（Portal）:由IP地址和端口（默認(rèn)為T(mén)CP3260）組成

,發(fā)起方通過(guò)入口來(lái)連接目標(biāo)。

中科方德軟件有限公司

iSCSI模塊

NFS-China

■iscsiadm模塊

iscsiadm是用來(lái)管理（更新、刪除、插入、查詢(xún)）

iSCSI配置數(shù)據(jù)庫(kù)文件的命令行工具。

■iscsi-target模塊

target端即磁盤(pán)陣歹U或其他裝有磁盤(pán)的主機(jī)。

■iscsi-initiator模塊

iSCSI-initiator提供了相當(dāng)合理的iSCSI解決方案。

37中科方德軟件有限公司

值GFS與GFS2介紹

NFS-China

■GFS與GFS2彳既述

>GlobalFileSystem(GFS)是一個(gè)開(kāi)放源代碼的，POSIX

兼容的Cluster文件系統(tǒng)和卷管理系統(tǒng)。是RedHat

ClusterSuite提供一個(gè)集群文件系統(tǒng)，它允許多個(gè)節(jié)點(diǎn)

在塊級(jí)別上共享存儲(chǔ)。GFS使用一個(gè)分布式的元數(shù)據(jù)和

多個(gè)記錄，GFS是一個(gè)理想的集群文件系統(tǒng)。GFS2是

GFS基礎(chǔ)上的改進(jìn)。

38中科方德軟件有限公司

GFS工作原理

■GFS文件系統(tǒng)通過(guò)一個(gè)或多個(gè)存儲(chǔ)單元來(lái)構(gòu)建一個(gè)存儲(chǔ)

池，集群中的節(jié)點(diǎn)通過(guò)SAN可以連接到指定的存儲(chǔ)池,

這樣每個(gè)集群節(jié)點(diǎn)就可以通過(guò)一個(gè)或多個(gè)路徑把存儲(chǔ)池

連接到網(wǎng)絡(luò)應(yīng)用中，由于存儲(chǔ)池連接方式是通過(guò)直接

I/O連接方式，所以可以大大提升I/O性能。

39中科方德軟件有限公司

麹GFS文件系統(tǒng)格式轉(zhuǎn)換

NFS-China

將GFS文件系統(tǒng)轉(zhuǎn)成GFS2文件系統(tǒng)操作步驟：

■備份原來(lái)的GFS文件系統(tǒng)；

■從所有集群節(jié)點(diǎn)中卸載GFS文件系統(tǒng)；

■在GFS文件系統(tǒng)中執(zhí)行g(shù)fs_fsck命令，確保沒(méi)有文件系統(tǒng)損壞，并

且現(xiàn)在使用的文件系統(tǒng)是一個(gè)干凈的文件系統(tǒng)；

■執(zhí)行g(shù)fs2_convert+文件系統(tǒng)，系統(tǒng)將顯示警告或確認(rèn)信息

40中科方德軟件有限公司

Idirectord介紹

■為了從主Director將LVS負(fù)載均衡資源故障轉(zhuǎn)移到備用

Director,并從集群中自動(dòng)移除節(jié)點(diǎn)，我們需要使用

Idirectord程序，這個(gè)程序在啟動(dòng)時(shí)自動(dòng)建立IPVS表，

然后監(jiān)視集群節(jié)點(diǎn)的健康情況，在發(fā)現(xiàn)失效節(jié)點(diǎn)時(shí)將其

自動(dòng)從IPVS表中移除。

41中科方德軟件有限公司

超Idirectord原理

NFS-China

■

■Idirectord守護(hù)進(jìn)程通過(guò)向每臺(tái)真實(shí)服務(wù)器真實(shí)IP(RIP)上的

集群資源發(fā)送訪(fǎng)問(wèn)請(qǐng)求來(lái)實(shí)現(xiàn)對(duì)真實(shí)服務(wù)器的監(jiān)控，這對(duì)所

有類(lèi)型的LVS集群都是成立的：正常情況下，為每個(gè)Director

上的VIP地址運(yùn)行一個(gè)Idirectord守護(hù)進(jìn)程，當(dāng)真實(shí)服務(wù)器不響

應(yīng)運(yùn)行在Director上的Idirectord守護(hù)進(jìn)程時(shí)，Idirectord守護(hù)

進(jìn)程運(yùn)行適當(dāng)?shù)膇pvsadm命令將VIP地址從IPVS表中移除。(

以后，當(dāng)真實(shí)服務(wù)器回到在線(xiàn)狀態(tài)時(shí)，Idirectord使用適當(dāng)?shù)?/p>

ipvsadm命令將真實(shí)服務(wù)器重新添加到IPVS表中)；

42中科方德軟件有限公司

Ldirectord功能

NFS-China

■

■負(fù)載均衡集群，通過(guò)Ldirectord監(jiān)測(cè)各

RealServer的健康狀況。在RealServer不可用

時(shí)把它從群中剔除，恢復(fù)時(shí)重新加入。

43中科方德軟件有限公司

尋Idirectord模塊

NFS-China

■ipvsadm

IPVS(IP虛擬服務(wù)器)是實(shí)現(xiàn)傳輸層的負(fù)載均衡工具包

含在linux內(nèi)核中，所以也叫做4層交換機(jī)。

■Idirectord

Ldirectord(LinuxDirectorDaemon)是JacobRief編程實(shí)

現(xiàn)的一個(gè)獨(dú)立進(jìn)程，以實(shí)現(xiàn)對(duì)服務(wù)和物理服務(wù)器的監(jiān)測(cè)

,廣泛地用于http和https服務(wù)。

44中科方德軟件有限公司?

NFS介紹

■NFS(NetFileSystem)網(wǎng)絡(luò)文件系統(tǒng)是由SUN公司開(kāi)發(fā)，

目前已經(jīng)成為文件服務(wù)的一種標(biāo)準(zhǔn)(RFC1904,RFC1813

)。

■NFS是分布式計(jì)算機(jī)系統(tǒng)的一個(gè)組成部分，可實(shí)現(xiàn)在異構(gòu)

網(wǎng)絡(luò)上共享和裝配遠(yuǎn)程文件系統(tǒng)。其最大功能是可以通過(guò)

網(wǎng)絡(luò)讓不同操作系統(tǒng)的計(jì)算機(jī)可以共享數(shù)據(jù)和遠(yuǎn)程訪(fǎng)問(wèn)，

所以也可以將其看作是一臺(tái)文件服務(wù)器。

45中科方德軟件有限公司

NFS原理

NFS客戶(hù)端通過(guò)其TCP/IP模塊向NFS服務(wù)器發(fā)送RPC請(qǐng)

求，NFS主要使用UDP,最新的實(shí)現(xiàn)也可以使用TCP。

NFS服務(wù)器在端口2049接收作為UDP數(shù)據(jù)包的客戶(hù)端請(qǐng)

求，盡管NFS可以被實(shí)現(xiàn)為使用端口映射器，允許服務(wù)

器使用一個(gè)臨時(shí)端口，但是大多數(shù)實(shí)現(xiàn)都是直接指定

UDP端口2049。

當(dāng)NFS服務(wù)器收到一個(gè)客戶(hù)端請(qǐng)求時(shí)，它將這個(gè)請(qǐng)求傳

遞給本地文件訪(fǎng)問(wèn)例程，然后訪(fǎng)問(wèn)服務(wù)器主機(jī)上的一個(gè)

本地的磁盤(pán)文件。

46中科方德軟件有限公司

LVM介紹

NFS-China

■LVM概述

■LVM是邏輯盤(pán)卷管理(LogicalVolumeManager)的簡(jiǎn)

稱(chēng)，LVM作為L(zhǎng)inux環(huán)境下對(duì)磁盤(pán)分區(qū)進(jìn)行管理的一種

機(jī)制，LVM是建立在硬盤(pán)和分區(qū)之上的一個(gè)邏輯層，來(lái)

提高磁盤(pán)分區(qū)管理的靈活性。LVM是在磁盤(pán)分區(qū)和文件

系統(tǒng)之間添加的一個(gè)邏輯層，來(lái)為文件系統(tǒng)屏蔽下層磁

盤(pán)分區(qū)布局，提供一個(gè)抽象的盤(pán)卷，使得用戶(hù)在無(wú)需停

機(jī)的情況下方便地調(diào)整各個(gè)分區(qū)大小，在盤(pán)卷上建立文

件系統(tǒng)。

47中科方德軟件有限公司;

基本術(shù)語(yǔ)

NFS-China

■物理存儲(chǔ)介質(zhì)(Thephysicalmedia)

這里指系統(tǒng)的存儲(chǔ)設(shè)備：硬盤(pán)，如：/dev/hdal./dev/sda等等

,是存儲(chǔ)系統(tǒng)最低層的存儲(chǔ)單元。

■物理卷(physicalvolume)

物理卷就是指硬盤(pán)分區(qū)或從邏輯上與磁盤(pán)分區(qū)具有同樣功能的設(shè)

備(如RAID),是LVM的基本存儲(chǔ)邏輯塊，但和基本的物理存儲(chǔ)介

質(zhì)(如分區(qū)、磁盤(pán)等)比較，卻包含有與LVM相關(guān)的管理參數(shù)。

■卷組(VolumeGroup)

LVM卷組類(lèi)似于非LVM系統(tǒng)中的物理硬盤(pán)，其由物理卷組成?？梢?/p>

在卷組上創(chuàng)建一個(gè)或多個(gè)“LVM分區(qū)”(邏輯卷)，LVM卷組由一

個(gè)或多個(gè)物理卷組成。

48中科方德軟件有限公司?

基本術(shù)語(yǔ)

NFS-China

■邏輯卷(logicalvolume)

LVM的邏輯卷類(lèi)似于非LVM系統(tǒng)中的硬盤(pán)分區(qū)，在邏輯卷之上可以

建立文件系統(tǒng)(比如/home或者/usr等)。

■PE(physicalextent)一邏輯擴(kuò)展

每一個(gè)物理卷被劃分為稱(chēng)為PE(PhysicalExtents)的基本單元,

具有唯一編號(hào)的PE是可以被LVM尋址的最小單元。PE的大小是可

配置的，默認(rèn)為4MB。

■LE(logicalextent)

邏輯卷也被劃分為被稱(chēng)為L(zhǎng)E(LogicalExtents)的可被尋址的基

本單位。在同一個(gè)卷組中，LE的大小和PE是相同的，并且——對(duì)

應(yīng)。

49中科方德軟件有限公司

集群服務(wù)總結(jié)

■總結(jié)

集群的實(shí)現(xiàn)離不開(kāi)以上的服務(wù)，多網(wǎng)卡綁定保證了網(wǎng)絡(luò)的

連接；磁盤(pán)鏡像實(shí)現(xiàn)了數(shù)據(jù)的備份；多機(jī)熱互備為用戶(hù)服

務(wù)提供了安全保障；負(fù)載均衡提高了服務(wù)器的性能，同時(shí)

也節(jié)省了用戶(hù)的訪(fǎng)問(wèn)時(shí)間。

50中科方德軟件有限公司

集群介紹

集群管理工具

集群各模塊服務(wù)

集群應(yīng)用

總結(jié)

中科方德軟件有限公司

魚(yú)系統(tǒng)配置環(huán)境

NFS-China

■

本章所描述的實(shí)例應(yīng)用的系統(tǒng)配置環(huán)境如下：

■硬件環(huán)境：

＞集群節(jié)點(diǎn)：每個(gè)節(jié)點(diǎn)設(shè)備應(yīng)該能運(yùn)行中科方德高可信服務(wù)器

操作系統(tǒng)，并且內(nèi)存大于等于1GB,應(yīng)具備兩個(gè)

網(wǎng)絡(luò)適配器接口。

＞交換機(jī)或者Hub:為了每個(gè)節(jié)點(diǎn)相互鏈接。

＞存儲(chǔ)器：集群所必需的設(shè)備

52中科方德軟件有限公司

副系統(tǒng)配置環(huán)境

NFS-China

■軟件環(huán)境：

>操作系統(tǒng)版本：方德高可信服務(wù)器操作系統(tǒng)64位

■>操作系統(tǒng)內(nèi)核版本：2.6.18-123.7NFS

>Heartbeat服務(wù)版本：heartbeat-2.99.2-9.1

>Pacemaker服務(wù)版本：pacemaker-0.6.6-6.6

>Bonding月艮務(wù)版本：3.2.4

>Drbd服務(wù)版本：0.7.23

>IscsLtarget版本：0.4.17-LAXS3

>Iscsi-initiator?utils版本：68-0.18.LNFS

>Ipvaadm服務(wù)版本：1.24

>Ldirectord服務(wù)版本：1.186?ha?2.99.2

53中科方德軟件有限公司

集群應(yīng)用（1）

NFS-China

下圖提供了一種5節(jié)點(diǎn)的高可用負(fù)載均衡集群解決方案:

中科方德軟件有限公司

方案說(shuō)明

■從上圖我們看出，LVS的抽象體系結(jié)構(gòu)分為三個(gè)層

次。第一層是負(fù)載均衡器，這是集群的唯一人口

o從客戶(hù)端的角度看，集群通過(guò)這層的服務(wù)體現(xiàn)為

一個(gè)基于IP地址的單一系統(tǒng)映像(SSI),整個(gè)集

群共用這個(gè)虛擬地址，通過(guò)它客戶(hù)端可以把整個(gè)集

群看作一個(gè)獨(dú)立的具有合法IP地址的主機(jī)系統(tǒng)，客

戶(hù)端的所有訪(fǎng)問(wèn)都發(fā)往這個(gè)虛擬IP地址。

55中科方德軟件有限公司

方案說(shuō)明

NFS-China

■但我們也發(fā)現(xiàn)，如果僅有一臺(tái)負(fù)載均衡器，容易造

成負(fù)載均衡器成為集群的單點(diǎn)失效，使其成為集群

中最脆弱的環(huán)節(jié)。因此，有必要提供容錯(cuò)機(jī)制，能

夠在負(fù)載均衡器失效的時(shí)候進(jìn)行自動(dòng)檢測(cè)并平滑替

換，也就是常說(shuō)的HA技術(shù)。在上圖的結(jié)構(gòu)中，有一

個(gè)以備份均衡身份運(yùn)行的結(jié)點(diǎn)實(shí)時(shí)地監(jiān)控負(fù)載均衡

器的運(yùn)行狀態(tài)，并根據(jù)檢測(cè)到的狀態(tài)做出響應(yīng)：報(bào)

警、接管、恢復(fù)。

中科方德軟件有限公司

方案說(shuō)明

■第二層是提供實(shí)際服務(wù)的服務(wù)器組，并且節(jié)點(diǎn)間使

用drbd服務(wù)來(lái)實(shí)現(xiàn)磁盤(pán)鏡像?？蛻?hù)端發(fā)出的服務(wù)請(qǐng)

求經(jīng)過(guò)均衡器處理以后，轉(zhuǎn)交到服務(wù)池由具體的服

務(wù)器響應(yīng)請(qǐng)求并返回?cái)?shù)據(jù)。通常我們會(huì)在服務(wù)結(jié)點(diǎn)

池上提供Web服務(wù)、FTP服務(wù)或者視頻點(diǎn)播服務(wù)。由

于單一系統(tǒng)無(wú)法應(yīng)付高峰值的數(shù)據(jù)訪(fǎng)問(wèn)，那么通過(guò)

多臺(tái)服務(wù)器分擔(dān)這些負(fù)載就比較經(jīng)濟(jì)可行了。

57中科方德軟件有限公司

方案說(shuō)明

■服務(wù)器節(jié)點(diǎn)也有可能出現(xiàn)暫時(shí)失效的情況，特別是

在節(jié)點(diǎn)提供多種服務(wù)的時(shí)候，系統(tǒng)的隨機(jī)故障或外

部環(huán)境的突變都可能造成該節(jié)點(diǎn)的某個(gè)服務(wù)暫時(shí)不

可用。因此，由負(fù)載均衡擴(kuò)展出的容錯(cuò)機(jī)制要能夠

識(shí)別這種錯(cuò)誤，及時(shí)進(jìn)行處理。同樣，當(dāng)錯(cuò)誤排除

后，集群能夠自動(dòng)識(shí)別恢復(fù)事件，把/恢復(fù)的結(jié)點(diǎn)重

新納入集群繼續(xù)運(yùn)行。

58中科方德軟件有限公司

方案說(shuō)明

■由于服務(wù)器節(jié)點(diǎn)可能會(huì)失效，所以保護(hù)節(jié)點(diǎn)中的

數(shù)據(jù)是非常重要的！通過(guò)drbd服務(wù)，可以讓集群

之間的節(jié)點(diǎn)實(shí)現(xiàn)磁盤(pán)鏡像。每個(gè)節(jié)點(diǎn)中的硬盤(pán)都

會(huì)有自己的鏡像，這樣即使某節(jié)點(diǎn)失效了，用戶(hù)

也可以正常訪(fǎng)問(wèn)其鏡像中的數(shù)據(jù)，從而不會(huì)出現(xiàn)

數(shù)據(jù)丟失的現(xiàn)象，更不會(huì)有用戶(hù)訪(fǎng)問(wèn)不到數(shù)據(jù)的

現(xiàn)象發(fā)生。

中科方德軟件有限公司

方案說(shuō)明

■第三層是存儲(chǔ)服務(wù)系統(tǒng)，為整個(gè)集群內(nèi)部運(yùn)行提供

穩(wěn)定、一致的文件存取服務(wù)。這一層作為L(zhǎng)VS集群

的擴(kuò)展，可以為集群節(jié)點(diǎn)池提供單一的文件系統(tǒng)入

口，即在每一臺(tái)服務(wù)結(jié)點(diǎn)上都共用同一個(gè)根（/）

;并且自動(dòng)完成不同結(jié)點(diǎn)訪(fǎng)問(wèn)文件系統(tǒng)所引發(fā)的文

件鎖定、負(fù)載均衡、容錯(cuò)、內(nèi)容一致、讀寫(xiě)事務(wù)等

底層功能，對(duì)應(yīng)用層提供一個(gè)透明的文件訪(fǎng)問(wèn)服務(wù)

中科方德軟件有限公司

集群應(yīng)用（2）

下圖提供了一種16節(jié)點(diǎn)的高可用負(fù)載均衡集群解決方案:

H?■?*■?—-J......B---■---?或......■航B-」-—■一■,---

■rBr■-M*.一_布―—一_

HH—JJ——?_—J.—,-J—???―.J?—???--9***■—>.J

j__???，?—?—?■??????,■

應(yīng)用說(shuō)明

■本集群模型是一個(gè)的3層集群的概念多節(jié)點(diǎn)擴(kuò)充，前端是4

個(gè)負(fù)載均衡器實(shí)現(xiàn)的是主備模式的負(fù)載均衡，而中間層是

多節(jié)點(diǎn)的服務(wù)器層運(yùn)行客戶(hù)所需的服務(wù)，為負(fù)載均衡服務(wù)

器提供多個(gè)可供選擇的真實(shí)服務(wù)器，存儲(chǔ)層還是沿用中型

集群設(shè)計(jì)方案進(jìn)行設(shè)計(jì)。

中科方德軟件有限公司

應(yīng)用說(shuō)明

NFS-China

■本集群的設(shè)計(jì)基于大型企業(yè)來(lái)設(shè)計(jì)的，由16臺(tái)計(jì)算機(jī)或者服務(wù)器來(lái)

組成有一個(gè)大規(guī)模的集群，成本方面，由于是16臺(tái)計(jì)算機(jī)的聯(lián)合工

作的大型集群，所以成本費(fèi)用較高，但是增加負(fù)載均衡服務(wù)器的主

備模式，提高了負(fù)載均衡服務(wù)器的可用性；存儲(chǔ)方面，由于使用了

共享存儲(chǔ)，所以提高了數(shù)據(jù)的安全性和保密性；共享存儲(chǔ)方面，使

用了磁盤(pán)鏡像技術(shù)，對(duì)數(shù)據(jù)進(jìn)行備份從而提高了對(duì)數(shù)據(jù)的可靠性。

但是本集群的服務(wù)器節(jié)點(diǎn)過(guò)多，而存儲(chǔ)層只使用一個(gè)雙節(jié)點(diǎn)磁盤(pán)鏡

像與共享存儲(chǔ)的綜合應(yīng)用，對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)和存儲(chǔ)有一定局限，如果

需要更改，可以減少節(jié)點(diǎn)數(shù)，增加存儲(chǔ)層的節(jié)點(diǎn)個(gè)數(shù)。

63中科方德軟件有限公司?

節(jié)點(diǎn)狀態(tài)添加

點(diǎn)狀態(tài)圖:

Unux合可用集群管理容戶(hù)院-□X

連接資源節(jié)點(diǎn)

4。牛=涿》口晶

0啊I

標(biāo)識(shí)符:group_7類(lèi)型：資源組

名稱(chēng)狀態(tài)

贏比數(shù)：

▽j1llnux-ha節(jié)點(diǎn)個(gè)數(shù)無(wú)效

名標(biāo)值

▼j節(jié)點(diǎn)

target_rolestopped

yserved54,localdomain停止

orderedtrue

yserved52停止

collocatedtrue

▽Qserved51運(yùn)行住控節(jié)點(diǎn)）

QIPaddr_192_168_5_201運(yùn)行于fserveU51']

Qv$ftpd_2運(yùn)行于『server!51']

▼j資源

d。group」資源組

QIPaddr_192_168_5_201運(yùn)行于C$erver1511

Qv$ftpd_2運(yùn)行于r$ewerl511

▼?group.2資源姐

jIPaddr_192_168_5_203未運(yùn)行

▽非限制條件

口翼位置

興r$cjocation_group_1

J順序

.協(xié)同

「添加屬性一“刪除屬性，

中科方德軟件有限公司

資源添加

■資源窗口:

中科方德軟件有限公司

NFS-China

■添加http服務(wù):

資源粘性

NFS-China

■添加資源粘性:

連接安源節(jié)點(diǎn)

◎（牛=口第3VG

名稱(chēng)伏態(tài)屬性：

標(biāo)識(shí)符：localion_151權(quán)重:

▽Qiinux-ha節(jié)點(diǎn)個(gè)效有處

節(jié)點(diǎn)

▼Q資源：布爾運(yùn)算：

Qserved53防住郃點(diǎn)）

>Qserver151防

▼③資源

▼Qgroup151資源蛆

QresourceJPaddriEfjT（'ser