Linux負(fù)載均衡集群配置詳解

1、Linux服務(wù)器負(fù)載均衡集群配置一.1 負(fù)載均衡集群配置一.1.1 配置DR(1在DR上初始化piranha的密碼# piranha-passwd輸入兩遍密碼teleepoch即可。（2）在DR上啟動(dòng)需要的服務(wù)# service piranha-gui start（3）在DR上使用piranha工具配置LVS首先在瀏覽器中輸入:3636打開piranha，輸入用戶名：piranha，密碼：teleepoch上面設(shè)置的密碼。 登錄后將看到監(jiān)視屏幕。  配置Global Settings（是對(duì)DR的配置）點(diǎn)擊Direct Routing，

2、然后輸入公網(wǎng)IP：41，和局域網(wǎng)IP：。點(diǎn)擊ACCEPT按鈕保存設(shè)置。  點(diǎn)擊VIRTUAL SERVERS進(jìn)入服務(wù)控制頁(yè)面，點(diǎn)擊ADD按鈕添加一個(gè)服務(wù)。選中服務(wù)按鈕，點(diǎn)擊EDIT。Name：服務(wù)名稱， webApplication port：服務(wù)端口，80Protocol：協(xié)議，tcpFirewall Mark: 防火墻標(biāo)記，不用Device：設(shè)備，eth0：1Re-entry Time：重試時(shí)間，15Service timeout：服務(wù)超時(shí)，6Queesce server：不用Load monitoring tool：服務(wù)監(jiān)控工具S

3、cheduling：調(diào)度算法，Persistence：不用Persistence Network Mask：不用配置完成后點(diǎn)擊ACCEPT按鈕保存設(shè)置。點(diǎn)擊REAL SERVER連接，配置Real Server。點(diǎn)擊ADD按鈕添加一個(gè)節(jié)點(diǎn)，點(diǎn)擊EDIT按鈕編輯節(jié)點(diǎn)，點(diǎn)擊(DEACTIVATE按鈕激活節(jié)點(diǎn)。點(diǎn)擊MONITORING SCRIPTS連接修改監(jiān)控設(shè)置，在此保持默認(rèn)。點(diǎn)擊VIRTUAL SERVERS連接，然后點(diǎn)擊(DEACTIVATE按鈕激活上面設(shè)置的服務(wù)。d）在DR上打開數(shù)據(jù)轉(zhuǎn)發(fā)找到下面行：net.ipv4.ip_forward = 0將0 改成1，net.ipv4.ip_forw

4、ard = 1檢查是否生效：# /sbin/sysctl net.ipv4.ip_forward 返回1生效，0未生效手動(dòng)使其生效：# /sbin/sysctl w net.ipv4_forward=1（2）配置BDR拷貝配置文件到BDR。# scp root41:/etc/sysconfig/ha/lvs.cf /etc/sysconfig/ha/手動(dòng)使其生效：# /sbin/sysctl w net.ipv4_forward=1一.1.2 服務(wù)器節(jié)點(diǎn)的配置在Real Server上創(chuàng)建一個(gè)腳本：進(jìn)入root目錄： # cd /root.140 netmask 255.

5、255.255.255 up.140 dev lo:0echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 >/proc/sys/net/ipv4/conf/lo/arp_announceecho 1 >/proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 >/proc/sys/net/ipv4/conf/all/arp_announce sysctl p保存退出，并給執(zhí)行權(quán)限。將腳本加入在每個(gè)Real Server上重復(fù)本步。一.1.3 啟動(dòng)LVS在DR上打開日志文件# t

6、ail -f /var/log/messages啟動(dòng)pulse服務(wù)# /sbin/service pulse start在BDR上啟動(dòng)pulse服務(wù)# /sbin/service pulse start一.2 負(fù)載均衡節(jié)點(diǎn)的HA配置步驟單一DR的lvs cluster架構(gòu)DR負(fù)擔(dān)較大，并存在單點(diǎn)故障，提供另一主機(jī)擔(dān)任備份，可避免DR的故障而使對(duì)外服務(wù)工作終止；備份主機(jī)BDR隨時(shí)處于預(yù)備狀態(tài)與DR相互偵測(cè)。在DR上登錄piranha，配置Redundancy（對(duì)BDR的配置）點(diǎn)擊ENABLE，輸入公網(wǎng)IP：，和局域網(wǎng)IP：。Heartbeat interval間隔(秒數(shù)：2 (預(yù)設(shè), Assum

7、e dead after假定在秒后進(jìn)入DEAD狀態(tài)：5 (預(yù)設(shè)；HEARTBEAT連接端口：539 (預(yù)設(shè)點(diǎn)擊ACCEPT按鈕保存設(shè)置。  拷貝配置文件到BDR。# scp root41:/etc/sysconfig/ha/lvs.cf /etc/sysconfig/ha/在DR、BDR上重啟pulse服務(wù)# service pulse restart，需要20秒左右起作用。一.3 LVS調(diào)度節(jié)點(diǎn)DR間的狀態(tài)同步調(diào)度器有可能因?yàn)槠渌蚨?，如機(jī)器的硬件故障和網(wǎng)絡(luò)線路故障等。所以，我們引入一個(gè)從調(diào)度器作為主調(diào)度器的備份，當(dāng)主調(diào)度器失效時(shí)，從調(diào)度器將接

8、管VIP等地址進(jìn)行負(fù)載均衡調(diào)度。在現(xiàn)在的解決方案中，當(dāng)主調(diào)度器失效時(shí)，調(diào)度器上所有已建立連接的狀態(tài)信息將丟失，已有的連接會(huì)中斷，客戶需要向重新連接，從調(diào)度器才會(huì)將新連接調(diào)度到各個(gè)服務(wù)器上。這對(duì)客戶會(huì)造成一定的不便。為此，我們考慮一種高效機(jī)制將主調(diào)度器的狀態(tài)信息及時(shí)地復(fù)制到從調(diào)度器，當(dāng)從調(diào)度器接管時(shí)，絕大部分已建立的連接會(huì)持續(xù)下去。因?yàn)檎{(diào)度器的連接吞吐率是非常高的，如每秒處理一萬(wàn)多個(gè)連接，如何將這些變化非?？斓臓顟B(tài)信息高效地復(fù)制到另一臺(tái)服務(wù)器？我們?cè)O(shè)計(jì)利用內(nèi)核線程實(shí)現(xiàn)主從同步進(jìn)程，在操作系統(tǒng)的內(nèi)核中，直接將狀態(tài)信息發(fā)送到從調(diào)度器上，可以避免用戶空間和核心的切換開銷。其結(jié)構(gòu)如圖5.2所示：圖：主從

9、調(diào)度器間的狀態(tài)同步 在主從調(diào)度器的操作系統(tǒng)內(nèi)核中分別有兩個(gè)內(nèi)核線程ConnSyncd，主調(diào)度器上的ConnSyncd每隔1/10秒鐘喚醒一次從更新隊(duì)列中將更新信息讀出，將更新信息發(fā)給從調(diào)度器上的ConnSyncd，然后在從調(diào)度器內(nèi)核中生成相應(yīng)的狀態(tài)信息。為了減少主從調(diào)度器間的通訊開銷，在主調(diào)度器的更新隊(duì)列中只放新連接生成的信息，在從調(diào)度器中生成連接信息，設(shè)置定時(shí)器，當(dāng)連接超時(shí)，該連接會(huì)自動(dòng)被刪除。主從調(diào)度器間狀態(tài)復(fù)制的代碼正在編寫中。因?yàn)橹鲝恼{(diào)度器間的狀態(tài)復(fù)制會(huì)降低調(diào)度器的吞吐率，所以主從調(diào)度器間狀態(tài)復(fù)制會(huì)以模塊的形式出現(xiàn)，當(dāng)用戶特別需要時(shí)，可以將該模塊加入內(nèi)核中。在DR上運(yùn)行ipvsadm -start-daemon=master -mcast-interface=eth0在BDR上運(yùn)行 ipvsadm -start-daemon=backup -mcast-interface=eth0配置完成后在DR上顯示ipvsadm -l -daemonmaster sync daemon (mcast=eth0, syncid=0在BDR上顯示ipvsadm -l -daemonback