LVSkeepalived負(fù)載均衡高可用配置安裝大全

LVS+Keepalived實(shí)現(xiàn)高可用集群TOC\o"1-5"\h\z\o"CurrentDocument"一、 基礎(chǔ)介紹 2二、 搭建配置LVS-NAT模式 2\o"CurrentDocument"三、 搭建配置LVS-DR模式 4\o"CurrentDocument"四、 另外一種腳本方式實(shí)現(xiàn)上面 LVS-DR模式 6\o"CurrentDocument"五、 keepalived+LVS（DR模式）高可用 8六、 Keepalived配己置文件詳纟田介紹 11、基礎(chǔ)介紹根據(jù)業(yè)務(wù)目標(biāo)分成三類：HighAvailability高可用LoadBalancing 負(fù)載均衡HighPerformanee高性能實(shí)現(xiàn)集群產(chǎn)品：HA類：rhes、heartbeat、keepalivedLB類：haproxy、Ivs、nginx、f5、piranhaHPC類：/index/downfile/infor_id/42LVS負(fù)載均衡有三種模式：LVS-DR模式(directrouter)直接路由模式進(jìn)必須經(jīng)過分發(fā)器，出就直接出LVS-NAT模式(networkaddresstranslation)進(jìn)出必須都經(jīng)過分發(fā)器LVS-TUN模式(iptunneling)IP隧道模式服務(wù)器可以放到全國各地、搭建配置LVS-NAT模式1、服務(wù)器ip規(guī)劃：DR服務(wù)器添加一張網(wǎng)卡ethl,一個(gè)網(wǎng)卡做DIP，一個(gè)網(wǎng)口做VIP。設(shè)置DIP、VIPIP地址：DIP的ethl和所有RIP相連同一個(gè)網(wǎng)段CIP和DIP的ethO(Vip)相連同一個(gè)網(wǎng)段Vip eth000Dip ethl客戶機(jī)IP:Cip 2臺(tái)真實(shí)服務(wù)器IP:Rip1 Rip2 2、 RealServer1配置：mount/dev/xvdd/media/vi/var/www/html/index.html寫入：thisisrealserver1啟動(dòng)httpdvi/etc/sysconfig/network-scripts/ifcfg-ethO設(shè)置RIP,子網(wǎng)掩碼必須設(shè)置成DIPIPADDR=NETMASK=GATEWAY=3、 RealServer2配置：vi/var/www/html/index.html寫入：thisisrealserver2啟動(dòng)httpdvi/etc/sysconfig/network-scripts/ifcfg-ethO設(shè)置RIP，子網(wǎng)掩碼必須設(shè)置成 DIPIPADDR=NETMASK=GATEWAY=4、 在DR服務(wù)器上做以下設(shè)置：開啟IP數(shù)據(jù)包轉(zhuǎn)發(fā)vi/etc/sysctl.confnet.ipv4.ip_forward=0 ##0改成1,此步很重要查看是否開啟：sysctl-p5、 安裝LVS服務(wù)：ipvsadmyum-yinstallipvsadmlsmod|grepip_vsTurbolinux系統(tǒng)沒有帶rpm包，必須下載源碼安裝：#ln-s/usr/src/kernels/2.6.18-164.el5-x86_64//usr/src/linux ##如果不做連接，編譯時(shí)會(huì)包錯(cuò)#tarzxvfipvsadm-1.24.tar.gz#cdipvsadm-1.24#make&&makeinstall運(yùn)行下ipvsadm，就加到ip_vs模塊到內(nèi)核了lsmod|grepip 可以看到有ip_vs模塊了

6、配置DR服務(wù)器，添加虛擬服務(wù)ipvsadm-L-n查詢信息ipvsadm-A-t00:80-srr #添加集群服務(wù)、調(diào)度算法， rr為調(diào)度算法ipvsadm-a-t00:80-r-m-w1 #-m代表net模式，-w代表權(quán)重ipvsadm-a-t00:80-r-m-w2ipvsadm-L-n 再次查看是就有了 realserverserviceipvsadmsave 保存配置iptables-L 關(guān)閉或者清空防火墻watch-n1'ipvsadm-L-n'查看訪問記錄的數(shù)顯示如下:->RemoteAddress:PortForwardWeightActiveConnInActConnTCP00:80rr->:80->:80Masq 1 0 13Masq 2 0 12ActiveConn是活動(dòng)連接數(shù)，也就是tcp連接狀態(tài)的 ESTABLISHED)nActConn 是指除了ESTABLISHED以外的，所有的其它狀態(tài)的tcp連接.7、測試：00配完后若想修改算法：ipvsadm-E-t00:80-swlc修改Rip的權(quán)重：ipvsadm-e-t00:80-r-m-w1ipvsadm-e-t00:80-r-m-w5三、搭建配置LVS-DR模式lo:1回應(yīng)客戶端，lo:1上的IP跟機(jī)器有關(guān)，跟網(wǎng)卡沒有關(guān)系arp_announee對網(wǎng)絡(luò)接口上本地IP地址發(fā)出的ARP回應(yīng)作出相應(yīng)級別的限制arp_ignore 定義對目標(biāo)地址為本地IP的ARP詢問不同的請求一、3臺(tái)服務(wù)器IP配置規(guī)劃：DIP:eth0:100/32(VIP)eth0/24(DIP)RIP1lo:1eth000/32(VIP)RIP1lo:1eth0/24

RIP2lo:100/32(VIP)ethO/24RIPnlo:100/32(VIP)eth0192.168.58.N/24二、每臺(tái)realserver都加上下面四個(gè)步驟配置：1、 配置每臺(tái)rip的IP、http,web頁面2、 關(guān)閉每臺(tái)rip服務(wù)器的ARP廣播：echo1>/proc/sys/net/ipv4/conf/lo/arp_ignoreecho2>/proc/sys/net/ipv4/conf/lo/arp_announceecho1>/proc/sys/net/ipv4/conf/all/arp_ignoreecho2>/proc/sys/net/ipv4/conf/all/arp_announce3、 配置VIPifconfiglo:100netmask55broadcast00up4、 配置網(wǎng)關(guān)routeadd-host00devlo:1三、DR上的配置（DR模式下Dip不用開啟轉(zhuǎn)發(fā)）：1、 配置DIP，在eth0上添加一個(gè)子VIP接口：添加VIP:ifconfigeth0:100broadcast00netmask55up2、 配置網(wǎng)關(guān)：routeadd-host00deveth0:1route-n3、安裝ipvsadm（方法見文檔上面）yum-yinstallipvsadmlsmod|grepip_vs4、配置LVS集群：ipvsadm-A-t00:80-srr#添加集群服務(wù)、調(diào)度算法,ipvsadm-A-t00:80-srr#添加集群服務(wù)、調(diào)度算法,rr為調(diào)度算法ipvsadm-a-t00:80-r-g-w1#-gipvsadm-a-t00:80-r-g-w1#-g代表DR模式，-w代表權(quán)重ipvsadm-a-t00:80-r-g-w2ipvsadm-a-t00:80-r-g-w2serviceipvsadmsaveipvsadm-L-n 查看信息四、測試：00四、另外一種腳本方式實(shí)現(xiàn)上面 LVS-DR模式ip規(guī)劃：DipethO39VIP: 00RIP1:RIP2:1、 DR服務(wù)器上安裝ipvsadm#yum-yinstallipvsadm#lsmod|grepip_vs查看沒有輸出#modprobeip_vs安裝即可2、 配置DIP服務(wù)器、LVS這里也是個(gè)寫腳本為了方便vim/etc/init.d/lvsdr#!/bin/bash#lvsofDRVIP=00RIP1=RIP2=case"$1"instart)echo"startlvsofDR"/sbin/ifconfigeth0:0$VIPbroadcast$VIPnetmaskupecho"1">/proc/sys/net/ipv4/ip_forward/sbin/iptables-C/sbin仲vsadm-A-t$VIP:80-srr/sbin仲vsadm-a-t$VIP:80-r$RIP1:80-g/sbin仲vsadm-a-t$VIP:80-r$RIP2:80-g/sbin/ipvsadmJJstop)echo"stoplvsofDR"echo"0">/proc/sys/net/ipv4/ip_forward/sbin/ipvsadm-C/sbin/ifconfigeth0:0downJJ*)echo"Usage:$0{start|stop}"exit1esacexit0#chmodo+x/etc/init.d/lvsdr啟動(dòng)腳本：#serviceIvsdrstart3、2臺(tái)RIP服務(wù)器都配置這里我們也都可以寫成腳本開啟2臺(tái)RIP的httpd服務(wù)。這里我就舉web1了，web2也是一樣的。#vim/etc/init.d/lvsrip#!/bin/bashVIP=00./etc/rc.d/init.d/functionscase"$1"instart)ifconfiglo:0$VIPnetmask55broadcast$VIP/sbin/routeadd-host$VIPdevlo:0echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignoreecho"2">/proc/sys/net/ipv4/conf/lo/arp_announceecho"1">/proc/sys/net/ipv4/conf/all/arp_ignoreecho"2">/proc/sys/net/ipv4/conf/all/arp_announcesysctl-p>/dev/null2>&1echo"RealServerStartOK"JJstop)ifconfiglo:0downroutedel$VIP>/dev/null2>&1echo"0">/proc/sys/net/ipv4/conf/lo/arp_ignoreecho"0">/proc/sys/net/ipv4/conf/lo/arp_announceecho"0">/proc/sys/net/ipv4/conf/all/arp_ignoreecho"0">/proc/sys/net/ipv4/conf/all/arp_announceecho"RealServerStoped"JJ*)echo"Usage:$0{start|stop}"exit1esacexit0注：DR模式VIP必須跟服務(wù)器同一網(wǎng)段echo"1";echo"2"是為了抑制arp廣播作用#chmodo+x/etc/init.d/lvsdr兩臺(tái)rip服務(wù)器都啟動(dòng)腳本:#serviceIvsripstart4、驗(yàn)證00在負(fù)載均衡器上我們查看下#ipvsadm-L-n五、keepalived+LVS（DR模式）高可用配置2臺(tái)DIP（LVS_master、LVS_backup）#LVS_master、LVS_backup上啟動(dòng)keepalived,LVS_master先綁定VIP,master掛掉后，backup自動(dòng)綁定VIP#（一）配置LVS_master1、 安裝ipvsadm（安裝文檔見上面）#yum-yinstallipvsadm#lsmod|grepip_vs查看沒有輸出#modprobeip_vs安裝即可2、 安裝keepalivedtarxzvfkeepalived-1.2.1.tar.gz./configure--sysconf=/etc/--with-kernel-dir=/usr/src/kernels/2.6.18-128.el5-i686/makemakeinstallIn-s/usr/local/sbin/keepalived/sbin/cd/etc/keepalived/cpkeepalived.confkeepalived.conf.bak3、 修改master的配置文件vi/etc/keepalived/keepalived.conf!ConfigurationFileforkeepalivedglobal_defs{notification_email{liumeng@ipanel.cn

notification_email_fromliumeng@smtp_server48smtp_connect_timeout30router_idLVS_DEVEL}vrrp」nstaneeVI_1{stateMASTERinterfaceeth0virtual_router_id51例使用唯一的標(biāo)識，即同一個(gè)priority100notification_email_fromliumeng@smtp_server48smtp_connect_timeout30router_idLVS_DEVEL}vrrp」nstaneeVI_1{stateMASTERinterfaceeth0virtual_router_id51例使用唯一的標(biāo)識，即同一個(gè)priority100advert_int1間間隔，單位是秒authentication{auth_typePASSauth_pass1111}virtual_ipaddress{00#虛擬路由標(biāo)識，這個(gè)標(biāo)識是一個(gè)數(shù)字，并且同一個(gè) vrrp實(shí)vrrp_instanee下，MASTER和BACKUP必須是一致的#設(shè)定MASTER與BACKUP負(fù)載均衡器之間同步檢查的時(shí)#設(shè)置虛擬IP地址，可以設(shè)置多個(gè)虛擬 IP地址，每行一個(gè)virtual_server0080{delay_loop10lb_algorrlb_kindDRnat_maskpersistence_timeout60protocolTCP##要想看到rr輪詢切換效果，請注釋掉此行#（用TCP協(xié)議檢查realserver狀態(tài)）real_server80{weight2TCP_CHECK{connecttimneout10nb_get_retry3dalay_before_retry3connect_port80}#重連次數(shù)#重連間隔時(shí)間#健康檢查的端口的端口real_server80{weight2TCP_CHECK{connecttimneout10dalay_before_retry3connect_port804、啟動(dòng)：/etc/init.d/keepalivedstartchkconfigkeepalivedon（二）配置LVS_BACKUP1、 DIP安裝ipvsadm、keepalived2、 修改配置文件把master的keepalived配己置文件/etc/keepalived/keepalived.conf直接拷貝到備DR上修改state為BACKUP修改priority為803、啟動(dòng)/etc/init.d/keepalivedstart備注：在keepalived方案中不需要啟動(dòng) DR服務(wù)器上的Ivsdr腳本，很多朋友對此有問題。關(guān)于LVS的keepalvied的HA方案中，完全由keepalived.conf—個(gè)文件搞定，特此聲明！如果2臺(tái)DR服務(wù)器在上面的配置中加了開機(jī)自啟動(dòng)，此時(shí)就要取消了：vi/etc/rc.local#/root/lvsdr.將Ivs-dr.sh這個(gè)腳本注釋掉。#/root/lvsdrstop停止lvsdr腳本（三）配置2臺(tái)RIP服務(wù)器1、 拷貝上面的lvsrip.sh腳本到2臺(tái)realserver2、 2臺(tái)都啟動(dòng)腳本#./lvsripstart3/查看網(wǎng)卡配置：ipaddrlist4、驗(yàn)證00在負(fù)載均衡器上我們查看下#ipvsadm-L-n關(guān)閉一臺(tái)DR，看是否能夠?qū)⑷蝿?wù)轉(zhuǎn)移到另一臺(tái)上面/etc/init.d/keepalivedstop六、Keepalived六、Keepalived配置文件詳細(xì)介紹!ConfigurationFileforkeepalivedglobal_defs{notification_email{root@linux.tang.chao #mchina_tang@ #}notification_email_fromkeepalived@localhostsmtp_server #smtp_connect_timeout30 #router_id LVS_DEVEL信息設(shè)置報(bào)警郵件地址，可以設(shè)置多個(gè)，每行一個(gè)。需開啟本機(jī)的sendmail服務(wù)# !ConfigurationFileforkeepalivedglobal_defs{notification_email{root@linux.tang.chao #mchina_tang@ #}notification_email_fromkeepalived@localhostsmtp_server #smtp_connect_timeout30 #router_id LVS_DEVEL信息設(shè)置報(bào)警郵件地址，可以設(shè)置多個(gè)，每行一個(gè)。需開啟本機(jī)的sendmail服務(wù)# 設(shè)置郵件的發(fā)送地址設(shè)置smtpserver地址設(shè)置連接smtpserver 的超時(shí)時(shí)間# 表示運(yùn)行keepalived 服務(wù)器的一個(gè)標(biāo)識。發(fā)郵件時(shí)顯示在郵件主題的vrrp_instanceVI_1{stateMASTER #interfaceeth0#virtual_router_id51 #指定keepalived的角色，MASTER表示此主機(jī)是主服務(wù)器，BACKUP表示此主機(jī)是備用服務(wù)器指定HA監(jiān)測網(wǎng)絡(luò)的接口虛擬路由標(biāo)識，這個(gè)標(biāo)識是一個(gè)數(shù)字，同一個(gè)vrrp實(shí)例使用唯一的標(biāo)識。即同一 vrrp_instance下，MASTER和BACKUP必須是一致的priority 100 #的優(yōu)先級advertint1 #authentication{ #auth_typePASS#auth_pass 1111 #}virtual_ipaddress{ #48定義優(yōu)先級，數(shù)字越大，優(yōu)先級越高，在同一個(gè)vrrp_instance 下,MASTER的優(yōu)先級必須大于BACKUP設(shè)定MASTER與BACKUP負(fù)載均衡器之間同步檢查的時(shí)間間隔，單位是秒設(shè)置驗(yàn)證類型和密碼設(shè)置驗(yàn)證類型，主要有PASS和AH兩種設(shè)置驗(yàn)證密碼，在同一個(gè)vrrp_instance下，MASTER與BACKUP必須使用相同的密碼才能正常通信設(shè)置虛擬IP地址，可以設(shè)置多個(gè)虛擬 IP地址，每行一個(gè)virtual_server4880{ #delay_loop6 #lb_algorr #lb_kind