網(wǎng)站集群架構(gòu)設(shè)計LVS實現(xiàn)網(wǎng)絡(luò)負(fù)載均衡實例精講

網(wǎng)站集群架構(gòu)設(shè)計

LVS實現(xiàn)網(wǎng)絡(luò)負(fù)載均衡實例精講

CU版主kns0124wh(百湖）2009年6月20日西安1淘寶才智在線才智在線７５４０９３４９０清楚為什么會出現(xiàn)LVSLVS能夠做到的LVS實現(xiàn)方式LVS需要HighAvailabilityLVS的應(yīng)用延伸2淘寶才智在線才智在線７５４０９３４９０互聯(lián)網(wǎng)的發(fā)展Unix誕生于1969年1987商業(yè)化的互聯(lián)網(wǎng)誕生1990年互聯(lián)網(wǎng)的膨脹在繼續(xù)3淘寶才智在線才智在線７５４０９３４９０群集概念的出現(xiàn)人口大爆炸，男的比女的多3700萬，都去上網(wǎng)。于是服務(wù)器吃不消了，有人提出了群集、云------概念。4淘寶才智在線才智在線７５４０９３４９０解決之道Html語法URL重定向Location返回代碼早前的DNS的多個A記錄負(fù)載均衡產(chǎn)品F5硬件GSLB服務(wù)端應(yīng)用負(fù)載均衡從程序解決5淘寶才智在線才智在線７５４０９３４９０開源解決之道節(jié)約采購硬件成本、減少開發(fā)難度基于開源應(yīng)用軟件的Modules解決之路apachemod_geoip

mod_proxy_balancer

mod_proxy_ajp

nginx

GEOModule

tomcatsessions1998年5月創(chuàng)立LVS成為了Linux內(nèi)核的一部分效率高真實運行的Webproxy集群系統(tǒng)6淘寶才智在線才智在線７５４０９３４９０什么是LVSLVS是章文嵩博士發(fā)起和領(lǐng)導(dǎo)的優(yōu)秀的集群解決方案,許多商業(yè)的集群產(chǎn)品,比如RedHat的Piranha等,都是基于LVS的核心代碼的。LVS是一個開源的軟件，在LINUX平臺下實現(xiàn)基于IP負(fù)載均衡技術(shù)和內(nèi)容請求分發(fā)技術(shù)。LVS是LinuxVirtualServer的縮寫，意思是Linux虛擬服務(wù)器。/http:///7淘寶才智在線才智在線７５４０９３４９０LVS能做到的TheLinuxVirtualServerisahighlyscalableandhighlyavailableserverbuiltonaclusterofrealservers,withtheloadbalancerrunningontheLinuxoperatingsystem.Thearchitectureoftheserverclusterisfullytransparenttoendusers,andtheusersinteractasifitwereasinglehigh-performancevirtualserver./

8淘寶才智在線才智在線７５４０９３４９０高性能的調(diào)度器LVS集群采用IP負(fù)載均衡技術(shù)。調(diào)度器具有很好的吞吐率，將請求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，結(jié)合健康檢測功能調(diào)度器自動屏蔽掉服務(wù)器的故障，結(jié)合HighAvailability技術(shù)從而將一組服務(wù)器構(gòu)成一個高性能的、高可用的虛擬服務(wù)器。整個服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，而且無需修改客戶端和服務(wù)器端的程序。為此，在設(shè)計時需要考慮系統(tǒng)的透明性、可伸縮性、高可用性和易管理性。9淘寶才智在線才智在線７５４０９３４９０LVS不能做到的機器數(shù)量需要多Nginx

在一個主機上就可以實現(xiàn)很好的負(fù)載基于IP的調(diào)度算法不能實現(xiàn)基于語意的調(diào)度對于應(yīng)用程序的sessions需要借助其他方式對于數(shù)據(jù)庫RAC、REPLICATION不同Googlefilesystem,Bigtable,Mapreduce（Hadoop開源的可運行于大規(guī)模集群上的分布式并行編程框架）10淘寶才智在線才智在線７５４０９３４９０典型LVS結(jié)構(gòu)一般來說，LVS集群采用三層結(jié)構(gòu)，負(fù)載調(diào)度器、服務(wù)器池、共享存儲主要部分組成。11淘寶才智在線才智在線７５４０９３４９０LVS的三個部分負(fù)載調(diào)度器（loadbalancer），它是整個集群對外面的前端機，負(fù)責(zé)將客戶的請求發(fā)送到一組服務(wù)器上執(zhí)行，而客戶認(rèn)為服務(wù)是來自一個IP地址（我們可稱之為虛擬IP地址）上的。服務(wù)器池（serverpool），是一組真正執(zhí)行客戶請求的服務(wù)器，執(zhí)行的服務(wù)有WEB、MAIL、FTP和DNS等。共享存儲（sharedstorage），它為服務(wù)器池提供一個共享的存儲區(qū)，這樣很容易使得服務(wù)器池?fù)碛邢嗤膬?nèi)容，提供相同的服務(wù)。12淘寶才智在線才智在線７５４０９３４９０三種IP負(fù)載均衡技術(shù)可伸縮網(wǎng)絡(luò)服務(wù)結(jié)構(gòu)，都需要一個前端的負(fù)載調(diào)度器（主從備份）基于IP負(fù)載均衡技術(shù)是在負(fù)載調(diào)度器的實現(xiàn)技術(shù)中效率最高的。在已有的IP負(fù)載均衡技術(shù)中，主要有通過網(wǎng)絡(luò)地址轉(zhuǎn)換（NetworkAddressTranslation）將一組服務(wù)器構(gòu)成一個高性能的、高可用的虛擬服務(wù)器，我們稱之為VS/NAT技術(shù)（VirtualServerviaNetworkAddressTranslation）。在分析VS/NAT的缺點和網(wǎng)絡(luò)服務(wù)的非對稱性的基礎(chǔ)上通過IP隧道實現(xiàn)虛擬服務(wù)器的方法VS/TUN（VirtualServerviaIPTunneling）通過直接路由實現(xiàn)虛擬服務(wù)器的方法VS/DR（VirtualServerviaDirectRouting），VS/DR可以極大地提高系統(tǒng)的伸縮性。VS/NAT、VS/TUN和技術(shù)是LVS集群中實現(xiàn)的三種IP負(fù)載均衡技術(shù)。13淘寶才智在線才智在線７５４０９３４９０VS/NAT的體系結(jié)構(gòu)14淘寶才智在線才智在線７５４０９３４９０半連接的TCP有限狀態(tài)機15淘寶才智在線才智在線７５４０９３４９０VS/TUN的體系結(jié)構(gòu)16淘寶才智在線才智在線７５４０９３４９０VS/DR的體系結(jié)構(gòu)17淘寶才智在線才智在線７５４０９３４９０調(diào)度算法輪叫調(diào)度（Round-RobinScheduling）加權(quán)輪叫調(diào)度（WeightedRound-RobinScheduling）最小連接調(diào)度（Least-ConnectionScheduling）加權(quán)最小連接調(diào)度（WeightedLeast-ConnectionScheduling）基于局部性的最少鏈接（Locality-BasedLeastConnectionsScheduling）Cache帶復(fù)制的基于局部性最少鏈接（Locality-BasedLeastConnectionswithReplicationScheduling）Cache

目標(biāo)地址散列調(diào)度（DestinationHashingScheduling）源地址散列調(diào)度（SourceHashingScheduling）18淘寶才智在線才智在線７５４０９３４９０LVS實現(xiàn)方式IPVirtualServerNetfiltermodulels-l/lib/modules/`uname-r`/kernel/net/ipv4/ipvsRedHat7.3/8.0都把ipvs預(yù)先編譯到了RedHat發(fā)行版的內(nèi)核當(dāng)在redhat9.0取消了預(yù)編譯目前IPVS包含在2.6的內(nèi)核中，不需要重新編譯，非常簡單ipvsadmutilitytoadministertheIPVirtualServerinsidetheLinuxkernel19淘寶才智在線才智在線７５４０９３４９０ipvsadm常用命令增加調(diào)度服務(wù)ipvsadm-A-t虛擬服務(wù)地址:服務(wù)端口-s調(diào)度算法增加真實服務(wù)器ipvsadm-a-t虛擬服務(wù)地址:服務(wù)端口-r真實服務(wù)地址–g工作模式刪除真實服務(wù)器ipvsadm-d-t虛擬服務(wù)地址:服務(wù)端口-r真實服務(wù)地址–g工作模式刪除調(diào)度服務(wù)ipvsadm-D-t虛擬服務(wù)地址:服務(wù)端口-s調(diào)度算法查看調(diào)度狀態(tài)ipvsadm–lnipvsadm-lnc20淘寶才智在線才智在線７５４０９３４９０狀態(tài)同步主節(jié)點ipvsadm--start-daemonmaster--mcast-interfaceeth0從節(jié)點ipvsadm--start-daemonbackup--mcast-interfaceeth021淘寶才智在線才智在線７５４０９３４９０session會話保持Persistence-p–persistent[timeout]持久穩(wěn)固的服務(wù)。這個選項的意思是來自同一個客戶的多次請求，將被同一臺真實的服務(wù)器處理。timeout的默認(rèn)值為300秒。解決這個問題，最有效的辦法就是在后端web節(jié)點間實現(xiàn)session復(fù)制，用戶在任何一個真實web節(jié)點上的session發(fā)生變化時，通過一定的策略同步復(fù)制到其它web節(jié)點上。22淘寶才智在線才智在線７５４０９３４９０調(diào)度器與真實服務(wù)器配置在調(diào)度器上設(shè)置VIP調(diào)度地址開啟IP轉(zhuǎn)發(fā)ifconfigeth0:0虛擬服務(wù)地址netmask55broadcast虛擬服務(wù)地址uprouteadd-host虛擬服務(wù)地址deveth0:0echo1>/proc/sys/net/ipv4/ip_forward23淘寶才智在線才智在線７５４０９３４９０調(diào)度器與真實服務(wù)器配置在真實服務(wù)器上設(shè)置VIP應(yīng)答地址屏蔽arp請求ifconfiglo:0虛擬服務(wù)地址netmask55borcast

虛擬服務(wù)地址uprouteadd-host虛擬服務(wù)地址devlo:0echo1>/proc/sys/net/ipv4/conf/lo/arp_ignoreecho2>/proc/sys/net/ipv4/conf/lo/arp_announceecho1>/proc/sys/net/ipv4/conf/all/arp_ignoreecho2>/proc/sys/net/ipv4/conf/all/arp_announce24淘寶才智在線才智在線７５４０９３４９０RealServer標(biāo)準(zhǔn)配置方式編輯/etc/sysconfig/network-scripts/ifcfg-lo:0設(shè)置VIP地址DEVICE=lo:0IPADDR=60 #VIP地址NETMASK=55BROADCAST=60 #廣播地址設(shè)置為VIP地址ONBOOT=yesNAME=loopback編輯/etc/sysctl.conf

設(shè)置禁用arpnet.ipv4.conf.lo.arp_ignore=1net.ipv4.conf.lo.arp_announce=2net.ipv4.conf.all.arp_ignore=1net.ipv4.conf.all.arp_announce=225淘寶才智在線才智在線７５４０９３４９０演示環(huán)境采用VS/DR模式，通過ipvsadm命令方式建立演示一個典型的環(huán)境：一個dr節(jié)點、兩個realserver節(jié)點運行WEB服務(wù)。

VIP：60/24

DR: 61/24 RealServerA:67/24 RealServerB:68/24

GATEWAY： DNS：

26淘寶才智在線才智在線７５４０９３４９０Demo演示視頻27淘寶才智在線才智在線７５４０９３４９０問題配置腳本問題DR節(jié)點成為單點故障源無RealServer的監(jiān)控狀態(tài)檢測LVS需要HighAvailability28淘寶才智在線才智在線７５４０９３４９０LVS需要HighAvailabilityLVSPiranhaLVSheartbeatldirectordLVSKeepalived29淘寶才智在線才智在線７５４０９３４９０LVSPiranhapiranha為REDHAT開發(fā)的一個LVS集群管理工具叫Piranha，用于控制LVS集群，并提供了一個圖形化的配置界面。Piranha-Load-balancedWebandFTPClusterspiranha-guiservicepulseserviceLinuxVirtualServerAdministration

/docs/en-US/Red_Hat_Enterprise_Linux/5/html/Virtual_Server_Administration/index.html30淘寶才智在線才智在線７５４０９３４９０Piranha31淘寶才智在線才智在線７５４０９３４９０GET/HTTP/1.0\r\n\r\n32淘寶才智在線才智在線７５４０９３４９０Piranha安裝Piranha是調(diào)度節(jié)點的配置，RealServer節(jié)點的配置仍不能缺少rs節(jié)點設(shè)置VIPrs節(jié)點禁用ARP對于centosyum-yinstallpiranhaipvsadm不能使用yum需要安裝如下包（具體版本因OS不同）php-commonphp-cliphpipvsadmpiranha33淘寶才智在線才智在線７５４０９３４９０Piranha配置文件/etc/sysconfig/ha/lvs.cf添加刪除節(jié)點更改調(diào)度服務(wù)定義更改參數(shù)設(shè)置更改后重新啟動pulse34淘寶才智在線才智在線７５４０９３４９０Piranha結(jié)合Kickstart定制結(jié)合Kickstart%post腳本定制預(yù)定義修改lvs.cf快速35淘寶才智在線才智在線７５４０９３４９０采用VS/DR模式，通過Piranha方式建立演示一個典型的環(huán)境：一個dr節(jié)點、兩個realserver節(jié)點運行WEB服務(wù)。

VIP：60/24

DR: 61/24 BDR：62/24 RealServerA:67/24 RealServerB:68/24

GATEWAY： DNS：

配置監(jiān)控檢測，測試節(jié)點移除

36淘寶才智在線才智在線７５４０９３４９０Demo演示視頻37淘寶才智在線才智在線７５４０９３４９０LVSKeepalivedkeepalived

http://Keepalived在這里主要用作RealServer的健康狀態(tài)檢查以及DR調(diào)度Master主機和BackUP主機之間failover的實現(xiàn)當(dāng)網(wǎng)卡就可以實現(xiàn)（主備監(jiān)聽）VRRP提示：在centos5.3上有異常38淘寶才智在線才智在線７５４０９３４９０VRRP：VirtualRouterRedundancyProtocol（虛擬路由器冗余協(xié)議虛擬路由器冗余協(xié)議（VRRP）是一種選擇協(xié)議，它可以把一個虛擬路由器的責(zé)任動態(tài)分配到局域網(wǎng)上的VRRP路由器中的一臺?？刂铺摂M路由器IP地址的VRRP路由器稱為主路由器，它負(fù)責(zé)轉(zhuǎn)發(fā)數(shù)據(jù)包到這些虛擬IP地址。一旦主路由器不可用，這種選擇過程就提供了動態(tài)的故障轉(zhuǎn)移機制，這就允許虛擬路由器的IP地址可以作為終端主機的默認(rèn)第一跳路由器。39淘寶才智在線才智在線７５４０９３４９０LVSKeepalivedKeepalivedkeepalived是一個類似于layer3,4&5交換機制的軟件，也就是我們平時說的第3層、第4層和第5層交換。Keepalived的作用是檢測web服務(wù)器的狀態(tài)，如果有一臺web服務(wù)器死機，或工作出現(xiàn)故障，Keepalived將檢測到，并將有故障的web服務(wù)器從系統(tǒng)中剔除，當(dāng)web服務(wù)器工作正常后Keepalived自動將web服務(wù)器加入到服務(wù)器群中，這些工作全部自動完成，不需要人工干涉，需要人工做的只是修復(fù)故障的web服務(wù)器。Layer3,4&5工作在IP/TCP協(xié)議棧的IP層，TCP層，及應(yīng)用層,原理分別如下：Layer3：Keepalived使用Layer3的方式工作式時，Keepalived會定期向服務(wù)器群中的服務(wù)器發(fā)送一個ICMP的數(shù)據(jù)包（既我們平時用的Ping程序）,如果發(fā)現(xiàn)某臺服務(wù)的IP地址沒有激活，Keepalived便報告這臺服務(wù)器失效，并將它從服務(wù)器群中剔除，這種情況的典型例子是某臺服務(wù)器被非法關(guān)機。Layer3的方式是以服務(wù)器的IP地址是否有效作為服務(wù)器工作正常與否的標(biāo)準(zhǔn)。Layer4:如果您理解了Layer3的方式，Layer4就容易了。Layer4主要以TCP端口的狀態(tài)來決定服務(wù)器工作正常與否。如webserver的服務(wù)端口一般是80，如果Keepalived檢測到80端口沒有啟動，則Keepalived將把這臺服務(wù)器從服務(wù)器群中剔除。Layer5：Layer5就是工作在具體的應(yīng)用層了，比Layer3,Layer4要復(fù)雜一點，在網(wǎng)絡(luò)上占用的帶寬也要大一些。Keepalived將根據(jù)用戶的設(shè)定檢查服務(wù)器程序的運行是否正常，如果與用戶的設(shè)定不相符，則Keepalived將把服務(wù)器從服務(wù)器群中剔除。40淘寶才智在線才智在線７５４０９３４９０41淘寶才智在線才智在線７５４０９３４９０42淘寶才智在線才智在線７５４０９３４９０Demo演示視頻43淘寶才智在線才智在線７５４０９３４９０heartbeatldirectordheartbeatHeartbeatheartbeat是一種心跳檢測機制。他可以讓兩臺服務(wù)器（MasterServer和SlaveServer）互為備份。Heartbeat的中文是“心跳檢測”。SlaveServer利用heartbeat來檢測MasterMaster的當(dāng)前狀態(tài)，當(dāng)MasterServer不能工作時（如：down機）SlaveServer通過heartbeat來接管MasterServer的所有工作，這個接管過程在10秒以內(nèi)完成，對用戶來說沒有什么察覺。Heartbeat中包含一個IPtakeover（IP地址接管）的功能，此功能是通過ARP欺騙的手段來完成的。44淘寶才智在線才智在線７５４０９３４９０heartbeatldirectordldirectord工作原理：ldirectord需要在每臺