CTO負載均衡全真實戰(zhàn)案例解析ppt課件

1、負載平衡全真實戰(zhàn)案例解析負載平衡全真實戰(zhàn)案例解析123412831234本次聚會的主題本次聚會的主題一個凄慘的效力器故事兩位Linux系統(tǒng)專家的心聲三份千元培訓卡的發(fā)放100位51CTO網(wǎng)友的同城聚會解讀負載平衡技術的實踐運用可憐的鮑勃可憐的鮑勃 鮑勃是公司在推銷新技術和IT架構方案開展上的革新者。在他的推進下，公司的網(wǎng)站曾經(jīng)構成了非常快速的開發(fā)流程，很快就集成到主站中去了，以便可以進展更多的用戶交互運用。當公司戰(zhàn)略的執(zhí)行效率突破了歷史最高點的時候，他發(fā)現(xiàn)系統(tǒng)的運轉有些異常，不但前臺Web效力器從后臺數(shù)據(jù)庫中讀取過程本錢開場徒然上升，容易出錯而且在呼應客戶懇求方面顯得緩慢。與此同時，當Mira

2、鮑勃的新同事開場為博客和BBS更新模組時，系統(tǒng)終于不堪重負，倒下了。 鮑勃和Mira感到他們的權威遭到了挑戰(zhàn)，但董事會卻擔憂由于系統(tǒng)由于緩慢，一些用戶會散播謠言，公司的信譽度會影響股票上市的進度。在訪問量翻倍的時候，我們的系統(tǒng)卻越來越慢？我該如何做呢？怎樣忽然會出現(xiàn)這樣的問題？怎樣忽然會出現(xiàn)這樣的問題？Internet 的飛速開展給網(wǎng)絡帶寬和效力器帶來宏大的挑戰(zhàn)。Internet的飛速開展。百兆、千兆技術曾經(jīng)得到廣泛運用，在主干網(wǎng)上密集波分復用DWDM將成為寬帶IP 的主流技術每秒到達傳輸速率最大到達400 Gb/s。Gigabit Ethernet 在效力器上很難使得其吞吐率到達1Gb/s

3、的緣由是協(xié)議棧TCP/IP和操作系統(tǒng)的低效，以及處置器的低效，這需求對協(xié)議的處置方法、操作系統(tǒng)的調(diào)度和IO 的處置作更深化的研討。對用硬件和軟件方法實現(xiàn)高可伸縮、高可用網(wǎng)絡效力的需求不斷增長，這種需求可以歸結以下幾點：可伸縮性Scalability，當效力的負載增長時，系統(tǒng)能被擴展來滿足需求，且不降低效力質(zhì)量。高可用性Availability，雖然部分硬件和軟件會發(fā)生缺點，整個系統(tǒng)的效力必需是每天24 小時每星期7 天可用的。可管理性Manageability，整個系統(tǒng)能夠在物理上很大，但應該容易管理。價錢有效性Cost-effectiveness，整個系統(tǒng)實現(xiàn)是經(jīng)濟的、易支付的。要處理上述幾

4、個需求，靠單個的效力器不能滿足需求，因此，只能運用多臺效力器結合任務以到達需求，這就是所謂的集群。高可擴展性集群普通的框架構造如下圖以Web 訪問為例，其它運用類似。后臺的多個Web 效力器上面有一樣的Web 內(nèi)容，Internet 客戶端的訪問懇求首先進入一臺效力器，由它根據(jù)負載平衡戰(zhàn)略算法合理地分配給某個Web 效力器。每個Web 效力器有一樣的內(nèi)容做起來不難，所以選擇負載平衡戰(zhàn)略算法是個關鍵問題。負載平衡的作用就像輪番值日制度，把義務分給大家來完成，以免讓一個人過度勞累。但是與輪番值日制度不同的是，負載平衡是一種動態(tài)平衡，它經(jīng)過一些工具實時地分析數(shù)據(jù)包，掌握網(wǎng)絡中的數(shù)據(jù)流量情況，把義務理

5、分配出去。對于以下不同的運用環(huán)境，運用的平衡戰(zhàn)略(算法)是不同的。 電子商務網(wǎng)站，它的計 算負荷大網(wǎng)絡數(shù)據(jù)庫運用，讀寫頻繁，效力器的存儲子系統(tǒng)面臨很大壓力視頻效力運用，數(shù)據(jù)傳輸量大，網(wǎng)絡接口負擔重壓由于運用環(huán)境的不同，平衡戰(zhàn)略算法也就有了多種多樣的方式。廣義上的負載平衡既可以設置專門的網(wǎng)關、負載平衡器，也可以經(jīng)過一些公用軟件與協(xié)議來實現(xiàn)。在OSI 七層協(xié)議模型中的第二數(shù)據(jù)鏈路層、第三網(wǎng)絡層、第四傳輸層、第七層運用層都有相應的負載均衡戰(zhàn)略算法.數(shù)據(jù)鏈路層:根據(jù)數(shù)據(jù)包的目的MAC 地址選擇不同的途徑；網(wǎng)絡層: 利用基于IP 地址的分配方式將數(shù)據(jù)流疏通到多個節(jié)點傳輸層和運用層的交換Switch:本身

6、便是一種基于訪問流量的控制方式，可以實現(xiàn)負載平衡。目前的集群類型主要概括為三大類型：高可擴展性集群技術負載平衡高可靠性集群(HA)高性能計算集群(HPC)高可擴展性集群技術就是帶平衡戰(zhàn)略算法的效力器群集，負載平衡群集在多節(jié)點之間按照一定的戰(zhàn)略算法分發(fā)網(wǎng)絡或計算處置負載。擴展效力器帶寬添加吞吐量提高數(shù)據(jù)處置才干防止單點缺點。 虛擬效力器的體系構造如下圖，一組效力器經(jīng)過高速的局域網(wǎng)或者地理分布的廣域網(wǎng)相互銜接，在它們的前端有一個負載調(diào)度器Load Balancer。負載調(diào)度器能無縫地將網(wǎng)絡懇求調(diào)度到真實效力器上，從而使得效力器集群的構造對客戶是透明的，客戶訪問集群系統(tǒng)提供的網(wǎng)絡效力就像訪問一臺高性

7、能、高可用的效力器一樣?？蛻舫绦虿皇苄Яζ骷旱挠绊懖恍枳魅魏涡拚?。系統(tǒng)的伸縮性經(jīng)過在效力機群中透明地參與和刪除一個節(jié)點來到達，經(jīng)過檢測節(jié)點或效力進程缺點和正確地重置系統(tǒng)到達高可用性。由于該負載調(diào)度技術是在Linux 內(nèi)核中實現(xiàn)的，因此稱之為Linux 虛擬效力器Linux Virtual Server。IP 虛擬效力器軟件虛擬效力器軟件IPVS在調(diào)度器的實現(xiàn)技術中，在調(diào)度器的實現(xiàn)技術中，IP 負載平衡技術是效率最高的。在已有的負載平衡技術是效率最高的。在已有的IP 負負載平衡技術中有經(jīng)過網(wǎng)絡地址轉換載平衡技術中有經(jīng)過網(wǎng)絡地址轉換Network Address Translation將將一組效

8、力器構成一個高性能的、高可用的虛擬效力器，我們稱之為一組效力器構成一個高性能的、高可用的虛擬效力器，我們稱之為VS/NAT 技術技術Virtual Server via Network Address Translation，大，大多數(shù)商品化的多數(shù)商品化的IP 負載平衡調(diào)度器產(chǎn)品都是運用此方法，如負載平衡調(diào)度器產(chǎn)品都是運用此方法，如Cisco 的的LocalDirector、F5 的的Big/IP 和和 Alteon 的的ACEDirector。在分析。在分析VS/NAT 的缺陷和網(wǎng)絡效力的非對稱性的根底上，我們提出經(jīng)過的缺陷和網(wǎng)絡效力的非對稱性的根底上，我們提出經(jīng)過IP 隧道實現(xiàn)虛擬效隧道實

9、現(xiàn)虛擬效力器的方法力器的方法VS/TUN Virtual Server via IP Tunneling，和經(jīng)過直接路，和經(jīng)過直接路由實現(xiàn)虛擬效力器的方法由實現(xiàn)虛擬效力器的方法VS/DRVirtual Server via Direct Routing，它們可以極大地提高系統(tǒng)的伸縮性。所以，它們可以極大地提高系統(tǒng)的伸縮性。所以，IPVS 軟件實現(xiàn)了這三種軟件實現(xiàn)了這三種IP 負負載平衡技術，它們的大致原理如下：載平衡技術，它們的大致原理如下：LVS 集群的通用體系構造集群的通用體系構造三層主要組成部分為：負載調(diào)度器load balancer它是整個集群對外面的前端機，擔任將客戶的懇求發(fā)送到一組

10、效力器上執(zhí)行，而客戶以為效力是來自一個IP 地址我們可稱之為虛擬IP 地址上的。效力器池server pool是一組真正執(zhí)行客戶懇求的效力器，執(zhí)行的效力有WEB、MAIL、FTP 和DNS 等。共享存儲shared storage它為效力器池提供一個共享的存儲區(qū)，這樣很容易使得效力器池擁有一樣的內(nèi)容，提供一樣的效力。LVS 集群的通用體系構造集群的通用體系構造共享存儲區(qū) 1Virtual Server via Network Address TranslationVS/NAT經(jīng)過網(wǎng)絡地址轉換，調(diào)度器重寫懇求報文的目的地址，根據(jù)預設的調(diào)度算法，將懇求分派給后端的真實效力器；真實效力器的呼應報文經(jīng)

11、過調(diào)度器時，報文的源地址被重寫，再前往給客戶，完成整個負載調(diào)度過程。2Virtual Server via IP TunnelingVS/TUN采用NAT 技術時，由于懇求和呼應報文都必需經(jīng)過調(diào)度器地址重寫，當客戶懇求越來越多時，調(diào)度器的處置才干將成為瓶頸。為理處理這個問題，調(diào)度器把懇求報文經(jīng)過IP 隧道轉發(fā)至真實效力器，而真實效力器將呼應直接前往給客戶，所以調(diào)度器只處置懇求報文。由于普通網(wǎng)絡效力應對比懇求報文大許多，采用 VS/TUN 技術后，集群系統(tǒng)的最大吞吐量可以提高10 倍。3Virtual Server via Direct RoutingVS/DRVS/DR 經(jīng)過改寫懇求報文的MA

12、C 地址，將懇求發(fā)送到真實效力器，而真實效力器將呼應直接前往給客戶。同VS/TUN 技術一樣，VS/DR 技術可極大地提高集群系統(tǒng)的伸縮性。這種方法沒有IP 隧道的開銷，對集群中的真實效力器也沒有必需支持IP 隧道協(xié)議的要求，但是要求調(diào)度器與真實效力器都有一塊網(wǎng)卡連在同一物理網(wǎng)段上。LVS 集群集群-可伸縮可伸縮Web 效力集群效力集群LVS 集群集群-可伸縮可伸縮Web 效力集群效力集群l動態(tài)頁面如PHP、JSP 和CGI 等:l需求訪問的動態(tài)數(shù)據(jù)普通存儲在數(shù)據(jù)庫效力器中。l數(shù)據(jù)庫效力運轉在獨立的效力器上，為一切Web 效力器共享。無論同一Web 效力器上多個動態(tài)頁面訪問同一數(shù)據(jù)，還是不同W

13、eb 效力器上多個動態(tài)頁面訪問同一數(shù)據(jù)，數(shù)據(jù)庫效力器有鎖機制使得這些訪問有序地進展，從而保證數(shù)據(jù)的一致性。l對于靜態(tài)的頁面和文件如HTML 文檔和圖片等:l可以存儲在網(wǎng)絡文件系統(tǒng)或者分布式文件系統(tǒng)中。至于選擇哪一種，看系統(tǒng)的規(guī)模和需求而定。經(jīng)過共享的網(wǎng)絡文件系統(tǒng)或者分布式文件系統(tǒng)，Webmaster 可以看到一致的文檔存儲空間，維護和更新頁面比較方便，對共享存儲中頁面的修正對一切的效力器都有效。LVS 集群集群-可伸縮可伸縮Web 效力集群效力集群l構造特點：l在這種構造下，當一切效力器結點超載時，管理員可以很快地參與新的效力器結點來處置懇求。l Cookie ，來同一客戶的不同銜接存在相關性

14、，這些銜接必需被發(fā)送到同一Web 效力器。lHTTPS ，當客戶訪問HTTPS 效力時，會先建立一個SSL 銜接，來交換對稱公鑰加密的證書并協(xié)商一個SSL Key，來加密以后的會話。在SSL Key 的生命周期內(nèi)，后續(xù)的一切HTTPS銜接都運用這個SSL Key，所以同一客戶的不同HTTPS 銜接也存在相關性。l處理方案：l針對這些需求，IPVS 調(diào)度器提供了耐久效力的功能，它可以使得在設定的時間內(nèi)，來自同一IP 地址的不同銜接會被發(fā)送到集群中同一個效力器結點，可以很好地處理客戶銜接的相關性問題。LVS 集群集群-可伸縮可伸縮Web 效力集群效力集群VS/TUN 與與VS/DR的例子的例子Ca

15、che：有效的網(wǎng)絡：有效的網(wǎng)絡Cache 系統(tǒng)可以大大地減少網(wǎng)絡流量、降低呼應延時系統(tǒng)可以大大地減少網(wǎng)絡流量、降低呼應延時以及效力器的負載。但是，假設以及效力器的負載。但是，假設Cache 效力器超載而不能及時地處置懇求，效力器超載而不能及時地處置懇求，反而會添加呼應延時。所以，反而會添加呼應延時。所以，Cache 效力的可伸縮性很重要，當系統(tǒng)負載效力的可伸縮性很重要，當系統(tǒng)負載不斷增長時，整個系統(tǒng)能被擴展來提高不斷增長時，整個系統(tǒng)能被擴展來提高Cache 效力的處置才干。尤其，在效力的處置才干。尤其，在主干網(wǎng)上的主干網(wǎng)上的 Cache 效力能夠需求幾個效力能夠需求幾個Gbps的吞吐率，單臺效

16、力器遠不能的吞吐率，單臺效力器遠不能到達這個吞吐率?？梢?，經(jīng)過到達這個吞吐率。可見，經(jīng)過PC 效力器集群實現(xiàn)可伸縮效力器集群實現(xiàn)可伸縮Cache 效力是很效力是很有效的方法，也是性能價錢比最高的方法。有效的方法，也是性能價錢比最高的方法。VS/TUN 與與VS/DR的例子的例子2IPVS 負載調(diào)度器普通運用負載調(diào)度器普通運用IP 隧道方法，來架構隧道方法，來架構Cache 集群系統(tǒng)，由于集群系統(tǒng)，由于Cache 效力器能夠被放置不同的地方例如在接近主干效力器能夠被放置不同的地方例如在接近主干Internet 銜接處，銜接處，而調(diào)度器與而調(diào)度器與Cache 效力器池能夠不在同一個物理網(wǎng)絡中。效力

17、器池能夠不在同一個物理網(wǎng)絡中。采用采用VS/TUN 方法，調(diào)度器只調(diào)度方法，調(diào)度器只調(diào)度 Web Cache 懇求，而懇求，而Cache 效力器將效力器將呼應數(shù)據(jù)直接前往給客戶。在懇求對象不能在本地命中的情況下，呼應數(shù)據(jù)直接前往給客戶。在懇求對象不能在本地命中的情況下，Cache 效力器要向源效力器發(fā)懇求，將結果取回，最后將結果前往給客戶；假設效力器要向源效力器發(fā)懇求，將結果取回，最后將結果前往給客戶；假設采用采用NAT 技術的商品化調(diào)度器，需求四次進出調(diào)度器，完成這個懇求。而技術的商品化調(diào)度器，需求四次進出調(diào)度器，完成這個懇求。而用用VS/TUN 方法或者方法或者VS/DR 方法，調(diào)度器只調(diào)

18、度一次懇求，其他三次方法，調(diào)度器只調(diào)度一次懇求，其他三次都由都由Cache 效力器直接訪問效力器直接訪問Internet 完成。所以，這種方法對完成。所以，這種方法對Cache 集集群系統(tǒng)特別有效。群系統(tǒng)特別有效。讓我們看看鮑勃如今的系統(tǒng)構造吧！讓我們看看鮑勃如今的系統(tǒng)構造吧！用戶需求用戶需求高可用性：將停頓效力時間降低到最低甚至是不延續(xù)效力可擴展性：隨著訪問的添加，系統(tǒng)具備良好的伸縮才干可視性：系統(tǒng)、效力的形狀處于一個實時的監(jiān)控之下高性能高可靠性：經(jīng)過優(yōu)化的體系構造及合理的備份戰(zhàn)略平安性：構造上的平安及主機的平安戰(zhàn)略技術分析技術分析對于訪問頻繁，用戶量大的對象bbs,采用某種合理的方式負載到

19、多個效力器上。把數(shù)據(jù)庫獨立出來，預備兩套mysql數(shù)據(jù)庫，以實現(xiàn)主從復制，即減輕負載，又提高了可靠性。更近一步，運用mysql proxy技術，實現(xiàn)主從效力器的讀寫分別，大大提高這個系統(tǒng)的性能和負載才干。數(shù)據(jù)庫與外部網(wǎng)絡隔離，只允許web效力器bbs,等經(jīng)過私有地址方式訪問。這樣就提高了數(shù)據(jù)庫的平安性，同時也節(jié)省了珍貴的帶寬。部署監(jiān)控系統(tǒng)，經(jīng)過監(jiān)控主機存活、效力、主機資源，實時把系統(tǒng)的安康形狀置于可視形狀，對系統(tǒng)的運營形狀心中有數(shù)。備份是想都不用想的事情，運用單獨的效力器集中備份，是一個比較不錯的主意 拓撲構造拓撲業(yè)務邏輯2技術實現(xiàn)技術實現(xiàn) 1負載平衡。2臺同樣配置的linux效力器，內(nèi)核支持

20、lvs,配置keepalived工具，即可實現(xiàn)負載轉發(fā)。一旦其后的真實效力器出現(xiàn)缺點，keepalived會自動把缺點機器從轉發(fā)隊列刪除掉，等到缺點修復，它又會自動把真實效力器的地址參與轉發(fā)列表。由于lvs支持會話堅持，因此對于bbs 這樣的運用，一點也不用擔憂其登錄喪失。mysql主從復制。即保證數(shù)據(jù)的平安，又提高了訪問性能。我們在前端的每個web效力器上參與mysql proxy這個工具，即可等待實現(xiàn)讀寫的自動分別，讓寫的操作發(fā)生在主數(shù)據(jù)庫，讓查詢這類讀操作發(fā)生在從數(shù)據(jù)庫。技術實現(xiàn)技術實現(xiàn) 2監(jiān)控。nagios是一個開源的，受廣泛歡迎的監(jiān)控平臺。它可對主機的存活、系統(tǒng)資源磁盤空間、負載等、

21、網(wǎng)絡效力進展實時監(jiān)控。一旦探測到缺點，將自動發(fā)送郵件短信通知缺點。備份。包括web數(shù)據(jù)和數(shù)據(jù)庫效力器的備份。對于web效力而言，GNU tar即可實現(xiàn)備份的一切愿望。簡單的設置一下crontab 就可以讓系統(tǒng)在我們做夢的時辰老老實實的幫我們備份了。但是，由于空間的限制，不能夠不斷備份下去，所以要做一個適宜的戰(zhàn)略，以不斷的用新的備份去交換陳舊的備份數(shù)據(jù)；多少天適宜？看磁盤容量吧。對于數(shù)據(jù)庫，先mysqldump一下，再tar.完成這些任務后把備份文件傳輸?shù)絺浞菪Яζ骷?。一個比較省事的方法是把備份效力器以NFS方式掛接到web效力器及數(shù)據(jù)庫效力器。技術實現(xiàn)技術實現(xiàn) 3web效力器。至少包括apa

22、che和mysql proxy這兩個組件。Apache做bbs和的容器，以虛擬機方式把用戶的懇求轉發(fā)到bbs目錄或目錄。平安措施。包含兩層平安，一層是主機本身，另一層是構造mysql從外部網(wǎng)絡隔離。實際證明，iptables是一個非常值得信任的防火墻工具。在實踐運用中，采取先關門后開窗的戰(zhàn)略，大大加強系統(tǒng)的平安性。系統(tǒng)軟硬件構成分析系統(tǒng)軟硬件構成分析硬件負載平衡2臺(dell 1950)web效力器2-3臺(dell1950),數(shù)據(jù)庫2臺(dell 2950)存儲NAS(5T格式化后容量),備份4u效力器(帶磁盤陣列5T容量),監(jiān)控效力器1臺(dell1850).軟件操作系統(tǒng)centos 5(定制安裝)負載平衡ipvsadm、keepalived,監(jiān)控nagios,web效力apache+php等數(shù)據(jù)庫mysql數(shù)據(jù)庫代理mysql proxy工程進度控制工程進度控制lvs負載平衡配置及測試：2-3天web效力器配置：2-3天mysql主從效力器配置：