大流量、高并發(fā)的網(wǎng)站的底層系統(tǒng)架構(gòu)

大流量、高并發(fā)的網(wǎng)站的底層系統(tǒng)架構(gòu)動(dòng)態(tài)應(yīng)用，是相對(duì)于網(wǎng)站靜態(tài)內(nèi)容而言，是指以c/c++、php、Java、perl、.net等效勞器端語(yǔ)言開(kāi)發(fā)的網(wǎng)絡(luò)應(yīng)用軟件，比方論壇、網(wǎng)絡(luò)相冊(cè)、交友、BLOG等常見(jiàn)應(yīng)用。動(dòng)態(tài)應(yīng)用系統(tǒng)通常與數(shù)據(jù)庫(kù)系統(tǒng)、緩存系統(tǒng)、分布式存儲(chǔ)系統(tǒng)等密不可分。大型動(dòng)態(tài)應(yīng)用系統(tǒng)平臺(tái)主要是針對(duì)于大流量、高并發(fā)網(wǎng)站建立的底層系統(tǒng)架構(gòu)。大型網(wǎng)站的運(yùn)行需要一個(gè)可靠、平安、可擴(kuò)展、易維護(hù)的應(yīng)用系統(tǒng)平臺(tái)做為支撐，以保證網(wǎng)站應(yīng)用的平穩(wěn)運(yùn)行。大型動(dòng)態(tài)應(yīng)用系統(tǒng)又可分為幾個(gè)子系統(tǒng)：l

Web前端系統(tǒng)l

負(fù)載均衡系統(tǒng)l

數(shù)據(jù)庫(kù)集群系統(tǒng)l

緩存系統(tǒng)l

分布式存儲(chǔ)系統(tǒng)l

分布式效勞器管理系統(tǒng)l

代碼分發(fā)系統(tǒng)Web前端系統(tǒng)結(jié)構(gòu)圖：為了到達(dá)不同應(yīng)用的效勞器共享、防止單點(diǎn)故障、集中管理、統(tǒng)一配置等目的，不以應(yīng)用劃分服務(wù)器，而是將所有效勞器做統(tǒng)一使用，每臺(tái)效勞器都可以對(duì)多個(gè)應(yīng)用提供效勞，當(dāng)某些應(yīng)用訪問(wèn)量升高時(shí)，通過(guò)增加效勞器節(jié)點(diǎn)到達(dá)整個(gè)效勞器集群的性能提高，同時(shí)使他應(yīng)用也會(huì)受益。該Web前端系統(tǒng)基于Apache/Ligd/Eginx等的虛擬主機(jī)平臺(tái)，提供PHP程序運(yùn)行環(huán)境。效勞器對(duì)開(kāi)發(fā)人員是透明的，不需要開(kāi)發(fā)人員介入效勞器管理負(fù)載均衡系統(tǒng)負(fù)載均衡系統(tǒng)分為硬件和軟件兩種。硬件負(fù)載均衡效率高，但是價(jià)格貴，比方F5等。軟件負(fù)載均衡系統(tǒng)價(jià)格較低或者免費(fèi)，效率較硬件負(fù)載均衡系統(tǒng)低，不過(guò)對(duì)于流量一般或稍大些網(wǎng)站來(lái)講也足夠使用，比方lvs,nginx。大多數(shù)網(wǎng)站都是硬件、軟件負(fù)載均衡系統(tǒng)并用。數(shù)據(jù)庫(kù)集群系統(tǒng)結(jié)構(gòu)圖：由于Web前端采用了負(fù)載均衡集群結(jié)構(gòu)提高了效勞的有效性和擴(kuò)展性，因此數(shù)據(jù)庫(kù)必須也是高可靠的才能保證整個(gè)效勞體系的高可靠性，如何構(gòu)建一個(gè)高可靠的、可以提供大規(guī)模并發(fā)處理的數(shù)據(jù)庫(kù)體系？我們可以采用如上圖所示的方案：1)

使用MySQL數(shù)據(jù)庫(kù)，考慮到Web應(yīng)用的數(shù)據(jù)庫(kù)讀多寫少的特點(diǎn)，我們主要對(duì)讀數(shù)據(jù)庫(kù)做了優(yōu)化，提供專用的讀數(shù)據(jù)庫(kù)和寫數(shù)據(jù)庫(kù)，在應(yīng)用程序中實(shí)現(xiàn)讀操作和寫操作分別訪問(wèn)不同的數(shù)據(jù)庫(kù)。2)

使用MySQLReplication機(jī)制實(shí)現(xiàn)快速將主庫(kù)〔寫庫(kù)〕的數(shù)據(jù)庫(kù)復(fù)制到從庫(kù)〔讀庫(kù)〕。一個(gè)主庫(kù)對(duì)應(yīng)多個(gè)從庫(kù)，主庫(kù)數(shù)據(jù)實(shí)時(shí)同步到從庫(kù)。3)

寫數(shù)據(jù)庫(kù)有多臺(tái)，每臺(tái)都可以提供多個(gè)應(yīng)用共同使用，這樣可以解決寫庫(kù)的性能瓶頸問(wèn)題和單點(diǎn)故障問(wèn)題。4)

讀數(shù)據(jù)庫(kù)有多臺(tái)，通過(guò)負(fù)載均衡設(shè)備實(shí)現(xiàn)負(fù)載均衡，從而到達(dá)讀數(shù)據(jù)庫(kù)的高性能、高可靠和高可擴(kuò)展性。5)

數(shù)據(jù)庫(kù)效勞器和應(yīng)用效勞器別離。6)

從數(shù)據(jù)庫(kù)使用BigIP做負(fù)載均衡。緩存系統(tǒng)緩存分為文件緩存、內(nèi)存緩存、數(shù)據(jù)庫(kù)緩存。在大型Web應(yīng)用中使用最多且效率最高的是內(nèi)存緩存。最常用的內(nèi)存緩存工具是Memcachd。使用正確的緩存系統(tǒng)可以到達(dá)實(shí)現(xiàn)以下目標(biāo)：1、

使用緩存系統(tǒng)可以提高訪問(wèn)效率，提高效勞器吞吐能力，改善用戶體驗(yàn)。2、

減輕對(duì)數(shù)據(jù)庫(kù)及存儲(chǔ)集效勞器的訪問(wèn)壓力3、Memcached效勞器有多臺(tái)，防止單點(diǎn)故障，提供高可靠性和可擴(kuò)展性，提高性能。分布式存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖：WEB系統(tǒng)平臺(tái)中的存儲(chǔ)需求有下面兩個(gè)特點(diǎn)：1)存儲(chǔ)量很大，經(jīng)常會(huì)到達(dá)單臺(tái)效勞器無(wú)法提供的規(guī)模，比方相冊(cè)、視頻等應(yīng)用。因此需要專業(yè)的大規(guī)模存儲(chǔ)系統(tǒng)。2)負(fù)載均衡cluster中的每個(gè)節(jié)點(diǎn)都有可能訪問(wèn)任何一個(gè)數(shù)據(jù)對(duì)象，每個(gè)節(jié)點(diǎn)對(duì)數(shù)據(jù)的處理也能被其他節(jié)點(diǎn)共享，因此這些節(jié)點(diǎn)要操作的數(shù)據(jù)從邏輯上看只能是一個(gè)整體，不是各自獨(dú)立的數(shù)據(jù)資源。因此高性能的分布式存儲(chǔ)系統(tǒng)對(duì)于大型網(wǎng)站應(yīng)用來(lái)說(shuō)是非常重要的一環(huán)?！策@個(gè)地方需要參加對(duì)某個(gè)分布式存儲(chǔ)系統(tǒng)的簡(jiǎn)單介紹?！撤植际叫谄鞴芾硐到y(tǒng)結(jié)構(gòu)圖：隨著網(wǎng)站訪問(wèn)流量的不斷增加，大多的網(wǎng)絡(luò)效勞都是以負(fù)載均衡集群的方式對(duì)外提供效勞，隨之集群規(guī)模的擴(kuò)大，原來(lái)基于單機(jī)的效勞器管理模式已經(jīng)不能夠滿足我們的需求，新的需求必須能夠集中式的、分組的、批量的、自動(dòng)化的對(duì)效勞器進(jìn)行管理，能夠批量化的執(zhí)行方案任務(wù)。在分布式效勞器管理系統(tǒng)軟件中有一些比擬優(yōu)秀的軟件，其中比擬理想的一個(gè)是Cfengine。它可以對(duì)效勞器進(jìn)行分組，不同的分組可以分別定制系統(tǒng)配置文件、方案任務(wù)等配置。它是基于C/S結(jié)構(gòu)的，所有的效勞器配置和管理腳本程序都保存在CfengineServer上，而被管理的效勞器運(yùn)行著CfengineClient程序，CfengineClient通過(guò)SSL加密的連接定期的向效勞器端發(fā)送請(qǐng)求以獲取最新的配置文件和管理命令、腳本程序、補(bǔ)丁安裝等任務(wù)。有了Cfengine這種集中式的效勞器管理工具，我們就可以高效的實(shí)現(xiàn)大規(guī)模的效勞器集群管理，被管理效勞器和CfengineServer可以分布在任何位置，只要網(wǎng)絡(luò)可以連通就能實(shí)現(xiàn)快速自動(dòng)化的管理。代碼發(fā)布系統(tǒng)結(jié)構(gòu)圖：隨著網(wǎng)站訪問(wèn)流量的不斷增加，大多的網(wǎng)絡(luò)效勞都是以負(fù)載均衡集群的方式對(duì)外提供效勞，隨之集群規(guī)模的擴(kuò)大，為了滿足集群環(huán)境下程序代碼的批量分發(fā)和更新，我們還需要一個(gè)程序代碼發(fā)布系統(tǒng)。這個(gè)發(fā)布系統(tǒng)可以幫我們實(shí)現(xiàn)下面的目標(biāo)：1)生產(chǎn)環(huán)境的效勞器以虛擬主機(jī)方式提供效勞，不需要開(kāi)發(fā)人員介入維護(hù)和直接操作，提供發(fā)布系統(tǒng)可以實(shí)現(xiàn)不需要登陸效勞器就能把程序分發(fā)到目標(biāo)效勞器。2)我們要實(shí)現(xiàn)內(nèi)部開(kāi)發(fā)、內(nèi)部測(cè)試