基于負(fù)載均衡的服務(wù)器調(diào)度策略研究

基于負(fù)載均衡的服務(wù)器調(diào)度策略研究

1負(fù)載均衡技術(shù)隨著網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用和網(wǎng)站訪問的迅速增加，如何解決負(fù)載的快速增加及其確保高質(zhì)量服務(wù)的必要條件是網(wǎng)絡(luò)運(yùn)營的一個(gè)重要問題。負(fù)載均衡是解決這一問題的可靠技術(shù)。采用負(fù)載均衡技術(shù)的網(wǎng)絡(luò)服務(wù)系統(tǒng)由多臺服務(wù)器以對稱的方式組成一個(gè)服務(wù)器集合,每臺服務(wù)器都具有等價(jià)的地位,都可以單獨(dú)對外提供服務(wù)而無須其他服務(wù)器的輔助。通過某種負(fù)載分擔(dān)技術(shù),將外面發(fā)送來的請求均勻分配到對稱結(jié)構(gòu)中的某一臺服務(wù)器上,而接收到請求的服務(wù)器獨(dú)立地回應(yīng)客戶的請求。這種將系統(tǒng)負(fù)載分配到不同的服務(wù)器上處理,籍此提供解決大量用戶并發(fā)訪問服務(wù),實(shí)現(xiàn)并行處理的方法,就是負(fù)載均衡(LB,LoadBalancing)思想。負(fù)載均衡有兩方面的含義:一是將大量的并發(fā)訪問或數(shù)據(jù)流量分擔(dān)到多臺節(jié)點(diǎn)設(shè)備上分別處理,以減少用戶等待響應(yīng)的時(shí)間;二是將單個(gè)重負(fù)載的運(yùn)算分擔(dān)到多臺節(jié)點(diǎn)設(shè)備上做并行處理,每個(gè)節(jié)點(diǎn)設(shè)備處理結(jié)束后,將結(jié)果匯總,返回給用戶,系統(tǒng)處理能力得到大幅度提高。負(fù)載均衡能夠均衡所有的服務(wù)器和應(yīng)用之間的通信負(fù)載,根據(jù)實(shí)時(shí)響應(yīng)時(shí)間進(jìn)行判斷,將任務(wù)交由負(fù)載最輕的服務(wù)器來處理,以實(shí)現(xiàn)真正的智能通信管理和最佳的服務(wù)性能。這種集群技術(shù)可以用最少的投資獲得接近于大型主機(jī)的性能,可以滿足不斷增長的負(fù)載需求。2評估和檢索負(fù)荷狀態(tài)2.1獲取后如何處理目前,負(fù)載均衡技術(shù)面臨三大問題:服務(wù)器的負(fù)載狀況的定義、如何獲取以及獲取后如何處理。負(fù)載狀況的評價(jià)由三類組成:靜態(tài)的、統(tǒng)計(jì)類的和動態(tài)的。靜態(tài)的由資源決定,可以數(shù)字化評價(jià);統(tǒng)計(jì)類的只能作為網(wǎng)站擴(kuò)充的依據(jù);動態(tài)地使用探測結(jié)果來評價(jià)。2.2服務(wù)器的控制及負(fù)載狀態(tài)的采集由于系統(tǒng)中各服務(wù)器根據(jù)所有服務(wù)器的負(fù)載情況來決定新的用戶訪問請求的取舍,因此,各服務(wù)器必須知道其他服務(wù)器的負(fù)載狀況,這要求每個(gè)服務(wù)器必須將自己的當(dāng)前負(fù)載及時(shí)通知其他服務(wù)器。探知負(fù)載狀況的技術(shù)主要有3種:1)利用Agent技術(shù)使用網(wǎng)管協(xié)議Snmp:在需要的服務(wù)器上運(yùn)行設(shè)計(jì)的Agent,定時(shí)通知分配器,從而得到服務(wù)器的確切情況。2)第三方的軟件:有一些第三方開發(fā)的軟件可以完成這種工作,需要分配器有相應(yīng)的接口,從而可以調(diào)整分配的結(jié)果。3)自己開發(fā)的軟件去主動獲取:最簡單的集成方法就是自己去開發(fā),由分配器去探測服務(wù)器的負(fù)載狀況。負(fù)載狀況的收集方式有周期性和非周期性兩種。周期性的收集方式會定期詢問或廣播服務(wù)器的負(fù)載狀態(tài);非周期性的收集方式只在出現(xiàn)過載或空閑時(shí)才詢問或廣播服務(wù)器的負(fù)載狀態(tài)。選擇何種方式要視具體應(yīng)用而定,一般來說,可以根據(jù)系統(tǒng)開銷和負(fù)載狀態(tài)的實(shí)時(shí)性這兩個(gè)因素考慮選擇那種收集方式。負(fù)載狀況根據(jù)收集范圍的不同又可以分為全局信息、局部信息和歷史紀(jì)錄。全局信息有可能獲得最優(yōu)解,但代價(jià)可能太大;局部信息獲得局部最優(yōu)解,但代價(jià)通常較小;歷史紀(jì)錄通過對服務(wù)器過去進(jìn)行情況的了解來確定服務(wù)器的負(fù)載信息。3負(fù)載均衡算法根據(jù)負(fù)載均衡所采用的設(shè)備對象分為軟/硬件負(fù)載均衡;根據(jù)OSI的網(wǎng)絡(luò)分層體系模型,可分為基于域名系統(tǒng)的負(fù)載均衡,基于客戶端的負(fù)載均衡,基于應(yīng)用層的負(fù)載均衡,基于IP層的負(fù)載均衡,基于TCP層的負(fù)載均衡;根據(jù)負(fù)載均衡算法來劃分,可分為靜態(tài)負(fù)載均衡和動態(tài)負(fù)載均衡;從應(yīng)用的地理結(jié)構(gòu)來分,可分為本地負(fù)載均衡和全局負(fù)載均衡。本地負(fù)載均衡是指對本地的服務(wù)器集群做負(fù)載均衡,全局負(fù)載均衡是指對分別放置在不同的地理位置、在不同的網(wǎng)絡(luò)及服務(wù)器群集之間作負(fù)載均衡。3.1硬件負(fù)載均衡軟件負(fù)載均衡解決方案是指在一臺或多臺服務(wù)器相應(yīng)的操作系統(tǒng)上安裝一個(gè)或多個(gè)附加軟件來實(shí)現(xiàn)負(fù)載均衡,它的優(yōu)點(diǎn)是配置簡單、靈活,成本低廉。缺點(diǎn)是每臺服務(wù)器上安裝額外的軟件運(yùn)行會消耗系統(tǒng)不定量的資源;可擴(kuò)展性不太好,受到操作系統(tǒng)的限制。硬件負(fù)載均衡設(shè)備由真實(shí)服務(wù)器和負(fù)載均衡器兩類。真實(shí)服務(wù)器為用戶提供真正的服務(wù),它的一些性能數(shù)據(jù)是負(fù)載均衡的主要依據(jù)之一。負(fù)載均衡器由專門的設(shè)備完成專門的任務(wù),獨(dú)立于操作系統(tǒng),其功能是根據(jù)用戶和真實(shí)服務(wù)器的各種情況(這些情況要能反映服務(wù)器的負(fù)載狀況或性能狀況)通過一定的算法進(jìn)行調(diào)動和分配工作,從而提高由真實(shí)服務(wù)器整體構(gòu)成的網(wǎng)絡(luò)的穩(wěn)定性和響應(yīng)能力。它主要是集中所有的用戶請求,然后分配到多臺服務(wù)器上處理,來提高系統(tǒng)的處理效率。有些負(fù)載均衡器集成在交換設(shè)備中,置于服務(wù)器與因特網(wǎng)鏈接之間,有些則以兩塊網(wǎng)絡(luò)適配器將這一功能集成到計(jì)算機(jī)中,一塊連接到因特網(wǎng)上,一塊連接到后端服務(wù)器群的內(nèi)部網(wǎng)絡(luò)上。一般而言,硬件負(fù)載均衡在功能、性能上優(yōu)于軟件方式,不過成本昂貴。3.2經(jīng)典的負(fù)荷補(bǔ)償技術(shù)1基于域名系統(tǒng)的負(fù)載均衡該方法是最早的負(fù)載均衡技術(shù),在DNS(DomainNameSystem,域名系統(tǒng))中為多個(gè)地址配置同一個(gè)域名,使得查詢這個(gè)名字的客戶機(jī)將得到其中一個(gè)地址,從而不同的客戶可以訪問不同的服務(wù)器,達(dá)到負(fù)載均衡的目的,這就是基于域名系統(tǒng)的負(fù)載均衡。很多知名的Web站點(diǎn)都使用了這個(gè)技術(shù),包括Yahoo、Sina等站點(diǎn)。DNS輪循實(shí)現(xiàn)起來簡單,無需復(fù)雜的配置和管理,簡單,易行,并且服務(wù)器可以位于互聯(lián)網(wǎng)的任意位置。但是不能考慮距離遠(yuǎn)近,減少記錄的有效期TTL易造成網(wǎng)絡(luò)信息冗余。2選擇最佳負(fù)載信息該方法指的是在網(wǎng)絡(luò)客戶端運(yùn)行特定的程序,該程序通過定期或不定期地收集服務(wù)器群的運(yùn)行參數(shù):CPU占用情況、磁盤I/O、內(nèi)存等動態(tài)信息,再根據(jù)某種選擇策略,找到可以提供服務(wù)的最佳服務(wù)器,將本地的應(yīng)用請求發(fā)向它。如果負(fù)載信息采集程序發(fā)現(xiàn)服務(wù)器失效,則找到其他可替代的服務(wù)器作為服務(wù)選擇。整個(gè)過程對于應(yīng)用程序來說是完全透明的,所有的工作都在運(yùn)行時(shí)處理,是一種動態(tài)的負(fù)載均衡技術(shù)。服務(wù)提供一個(gè)JavaApplet在客戶端瀏覽器中運(yùn)行,Apple向各個(gè)服務(wù)器發(fā)送請求收集服務(wù)器的負(fù)載等信息,再根據(jù)這些信息將客戶的請求發(fā)到相應(yīng)的服務(wù)器。該方法的缺點(diǎn)是透明性不夠完善,不具有普遍的適用性。3負(fù)載均衡調(diào)度應(yīng)用程序用戶訪問該方法將多臺服務(wù)器通過高速的互聯(lián)網(wǎng)絡(luò)連接成一個(gè)集群系統(tǒng),在前端有一個(gè)基于應(yīng)用層的負(fù)載調(diào)度器。當(dāng)用戶訪問請求到達(dá)調(diào)度器時(shí),請求會提交給作負(fù)載均衡調(diào)度的應(yīng)用程序,分析請求,根據(jù)各個(gè)服務(wù)器的負(fù)載情況,選出一臺服務(wù)器,重寫請求并向選出的服務(wù)器訪問,取得結(jié)果后,再返回給用戶。該方法存在的問題是:系統(tǒng)處理開銷較大,致使系統(tǒng)的伸縮性有限;基于應(yīng)用層的負(fù)載均衡調(diào)度器對于不同的應(yīng)用,需要重寫不同的調(diào)度器。4安全響應(yīng)報(bào)文的發(fā)送基于IP層的負(fù)載均衡方法是現(xiàn)在最常用的方法。用戶通過一個(gè)單一的IP地址(稱為虛擬IP地址)訪問服務(wù)器。訪問請求的報(bào)文先到達(dá)負(fù)載均衡器,由它進(jìn)行負(fù)載均衡調(diào)度,從后臺服務(wù)器池中選出一個(gè),將報(bào)文的目標(biāo)地址改寫成選定服務(wù)器的地址。報(bào)文的目標(biāo)端口改寫成選定服務(wù)器的相應(yīng)端口,最后將報(bào)文發(fā)送給選定的服務(wù)器。真實(shí)服務(wù)器的響應(yīng)報(bào)文經(jīng)過負(fù)載均衡器時(shí),將報(bào)文的源地址和源端口改為虛擬IP地址和相應(yīng)的端口,再把報(bào)文發(fā)給用戶。具體實(shí)現(xiàn)的方法有兩種。(1)有ip地址的ip分配優(yōu)點(diǎn):真實(shí)服務(wù)器可運(yùn)行在任何支持TCP/IP的OS上,能使用私有IP地址,僅需要一個(gè)合法的IP地址分配給前端分配器。缺點(diǎn):可擴(kuò)展性不夠好,當(dāng)真實(shí)服務(wù)器的結(jié)點(diǎn)數(shù)增加至25或更多時(shí),前端服務(wù)器會成為整個(gè)系統(tǒng)的瓶頸,因?yàn)檎埱蟀蛻?yīng)答包都須經(jīng)過前端分配器重寫。(2)p隧道技術(shù)前端分配器收到用戶請求包后,根據(jù)IP隧道協(xié)議封裝該包,然后傳給某個(gè)選定的真實(shí)服務(wù)器;真實(shí)服務(wù)器解包出請求信息直接將應(yīng)答數(shù)據(jù)包傳給用戶。IP隧道是一種用IP數(shù)據(jù)包封裝IP數(shù)據(jù)的技術(shù),它能使發(fā)往某一IP地址的數(shù)據(jù)包經(jīng)過封裝后轉(zhuǎn)發(fā)到另一IP地址。優(yōu)點(diǎn):在IP隧道實(shí)現(xiàn)技術(shù)中,前端分配器只將請求送往不同的真實(shí)服務(wù)器,真實(shí)服務(wù)器應(yīng)答用戶請求。因此前端分配器可以處理大量請求,管理大約100個(gè)真實(shí)服務(wù)器且不會成為系統(tǒng)瓶頸,最大流量可達(dá)1Gbps。缺點(diǎn):要求所有真實(shí)服務(wù)器支持IP隧道協(xié)議。但隨著IP隧道協(xié)議成為操作系統(tǒng)的標(biāo)準(zhǔn),該技術(shù)將可以應(yīng)用于所有的OS。5虛擬服務(wù)器該方法又被稱為基于分發(fā)器或第四層的負(fù)載均衡調(diào)度,通常對外都有一個(gè)公用的虛擬IP地址(VirtualIPAddress),用戶通過這虛擬地址訪問服務(wù)時(shí),訪問請求的報(bào)文會到達(dá)虛擬服務(wù)器主機(jī),由它進(jìn)行負(fù)載均衡調(diào)度,從一組真實(shí)服務(wù)器選出一個(gè),將報(bào)文的目標(biāo)地址VirtualIPAddress改寫成選定服務(wù)器的地址,報(bào)文的目標(biāo)端口改寫成選定服務(wù)器的相應(yīng)端口,最后將報(bào)文發(fā)送給選定的服務(wù)器。真實(shí)服務(wù)器的回應(yīng)報(bào)文經(jīng)過虛擬服務(wù)器主機(jī)時(shí),將報(bào)文的源地址和源端口改為VirtualIPAddress和相應(yīng)的端口,再把報(bào)文發(fā)給用戶。該方法用分配器監(jiān)聽TCP80端口并轉(zhuǎn)發(fā),但是容易形成分配器瓶頸。3.3靜態(tài)負(fù)載均衡算法是影響負(fù)載均衡的重要因素,目前,常用的負(fù)載均衡算法可以分為靜態(tài)、動態(tài)兩種。靜態(tài)負(fù)載均衡適用于同構(gòu)并可預(yù)知負(fù)載量的集群系統(tǒng),算法簡單,易于實(shí)現(xiàn)。動態(tài)負(fù)載均衡適用的范圍則廣而靈活,需要?jiǎng)討B(tài)收集服務(wù)器的使用情況以及每個(gè)任務(wù)的執(zhí)行特征,開銷比靜態(tài)負(fù)載均衡大,但可以實(shí)時(shí)反映集群系統(tǒng)的負(fù)載情況。1不同服務(wù)器間的循環(huán)調(diào)度算法(1)輪循調(diào)度(Round-RobinScheduling)算法。多個(gè)IP地址以輪換的方式返回給客戶。優(yōu)點(diǎn):簡單方便,響應(yīng)速度快,它無需記錄當(dāng)前所有連接的狀態(tài),是一種無狀態(tài)調(diào)度,在一定程度上起到負(fù)載均衡的作用。缺點(diǎn):沒有考慮不同服務(wù)器提供服務(wù)能力的不同,服務(wù)器是否可用、服務(wù)器的負(fù)載情況、客戶與服務(wù)器之間的距離等因素。(2)加權(quán)輪循調(diào)度(WeightedRound-RobinScheduling)算法。用相應(yīng)的權(quán)值表示服務(wù)器的處理能力,按權(quán)值的高低和輪循方式,分配請求到各服務(wù)器,權(quán)值高的服務(wù)器比權(quán)值低的服務(wù)器處理更多的連接,一段時(shí)間后,各服務(wù)器處理的請求數(shù)趨向于各自權(quán)值的比。優(yōu)點(diǎn):算法簡單高效,考慮了不同服務(wù)器的處理性能差異。缺點(diǎn):當(dāng)請求服務(wù)時(shí)間變化大時(shí),單獨(dú)的加權(quán)輪循調(diào)度算法可能會導(dǎo)致服務(wù)器間負(fù)載不均衡。(3)目標(biāo)地址散列調(diào)度(DestinationHashingScheduling)算法。通過一個(gè)Hash函數(shù)將一個(gè)目標(biāo)IP地址映射到一臺服務(wù)器,它先根據(jù)請求的目標(biāo)IP地址作為散列鍵,從靜態(tài)分配的散列表中找出對應(yīng)的服務(wù)器,如果該服務(wù)器是可用的且未超載,則將請求發(fā)到該服務(wù)器,否則返回空。(4)源地址散列調(diào)度(SourceHashingScheduling)算法。與目標(biāo)地址散列調(diào)度算法相反,它根據(jù)請求的源IP地址,作為散列鍵,從靜態(tài)分配的散列表中找出對應(yīng)的服務(wù)器,若該服務(wù)器是可用的且未超載,則將請求發(fā)送到該服務(wù)器,否則返回空。在實(shí)際應(yīng)用中,目標(biāo)地址散列調(diào)度和源地址散列調(diào)度可以結(jié)合使用在防火墻集群中,它們可以保證系統(tǒng)的唯一出入口。2動態(tài)負(fù)載均衡算法(1)最小連接調(diào)度(Least-ConnectionScheduling)算法。該算法把新的連接請求分配到當(dāng)前連接數(shù)最小的服務(wù)器,它通過服務(wù)器當(dāng)前所活躍的連接數(shù)來估計(jì)服務(wù)器的負(fù)載情況。優(yōu)點(diǎn):能比較準(zhǔn)確的反映服務(wù)器的負(fù)載狀況。缺點(diǎn):沒有考慮客戶與服務(wù)器之間距離、各服務(wù)器提供服務(wù)的能力等因素。(2)加權(quán)最小連接調(diào)度(WeightedLeast-ConnectionScheduling)算法?？朔钚∵B接算法的不足,用相應(yīng)的權(quán)值表示服務(wù)器的處理能力,將新的連接請求分配給當(dāng)前連接數(shù)與權(quán)值之比最小的服務(wù)器。加權(quán)最小連接方法也存在不足:相同的連接數(shù)并不能表示相同的負(fù)載,以連接數(shù)來表示節(jié)點(diǎn)負(fù)載情況并不準(zhǔn)確,而且隨著負(fù)載的增多,相應(yīng)服務(wù)器節(jié)點(diǎn)的處理能力也會發(fā)生變化。(3)基于位置的最小連接(Locality-BasedLeastConnectionsScheduling,LBLC)算法。針對請求報(bào)文的目標(biāo)IP地址,找出最近使用的服務(wù)器,若該服務(wù)器可用且沒有超載,則將請求發(fā)往該服務(wù)器,否則使用最小連接原則進(jìn)行選擇。(4)帶復(fù)制的基于位置的最小連接(Locality-BasedLeastConnectionswithReplicationScheduling,LBLCR)算法。針對請求報(bào)文的目標(biāo)IP地址找出最近使用的服務(wù)器組,按最小連接原則進(jìn)行選擇。若服務(wù)器沒有超載,則將請求發(fā)送到該服務(wù)器,否則按最小連接原則從整個(gè)集群中選出一臺服務(wù)器,將該服務(wù)器加入到服務(wù)器組中,將請求發(fā)送到該服務(wù)器。通常情況下,動態(tài)負(fù)載均衡較靜態(tài)負(fù)載均衡有30%~40%的性能提高。對一些機(jī)器—任務(wù)映射策略在執(zhí)行資源調(diào)度期間根據(jù)實(shí)際情況進(jìn)行確定。因此,動態(tài)負(fù)載均衡算法要考慮系統(tǒng)在實(shí)際運(yùn)行中的負(fù)載變化。但是,它存在兩個(gè)值得研究的問題:一是已有的動態(tài)負(fù)載均衡算法采用連接數(shù),任務(wù)數(shù)等指標(biāo)來表示負(fù)載,但并不能體現(xiàn)當(dāng)前服務(wù)器節(jié)點(diǎn)的負(fù)載狀況。如果集群系統(tǒng)提供了多種服務(wù),那么每個(gè)服務(wù)請求帶來的負(fù)載量就不同,所以,相同的連接數(shù)或者任務(wù)數(shù)并不能表示相同的負(fù)載;二是系統(tǒng)在長時(shí)間運(yùn)行下,計(jì)算得到的節(jié)點(diǎn)負(fù)載量無法得到修正,必然會背離節(jié)點(diǎn)的實(shí)際負(fù)載狀況,從而導(dǎo)致負(fù)載的不均衡。4負(fù)載均衡策略在服務(wù)系統(tǒng)中,負(fù)載均衡的目的是根據(jù)系統(tǒng)中各個(gè)處理機(jī)的性能及其負(fù)載來分配任務(wù),服務(wù)器節(jié)點(diǎn)的處理能力和當(dāng)前的負(fù)載量是影響服務(wù)器負(fù)載變化的主要因素。負(fù)載量是一個(gè)動態(tài)值,確定它的參數(shù)需要首先確定一個(gè)動態(tài)調(diào)度策略,負(fù)載均衡策略的核心是負(fù)載均衡算法。設(shè)計(jì)算法時(shí)要盡量減小算法復(fù)雜度。目前,動態(tài)負(fù)載均衡技術(shù)有取代靜態(tài)負(fù)載均衡技術(shù)的趨勢,那么,設(shè)