基于Radware鏈路負載均衡的高可靠性電力企業(yè)外網(wǎng)網(wǎng)絡設計

1、    基于radware鏈路負載均衡的高可靠性電力企業(yè)外網(wǎng)網(wǎng)絡設計    劉之濱 趙任方摘要：隨著電力企業(yè)越來越依賴外網(wǎng)網(wǎng)絡傳輸重要業(yè)務數(shù)據(jù)，傳統(tǒng)的基于單運營商專線的網(wǎng)絡架構已不能滿足業(yè)務高可靠性傳輸需求。為解決該問題，基于雙運營商專線和radware鏈路負載均衡，提出了相關拓撲設計、負載均衡設計以及路由交換設計內容。通過本設計，使電力企業(yè)外網(wǎng)網(wǎng)絡具備了動態(tài)冗余能力并均衡利用了昂貴的運營商專線，有效保障了業(yè)務的可靠性。關鍵詞：radware;鏈路負載均衡;運營商專線;拓撲設計;路由交換設計中圖分類號：tp393.1    文獻標識碼

2、：a    文章編號：1007-9416（2020）10-0000-000 引言電力企業(yè)外網(wǎng)網(wǎng)絡通過運營商專線與internet網(wǎng)絡互連，承載著外網(wǎng)辦公終端和各類對外業(yè)務服務器，是電力企業(yè)自有網(wǎng)絡的重要組成部分。近年來，隨著業(yè)務創(chuàng)新發(fā)展，部門之間、專業(yè)之間的數(shù)據(jù)壁壘不斷被打破，越來越多高實時性的生產(chǎn)業(yè)務數(shù)據(jù)需要通過外網(wǎng)承載，這些數(shù)據(jù)要求7×24小時不間斷通信，對電力企業(yè)外網(wǎng)網(wǎng)絡提出了高可靠性的需求。在這種背景下，以單運營商專線為基礎的網(wǎng)絡架構已不能滿足業(yè)務需求，為了避免運營商側故障導致業(yè)務中斷，勢必要引入雙運營商專線。運營商專線價格昂貴，為了充分利用雙運營商專線帶

3、寬資源，應使用專用鏈路負載均衡設備保障較好的負載均衡度。此外由于鏈路負載均衡設備特有的工作機制，路由交換設備也要做出針對性的設計。網(wǎng)絡系統(tǒng)具有分布式、耦合性、整體性的特點，因此設計工作需建立在對相關設備運行機制、協(xié)議原理深入研究的基礎上進行。本文首先從整體角度給出了拓撲設計，然后分別論述了radware鏈路負載均衡以及路由交換設計，最后給出了測試結果。1 拓撲設計1.1 基本原則（1）n-1可靠性原則。在組成網(wǎng)絡的全部n個元件中，任“1”元件故障均不應影響網(wǎng)絡結構連通性，“1”包括雙絞線、跳纖、光纜等物理鏈路層元件，主控板、線卡、子卡、交換板等板卡類元件，電源、風扇等保障類元件以及整機設備。（

4、2）簡易性原則。在保證結構可靠性前提下，不宜采用全連接等過度冗余方式，網(wǎng)絡結構復雜度提升將增加設備負載和排錯難度。（3）經(jīng)濟性原則。在保證結構可靠性前提下，應從降低能耗、節(jié)約機柜空間、節(jié)省投資等角度，考慮組網(wǎng)經(jīng)濟性問題，同時兼顧不斷增長的業(yè)務需求，從設備選型、鏈路帶寬等角度，確保絡具備良好的擴展能力。1.2 拓撲結構設計（1）總體結構?？傮w結構以雙運營商專線和radware鏈路負載均衡為基礎進行設計，為提高可靠性，所有設備均采用雙機配置方式。拓撲結構示意如圖1所示。radware鏈路負載均衡實現(xiàn)nat功能，將網(wǎng)絡從邏輯上劃分為為公網(wǎng)和私網(wǎng)兩部分。在公網(wǎng)部分，每臺鏈路負載均衡分別通過兩臺公網(wǎng)出口

5、交換機與運營商路由器互聯(lián)。在私網(wǎng)部分，鏈路負載均衡和私網(wǎng)路由器通過私網(wǎng)交換機構建可靠的二層環(huán)境，用于雙機協(xié)議可靠通信，此外私網(wǎng)路由器承擔著內部網(wǎng)絡和外部網(wǎng)絡交互路由的功能。（2）設備選型。公網(wǎng)出口交換機作為連接運營商路由器的關鍵設備，宜使用可靠性較高的框式設備，采用分布式體系，對設備中的關鍵部件（如主控板、線卡、業(yè)務子卡、風扇、電源）進行冗余配置。鏈路負載均衡、私網(wǎng)路由器和私網(wǎng)交換機單點故障不會導致與運營商路由器終端，從經(jīng)濟性考慮，宜使用小型設備，電源和風扇冗余配置，路由器可多板卡冗余配置。設備互聯(lián)宜選用萬兆接口，以增強擴展性。上述網(wǎng)絡拓撲設計在各種n-1方式下，均有較高的可靠性，同時了兼顧簡

6、易性、經(jīng)濟型和擴展性。2 鏈路負載均衡設計2.1 switch ha機制switch ha是保障鏈路負載均衡雙機可靠運行的私有機制。在正常運行方式下，雙設備處于主備運行模式，同屬一個vlan的接口地址對外表現(xiàn)為統(tǒng)一的虛擬ip，所有業(yè)務流量經(jīng)過主設備，備設備處于監(jiān)聽狀態(tài)，兩臺設備間實時比較直連接口的存活數(shù)量，當發(fā)生設備或鏈路故障導致主設備存活接口數(shù)小于備設備時，則進行主備設備切換。2.2 出入站策略設計（1）出站策略。該類策略控制由私網(wǎng)向公網(wǎng)發(fā)起訪問的數(shù)據(jù)流量路徑選擇，比如外網(wǎng)辦公終端訪問internet的數(shù)據(jù)。由于internet服務器一般架設在運營商骨干網(wǎng)或城域網(wǎng)核心匯聚層，網(wǎng)絡資源豐富、帶

7、寬充裕，因此對于不同運營商服務器的訪問流量經(jīng)由該服務器所屬的運營商出口鏈路是較好的選擇1。對于境外服務器等不屬于購買運營商網(wǎng)絡范圍內的訪問對象，宜采用就近性算法，通過鏈路帶寬、鏈路成本、端到端延時、路由條數(shù)等參數(shù)加權計算出最優(yōu)運營商出口鏈路。綜上，出站策略宜按如下原則設計，并按順序匹配：第一，訪問目的地址在運營商1地址池內的數(shù)據(jù)包主走isp1鏈路;第二，訪問目的地址在運營商2地址池內的數(shù)據(jù)包主走isp2鏈路;第三，不在上述地址池內的數(shù)據(jù)包根據(jù)就近性算法在isp1和isp2鏈路中選擇最優(yōu)路徑。（2）入站策略。該類策略控制由公網(wǎng)向私網(wǎng)發(fā)起訪問的數(shù)據(jù)流量路徑選擇，按照internet用戶訪問私網(wǎng)對外

8、服務器的方式不同分為b/s和c/s兩類。在b/s架構訪問方式下，將鏈路負載均衡設備設置為授權域名服務器，記錄域名與內網(wǎng)服務器ip地址的映射關系，形成a記錄，一個域名分別映射isp1和ips2的公網(wǎng)ip地址。當internet用戶通過域名方式訪問網(wǎng)站服務器時，用戶的本地dns服務器通過迭代查詢從鏈路負載均衡請求地址解析，負載均衡根據(jù)就近性算法返回最優(yōu)isp解析ip地址，達到均衡的目的。在c/s架構訪問方式下，為節(jié)省寶貴的運營商公網(wǎng)地址，不同的私網(wǎng)服務器宜采用不同的tcp端口號，使鏈路負載均衡進行目的nat轉換時可以復用公網(wǎng)ip。鏈路負載均衡為每個私網(wǎng)服務器配置兩個isp的地址，通過用戶客戶端程序

9、進行均衡訪問。2.3 dns代理設計私網(wǎng)辦公終端向公網(wǎng)發(fā)起訪問的出站數(shù)據(jù)流量占總流量比例較大，為提高出口流量均衡程度，除了做好前述出站策略設計，還需要做好dns代理設計。整體設計實現(xiàn)流程是：首先在鏈路負載均衡上設置dns代理私網(wǎng)ip，本地dhcp服務器將該ip作為終端自動獲取的dns服務器地址;然后，不同終端申請域名解析時訪問dns代理ip，鏈路負載均衡宜采用輪詢算法，均勻訪問不同運營商dns服務器;最后，如果目的業(yè)務服務器規(guī)模較大，且isp1和isp2屬于三大電信運營商，那么dns服務器將為相應終端返回屬于本isp的解析ip，結合出站策略，從而實現(xiàn)出站數(shù)據(jù)均衡訪問。dns代理流程示意如圖2所

10、示。3 路由交換設計3.1 二層設計（1）vlan設計?；趕witch ha機制，為實現(xiàn)二層廣播域有效隔離，將網(wǎng)絡劃分為3個獨立vlan，分別是：r-isp1、sw1_pub1、llb1和llb2互聯(lián)接口組成的運營商1出口vlan;r-isp2、sw2_pub2、llb1和llb2互聯(lián)接口組成的運營商2出口vlan;llb1、llb2、sw1_pri1、sw2_pri2、r1和r2互聯(lián)接口組成的私網(wǎng)vlan。路由器接口為三層路由口，llb接口為三層交換口，llb和交換機使用access類型接口納入相應vlan。（2）生成樹設計。如圖1所示，網(wǎng)絡中存在物理環(huán)路，mstp生成樹協(xié)議默認開啟，將會

11、阻塞相關接口，生成無環(huán)拓撲。實際上，因為沒有一個物理環(huán)路對應在同一個vlan中，即使存在物理環(huán)路也不會形成廣播風暴危害網(wǎng)絡運行，所以宜關閉鏈路負載均衡和交換機相關接口的生成樹協(xié)議，避免正常運行接口被阻塞，提高網(wǎng)絡健壯性和收斂速度。3.2 靜態(tài)路由設計鑒于radware鏈路負載均衡自身機制，其與運營商路由器和私網(wǎng)路由器間通過靜態(tài)路由實現(xiàn)網(wǎng)絡互聯(lián)互通，在每一個廣播域中規(guī)劃同網(wǎng)段的ip地址，靜態(tài)路由相關設計如表1。3.3 高可靠性設計（1）vrrp設計。為使鏈路負載均衡靜態(tài)路由下一跳ip地址保持穩(wěn)定，不因設備單點故障而失效，宜使用vrrp（虛擬路由器冗余協(xié)議）進行保障。vrrp能將多個三層網(wǎng)絡設備在

12、網(wǎng)關層面整合起來形成一個虛擬三層設備，在這些設備間通過選舉機制選出一個master設備來擔任實際三層網(wǎng)關，而其余設備監(jiān)聽主設備工作狀態(tài)，主設備一旦故障，將重新選舉產(chǎn)生新的主設備確保網(wǎng)關不間斷服務2。r1和r2通過上聯(lián)接口構成vrrp路由器，其虛擬ip作為鏈路負載均衡靜態(tài)路由下一跳地址，同時為減少流量繞行，matster設備與鏈路負載均衡switch ha主設備保持同側設置。（2）nqa設計。靜態(tài)路由無法感知網(wǎng)絡拓撲變化并作出動態(tài)調整，使得在特定運行方式下數(shù)據(jù)轉發(fā)出現(xiàn)問題，比如在llb1作為switch ha主設備運行時，如果兩臺私網(wǎng)交換機間鏈路發(fā)生中斷，r2路由器靜態(tài)路由下一跳將不可達，同時由

13、于r2上聯(lián)口并未中斷，所以該靜態(tài)路由不會失效，這將導致按此路由轉發(fā)的數(shù)據(jù)丟失。為解決該問題，引入nqa機制，通過icmp-echo報文探測下一跳地址可達性，并將可達性與靜態(tài)路由存活性關聯(lián)，當探測不可達時自動撤銷靜態(tài)路由避免數(shù)據(jù)轉發(fā)錯誤，提高網(wǎng)絡在特定故障運行方式下的可靠性。3.4 動態(tài)路由設計電力企業(yè)外網(wǎng)一般至少為中型規(guī)模，宜采用ospf動態(tài)路由協(xié)議進行組網(wǎng)，以有效解決網(wǎng)段多、拓撲復雜、拓撲變更動態(tài)響應等問題3。在進行ospf組網(wǎng)設計時要點如下：（1）私網(wǎng)路由器與內部網(wǎng)絡運行ospf協(xié)議，內部網(wǎng)絡根據(jù)規(guī)模、安全性等因素采用二層架構或三層架構，私網(wǎng)路由器至少與內部網(wǎng)絡核心層運行于ospf骨干區(qū)，

14、是否劃分非骨干區(qū)由內部網(wǎng)絡結構決定，有關內部網(wǎng)絡設計不是本文研究重點;（2）將網(wǎng)絡未來擴展的最大帶寬作為ospf cost參考帶寬值，所有參與ospf計算的接口自動按實際帶寬等比例計算出ospf cost值，使所有數(shù)據(jù)包按最短路徑進行轉發(fā);（3）在局域網(wǎng)中互聯(lián)接口均為以太網(wǎng)口，接口缺省ospf 網(wǎng)絡類型為broadcast，由于網(wǎng)絡從邏輯角度看均為以太網(wǎng)點到點互聯(lián)，完全沒有必要進行dr和bdr選舉，所以將ospf接口網(wǎng)絡類型改為p2p，以達到加速ospf鄰居建立，優(yōu)化網(wǎng)絡性能的目的4;（4）在私網(wǎng)路由器上將默認靜態(tài)路由引入到ospf路由中，確保內部網(wǎng)絡順利學習到去往公網(wǎng)方向的路由。4 測試結果

15、4.1 n-1故障測試網(wǎng)絡在n-1故障運行方式下，即任一鏈路、板卡、設備、運營商故障時，鏈路負載均衡和路由器冗余切換機制正常工作，路由跟隨拓撲變化動態(tài)更新，網(wǎng)絡可在秒級收斂，所有業(yè)務均可正常運行，驗證了整體網(wǎng)絡設計具有較高的可靠性。4.2 負載均衡度測試以兩個運營商最大瞬時流量差值占總出口帶寬百分比來衡量均衡程度，同時區(qū)分不同時段和進出方向，測試情況如表2所示?？傮w均衡度較好，同時隨著流量增大，均衡度也相應提高。5 結語電力企業(yè)外網(wǎng)與internet網(wǎng)絡互連，承載著外網(wǎng)辦公終端和各類業(yè)務服務器，是電力企業(yè)自有網(wǎng)絡的重要組成部分。本文詳細論述了一種基于radware鏈路負載均衡的電力企業(yè)外網(wǎng)網(wǎng)絡設計方法，經(jīng)過實踐檢驗，可有效滿足重要業(yè)務數(shù)據(jù)高可靠傳輸需求，同時高效利用昂貴的運營商專線，節(jié)約了企業(yè)成本。參考