數(shù)據(jù)中心網(wǎng)絡(luò)高可用技術(shù)

1、數(shù)據(jù)中心網(wǎng)絡(luò)高可用技術(shù)高可用性，金融數(shù)據(jù)中心建設(shè)中最受關(guān)注的問(wèn)題之一。高可用性設(shè)計(jì)是個(gè)系統(tǒng)工程，其內(nèi)容涉及構(gòu)成數(shù)據(jù)中心的四個(gè)組成要素（網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、機(jī)房基礎(chǔ)設(shè)施）的多方面內(nèi)容，本文聚焦網(wǎng)絡(luò)系統(tǒng)，闡述了多種網(wǎng)絡(luò)高可用技術(shù)在數(shù)據(jù)中心的部署最佳實(shí)踐。一、             高可用性的定義系統(tǒng)可用性（Availability）的定義公式為：Availability  MTBF / ( MTBF + MTTR ) × 

2、;100%MTBF（Mean Time Between Failure），即平均無(wú)故障時(shí)間，是描述整個(gè)系統(tǒng)可靠性（reliability）的指標(biāo)。對(duì)于一個(gè)網(wǎng)絡(luò)系統(tǒng)來(lái)說(shuō)，MTBF是指整個(gè)網(wǎng)絡(luò)的各組件（鏈路、節(jié)點(diǎn)）不間斷無(wú)故障連續(xù)運(yùn)行的平均時(shí)間。MTTR（Mean Time to Repair），即系統(tǒng)平均恢復(fù)時(shí)間，是描述整個(gè)系統(tǒng)容錯(cuò)能力（fault-tolerant capability）的指標(biāo)。對(duì)于一個(gè)網(wǎng)絡(luò)系統(tǒng)來(lái)說(shuō)，MTTR是指當(dāng)網(wǎng)絡(luò)中的組件出現(xiàn)故障時(shí)，網(wǎng)絡(luò)從故障狀態(tài)恢復(fù)到正常狀態(tài)所需的平均時(shí)間。從公式可看出，提高M(jìn)TBF或降低MTTR都能提高網(wǎng)絡(luò)可用性。造成數(shù)據(jù)中心網(wǎng)絡(luò)不可用的因素包括：設(shè)備

3、軟硬件故障、設(shè)備間鏈路故障、維護(hù)升級(jí)、用戶(hù)誤操作、網(wǎng)絡(luò)擁塞等事件。針對(duì)這些因素采取措施，如提高軟硬件質(zhì)量、減少鏈路故障、避免網(wǎng)絡(luò)擁塞丟包、避免用戶(hù)誤操作等，使網(wǎng)絡(luò)盡量不出故障、提高網(wǎng)絡(luò)MTBF指標(biāo)，也就提升了整網(wǎng)的可用性水平。然而，網(wǎng)絡(luò)中的故障總是不可避免的，所以設(shè)計(jì)和部署從故障中快速回復(fù)的技術(shù)、縮小MTTR指標(biāo)，同樣是提升網(wǎng)絡(luò)可用性水平的手段。在網(wǎng)絡(luò)出現(xiàn)故障時(shí)，確保網(wǎng)絡(luò)能快速回復(fù)的容錯(cuò)技術(shù)均可以歸入高可用技術(shù)。常用的網(wǎng)絡(luò)高可用技術(shù)可歸為以下幾類(lèi)：l         單設(shè)備的硬件冗余：冗余電源、冗余風(fēng)扇、

4、雙主控、板卡支持熱插拔；l         物理鏈路捆綁：以太網(wǎng)鏈路聚合，基于IRF的跨設(shè)備以太網(wǎng)鏈路聚合；l         二層冗余路徑：STP、MSTP、SmartLink；l         三層冗余路徑：VRRP、ECMP、動(dòng)態(tài)路由協(xié)議多路徑；l      &

5、#160;  故障檢測(cè)：NQA、BFD、OAM、DLDP；l         不間斷轉(zhuǎn)發(fā)：GR、熱補(bǔ)丁升級(jí)；l         L4-L7多路徑：狀態(tài)熱備、非對(duì)稱(chēng)路徑轉(zhuǎn)發(fā)。在進(jìn)行高可用數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃時(shí)，不能只將上述技術(shù)進(jìn)行簡(jiǎn)單疊加和無(wú)限制的冗余，否則，一方面會(huì)增加網(wǎng)絡(luò)建設(shè)整體成本，另一方面還會(huì)增加管理維護(hù)的復(fù)雜度，反而給網(wǎng)絡(luò)引入了潛在的故障隱患。因此在進(jìn)行規(guī)劃時(shí)，應(yīng)該根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)類(lèi)型和網(wǎng)絡(luò)

6、層次，分析網(wǎng)絡(luò)業(yè)務(wù)模型，確定數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)拓?fù)?，明確對(duì)網(wǎng)絡(luò)可用性最佳的關(guān)鍵節(jié)點(diǎn)和鏈路，合理規(guī)劃和部署各種網(wǎng)絡(luò)高可用技術(shù)。二、             數(shù)據(jù)中心網(wǎng)絡(luò)高可用部署方案1.  數(shù)據(jù)中心服務(wù)器區(qū)典型組網(wǎng)圖1.  高可用扁平化架構(gòu)典型組網(wǎng)圖1是典型的數(shù)據(jù)中心服務(wù)器區(qū)分層網(wǎng)絡(luò)拓?fù)洌ń尤搿R聚、核心）。接入層交換機(jī)為服務(wù)器提供高可用網(wǎng)絡(luò)接入。匯聚層設(shè)備做為服務(wù)器的網(wǎng)關(guān)，并通過(guò)部署應(yīng)用優(yōu)化設(shè)備（如服務(wù)負(fù)載分擔(dān)設(shè)備）以減輕服務(wù)器

7、的處理負(fù)擔(dān)，并提高服務(wù)器系統(tǒng)的可用性。匯聚層部署的安全設(shè)備（如防火墻）做為整個(gè)服務(wù)器區(qū)的安全邊界，為服務(wù)器提供訪(fǎng)問(wèn)控制。建議在匯聚層采用與交換機(jī)一體化的應(yīng)用優(yōu)化或安全插板部署方式，以代替?zhèn)鹘y(tǒng)的獨(dú)立盒式設(shè)備。采用插板方式的好處是降低能耗、減少布線(xiàn)復(fù)雜性，從而提升網(wǎng)絡(luò)的整體可用性。2.  網(wǎng)絡(luò)接入層高可用部署方案接入層到匯聚層有4種連接方式，如圖2所示，分別為：倒U形接法（拓?fù)?）、U形接法（拓?fù)?）、矩形接法（拓?fù)?）和三角形接法。不同類(lèi)型的接法以二層鏈路的物理拓?fù)錇樵u(píng)判依據(jù)，比如對(duì)于矩形接法（拓?fù)?），接入交換機(jī)之間、接入交換機(jī)與匯聚交換機(jī)之間、匯聚交換機(jī)之間均以二層鏈路互

8、聯(lián)，并且兩臺(tái)接入交換機(jī)與兩臺(tái)匯聚交換機(jī)構(gòu)成了矩形的二層互聯(lián)拓?fù)?。圖2.  高可用擴(kuò)展多級(jí)架構(gòu)典型組網(wǎng)接入層的四種拓?fù)涞谋容^：拓?fù)鋬?yōu)點(diǎn)缺點(diǎn)備注說(shuō)明1倒U形不啟用STP，網(wǎng)絡(luò)管理簡(jiǎn)單。VLAN可以跨匯聚層交換機(jī)，服務(wù)器二層的擴(kuò)展靈活。匯聚交換機(jī)故障時(shí)，造成其同側(cè)接入交換機(jī)上的服務(wù)器不可達(dá)，無(wú)法實(shí)現(xiàn)高可用接入2U形不啟用STP，網(wǎng)絡(luò)管理簡(jiǎn)單。接入交換機(jī)與匯聚交換機(jī)之間有冗余鏈路。VLAN不能跨匯聚交換機(jī)，服務(wù)器部署不靈活。接入交換機(jī)間鏈路故障時(shí)，VRRP心跳報(bào)文無(wú)法傳遞，網(wǎng)絡(luò)處于不穩(wěn)定狀態(tài)。3矩形接入交換機(jī)與匯聚交換機(jī)之間有冗余鏈路。VLAN可以跨匯聚層交換機(jī)當(dāng)接入交換機(jī)上行鏈路

9、故障時(shí)，所有流量將從另一側(cè)的交換機(jī)上行，網(wǎng)絡(luò)收斂比變小，網(wǎng)絡(luò)易擁塞，降低了網(wǎng)絡(luò)可用性。4三角形接入交換機(jī)與匯聚交換機(jī)之間有冗余鏈路、冗余路徑。VLAN 可以跨匯聚層交換機(jī)，服務(wù)器部署靈活生成樹(shù)計(jì)算比矩形拓?fù)鋸?fù)雜。推薦方式表1.  四種拓?fù)溥B接方式的對(duì)比由上表可以看出，三角形組網(wǎng)（拓?fù)?）提供了更高的接入可用性以及更靈活的服務(wù)器擴(kuò)展能力，所以對(duì)于數(shù)據(jù)中心獨(dú)立服務(wù)器的接入，建議采用三角形組網(wǎng)方式。由于接入層三角形組網(wǎng)存在二層環(huán)路，所以需要在交換機(jī)上使能多生成樹(shù)協(xié)議MSTP（Multiple Spanning Tree Protocol）。匯聚層交換機(jī)（或匯聚交換上的L

10、4/L7層設(shè)備）部署虛擬路由器冗余協(xié)議（virtual router redundancy protocol, VRRP），并將VRRP組的虛擬IP地址作為服務(wù)器網(wǎng)關(guān)。對(duì)于接入層這種典型的MSTP+VRRP部署方式，還應(yīng)關(guān)注以下幾點(diǎn)：l       利用MSTP多實(shí)例特性，合理規(guī)劃VLAN與實(shí)例映射關(guān)系，實(shí)現(xiàn)業(yè)務(wù)流量的負(fù)載分擔(dān)。如圖3，VLAN50對(duì)應(yīng)的STP實(shí)例的根橋在AGG_SW2（VLAN50在ACC_SW1與AGG_SW1、及ACC_SW2與AGG_SW1之間的轉(zhuǎn)發(fā)被阻塞），VLAN30對(duì)應(yīng)的STP實(shí)例的根

11、橋在AGG_SW1（VLAN 30在ACC_SW1與AGG_SW2、ACC_SW2與AGG_SW2之間的轉(zhuǎn)發(fā)被阻塞）。l       規(guī)劃多個(gè)VRRP組，實(shí)現(xiàn)服務(wù)器網(wǎng)關(guān)的備份和負(fù)載分擔(dān)。如圖3，在正常轉(zhuǎn)發(fā)時(shí)匯聚交換機(jī)（AGG_SW1、AGG_SW2）分別作為VLAN30和VLAN50的VRRP Master設(shè)備。如匯聚層部署了L4/L7設(shè)備（如防火墻），則在L4/L7設(shè)備上規(guī)劃VRRP組，并將VRRP的虛擬IP作為服務(wù)器的網(wǎng)關(guān)。圖3.  接入層MSTP+VRRP部署l   &

12、#160;   在匯聚交換機(jī)上指定根橋。恰當(dāng)放置根橋不但可優(yōu)化生成樹(shù)協(xié)議所選擇的路徑，還可以為數(shù)據(jù)提供明確的路徑，明確的路徑使排錯(cuò)和配置網(wǎng)絡(luò)變得更為容易。通過(guò)在匯聚層交換機(jī)上手工配置根橋的主、備策略，確保生成樹(shù)在二層鏈路形成最佳的樹(shù)型拓?fù)?。l       匯聚交換機(jī)上聯(lián)的三層接口配置“STP Disable”命令。對(duì)于不需要參與STP的端口應(yīng)關(guān)閉STP特性，由此可節(jié)省設(shè)備的CPU資源和BPDU報(bào)文的發(fā)送范圍，以降低網(wǎng)絡(luò)發(fā)生故障的幾率。l     

13、  接入交換機(jī)與服務(wù)器直連端口設(shè)置為“邊緣端口”。網(wǎng)絡(luò)拓?fù)渥兓瘯r(shí)，邊緣端口不會(huì)產(chǎn)生臨時(shí)環(huán)路。因此，如果將服務(wù)器接入端口配置為邊緣端口，則該端口可以快速遷移到轉(zhuǎn)發(fā)狀態(tài)，降低網(wǎng)絡(luò)的故障收斂時(shí)間。l       接入交換機(jī)與服務(wù)器相連的端開(kāi)啟“BPDU保護(hù)”功能，如圖3。邊緣端口正常情況不應(yīng)收到生成樹(shù)協(xié)議的配置消息，如有人偽造配置消息惡意攻擊設(shè)備，會(huì)引起生成樹(shù)重新計(jì)算，啟動(dòng)BPDU保護(hù)功能可防止這種攻擊，避免發(fā)生網(wǎng)絡(luò)拓?fù)湔鹗?。l       

14、接入交換機(jī)上行端口開(kāi)啟“環(huán)路保護(hù)”功能，如圖3。如果接入交換機(jī)上行端口發(fā)生鏈路擁塞或者單向鏈路故障時(shí)，環(huán)路保護(hù)功能會(huì)將根端口的角色變?yōu)橹付ǘ丝?，端口的狀態(tài)為Discarding；原來(lái)被阻塞端口同樣也變?yōu)橹付ǘ丝冢瑺顟B(tài)為Discarding 狀態(tài)，不轉(zhuǎn)發(fā)報(bào)文，從而不會(huì)在網(wǎng)絡(luò)中形成環(huán)路，避免引起網(wǎng)絡(luò)拓?fù)湔鹗?。l       匯聚交換機(jī)（根橋和備份根橋）與接入交換機(jī)互聯(lián)的端口開(kāi)啟“root保護(hù)”功能，如圖3。當(dāng)開(kāi)啟“root保護(hù)功能”的端口收到優(yōu)先級(jí)高的配置消息時(shí)，該端口的狀態(tài)將被設(shè)為Discarding，不再轉(zhuǎn)發(fā)報(bào)文。

15、當(dāng)足夠長(zhǎng)的時(shí)間內(nèi)沒(méi)有再次收到更優(yōu)的配置消息時(shí)，端口會(huì)恢復(fù)正常狀態(tài)。這種功能可避免錯(cuò)誤的配置或網(wǎng)絡(luò)攻擊造成匯聚交換機(jī)失去根橋地位而引起網(wǎng)絡(luò)拓?fù)渥兓?。l       交換機(jī)上開(kāi)啟“TC-BPDU保護(hù)”功能。為了避免交換機(jī)頻繁收到TC報(bào)文而去頻繁刪除MAC和ARP表項(xiàng)，繼而引起CPU繁忙并造成網(wǎng)絡(luò)業(yè)務(wù)中斷的情況，應(yīng)在交換機(jī)上開(kāi)啟TC保護(hù)功能。l       在交換機(jī)上開(kāi)啟loopback-detection（端口環(huán)回檢測(cè)）功能，防止錯(cuò)誤的配置或連接形成端口自環(huán)。

16、l       匯聚與接入層交換機(jī)相連的端口避免配置trunk all，只允許使用的Vlan通過(guò)，如圖3中（只允許Trunk VLAN30和Trunk VLAN50），各個(gè)雙歸屬環(huán)用Vlan隔開(kāi)，防止一個(gè)環(huán)上的廣播泛到另一個(gè)環(huán)上去。3.  網(wǎng)絡(luò)匯聚層高可用部署方案網(wǎng)絡(luò)匯聚層作為網(wǎng)絡(luò)接入層的流量會(huì)集點(diǎn)和服務(wù)器的網(wǎng)關(guān)，需要部署防火墻做為整個(gè)服務(wù)器區(qū)的安全控制邊界，還需要部署應(yīng)用優(yōu)化設(shè)備（服務(wù)負(fù)載分擔(dān)、SSL卸載等）用以減輕服務(wù)器的負(fù)擔(dān)，提高應(yīng)用響應(yīng)速度。建議在服務(wù)器群區(qū)域網(wǎng)絡(luò)匯聚層采用集成在機(jī)架式交換機(jī)上的安

17、全和應(yīng)用優(yōu)化多業(yè)務(wù)板卡，優(yōu)點(diǎn)在于簡(jiǎn)化機(jī)架布線(xiàn)、提高系統(tǒng)可用性、降低設(shè)備整體功耗。圖4是匯聚層交換機(jī)上部署防火墻插板（FW）和負(fù)載分擔(dān)插板（LB）時(shí)的路由設(shè)計(jì)。FW板卡作為服務(wù)器網(wǎng)關(guān)，采用三層路由模式為訪(fǎng)問(wèn)服務(wù)器的流量提供轉(zhuǎn)發(fā)，并提供攻擊防御、策略管理等功能。LB板卡采用單臂旁?huà)觳渴鸱绞?。缺省網(wǎng)關(guān)指定在匯聚交換機(jī)上。外部用戶(hù)訪(fǎng)問(wèn)虛服務(wù)的流量在LB板卡上進(jìn)行負(fù)載分擔(dān)與源目的地址變換后，再通過(guò)FW訪(fǎng)問(wèn)內(nèi)部服務(wù)器。圖4.  匯聚層FW+LB的部署圖5是匯聚層FW與LB的雙機(jī)高可用部署方案。核心與匯聚交換機(jī)間運(yùn)行OSPF協(xié)議。當(dāng)任一節(jié)點(diǎn)整機(jī)或鏈路故障時(shí)，網(wǎng)絡(luò)依靠OSPF進(jìn)行故障收斂。

18、兩個(gè)LB之間運(yùn)行VRRP，匯聚交換機(jī)將去往服務(wù)器IP地址的下一跳指向LB的VRRP虛IP地址，當(dāng)LB主路徑板卡故障時(shí)，通過(guò)VRRP可以切換到備份卡上繼續(xù)流量轉(zhuǎn)發(fā)。兩個(gè)FW之間也運(yùn)行VRRP，F(xiàn)W主路徑板卡故障時(shí)，通過(guò)VRRP可以切換到備份卡上恢復(fù)流量。匯聚交換機(jī)之間需要Trunk V100/V400/V500圖5.  匯聚層FW+LB的部署匯聚層到核心層間采用OSPF等動(dòng)態(tài)路由協(xié)議進(jìn)行路由層面高可用保障。常見(jiàn)連接方式有兩種，如圖6。拓?fù)?采用了三角形連接方式，從匯聚層到核心層具有全冗余鏈路和轉(zhuǎn)發(fā)路徑；拓?fù)?采用了四邊形連接方式，從匯聚層到核心層沒(méi)有冗余鏈路，當(dāng)主鏈路發(fā)生故障時(shí)，需要通過(guò)路由協(xié)議計(jì)算獲得從匯聚到核心的冗余路徑。所以，三角形拓?fù)涞墓收鲜諗繒r(shí)間較小，但三角形拓?fù)湟加酶嗟脑O(shè)備端口，建網(wǎng)成本較高。圖6.  匯聚層與核心層的拓?fù)?.  IRF虛擬化技術(shù)高可用最佳實(shí)踐圖7.  傳統(tǒng)架構(gòu)服務(wù)器群網(wǎng)絡(luò)拓?fù)渑cIRF架構(gòu)服務(wù)器群網(wǎng)絡(luò)拓?fù)鋵?duì)比對(duì)于接入層而言傳統(tǒng)架構(gòu)為保證網(wǎng)絡(luò)高可用性通常采用MSTP+VRRP，這種組網(wǎng)需要在接入交換機(jī)與匯聚交換機(jī)間運(yùn)行MSTP協(xié)議，管理和維護(hù)較復(fù)雜。但當(dāng)接入交換機(jī)和匯聚交換機(jī)都采用IRF架構(gòu)之后，可將每?jī)膳_(tái)交換機(jī)（也可以是多臺(tái)）配置成一個(gè)IRF堆疊組，兩臺(tái)匯聚交