數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策

數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策精品資料整理數(shù)據(jù)中心高可用網(wǎng)絡(luò)系統(tǒng)設(shè)計數(shù)據(jù)中心作為承載企業(yè)業(yè)務(wù)的重要IT基礎(chǔ)設(shè)施，承擔(dān)著穩(wěn)定運行和業(yè)務(wù)創(chuàng)新的重任。伴隨著數(shù)據(jù)的集中，企業(yè)數(shù)據(jù)中心的建設(shè)及運維給信息部門帶來了巨大的壓力，“數(shù)據(jù)集中就意味著風(fēng)險集中、響應(yīng)集中、復(fù)雜度集中……”，數(shù)據(jù)中心出現(xiàn)故障的情況幾乎不可避免。因此，數(shù)據(jù)中心解決方案需要著重關(guān)注如何盡量減小數(shù)據(jù)中心出現(xiàn)故障后對企業(yè)關(guān)鍵業(yè)務(wù)造成的影響。為了實現(xiàn)這一目標(biāo)，首先應(yīng)該要了解企業(yè)數(shù)據(jù)中心出現(xiàn)故障的類型以及該類型故障產(chǎn)生的影響。影響數(shù)據(jù)中心的故障主要分為如下幾類：硬件故障軟件故障鏈路故障電源/環(huán)境故障資源利用問題網(wǎng)絡(luò)設(shè)計問題本文針對網(wǎng)絡(luò)的高可用設(shè)計做詳細(xì)的闡述。高可用數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計思路數(shù)據(jù)中心的故障類型眾多，但故障所導(dǎo)致的結(jié)果卻大同小異。即數(shù)據(jù)中心中的設(shè)備、鏈路或server發(fā)生故障，無法對外提供正常服務(wù)。緩解這些問題最簡單的方式就是冗余設(shè)計，可以通過對設(shè)備、鏈路、Server提供備份，從而將故障對用戶業(yè)務(wù)的影響降低到最小。但是，一味的增加冗余設(shè)計是否就可以達(dá)到緩解故障影響的目的？有人可能會將網(wǎng)絡(luò)可用性與冗余性等同起來。事實上，冗余性只是整個可用性架構(gòu)中的一個方面。一味的強調(diào)冗余性有可能會降低可用性，減小冗余所帶來的優(yōu)點，因為冗余性在帶來好處的同時也會帶來一些如下缺點：網(wǎng)絡(luò)復(fù)雜度增加網(wǎng)絡(luò)支撐負(fù)擔(dān)加重配置和管理難度增加數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第1頁。因此，數(shù)據(jù)中心的高可用設(shè)計是一個綜合的概念。在選用高可靠設(shè)備組件、提高網(wǎng)絡(luò)的冗余性的同時，還需要加強網(wǎng)絡(luò)構(gòu)架及協(xié)議部署的優(yōu)化，從而實現(xiàn)真正的高可用。設(shè)計一個高可用的數(shù)據(jù)中心網(wǎng)絡(luò)，可參考類似OSI七層模型，在各個層面保證高可用，最終實現(xiàn)數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)的高可用，如圖1所示。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第1頁。圖1數(shù)據(jù)中心高可用系統(tǒng)設(shè)計層次模型數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)高可用設(shè)計企業(yè)在進行數(shù)據(jù)中心架構(gòu)規(guī)劃設(shè)計時，一般需要按照模塊化、層次化原則進行，避免在后續(xù)規(guī)模越來越大的情況再進行大規(guī)模的整改，造成時間與投資浪費。模塊化設(shè)計模塊化設(shè)計是指在對一定范圍內(nèi)的不同功能或相同功能不同性能、不同規(guī)格的應(yīng)用進行功能分析的基礎(chǔ)上，劃分并設(shè)計出一系列功能模塊，模塊之間松耦合，力求在滿足業(yè)務(wù)應(yīng)用要求的基礎(chǔ)上使網(wǎng)絡(luò)穩(wěn)定可靠、易于擴展、結(jié)構(gòu)簡單、易于維護。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第2頁。不同企業(yè)的應(yīng)用系統(tǒng)可能有一定的差異。在網(wǎng)絡(luò)層面，根據(jù)應(yīng)用系統(tǒng)的重要性、流量特征和用戶特征的不同，可大致分為以下幾個區(qū)域，如圖2所示。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第2頁。圖2企業(yè)數(shù)據(jù)中心典型模塊劃分需注意幾下幾點：1)企業(yè)園區(qū)網(wǎng)核心與數(shù)據(jù)中心核心分離，各司其職園區(qū)網(wǎng)核心主要承接縱向流量和用戶的接入控制（DHCP、認(rèn)證等）；數(shù)據(jù)中心核心主要承接服務(wù)器間的流量(橫向流量居多)。數(shù)據(jù)中心核心交換機上盡可能少的部署策略和配置，保證其互連互通的高可靠、高性能，同時在擴展新的模塊時力求達(dá)到核心設(shè)備配置的零更改，各模塊之間互通的松耦合，避免某功能模塊的故障影響其它功能模塊，實現(xiàn)風(fēng)險分散、靈活擴展；2)分布式安全部署與傳統(tǒng)的防火墻集中在核心旁掛的方式不一樣，在模塊化數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中，安全設(shè)備應(yīng)下移到各功能模塊的出口（匯聚層）位置，如圖2的紅色網(wǎng)格線所示。而不是旁掛部署在核心交換區(qū)，這樣做的目的也是分散風(fēng)險，實現(xiàn)各模塊間的松耦合。數(shù)據(jù)中心核心交換區(qū)就像是連接各城市的高速公路，建設(shè)時應(yīng)充分保證其高可靠和高性能，而不部署紅綠燈調(diào)度；3)內(nèi)部服務(wù)器區(qū)細(xì)分子區(qū)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第3頁。4)Intranet服務(wù)器區(qū)是企業(yè)應(yīng)用系統(tǒng)的關(guān)鍵分區(qū)，此分區(qū)可根據(jù)應(yīng)用業(yè)務(wù)的關(guān)鍵性、實時性等特征的不同，可考慮再進行子分區(qū)的劃分，一般而言可分為“關(guān)鍵業(yè)務(wù)區(qū)”、“通用業(yè)務(wù)區(qū)”、“財務(wù)應(yīng)用區(qū)”幾類，子分區(qū)可以是物理的，也可以是邏輯的。如果是邏輯的，可為每個子分區(qū)分配一個虛擬防火墻來部署安全策略。在業(yè)務(wù)系統(tǒng)復(fù)雜，服務(wù)器數(shù)據(jù)較多的情況下（＞=200臺），建議采用物理子分區(qū)，每個子分區(qū)采用獨立的匯聚交換機和安全設(shè)備。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第3頁。層次化設(shè)計數(shù)據(jù)中心層次化設(shè)計包括網(wǎng)絡(luò)架構(gòu)分層和應(yīng)用系統(tǒng)分層兩個方面。在當(dāng)前網(wǎng)絡(luò)及安全設(shè)備虛擬化不斷完善的情況下，應(yīng)用系統(tǒng)分層可完全通過設(shè)備配置來實現(xiàn)邏輯分層，不影響網(wǎng)絡(luò)的物理拓?fù)洹τ诰W(wǎng)絡(luò)架構(gòu)層次化設(shè)計，選擇三層架構(gòu)還是二層架構(gòu)是不少企業(yè)進行數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)時面臨的難題。傳統(tǒng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)各層的職責(zé)大致定義如下：核心層：主要負(fù)責(zé)的是數(shù)據(jù)的交換與路由，不負(fù)責(zé)處理；匯聚層：主要負(fù)責(zé)的是數(shù)據(jù)的處理，選擇和過濾等操作；接入層：主要負(fù)責(zé)的是數(shù)據(jù)的接受與發(fā)送，負(fù)責(zé)端到端的鏈路建立和釋放。從可靠性的角度來看，三層架構(gòu)和二層架構(gòu)均可以實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的高可用。近年來隨著云計算的逐漸興起，二層扁平化網(wǎng)絡(luò)架構(gòu)更適合云計算網(wǎng)絡(luò)模型，可以滿足大規(guī)模服務(wù)器虛擬化集群、虛擬機靈活遷移的部署。如表1所示為二層和三層架構(gòu)對比，可見，兩者之間沒有絕對的優(yōu)劣之分，企業(yè)用戶可根據(jù)自身的業(yè)務(wù)特點進行選擇，也可以先二層，后續(xù)針對某些特定的功能分區(qū)采用三層組網(wǎng)。三層架構(gòu)二層架構(gòu)可靠性增加了一層網(wǎng)絡(luò)設(shè)備，意味著故障點增加網(wǎng)絡(luò)故障點相對較少，但同時故障點也相對集中安全性網(wǎng)關(guān)和安全策略皆部署在匯聚層，方便部署安全策略部署在接入層，相對比較分散，部署工作量大服務(wù)器接入數(shù)量較多較少擴展性同一功能分區(qū)內(nèi)服務(wù)器數(shù)量擴展多，可靈活實現(xiàn)物理分區(qū)內(nèi)的子邏輯分區(qū)同一功能分區(qū)內(nèi)服務(wù)器數(shù)量擴展受限運維管理設(shè)備和管理點較多設(shè)備少，管理點較少成本匯聚和接入設(shè)備可靈活選擇配合，達(dá)到最佳的成本控制接入設(shè)備要求較高，選型受限適合場景服務(wù)器數(shù)量多，安全策略控制嚴(yán)格的場合服務(wù)器集群、虛擬機遷移應(yīng)用較多，服務(wù)器搬遷移動頻繁場合數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第4頁。表1三層組網(wǎng)與二層組網(wǎng)對比數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第4頁。模塊化、層次化的架構(gòu)設(shè)計將數(shù)據(jù)中心網(wǎng)絡(luò)風(fēng)險進行了分散，將出現(xiàn)問題后的影響降低到最小，同時模塊之間的松耦合可增強數(shù)據(jù)中心的擴展，簡化網(wǎng)絡(luò)運維，降低在擴展的過程中管理員的人為故障，保證數(shù)據(jù)中心的可用性。設(shè)備層高可用設(shè)計設(shè)備可靠是系統(tǒng)可靠的最基本保證，數(shù)據(jù)中心核心交換區(qū)設(shè)備的可靠穩(wěn)定尤為重要。盡管可以通過架構(gòu)、策略、配置等的調(diào)整和優(yōu)化等多種手段降低核心設(shè)備的故障幾率以及影響范圍，但若要解決最根本的設(shè)備本身的軟硬件故障，則必須選用數(shù)據(jù)中心級的網(wǎng)絡(luò)設(shè)備。關(guān)于數(shù)據(jù)中心級設(shè)備，業(yè)界還沒有標(biāo)準(zhǔn)的定義，但從目前主流網(wǎng)絡(luò)設(shè)備供應(yīng)商提供的數(shù)據(jù)中心解決方案產(chǎn)品可以看出，數(shù)據(jù)中心級交換機應(yīng)具備以下特征：1)控制平面與轉(zhuǎn)發(fā)平面物理分離傳統(tǒng)的園區(qū)網(wǎng)交換機一般采用“Crossbar+共享緩存”的交換架構(gòu)，引擎板繼承擔(dān)控制平面的工作，同時也承擔(dān)數(shù)據(jù)轉(zhuǎn)發(fā)平面的工作，跨槽位的流量轉(zhuǎn)發(fā)報文需要經(jīng)背板到引擎板的Crossbar芯片進行轉(zhuǎn)發(fā)。這種架構(gòu)限制了設(shè)備的可靠性和性能：可靠性限制：引擎需要承接數(shù)據(jù)轉(zhuǎn)發(fā)平面的工作，因此在引擎出現(xiàn)主備倒換時必然會出現(xiàn)丟包。此外引擎1＋1冗余，也使得Crossbar交換網(wǎng)只能是1＋1的冗余，冗余能力無法做的更高。性能限制：受制于業(yè)界當(dāng)前Crossbar芯片的工藝以及引擎PCB板卡布線等制造工藝，將Crossbar交換網(wǎng)與CPU主控單元集中在一塊引擎板上的結(jié)構(gòu)，一般單塊引擎的交換容量不可能做的太高（一般約1TB左右）。數(shù)據(jù)中心級交換機產(chǎn)品將控制平面與轉(zhuǎn)發(fā)平面物理分離，一般有獨立的引擎板和交換網(wǎng)板，同時采用CLOS多級交換架構(gòu)，大大提高設(shè)備的可靠性及性能。如表2所示為CLOS架構(gòu)與傳統(tǒng)的Crossbar+共享緩存交換架構(gòu)對比。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第5頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第5頁。圖3Crossbar架構(gòu)也CLOS架構(gòu)邏輯實現(xiàn)Crossbar+共享緩存CLOS多級交換結(jié)構(gòu)1，單平面交換；2，交換矩陣和控制統(tǒng)一，即引擎承擔(dān)了交換和控制雙重功能；1，多塊交換網(wǎng)板共同完成流量交換2，控制和交換硬件分離轉(zhuǎn)發(fā)能力受限于交換網(wǎng)片的交換能力和PCB單板制造工藝，單引擎達(dá)到1TB以上就很難提升。多塊交換網(wǎng)板同時分擔(dān)業(yè)務(wù)流量，相當(dāng)于N倍于單級交換的能力，可實現(xiàn)5～10TB交換容量可靠性引擎倒換會丟包控制平面與轉(zhuǎn)發(fā)平面硬件物理分離，引擎切換時不影響轉(zhuǎn)發(fā)，可實現(xiàn)零丟包冗余能力引擎1＋1冗余，雙引擎負(fù)載分擔(dān)式無冗余引擎1＋1冗余，交換網(wǎng)板N+1冗余表2Crossbar與CLOS交換架構(gòu)對比2)關(guān)鍵部件更強的冗余能力除了引擎和交換網(wǎng)板的冗余外，此類設(shè)備的電源一般均可以配置多塊，實現(xiàn)N+M的冗余，保證電源的可靠性更高；另外風(fēng)扇的冗余也由原來的風(fēng)扇級冗余，提高到了風(fēng)扇框冗余，每個獨立的風(fēng)扇框內(nèi)多個風(fēng)扇冗余。3)虛擬化能力數(shù)據(jù)中心的復(fù)雜度越來越高，需要管理的設(shè)備也越來越多，設(shè)備的虛擬化可將同一層面（核心、匯聚、接入）的多臺設(shè)備虛擬化為一臺，進行設(shè)備的橫向整合，簡化設(shè)備的配置和管理。4)突發(fā)大流量的緩沖能力隨著業(yè)務(wù)整合、資源共享、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘及智能分析等業(yè)務(wù)的部署，數(shù)據(jù)中心內(nèi)部和業(yè)務(wù)服務(wù)器之間的橫向流量將會越來越多。流量模型的變化會導(dǎo)致多服務(wù)器群向一個服務(wù)器群的流量、多個應(yīng)用服務(wù)器向同一個數(shù)據(jù)庫服務(wù)器的流量越來越頻繁。這種多對一的流量模型是一種典型的擁塞模型，如果網(wǎng)絡(luò)設(shè)備的緩存能力不夠，將會導(dǎo)致丟包重傳，導(dǎo)致業(yè)務(wù)系統(tǒng)的響應(yīng)時間變長或中斷。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第6頁。基于CLOS架構(gòu)的數(shù)據(jù)中心級設(shè)備對端口的緩存容量進行擴容，并采用了新一代的分布式緩存機制，將原有的出方向緩存移至入方向，在同樣的端口緩存容量條件下，這種分布式的緩存機制可以更好的緩存多對一的擁塞模型，能夠更好的吸收數(shù)據(jù)中心的突發(fā)大流量。如圖4所示。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第6頁。圖4分布式入端口報文緩存設(shè)計5)綠色節(jié)能數(shù)據(jù)中心是企業(yè)能耗的主要部門，同時高的能耗將會帶來高的發(fā)熱量，影響設(shè)備的電子器件的穩(wěn)定性，將到據(jù)中心設(shè)備的穩(wěn)定運行。選用低能耗設(shè)備降低發(fā)熱量是提高可靠性的一個方面，另一方面設(shè)備本身的散熱風(fēng)道設(shè)計的合理與否？能否更好的配合機房的空調(diào)循環(huán)？也影響著數(shù)據(jù)中心的可靠性。為更好的配合機房冷熱風(fēng)道的布局，機柜中發(fā)熱量較大的設(shè)備最后是前后散熱的風(fēng)道設(shè)計。但普通的橫插槽設(shè)備一般是左右散熱的方式，因此應(yīng)優(yōu)先考慮采用豎插槽的設(shè)備，實現(xiàn)前后散熱。鏈路層(L2)高可用設(shè)計在數(shù)據(jù)中心網(wǎng)絡(luò)部署中，在實現(xiàn)設(shè)備和鏈路冗余提高可靠性的同時，也會帶來環(huán)路和復(fù)雜度的增加。一旦鏈路成環(huán)路很容易導(dǎo)致廣播風(fēng)暴，耗盡網(wǎng)絡(luò)鏈路及設(shè)備資源。1)常見組網(wǎng)方式數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第7頁。對于傳統(tǒng)的數(shù)據(jù)中心服務(wù)器區(qū)接入～匯聚交換網(wǎng)絡(luò)，針對無環(huán)設(shè)計和有環(huán)設(shè)計有多種選擇方案。如圖5所示。可以看出，三角形組網(wǎng)提供了更高的接入可用性以及更靈活的服務(wù)器擴展能力，所以通常推薦此組網(wǎng)方式。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第7頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第8頁。圖5數(shù)據(jù)中心服務(wù)器接入?yún)R聚常見組網(wǎng)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第8頁。拓?fù)鋬?yōu)點缺點1倒U型不啟用STP，好管理VLAN可以跨匯聚層交換機，服務(wù)器部署靈活必須通過鏈路聚合保證高可用性匯聚交換機故障時，服務(wù)器無法感知，無法實現(xiàn)高可用接入2正U型不啟用STP，好管理雙active鏈路，接入交換機密度高不能使VLAN跨匯聚層，服務(wù)器部署不靈活接入交換機間鏈路故障，VRRP心跳報文無法傳遞，整機做VRRP主備切換，故障收斂時間長。3三角形鏈路冗余，路徑冗余，故障收斂時間最短VLAN可以跨匯聚層交換機，服務(wù)器部署靈活存在環(huán)路，需要啟動STP協(xié)議4矩形雙active鏈路，接入交換機密度高VLAN可以跨匯聚層交換機有一半的接入層流量要通過匯聚交換機之間的鏈路。當(dāng)接入交換機上行鏈路故障時，所有流量將從一側(cè)的交換機上行。收斂比變小，網(wǎng)絡(luò)易擁塞，降低網(wǎng)絡(luò)高可用性。存在環(huán)路，需要啟動STP協(xié)議表3組網(wǎng)方式優(yōu)缺點對比需要指出，接入交換機直接雙上行與匯聚層設(shè)備相連，冗余連接并不是越多越好，最小的三角形環(huán)能夠提供最快的收斂速度和最高的可用性。例如圖6中右側(cè)圖組網(wǎng)拓?fù)湓诮尤雽咏粨Q機和匯聚層交換機之間采用全交叉冗余，是一種過度冗余組網(wǎng)，反而增加交換機的生成樹計算的復(fù)雜性以及故障排錯的復(fù)雜性，所以不建議按這種方式部署。圖6過度冗余與推薦組網(wǎng)2)通過虛擬化技術(shù)簡化網(wǎng)絡(luò)雖然三角形組網(wǎng)已經(jīng)成為數(shù)據(jù)中心接入設(shè)計的最佳實踐，但從網(wǎng)絡(luò)的拓?fù)湓O(shè)計、環(huán)路規(guī)避、冗余備份等角度考慮，設(shè)計過程是極其復(fù)雜的。如VLAN的規(guī)劃、生成樹實例的拓?fù)渥枞?、網(wǎng)關(guān)冗余選擇，包括相應(yīng)技術(shù)的參數(shù)選擇、配置，故障切換的預(yù)期判斷等，需要一套十分詳細(xì)的流程，而在后期網(wǎng)絡(luò)運行維護過程中面臨的壓力和復(fù)雜度是顯而易見的。因此，引入虛擬化設(shè)計方式簡化網(wǎng)絡(luò)則顯得尤為重要。通過以H3CIRF2為代表的虛擬化技術(shù)，在不改變傳統(tǒng)設(shè)計的網(wǎng)絡(luò)物理拓?fù)?、保證現(xiàn)有布線方式的前提下，實現(xiàn)網(wǎng)絡(luò)各層的橫向整合，即將交換網(wǎng)絡(luò)每一層的兩臺、多臺物理設(shè)備形成一個統(tǒng)一的交換架構(gòu)，減少了邏輯的設(shè)備數(shù)量，同時實現(xiàn)跨設(shè)備的鏈路捆綁，消除環(huán)路的同時保證鏈路的高可用。關(guān)于IRF2技術(shù)與應(yīng)用的詳細(xì)介紹，請參考本刊“數(shù)據(jù)中心IRF2虛擬化網(wǎng)絡(luò)架構(gòu)與應(yīng)用”一文。協(xié)議層(L3)高可用設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)的協(xié)議層高可用設(shè)計可以從以下三個方面考慮：數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第9頁。1)路由協(xié)議部署數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第9頁。數(shù)據(jù)中心匯聚層到核心層間可采用OSPF等動態(tài)路由協(xié)議進行路由層面高可用保障。常見連接方式有兩種，如圖7所示。拓?fù)?采用了三角形連接方式，從匯聚層到核心層具有全冗余鏈路和轉(zhuǎn)發(fā)路徑；拓?fù)?采用了四邊形連接方式，從匯聚層到核心層沒有冗余鏈路，當(dāng)主鏈路發(fā)生故障時，需要通過路由協(xié)議計算獲得從匯聚到核心的冗余路徑。所以，三角形拓?fù)涞墓收鲜諗繒r間較短，但要占用更多的設(shè)備端口。圖7數(shù)據(jù)中心核心匯聚組網(wǎng)設(shè)計在采用模塊化、層次化設(shè)計之后，數(shù)據(jù)中心內(nèi)部各分區(qū)與核心交換區(qū)的路由將會大大簡化，針對拓?fù)?的組網(wǎng)方式，可進行IRF2橫向整合，對匯聚層、核心層的雙機設(shè)備進行虛擬化，實現(xiàn)跨設(shè)備鏈路捆綁實現(xiàn)匯聚層上行到核心層的多鏈路負(fù)載分擔(dān)與備份，在此基礎(chǔ)之上，核心層與匯聚層僅需要一個VLAN三層接口互聯(lián)，直接在此VLAN三層接口上部署靜態(tài)路由，簡化數(shù)據(jù)中心內(nèi)部的協(xié)議部署。此方式將簡化后續(xù)運維的復(fù)雜度，但對于數(shù)據(jù)中心外聯(lián)模塊，由于外部路由相對較復(fù)雜，可部署OSPF動態(tài)路由，提高路由選擇的靈活性。數(shù)據(jù)中心總體路由結(jié)構(gòu)如圖8所示。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第10頁。圖8數(shù)據(jù)中心總體路由結(jié)構(gòu)圖數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第10頁。2)快速檢測與切換為了減小設(shè)備故障對數(shù)據(jù)中心業(yè)務(wù)的影響、提高網(wǎng)絡(luò)的可用性，設(shè)備需要能夠盡快檢測到與相鄰設(shè)備間的通信故障，以便能夠及時采取措施，從而保證業(yè)務(wù)繼續(xù)進行。通常情況下，路由協(xié)議中的Hello報文機制檢測到故障所需的時間為秒級，在這時間內(nèi)會導(dǎo)致數(shù)據(jù)中心內(nèi)部Gbps速率級高速數(shù)據(jù)傳輸?shù)拇罅繑?shù)據(jù)丟失。BFD（BidirectionalForwardingDetection，雙向轉(zhuǎn)發(fā)檢測）在此背景之下產(chǎn)生。它是一套全網(wǎng)統(tǒng)一的檢測機制，用于快速檢測、監(jiān)控網(wǎng)絡(luò)中鏈路或者IP路由的轉(zhuǎn)發(fā)連通狀況，保證鄰居之間能夠快速檢測到通信故障，50ms內(nèi)建立起備用通道恢復(fù)通信。BFD檢測可部署在廣域/域城出口模塊，如圖9所示。數(shù)據(jù)中心核心層與外聯(lián)模塊（廣域區(qū)、城域區(qū)）之前運行OSPF動態(tài)路由協(xié)議，并在核心層交換機上配置BFD與OSPF路由聯(lián)動。廣域、城域路由設(shè)備或鏈路出現(xiàn)故障時，核心交換機快速感知，并通告OSPF進行快速收斂，縮短數(shù)據(jù)中心外聯(lián)數(shù)據(jù)故障恢復(fù)時間。圖9數(shù)據(jù)中心BFD部署OSPF使用BFD進行快速故障檢測時，OSPF可以通過Hello報文動態(tài)發(fā)現(xiàn)鄰居，OSPF將鄰居地址通知BFD就開始建立會話。BFD會話建立前處于down狀態(tài)，此時BFD控制報文以不小于1秒的時間間隔周期發(fā)送以減少控制報文流量，直到會話建立以后才會以協(xié)商的時間間隔發(fā)送以實現(xiàn)快速檢測。BFD還可以部署在IRF2虛擬組內(nèi)，快速檢測出IRF分裂，提高IRF虛擬化部署的可用性。3)不間斷轉(zhuǎn)發(fā)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第11頁。在部署了動態(tài)路由協(xié)議的數(shù)據(jù)中心網(wǎng)絡(luò)中，若設(shè)備進行主備切換時，將會導(dǎo)致它與鄰居關(guān)系出現(xiàn)震蕩。這種鄰居關(guān)系的震蕩將最終導(dǎo)致路由協(xié)議的震蕩與重新計算收斂，使得主備切換路由器在一段時間內(nèi)出現(xiàn)路由黑洞或者導(dǎo)致鄰居將數(shù)據(jù)業(yè)務(wù)進行旁路，進而會導(dǎo)致業(yè)務(wù)出現(xiàn)暫時中斷。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第11頁。為了實現(xiàn)不間斷轉(zhuǎn)發(fā)，設(shè)備本身需要支持?jǐn)?shù)據(jù)轉(zhuǎn)發(fā)與控制分離，支持雙主控設(shè)計；同時需要部分保存協(xié)議的狀態(tài)（控制平面），并借助鄰居設(shè)備的幫助，實現(xiàn)發(fā)生主備切換時控制平面的會話連接不重置、轉(zhuǎn)發(fā)不中斷的目的。其相應(yīng)的技術(shù)為路由協(xié)議的GracefulRestart（平滑重啟）擴展，簡稱GR。GR機制的核心在于：當(dāng)某設(shè)備的路由協(xié)議重啟時，能夠通知周邊設(shè)備在一定時間內(nèi)將到該設(shè)備的鄰居關(guān)系和路由保持穩(wěn)定。該設(shè)備路由協(xié)議重啟完畢后，周邊設(shè)備協(xié)助其進行路由信息同步，使其各種路由信息在盡量短的時間內(nèi)恢復(fù)到重啟前的狀態(tài)。在整個協(xié)議重啟過程中，網(wǎng)絡(luò)路由和轉(zhuǎn)發(fā)保持高度穩(wěn)定，報文轉(zhuǎn)發(fā)路徑也沒有任何改變，整個系統(tǒng)可以不間斷地轉(zhuǎn)發(fā)IP報文。在數(shù)據(jù)中心OSPF動態(tài)路由部署的區(qū)域（廣域、外聯(lián)、園區(qū)、互聯(lián)網(wǎng)等）中，一般按照如圖10所示的組網(wǎng)結(jié)構(gòu)部署GR。圖10數(shù)據(jù)中心GR部署使用GR保證網(wǎng)絡(luò)中的核心層節(jié)點和廣域出口節(jié)點在出現(xiàn)協(xié)議重啟時的轉(zhuǎn)發(fā)業(yè)務(wù)不中斷，避免出現(xiàn)不必要的路由振蕩。核心層節(jié)點和廣域出口節(jié)點作為GRRestarter（同時缺省也作為GRHelper），分支節(jié)點作為GRHelper。這樣當(dāng)廣域出口節(jié)點發(fā)生主備切換或重啟OSPF進程時，核心節(jié)點可以作為GRHelper協(xié)助其進行LSDB重同步，并且保持轉(zhuǎn)發(fā)不中斷；當(dāng)核心層節(jié)點發(fā)生主備切換或重啟OSPF進程時，廣域出口節(jié)點和分支節(jié)點都可以作為GRHelper協(xié)助其進行LSDB重同步，并且保持轉(zhuǎn)發(fā)不中斷。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第12頁。應(yīng)用層(L4～L7)高可用設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第12頁。在數(shù)據(jù)中心網(wǎng)絡(luò)層面實現(xiàn)L4～L7層的高可用，可采用負(fù)載均衡的方案。L4～L7層負(fù)載均衡一方面可以提高服務(wù)器的響應(yīng)能力和鏈路的帶寬利用率，另一方面可以保證單臺服務(wù)器或單條鏈路出現(xiàn)故障后，業(yè)務(wù)數(shù)據(jù)無縫分?jǐn)偟狡渌?wù)器和鏈路，從而實現(xiàn)數(shù)據(jù)中心的高可用。1)鏈路負(fù)載均衡（LLB）鏈路負(fù)載均衡常部署在數(shù)據(jù)中心的廣域接入?yún)^(qū)和互聯(lián)網(wǎng)接入?yún)^(qū)，通過靜態(tài)表項匹配及動態(tài)鏈路檢測，對多條鏈路狀態(tài)進行實時的探測和監(jiān)控,確保流量以最合理及快速的方式分發(fā)到不同鏈路上，實現(xiàn)業(yè)務(wù)的高效傳輸。對于數(shù)據(jù)中心廣域接入?yún)^(qū)，由于廣域網(wǎng)出口流量仍然是企業(yè)內(nèi)網(wǎng)數(shù)據(jù)流，在L4層一般可通過IP報文的五元組特征區(qū)分出不同的業(yè)務(wù)流，因此可直接在路由器上通過分層CAR、跨端口的流量轉(zhuǎn)發(fā)實現(xiàn)負(fù)載分擔(dān)、關(guān)鍵業(yè)務(wù)帶寬保證、廣域鏈路捆綁。無需專門的LB設(shè)備。如圖11所示。流量控制要求如下：基本業(yè)務(wù)分流：生產(chǎn)業(yè)務(wù)走主鏈路，辦公和視頻業(yè)務(wù)走備用鏈路。超負(fù)荷流量調(diào)度：無論主備鏈路，超負(fù)荷流量走對方鏈路；備用鏈路視頻業(yè)務(wù)不要進行超負(fù)荷流量分擔(dān)；縱向出口進行多業(yè)務(wù)QoS調(diào)度。設(shè)計實現(xiàn)基本業(yè)務(wù)分流：通過OSPFCOST設(shè)計，生產(chǎn)業(yè)務(wù)默認(rèn)走主鏈路轉(zhuǎn)發(fā)，對辦公和視頻業(yè)務(wù)采用策略路由走備鏈路。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第13頁。超負(fù)荷流量調(diào)度：以備鏈路為例，需要在數(shù)據(jù)中心廣域網(wǎng)的入口進行流量監(jiān)管CAR，超過10M的流量結(jié)合策略路由調(diào)度到左側(cè)路由器。為保證視頻流量不會被調(diào)度到左側(cè)路由器，必須采用分層CAR實現(xiàn)。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第13頁。圖11路由器分層CAR技術(shù)實現(xiàn)鏈路負(fù)載分擔(dān)對于Internet出口鏈路負(fù)載均衡，由于內(nèi)網(wǎng)用戶訪問的數(shù)據(jù)流不固定，特征復(fù)雜，很難在L4層區(qū)分出不同的業(yè)務(wù)流，因此需要部署專門的負(fù)載均衡設(shè)備實現(xiàn)多運營商出口的鏈路負(fù)載均衡。并啟用Inbound和Outbound兩個方向的負(fù)載均衡，一方面滿足企業(yè)內(nèi)網(wǎng)用戶或服務(wù)器訪問外部Internet站點的流量分擔(dān)；另一方面滿足外網(wǎng)用戶通過Internet訪問企業(yè)公共服務(wù)（如網(wǎng)站、FTP等）的流量分擔(dān)。如圖12所示圖12Outbound鏈路負(fù)載均衡數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第14頁。用戶將訪問外網(wǎng)的報文發(fā)送到LB負(fù)載均衡設(shè)備后，負(fù)載均衡設(shè)備根據(jù)就近性算法和調(diào)度策略，將內(nèi)網(wǎng)訪問外網(wǎng)的業(yè)務(wù)流量分別分發(fā)給相應(yīng)的鏈路。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策全文共16頁，當(dāng)前為第14頁。圖13Inbound鏈路負(fù)載均衡負(fù)載均衡設(shè)備作為權(quán)威名稱服務(wù)器記錄域名與內(nèi)網(wǎng)服務(wù)器IP地址的映射關(guān)系。一個域名可以映射為多個IP地址，其中每個IP地址對應(yīng)一條物理鏈路。外網(wǎng)用戶通過域名方式訪問內(nèi)網(wǎng)服務(wù)器時，本地DNS服務(wù)器將域名解析請求轉(zhuǎn)發(fā)給權(quán)威DNS服務(wù)器——LLB負(fù)載均衡設(shè)備，負(fù)載均衡設(shè)備依次根據(jù)持續(xù)性功能、ACL策略、就近性算法選擇最佳的物理鏈路，并將通過該鏈路與外網(wǎng)連接的接口IP地址作為DNS域名解析結(jié)果反饋給外網(wǎng)用戶，外網(wǎng)用戶通過該鏈路訪問內(nèi)網(wǎng)服務(wù)器。2)服務(wù)器負(fù)載均衡（