2.2.1 HCDCE126 數(shù)據(jù)中心二層網(wǎng)絡(luò)演進(jìn)(鄭志強(qiáng)) ISSUE1.00

HCDCE126--1.00鄭志強(qiáng)/WX2404242016-7-20劉立燦/180730新開(kāi)發(fā)數(shù)據(jù)中心二層網(wǎng)絡(luò)演進(jìn)數(shù)據(jù)中心經(jīng)歷了傳統(tǒng)數(shù)據(jù)中心，分布式數(shù)據(jù)中心，云數(shù)據(jù)中心等的演變，其中虛擬化為數(shù)據(jù)中心大規(guī)模部署以及應(yīng)用集群化提供了強(qiáng)大的支持，而網(wǎng)絡(luò)在發(fā)展中也經(jīng)歷了從傳統(tǒng)三層架構(gòu)到大二層的演變。學(xué)完本課程后，您應(yīng)該能：了解數(shù)據(jù)中心發(fā)展的趨勢(shì)；了解數(shù)據(jù)中心網(wǎng)絡(luò)演進(jìn)的趨勢(shì)；了解不同二層技術(shù)之間的方案對(duì)比；數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢(shì)二層網(wǎng)絡(luò)技術(shù)演進(jìn)大二層網(wǎng)絡(luò)案例數(shù)據(jù)中心演進(jìn):云化和虛擬化DC1DC2DC3傳統(tǒng)DC：資源物理隔離DC1DC2DC3虛擬存儲(chǔ)虛擬計(jì)算虛擬網(wǎng)絡(luò)統(tǒng)一

BSS/OSSvDC1vDC2vDC3vDC4機(jī)架、帶寬出租為主，依賴于人工規(guī)劃和設(shè)計(jì)資源利用率低，費(fèi)用高業(yè)務(wù)擴(kuò)展限制在單個(gè)物理DC，跨DC業(yè)務(wù)租戶自己租光纖/傳輸解決DCaaS(DC-as-a-Service），業(yè)務(wù)自動(dòng)化資源利用率高，費(fèi)用低資源跨DC虛擬擴(kuò)展云虛擬DC：資源虛擬化，與物理位置無(wú)關(guān)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)變革三層二層傳統(tǒng)數(shù)據(jù)中心架構(gòu)三層二層新一代數(shù)據(jù)中心架構(gòu)傳統(tǒng)數(shù)據(jù)中心組網(wǎng)方式，一般二層只到接入或匯聚交換機(jī)，虛擬機(jī)的遷移只能局限一個(gè)二層區(qū)域內(nèi)。如果需要跨二層區(qū)域遷移，需要更改VM的IP地址，應(yīng)用會(huì)中斷。傳統(tǒng)數(shù)據(jù)中心架構(gòu)在云計(jì)算時(shí)代，IDC運(yùn)營(yíng)商為了更充分的利用數(shù)據(jù)中心資源，VM需要更大的遷移范圍；由于服務(wù)器之間存在大量的橫向流量，要求數(shù)據(jù)報(bào)文支持無(wú)阻塞轉(zhuǎn)發(fā)，網(wǎng)絡(luò)鏈路資源得到充分的利用。新一代數(shù)據(jù)中心架構(gòu)PODPOD數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢(shì)STP或CSS+iStack傳統(tǒng)二層技術(shù)不適合構(gòu)建大規(guī)模二層網(wǎng)絡(luò)，通過(guò)VXLAN可以構(gòu)建大二層網(wǎng)絡(luò)，支持扁平化胖樹拓?fù)浣M網(wǎng)方式，鏈路帶寬利用率高。STPAccessLayerAggregationLayerCSS+iStackAccessLayerAggregationLayerVXLANAccessLayerAggregationLayer數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢(shì)二層網(wǎng)絡(luò)技術(shù)演進(jìn)大二層網(wǎng)絡(luò)案例傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)VM如何大范圍遷移虛擬機(jī)遷移必須保持IP地址不變?nèi)绾卧诓煌瑓^(qū)域內(nèi)遷移VM環(huán)路與可靠性破環(huán)方式（一）STP匯聚層核心層接入層…接入設(shè)備機(jī)架式服務(wù)器具備交換模塊的

刀片服務(wù)器…直通模塊/無(wú)交換模塊的刀片服務(wù)器大型機(jī)/高端服務(wù)器破環(huán)方式（二）堆疊分區(qū)1/匯聚區(qū)1業(yè)務(wù)1

主備接入業(yè)務(wù)2

負(fù)載均衡接入業(yè)務(wù)3接入層匯聚層

業(yè)務(wù)層SW2SW3SW4SW5CSS/堆疊線纜SW0SW1Eth-Trunk盒式設(shè)備采用2臺(tái)/一組iStack堆疊，框式設(shè)備采用2臺(tái)/組CSS集群，鏈路采用Eth-Trunk鏈路聚合，形成無(wú)環(huán)以太網(wǎng)。通過(guò)Eth-Trunk鏈路，成員端口間進(jìn)行負(fù)載均衡，鏈路利用率高。破環(huán)方式（三）TrillCoreTORServerGWLayer2Layer3TRILLTRILL與SPB對(duì)比TRILLSPB封裝方式TRILL（有TTL）MacInMac（無(wú)TTL）破環(huán)方式TRILL協(xié)議SPB協(xié)議ECMP和三層IP網(wǎng)絡(luò)類似，支持逐跳ECMPIngress節(jié)點(diǎn)基于流進(jìn)行ECMP，不支持逐跳ECMP組播樹數(shù)目少（二層共享組播樹）多（二層源組播樹）最短路徑轉(zhuǎn)發(fā)支持支持收斂時(shí)間較短（整網(wǎng)收斂幾百ms）較短（整網(wǎng)收斂幾百ms）多租戶支持4K（按照VLAN進(jìn)行隔離），將來(lái)可以演進(jìn)到通過(guò)FineLabel來(lái)隔離租戶，從而可以支持16M租戶支持16M（按照I-SID進(jìn)行隔離）組網(wǎng)成本低低網(wǎng)絡(luò)規(guī)模大大適合組網(wǎng)適合扁平化胖樹組網(wǎng)比較適合扁平化胖樹組網(wǎng)，更適合于IPTV里面點(diǎn)到多點(diǎn)組網(wǎng)方式破環(huán)方式（四）VXLANNVE1NVE5三層網(wǎng)絡(luò)網(wǎng)關(guān)NVE2NVE3NVE4ABCD二層接入VXLAN不同二層技術(shù)對(duì)比傳統(tǒng)二層CSS+iStackTRILLVXLAN封裝方式傳統(tǒng)ETH頭（無(wú)TTL）傳統(tǒng)ETH頭（無(wú)TTL）TRILL（有TTL）MACinUDP（有TTL）破環(huán)方式MSTP協(xié)議管理方式TRILL協(xié)議路由協(xié)議環(huán)路避免+隧道間水平分割ECMP不支持ECMP通過(guò)LAG方式，支持ECMP和三層IP網(wǎng)絡(luò)類似，支持逐跳ECMP完全復(fù)用三層網(wǎng)絡(luò)的ECMP、FRR組播樹數(shù)目NANA少（二層共享組播樹）NA或較少（IP雙向組播）最短路徑轉(zhuǎn)發(fā)不支持支持支持支持收斂時(shí)間長(zhǎng)，而且收斂時(shí)間不穩(wěn)定短較短（整網(wǎng)收斂幾百ms）較短（整網(wǎng)收斂幾百ms）多租戶支持4K（按照VLAN進(jìn)行隔離）4K（按照VLAN進(jìn)行隔離）4K（按照VLAN進(jìn)行隔離），將來(lái)可以演進(jìn)到通過(guò)FineLabel來(lái)隔離租戶，從而可以支持16M租戶最大支持16M（按照VNI進(jìn)行隔離）組網(wǎng)成本低高（框間通信帶寬占用多，而且很難做到無(wú)阻塞）較高，一般要整網(wǎng)設(shè)備支持TRILL低，只需要邊界節(jié)點(diǎn)支持VXLAN，可以延伸到服務(wù)器的vSwitch中網(wǎng)絡(luò)規(guī)模小中等（堆疊節(jié)點(diǎn)數(shù)目受限，而且堆疊框架無(wú)法做到無(wú)阻塞）大大適合組網(wǎng)適合逐級(jí)收斂的組網(wǎng)，不適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合用于SDN（邊界節(jié)點(diǎn)感知，無(wú)縫延伸到vSwitch）大二層-EVN不同技術(shù)發(fā)展STP趨向于園區(qū)網(wǎng)以及小規(guī)模組網(wǎng)堆疊趨向于大中型數(shù)據(jù)中心Trill趨向于大中型數(shù)據(jù)中心VXLAN趨向于大規(guī)模數(shù)據(jù)中心以及云數(shù)據(jù)中心EVN趨向于數(shù)據(jù)中心間互聯(lián)數(shù)據(jù)中心發(fā)展趨勢(shì)二層網(wǎng)絡(luò)技術(shù)演進(jìn)大二層網(wǎng)絡(luò)案例堆疊-政務(wù)案例云平臺(tái)1IPSANFCSANCSS+VS(一虛三)CE12800云平臺(tái)2IPSANFCSAN云平臺(tái)3IPSANFCSAN超算中心電子政務(wù)外網(wǎng)項(xiàng)目方案華為使用CE12800組網(wǎng)，單機(jī)支持64Tbps交換容量，滿足云計(jì)算數(shù)據(jù)中心可持續(xù)發(fā)展需求。通過(guò)匯聚層交換機(jī)CE12800的VS，將三個(gè)子云平臺(tái)的網(wǎng)絡(luò)完全隔離，實(shí)現(xiàn)物理網(wǎng)絡(luò)一張網(wǎng)，邏輯網(wǎng)絡(luò)按需分配。委辦局用戶到委辦局業(yè)務(wù)的南北向流量，通過(guò)交換機(jī)的VPN技術(shù)和防火墻的虛擬防火墻技術(shù)構(gòu)建專屬VPN通道，網(wǎng)絡(luò)隔離，責(zé)任明晰。項(xiàng)目?jī)r(jià)值網(wǎng)絡(luò)分區(qū)、分層、分平面設(shè)計(jì)：安全分區(qū)分域，端到端隔離，分業(yè)務(wù)網(wǎng)絡(luò)平面、管理網(wǎng)絡(luò)平面、存儲(chǔ)網(wǎng)絡(luò)平面，保證業(yè)務(wù)安全可靠；CE12800的高可靠性和大容量，保證網(wǎng)絡(luò)支持業(yè)務(wù)5-8年的發(fā)展周期，保護(hù)了客戶投資項(xiàng)目背景某市子政務(wù)云服務(wù)中心，借助云計(jì)算技術(shù)對(duì)資源的統(tǒng)一管理、按需使用，進(jìn)而節(jié)約一定的信息化建設(shè)資源投入成本，同時(shí)促進(jìn)數(shù)據(jù)和業(yè)務(wù)系統(tǒng)與承載的技術(shù)環(huán)境分離，提高政府信息化項(xiàng)目的整體建設(shè)水平。Trill-大型數(shù)據(jù)中心案例VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM業(yè)務(wù)POD1VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM業(yè)務(wù)POD2業(yè)務(wù)POD16核心區(qū)廣域接入?yún)^(qū)互聯(lián)網(wǎng)互聯(lián)網(wǎng)接入?yún)^(qū)DMZ專網(wǎng)專線接入?yún)^(qū)前置服務(wù)器Anti-DDoS防火墻\IPSSSLVPN防火墻\IPS辦公專網(wǎng)專網(wǎng)接入?yún)^(qū)前置服務(wù)器加油站專網(wǎng)前置服務(wù)器衛(wèi)星專網(wǎng)海外專網(wǎng)…中國(guó)石油廣域網(wǎng)接入?yún)^(qū)匯聚業(yè)務(wù)POD3出口邊界萬(wàn)兆POD二三層分界在匯聚層，匯聚和接入交換機(jī)獨(dú)立部署

接入和匯聚交換機(jī)間部署TRILL組建大二層網(wǎng)絡(luò)千兆POD二三層分界建議在接入層千兆POD后續(xù)如果大規(guī)模部署萬(wàn)兆服務(wù)器實(shí)現(xiàn)云化，可以演進(jìn)TRILL…TRILLTRILLTRILLTrill-企業(yè)多數(shù)據(jù)中心互聯(lián)案例……CE5800CE6800DataCenter……CE5800CE6800S5700OfficeDataCenterCE6800S5700TRILL40GE10GEGEOffice方案本項(xiàng)目使用了2臺(tái)CE12812，6臺(tái)CE6800,35臺(tái)CE5800,24臺(tái)S5700兩個(gè)辦公區(qū)的網(wǎng)絡(luò)核心各部署CE12812，兩地?cái)?shù)據(jù)中心的10GE服務(wù)器接入采用CE6800堆疊，GE服務(wù)器接入采用CE5800堆疊，核心接入間均采用全40GE互聯(lián)。兩地?cái)?shù)據(jù)中心以及辦公區(qū)的CE系列以標(biāo)準(zhǔn)TRILL協(xié)議對(duì)接，實(shí)現(xiàn)大二層網(wǎng)絡(luò)。價(jià)值高速交換：數(shù)據(jù)中心內(nèi)部采用40GE互聯(lián)，使企業(yè)業(yè)務(wù)訪問(wèn)和響應(yīng)速度成倍提升。大二層無(wú)環(huán)網(wǎng)絡(luò)：鏈路投資成本節(jié)省一半，并有效實(shí)現(xiàn)多數(shù)據(jù)中心協(xié)同，提高運(yùn)作效率。背景某企業(yè)隨著業(yè)務(wù)快速發(fā)展，不同數(shù)據(jù)中心需要資源共享，原有架構(gòu)已經(jīng)無(wú)法滿足目前云時(shí)代數(shù)據(jù)中心需要；網(wǎng)絡(luò)升級(jí)要求：更快速的交換能力、支持大二層TRILL技術(shù)VXLAN-企業(yè)案例CSSiStackiStackiStackBladeChassisBladenBlade1BladeSwitchBladeswitchPEUSG9500spineLeafFirewallCE12800CE6800-HI40G10GNE40ECE7800VXLANFabric網(wǎng)絡(luò)采用SPINE-LEAF架構(gòu)，支持網(wǎng)絡(luò)規(guī)模按需擴(kuò)展SPINE-LEAF上部署VXLAN，采用VXLAN技術(shù)可以方便實(shí)現(xiàn)跨POD，跨數(shù)據(jù)中心的業(yè)務(wù)業(yè)務(wù)遷移網(wǎng)關(guān)部署在SPINE節(jié)點(diǎn)，防火墻采用旁掛，支持小規(guī)模業(yè)務(wù)上線，方便管理和維護(hù)VTEP配置在Leaf節(jié)點(diǎn)上，可以支持多虛擬化廠商接入VXLAN-互聯(lián)網(wǎng)案例LeafLeafVMVMvSwithVMVMvSwitchServerSAN/IPSANLeafSpineVTEPVTEPSpineinternetVTEPVTEPLeafManageOneServiceLeafServerLeafVTEP物理網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)Underlay網(wǎng)絡(luò)采用Spine-Leaf架構(gòu)，靈活擴(kuò)展服務(wù)器和增值業(yè)務(wù)組網(wǎng)規(guī)模，Leaf層接入計(jì)算（物理服務(wù)/虛擬服務(wù)器）、存儲(chǔ)業(yè)務(wù)、增值業(yè)務(wù)、管理網(wǎng)。VxLANOverlay網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)Overlay網(wǎng)絡(luò)使用VXLAN構(gòu)建大二層，VTEP部署在Leaf交換機(jī)。VxLANL3網(wǎng)關(guān)采用硬件集中式，一個(gè)Fabirc可部署多組網(wǎng)關(guān)，支持業(yè)務(wù)的擴(kuò)展，部署Service-Leaf便于安全業(yè)務(wù)的擴(kuò)展，VxLAN網(wǎng)關(guān)同時(shí)連接外部網(wǎng)絡(luò)。VxLAN網(wǎng)關(guān)物理服務(wù)器虛擬服務(wù)器交換層網(wǎng)關(guān)層管理/控制節(jié)點(diǎn)廣域網(wǎng)專線接入廣域網(wǎng)出口路由器互聯(lián)網(wǎng)出口路由器VXLAN域LeafVXLAN-企業(yè)案例NE40E-X16WANDC-CORE核心模塊AZ3/4CE5850HIAZ1BMC管理VXLANGW10G40G40GCE12816-MCEVMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲(chǔ)/業(yè)務(wù)管理VMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲(chǔ)/業(yè)務(wù)管理E8000EE8000EE1000EE1000E控制平面VlanGWCE12808CE6850HICE5850HIAZ2BMC管理VXLANGW10G40G40GCE12816-MCEVMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲(chǔ)/業(yè)務(wù)管理VMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲(chǔ)/業(yè)務(wù)管理10GE8000EE8000E控制平面CE12808E1000EE1000EVlanGWCE6850HINASCE1280840GCE6850HICE12808級(jí)聯(lián)OpenStack物理網(wǎng)絡(luò)部署：1、單獨(dú)的物理設(shè)施（POD）形成一個(gè)可用區(qū)（AvailableZone）。2、多個(gè)AZ組成一個(gè)Region，統(tǒng)一對(duì)外提供服務(wù)。3、每個(gè)AZ內(nèi)部署業(yè)務(wù)平面，控制平面（AC