2.2.1 HCDCE126 數(shù)據(jù)中心二層網(wǎng)絡(luò)演進(鄭志強) ISSUE1.00

HCDCE126--1.00鄭志強/WX2404242016-7-20劉立燦/180730新開發(fā)數(shù)據(jù)中心二層網(wǎng)絡(luò)演進數(shù)據(jù)中心經(jīng)歷了傳統(tǒng)數(shù)據(jù)中心，分布式數(shù)據(jù)中心，云數(shù)據(jù)中心等的演變，其中虛擬化為數(shù)據(jù)中心大規(guī)模部署以及應(yīng)用集群化提供了強大的支持，而網(wǎng)絡(luò)在發(fā)展中也經(jīng)歷了從傳統(tǒng)三層架構(gòu)到大二層的演變。學完本課程后，您應(yīng)該能：了解數(shù)據(jù)中心發(fā)展的趨勢；了解數(shù)據(jù)中心網(wǎng)絡(luò)演進的趨勢；了解不同二層技術(shù)之間的方案對比；數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢二層網(wǎng)絡(luò)技術(shù)演進大二層網(wǎng)絡(luò)案例數(shù)據(jù)中心演進:云化和虛擬化DC1DC2DC3傳統(tǒng)DC：資源物理隔離DC1DC2DC3虛擬存儲虛擬計算虛擬網(wǎng)絡(luò)統(tǒng)一

BSS/OSSvDC1vDC2vDC3vDC4機架、帶寬出租為主，依賴于人工規(guī)劃和設(shè)計資源利用率低，費用高業(yè)務(wù)擴展限制在單個物理DC，跨DC業(yè)務(wù)租戶自己租光纖/傳輸解決DCaaS(DC-as-a-Service），業(yè)務(wù)自動化資源利用率高，費用低資源跨DC虛擬擴展云虛擬DC：資源虛擬化，與物理位置無關(guān)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)變革三層二層傳統(tǒng)數(shù)據(jù)中心架構(gòu)三層二層新一代數(shù)據(jù)中心架構(gòu)傳統(tǒng)數(shù)據(jù)中心組網(wǎng)方式，一般二層只到接入或匯聚交換機，虛擬機的遷移只能局限一個二層區(qū)域內(nèi)。如果需要跨二層區(qū)域遷移，需要更改VM的IP地址，應(yīng)用會中斷。傳統(tǒng)數(shù)據(jù)中心架構(gòu)在云計算時代，IDC運營商為了更充分的利用數(shù)據(jù)中心資源，VM需要更大的遷移范圍；由于服務(wù)器之間存在大量的橫向流量，要求數(shù)據(jù)報文支持無阻塞轉(zhuǎn)發(fā)，網(wǎng)絡(luò)鏈路資源得到充分的利用。新一代數(shù)據(jù)中心架構(gòu)PODPOD數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢STP或CSS+iStack傳統(tǒng)二層技術(shù)不適合構(gòu)建大規(guī)模二層網(wǎng)絡(luò)，通過VXLAN可以構(gòu)建大二層網(wǎng)絡(luò)，支持扁平化胖樹拓撲組網(wǎng)方式，鏈路帶寬利用率高。STPAccessLayerAggregationLayerCSS+iStackAccessLayerAggregationLayerVXLANAccessLayerAggregationLayer數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展趨勢二層網(wǎng)絡(luò)技術(shù)演進大二層網(wǎng)絡(luò)案例傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)VM如何大范圍遷移虛擬機遷移必須保持IP地址不變?nèi)绾卧诓煌瑓^(qū)域內(nèi)遷移VM環(huán)路與可靠性破環(huán)方式（一）STP匯聚層核心層接入層…接入設(shè)備機架式服務(wù)器具備交換模塊的

刀片服務(wù)器…直通模塊/無交換模塊的刀片服務(wù)器大型機/高端服務(wù)器破環(huán)方式（二）堆疊分區(qū)1/匯聚區(qū)1業(yè)務(wù)1

主備接入業(yè)務(wù)2

負載均衡接入業(yè)務(wù)3接入層匯聚層

業(yè)務(wù)層SW2SW3SW4SW5CSS/堆疊線纜SW0SW1Eth-Trunk盒式設(shè)備采用2臺/一組iStack堆疊，框式設(shè)備采用2臺/組CSS集群，鏈路采用Eth-Trunk鏈路聚合，形成無環(huán)以太網(wǎng)。通過Eth-Trunk鏈路，成員端口間進行負載均衡，鏈路利用率高。破環(huán)方式（三）TrillCoreTORServerGWLayer2Layer3TRILLTRILL與SPB對比TRILLSPB封裝方式TRILL（有TTL）MacInMac（無TTL）破環(huán)方式TRILL協(xié)議SPB協(xié)議ECMP和三層IP網(wǎng)絡(luò)類似，支持逐跳ECMPIngress節(jié)點基于流進行ECMP，不支持逐跳ECMP組播樹數(shù)目少（二層共享組播樹）多（二層源組播樹）最短路徑轉(zhuǎn)發(fā)支持支持收斂時間較短（整網(wǎng)收斂幾百ms）較短（整網(wǎng)收斂幾百ms）多租戶支持4K（按照VLAN進行隔離），將來可以演進到通過FineLabel來隔離租戶，從而可以支持16M租戶支持16M（按照I-SID進行隔離）組網(wǎng)成本低低網(wǎng)絡(luò)規(guī)模大大適合組網(wǎng)適合扁平化胖樹組網(wǎng)比較適合扁平化胖樹組網(wǎng)，更適合于IPTV里面點到多點組網(wǎng)方式破環(huán)方式（四）VXLANNVE1NVE5三層網(wǎng)絡(luò)網(wǎng)關(guān)NVE2NVE3NVE4ABCD二層接入VXLAN不同二層技術(shù)對比傳統(tǒng)二層CSS+iStackTRILLVXLAN封裝方式傳統(tǒng)ETH頭（無TTL）傳統(tǒng)ETH頭（無TTL）TRILL（有TTL）MACinUDP（有TTL）破環(huán)方式MSTP協(xié)議管理方式TRILL協(xié)議路由協(xié)議環(huán)路避免+隧道間水平分割ECMP不支持ECMP通過LAG方式，支持ECMP和三層IP網(wǎng)絡(luò)類似，支持逐跳ECMP完全復(fù)用三層網(wǎng)絡(luò)的ECMP、FRR組播樹數(shù)目NANA少（二層共享組播樹）NA或較少（IP雙向組播）最短路徑轉(zhuǎn)發(fā)不支持支持支持支持收斂時間長，而且收斂時間不穩(wěn)定短較短（整網(wǎng)收斂幾百ms）較短（整網(wǎng)收斂幾百ms）多租戶支持4K（按照VLAN進行隔離）4K（按照VLAN進行隔離）4K（按照VLAN進行隔離），將來可以演進到通過FineLabel來隔離租戶，從而可以支持16M租戶最大支持16M（按照VNI進行隔離）組網(wǎng)成本低高（框間通信帶寬占用多，而且很難做到無阻塞）較高，一般要整網(wǎng)設(shè)備支持TRILL低，只需要邊界節(jié)點支持VXLAN，可以延伸到服務(wù)器的vSwitch中網(wǎng)絡(luò)規(guī)模小中等（堆疊節(jié)點數(shù)目受限，而且堆疊框架無法做到無阻塞）大大適合組網(wǎng)適合逐級收斂的組網(wǎng)，不適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合扁平化胖樹組網(wǎng)適合用于SDN（邊界節(jié)點感知，無縫延伸到vSwitch）大二層-EVN不同技術(shù)發(fā)展STP趨向于園區(qū)網(wǎng)以及小規(guī)模組網(wǎng)堆疊趨向于大中型數(shù)據(jù)中心Trill趨向于大中型數(shù)據(jù)中心VXLAN趨向于大規(guī)模數(shù)據(jù)中心以及云數(shù)據(jù)中心EVN趨向于數(shù)據(jù)中心間互聯(lián)數(shù)據(jù)中心發(fā)展趨勢二層網(wǎng)絡(luò)技術(shù)演進大二層網(wǎng)絡(luò)案例堆疊-政務(wù)案例云平臺1IPSANFCSANCSS+VS(一虛三)CE12800云平臺2IPSANFCSAN云平臺3IPSANFCSAN超算中心電子政務(wù)外網(wǎng)項目方案華為使用CE12800組網(wǎng)，單機支持64Tbps交換容量，滿足云計算數(shù)據(jù)中心可持續(xù)發(fā)展需求。通過匯聚層交換機CE12800的VS，將三個子云平臺的網(wǎng)絡(luò)完全隔離，實現(xiàn)物理網(wǎng)絡(luò)一張網(wǎng)，邏輯網(wǎng)絡(luò)按需分配。委辦局用戶到委辦局業(yè)務(wù)的南北向流量，通過交換機的VPN技術(shù)和防火墻的虛擬防火墻技術(shù)構(gòu)建專屬VPN通道，網(wǎng)絡(luò)隔離，責任明晰。項目價值網(wǎng)絡(luò)分區(qū)、分層、分平面設(shè)計：安全分區(qū)分域，端到端隔離，分業(yè)務(wù)網(wǎng)絡(luò)平面、管理網(wǎng)絡(luò)平面、存儲網(wǎng)絡(luò)平面，保證業(yè)務(wù)安全可靠；CE12800的高可靠性和大容量，保證網(wǎng)絡(luò)支持業(yè)務(wù)5-8年的發(fā)展周期，保護了客戶投資項目背景某市子政務(wù)云服務(wù)中心，借助云計算技術(shù)對資源的統(tǒng)一管理、按需使用，進而節(jié)約一定的信息化建設(shè)資源投入成本，同時促進數(shù)據(jù)和業(yè)務(wù)系統(tǒng)與承載的技術(shù)環(huán)境分離，提高政府信息化項目的整體建設(shè)水平。Trill-大型數(shù)據(jù)中心案例VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM業(yè)務(wù)POD1VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM業(yè)務(wù)POD2業(yè)務(wù)POD16核心區(qū)廣域接入?yún)^(qū)互聯(lián)網(wǎng)互聯(lián)網(wǎng)接入?yún)^(qū)DMZ專網(wǎng)專線接入?yún)^(qū)前置服務(wù)器Anti-DDoS防火墻\IPSSSLVPN防火墻\IPS辦公專網(wǎng)專網(wǎng)接入?yún)^(qū)前置服務(wù)器加油站專網(wǎng)前置服務(wù)器衛(wèi)星專網(wǎng)海外專網(wǎng)…中國石油廣域網(wǎng)接入?yún)^(qū)匯聚業(yè)務(wù)POD3出口邊界萬兆POD二三層分界在匯聚層，匯聚和接入交換機獨立部署

接入和匯聚交換機間部署TRILL組建大二層網(wǎng)絡(luò)千兆POD二三層分界建議在接入層千兆POD后續(xù)如果大規(guī)模部署萬兆服務(wù)器實現(xiàn)云化，可以演進TRILL…TRILLTRILLTRILLTrill-企業(yè)多數(shù)據(jù)中心互聯(lián)案例……CE5800CE6800DataCenter……CE5800CE6800S5700OfficeDataCenterCE6800S5700TRILL40GE10GEGEOffice方案本項目使用了2臺CE12812，6臺CE6800,35臺CE5800,24臺S5700兩個辦公區(qū)的網(wǎng)絡(luò)核心各部署CE12812，兩地數(shù)據(jù)中心的10GE服務(wù)器接入采用CE6800堆疊，GE服務(wù)器接入采用CE5800堆疊，核心接入間均采用全40GE互聯(lián)。兩地數(shù)據(jù)中心以及辦公區(qū)的CE系列以標準TRILL協(xié)議對接，實現(xiàn)大二層網(wǎng)絡(luò)。價值高速交換：數(shù)據(jù)中心內(nèi)部采用40GE互聯(lián)，使企業(yè)業(yè)務(wù)訪問和響應(yīng)速度成倍提升。大二層無環(huán)網(wǎng)絡(luò)：鏈路投資成本節(jié)省一半，并有效實現(xiàn)多數(shù)據(jù)中心協(xié)同，提高運作效率。背景某企業(yè)隨著業(yè)務(wù)快速發(fā)展，不同數(shù)據(jù)中心需要資源共享，原有架構(gòu)已經(jīng)無法滿足目前云時代數(shù)據(jù)中心需要；網(wǎng)絡(luò)升級要求：更快速的交換能力、支持大二層TRILL技術(shù)VXLAN-企業(yè)案例CSSiStackiStackiStackBladeChassisBladenBlade1BladeSwitchBladeswitchPEUSG9500spineLeafFirewallCE12800CE6800-HI40G10GNE40ECE7800VXLANFabric網(wǎng)絡(luò)采用SPINE-LEAF架構(gòu)，支持網(wǎng)絡(luò)規(guī)模按需擴展SPINE-LEAF上部署VXLAN，采用VXLAN技術(shù)可以方便實現(xiàn)跨POD，跨數(shù)據(jù)中心的業(yè)務(wù)業(yè)務(wù)遷移網(wǎng)關(guān)部署在SPINE節(jié)點，防火墻采用旁掛，支持小規(guī)模業(yè)務(wù)上線，方便管理和維護VTEP配置在Leaf節(jié)點上，可以支持多虛擬化廠商接入VXLAN-互聯(lián)網(wǎng)案例LeafLeafVMVMvSwithVMVMvSwitchServerSAN/IPSANLeafSpineVTEPVTEPSpineinternetVTEPVTEPLeafManageOneServiceLeafServerLeafVTEP物理網(wǎng)絡(luò)架構(gòu)設(shè)計Underlay網(wǎng)絡(luò)采用Spine-Leaf架構(gòu)，靈活擴展服務(wù)器和增值業(yè)務(wù)組網(wǎng)規(guī)模，Leaf層接入計算（物理服務(wù)/虛擬服務(wù)器）、存儲業(yè)務(wù)、增值業(yè)務(wù)、管理網(wǎng)。VxLANOverlay網(wǎng)絡(luò)架構(gòu)設(shè)計Overlay網(wǎng)絡(luò)使用VXLAN構(gòu)建大二層，VTEP部署在Leaf交換機。VxLANL3網(wǎng)關(guān)采用硬件集中式，一個Fabirc可部署多組網(wǎng)關(guān)，支持業(yè)務(wù)的擴展，部署Service-Leaf便于安全業(yè)務(wù)的擴展，VxLAN網(wǎng)關(guān)同時連接外部網(wǎng)絡(luò)。VxLAN網(wǎng)關(guān)物理服務(wù)器虛擬服務(wù)器交換層網(wǎng)關(guān)層管理/控制節(jié)點廣域網(wǎng)專線接入廣域網(wǎng)出口路由器互聯(lián)網(wǎng)出口路由器VXLAN域LeafVXLAN-企業(yè)案例NE40E-X16WANDC-CORE核心模塊AZ3/4CE5850HIAZ1BMC管理VXLANGW10G40G40GCE12816-MCEVMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲/業(yè)務(wù)管理VMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲/業(yè)務(wù)管理E8000EE8000EE1000EE1000E控制平面VlanGWCE12808CE6850HICE5850HIAZ2BMC管理VXLANGW10G40G40GCE12816-MCEVMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲/業(yè)務(wù)管理VMVMvSwitch10GCE6850HI業(yè)務(wù)/存儲/業(yè)務(wù)管理10GE8000EE8000E控制平面CE12808E1000EE1000EVlanGWCE6850HINASCE1280840GCE6850HICE12808級聯(lián)OpenStack物理網(wǎng)絡(luò)部署：1、單獨的物理設(shè)施（POD）形成一個可用區(qū)（AvailableZone）。2、多個AZ組成一個Region，統(tǒng)一對外提供服務(wù)。3、每個AZ內(nèi)部署業(yè)務(wù)平面，控制平面（AC