分布式Network Overlay網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)指南

1、分布式Network Overlay網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)指南技術(shù)創(chuàng)新，變革未來(lái)Overlay網(wǎng)絡(luò)概述Overlay網(wǎng)絡(luò)定義：通過(guò)在現(xiàn)有物理承載網(wǎng)絡(luò)(underlay網(wǎng)絡(luò))上定義一個(gè)的邏輯網(wǎng)絡(luò)，數(shù)據(jù)中心網(wǎng)絡(luò)通常采用VXLAN EVPN實(shí)現(xiàn)Overlay網(wǎng)絡(luò)。Overlay網(wǎng)絡(luò)特點(diǎn)：具有和underlay網(wǎng)絡(luò)相獨(dú)立的轉(zhuǎn)發(fā)平面和控制協(xié)議。對(duì)于連接在NVE之外的設(shè)備(Server、VAS、外部路由器)來(lái)說(shuō)，underlay物理網(wǎng)絡(luò)是透明的。Overlay邊緣設(shè)備Overlay邊緣設(shè)備主機(jī)主機(jī)主機(jī)數(shù)據(jù)平面Payload封裝Overlay控制平面Overlay網(wǎng)絡(luò)（邏輯網(wǎng)絡(luò)）Underlay網(wǎng)絡(luò)（物理網(wǎng)絡(luò)）承載網(wǎng)

2、絡(luò)控制平面集中式Network Overlay和分布式Network Overlay概念示意圖Host Overlay概念示意Hybrid Overlay概念示意Underlay網(wǎng)絡(luò)Overlay網(wǎng)絡(luò)Overlay網(wǎng)絡(luò)架構(gòu)LeafBLSpineLeafPELANBLWANServerNVEL3 GWRRRR控制面：BGP EVPN轉(zhuǎn)發(fā)面：VXLANiMaster NCE-FabricVMVMVMVSwitchVMVMVMVMSR-IOVVMLeafBLSpineLeafPELANBLWANServerNVEL3 GWNVEL3 GWNVEL3 GWOSPF云管平臺(tái)控制器、VMMBM、VM 、P

3、M云平臺(tái)、容器平臺(tái)、分析器Fabric計(jì)算層網(wǎng)絡(luò)層控制層應(yīng)用層控制器、VMMBM、VM 、PM云平臺(tái)、容器平臺(tái)、分析器Fabric計(jì)算層網(wǎng)絡(luò)層控制層應(yīng)用層控制器、VMMBM、VM 、PM云平臺(tái)、容器平臺(tái)、分析器Fabric計(jì)算層網(wǎng)絡(luò)層控制層應(yīng)用層Overlay網(wǎng)絡(luò)組網(wǎng)Border LeafSpine虛擬化服務(wù)器 裸金屬 物理服務(wù)器防火墻負(fù)載均衡器出口PE出口PENVEL3 GWNVEL3 GWNVEL3 GWVXLANSR-IOVService LeafServer LeafSpineOverlay接入SpineSpineTORLeafTORLeafTORLeafBorderLeafSwitc

4、hvSwitchPMSR-IOVEdgeBMvSwitchSR-IOVNVE網(wǎng)關(guān)VMVMVMVMPODPODPODPODInternetLANVAS容器虛擬機(jī)物理機(jī)裸金屬出口網(wǎng)絡(luò)業(yè)務(wù)模型VPC1VPC2VMvRroute1vRoute2Internet公共外部網(wǎng)絡(luò)公共服務(wù)1私有外部網(wǎng)絡(luò)專(zhuān)線(xiàn)1私有外部網(wǎng)絡(luò)公共服務(wù)n私有外部網(wǎng)絡(luò)專(zhuān)線(xiàn)n私有外部網(wǎng)絡(luò)專(zhuān)線(xiàn)網(wǎng)絡(luò)必須SNAT/EIP必須EIP不做SNAT/EIPInternet網(wǎng)絡(luò)VPC1VPC2vRoute1vRoute2Internet公共外部網(wǎng)絡(luò)私網(wǎng)1私有外部網(wǎng)絡(luò)私網(wǎng)n私有外部網(wǎng)絡(luò)私有網(wǎng)絡(luò)SNAT/EIP可選Internet網(wǎng)絡(luò)控制器二次編排實(shí)現(xiàn)控制

5、器二次編排實(shí)現(xiàn)云網(wǎng)一體化FSP場(chǎng)景：一個(gè)VPC同時(shí)支持一個(gè)internet公共外部網(wǎng)絡(luò)和多個(gè)公共服務(wù)外部網(wǎng)絡(luò)和一個(gè)專(zhuān)線(xiàn)外部網(wǎng)絡(luò)多個(gè)專(zhuān)線(xiàn)外部網(wǎng)絡(luò)通過(guò)AC二次編排實(shí)現(xiàn)（虛線(xiàn)所示）internet公共外部網(wǎng)絡(luò)，必須SNAT/EIP，不支持DNAT公共服務(wù)外部網(wǎng)絡(luò)，必須EIP專(zhuān)線(xiàn)外部網(wǎng)絡(luò)不做SNAT/EIP云網(wǎng)一體化開(kāi)源第三方OPS場(chǎng)景：一個(gè)VPC只支持一個(gè)外部網(wǎng)絡(luò)，外部網(wǎng)絡(luò)類(lèi)型是公共類(lèi)型或者私有類(lèi)型一個(gè)VPC需要關(guān)聯(lián)多個(gè)外部網(wǎng)絡(luò)時(shí)通過(guò)AC二次編排實(shí)現(xiàn)，一個(gè)VPC同時(shí)只有一個(gè)公共外部網(wǎng)絡(luò)和多個(gè)私有外部網(wǎng)絡(luò)云網(wǎng)一體化場(chǎng)景，不支持同一VPC的不同外部網(wǎng)絡(luò)部分過(guò)墻部分不過(guò)墻公共服務(wù)網(wǎng)絡(luò)VMVMVMVMVMV

6、MVM出口網(wǎng)絡(luò)業(yè)務(wù)模型網(wǎng)絡(luò)虛擬化：一個(gè)VPC同時(shí)支持一個(gè)公共外部網(wǎng)絡(luò)和多個(gè)私有外部網(wǎng)絡(luò)VPC1VPC2vRoute1vRoute2Internet公共外部網(wǎng)絡(luò)私網(wǎng)1私有外部網(wǎng)絡(luò)私網(wǎng)n私有外部網(wǎng)絡(luò)私有網(wǎng)絡(luò)SNAT/EIP可選Internet網(wǎng)絡(luò)VMVMVMVMOverlay網(wǎng)絡(luò)架構(gòu) Border Leaf擴(kuò)展VRF1DVRBD1Server LeafextVRF1DVRVRF1BorderLeafextVRF1DVRVRF1BorderLeafextVRF1DVRVRF1BorderLeafextVRF1DVRVRF1BorderLeafPEPEPEPEVRF1DVRBD1Server Leaf

7、extVRF1DVRVRF1extVRF1DVRVRF1extVRF1DVRVRF2extVRF1DVRVRF2PEPEPEPEVRF1DVRBD1Server LeafextVRF1DVRVRF1extVRF1DVRVRF1extVRF2DVRVRF1extVRF2DVRVRF1PEPEPEPEVRF2DVRBD2InternetIntranetInternetInternetInternetInternet場(chǎng)景一：現(xiàn)有VPC出口帶寬不夠場(chǎng)景二：大量VPC業(yè)務(wù)導(dǎo)致現(xiàn)有BorderLeaf規(guī)格不足場(chǎng)景三：一個(gè)VPC有多個(gè)出口方案：新增Border Leaf設(shè)備組，將VPC流量通過(guò)ECMP負(fù)載分

8、擔(dān)到多組BL，增加VPC的出口帶寬方案：新增Border Leaf設(shè)備組，不同的VPC業(yè)務(wù)從不同BL走，提升整體數(shù)據(jù)中心的VPC規(guī)格方案：一個(gè)VPC綁定兩個(gè)外部網(wǎng)絡(luò)，每個(gè)外部網(wǎng)絡(luò)綁定到不同的BL（如一個(gè)連公網(wǎng)，一個(gè)連私網(wǎng)）BorderLeafBorderLeafBorderLeafBorderLeafBorderLeafBorderLeafBorderLeafBorderLeaf 虛擬網(wǎng)絡(luò)部署 網(wǎng)絡(luò)業(yè)務(wù)編排 網(wǎng)絡(luò)服務(wù)抽象Overlay網(wǎng)絡(luò)業(yè)務(wù)模型業(yè)務(wù)模型邏輯網(wǎng)絡(luò)物理網(wǎng)絡(luò)WEB1APP1DB1策略1策略2WEB2APP2DB2策略3策略4APP1APP2邏輯網(wǎng)絡(luò)1邏輯網(wǎng)絡(luò)2123Overlay網(wǎng)

9、絡(luò)業(yè)務(wù)模型TenantWeb-vpcApp-vpcDB-vpcLogic Router-1Logic Router-3Logic Router-3Logic Switch-1Logic Switch-2Logic Switch-3Logic Switch-4EPEPEPEPEGP控制器邏輯模型業(yè)務(wù)模型示例每個(gè)子網(wǎng)對(duì)應(yīng)一個(gè)Logic SwitchServiceSystemWebAppDBWeb-subnet-1App-subnet-1DB-Subnet-1DB-Subnet-2VMVMVMVMServiceSystemWeb-subnet-1App-subnet-1DB-Subnet-1DB-S

10、ubnet-2Logic Router-1Logic Router-3Logic Router-3Logic Switch-1Logic Switch-2Logic Switch-3Logic Switch-4LPLPLPLPOverlay網(wǎng)絡(luò)業(yè)務(wù)模型Logical modelLogic RouterLogic PortLogic RouterLogic SFBGP EVPNVXLANVRF1VRF1BDBDVTEPVTEPVM/BMExternal networkExternal VRFVTEPVRF1Server LeafServer LeafExternal-VSysFW多個(gè)租戶(hù)VPC共

11、享該外部網(wǎng)關(guān)Border leaf & Service leafSubnetLogic PortSubIfPhysical modelVSys1VM/BMLogic SwitchEndPortSubIfBDIFBDIFExternal networkExternal GatewayOverlay網(wǎng)絡(luò)業(yè)務(wù)模型-VPC內(nèi)互通 Server Leaf1VRF1DVRBD1VM/BM物理模型BD2VM/BM192.168.1.1/24192.168.2.1/24 Server Leaf2VRF1DVRBD1BD2Logic RouterLogic Port1Logic Switch1Logic Por

12、t3Logic Switch2Logic Port2Logic Port4邏輯模型EndPortEndPortEndPortEndPort Border LeafVRF1DVR12VM/BMVM/BM192.168.1.2/24192.168.2.2/24BGP EVPN11122Overlay網(wǎng)絡(luò)業(yè)務(wù)模型-南北向流量過(guò)墻VPC1Logic RouterLogic PortLogic Switch 1Logic PortLogic Switch nLogic PortLogic Port過(guò)墻場(chǎng)景EndPortEndPortEndPortEndPortLogic SF外部網(wǎng)絡(luò)VPC1Logic

13、RouterLogic PortLogic Switch 1Logic PortLogic Switch nLogic PortLogic Port不過(guò)墻場(chǎng)景EndPortEndPortEndPortEndPort外部網(wǎng)絡(luò)Overlay網(wǎng)絡(luò)業(yè)務(wù)模型-南北向流量 extVRFVRF1VRF1BD1ExtVSysVSys1 extVRFPEServerServer LeafService LeafFWBorder Leaf extVRFVRF1VRF1BD1ExtVSysVSys1PEServerServer LeafFWBorder leaf& Service Leaf extVRFVRF1VR

14、F1BD1PEServerServer LeafBorder LeafBorder Leaf和Service Leaf分設(shè)，過(guò)FWBorder Leaf和Service Leaf合設(shè)，過(guò)FW不過(guò)FW外部網(wǎng)絡(luò) 10.0.0.0/8Server網(wǎng)段 10.1.1.0/24外部網(wǎng)絡(luò) 10.0.0.0/8Server網(wǎng)段 10.1.1.0/24外部網(wǎng)絡(luò) 10.0.0.0/8Server網(wǎng)段 10.1.1.0/24靜態(tài)路由靜態(tài)路由靜態(tài)路由靜態(tài)路由靜態(tài)路由Overlay網(wǎng)絡(luò)業(yè)務(wù)模型-VPC互訪(fǎng)VPC 1Logic RouterLogic FWVPC 2Logic Router邏輯模型物理模型 FWVRF2

15、VRF1VRF2靜態(tài)路由靜態(tài)路由靜態(tài)路由VSys2VSys1VRF1Server LeafServer LeafBorder Leaf&Service Leaf租戶(hù)VPC2Server網(wǎng)段 10.1.2.0/24租戶(hù)VPC1Server網(wǎng)段 10.1.1.0/24Logic Switch2Logic Switch11233Overlay網(wǎng)絡(luò)業(yè)務(wù)模型-VPC互訪(fǎng)VRF1VRF2VRF1VRF2租戶(hù)VPC2Server網(wǎng)段 10.1.2.0/24租戶(hù)VPC 1Server網(wǎng)段 10.1.1.0/24VPC 1Logic RouterVPC 2Logic Router邏輯模型Logic Switch

16、2Logic Switch1物理模型1233ServerLeafBorder LeafServer LeafOverlay網(wǎng)絡(luò)業(yè)務(wù)模型-VPC互訪(fǎng)VPC 1Logic RouterFWVPC 2Logic RouterVPC 3Logic Router FW SL SLSVLVRF1VRF2VRF1VRF2VSys1VSys2 SL SL BLVRF1VRF3VRF1VRF3邏輯模型物理模型VPC 1Logic Router物理模型邏輯模型VPC 1Logic RouterFWVPC 2Logic Router邏輯模型物理模型 SL FW1 SL SVL1BL2VRF1互通VRFVRF1VRF

17、2VSys1VRF2互通VRFOverlay網(wǎng)絡(luò)控制面 單POD EVPN部署方案Server LeafService LeafSpineiBGP EVPNRRRRBorder LeafAS65001Overlay網(wǎng)絡(luò)控制面 多POD EVPN部署方案iBGP EVPNAS65001SpineRR出口POD2SpineRR出口POD1Overlay網(wǎng)絡(luò)控制面 多POD EVPN部署方案iBGP EVPNSpineRR出口POD2SpineRR出口POD1eBGP EVPNiBGP EVPN AS65001iBGP EVPN AS65002Overlay網(wǎng)絡(luò)控制面 多POD EVPN部署方案AS

18、1RRAS1RRRRAS1RRRR單AS，單級(jí)RR單AS，層次化RR多AS，RR之間建EBGP鄰居AS2EBGP鄰居IBGP鄰居部署方案單AS，單級(jí)RR單AS，層級(jí)化RR多AS，RR之間部署EBGP鄰居優(yōu)點(diǎn)配置簡(jiǎn)單，BGP只有一個(gè)層次。配置簡(jiǎn)單，RR的Peer少。每個(gè)DC有獨(dú)立的RR，可靠性好。每個(gè)DC有獨(dú)立的RR，可靠性好。缺點(diǎn)RR的Peer太多?？鏟OD RR反射，時(shí)延可能稍大。一個(gè)POD故障后，另一個(gè)POD存在RR單點(diǎn)故障風(fēng)險(xiǎn)。部署4個(gè)RR則會(huì)增加leaf的內(nèi)存和計(jì)算開(kāi)銷(xiāo)。NA配置稍復(fù)雜，需要配置多個(gè)AS。配置IBGP/EBGP路由傳遞下一跳不變。123優(yōu)選Overlay網(wǎng)絡(luò)轉(zhuǎn)發(fā)面 IPv4單播流量模型 ：VPC內(nèi)部同子網(wǎng)流量，直接由Leaf節(jié)點(diǎn)完成二層轉(zhuǎn)發(fā)和VXLA