VXLAN EVPN特性介紹及維護(hù)指導(dǎo)

1、VXLAN EVPN特性介紹及維護(hù)指導(dǎo)1.2目錄VXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)2.2022/9/11VXLAN概述數(shù)據(jù)中心發(fā)展趨勢(shì)三層二層傳統(tǒng)數(shù)據(jù)中心架構(gòu)三層二層新一代數(shù)據(jù)中心架構(gòu)傳統(tǒng)數(shù)據(jù)中心組網(wǎng)方式，一般二層只到接入或匯聚交換機(jī)，虛擬機(jī)的遷移只能局限一個(gè)二層區(qū)域內(nèi)。如果需要跨二層區(qū)域遷移，需要更改VM的IP地址，應(yīng)用會(huì)中斷。傳統(tǒng)數(shù)據(jù)中心架構(gòu)在云計(jì)算時(shí)代，IDC運(yùn)營(yíng)商為了更充分的利用數(shù)據(jù)中心資源，VM需要更大的遷移范圍；由于服務(wù)器之間存在大量的橫向流量，要求數(shù)據(jù)報(bào)文支持無阻塞轉(zhuǎn)發(fā)，網(wǎng)絡(luò)鏈路資源得到充分的利用。新一代數(shù)據(jù)中心架構(gòu)P

2、ODPOD3.2022/9/11VXLAN概述數(shù)據(jù)中心發(fā)展趨勢(shì)STP或CSS+iStack傳統(tǒng)二層技術(shù)不適合構(gòu)建大規(guī)模二層網(wǎng)絡(luò)， 通過VXLAN可以構(gòu)建大二層網(wǎng)絡(luò)，支持扁平化胖樹拓?fù)浣M網(wǎng)方式，鏈路帶寬利用率高。STP Access LayerAggregation LayerCSS+iStack Access LayerAggregation LayerVXLANAccess LayerAggregation Layer4.VXLAN概述VXLAN報(bào)文格式VXLAN報(bào)文格式 DA：外層目的MAC，單播為下一跳路由器MAC，組播復(fù)制為組播MAC。 SA：外層源MAC，為每一跳路由設(shè)備自身MAC。

3、 DIP: 目的NVE的IP地址。 SIP：源NVE的IP地址。 UDP Dest Port：VXLAN保留UDP目的端口號(hào)，默認(rèn)為4789。 UDP Source Port：根據(jù)數(shù)據(jù)流HASH動(dòng)態(tài)生成。 VXLAN I flag：必須置為1，標(biāo)識(shí)VNI字段有效。 VXLAN VNI：24比特，用于標(biāo)識(shí)虛擬網(wǎng)絡(luò)，最大支持16M。 Original Ethernet Frame：按照標(biāo)準(zhǔn)建議，報(bào)文進(jìn)行VXLAN封裝后，需要?jiǎng)兊粼紙?bào)文的VLAN TAG，即使不剝掉，在egress NVE也僅僅基于VNI轉(zhuǎn)發(fā)（忽略原始報(bào)文的VLAN）。5.2022/9/11VXLAN概述VXLAN概念Layer

4、2 or Layer 3NVECoreNVECoreNVEEdgeNVEEdgeNVEEdgeNVO3概念NVO3(Network Virtualization Over Layer 3)，基于三層IP overlay網(wǎng)絡(luò)構(gòu)建虛擬網(wǎng)絡(luò)技術(shù)統(tǒng)稱為NVO3，目前比較有代表性的有：VXLAN、NVGRE、STT。運(yùn)行NVO3的設(shè)備叫做NVE（Network Virtualization Edge），它位于overlay網(wǎng)絡(luò)的邊界，實(shí)現(xiàn)二、三層的虛擬化功能；VXLAN概念VXLAN(Virtual Extensible LAN，虛擬可擴(kuò)展局域網(wǎng))是目前NVO3中影響力最為廣泛的一種。它通過L2 ove

5、r L4（MAC in UDP）的報(bào)文封裝方式，實(shí)現(xiàn)基于IP overlay的虛擬局域網(wǎng)。6.2022/9/11VXLAN概述 VXLAN轉(zhuǎn)發(fā)數(shù)據(jù)封裝As1s2Bs3DataAB逐跳改變外層Mac端到端不變VTEP IPBDataA源終端的二層報(bào)文能夠穿越IP網(wǎng)絡(luò)到達(dá)目的終端，VXLAN網(wǎng)絡(luò)對(duì)于主機(jī)來說相當(dāng)于是Bridge Fabric！內(nèi)層MACVTEP IP外層MACIngress NVETransitEgress NVE傳統(tǒng)以太幀VXLAN以太幀VNIBs1s3s1s2DataAVBs1s3s2s3DataAV7.VXLAN概述VTEP概念VTEP概念 VTEP（VXLAN Tunnel

6、 EndPoint，VXLAN隧道端點(diǎn)） ,VXLAN網(wǎng)絡(luò)中的NVE以VTEP進(jìn)行標(biāo)識(shí)； 每一個(gè)NVE至少有一個(gè)VTEP，VTEP使用NVE的IP地址表示；兩個(gè)VTEP可以確定一條VXLAN隧道，VTEP間的這條VXLAN隧道將被兩個(gè)NVE間的所有VNI所公用；NVE1NVE2VXLAN TunnelNVE3VTEP1:1.1.1.3VTEP1:1.1.1.1VTEP2:1.1.1.2VNI GreenVNI RedVXLAN TunnelVXLAN TunnelVNIVNIVNIVNI虛擬網(wǎng)絡(luò)NVE節(jié)點(diǎn)發(fā)現(xiàn)及隧道建立VXLAN標(biāo)準(zhǔn)中沒有定義NVE節(jié)點(diǎn)發(fā)現(xiàn)協(xié)議；當(dāng)前虛擬網(wǎng)絡(luò)關(guān)聯(lián)的NVE節(jié)點(diǎn)發(fā)現(xiàn)

7、通過控制器配置、命令靜態(tài)指定、BGP EVPN協(xié)議動(dòng)態(tài)觸發(fā)；8.2022/9/11VXLAN概述VXLAN優(yōu)點(diǎn)網(wǎng)絡(luò)依賴小隧道間水平分割、IP overlay TTL避免環(huán)路。數(shù)據(jù)流量基于IP路由 SPF及ECMP快速轉(zhuǎn)發(fā)。網(wǎng)絡(luò)變化實(shí)時(shí)偵聽全網(wǎng)拓?fù)浜撩胧諗俊；贗P的overlay，僅需要邊界設(shè)備間IP可達(dá)。環(huán)路避免高效轉(zhuǎn)發(fā)快速收斂虛擬化Overlay+VNI構(gòu)建虛擬網(wǎng)絡(luò)，支持多達(dá)的虛擬網(wǎng)絡(luò)部署靈活物理設(shè)備、vSwitch均能夠部署9.2022/9/11Diff-Serv信息傳遞A.macB.Mac8021PdataDA SAVTEP 1.IPVTEP 2.IPDSCPUDPVNI 1A.mac

8、B.MacdataNVE1NVE2RouterDA SAVTEP 1.IPVTEP 2.IPDSCPUDPVNI 1A.macB.MacdataA.macB.Mac8021P(NEW)dataVXLAN封裝時(shí)默認(rèn)剝掉原始報(bào)文的VLAN TAG（包括8021P）在ingress NVE，將原始報(bào)文的8021P映射到overlay封裝IP頭中的DSCP；在overlay網(wǎng)絡(luò)中根據(jù)外層IP頭的DSCP進(jìn)行PHB；通過overlay網(wǎng)絡(luò)中根據(jù)外層IP頭將原始報(bào)文的Diff-Serv信息帶到egress NVE；在egress NVE，再根據(jù)overlay封裝IP頭中的DSCP映射到原始報(bào)文的8021P

9、,還原用戶報(bào)文的Diff-Serv信息；10.BD1BD2BD1BD2BD1BD2VLAN 100VLAN 100VLAN 200VLAN 200VXLAN TunnelNVE interface，在此接口下制定設(shè)備的loopback地址為VTEP地址，用于與其他設(shè)備建立VXLAN隧道通過為VNI指定對(duì)端VTEP列表的方式，創(chuàng)建VXLAN同時(shí)將隧道與VNI關(guān)聯(lián)interface Nve1 source 2.2.2.2 vni 10000 head-end 1.1.1.1 3.3.3.3 vni 20000 head-end 1.1.1.1 3.3.3.3interface LoopBack0

10、ip address 2.2.2.2 255.255.255.255interface LoopBack0 ip address 1.1.1.1 255.255.255.255Bridge domain，抽象的廣播域，將VLAN與VNI關(guān)聯(lián)到一起bridge-domain 1 vxlan vni 10000 vlan 100VNI 10000VNI 20000VNI 10000VNI 20000interface LoopBack0 ip address 3.3.3.3 255.255.255.255VNI 10000VNI 20000網(wǎng)關(guān)上的Bridge domain不需要關(guān)聯(lián)VLAN基于B

11、ridge domain創(chuàng)建網(wǎng)關(guān)接口，并配置網(wǎng)關(guān)IP、MACbridge-domain 1 vxlan vni 10000 vlan 100interface Vbdif1 ip address 10.0.0.1 255.255.0.0 mac-address 0000-5e00-0101Vbdif1Vbdif2VM1IP：10.0.0.3VM2IP：10.2.0.3CE VXLAN實(shí)現(xiàn)概況BDIP VPN instance（VRF）Gateway（BDIF）SubInterface（PORT+VLAN）NVE interface（VNI）11.2022/9/11VXLAN數(shù)據(jù)轉(zhuǎn)發(fā)總體流程（同

12、子網(wǎng)）NVE1NVE5三層網(wǎng)絡(luò)網(wǎng)關(guān)NVE2NVE3NVE4ABCDHOST A發(fā)送ARP Request報(bào)文到HOST BHOST B回應(yīng)ARP Reply報(bào)文到HOST A。HOST A發(fā)送單播數(shù)據(jù)報(bào)文到HOST B。注：A、B、C、D都屬于同一VNI 1。不考慮ARP廣播優(yōu)化使能?？傮w流程總體流程二層接入VXLANVTEP1VTEP2VTEP3VTEP4VTEP512.ARP Request轉(zhuǎn)發(fā)流程VNImac出接口1AlocalIP下一跳VTEP1NVE1.互聯(lián)IPVTEP2NVE2.互聯(lián)IPNVE1 mac轉(zhuǎn)發(fā)表NVE 5單播路由NVE1的BUM復(fù)制表ABNVE1NVE5NVE21VN

13、Imac出接口1AVTEP1RB2 mac轉(zhuǎn)發(fā)表學(xué)習(xí)遠(yuǎn)端表項(xiàng)VNI復(fù)制出接口1VTEP2、3、4、5、local學(xué)習(xí)本地表項(xiàng)NVE5NVE1NVE2NVE3NVE4ABCD321Ingress NVE查不到mac轉(zhuǎn)發(fā)表項(xiàng)，根據(jù)VLAN對(duì)應(yīng)的分發(fā)樹樹根查找組播轉(zhuǎn)發(fā)表，封裝并轉(zhuǎn)發(fā)ARP Request報(bào)文23Egress NVE接收?qǐng)?bào)文解封裝后本地廣播中間節(jié)點(diǎn)，IP透?jìng)鱫verlay報(bào)文VNI復(fù)制出接口1VTEP1、3、4、5、localNVE2組播分發(fā)樹表VTEP1VTEP2VTEP3VTEP4VTEP5ffff-ffff-ffffA.macARP requestNVE5.macNVE1.mac

14、VTEP 2.IPVTEP 1.IPUDPVNI 1ffff-ffff-ffffA.macARP requestffff-ffff-ffffA.macARP requestNVE5.macNVE1.macVTEP 2.IPVTEP 1.IPpayloadNVE2.macNVE5.macVTEP 2.IPVTEP 1.IPUDPVNI 1ffff-ffff-ffffA.macARP requestNVE5.macNVE1.macVTEP 3.IPVTEP 1.IPUDPVNI 1NVE5.macNVE1.macVTEP 4.IPVTEP 1.IPUDPVNI 1NVE5.macNVE1.macV

15、TEP 5.IPVTEP 1.IPUDPVNI 1隧道水平分割13.2022/9/11ARP Reply轉(zhuǎn)發(fā)流程VNImac出接口1AVTEP11BlocalIP下一跳VTEP1NVE1.互聯(lián)IPRB2mac轉(zhuǎn)發(fā)表NVE5單播轉(zhuǎn)發(fā)表BANVE2NVE5NVE123VNImac出接口1ALocal1BVTEP2RB1mac轉(zhuǎn)發(fā)表學(xué)習(xí)遠(yuǎn)端表項(xiàng)學(xué)習(xí)本地表項(xiàng)1Ingress NVE查找mac轉(zhuǎn)發(fā)表，根據(jù)目的VTEP選擇一條負(fù)載分擔(dān)鏈路，封裝轉(zhuǎn)發(fā)ARP報(bào)文23中間節(jié)點(diǎn)，IP透?jìng)鱫verlay報(bào)文Egress NVE接收?qǐng)?bào)文并解封裝，在本地轉(zhuǎn)發(fā)ABCDARP Reply單播轉(zhuǎn)發(fā)流程1VTEP1VTEP2V

16、TEP3VTEP4NVE1NVE2NVE3NVE4NVE5VTEP5A.macB.MacARP replyNVE5.macNVE2.macVTEP 1.IPVTEP 2.IPUDPVNI 1A.macB.MacARP replyNVE5.macNVE2.macVTEP 1.IPVTEP 2.IPUDPVNI 1A.macB.MacARP replyNVE1.macNVE5.macVTEP 1.IPVTEP 2.IPUDPVNI 1A.macB.MacARP replyA.macB.MacARP reply14.2022/9/11A到B單播轉(zhuǎn)發(fā)流程ABNVE1NVE5NVE22vlanmac出接

17、口1Blocal1AVTEP1NVE2 mac轉(zhuǎn)發(fā)表A到B的單播轉(zhuǎn)發(fā)流程1Ingress NVE查找mac轉(zhuǎn)發(fā)表，根據(jù)目的VTEP選擇一條負(fù)載分擔(dān)鏈路，封裝轉(zhuǎn)發(fā)單播報(bào)文23中間節(jié)點(diǎn)，IP透?jìng)鱫verlay報(bào)文Egress NVE接收?qǐng)?bào)文并解封裝，在本地轉(zhuǎn)發(fā)31ABCDVTEP1VTEP2VTEP3VTEP4NVE1NVE2NVE3NVE4NVE5VTEP5B.macA.MacdataNVE5.macNVE1.macVTEP 2.IPVTEP 1.IPUDPVNI 1A.macB.MacdataVNImac出接口1AVTEP11BlocalNVE2mac轉(zhuǎn)發(fā)表NVE5.macNVE1.macVT

18、EP 2.IPVTEP 1.IPUDPVNI 1A.macB.MacdataNVE2.macNVE5.macVTEP 2.IPVTEP 1.IPUDPVNI 1A.macB.MacdataB.macA.MacdataIP下一跳VTEP2NVE2.互聯(lián)IPNVE5單播轉(zhuǎn)發(fā)表15.2022/9/11VXLAN數(shù)據(jù)轉(zhuǎn)發(fā)總體流程（跨子網(wǎng)）NVE1NVE5三層網(wǎng)絡(luò)網(wǎng)關(guān)NVE2NVE3NVE6ABCEHOST A發(fā)送單播數(shù)據(jù)報(bào)文給HOST E。注：NVE5作為三層網(wǎng)關(guān)，HOST A屬于VNI 1，HOST E屬于VNI 2，默認(rèn)主機(jī)與網(wǎng)關(guān)都互相學(xué)習(xí)到ARP表, 各個(gè)節(jié)點(diǎn)MAC都已學(xué)習(xí)?？傮w流程總體流程二層

19、接入VXLANVTEP1VTEP2VTEP3VTEP6VTEP516.A到E單播轉(zhuǎn)發(fā)流程AENVE1NVE5NVE62vlanmac出接口2Elocal1AVTEP5NVE6mac轉(zhuǎn)發(fā)表A到E跨子網(wǎng)單播轉(zhuǎn)發(fā)流程1Ingress NVE查找mac轉(zhuǎn)發(fā)表，根據(jù)目的VTEP選擇一條負(fù)載分擔(dān)鏈路，封裝轉(zhuǎn)發(fā)單播報(bào)文發(fā)給網(wǎng)關(guān)NVE523網(wǎng)關(guān)解封裝報(bào)文，根據(jù)內(nèi)層IP頭查路由、ARP，替換內(nèi)層以太頭，封裝VXLAN；Egress NVE接收?qǐng)?bào)文并解封裝，在本地轉(zhuǎn)發(fā)31ABCEVTEP1VTEP2VTEP3VTEP6NVE1NVE2NVE3NVE6NVE5VTEP5NVE5.macA.macE.IPA.IPda

20、taNVE5.macNVE1.macVTEP 5.IPVTEP 1.IPUDPVNI 1NVE5.macA.macE.IPA.IPdataVNImac出接口1NVE5VTEP51AlocalNVE1mac轉(zhuǎn)發(fā)表NVE6macNVE5.macVTEP 6.IPVTEP 5.IPUDPVNI 2E.macNVE5.macE.IPA.IPdataIPVNIMAC接口E2EVTEP6A1AVTEP1NVE5 ARP轉(zhuǎn)發(fā)表NVE5.macNVE1.macVTEP 5.IPVTEP 1.IPUDPVNI 1NVE5.macA.macE.IPA.IPdataE.macNVE5.macE.IPA.IPdata

21、17.2022/9/11目錄VXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署網(wǎng)關(guān)集中部署分布式Anycast網(wǎng)關(guān)部署設(shè)備&鏈路可靠性廣播泛洪優(yōu)化大二層防環(huán)DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)18.2022/9/11L2接入GW匯聚L3核心網(wǎng)關(guān)集中部署Leaf1Leaf2Leaf3vSwitchVMVNI 10vSwitchVMVNI 20ServerVNI 20RouterRouterWANFW/LBFW/LBLeaf節(jié)點(diǎn)作為VTEP，僅實(shí)現(xiàn)VLAN接入Spine同時(shí)做VTEP及網(wǎng)關(guān)，實(shí)現(xiàn)隧道及二層終結(jié)1、所有Leaf與Spine全連接，S

22、pine至少兩臺(tái)（以實(shí)現(xiàn)備份和負(fù)載分擔(dān)），通過路由打通Leaf間的轉(zhuǎn)發(fā)路徑，正常情況下Leaf間都有ECMP路徑；2、Spine、Leaf節(jié)點(diǎn)都作為VXLAN的VTEP；3、每個(gè)Leaf節(jié)點(diǎn)僅僅完成流量的二層接入，將用戶報(bào)文封裝映射VNI，二層轉(zhuǎn)發(fā)將報(bào)文封裝在VXLAN發(fā)往本廣播域內(nèi)的目的節(jié)點(diǎn)；4、Spine承擔(dān)集中三層網(wǎng)關(guān)的功能，將報(bào)文解封裝后路由轉(zhuǎn)發(fā)，實(shí)現(xiàn)不同廣播域的互通以及與外部網(wǎng)絡(luò)的互通；BGP EVPN作為VXLAN控制面：觸發(fā)VTEP間自動(dòng)建立VXLAN隧道，避免full-mesh的隧道配置；控制面擴(kuò)散MAC表進(jìn)行MAC學(xué)習(xí)，可優(yōu)化未知流泛洪；VXLAN BGP EVPNGatew

23、ayVTEPSpine1Spine2GatewayVTEPVTEPVTEPVTEP19.2022/9/11網(wǎng)關(guān)集中式VXLAN業(yè)務(wù)模型VLANVLANVLANVLANVTEP1VTEP2VTEP3VTEP4L2 VNIL2 VNIL2 VNIL2 VNI同子網(wǎng)RAW 以太同子網(wǎng)RAW 以太跨子網(wǎng)跨子網(wǎng)VLAN映射VNI網(wǎng)關(guān)綁定VRFVNI還原VLANVXLAN大二層，VNI標(biāo)記二層域，VXLAN隧道實(shí)現(xiàn)域內(nèi)連通；跨子網(wǎng)流量通過MAC轉(zhuǎn)發(fā)集中到網(wǎng)關(guān)，通過網(wǎng)關(guān)直接映射VRF；VTEP報(bào)文封裝 L2 VNI報(bào)文封裝 L2 VNI跨子網(wǎng)跨子網(wǎng)VNI GatewayIPMACVRFVNI Gateway

24、IPMACVRF20.2022/9/11網(wǎng)關(guān)集中式BGP EVPN協(xié)議交互VLANVLANVLANVLANVTEP1VTEP2VTEP3VTEP4L2 VNIL2 VNIL2 VNIL2 VNIVNI還原VLANVTEPVNI GatewayIPMACVRFVNI GatewayIPMACVRFBGP EVPNBGP EVPN發(fā)布L2 VNIVTEP IPBGP EVPN接收L2 VNIVTEP IP自動(dòng)建立VXLAN Peer to Peer 隧道，隧道關(guān)聯(lián)VNI，簡(jiǎn)化隧道full-mesh配置BGP EVPN發(fā)布VNIHost MAC addressHOSTBGP EVPN接收VNIHos

25、t MAC address學(xué)習(xí)MAC地址表，指導(dǎo)同子網(wǎng)單播轉(zhuǎn)發(fā)HOSTHOSTHOST21.2022/9/11目錄VXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署網(wǎng)關(guān)集中部署分布式Anycast網(wǎng)關(guān)部署設(shè)備&鏈路可靠性廣播泛洪優(yōu)化大二層防環(huán)DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)22.2022/9/11Border LeafService LeafServer LeafSpine1Spine2Leaf1Leaf2Leaf3vSwitchVMVNI 10vSwitchVMVNI 20ServerVNI 20Leaf4Leaf5WANFW/LB分布

26、式Anycast 網(wǎng)關(guān)1、所有Leaf與Spine全連接，Spine至少兩臺(tái)（以實(shí)現(xiàn)備份和負(fù)載分擔(dān)），通過IGP路由打通Leaf間的轉(zhuǎn)發(fā)路徑，正常情況下Leaf間都有ECMP路徑；2、Leaf節(jié)點(diǎn)作為VXLAN的VTEP，Spine不必須為VTEP；3、每個(gè)Leaf節(jié)點(diǎn)都是三層網(wǎng)關(guān)，用戶的三層流量在本地Leaf節(jié)點(diǎn)終結(jié)；4、需要給不同的Leaf劃分不同的功能，以實(shí)現(xiàn)與外部互通、防火墻過濾等功能；BGP EVPN作為VXLAN控制面：觸發(fā)VTEP間自動(dòng)建立VXLAN隧道，避免full-mesh的隧道配置；控制面擴(kuò)散主機(jī)路由、MAC，指導(dǎo)流量轉(zhuǎn)發(fā)；Leaf節(jié)點(diǎn)作為VTEP，同時(shí)作為網(wǎng)關(guān)Spine不

27、作VTEP，不感知VXLANVXLAN BGP EVPNGatewayVTEPGatewayVTEPGatewayVTEPGatewayVTEPGatewayVTEP23.2022/9/11分布式VXLAN業(yè)務(wù)模型VLANVLANVLANVLANRouter MAC1Router MAC2Router MAC3Router MAC4VTEP1VTEP2VTEP3VTEP4L2 VNIVRF VNI同子網(wǎng)RAW 以太同子網(wǎng)RAW 以太報(bào)文封裝 L2 VNI跨子網(wǎng)跨子網(wǎng)VLAN映射VNI網(wǎng)關(guān)綁定VRFVRF映射VNIVNI還原VLANVNI還原VRFVXLAN大二層，VNI標(biāo)記二層域，VXLAN隧

28、道實(shí)現(xiàn)域內(nèi)連通；分布式VXLAN網(wǎng)關(guān)，VNI標(biāo)記三層VRF域，VXLAN隧道實(shí)現(xiàn)VRF連通；GatewayIPMACVRFL2 VNIVRF VNIVRF VNIVRF VNIL2 VNI報(bào)文封裝 VRF VNI報(bào)文封裝 L2 VNIGatewayIPMACVRFGatewayIPMACVRFGatewayIPMACVRFL2 VNI目的MAC區(qū)分流量同子網(wǎng)或跨子網(wǎng)24.2022/9/11分布式Anycast網(wǎng)關(guān)BGP EVPN協(xié)議交互VLANVLANVLANVLANRouter MAC1Router MAC2Router MAC3Router MAC4VTEP1VTEP2VTEP3VTEP4

29、L2 VNIVRF VNIGatewayIPMACVRFL2 VNIVRF VNIVRF VNIVRF VNIL2 VNIGatewayIPMACVRFGatewayIPMACVRFGatewayIPMACVRFL2 VNIHOSTHOSTHOSTHOSTBGP EVPN發(fā)布L2 VNIVRF VNIVTEP IPBGP EVPN接收L2 VNIVRF VNIVTEP IP自動(dòng)建立VXLAN Peer to Peer 隧道，隧道關(guān)聯(lián)VNI，簡(jiǎn)化隧道full-mesh配置BGP EVPN發(fā)布L2 VNIVRF VNIRouter MACHost MAC addressHOST IPBGP EVP

30、N接收L2 VNIVRF VNIRouter MACHost MAC addressHOST IPMAC 下發(fā)MAC表，IP下發(fā)主機(jī)路由表Border LeafVTEP5BGP EVPN發(fā)布VRF VNIRouter MACIP PrefixMask LengthBGP EVPN接收VRF VNIRouter MACIP PrefixMask LengthIP Prefix 下發(fā)網(wǎng)絡(luò)路由表VRF AVRF VRF 25.2022/9/11網(wǎng)關(guān)部署對(duì)比Internet/Access VRFInternet/Access VRFTenant VRFTenant VRFGatewaySpineInt

31、ernet/Access VRFBorder leafInternet/Access VRFGatewayServer leafServer leafTenant VRFService leafVXLANInternet/Access VRFvFWvFWWebSubnet AAppSubnet BGatewayWebSubnet AAppSubnet B靜態(tài)網(wǎng)關(guān) gatewayDynamic gateway/routing比較項(xiàng)集中部署分布式部署VM遷移網(wǎng)關(guān)部署變化VM遷移，網(wǎng)關(guān)部署不變VM遷移，網(wǎng)關(guān)動(dòng)態(tài)遷移從源接入設(shè)備刪除網(wǎng)關(guān)，在目的接入設(shè)備創(chuàng)建網(wǎng)關(guān)VM遷移影響的表項(xiàng)集中網(wǎng)關(guān)刷新ARP接入設(shè)

32、備刷新MAC所有設(shè)備刷新主機(jī)路由接入設(shè)備刷新MAC集中網(wǎng)關(guān)分布式網(wǎng)關(guān)26.2022/9/11集中網(wǎng)關(guān)分布式網(wǎng)關(guān)PESpineServer LeafVTEPGatewayVTEPVTEP不同接入東西向（L2&L3）南北向同一設(shè)備L2同一接入設(shè)備L3SpineServer LeafBorder LeafPEVTEPGatewayVTEPGatewayVTEPGatewayService Leaf南北向不同接入東西向（L2&L3）同一接入設(shè)備L3同一設(shè)備L2轉(zhuǎn)發(fā)路徑優(yōu)化對(duì)比比較項(xiàng)集中部署分布式部署南北向流量(customer to servers)經(jīng)過核心經(jīng)過核心不同的接入設(shè)備間東西向 流量(L2&

33、L3)經(jīng)過核心經(jīng)過核心同一個(gè)接入設(shè)備下東西向流量(L2)本地轉(zhuǎn)發(fā)本地轉(zhuǎn)發(fā)同一個(gè)接入設(shè)備下東西向流量(L3)經(jīng)過核心本地轉(zhuǎn)發(fā)27.2022/9/11Internet/Access VRFInternet/Access VRFTenant VRFTenant VRFTenant VRFCentralized VXLANDistributed VXLANTenant VRFSpineInternet/Access VRFBorder leafInternet/Access VRFTenant VRFServer leafServer leafTenant VRFService leafVXLANIn

34、ternet/Access VRFvFWvFW比較項(xiàng)集中部署分布式部署防火墻引流方案防火墻旁掛集中網(wǎng)關(guān)集中網(wǎng)關(guān)單點(diǎn)部署策略將流量引到防火墻防火墻與網(wǎng)關(guān)非直接多點(diǎn)網(wǎng)關(guān)通過隧道連到防火墻分布網(wǎng)關(guān)多點(diǎn)部署策略防火墻流量過濾對(duì)比28.2022/9/11目錄VXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署網(wǎng)關(guān)集中部署分布式Anycast網(wǎng)關(guān)部署設(shè)備&鏈路可靠性廣播泛洪優(yōu)化大二層防環(huán)DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)29.2022/9/11LeafLeafVTEPVTEPBGP EVPNMACMACSpineVTEPGWVXLAN tunnelser

35、verARPLeafLeafBGP EVPNSpineVTEPGWVXLAN tunnelserveriStackLeafVTEPMACARPVTEPLeafLeafBGP EVPNSpineVTEPGWVXLAN tunnelserverLeafVTEPMACARPvVTEPM-LAGLAGLAG主備LAG接入高可靠服務(wù)器主備網(wǎng)卡連接到交換機(jī)傳統(tǒng)高可靠方式，1:1的保護(hù)，可保證網(wǎng)卡故障，仍有足夠的帶寬承載業(yè)務(wù)；鏈路利用率低；交換機(jī)二虛一，組建堆疊與服務(wù)器網(wǎng)卡bonding對(duì)接1+1保護(hù)，鏈路故障帶寬可能不足；鏈路利用率高；邏輯網(wǎng)元少，可以減少配置工作；交換機(jī)獨(dú)立，組建跨設(shè)備的LAG與服務(wù)器網(wǎng)

36、卡bonding對(duì)接；1+1保護(hù)，鏈路故障帶寬可能不足；鏈路利用率高；設(shè)備獨(dú)立，升級(jí)簡(jiǎn)單、可靠性高；30.2022/9/11多個(gè)網(wǎng)關(guān)設(shè)備上：配置相同的loopback地址作為VTEP；配置相同的網(wǎng)關(guān)接口，網(wǎng)關(guān)接口的IP、MAC等配置都相同；目的MAC遠(yuǎn)端VTEP網(wǎng)關(guān)虛MACvVTEP目的VTEP路由下一跳vVTEP IPAGG1&AGG2 接入設(shè)備上MAC和IP路由轉(zhuǎn)發(fā)表1、網(wǎng)關(guān)故障，在恢復(fù)時(shí)，讓恢復(fù)設(shè)備發(fā)布低優(yōu)先的路由（通過控制器調(diào)整），保證上下行流量發(fā)給其他網(wǎng)關(guān)，待網(wǎng)關(guān)ARP恢復(fù)后，再恢復(fù)路由優(yōu)先級(jí)，讓此網(wǎng)關(guān)參與負(fù)載分擔(dān)；2、網(wǎng)關(guān)下行口故障，underlay路由收斂；3、網(wǎng)關(guān)上行口全故障，

37、依靠OPS聯(lián)動(dòng)將VTEP地址發(fā)布的優(yōu)先級(jí)降低，保證上行流不發(fā)到故障網(wǎng)關(guān)。與傳統(tǒng)的堆疊、VRRP網(wǎng)關(guān)比，有如下一些優(yōu)勢(shì)：網(wǎng)關(guān)之間不需要運(yùn)行類似VRRP、GLBP的基于子網(wǎng)粒度的心跳協(xié)議，網(wǎng)關(guān)信令處理壓力小。相比VRRP三層網(wǎng)關(guān)，物理網(wǎng)關(guān)之間流量能夠?qū)崿F(xiàn)Flow-based Loadbalancing，網(wǎng)關(guān)能夠擴(kuò)展到多臺(tái)?？梢酝ㄟ^路由協(xié)議控制器vVTEP的路由發(fā)布，實(shí)現(xiàn)流量無損網(wǎng)關(guān)擴(kuò)容或升級(jí)匯聚交換機(jī)1匯聚交換機(jī)2接入交換機(jī)接入交換機(jī)接入交換機(jī)接入交換機(jī)網(wǎng)關(guān)虛擬VTEP HOSTHOSTHOSTHOSTVTEP VTEP VTEP VTEP 集中網(wǎng)關(guān)高可靠31.2022/9/11目錄VXLAN基本

38、原理介紹DC內(nèi)VXLAN based EVPN部署網(wǎng)關(guān)集中部署分布式Anycast網(wǎng)關(guān)部署設(shè)備&鏈路可靠性廣播泛洪優(yōu)化大二層防環(huán)DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)32.2022/9/11風(fēng)暴抑制、未知單播禁止LeafVTEPBGP EVPNLeafVTEPVLANVLAN學(xué)習(xí)MACMAC=Port1VXLAN tunnel發(fā)送免費(fèi)ARP學(xué)習(xí)MACMAC1=tunnel流量正常轉(zhuǎn)發(fā)VM-1VM-2未知單播流量禁止，丟棄報(bào)文EVPN發(fā)布MACLeafVTEPBGP EVPNLeafVTEPVLANVLANVXLAN tunnel風(fēng)暴抑制，限制泛洪的速率，超出

39、速率后報(bào)文丟棄VM-1VM-2風(fēng)暴抑制網(wǎng)絡(luò)正常運(yùn)行時(shí)，需要泛洪的BUM流量實(shí)際較少（主要是廣播ARP）可在交換機(jī)設(shè)備的接入端口部署風(fēng)暴抑制，減少異常下VXLAN域內(nèi)大量泛洪，對(duì)網(wǎng)絡(luò)內(nèi)主機(jī)性能的影響；未知單播禁止傳統(tǒng)網(wǎng)絡(luò)依賴流量泛洪進(jìn)行MAC學(xué)習(xí)，引入EVPN協(xié)議發(fā)布MAC后，本地學(xué)習(xí)后，流量無需廣播到其他家換機(jī)，依靠EVPN即可將MAC推送到其他交換機(jī)；可關(guān)閉未知單播的泛洪，進(jìn)一步減少泛洪；33.2022/9/11ARP廣播優(yōu)化 Broadcast to UnicastVTEP1VTEP2BGP EVPNSpineVTEP3GWVLANVLANVM-1VM-2VNIIPMACLocation

40、10000Gateway IP0000-5e00-0002VTEP310000VM1 IP0000-0000-0001VTEP110000VM2 IP0000-0000-0002VTEP2VNIIPMACLocation 10000Gateway IP0000-5e00-0002VTEP310000VM1 IP0000-0000-0001VTEP110000VM2 IP0000-0000-0002VTEP2VNIIPMACLocation 10000Gateway IP0000-5e00-0002VTEP310000VM1 IP0000-0000-0001VTEP110000VM2 IP000

41、0-0000-0002VTEP2ARP廣播請(qǐng)求查cache，替換為單播MAC單播ARP請(qǐng)求ARP單播應(yīng)答相比傳統(tǒng)的代答由如下優(yōu)勢(shì)：網(wǎng)絡(luò)不會(huì)吃掉ARP報(bào)文；安全風(fēng)險(xiǎn)??；當(dāng)前ARP的應(yīng)用已經(jīng)超出地址解析的范疇，如集群心跳檢測(cè)，如果網(wǎng)絡(luò)吃掉ARP可能引發(fā)問題；目的端能感知到ARP請(qǐng)求， ARP交互過程完整，協(xié)議兼容好；34.2022/9/11ARP廣播優(yōu)化 ARP ProxyVTEP1VTEP2BGP EVPNSpineGWVLANVLANVM-1VM-2VNIIPMACLocation 10000Gateway IP0000-5e00-0002VTEP310000VM1 IP0000-0000-0

42、001VTEP110000VM2 IP0000-0000-0002VTEP2VNIIPMACLocation 10000Gateway IP0000-5e00-0002VTEP310000VM1 IP0000-0000-0001VTEP110000VM2 IP0000-0000-0002VTEP2ARP廣播請(qǐng)求查cache，直接以Anycast 網(wǎng)關(guān)MAC應(yīng)答 在接入Anycast網(wǎng)關(guān)上以Gateway MAC做欺騙應(yīng)答；所有同子網(wǎng)的IP報(bào)文的轉(zhuǎn)發(fā)可轉(zhuǎn)化為VTEP間的三層路由轉(zhuǎn)發(fā)，可將二層轉(zhuǎn)發(fā)的流量降低到最少，減少泛洪的風(fēng)險(xiǎn)。GW35.2022/9/11目錄VXLAN基本原理介紹DC內(nèi)VXLA

43、N based EVPN部署網(wǎng)關(guān)集中部署分布式Anycast網(wǎng)關(guān)部署設(shè)備&鏈路可靠性廣播泛洪優(yōu)化大二層防環(huán)DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)36.2022/9/11通過BPDU Guard防止交換機(jī)端口誤接Access SwitchswitchBPDUAccess Switc收到BPDU，關(guān)閉端口，破除環(huán)路Access SwitchBPDUAccess Switc收到BPDU，關(guān)閉端口，破除環(huán)路VXLAN本身是一個(gè)無環(huán)網(wǎng)絡(luò)，因?yàn)槠渌淼篱g的水平分割杜絕了VXLAN域內(nèi)成環(huán)的可能；接入設(shè)備如果連接錯(cuò)誤可能導(dǎo)致環(huán)路，影響VXLAN域內(nèi)所有交換機(jī)；交換機(jī)端口一般

44、都默認(rèn)開啟STP，會(huì)周期發(fā)送BPDU，而服務(wù)器不會(huì)發(fā)送BPDU，接入交換機(jī)如果收到BPDU，則可判斷為錯(cuò)誤連線，連到交換機(jī)，部署B(yǎng)PDU Guard可在接入交換機(jī)端口收到BDPU時(shí)關(guān)閉端口，一防止出現(xiàn)環(huán)路；37.2022/9/11通過MAC Flapping檢測(cè)防止Linux Bridge誤接Access SwitchAccess SwitchAccess SwitchAccess SwitchVXLAN TunnelVXLAN TunnelVXLAN TunnelVXLAN Tunnel交換機(jī)下行接口部署MAC Flapping檢測(cè)，可檢測(cè)出多種環(huán)路，并將下行端口關(guān)閉，避免出現(xiàn)環(huán)路；VXLA

45、N Tunnel不會(huì)關(guān)閉，不影響其他端口流量轉(zhuǎn)發(fā)；此外可配合控制器，控制器接收設(shè)備的MAC Flapping告警，精確控制接口的關(guān)閉；38.2022/9/11目錄數(shù)據(jù)中心SDN GlanceVXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署DC間VXLAN based EVPN部署DCI二層互通DCI三層互通配置部署優(yōu)化EVPN故障定位指導(dǎo)39.2022/9/11Underlay IPUnderlay IP使用VXLAN進(jìn)行DCI二層互聯(lián)的方式VLANVLANDCADCIVXLAN based EVPNborderDCI VTEPDCI VTEPDCBborderDCAborde

46、rDCBborderVTEPVTEPDCIIP NetworkVXLAN based EVPN方式一分段：DC與DCI VTEP間采用VLAN、DCI為VXLAN優(yōu)點(diǎn)：不同DC間不需要運(yùn)行相同的協(xié)議，協(xié)議獨(dú)立；不需要相同的封裝，架構(gòu)獨(dú)立、異構(gòu)兼容；DC間邏輯上P2P連接，方便在入口進(jìn)行帶寬、策略控制、廣播風(fēng)暴控制；缺點(diǎn)：DCI設(shè)備要求高建議大規(guī)模、模塊化DC使用。方式一合一：不同DC的VTEP間直接VXLAN互通，DCI為underlay IP透?jìng)鳎壿嬌鲜且粋€(gè)大VXLAN域優(yōu)點(diǎn)：邏輯上一個(gè)DC，簡(jiǎn)單；缺點(diǎn)：DC間協(xié)議、封裝全部要一致；建議小規(guī)格DC使用；40.2022/9/11目錄數(shù)據(jù)中心S

47、DN GlanceVXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署DC間VXLAN based EVPN部署DCI二層互通DCI三層互通配置部署優(yōu)化EVPN故障定位指導(dǎo)41.2022/9/11VXLAN實(shí)現(xiàn)三層互通（可部分替代L3VPN）EVPN協(xié)議定義了可以將其他協(xié)議或本設(shè)備產(chǎn)生的子網(wǎng)路由通過BGP EVPN發(fā)布，結(jié)合VXLAN隧道，可實(shí)現(xiàn)不同DC通過VXLAN實(shí)現(xiàn)類似L3VPN的互聯(lián)互通，簡(jiǎn)化不同DC間三層互通部署。BGP EVPN發(fā)布網(wǎng)關(guān)IP Prefix路由BGP EVPNBGP EVPN接收IP Prefix路由，路徑指向VXLAN Tunnel42.2022/9/1

48、1目錄VXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)43.2022/9/11Spine通過Controller簡(jiǎn)化Overlay業(yè)務(wù)部署VTEP1VTEP2VTEP3Gateway 1VNI 1VTEP VTEPGateway 1VNI 1VNI 1VNI1VNI1 按需創(chuàng)建VNI自動(dòng)創(chuàng)建網(wǎng)關(guān)BGP EVPN建立隧道，擴(kuò)散轉(zhuǎn)發(fā)表FW/LBFW/LB自動(dòng)下發(fā)策略通過SDN Controller簡(jiǎn)化Overlay業(yè)務(wù)部署：接入設(shè)備按需給創(chuàng)建VNI，將VLAN映射VXLAN；網(wǎng)關(guān)設(shè)備自動(dòng)創(chuàng)建VNI三層IP Gateway；自動(dòng)完成網(wǎng)關(guān)子網(wǎng)路由發(fā)布；自動(dòng)完成網(wǎng)關(guān)到FW的引流；FW設(shè)備自動(dòng)進(jìn)行策略下發(fā)；BGP EVPN在控制器完成VNI創(chuàng)建后，協(xié)議觸發(fā)隧道建立，進(jìn)行轉(zhuǎn)發(fā)表擴(kuò)散。44.2022/9/11目錄VXLAN基本原理介紹DC內(nèi)VXLAN based EVPN部署DC間VXLAN based EVPN部署配置部署優(yōu)化EVPN故障定位指導(dǎo)45.2022/9/11EVPN故障定位整體思路目前VXLAN網(wǎng)絡(luò)中提供網(wǎng)絡(luò)診斷工具如下：1.基于設(shè)備的Ping、Trace，可以基于VRF進(jìn)行簡(jiǎn)單的連通性判斷2.路徑可視化 1.單路徑探測(cè)，用于對(duì)單條流量進(jìn)行轉(zhuǎn)發(fā)路徑探測(cè)，一般用于流量故障時(shí)，