大型企業(yè)數(shù)據(jù)中心SDN網(wǎng)絡(luò)升級改造解決方案

1、 大型企業(yè)數(shù)據(jù)中心SDN網(wǎng)絡(luò)升級改造解決方案目 錄 TOC o 1-3 h z u HYPERLINK l _Toc16059704 1 項目背景 PAGEREF _Toc16059704 h 5 HYPERLINK l _Toc16059705 1.1 項目背景 PAGEREF _Toc16059705 h 5 HYPERLINK l _Toc16059706 1.2 項目目標 PAGEREF _Toc16059706 h 5 HYPERLINK l _Toc16059707 1.3 項目需求 PAGEREF _Toc16059707 h 6 HYPERLINK l _Toc16059708

2、 1.3.1 業(yè)務(wù)需求 PAGEREF _Toc16059708 h 6 HYPERLINK l _Toc16059709 1.3.2 網(wǎng)絡(luò)需求 PAGEREF _Toc16059709 h 6 HYPERLINK l _Toc16059710 1.3.3 安全需求 PAGEREF _Toc16059710 h 6 HYPERLINK l _Toc16059711 1.3.4 運維需求 PAGEREF _Toc16059711 h 7 HYPERLINK l _Toc16059712 2 傳統(tǒng)網(wǎng)絡(luò)面臨的問題 PAGEREF _Toc16059712 h 7 HYPERLINK l _Toc16

3、059713 2.1 業(yè)務(wù)規(guī)劃與網(wǎng)絡(luò)架構(gòu)緊耦合 PAGEREF _Toc16059713 h 8 HYPERLINK l _Toc16059714 2.2 東西流量受到傳統(tǒng)網(wǎng)絡(luò)架構(gòu)限制 PAGEREF _Toc16059714 h 8 HYPERLINK l _Toc16059715 2.3 業(yè)務(wù)規(guī)模受網(wǎng)絡(luò)設(shè)備規(guī)格限制 PAGEREF _Toc16059715 h 9 HYPERLINK l _Toc16059716 2.4 傳統(tǒng)安全部署模式的限制 PAGEREF _Toc16059716 h 9 HYPERLINK l _Toc16059717 2.5 不能適應(yīng)大規(guī)模租戶部署 PAGEREF

4、 _Toc16059717 h 9 HYPERLINK l _Toc16059718 3. 數(shù)據(jù)中心解決方案的概述 PAGEREF _Toc16059718 h 10 HYPERLINK l _Toc16059719 3.1 數(shù)據(jù)中心演進節(jié)奏 PAGEREF _Toc16059719 h 10 HYPERLINK l _Toc16059720 3.2 數(shù)據(jù)中心解決方案架構(gòu)組成 PAGEREF _Toc16059720 h 10 HYPERLINK l _Toc16059721 3.3 數(shù)據(jù)中心解決方案特點 PAGEREF _Toc16059721 h 11 HYPERLINK l _Toc16

5、059722 4. 某大型企業(yè)項目數(shù)據(jù)中心 SDN 網(wǎng)絡(luò)解決方案 PAGEREF _Toc16059722 h 13 HYPERLINK l _Toc16059723 4.1 方案設(shè)計原則 PAGEREF _Toc16059723 h 13 HYPERLINK l _Toc16059724 4.2 整體組網(wǎng)設(shè)計 PAGEREF _Toc16059724 h 15 HYPERLINK l _Toc16059725 4.3 數(shù)據(jù)中心 SDN 網(wǎng)絡(luò)基礎(chǔ)架構(gòu) PAGEREF _Toc16059725 h 17 HYPERLINK l _Toc16059726 VM（ Virtual Machine ，

6、虛擬機） PAGEREF _Toc16059726 h 17 HYPERLINK l _Toc16059727 VTEP（ VXLAN Tunnel End Point ， VXLAN 隧道端點） PAGEREF _Toc16059727 h 18 HYPERLINK l _Toc16059728 VNI(VXLAN Network Identifier ， VXLAN 網(wǎng)絡(luò)標識符 ) PAGEREF _Toc16059728 h 18 HYPERLINK l _Toc16059729 VXLAN 隧道 PAGEREF _Toc16059729 h 18 HYPERLINK l _Toc160

7、59730 VSI（ Virtual Switching Instance ，虛擬交換實例） PAGEREF _Toc16059730 h 19 HYPERLINK l _Toc16059731 4.4 詳細設(shè)計內(nèi)容 PAGEREF _Toc16059731 h 19 HYPERLINK l _Toc16059732 4.4.1 Overlay PAGEREF _Toc16059732 h 19 HYPERLINK l _Toc16059733 4.4.2 主機部署與物理位置解耦和 PAGEREF _Toc16059733 h 23 HYPERLINK l _Toc16059734 4.4.3

8、 Overlay 網(wǎng)絡(luò)流表路由 PAGEREF _Toc16059734 h 23 HYPERLINK l _Toc16059735 4.4.4 強控方案模式主機遷移策略跟隨 PAGEREF _Toc16059735 h 24 HYPERLINK l _Toc16059736 4.4.5 安全服務(wù)鏈部署 PAGEREF _Toc16059736 h 25 HYPERLINK l _Toc16059737 4.5 單 Fabric 組網(wǎng)設(shè)計 PAGEREF _Toc16059737 h 26 HYPERLINK l _Toc16059738 4.6 方案主要功能 PAGEREF _Toc1605

9、9738 h 27 HYPERLINK l _Toc16059739 5. 下一代 SDN 數(shù)據(jù)中心的優(yōu)勢 PAGEREF _Toc16059739 h 28 HYPERLINK l _Toc16059740 5.1 整網(wǎng)設(shè)計架構(gòu)開放、標準、兼容 PAGEREF _Toc16059740 h 29 HYPERLINK l _Toc16059741 5.2 可靠性保證 PAGEREF _Toc16059741 h 30 HYPERLINK l _Toc16059742 5.3 安全融合，符合等保建設(shè)要求 PAGEREF _Toc16059742 h 31 HYPERLINK l _Toc1605

10、9743 5.4 架構(gòu)彈性設(shè)計 PAGEREF _Toc16059743 h 31 HYPERLINK l _Toc16059744 5.5 端到端全流程自動化 PAGEREF _Toc16059744 h 33 HYPERLINK l _Toc16059745 5.6 可視化運維管理便捷 PAGEREF _Toc16059745 h 34 HYPERLINK l _Toc16059746 6. SDN 架構(gòu)的關(guān)鍵特性 PAGEREF _Toc16059746 h 34 HYPERLINK l _Toc16059747 6.1 Underlay 自動化 PAGEREF _Toc16059747

11、 h 34 HYPERLINK l _Toc16059748 Fabric 規(guī)劃 PAGEREF _Toc16059748 h 35 HYPERLINK l _Toc16059749 自動配置 PAGEREF _Toc16059749 h 35 HYPERLINK l _Toc16059750 可視化部署 PAGEREF _Toc16059750 h 36 HYPERLINK l _Toc16059751 資源納管 PAGEREF _Toc16059751 h 37 HYPERLINK l _Toc16059752 6.2 Overlay 自動化 獨立 Fabric 場景 PAGEREF _T

12、oc16059752 h 37 HYPERLINK l _Toc16059753 軟件定義網(wǎng)絡(luò)模型 PAGEREF _Toc16059753 h 37 HYPERLINK l _Toc16059754 Overlay 配置下發(fā)到設(shè)備 PAGEREF _Toc16059754 h 37 HYPERLINK l _Toc16059755 Fabric 接入 PAGEREF _Toc16059755 h 38 HYPERLINK l _Toc16059756 6.3 云網(wǎng)安關(guān)鍵特性 PAGEREF _Toc16059756 h 39 HYPERLINK l _Toc16059757 南北向安全納管

13、PAGEREF _Toc16059757 h 39 HYPERLINK l _Toc16059758 服務(wù)鏈 PAGEREF _Toc16059758 h 41 HYPERLINK l _Toc16059759 安全資源池的負載分擔(dān) PAGEREF _Toc16059759 h 42 HYPERLINK l _Toc16059760 第三方安全引流 PAGEREF _Toc16059760 h 42【摘要】本文面向企事業(yè)單位從事數(shù)據(jù)中心機房管理等 IT 人才。對新人來說，學(xué)習(xí)完后對 SDN 的概念有初步認識，可以應(yīng)對基礎(chǔ)的 SDN 數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)。對職場人來說，如果你想轉(zhuǎn)型到數(shù)據(jù)中心方向或者

14、正在面臨機房數(shù)據(jù)中心改造的煩惱，此文也會對你有些幫助或啟示。本方案適用于解決：大型企業(yè)多數(shù)據(jù)機房 , 統(tǒng)一管理相對比較復(fù)雜 , 難以集中化管控 , 部署核心業(yè)務(wù)時間相對比較漫長 , 數(shù)據(jù)機房安全保護等級有待提高 , 整體數(shù)據(jù)中心現(xiàn)在架構(gòu)沒有及時適應(yīng) SDN 新網(wǎng)絡(luò)的發(fā)展趨勢，需要支持未來的生產(chǎn)系統(tǒng)、業(yè)務(wù)系統(tǒng)部署需求。1 項目背景1.1 項目背景某股份有限公司是一家擁有 10000 多人的大型企業(yè)，擁有多個數(shù)據(jù)中心核心機房，由于建設(shè)的數(shù)據(jù)中心周期時間較久，核心機房的設(shè)備已經(jīng)運作時間較長，而且設(shè)備硬件偏舊。已經(jīng)無法 支持未來的生產(chǎn)系統(tǒng)、業(yè)務(wù)系統(tǒng)部署需求。無法支撐核心業(yè)務(wù)快速上線時間，整個數(shù)據(jù)中心機

15、房需要進行轉(zhuǎn)型化升級改造來適應(yīng)未來數(shù)字化業(yè)務(wù)的發(fā)展。1.2 項目目標基于以上項目背景和需求，本次數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)設(shè)計需要滿足未來較長一段時期的基礎(chǔ)設(shè)施部署需求，并借助數(shù)據(jù)中心網(wǎng)絡(luò)部署的獨立性，運用 VXLAN 、 SDN 主流技術(shù)對當前數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，以適應(yīng)未來網(wǎng)絡(luò)架構(gòu)的發(fā)展需求。本項目的具體目標如下：1、數(shù)據(jù)中心機房網(wǎng)絡(luò)基礎(chǔ)設(shè)施。2、數(shù)據(jù)中心網(wǎng)絡(luò)至少需要支持未來的生產(chǎn)系統(tǒng)、業(yè)務(wù)系統(tǒng)部署需求。業(yè)務(wù)上線時間由原先的平均 30 天，縮短到分鐘級別。3、結(jié)合 XX 大型 IT 總體的規(guī)劃，對數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)進行必要的優(yōu)化，以適應(yīng)新時期的業(yè)務(wù)部署、安全運行、提高 IT 管理水平的需求，網(wǎng)絡(luò)

16、方案要保持一定的先進性。4、采用先進的數(shù)據(jù)中心設(shè)計理念，能夠支持新一代應(yīng)用架構(gòu)，適用于未來 5-7 年的 IT 技術(shù)發(fā)展，可以最大程度的保護數(shù)據(jù)和業(yè)務(wù)連續(xù)性。1.3 項目需求1.3.1 業(yè)務(wù)需求如何更加快速地部署業(yè)務(wù)應(yīng)用，為企業(yè)業(yè)務(wù)系統(tǒng)提供更及時、更便利的網(wǎng)絡(luò)服務(wù)，提升企業(yè)的運行效率與競爭實力，也是當前企業(yè)數(shù)據(jù)中心使用中面臨的挑戰(zhàn)之一。因此，當前數(shù)據(jù)中心的建設(shè)必須考慮如何實現(xiàn)快速上線業(yè)務(wù)、快速響應(yīng)需求、提高部署效率。1.3.2 網(wǎng)絡(luò)需求服務(wù)器虛擬化使高效利用 IT 資源，降低企業(yè)運營成本成為可能。服務(wù)器內(nèi)多虛擬機之間的交互流量，傳統(tǒng)網(wǎng)絡(luò)設(shè)備無法感知，也不能進行流量監(jiān)控和必要的策略控制。虛擬機的

17、靈活部署和動態(tài)遷移需要網(wǎng)絡(luò)接入側(cè)做相應(yīng)的調(diào)整，在遷移時保持業(yè)務(wù)不中斷。虛擬機遷移的物理范圍不應(yīng)過小，否則無法充分利用空閑的服務(wù)器資源。遷移后虛擬機的 IP 地址不改變，以保持業(yè)務(wù)不中斷，因此對數(shù)據(jù)中心網(wǎng)絡(luò)提出了大二層的需求。1.3.3 安全需求數(shù)據(jù)中心對網(wǎng)絡(luò)安全性的需求是最基本的需求。安全性設(shè)計包括物理空間的安全控制及網(wǎng)絡(luò)的安全控制。系統(tǒng)設(shè)計從整體方案上需要考慮端對端的安全，保證安全、綠色的使用資源。1.3.4 運維需求高效的運維是數(shù)據(jù)中心運營成功的基礎(chǔ)。數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備和 IT 資源呈現(xiàn)數(shù)量大、廠商多、運行配置復(fù)雜的特點，如何簡化企業(yè)數(shù)據(jù)中心的運維管理、降低人工運維成本，是當前企業(yè)數(shù)據(jù)中心發(fā)

18、展面臨的重要挑戰(zhàn)。在采用虛擬化技術(shù)后，數(shù)據(jù)中心網(wǎng)絡(luò)延伸到服務(wù)器內(nèi)部，如何對包括虛擬設(shè)備在內(nèi)的多類設(shè)備進行統(tǒng)一管理、實現(xiàn)網(wǎng)絡(luò)流量的精細化管理和網(wǎng)絡(luò)故障的快速定位，都是對云計算時代數(shù)據(jù)中心運維的基本需求。在數(shù)據(jù)中心業(yè)務(wù)場景中，面向應(yīng)用的運維管理目前正變得越來越迫切，如應(yīng)用間 / 內(nèi)的交互數(shù)據(jù)統(tǒng)計，帶寬占用情況，數(shù)據(jù)轉(zhuǎn)發(fā)路徑鏈路質(zhì)量，會話連接故障分析等精細化運維管理正成為用戶廣泛的訴求，上述運維手段的實現(xiàn)將對減輕人工運維壓力，快速故障響應(yīng)，提升用戶業(yè)務(wù)體驗等方面都將獲得顯著效果。2 傳統(tǒng)網(wǎng)絡(luò)面臨的問題隨著企業(yè)業(yè)務(wù)的快速擴展需求， IT 做為基礎(chǔ)設(shè)施，快速部署和減少投入成為主要需求，云計算可以提供可用

19、的、便捷的、按需的資源提供，成為當前企業(yè) IT 建設(shè)的常規(guī)形態(tài)，而在云計算中大量采用和部署的虛擬化幾乎成為一個基本的技術(shù)模式。部署虛擬機需要在網(wǎng)絡(luò)中無限制地遷移到目的物理位置，虛機增長的快速性以及虛機遷移成為一個常態(tài)性業(yè)務(wù)。服務(wù)器虛擬化在經(jīng)過多年的發(fā)展后已經(jīng)越來越成熟，被應(yīng)用的領(lǐng)域也越來越廣泛。它有效降低了成本，提高了資源利用率和可用性，同時使運維效率也得到了較大提升，進而緩解了信息化建設(shè)所面對的諸多壓力。雖然服務(wù)器虛擬化的普及徹底改變了應(yīng)用的調(diào)配和管理，但是，這些動態(tài)工作負載所連接的網(wǎng)絡(luò)卻未能跟上它的發(fā)展步伐。網(wǎng)絡(luò)調(diào)配仍然極其緩慢，甚至一個簡單的拓撲結(jié)構(gòu)的創(chuàng)建也需要數(shù)天或數(shù)周時間。傳統(tǒng)的網(wǎng)絡(luò)

20、已經(jīng)不能很好滿足企業(yè)邁向云時代的這種需求，面臨著如下挑戰(zhàn)：2.1 業(yè)務(wù)規(guī)劃與網(wǎng)絡(luò)架構(gòu)緊耦合傳統(tǒng)數(shù)據(jù)中心業(yè)務(wù)規(guī)劃分區(qū)分域， IP 地址網(wǎng)段劃分則一般以 POD 為單位，一個 POD 內(nèi)為一個網(wǎng)段，規(guī)劃部署同一種業(yè)務(wù)。此種網(wǎng)絡(luò)架構(gòu)規(guī)劃清晰，維護簡單，但是不足之處就是業(yè)務(wù)擴容受限，假設(shè)業(yè)務(wù) 1 部署在 POD1 內(nèi)，如果 POD1 內(nèi)無法擴容，需要把業(yè)務(wù)部署在其他的機架上時則要求 POD1 與其他機架二層 Trunk 互通，要對網(wǎng)絡(luò)做大量的配置更改。2.2 東西流量受到傳統(tǒng)網(wǎng)絡(luò)架構(gòu)限制傳統(tǒng)網(wǎng)絡(luò)架構(gòu)以三層為主，主要是以控制南北數(shù)據(jù)流量為主，由于數(shù)據(jù)中心虛擬機的大規(guī)模使用，虛擬機遷移的特點以東西流量為主

21、，在遷移后需要其 IP 地址、 MAC 地址等參數(shù)保持不變，如此則要求業(yè)務(wù)網(wǎng)絡(luò)是一個二層網(wǎng)絡(luò)。但已有二層技術(shù)存在下面問題：生成樹 (STP Spaning Tree Protocol) 技術(shù)，部署和維護繁瑣，網(wǎng)絡(luò)規(guī)模不宜過大，限制了網(wǎng)絡(luò)的擴展。各廠家私有的 IRF/vPC/ 等網(wǎng)絡(luò)虛擬化技術(shù)，雖然可以簡化部署、同時具備高可靠性，但是對于網(wǎng)絡(luò)的拓撲架構(gòu)有嚴格要求，同時各廠家不支持互通，在網(wǎng)絡(luò)的可擴展性上有所欠缺，只適合小規(guī)模網(wǎng)絡(luò)部署，一般只適合數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)。大二層網(wǎng)絡(luò)技術(shù) TRILL/SPB/FabricPath 等，雖然能支持二層網(wǎng)絡(luò)的良好擴展，但對網(wǎng)絡(luò)設(shè)備有特殊要求，網(wǎng)絡(luò)中的設(shè)備需要軟硬

22、件升級才能支持此類技術(shù)，帶來部署成本的上升。2.3 業(yè)務(wù)規(guī)模受網(wǎng)絡(luò)設(shè)備規(guī)格限制云業(yè)務(wù)中虛擬機的大規(guī)模部署，使二層地址（ MAC ）表項的大小限制了云計算環(huán)境下虛擬機的規(guī)模，特別是對于接入設(shè)備而言，二層地址表項規(guī)格較小，限制了整個云計算數(shù)據(jù)中心的業(yè)務(wù)規(guī)模。2.4 傳統(tǒng)安全部署模式的限制傳統(tǒng)模式下的安全部署都是基于路徑基于拓撲的安全策略部署，安全業(yè)務(wù)必須根據(jù)業(yè)務(wù)的要求配置好 VLAN 、 IP 、引流策略，而且這些策略都是手工配置的，如果業(yè)務(wù)變更，那么安全策略的配置也必須跟著重新配置。另外傳統(tǒng)安全都是基于物理硬件設(shè)備部署的，導(dǎo)致在業(yè)初期由于業(yè)務(wù)量小使設(shè)備利用率很低造成資源浪費，而且業(yè)務(wù)后期隨著業(yè)務(wù)

23、量的增量可能又會出現(xiàn)性能不夠用的情況，安全設(shè)備的性能無法根據(jù)業(yè)務(wù)的要求而動態(tài)的擴展性能或者釋放資源。2.5 不能適應(yīng)大規(guī)模租戶部署云業(yè)務(wù)需要大量租戶之間的隔離，當前的主流二層網(wǎng)絡(luò)隔離技術(shù)為 VLAN ，但是在大量租戶部署時會有兩大限制：一是 VLAN 可用的數(shù)量為 4K 左右，遠遠不能滿足公有云或大型私有云的部署需求；二是如果在大規(guī)模數(shù)據(jù)中心部署 VLAN ，會使得所有 VLAN 在數(shù)據(jù)中心都被允許通過，會導(dǎo)致任何一個 VLAN 的廣播數(shù)據(jù)會在整個數(shù)據(jù)中心內(nèi)泛濫，大量消耗網(wǎng)絡(luò)帶寬，同時帶來維護的困難。3. 數(shù)據(jù)中心解決方案的概述3.1 數(shù)據(jù)中心演進節(jié)奏DC1.0 是傳統(tǒng)數(shù)據(jù)中心所采用模塊化、層

24、次化的建設(shè)模式，針對不同類型及批次的業(yè)務(wù)進行分區(qū)分期建設(shè)。這種 “ 煙囪式 ” 的建設(shè)方式存在著重復(fù)投資、資源利用率低、建設(shè)及交付周期長、網(wǎng)絡(luò)規(guī)劃復(fù)雜僵化、業(yè)務(wù)擴容困難等問題。隨著計算虛擬化技術(shù)的普及應(yīng)用，數(shù)據(jù)中心實現(xiàn)了計算資源池化，不同業(yè)務(wù)可以按需申請計算資源；同時，為了滿足計算虛擬化對網(wǎng)絡(luò)技術(shù)提出的大二層互通等新需求，開始應(yīng)用 VxLAN 等網(wǎng)絡(luò)虛擬化技術(shù)，數(shù)據(jù)中心建設(shè)進入了 DC2.0 。在這個階段， IT 各部門負責(zé)前期統(tǒng)一規(guī)劃建設(shè)和定期擴容，業(yè)務(wù)部門按需申請池化資源配額，項目建設(shè)及擴容不再和業(yè)務(wù)部門具體項目強相關(guān)。計算和網(wǎng)絡(luò)虛擬化技術(shù)的融合，有效提高了資源利用率，縮短了資源交付周期。

25、隨著云計算技術(shù)的發(fā)展，數(shù)據(jù)中心跨入 DC3.0 時代。云平臺作為面向業(yè)務(wù)部門的用戶界面，統(tǒng)一整合了對數(shù)據(jù)中心的計算、存儲、網(wǎng)絡(luò)池化資源，同時提供實時自助申請界面，幫助業(yè)務(wù)部門將業(yè)務(wù)開通時間縮短到分鐘級別，真正實現(xiàn)了面向應(yīng)用的自動化。3.2 數(shù)據(jù)中心解決方案架構(gòu)組成3.3 數(shù)據(jù)中心解決方案特點 新 IT 業(yè)務(wù)平面和運維平面無縫融合，支撐面向應(yīng)用的自動化Fabric Director 作為面向監(jiān)控運維的基礎(chǔ)架構(gòu)管理平面，負責(zé)數(shù)據(jù)中心物理資源的部署、納管，物理及虛擬資源的運維和監(jiān)控；云平臺作為面向交付的云 & 租戶管理平面，負責(zé)數(shù)據(jù)中心虛擬資源部署，同時為 PaaS 及 SaaS 層面的應(yīng)用自動化部

26、署提供支持。兩者以數(shù)據(jù)中心資源生命周期管理為軸，實現(xiàn)了無縫融合。 開放、自動化、可編程的下一代網(wǎng)絡(luò)架構(gòu)，適用多種典型場景1、SDN 場景：SDN 控制器承上啟下，北向提供完整的 Restful API ，通過 Neutron 插件與 OpenStack 對接，同時支持各類第三方云平臺對接；南向納管 Openflow 及 EVPN 兩種組網(wǎng)形式；是當前數(shù)據(jù)中心解決方案的主打場景2、OpenStack Plugin 場景：無 SDN 控制器，由網(wǎng)元上運行的 Comware 平臺直接對接 OpenStack Neutron 組件3、第三方自動化軟件場景：針對特定用戶需求，支持 Ansible 、 P

27、uppet 等第三方自動化軟件，為用戶業(yè)務(wù)提供更多靈活性 完整的軟件定義網(wǎng)絡(luò)模型 SDN ，助力用戶自描述網(wǎng)絡(luò)用戶通過云平臺申請計算資源、存儲資源、租戶虛擬網(wǎng)絡(luò)，其中的計算和存儲資源是業(yè)務(wù)部署需要，而虛擬網(wǎng)絡(luò)負責(zé)將計算和存儲資源連接起來。為了滿足不同業(yè)務(wù)的網(wǎng)絡(luò)互通及隔離需求，必須支持完整的軟件定義網(wǎng)絡(luò)模型，包括：1、提供完整的網(wǎng)絡(luò)抽象模型具備完整網(wǎng)絡(luò)描述能力，抽象端口、 L2 、 L3 網(wǎng)絡(luò)、 L4L7 層網(wǎng)絡(luò)服務(wù)。2、基于網(wǎng)絡(luò)抽象模型，用戶自描述 / 自定義網(wǎng)絡(luò)租戶虛擬網(wǎng)絡(luò)根據(jù)自身需求可靈活自定義，而物理網(wǎng)絡(luò)可保持不變。3、分配、管控、呈現(xiàn)以及運維自定義網(wǎng)絡(luò)網(wǎng)絡(luò)資源可基于租戶、租戶不同業(yè)務(wù)進

28、行細分；支持查看租戶虛擬網(wǎng)絡(luò)拓撲和物理網(wǎng)絡(luò)拓撲的映射關(guān)系，并基于該統(tǒng)一拓撲進行運維和排障。VCF Fabric 網(wǎng)絡(luò)架構(gòu)在實現(xiàn)完整的軟件定義網(wǎng)絡(luò)模型的同時，還提供了多樣化的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制平面模型和 Overlay 組網(wǎng)方式，充分滿足用戶各類網(wǎng)絡(luò)場景需求。4. 某大型企業(yè)項目數(shù)據(jù)中心 SDN 網(wǎng)絡(luò)解決方案4.1 方案設(shè)計原則某大型企業(yè)數(shù)據(jù)中心項目從業(yè)務(wù)實際需求出發(fā)，充分利用信息技術(shù)優(yōu)勢，從大處著眼，小處著手，與用戶共同建設(shè)一個目標明確、管理清晰、執(zhí)行順利、平穩(wěn)運行的項目，在系統(tǒng)的建設(shè)和管理過程中，我們將遵循以下原則：1 、注重頂層設(shè)計、統(tǒng)籌規(guī)劃，分步實施原則在項目的整體規(guī)劃和總體設(shè)計階段做好統(tǒng)一設(shè)

29、計、統(tǒng)一標準、統(tǒng)一規(guī)范，然后分層、分階段、逐步建設(shè)，關(guān)注每個階段的產(chǎn)出和成果，在統(tǒng)一的目標下逐步完成整個項目的策略、需求、分析、設(shè)計、研發(fā)、測試、部署、試運行、培訓(xùn)、運維等工作。同時充分發(fā)揮各類項目相關(guān)人的知識能動性，提供信息化建設(shè)的咨詢指導(dǎo)。2 、強化應(yīng)用建設(shè)，突出應(yīng)用，關(guān)注實用原則數(shù)據(jù)中心建設(shè)項目的建設(shè)效果和建設(shè)思路直接體現(xiàn)了建設(shè)項目最直接的產(chǎn)出。因此，我們在建設(shè)項目過程中，將重點突出項目的應(yīng)用目的，關(guān)注實用價值，以應(yīng)用和需求為主導(dǎo)，并在建設(shè)的過程中基于業(yè)務(wù)服務(wù)的要求、 IT 技術(shù)的發(fā)展，邊建設(shè)、邊開發(fā)、邊應(yīng)用、邊完善，讓應(yīng)用的實際效果作為項目直接驅(qū)動要素。3 、追求架構(gòu)先進、技術(shù)成熟，擴

30、展性強原則項目建設(shè)中所采用的技術(shù)架構(gòu)，在一定程度上影響著項目的穩(wěn)定性，也影響到項目未來的發(fā)展。因此在實施過程中我們將放眼長遠，在保證可靠的基礎(chǔ)上，盡量采用先進的網(wǎng)絡(luò)技術(shù)、應(yīng)用平臺和開發(fā)工具，使數(shù)據(jù)中心系統(tǒng)建設(shè)項目具有較長的生命周期。4 、經(jīng)濟實用、節(jié)約成本原則無論在產(chǎn)品的選型、技術(shù)的選擇中，我們都要考慮成本的約束，其中不僅考慮當前采購的經(jīng)濟性，還要考慮系統(tǒng)長期運維的經(jīng)濟性，即系統(tǒng)的總擁有成本，盡力選擇既經(jīng)濟可行又長期保障的產(chǎn)品和技術(shù)。5 、確保安全、保護隱私原則在系統(tǒng)建設(shè)中要充分考慮到系統(tǒng)安全性以及敏感信息的隱私性，避免數(shù)據(jù)出現(xiàn)在共享信息里，從網(wǎng)絡(luò)系統(tǒng)、硬件子系統(tǒng)、軟件子系統(tǒng)的設(shè)計都要充分考慮

31、安全保密，采用安全可靠的技術(shù)，保證建成的系統(tǒng)穩(wěn)定運行。6 、重視資源、強調(diào)成長原則在項目建設(shè)的過程中，注重信息資源和人力資源的管理，在數(shù)據(jù)資源方面，注重網(wǎng)絡(luò)資源共享的效率性，實現(xiàn)網(wǎng)絡(luò)互連、信息互通、資源共享，應(yīng)用交互與協(xié)同的網(wǎng)絡(luò)環(huán)境，同時注重各級人力資源配置的合理性，做好培訓(xùn)工作，與甲方的工作人員共同成長，充分發(fā)揮資源效能。7 、保護投資、充分利舊原則在本項目建設(shè)過程中，充分利用現(xiàn)有資源，防止新鋪攤子和重復(fù)建設(shè)，所有建設(shè)內(nèi)容都依托現(xiàn)有條件和隊伍進行建設(shè)，充分利用現(xiàn)有的資源、成果、設(shè)備，不搞重復(fù)建設(shè)。8 、先進性和成熟性遵守先進性、可行性、成熟性，以保證系統(tǒng)的互操作性、兼容性、可維護性、可擴展性

32、，并對前期投資有較好的保護。9 、一致性和復(fù)用性本項目建設(shè)應(yīng)充分考慮業(yè)務(wù)需求，要最大限度利用已有的資源，以減少重復(fù)投資，提高投資收益率。10 、實施有序性統(tǒng)籌協(xié)調(diào)，建立相關(guān)管理制度，加強管理和指導(dǎo)，確保協(xié)調(diào)推進，有序?qū)嵤ＷC項目能夠順利、按時完成。4.2 整體組網(wǎng)設(shè)計典型的 ADDC 組網(wǎng)圖如上圖所述，在這個圖中，轉(zhuǎn)發(fā)層的設(shè)備包括 vswitch 虛擬交換機、 vxlan 二層網(wǎng)關(guān)、 vxlan 三層網(wǎng)關(guān)、 vFW 、 vLB 、其他普通的路由交換設(shè)備?？刂茖釉O(shè)備為 VCF 控制器。管理層設(shè)備為 VCFD （ ADDC Director ）?？刂茖釉O(shè)備和管理層設(shè)備可以集中部署在網(wǎng)絡(luò)管理區(qū)。物

33、理設(shè)備由 Director 進行管理，可一鍵完成基礎(chǔ) underlay 網(wǎng)絡(luò)、服務(wù)器和存儲的自動化部署；在業(yè)務(wù)網(wǎng)絡(luò)層面，通過 VXLAN 技術(shù)構(gòu)建的 Overlay 網(wǎng)絡(luò)可以實現(xiàn)與物理網(wǎng)絡(luò)的解耦，大大提高網(wǎng)絡(luò)的靈活性。VXLAN 網(wǎng)絡(luò)通過 SDN 控制器采用下發(fā)流表的方式指導(dǎo)數(shù)據(jù)轉(zhuǎn)發(fā)；對于一個用戶的數(shù)據(jù)中心來說，服務(wù)器包含兩種類型，即虛擬化服務(wù)器和非虛擬化服務(wù)器，虛擬化的服務(wù)器可以采用 vswitch 作為 vtep ，物理服務(wù)器則采用支持 Vxlan 的物理交換機作為 vtep ?？刂破矫娼柚呖煽康?SDN Controller VCFC 集群實現(xiàn)管理和配置， VCFC 控制器集中控制 v

34、tep 和 vxlan 二層網(wǎng)關(guān)、 vxlan 三層網(wǎng)關(guān)。Fabric 區(qū)域網(wǎng)絡(luò)的所有設(shè)備由 SDN 控制器 +VCFD 通過標準協(xié)議集中管理， VCFC 負責(zé)控制平面， VCFD 負責(zé)管理平面，減少了傳統(tǒng)設(shè)備管理的復(fù)雜性。同時當用戶業(yè)務(wù)擴展時，通過集中管理用戶可以方便快速的部署網(wǎng)絡(luò)設(shè)備，完成 Overlay 和 Underlay 網(wǎng)絡(luò)的自動化交付，便于網(wǎng)絡(luò)的擴展和管理。核心 Spine 設(shè)備核心系列交換機主要提供 VXLAN 三層網(wǎng)關(guān)功能，網(wǎng)關(guān)之間可以采用堆疊方式部署；支持 VXLAN 報文的封裝與解封裝，并根據(jù)內(nèi)層報文的 IP 頭部進行三層轉(zhuǎn)發(fā)，支持跨 VXLAN 之間的轉(zhuǎn)發(fā)，支持 VXL

35、AN 和傳統(tǒng) VLAN 之間的互通。如果采用網(wǎng)絡(luò) Overlay 方式部署，即 VXLAN 協(xié)議由物理網(wǎng)絡(luò)交換機處理，作為 vSwith 下的 VM 或物理服務(wù)器的接入設(shè)備；采用該方式可以最大利用硬件交換機的芯片高速轉(zhuǎn)發(fā)，對于新建的數(shù)據(jù)中心推薦或增加新的業(yè)務(wù)單元模塊時推薦使用。如果采用主機 Overlay 方式部署，即 VXLAN 協(xié)議由虛擬網(wǎng)絡(luò)交換機處理，虛擬交換機可以提供 VXLAN 協(xié)議封裝、解封裝功能，支撐 VM 接入到 SDN 的 Overlay 網(wǎng)絡(luò)。用該方式可以最大利用現(xiàn)有的網(wǎng)絡(luò)交換機進行部署，無需更換，對于已建成的數(shù)據(jù)中心 SDN 改造場景可以采用。服務(wù)鏈功能主要是用來提供租戶

36、內(nèi)東西向流量的安全服務(wù)，此功能由硬件安全設(shè)備或基于 NFV 形態(tài)的軟件安全設(shè)備來承擔(dān)；控制器支持集中控制整個服務(wù)鏈的構(gòu)建與部署，將 NFV 形態(tài)或硬件形態(tài)的的服務(wù)資源抽象為統(tǒng)一的服務(wù)資源池，數(shù)據(jù)需要按照業(yè)務(wù)邏輯所定義的順序，依次經(jīng)過這些服務(wù)節(jié)點，實現(xiàn)服務(wù)鏈的自定義和統(tǒng)一編排。4.3 數(shù)據(jù)中心 SDN 網(wǎng)絡(luò)基礎(chǔ)架構(gòu)Overlay 網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)如下圖所示：Overlay 網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)VM（ Virtual Machine ，虛擬機）在一臺服務(wù)器上可以創(chuàng)建多臺虛擬機，不同的虛擬機可以屬于不同的 VXLAN 。屬于相同 VXLAN 的虛擬機處于同一個邏輯二層網(wǎng)絡(luò)，彼此之間二層互通。兩個 VXLAN

37、 可以具有相同的 MAC 地址，但一個段不能有一個重復(fù)的 MAC 地址。VTEP（ VXLAN Tunnel End Point ， VXLAN 隧道端點）VXLAN 的邊緣設(shè)備，進行 VXLAN 業(yè)務(wù)處理：識別以太網(wǎng)數(shù)據(jù)幀所屬的 VXLAN 、基于 VXLAN 對數(shù)據(jù)幀進行二層轉(zhuǎn)發(fā)、封裝 / 解封裝 VXLAN 報文等。VXLAN 通過在物理網(wǎng)絡(luò)的邊緣設(shè)置智能實體 VTEP ，實現(xiàn)了虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)的隔離。VTEP 之間建立隧道，在物理網(wǎng)絡(luò)上傳輸虛擬網(wǎng)絡(luò)的數(shù)據(jù)幀，物理網(wǎng)絡(luò)不感知虛擬網(wǎng)絡(luò)。VTEP 將從虛擬機發(fā)出 / 接受的幀封裝 / 解封裝，而虛擬機并不區(qū)分 VNI 和 VXLAN 隧道。

38、VNI(VXLAN Network Identifier ， VXLAN 網(wǎng)絡(luò)標識符 )VXLAN 采用 24 比特標識二層網(wǎng)絡(luò)分段，使用 VNI 來標識二層網(wǎng)絡(luò)分段，每個 VNI 標識一個 VXLAN ，類似于 VLAN ID 作用。VNI 占用 24 比特，這就提供了近 16M 可以使用的 VXLANs 。VNI 將內(nèi)部的幀封裝（幀起源在虛擬機）。使用 VNI 封裝有助于 VXLAN 建立隧道，該隧道在第 3 層網(wǎng)絡(luò)之上覆蓋率第二層網(wǎng)絡(luò)。VXLAN 隧道在兩個 VTEP 之間完成 VXLAN 封裝報文傳輸?shù)倪壿嬎淼馈I(yè)務(wù)入隧道進行 VXLAN 頭、 UDP 頭、 IP 頭封裝后，通過三層轉(zhuǎn)

39、發(fā)透明地將封裝后的報文轉(zhuǎn)發(fā)給遠端 VTEP ，遠端 VTEP 對其進行出隧道解封裝處理。VSI（ Virtual Switching Instance ，虛擬交換實例）VTEP 上為一個 VXLAN 提供二層交換服務(wù)的虛擬交換實例。4.4 詳細設(shè)計內(nèi)容4.4.1 OverlayOverlay 基礎(chǔ)概念Overlay 在網(wǎng)絡(luò)技術(shù)領(lǐng)域，是一種網(wǎng)絡(luò)架構(gòu)上疊加的虛擬化技術(shù)模式，其大體框架是對基礎(chǔ)網(wǎng)絡(luò)不進行大規(guī)模修改的條件下，實現(xiàn)應(yīng)用在網(wǎng)絡(luò)上的承載，并能與其它網(wǎng)絡(luò)業(yè)務(wù)分離，并且以基于 IP 的基礎(chǔ)網(wǎng)絡(luò)技術(shù)為主。Overlay 網(wǎng)絡(luò)是指建立在已有網(wǎng)絡(luò)上的虛擬網(wǎng)，邏輯節(jié)點和邏輯鏈路構(gòu)成了 Overlay 網(wǎng)

40、絡(luò)。Overlay 網(wǎng)絡(luò)是具有獨立的控制和轉(zhuǎn)發(fā)平面，對于連接在 overlay 邊緣設(shè)備之外的終端系統(tǒng)來說，物理網(wǎng)絡(luò)是透明的。Overlay 網(wǎng)絡(luò)是物理網(wǎng)絡(luò)向云和虛擬化的深度延伸，使云資源池化能力可以擺脫物理網(wǎng)絡(luò)的重重限制，是實現(xiàn)云網(wǎng)安融合的關(guān)鍵。Overlay 網(wǎng)絡(luò)概念圖Overlay 技術(shù)標準IETF 在 Overlay 技術(shù)領(lǐng)域提出 VXLAN 、 NVGRE 、 STT 三大技術(shù)方案。大體思路均是將以太網(wǎng)報文承載到某種隧道層面，差異性在于選擇和構(gòu)造隧道的不同，而底層均是 IP 轉(zhuǎn)發(fā)。VXLAN 和 STT 對于現(xiàn)網(wǎng)設(shè)備而言對流量均衡要求較低，即負載鏈路負載分擔(dān)適應(yīng)性好，一般的網(wǎng)絡(luò)設(shè)備都

41、能對 L2-L4 的數(shù)據(jù)內(nèi)容參數(shù)進行鏈路聚合或等價路由的流量均衡，而 NVGRE 則需要網(wǎng)絡(luò)設(shè)備對 GRE 擴展頭感知并對 flow ID 進行 HASH ，需要硬件升級；STT 對于 TCP 有較大修改，隧道模式接近 UDP 性質(zhì)，隧道構(gòu)造技術(shù)屬于革新性，且復(fù)雜度較高，而 VXLAN 利用了現(xiàn)有通用的 UDP 傳輸，成熟性極高。所以總體比較， VLXAN 技術(shù)具有更大優(yōu)勢，而且當前 VLXAN 也得到了更多廠家和客戶的支持，已經(jīng)成為 Overlay 技術(shù)的主流標準，所以本文的后續(xù)介紹均以 VXLAN 技術(shù)作為標準進行介紹， NVGRE 、 STT 則不再贅述。VXLAN （ Virtual

42、eXtensible LAN ，可擴展虛擬局域網(wǎng)絡(luò)）是基于 IP 網(wǎng)絡(luò)、采用“ MAC in UDP ”封裝形式的二層 VPN 技術(shù)，具體封裝的報文格式如圖 2 所示。VXLAN 可以基于已有的服務(wù)提供商或企業(yè) IP 網(wǎng)絡(luò)，為分散的物理站點提供二層互聯(lián)功能，主要應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)。VXLAN 具有如下特點：使用 24 位的標識符，最多可支持 16M 個 VXLAN ，解決了傳統(tǒng)二層網(wǎng)絡(luò) VLAN 資源不足的問題?；?IP 網(wǎng)絡(luò)組建大二層網(wǎng)絡(luò)，使得網(wǎng)絡(luò)部署和維護更加容易，并且可以好地利用現(xiàn)有的 IP 網(wǎng)絡(luò)技術(shù)，例如利用等價路由負載分擔(dān)。只有邊緣設(shè)備需要進行 VXLAN 處理， VXLAN 業(yè)務(wù)

43、對網(wǎng)絡(luò)中間設(shè)備透明，只需根據(jù) IP 頭轉(zhuǎn)發(fā)報文，降低了網(wǎng)絡(luò)部署的難度和費用。VXLAN 工作原理VXLAN 是一個網(wǎng)絡(luò)封裝機制，它從兩個方面解決了移動性和擴展性：它是 MAC in UDP 的封裝，允許主機間通信通過一個 Overlay 網(wǎng)絡(luò)，這個 Overlay 網(wǎng)絡(luò)可以橫跨多個物理網(wǎng)絡(luò)。這是一個獨立于底層物理網(wǎng)絡(luò)的邏輯網(wǎng)絡(luò)，虛機遷移時不再需要改動物理設(shè)備的配置。VXLAN 用 24-bit 的標識符，表示一個物理網(wǎng)絡(luò)可以支持 1600 萬個邏輯網(wǎng)段。數(shù)量級大大超過數(shù)據(jù)中心 VLAN 的限制（ 4094 ）在 ADDC 體系結(jié)構(gòu)中，封裝工作在 VTEP 上執(zhí)行， VTEP 可以是 vswit

44、ch ，或者是物理設(shè)備。這樣， VXLAN 對主機和底層三層網(wǎng)絡(luò)來說都是透明的。VXLAN 和 非 VXLAN 主機（例如，物理服務(wù)器或 Internet 路由器）之間的網(wǎng)關(guān)服務(wù)由 VXLAN 三層網(wǎng)關(guān)設(shè)備執(zhí)行。Vxlan 三層網(wǎng)關(guān)將 VXLAN 網(wǎng)段 ID 轉(zhuǎn)換為 VLAN ID ，因此非 VXLAN 主機可以與 VXLAN 虛擬服務(wù)器通信。Overlay 網(wǎng)絡(luò)分為 2 個平面，數(shù)據(jù)平面和控制平面。Overlay 數(shù)據(jù)平面提供提供數(shù)據(jù)封裝，基于承載網(wǎng)絡(luò)傳輸 ， VXLAN 使用 MAC over UDP 封裝Overlay 控制平面提供1 、服務(wù)發(fā)現(xiàn)（ Service Discovery ）

45、Overlay 邊緣設(shè)備如何發(fā)現(xiàn)彼此，以便建立 Overlay 隧道關(guān)系2 、地址通告和映射（ Address Advertising and Mapping ）Overlay 邊緣設(shè)備如何交換其學(xué)習(xí)到的主機可達性信息（包括但不限于 MAC 地址、或 IP 地址、或其他地址信息）Overlay 邊緣設(shè)備到主機的可達性問題，物理網(wǎng)絡(luò)和 Overlay 網(wǎng)絡(luò)地址映射3 、隧道管理（ Tunnel Management ）ADDC 1.0 強控解決方案 VXLAN 的控制平面是通過 SDN 控制器學(xué)習(xí) , 由于控制器了解整 網(wǎng)的拓撲結(jié)構(gòu)， VM 管理器知道虛擬機的位置和狀態(tài)，這樣，通過控制器與 VM

46、 管理器的聯(lián)動，就可以很容易實現(xiàn)基于控制器完成控制平面的地址學(xué)習(xí)，然后通過標準 OpenFlow 協(xié)議下發(fā)到網(wǎng)絡(luò)設(shè)備。控制器支持多個節(jié)點集群，提供了高可靠性和極強的擴展性。4.4.2 主機部署與物理位置解耦和通過使用 MAC-in-UDP 封裝技術(shù)， VXLAN 為虛擬機提供了位置無關(guān)的二層抽象， Underlay 網(wǎng)絡(luò)和 Overlay 網(wǎng)絡(luò)解耦合。終端能看到的只是虛擬的二層連接關(guān)系，完全意識不到物理網(wǎng)絡(luò)限制。更重要的是，這種技術(shù)支持跨傳統(tǒng)網(wǎng)絡(luò)邊界的虛擬化，由此支持虛擬機可以自由遷移，甚至可以跨越不同地理位置數(shù)據(jù)中心進行遷移。如此以來，可以支持虛擬機隨時隨地接入，不受實際所在物理位置的限制。

47、所以 VXLAN 的位置無關(guān)性，不僅使得業(yè)務(wù)可在任意位置靈活部署，緩解了服務(wù)器虛擬化后相關(guān)的網(wǎng)絡(luò)擴展問題；而且使得虛擬機可以隨時隨地接入、遷移，是網(wǎng)絡(luò)資源池化的最佳解決方式，可以有力地支持云業(yè)務(wù)、大數(shù)據(jù)、虛擬化的迅猛發(fā)展。4.4.3 Overlay 網(wǎng)絡(luò)流表路由ARP 代答對于虛擬化環(huán)境來說，當一個虛擬機需要和另一個虛擬機進行通信時，首先需要通過 ARP 的廣播請求獲得對方的 MAC 地址。由于 VXLAN 網(wǎng)絡(luò)復(fù)雜，廣播流量浪費帶寬，所以需要在控制器上實現(xiàn) ARP 代答功能。即由控制器對 ARP 請求報文統(tǒng)一進行應(yīng)答，而不創(chuàng)建廣播流表。ARP 代答的大致流程：控制器收到 OVS 上送的 AR

48、P 請求報文，做 IP-MAC 防欺騙處理確認報文合法后，從 ARP 請求報文中獲取目的 IP ，以目的 IP 為索引查找全局表獲取對應(yīng) MAC ，以查到的 MAC 作為源 MAC 構(gòu)建 ARP 應(yīng)答報文，通過 Packetout 下發(fā)給 OVS 。4.4.4 強控方案模式主機遷移策略跟隨在虛擬化環(huán)境中，虛擬機故障、動態(tài)資源調(diào)度功能、服務(wù)器主機故障或計劃內(nèi)停機等都會造成虛擬機遷移動作的發(fā)生。虛擬機的遷移，需要保證遷移虛擬機和其他虛擬機直接的業(yè)務(wù)不能中斷，而且虛擬機對應(yīng)的網(wǎng)絡(luò)策略也必須同步遷移。網(wǎng)絡(luò)管理員通過虛擬機管理平臺下發(fā)虛擬機遷移指令，虛擬機管理平臺通知控制器預(yù)遷移，控制器標記遷移端口，并

49、向源主機和目的主機對應(yīng)的主備控制器分布發(fā)送同步消息，通知遷移的 VPort ，增加遷移標記。同步完成后，控制器通知虛擬機管理平臺可以進行遷移了。虛擬機管理平臺收到控制器的通知后，開始遷移，創(chuàng)建 VM 分配 IP 等資源并啟動 VM 。啟動后目的主機上報端口添加事件，通知給控制器，控制器判斷遷移標記，遷移端口，保存新上報端口和舊端口信息。然后控制器向目的主機下發(fā)網(wǎng)絡(luò)策略。源 VM 和目的執(zhí)行內(nèi)存拷貝，內(nèi)存拷貝結(jié)束后，源 VM 關(guān)機，目的 VM 上線。源 VM 關(guān)機后，遷移源主機上報端口刪除事件，通知給控制器，控制器判斷遷移標記，控制器根據(jù)信息刪除舊端口信息并同時刪除遷移前舊端口對應(yīng)的流表信息。主

50、控制器完成上述操作后在控制器集群內(nèi)進行刪除端口消息的通知。其他控制器收到刪除端口信息后，也刪除本控制器的端口信息，同時刪除對應(yīng)端的流表信息。源控制器需要把遷移后新端口通知控制器集群的其他控制器。其他控制器收到遷移后的端口信息，更新端口信息。當控制器重新收到 Packet-in 報文后，重新觸發(fā)新的流表生成。4.4.5 安全服務(wù)鏈部署傳統(tǒng)的安全防護流量走向依賴于拓撲結(jié)構(gòu)，各種的手工配置方式，靜態(tài)、分散的配置方式，設(shè)備處理能力不可復(fù)用，單設(shè)備縱向擴展。這種防護模式不適應(yīng)云計算時代對于安全防護的要求。云計算時代，計算資源池化，計算資源可以自由調(diào)度、動態(tài)擴展，網(wǎng)絡(luò)資源通過 VXLAN 技術(shù)池化，那么安

51、全作為一種重要的網(wǎng)絡(luò)服務(wù)是不是也能夠彈性資源化，能夠?qū)崿F(xiàn)與拓撲無關(guān)的自動化部署與管理？服務(wù)鏈的定義由 VCF 控制器來統(tǒng)一定義規(guī)劃，實現(xiàn)安全資源與拓撲無關(guān)。帶來的好處有：1、安全服務(wù)基于 Overlay 邏輯網(wǎng)絡(luò)，無須手工配置及引流，服務(wù)自動化部署。給用戶帶來業(yè)務(wù)快速上線，業(yè)務(wù)遷移服務(wù)自動跟隨的好處。2、服務(wù)資源池化 按需使用、線性擴展 形態(tài)多樣、位置無關(guān)。使得業(yè)務(wù)成本降低，業(yè)務(wù)可擴展性強。3、服務(wù)節(jié)點與轉(zhuǎn)發(fā)節(jié)點分離，一次流分類?？蓪崿F(xiàn)按業(yè)務(wù)需求對服務(wù)進行編排。4.5 單 Fabric 組網(wǎng)設(shè)計1 ） 整網(wǎng)架構(gòu)采用 Spine+Leaf 兩層結(jié)構(gòu)設(shè)計 ,Leaf 分為 Border Leaf

52、（出口）， Server Leaf （ TOR 服務(wù)器接入）、 Service Leaf （安全資源池接入），將支持 MP-BGP EVPN 功能的交換機作為數(shù)據(jù)中心架構(gòu)中的 Spine 交換設(shè)備；2 ） TOR 接入?yún)^(qū)分為計算資源接入和安全資源池接入。3 ） 控制平面采用 MP-BGP EVPN 協(xié)議，數(shù)據(jù)平面采用 VXLAN 。4 ） Underlay 采用 OSPF 路由協(xié)議， Spine 為 iBGP RR 角色；5 ） Overlay VXLAN L3/L2 網(wǎng)關(guān)部署在 LEAF 節(jié)點， LEAF 采用 40G 上行接入 SPINE 節(jié)點。同時 LEAF 可以為服務(wù)器提供 1G/10

53、G/25G 服務(wù)器接入能力。6 ） 東西向安全，利用安全資源池為邏輯區(qū)域間訪問提供安全控制和 LB 服務(wù)。7 ） 運維管理區(qū)部署 VCF Director （ VCFD ） 、 SDN 控制器（ VCFC ）、云平臺等。VCFD 實現(xiàn)對數(shù)據(jù)中心基礎(chǔ)設(shè)施自動化部署及 Overlay 網(wǎng)絡(luò)運行維護監(jiān)控， VCFC 控制器實現(xiàn)對 Overlay 網(wǎng)絡(luò)的調(diào)度管理，通過帶外管理方式管理業(yè)務(wù)區(qū)，其中 SDN 控制器可以與原生標準 OpenStack 云平臺對接，對于其他非 Openstack 云平臺或非原生 Openstack 云平臺（經(jīng)過二次開發(fā)），可以通過控制器 Restful Api 方式進行對接，

54、需要評估開發(fā)工作量。4.6 方案主要功能SDN 、 EVPN 、 VXLAN ：通過 SDN 、 EVPN 和 VXLAN 技術(shù)，支持業(yè)務(wù)應(yīng)用系統(tǒng)運行自虛擬網(wǎng)絡(luò)環(huán)境中，使得業(yè)務(wù)網(wǎng)絡(luò)不再受限于物理網(wǎng)絡(luò)設(shè)備位置限制，實現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)按需自動化部署。服務(wù)鏈：當通過服務(wù)鏈，用戶可以依據(jù)自身業(yè)務(wù)需求，自定義業(yè)務(wù)的安全訪問路徑。這樣使得用戶可以對業(yè)務(wù)應(yīng)用系統(tǒng)靈活的實施安全防護策略。VPC 租戶：在云平臺為租戶提供私有云環(huán)境，這樣使得租戶間從邏輯上完全隔離。從而保證租戶間業(yè)務(wù)應(yīng)用系統(tǒng)相互沒有任何影響。例如，租戶間業(yè)務(wù)應(yīng)用 IP 地址重疊了，也不會互相影響。第三方安全設(shè)備東西向引流，可納管第三方安全設(shè)備，目前實施

55、項目中已經(jīng)對接過的廠商有 F5 、山石、迪普等，對于在 Openstack 社區(qū)中提供安全設(shè)備插件接口的其他廠家，同樣可以納管。支持多層級端口綁定特性，突破 4K VXLAN 限制特性，可對接 Openstack VLAN 組網(wǎng)和 Openstack VXLAN 組網(wǎng)。Underlay 自動化支持路由協(xié)議包含 OSPF 、 ISIS 。Overlay 自動化支持配置按需下發(fā)。5. 下一代 SDN 數(shù)據(jù)中心的優(yōu)勢方案采用云網(wǎng)安融合的建設(shè)思路， Overlay 技術(shù)為支撐，為客戶帶來以下價值：（ 1 ）兼容第三方設(shè)備的全網(wǎng)絡(luò)虛擬化能力，構(gòu)建“一網(wǎng)一設(shè)備”的交換矩陣。基于 IP 網(wǎng)絡(luò)構(gòu)建 Fabri

56、c 。無特殊拓撲限制， IP 可達即可；承載網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)分離；對現(xiàn)有網(wǎng)絡(luò)改動較小，保護用戶現(xiàn)有投資。（ 2 ）豐富的云特性，業(yè)界最佳的將“計算、存儲、網(wǎng)絡(luò)和安全資源”統(tǒng)一靈活部署的多租戶方案。（ 3 ）基于 SDN 架構(gòu)的高度自動化運維能力。（ 4 ）支持 VMware 、 Microsoft Hyper-V 、 CAS 、 KVM 和 XEN 等主流虛擬化平臺。（ 5 ）原生的災(zāi)備建設(shè)能力。（ 6 ）網(wǎng)絡(luò)配置一次成型，業(yè)務(wù)擴容與變更無需改動網(wǎng)絡(luò)，大幅度減少網(wǎng)絡(luò)運維工作量。網(wǎng)絡(luò)簡化、安全。虛擬網(wǎng)絡(luò)支持 L2 、 L3 等，無需運行 LAN 協(xié)議，骨干網(wǎng)絡(luò)無需大量 VLAN Trunk 。（

57、7 ）簡化網(wǎng)絡(luò) IP 地址的規(guī)劃，用于設(shè)備互連的 IP 網(wǎng)段和用于業(yè)務(wù)通信的 IP 網(wǎng)段互相不重疊。（ 8 ）加快應(yīng)用部署速度，應(yīng)用可以在任意位置部署，配置好自己的 IP 地址即可實現(xiàn)通信，無需變更網(wǎng)絡(luò)，應(yīng)用部署速度從以周計縮短為以天計。（ 9 ）轉(zhuǎn)發(fā)優(yōu)化和表項容量增大。消除了 MAC 表項學(xué)習(xí)泛濫， ARP 等泛洪流量可達范圍可控，且東西向流量無需經(jīng)過網(wǎng)關(guān)。5.1 整網(wǎng)設(shè)計架構(gòu)開放、標準、兼容1 、 L4-L7 層開放兼容，可以納管第三方安全品牌的設(shè)備、 F5 的設(shè)備，對于第三方安全設(shè)備納管采用 openstack 標準的 FWaas/LBaas 等安全云插件形式，提升異構(gòu)廠商組網(wǎng)的開放能力

58、和標準化程度 ;2 、北向接口開放，不同于傳統(tǒng) SDN 控制器只提供 Rest API ， VCF Controller 可以同時提供 Rest API 和 JAVA API ，給用戶更多靈活的選擇。理論上可以對接任何品牌的云平臺、客戶自身的應(yīng)用 APP ，但實際部署中主要考慮基于 Openstack 平臺的商用產(chǎn)品，有標準的插件進行對接；3 、南向接口開放，有利于基礎(chǔ)設(shè)施層設(shè)備納管，不會被綁定，即使需要管理第三方品牌的交換機，也可以考慮定制化；4 、 Overlay 網(wǎng)絡(luò)的控制層面采用標準 RFC 定義的 EVPN 協(xié)議，不摻雜私有協(xié)議；5 、可視化采集使用 SNMP 、 NETCONF 等

59、標準協(xié)議，不摻雜廠商私有協(xié)議，可以有效的監(jiān)控數(shù)據(jù)中心除網(wǎng)絡(luò)設(shè)備、 SDN 控制器之外的，服務(wù)器、存儲等運行狀態(tài)。5.2 可靠性保證新型數(shù)據(jù)中心承載者用戶 80% 以上的核心業(yè)務(wù)，對于企業(yè)的重要程度不言而喻。其可靠性需要全方位保證方案提供從設(shè)備級到方案級的各層次可靠性保證機制。leaf 采用虛擬化技術(shù)，保證設(shè)備和鏈路的冗余可靠；Spine 設(shè)備部互聯(lián)， underlay 進行動態(tài)路由部署，采用 ECMP 提升業(yè)務(wù)轉(zhuǎn)發(fā)的可靠性；Border 設(shè)備采用對稱式和非對稱結(jié)合部署，保證出口區(qū)設(shè)備的冗余可靠性；SDN 控制器提供集群機制，集群內(nèi)通過 region 機制，既保證 SDN 網(wǎng)絡(luò)規(guī)模的可持續(xù)增加，

60、也保證了 SDN 控制器側(cè)的穩(wěn)定可靠，同時為了保證 SDN 控制器的安全性，可提供基于本地認證或者 AAA 認證的方式，同時基于角色來控制權(quán)限，區(qū)分前端權(quán)限和后端權(quán)限，保證用戶靈活使用的同時，把安全做到最極致。采用三平面分離架構(gòu)設(shè)計，采用 MP-BGP EVPN 作為 VxLAN 控制面的弱控組網(wǎng)模型，管理面由 SDN 控制器承擔(dān)，進行業(yè)務(wù)驅(qū)動的流量調(diào)度；數(shù)據(jù)轉(zhuǎn)發(fā)面依賴 underlay 強壯的 IP 網(wǎng)絡(luò)完成。安全設(shè)備類型豐富，可以包含防火墻、 WAF 、 LB 、 IPS 等設(shè)備；安全設(shè)備形態(tài)多樣，可以用硬件的設(shè)備，也可以用 NFV （軟件，基于 SDN 理念設(shè)計）的設(shè)備；可以做細顆粒度的