電信運營商SDN建設指導意見通用模版

SDN建設指導意見2017年3月目錄表格1前言SDN（軟件定義網絡）是多種力量共同作用的結果。SDN是適應云計算在計算虛擬化后對網絡虛擬化的需求而發(fā)展起來的，是ICT產業(yè)整體軟件化趨勢體現，也是商業(yè)利益博弈的結果。SDN的出現使得網絡向開放、通用架構演進。傳統(tǒng)通信行業(yè)封閉的壁壘被擊破，產業(yè)鏈面臨重新洗牌。在產業(yè)鏈中作為網絡運營主體的電信運營商，可充分發(fā)揮商用硬件廉價和虛擬化技術高效的能力，通過軟件定義的方式降低網絡構建和運維成本，提升網絡業(yè)務創(chuàng)新能力。國內運營商堅持以解決現有網絡實際問題為出發(fā)點，根據技術成熟度積極穩(wěn)妥的探索SDN的部署應用。以業(yè)務資源池為例，集團網發(fā)部針對云資源池網絡自動化配置的實際需求，在2014年、2015年云計算現場試驗中，對廣東、浙江、江蘇等省公司的資源池進行了SDN技術的試驗部署。前期的SDN部署探索為規(guī)?；隨DN技術積累了寶貴經驗。當前，國內運營商已提出了網絡全面重構的戰(zhàn)略目標，在未來10年從網絡云化、新老網絡協(xié)同和網絡能力開放方面推進網絡重構，實現簡潔、敏捷、開放和集約的新型網絡。以能力開放、快速部署、結構簡化、資源集約為特點的SDN正是網絡重構的關鍵抓手。SDN技術將帶來網絡智能位置的改變，通過分離控制面與轉發(fā)面，SDN將由傳統(tǒng)硬件網絡設備實現的網絡智能抽離，實現與轉發(fā)設備分離的集中式網絡智能（控制面）。同時，SDN基于開放接口實現網絡能力面向上層業(yè)務的開放提供。為更好地指導SDN的部署應用工作，國內運營商集團網發(fā)部組織編寫了《國內運營商SDN建設指導意見》，在國內運營商網絡重構總體戰(zhàn)略指導下，結合現網實際需求和前期SDN技術研究與現場試驗相關工作。本冊針對云資源池網絡自動化場景，涵蓋云資源池物理網絡、疊加網了、計算虛擬化對接、云管理平臺對接、業(yè)務遷移、防火墻、負載均衡的建設部署方案，用于指導各省公司云資源池SDN的建設部署工作。2國內運營商SDN規(guī)劃目標與發(fā)展思路2016年7月，以簡潔、敏捷、開放、集約為特征，構建軟件化、集約化、云化、開放的目標網絡架構，打造新一代的信息基礎設施，主動、快速、靈活適應互聯網引用。SDN將作為國內運營商的關鍵技術要素及重要抓手，在國內運營商的網絡架構重構工作中將首先應用于數據中心網絡和IP網、傳送網中，初期主要用于流量優(yōu)化調度、快速開通配置等場景，推動向目標網絡的演進。2.1網絡架構及演進路徑2.1.1目標網絡特征國內運營商的目標網絡應具備如下的新特征。（1）簡潔：網絡的層級、種類、類型、數量和接口應盡量減少，降低運營和維護的復雜性和成本。（2）敏捷：網絡提供軟件編程能力，資源具備彈性的可伸縮的能力，便于網絡和業(yè)務的快速部署和保障。（3）開放：網絡能夠形成豐富、便捷的開放能力，主動適應互聯網應用所需。（4）集約：網絡資源應能夠統(tǒng)一規(guī)劃、部署和端到端運營，改變分散、分域情況下高成本、低效率的狀況。伴隨著上述特征的實現，國內運營商將進一步為客戶提供“可視”、“隨選”、“自服務”的網絡能力，提升用戶體驗。（1）網絡可視：面向客戶，提供基于應用的網絡資源視圖（2）資源隨選：面向業(yè)務，提供按需、自動化的網絡資源部署（3）用戶自服務：面向服務，提供基于客戶網絡的自助管理2.1.2目標網絡架構為實現上述目標，面向2025年的國內運營商目標網絡架構從功能層劃分，將由“基礎設施層”、“網絡功能層”和“協(xié)同編排層”三個層面構成。圖2-1目標網絡架構功能視圖（1）基礎設施層：由虛擬資源和硬件資源組成，包括統(tǒng)一云化的虛擬資源池、可抽象的物理資源和專用高性能硬件資源，以通用化和標準化為主要目標提供基礎設施的承載平臺其中，虛擬資源池主要基于云計算和虛擬化技術實現，由網絡功能層中的云管理平臺、VNFM及控制器等進行管理，而難以虛擬化的專用硬件資源則依然主要依賴于現有的EMS和/或NMS進行管理，某些物理資源還可以通過引入抽象層的方式被控制器或協(xié)同器等進行管理。（2）網絡功能層：面向軟件化的網絡功能，結合對虛擬資源、物理資源等的管理系統(tǒng)/平臺，實現邏輯功能和網元實體的分離，便于資源的集約化管控和調度。其中，云管理平臺主要負責對虛擬化基礎設施的管理和協(xié)同，特別是對計算、存儲和網絡資源的統(tǒng)一管控；VNFM主要負責對基于NFV實現的虛擬網絡功能的管理和調度，控制器主要負責基于SDN實現的基礎設施的集中管控。為便于快速部署實施，簡化接口和協(xié)議要求，規(guī)避不同管控系統(tǒng)間信息模型不同造成的互通難度，這些系統(tǒng)與現有的EMS/NMS間不建議直接進行互通，可通過網絡協(xié)同和業(yè)務編排器進行梳通和協(xié)調，完成端到端的網絡和業(yè)務的管理。（3）協(xié)同編排層：提供對網絡功能的協(xié)同和面向業(yè)務的編排，結合IT系統(tǒng)和業(yè)務平臺的能力化加快網絡能力開放，快速響應上層業(yè)務和應用的變化。其中，網絡協(xié)同和業(yè)務編排器主要負責向上對業(yè)務需求的網絡語言翻譯及能力的封裝適配，向下對網絡功能層中的不同管理系統(tǒng)和網元進行協(xié)同，從而保證網絡層面的端到端打通；IT系統(tǒng)和業(yè)務平臺的主要作用則是將網絡資源進行能力化和開放化封裝，便于業(yè)務和應用的標準化調用。2.1.3演進路徑國內運營商堅持“網絡云化”和“新老協(xié)同/能力開放”兩條腿并行方式，分近期和中遠期兩階段推進。表格2-1分階段推進思路階段一（2016-2019年）階段二（2020-2025年）網絡云化選擇部分代表性網元和系統(tǒng)（如CPE、BRAS、EPC、IMS等），結合相關系統(tǒng)升級換代工作，引入NFV。結合虛擬化網元統(tǒng)一部署的要求，推動部分具備條件的機房（CO）向數據中心架構（DC）的方式改造。基于DC承載各類網元，以DC為核心組織端到端網絡；統(tǒng)一全網云資源，實現網元硬件資源的通用化新老協(xié)冋/能力開放在IP網和光網絡中引入SDN控制器、網絡協(xié)同和業(yè)務編排器。網絡協(xié)同和業(yè)務編排器管理“新”網絡，優(yōu)部署統(tǒng)一的頂層網絡協(xié)同和業(yè)務編排器，實現“新老”網絡與設備協(xié)同和業(yè)務端到端一點提供;重點實現網化現有OSS管理“老”網絡。重點強化網絡分析系統(tǒng)，實現網絡可視化，實施統(tǒng)一的全網自動化配置。絡可編程，網絡資源可按需調用。2?2云資源池SDN發(fā)展思路及建設規(guī)劃國內運營商云資源池包括業(yè)務平臺資源池、IT資源池和云數據中心，目前已規(guī)模承載各類應用和系統(tǒng)。其中：業(yè)務平臺資源池統(tǒng)一承載國內運營商內部平臺系統(tǒng)，包括：各類業(yè)務平臺、網絡支撐系統(tǒng)、大數據等。其中所有大型業(yè)務平臺（短信、彩信、WAP網關、ISMP、ISAG、領航平臺、UDB等）已完成云化承載驗證，開始全國推廣部署；iVPN語音平臺虛擬化承載已得到驗證，具備推廣條件IT資源池統(tǒng)一承載國內運營商內部IT支撐系統(tǒng)，包括：各類IT系統(tǒng)（MSS/OSS/BSS/電渠等系統(tǒng)）云數據中心統(tǒng)一承載對外服務的云產品，包括：云主機、云存儲、云桌面等公有云產品服務于大中型企業(yè)客戶的混合云部分內部業(yè)務平臺和IT系統(tǒng)作為云資源池網絡重構的重要環(huán)節(jié)之一，云資源池將引入SDN，構建智能化、集約化、標準化、一體化的云資源池網絡。目標網絡具備以下特征：（1） 智能化自動下發(fā)網絡配置、實現業(yè)務快速發(fā)放精細化、自動化的網絡運維能力與計算、存儲資源協(xié)同（2） 集約化全國統(tǒng)一管理物理位置無關（跨多機房）統(tǒng)一承載跨專業(yè)VNF網元統(tǒng)一承載（3）標準化?支持主流hypervisor多廠家SDN方案、異構SDN組件互通、協(xié)同引入開源技術，遵循行業(yè)事實標準（4）一體化虛擬網絡和物理網絡的配置管理一體化SDN和NFV服務提供及管理一體化軟件網元和硬件網元管理調度一體化圖2-2云資源池SDN建設目標總體視圖云資源池SDN建設目標總體視圖如上所示，從上至下呈兩層架構：1、 架構的第一層是集團云管理平臺。集團云管理平臺統(tǒng)一對接納管各省資源池的SDN控制器。結合對SDN能力的調用，管理平臺實現網絡配置的自動下發(fā)，實現業(yè)務快速發(fā)放；實現精細化、自動化的網絡運維能力；實現網絡、存儲、計算資源的統(tǒng)一編排。2、 架構的第二層由各省資源池的SDN控制器組成。各省資源池的SDN控制器實現該省資源池的網絡自動化配置。各省SDN控制器實現開放接口，向上層集團云管理平臺提供SDN配置管理能力。云資源池SDN目標網絡架構采取分階段的演進思路：第一階段，該階段采取資源池內SDN網絡與傳統(tǒng)網絡共存的部署方式，如下圖所示。資源池選擇部分合適的集群進行SDN部署，資源池其余部分仍保留傳統(tǒng)的網絡提供方式。SDN網絡部分基于控制器實現網絡自動化配置，并通過開放接口實現和上層集團云管理平臺的對接。傳統(tǒng)網絡部分的配置管理仍保持原有方式（基于人工的逐設備配置/網管等）。第二階段，該階段基本實現目標網絡架構。各省的資源池內均已實現SDN網絡的完全覆蓋，SDN控制器基于開放接口與上層集團云管理平臺對接，資源池整體的網絡配置和管理均可由管理平臺實現。圖2-3資源池SDN網絡與傳統(tǒng)網絡共存示意圖建設原則云資源池SDN建設遵循以下原則：（1）引入原則資源池規(guī)模較?。壳耙巡渴鹞锢矸掌魃儆?00臺）的省公司暫不考慮SDN建設原則上新建資源池網絡應基于SDN建設，現存資源池根據需求逐步引入現階段以單節(jié)結點單廠家方案為主各省須結合實際業(yè)務數據和業(yè)務需求預測，科學規(guī)劃SDN投資建設，現階段建設規(guī)模不宜過大優(yōu)先承載小規(guī)模非關鍵業(yè)務（2） 應用場景云資源池優(yōu)先考慮網絡配置復雜或頻繁的業(yè)務，提升網絡部署自動化水平，探索基于SDN整合業(yè)務平臺資源池和IT資源池云數據中心引入SDN，提升網絡部署自動化水平，解決租戶網絡數量受限問題,滿足租戶網絡隔離、配置自服務需求及靈活組網需求（3） 方案選型基于2014、2015和2016年云計算現場試驗在試點省進行的驗證情況，結合現網需求提出以下方案選型建議：以VXLAN作為隧道封裝協(xié)議，現階段原則上采用虛擬交換機作為隧道終結點（NVE）SDN網關須根據業(yè)務功能需求、性能要求、現網環(huán)境綜合考慮軟件或硬件網關■如對網關流量需求不大應選擇軟件SDN網關，如規(guī)劃期內存在網關流量需求較大（吞吐量大于20Gbps）等特殊需求的資源池可靈活選擇軟件或硬件SDN網關SDN方案須考慮與現網資源池hypervisor的兼容性SDN方案須同步考慮與集團云管理平臺的一體化集成（4） 網絡編排層（編排器）應由集團結合需求進行統(tǒng)籌考慮和統(tǒng)一建設，各省公司不單獨建設網絡編排層（編排器）（5） 云資源池SDN由上層網絡協(xié)同層對接不同專業(yè)的SDN控制器/編排器，實現跨專業(yè)協(xié)同分階段建設規(guī)劃1）階段一（2016年-2017年）SDN方案與云管理平臺的對接引入跨機房資源池整合應用場景推動SDN多廠商方案的互通2）階段二（2018年-2019年）推進異構SDN方案、組件間的接口標準化促進SDN能力開放接口的標準化實現資源池網絡全國統(tǒng)一管理3SDN技術概述SDN(SoftwareDefinedNetwork,軟件定義網絡)是適應云計算在計算虛擬化后對網絡虛擬化的需求而發(fā)展起來的，是ICT產業(yè)整體軟件化的趨勢體現，也是商業(yè)利益博弈的結果。傳統(tǒng)網絡架構封閉，網絡構建成本高，缺乏靈活性，容易陷入廠家鎖定,SDN的出現改變了這一局面。SDN通過解耦網絡設備的軟硬件，開放用戶對網絡的編程能力，實現業(yè)務與網絡的解耦，使得網絡變?yōu)榭沙鼗馁Y源并能作為服務提供出去，充分釋放了網絡的靈活性、開放性及創(chuàng)新性，使得網絡向開放、通用架構演進。經典的SDN：業(yè)界普遍認可的SDN定義是指ONFi給出的基于OpenFlow的SDN定義，強調控制面與轉發(fā)面的分離，強調網絡的邏輯集中控制和開放可編程。ONF認為，SDN是一種將網絡控制功能與轉發(fā)功能分離、實現控制可編程的新興網絡架構。這種架構將控制層從網絡設備轉移到外部計算設備，使得底層的基礎設施對于應用和網絡服務而言是透明抽象的網絡可被視為一個邏輯的或虛擬的實體。ONF將SDN架構分為基礎設施層、控制層和應用層：(1)基礎設施層由網絡設備組成，負責按照控制層下發(fā)的策略進行數據轉發(fā)；(2)網絡智能邏輯集中在控制層中，控制層基于軟件實現，擁有全局網絡視圖，向上通過標準接口向應用層開放抽象后的網絡功能及服務，向下控制和協(xié)調底層網絡設備的轉發(fā)行為；(3)應用層則由各網絡應用服務組成，用戶通過控制層開放的接口開發(fā)各種網絡應用，根據業(yè)務需求修改網絡轉發(fā)行為；(4)各層之間通過標準開放接口實現資源分配和網絡服務，其中控制層和基礎設施層之間的通信接口稱為南向接口(NorthboundAPI)，控制層和應用層之間的通信接口稱為北向接口(NorthboundAPI)。其中，OpenFlow屬于南向接口協(xié)議，也是ONF給出的SDN架構中的首個標準協(xié)議。廣義的SDN：隨著軟件定義內涵的不斷發(fā)展，業(yè)界對SDN的認識逐漸深化?，F在SDN已經從初始的基于OpenFlow的狹義定義轉變?yōu)楦鼜V泛意義上的SDN概念。廣義的SDN泛指向上層應用開放接口，實現軟件編程控制的各類基礎網絡架構。在ONF和IETF2兩大標準組織的推動下，業(yè)界逐漸形成以OpenFlow、Overlay和I2RS3為代表的三大技術流派。此外，越來越多的其他技術也開始被納入到SDN范疇，如ForCES4、PCE5和NFV6、XMPP7、OpFlex、1ONF，OpenNetworkFoundation，開放網絡基金會2IETF，InternetEngineeringTaskForce,互聯網工程任務組3I2RS，InterfacetoRoutingSystem，路由系統(tǒng)接口4ForCES，ForwardingandControlElementSeparation，轉發(fā)和控制單元分離0VS-DB8、0F-C0NFIG9和NETCONFio等。梳理OpenFlow、Overlay、I2RS等三大SDN解決方案的實現原理和技術架構，形成如下所示的SDN整體架構圖。圖3-1SDN技術概覽圖SDN整體符合ONF定義的分層模型，自底向上依次可以分為基礎設施層、南向接口、控制層、北向接口、應用編排層和運維管理系統(tǒng)等組件?？刂茖幼鳛镾DN網絡架構的核心，向下通過南向接口協(xié)議管理和控制底層轉發(fā)設備，向上通過北向接口對上層應用開放網絡的編程能力。運維管理系統(tǒng)與其他組件沒有必然的層次關系，需要監(jiān)控包括基礎設施設施、控制器和應用在內的SDN整體架構運行情況。其中，SDN各主要組件簡介如下：（1） 應用編排層：處于SDN的網絡架構的最上層，是SDN的核心價值所在。用戶根據業(yè)務需求調用控制器開放的網絡編程接口編寫應用程序，定義網絡行為，實現應用創(chuàng)新。網絡編排則在控制器之上對網絡進行更高級別的資源抽象，根據用戶的業(yè)務需求實現網絡自動化部署。（2） 控制層：控制層包含一個或多個控制器，負責修改和控制底層網絡設備的轉發(fā)行為。控制器將底層網絡資源抽象成可操作的信息模型提供給上層應用程序，并將應用程序的網絡需求如查詢網絡狀態(tài)、修改網絡轉發(fā)行為等轉化成低層次的網絡控制指令，下發(fā)到網絡設備中。目前業(yè)內并沒有控制器實現相關的標準規(guī)范，主要由廠家和開發(fā)者按照私有方式實現。當前較熱的SDN控制器主要有OpenDaylight、ONOS等。（3） 基礎設施層：理想SDN要求網絡硬件實現軟硬件分離和控制轉發(fā)分離，要求網元硬件去智能化和去定制化，向開放、標準、統(tǒng)一的通用商品硬件（COTS11）演進。實際上，為了兼容現有網絡，大多數SDN解決方案都支持傳統(tǒng)網絡設備，如OpenFlow支持Hybrid交換機，I2RS開放傳統(tǒng)網絡設備編程接口等。Overlay方案則在現有網絡上疊加隧道實現邏輯網絡。軟件實現的NFV虛擬網元功能也可以作為基礎設施層的組件，由控制器通過標準南向接口協(xié)議統(tǒng)一控制。在基礎設施層，不同SDN制式對轉發(fā)設備進行了不同方式和不同程度的抽象。運維管理系統(tǒng)：負責SDN整體架構的監(jiān)控與管理，確保網絡正確運行。SDN網絡管理的需求和方法與傳統(tǒng)IP網絡管理不同。在需求方面，SDN網絡管理首先應該滿足傳統(tǒng)網絡管理的FCAPS12模型；此外還應重點解決集中控制和網絡可編程特性帶來的其他諸如可靠運行、敏捷提供、彈性伸縮等管理需求oSDN網絡管理可以作為獨立的網管系統(tǒng)單獨存在，也可以作為控制器內部功能實現，或者作為運行在控制器之上的應用。從簡化網絡運維工具復雜性的角度出發(fā)，通常會將SDN網絡管理功能通過API集成在現有的網管系統(tǒng)(NMS,NetworkManagementSystem),或網元管理系統(tǒng)(EMS,ElementManagementSystem),或業(yè)務與運營支撐系統(tǒng)(BSS/OSS,Bussiness/OperationSupportingSystem)中，通過擴展現有的管理平臺和工具，實現對SDN網絡和現有網絡的統(tǒng)一管理。4SDN主要應用場景國內運營商網絡組成復雜，SDN技術成熟度、適用程度、應用實施節(jié)奏都存在較大差異。本章節(jié)將對國內運營商SDN的主要應用場景分別進行詳細描述。4.1場景1-云資源池網絡自動化云計算改變了IT基礎設施的提供模式，基于虛擬化技術構建云資源池，使得計算、存儲設施變成可運營的資源，用戶可以通過互聯網按需彈性獲取，并根據實際業(yè)務需求進行動態(tài)伸縮。這對底層承載網絡提出了極高的要求，要求網絡能夠適配頻繁變化的業(yè)務需求進行靈活的調整。傳統(tǒng)靜態(tài)網絡無法有效支撐云計算業(yè)務發(fā)展，無法滿足云計算對網絡的關鍵需求：1、現網云資源池動態(tài)地向客戶提供服務，分配給客戶的資源必須支持能隨需求變化而快速變化。在目前的云資源池中，當業(yè)務在DC內遷移時，資源配置(如QoS)的動態(tài)跟隨難以實現。2、在數據中心網絡中，服務器的地址通常與物理位置相關。服務器只能移動到同12CAPS,Fault,Configuration,Accounting,Performance,andSecurityManagement，故障、配置、計費、性能及安全管理一個網絡中的其他位置子網。這對虛擬機的位置和遷移形成了限制。一個可擴展的多租戶的解決方案數據中心應允許虛擬機遷移到DC內的任何地方，而不受主機服務器的子網邊界限制。3、虛擬機的遷移（如跨機架遷移），可能需對物理網絡設備重新人工配置，以維持該虛擬機原來的訪問控制策略等，易因配置錯誤造成網絡故障。4、虛擬機的集中部署導致云資源池的MAC、IP地址數量劇增，資源池網絡基礎設施可能需要學習，對網絡設備的轉發(fā)表容量需求。5、租戶需要對租戶網絡實現更自由的使用和控制。云資源池租戶網絡應允許租戶使用任何地址，而無需擔心與其他租戶、其他虛擬網絡、或底層網絡形成地址沖突。云資源池需要對網絡進行虛擬化，使得網絡變成和計算、存儲一樣的可池化資源，實現網絡資源的靈活提供。SDN控制轉發(fā)分離、邏輯集中控制的網絡架構天然適合實現網絡虛擬化。通過軟件方式在物理網絡上構建虛擬的邏輯網絡，使得上層業(yè)務對網絡的變更需求直接體現在邏輯網絡上，屏蔽了業(yè)務對底層物理網絡的影響。同時，軟件定義的方式將網絡（虛擬網絡）的管理和控制功能從物理設備中抽離出來，可根據業(yè)務需求進行靈活修改，有助于提高網絡的智能化和自動化水平。與傳統(tǒng)網絡相比，SDN網絡架構更為開放、靈活，能適配業(yè)務需求進行快速調整，更符合云計算業(yè)務發(fā)展需求。5云資源池網絡自動化部署方案本章針對單云資源池單SDN提供商場景下，從物理網絡、疊加網絡、計算虛擬化對接、云管理平臺對接、云資源池NFV、業(yè)務遷移等六方面提出部署應用建議。圖5-1云資源池SDN部署方案5.1物理網絡承載云資源池，特別是部署SDN后對物理網絡提出了高性能、高容量、高容錯性、差異化服務等需求，具體表現為：高性能：云資源池承載的業(yè)務種類多，流量類型多，流量模型復雜，物理網絡需具備高帶寬、低延時等的高性能網絡轉發(fā)能力，以滿足業(yè)務需求。高容量：隨著云資源池承載業(yè)務數量的不斷增加，同時基于虛擬機承載的應用自身具備了靈活的擴展性，因此在架構層面物理網絡應滿足大規(guī)模服務器、存儲等設備的網絡接入要求，同時資源池內東西向流量較傳統(tǒng)模式有較大程度增高。高容錯性：由于云資源池規(guī)模大，承載業(yè)務多，物理網絡應具備良好的容錯性，維持整個網絡架構的持續(xù)工作，避免單點故障以及單點故障產生廣泛影響。差異化服務：資源池內網絡流量類型種類眾多，各種流量對網絡服務的要求存在差異。云資源池物理網絡應具有QoS能力，為各種流量提供差異化的網絡服務。為了滿足上述幾點需求，云資源池網絡自動化部署方案中對于物理網絡應綜合考慮網絡拓撲、擴展性、容錯性、差異化服務等方面。對于現有資源池，如性能、擴展性等已滿足現有要求及未來規(guī)劃，可不對現有物理網絡進行改動，直接部署ovelray網絡。對于新建資源池或有性能、擴展性提升需求的現有資源池，則提供下列具體建議供參考。5.1.1網絡拓撲整體上，云資源池物理網絡拓撲可分為核心-匯聚-接入三層樹型架構及主干-分支(Spine-Leaf)兩大類：對于樹型架構拓撲，常見于流量以南北向為主的場景，網絡分為核心、匯聚、接入三層，各層間具有較高的收斂比設計，各層主要功能如下：圖5-2三層樹型架構接入層：網絡中直接面向用戶連接或訪問網絡的部分，目的是允許終端用戶連接到網絡，接入層設備以交換機為主，接入交換機一般具有低成本和高端口密度特性。匯聚層：接入層和核心層的中間層，主要用于在接入核心層前進行流量匯聚，以減輕核心層設備的負荷。匯聚層是多臺接入層交換機的匯聚點，它須處理來自接入層設備的所有通信，并提供到核心層的上行鏈路，因此與接入層設備比較，匯聚層設備需要更高的性能，較少的接口和更高的交換速率。核心層：網絡交換的骨干部分，通過高速轉發(fā)，提供快速、可靠的數據傳輸，核心層設備一般具有更高的可靠性，性能和吞吐。此外，核心層設備作為資源池網絡出口，與廣域網路由器對接，提供動態(tài)路由(BGP/IGP)、VPN、NAT等能力。該架構常見于傳統(tǒng)機房網絡拓撲，一般適用以南北向流量為主，東西向流量較少，網絡規(guī)模較固定的場景，同時一般以匯聚層作為L2/L3分界點（或可根據規(guī)模及應用需要上移至核心層）。2.對于主干-分支（Spine-Leaf）型架構拓撲，基于CLOS（無阻塞網絡）理論，任何兩點間僅需一跳且具有多條等價鏈路，具有很小的帶寬收斂比，滿足云資源池內不斷增加的東西向流量需求，各層主要功能如下：圖5-3主干-分支型架構分支（Leaf）層：為用戶提供網絡接入及靈活的業(yè)務控制（如隧道封裝、訪問控制等），分支層設備具有低成本和高端口密度特性。主干（Spine）層：網絡交換的主干部分，提供低延時、高帶寬的流量轉發(fā)。與傳統(tǒng)樹型架構的核心層相區(qū)別，Spine-Leaf的主干層由多臺具備大容量交換能力的Spine節(jié)點構建，而非單臺高性能的核心設備。每臺Spine節(jié)點都可作為任意兩臺Leaf節(jié)點的交換點。該拓撲常見于新型云資源池網絡建設，適用東西向流量較多，收斂比較小，網絡規(guī)模易擴展的場景，同時一般以分支層作為L2/L3分界點（或可根據規(guī)模及應用需要上移至主干層）。上述兩種網絡拓撲在流量模型、轉發(fā)性、可擴展性、容錯性等方面的對比如下表所示：表格5-1網絡拓撲架構對比傳統(tǒng)三層架構主干-分支（Spine-Leaf）東西向流量低高可擴展性較小，受核心設備性能上限較大，受Spine設備端口數量擴展模式縱向擴展（替換各層設備）橫向擴展（增加Spine，Leaf節(jié)點）容錯能力自身無容錯考慮，通過鏈路幾余、端口聚合、設備堆疊等技術手段分支與主干設備間鏈路冗余、主干設備互為備份與傳統(tǒng)三層網絡拓撲相比，主干-分支（Spine-Leaf）在轉發(fā)性能、可擴展性、容錯性方面都更具優(yōu)勢：1）在轉發(fā)性能方面，由于傳統(tǒng)三層模式有較高的收斂比設計，以及STP等防環(huán)技術所致的可用鏈路浪費，服務器節(jié)點之間可用帶寬較低。而主干-分支（Spine-Leaf）架構的收斂比低且使用所有鏈路，服務器節(jié)點之間可用帶寬更高。傳統(tǒng)三層網絡架構接入節(jié)點間通信部分需經過核心設備，并非通過最優(yōu)路徑轉發(fā)，時延較大且難以預測；Spine-Leaf的任意Leaf節(jié)點之間的躍點數目一致，Leaf節(jié)點間的轉發(fā)時延短且可預測。相比與傳統(tǒng)三層架構，Spine-Leaf提供更優(yōu)的東西向轉發(fā)性能。在可擴展性方面，傳統(tǒng)三層架構通過升級各級的設備實現縱向的擴展，涉及設備的更替，整體容量通常受限于核心設備的性能設計；主干-分支(Spine-Leaf)架構支持水平式的擴展，通過增加Leaf和Spine節(jié)點實現更高的服務器接入能力和主干轉發(fā)能力，一般可維持原有設備與鏈路，擴展容量受限于Leaf節(jié)點和Spine節(jié)點的端口數量?？傮w而言,Spine-Leaf整體架構比傳統(tǒng)三層架構具有更好的可擴展性。在容錯性方面，傳統(tǒng)三層架構設計自身并未考慮容錯，一般基于鏈路冗余(結合STP)、端口聚合、設備堆疊等相關技術實現網絡容錯；而主干-分支(Spine-Leaf)架構設計本身具備分支設備與主干設備間的鏈路冗余、主干設備負載分擔等特性，有效避免了單點故障，提供良好的容錯性，同時相關網絡容錯技術也可應用于Spine-Leaf架構以進一步提升容錯性。對于計劃部署SDN的新建云資源池物理網絡，原則上使用主干■分支(Spine-Leaf)型拓撲組網；對于利舊改造的云資源池SDN網絡，在東西向流量不大、網絡規(guī)模預期較固定的情況下，物理網絡拓撲應繼續(xù)使用傳統(tǒng)三層拓撲，但應注意評估現存網絡的性能和可擴展性與資源池建設規(guī)劃的匹配度，若考慮對現有物理網絡拓撲進行主干-分支(Spine-Leaf)型改造，應綜合考慮建設成本、流量模型、擴展性要求等因素。對于使用主干-分支(Spine-Leaf)型拓撲組網，部署建議如下：1、 分支節(jié)點與服務器節(jié)點的連接：1)分支節(jié)點實現計算節(jié)點的網絡接入，以及網絡流量隔離。一般通過Trunk鏈路連接計算節(jié)點，可在分支節(jié)點配置VLAN實現隔離。分支節(jié)點作為L2/L3分界點，需要終結L2,并提供默認網關功能，一般對每個VLAN配置虛擬端口和IP地址，作為每個VLAN的默認網關地址。2)分支節(jié)點運行動態(tài)路由協(xié)議，為本地連接的計算節(jié)點發(fā)布網絡可達信息(例如為每個存在的VLAN或子網通告一個地址前綴)。另外，也通過路由協(xié)議從主干節(jié)點接收其他計算節(jié)點的可達信息。2、 分支節(jié)點與主干節(jié)點的連接：主干節(jié)點只有連接到分支交換機的接口，接口配置為路由點到點鏈路，主干節(jié)點配置動態(tài)路由協(xié)議，與分支節(jié)點互通計算節(jié)點的IP可達信息。對于使用傳統(tǒng)樹形三層架構型拓撲組網，部署建議如下：1、 接入層節(jié)點與服務器節(jié)點的連接：接入層節(jié)點一般通過Trunk鏈路連接計算節(jié)點，可在分支節(jié)點配置VLAN以提供流量隔離。2、 接入層、匯聚層、核心層的連接：各層設備可通過VLANTrunk互聯，L2/L3分界點（匯聚層設備或核心層設備）如下層設備通過Trunk連接，在冗余鏈路情況下部署STP實現環(huán)路防止；L2/L3分界點與上層配置為路由點對點鏈路。L2/L3分界點與上層設備可運行路由協(xié)議互通可達信息，L2/L3分界點為每個存在的VLAN或子網通告一個地址前綴，或者可在節(jié)點規(guī)模較小情況下考慮靜態(tài)路由配置的方式。另外，應注意調整物理網絡的MTU以適配上層疊加網絡，以疊加網絡選擇VxLAN作為轉發(fā)面封裝協(xié)議為例，物理網絡的MTU應不小于1600字節(jié)。5.1.2擴展性云資源池物理網絡的擴展性應綜合考慮網絡接入能力、處理能力和可用帶寬等。1、 網絡的接入能力是指支持終端接入網絡的能力，以接入的服務器數量作為量化指標。在云資源池場景下，物理網絡接入能力取決于邊緣層（接入層/Leaf層）向用戶側提供的接入端口數量。網絡接入能力的擴展有以下兩類方式：1）使用更高端口密度的邊緣設備；2）增加邊緣設備數量。與替換設備相比，增加邊緣設備的方式更適合用于主干-分支拓撲架構，該架構可在網絡中橫向增加分支設備，提供更多接入端口，無需更改原有設備，擴展過程平滑，避免替換設備帶來的業(yè)務中斷和投資浪費。由于拓撲全連接的特點，主干-分支架構的接入設備的數量上限通常取決于主干交換機上可用的端口總數，在新建云資源池物理網絡時，應結合接入能力擴展考慮進行主干設備的選型。對于傳統(tǒng)三層架構，從保護投資角度考慮，首先應考慮通過增加接入層設備的方式。當接入層的增加導致上層設備端口數量不足時，結合擴展成本考慮選擇使用高端口密度的接入層設備或增加匯聚層設備。2、 網絡處理能力指云資源池物理網絡的數據轉發(fā)能力，以轉發(fā)吞吐量為量化指標，主要體現為交換主干設備的吞吐量。主干-分支架構的交換主干設備是由多臺設備組成的“分布式核心”，具備橫向擴展性，可通過增加設備的方式提升處理能力，但應注意結合ECMP實現在多臺主干設備間的均衡。傳統(tǒng)三層架構的核心層設備（或匯聚層設備），建議通過增加板卡、替換更高規(guī)格設備的縱向擴展方式實現轉發(fā)主干設備的能力提升。3、 可用帶寬指網絡接入設備可使用的帶寬。云資源池物理網絡主要關注網絡接入設備與網絡主干間的有效上行帶寬。主干-分支架構的接入節(jié)點直接連接到主干層，因此可通過配置接入節(jié)點與主干層間的上行鏈路數量，實現可用帶寬的擴展或縮減。但注意分支交換機到每個主干交換機的上行鏈路數目必須相同，避免產生流量過熱點。對于傳統(tǒng)三層架構，可用帶寬的擴展不僅需配置更多的接入層到匯聚層的上行帶寬，通常也需配合考慮匯聚層到核心層的帶寬的擴容，否則匯聚層可能成為瓶頸，導致可用帶寬的擴容無效。網絡的接入能力、處理能力和可用帶寬是相互緊密關聯的，因此云資源池物理網絡的擴展性需要統(tǒng)籌考慮上述三方面。5.1.3容錯性提升網絡容錯性的主要手段包括從網絡、鏈路和設備等層面實現冗余部署。1、網絡層：通過部署配置路由冗余，網關冗余提升網絡容錯性，具體而言：1）路由冗余通過配置冗余路由，當某條鏈路故障時，流量可切換到其他冗余路徑。該方式僅適用于提高L3網絡設備之間路徑的可用性，主要應應用于主干-分支拓撲中主干設備與分支設備的互聯。2）網關冗余網關冗余技術基于多個物理網關虛擬出一個或多個虛擬網關，解決局域網內缺省網關存在單點故障問題。主流的網關冗余技術包括HSRP、VRRP和GLBP等，技術特點對比如下表。表格5-2網關冗余技術比較表協(xié)議HSRPVRRPGLBP工作原理虛擬網關地址不能為物理接口地址虛擬網關可以是物理接口地址虛擬網關地址不能為物理接口地址設備角色ActiveStandbyMasterBackup-listenAVGactive,standbyAVF-所有路由器故障切換Standby接管active優(yōu)先級高的backup接管master故障，standby替代active。故障，AVG重新分配虛擬MAC,由其他AVF接管負載均衡可實現但需多組可實現但需多組同組內負載均衡（最多4臺）協(xié)議標準思科私有IETFRFC3768思科私有在實際應用中，應優(yōu)先考慮基于標準協(xié)議VRRP技術，該技術可為云資源池網絡的L3網關提供冗余，適用于不同的網絡拓撲。2、鏈路層：通過防環(huán)、鏈路聚合等技術提升鏈路容錯性。1）防環(huán)一般建議應用生成樹協(xié)議（STP）或其衍生協(xié)議（RSTP,MSTP）實現鏈路冗余和環(huán)路防止?；赟TP實現鏈路冗余應注意故障收斂效率的評估。TP的收斂時間較慢（可達30s-50s）,有可能會導致較長的業(yè)務中斷。建議部署收斂時間更優(yōu)化的RSTP（收斂時間達數百毫秒）和MSTP（進一步基于多實例提升冗余鏈路利用率）。2）鏈路聚合鏈路聚合將單臺設備上的多個物理端口捆綁為一個邏輯端口，流量在各成員端口中負載分擔，當鏈路斷開，流量會自動在剩下的鏈路間重新分配。鏈路聚合主要包括手工鏈路聚合、基于LACP的鏈路聚合和跨設備鏈路聚合，技術特點對比如下表。表格5-3技術類型手工鏈路聚合基于LACP的鏈路聚合跨設備鏈路聚合技術原理多個物理鏈路直接加入Trunk組，形成一條邏輯鏈路基于LACP協(xié)議與對端父互信息，自動選擇能夠聚合的端口聚合的多個鏈路可以來自不同設備廠商依賴多數廠商支持標準，不依賴廠商部分廠商支持，需同廠商設備云資源池物理網絡可視具體需求在服務器和接入側設備，網絡設備間配置鏈路聚合，提高鏈路可靠性，具體技術選擇以手工鏈路聚合和基于LACP鏈路聚合為宜。3、設備層：通過設備部件的冗余設計（包括主控冗余、單板熱插拔和電源風扇冗余等）提升容錯性。設備級的冗余技術與具體網絡拓撲無關，但一般僅應用在高端設備上，因此多見于傳統(tǒng)三層架構的核心層設備，而其它設備一般不具備提供設備級冗余的條件。

5.1.4差異化服務云資源池網絡主要流量類型及服務要求特點如下所示：表格5-4云資源池網絡流量類型及特點流量類型服務要求特點基礎設施VM管理、網絡控制、存儲管理、服務配置等控制流量關鍵服務VM遷移流量帶寬保障租戶前端流量不同的帶寬保障后端流量不同的帶寬保障存儲FCOE/FC無丟包IP存儲時延敏感原則上云資源池物理網絡應基于區(qū)分服務（Diff-Serv）模型，通過在網絡入口對業(yè)務分類、流量控制，針對業(yè)務類型對特定的對象（業(yè)務網絡、業(yè)務虛機、接口等）設置QoS值，在網絡中根據QoS機制區(qū)分流量，實現網絡差異化服務。建議按下表根據流量類型劃分服務等級，報文的標記包括二層（CoS）和三層（DSCP）,從簡化方案角度考慮，可同時對報文進行CoS和DSCP標記，如下表所示，同時建立CoS、DSCP與服務等級的映射關系。表格5-5流量類型EXP/CoSDSCPPHB租戶流量-一般流量一般計算流量-銅等級0CS0Default一般計算流量-銀等級1CS1AF一般計算流量-金等級2CS2AF存儲3CS3AF42,AF43租戶流量-語音視頻類視頻流4CS4AF41語音與視頻會5CS5EF議基礎設施網絡控制6CS6AF網絡管理與服務控制7CS7AF在進行標識時，應由端點設備（服務器、存儲、管理節(jié)點）進行報文的QoS標記,方面可簡化物理網絡設備的配置，更重要的是實現上游QoS信息向物理網絡的傳遞。資源池物理網絡要求能識別和采信上游流量自帶QoS信息，視需要進行與物理網絡QoS分類值之間的映射。對于不具備QoS標記能力的端點，如存儲、管理節(jié)點等，建議由物理網絡接入設備根據流量具體特征，進行分類和標記，例如基于管理網絡IP等特征劃分流量類別，進行相應QoS操作和QoS值標記。采用區(qū)分服務（Diff-Serv）模型只能實現逐跳的QoS，對于需要端到端提供保障的重要業(yè)務，需注意對網絡所有的點進行相應的QoS規(guī)劃，以確保重要數據在全網的傳輸保障。5.2疊加網絡疊加（Overlay）網絡在物理網絡之上構建邏輯的租戶網絡，滿足云資源池靈活的租戶網絡需求。疊加（Overlay）網絡的部署需重點考慮轉發(fā)面、控制面、NVE和網關的部署等方面。5.2.1轉發(fā)面疊加網絡利用隧道封裝技術在底層物理網絡之上構建邏輯網絡，將網絡劃分為多個虛擬網絡，實現租戶間相互隔離，并基于租戶提供可靈活組合的網絡業(yè)務。常用的轉發(fā)面封裝協(xié)議包括VXLAN、NVGRE、STT、MPLSoGRE等，具體對比如下表格所示。表格Overlay封裝技術對比封裝技術方案簡介租戶標識負載代表廠商標準化產業(yè)鏈支均衡持能力

VXLANL2over24bitVNI兼容思科，已發(fā)布（RFC7348）支持廣泛UDP傳統(tǒng)VMware，HP，負載Citrix，Redhat，均衡BroadcomNVGREL2over24bitVSI不兼微軟，HP，已發(fā)布（RFC7637）較少GRE容傳Broadcom，統(tǒng)負Dell，Emulex，載均Intel衡STTL2over64 bit兼容VMwareIETF草 案只 有StatelessContextID傳統(tǒng)（draft-davie-stt-08）VMwareTCP負載均衡MPLSoGREMPLSover20 bit不兼Juniper已發(fā)布（RFC4023）只 有GRELable容傳Juniper統(tǒng)負載均衡如上表所述，現階段VXLAN從技術成熟度及產業(yè)支持上都優(yōu)于其它封裝協(xié)議，因此在云資源池SDN部署方案中應選擇VxLAN作為疊加網轉發(fā)面協(xié)議。5.2.2控制面控制面實現疊加網絡資源的管理，轉發(fā)/路由計算等功能，其實現方式主要有下述三類基于轉發(fā)面自學習：利用組播或泛洪方式，通過轉發(fā)面?zhèn)鬟f控制面信息。分布式控制面：通過分布式控制面（如MP-BGP協(xié)議）擴展攜帶控制面信息。集中式控制面：邏輯集中的控制面，基于控制器利用南向協(xié)議下發(fā)控制面信息。表格5-6控制面實現方式控制面實現方式技術原理規(guī)模擴展能力實現復雜度

基于轉發(fā)面自學習利用組播或泛洪，通過轉發(fā)面?zhèn)鬟f控制面信息低，泛洪方式不利于網絡規(guī)模擴展低分布式控制面通過分布式協(xié)議（如MP-BGP協(xié)議）攜帶控制面信息進行交換高，避免形成集中的負荷點，規(guī)模擴展性較好高集中式控制面部署邏輯集中的控制面，用南向協(xié)議直接下發(fā)控制信息中，規(guī)模受限于控制器（集群）的能力中基于轉發(fā)面自學習的方式要求組播支持，泛洪學習的方式不利于網絡規(guī)模擴展；分布式控制面的方式比集中式控制面具有更優(yōu)的網絡規(guī)模擴展性，但每個轉發(fā)設備支持分布式協(xié)議實現相對復雜。集中式控制面方案利用SDN控制器實現統(tǒng)一的全網控制面，通過南向協(xié)議直接向轉發(fā)設備下發(fā)控制信息，架構較簡單，是目前主流的實現方式?？刂破髋c各網元主要進行網元的狀態(tài)/配置和路由/轉發(fā)等兩類信息的交互，如下表所示控制器南向協(xié)議具有多種選擇：表格5-7南向協(xié)議協(xié)議名稱標準化簡介與應用類型NetconfIETF標準基于XML的網絡配置管理協(xié)議，一般應用于對物理網元的配置管理狀態(tài)/配置信息父互OVS-DBIETF標準OVS交換機的配置協(xié)議，VMwareNSX采用該協(xié)議狀態(tài)/配置信息父互OF-ConfigONF標準遠程配置和控制OpenFlow交換機的協(xié)議，ALUNuage采用該協(xié)議狀態(tài)/配置信息父互XMPPIETF標準基于XML的可擴展通訊和表示協(xié)議，JuniperContrail采用該協(xié)議狀態(tài)/配置信息+路由/轉發(fā)信息父互OpenFlowONF標準OpenFlow控制器與父換機間流表交互協(xié)議，VMwareNSX，ALUNuage采用該協(xié)議路由/轉發(fā)信息父互業(yè)界產品的控制面較普遍地采用廠家私有的南向協(xié)議，如采用具有標準的OpenFlow等協(xié)議，往往也會實現廠商獨有的擴展字段?？刂茀f(xié)議的不規(guī)范導致控制器與NVE、網關形成單廠家的緊綁定關系。目前控制器與NVE、網關的解耦難以實現。作為SDN網絡的控制中樞，控制器屬于SDN網絡的最關鍵部件之一，控制器的部署應注意考慮控制面能力規(guī)模、高可用設計?？刂泼婺芰σ?guī)模表示控制器可同時納管的轉發(fā)設備（NVE、網關）數量，控制面的能力規(guī)模直接影響SDN網絡后續(xù)的可擴展性。針對單臺控制器可納管的轉發(fā)設備數量受限的情況，多數解決方案可采取集群的方式部署多臺控制器，實現控制面能力規(guī)模的擴展。取決于控制器集群的實現，控制器支持的集群規(guī)模（集群包含的控制器數量）不一?？刂破鳎海┑牟渴鹦柚攸c考慮滿足資源池現狀及未來規(guī)劃的規(guī)模，避免后續(xù)網絡規(guī)模擴展受限。在生產環(huán)境建議采用控制器冗余部署模式，為特定的轉發(fā)設備分派主、備控制器，在主控制器故障時，該轉發(fā)設備由備控制器納管，為控制面提供一定的容錯能力。5.2.3NVENVE是SDN方案實現疊加功能的實體，主要負責對虛擬機的報文進行疊加隧道格式的封裝與解封裝，實現虛擬機網絡報文向疊加網轉發(fā)。NVE作為疊加網絡邊緣，是流量進入疊加網絡的第一站，一般也作為網絡出入口的策略作用點，實現基本的訪問控制ACL）、端口組等控制功能。NVE對外呈現兩個外部接口：1、 面向租戶系統(tǒng)：NVE與hypervisor交互提供虛擬網絡服務。當虛擬接入或斷開虛擬網絡時，NVE會得到通知，以便進行正確的狀態(tài)維護和資源分配。2、 面向數據中心網絡：NVE通過面向DC的接口接入底層網絡，實現隧道封裝報文的發(fā)送和接收。NVE存在以下不同實現方式：1、嵌入Hypervisor的NVE：虛擬機與NVE通過hypervisor互動，該模式的互動完全屬服務器上的軟件實現，NVE和虛擬機之間并不需要基于特定協(xié)議互通。2、分離的NVE：NVE功能并不完全由服務器上的組件實現（hypervisor內部），某些功能（如封裝）采取外置的實體（如TOR交換機）提供。該模式實現的NVE,須設計hypervisor與NVE之間的協(xié)議，基于協(xié)議溝通必要的狀態(tài)信息，以使得hypervisor與NVE之間的流量正確地綁定到相應的虛擬網絡。分離模式的NVE具體可按實現形態(tài)不同,分為虛擬機形態(tài)的NVE、硬件設備形態(tài)的NVE和智能網卡形態(tài)的NVE。a） 對于虛擬機形態(tài)的NVE,NVE作為虛擬機運行在宿主機上，該宿主機上的其他虛擬機的流量被重定向到NVE。b） 對于硬件形態(tài)的NVE,硬件形態(tài)NVE—般也具備基本的交換機能力，可考慮合一部署，由硬件NVE同時也作為底層物理網絡所需的接入交換機。虛擬機的流量通過宿主機的硬件網卡接入到接入交換機（硬件NVE）。c） 對于智能網卡形態(tài)的NVE,與普通硬件網卡類似,NVE通過PCI插槽接入虛擬化主機，該宿主機的虛擬機的流量通過vSwitch接入基于智能網卡的NVE。圖5-4不同的NVE部署方式NVE的不同實現方式，在部署靈活度、轉發(fā)性能和技術成熟度方面存在較大差異，對比如下：表格5-8NVE實現形態(tài)對比實現形態(tài)部署靈活度轉發(fā)性能技術成熟度硬件設備低，物理網絡改造難度大高高嵌入Hypervisor高，無需改造底層物理網絡中高虛擬機高，無需改造底層物理網絡低高智能網卡低，物理網絡改造難度大較咼低基于智能網卡的NVE技術成熟度較低，并不適宜于當前資源池SDN的部署建設。目前硬件設備、虛擬機和嵌入hypervisor的NVE均有商業(yè)產品，具備了主流廠商的可用產品和部署案例。由于目前相關標準化水平較低，硬件NVE難以與異廠商的控制面協(xié)同，因此硬件形態(tài)NVE的部署容易導致廠商綁定。另外，硬件NVE的部署與底層物理網絡相關，需替換已有的Tor設備，改造難度非常大。云資源池SDN的NVE原則上以軟件形態(tài)為主。對于需改造部署SDN的已有資源池，原則上采用軟件的NVE（嵌入hypervisor、虛擬機）方式，減少對物理網絡的改造。對于新建資源池，優(yōu)先考慮軟件NVE方式，在物理服務器接入等場景下謹慎評估硬件NVE方式的可行性。5.2.4網關網關實現Overlay網絡與外部網絡的通信。租戶系統(tǒng)使用網關連接到租戶網絡外部，網關從租戶網絡接收封裝的流量，移除外層封裝頭部，轉發(fā)原報文到數據中心網絡外部。從外部到租戶網絡的流量則采取相反的操作。網關可分為三層網關和二層網關兩大類，按照具體的應用場景，可細分為多種類別的網關。二層網關類似于二層網橋，基于MAC轉發(fā)以太幀，具體包含以下類型：1、 L2虛擬網絡-傳統(tǒng)L2：該類網關橋接L2虛擬網絡和傳統(tǒng)L2網絡（如VLAN、L2VPN）。2、 L2虛擬網絡-L2虛擬網絡：該類型網關主要用于L2虛擬網絡之間的網絡策略的實施。三層網關基于IP地址轉發(fā)報文，具體包含以下類型：1、 L3虛擬網絡-傳統(tǒng)L2：該類型網關在L2虛擬網絡和傳統(tǒng)L2之間轉發(fā)報文。轉發(fā)的報文的目的MAC地址是該網關的MAC。2、 L3虛擬網絡-傳統(tǒng)L3：該類型網關在L2虛擬網絡和傳統(tǒng)L3之間轉發(fā)流量。傳統(tǒng)L3可以是DC內部、WAN或L3VPN網絡。3、 L3虛擬網絡-L2虛擬網絡：該類型網關在L3虛擬網絡和L2虛擬網絡之間轉發(fā)報文，轉發(fā)的報文的目的MAC地址是該網關的MAC。4、 L2虛擬網絡-L2虛擬網絡:該類型網關工作方式類似于L2接口之間的傳統(tǒng)路由轉發(fā)。轉發(fā)的報文的目的MAC地址是該網關的MAC。5、 L3虛擬網絡-L3虛擬網絡:該類型網關主要用于L3虛擬網絡之間的網絡策略的實施。上述的虛擬網絡之間的網關，除了集中式的網關實例（虛擬或物理），也可基于分布式的模式實現。分布式網關在入端NVE集成了網關轉發(fā)的能力，并實現網絡策略的作用點。除分布式的虛擬網絡間的網關外，一般網關可以是虛擬的（如虛擬機）或物理的（作為獨立的物理設備）。物理形態(tài)的網關性能一般較虛擬網關強。在具體實現中，三層和二層Overlay網關可能是各自獨立的設備，也可能由同一設備同時提供三層和二層網關能力。Overlay網關設備（三層或二層）主要有不同的實現形態(tài)和對應的組網方式：專用硬件Overlay網關與物理網絡節(jié)點融合部署：采用專用硬件設備同時實現物理網絡節(jié)點（匯聚/核心/Spine設備）和Overlay網關專用硬件Overlay網關與物理網絡節(jié)點分離部署:采用獨立的專用硬件設備提供Overlay網關能力，Overlay網關采取旁掛或串聯的方式接入物理網絡?；赬86架構的Overlay網關:基于X86架構虛擬機或物理機的形式實現Overlay網關，部署于接入層設備/Leaf節(jié)點之下。表格5-9網關部署方式網關部署方案設備成本現網改造難度單設備性能能力升級難度專用硬件Overlay網關與物理網絡節(jié)點融合部署高，新增Overlay網關設備，替換原有匯聚層設備高，需將已有匯聚設備替換為Overlay網關設備咼，性能普遍咼于軟件網關高，通過固件升級功能；部分可通過增加板卡的方式提升性能專用硬件Overlay網關與物理網絡節(jié)點分離部署高，新增Overlay網關設備中，新增Overlay網關設備咼，性能普遍咼于軟件網關同上基于X86架構的Overlay網關低，不涉及硬件設備的增加低，不涉及硬件改造低，單實例性能較差，通常以部署多個網關的水平擴展方式提升網關容量，但總體上性能（包括時延、抖動等）難以與硬件網關相當低，通過軟件、鏡像方式發(fā)布新版本提升功能;通過虛擬機資源分配更改、部署多臺網關提升性能Overlay網關部署方式的對比如上表所示。專用硬件網關和軟件網關各有優(yōu)劣，與軟件網關相比，專用硬件網關的設備成本、改造難度，以及部署后的能力升級的難度都更大，但提供的性能也更高。云資源池SDN網關須根據業(yè)務功能需求、性能要求、現網環(huán)境綜合考慮軟件或硬件網關方案。如對網關流量需求不大應選擇軟件SDN網關，如規(guī)劃期內存在網關流量需求較大（吞吐量大于20Gbps）等特殊需求的資源池可靈活選擇軟件或硬件SDN網關。對于存在物理服務器接入Overlay網絡需求的場景，通過L2網關實現物理服務器的接入。5.3計算虛擬化對接在云資源池場景，絕大多數流量由虛擬機發(fā)起與終結，如何解決與計算虛擬化（即虛擬機）間的協(xié)同是SDN部署與應用的重要問題之一。NVE作為隧道起始點，是SDN網絡的最邊緣，其部署位置與計算虛擬化有著密切關系。如節(jié)所述，NVE主要存在三類部署方式：1、 對于硬件設備作為NVE,需要較高的硬件成本，對計算虛擬化接口開放要求較低，計算虛擬化對接性能高，在帶寬、時延、丟包率方面具有顯著優(yōu)勢。2、 對于嵌入Hypervisor作為NVE,無需專用硬件，對計算虛擬化接口開放依賴程度高，對接性能一般低于基于硬件設備的對接，高于基于虛擬機NVE的對接。3、 對于虛擬機作為NVE,無需專用硬件，對計算虛擬化接口開放要求較低，但計算虛擬化對接性能較低。由于NVE作為Overlay網絡的入口，底層計算虛擬化的兼容方式的選擇天然地取決于NVE的實現方式。如的對比分析，現階段云資源池的SDN建設應以基于軟件的NVE部署為主，對應地，SDN對底層計算虛擬化的兼容方案也必須根據NVE的實現進行選擇。同一套OverlaySDN方案可能采取不同的NVE實現方式支持多種計算虛擬化環(huán)境，在部署資源池SDN時需注意根據資源池目前或未來規(guī)劃中所需支持的計算虛擬化類型，以具體考慮SDN對底層計算虛擬化的兼容方案，避免OverlaySDN引入后，難以滿足計算虛擬化的兼容要求。云資源池SDN方案應具備對接規(guī)劃期內資源池Hypervisor能力，原則上采用軟件NVE方式。應謹慎評估現網及規(guī)劃期內流量需求，并充分考慮采用軟件NVE方式帶來的性能損耗。5.4云管理平臺對接方案5.4.1對接目標云管理平臺構建于服務器、存儲、網絡等基礎設施及操作系統(tǒng)、中間件、數據庫等基礎軟件之上，依據策略實現自動化的統(tǒng)一管理、調度、編排與監(jiān)控。云資源池SDN的部署需考慮與上層云管理平臺的對接以實現以下目標：1、 對計算、網絡、存儲資源的統(tǒng)一管理，實現網絡資源和其他資源的協(xié)同控制和資源調度，提升資源部署效率和自動化水平。2、 開放面向租戶的自服務能力，實現對租戶資源的自主配置和管理，減輕網絡管理員的運維壓力，提供更好的按需服務和管理靈活性。3、 抽象網絡資源，形成典型網絡模板和業(yè)務編排流程此外，提升部署效率，降低運維難度。4、 SDN和云管理平臺的對接也是實現異構SDN方案互通的重要途徑。5.4.2對接方案SDN方案與云管理平臺的對接主要有兩種方式，方式一由SDN控制器通過南向協(xié)議控制NVE等網元，實現網絡的抽象及具體網絡控制功能，云管理平臺通過調用SDN控制器開放的API實現對接。方式二則是在云管理平臺中新增SDN控制的模塊，在管理平臺層面直接實現網絡抽象和網絡控制等SDN控制器功能，該模塊通過南向協(xié)議控制NVE和網關等網元。兩種對接方式如下圖所示。圖5-5云管理平臺與SDN對接的方式與方式二相比，對接方式一更具備可行性：1、 目前現網云資源池管理平臺采取自主研發(fā)方式，較難在短時間內實現可用于現網的SDN控制器組件，而對接方式一僅需在云管理平臺實現對接插件，開發(fā)量較小，適合快速實現對接目的。2、 不同的SDN廠商方案可能需要實現獨立的對接。對于多種SDN方案的對接，方式二將極大加重云管理平臺的負載，云管理平臺的可擴展性嚴重受限。而方式一僅需實現輕負載的插件，提供更好的擴展能力。3、業(yè)界主流的數據中心商用SDN方案內部較為封閉，普遍采用廠商專用的（可能基于開放協(xié)議定制化）南向協(xié)議，而僅通過控制器北向API實現能力開放。業(yè)界開放性現狀使得方式一更具有現實可行性。因此，云資源池SDN與云管理平臺的對接應優(yōu)先采取“管理平臺通過插件對接SDN控制器”的方式。5.4.3實施建議在開源云管理平臺中，OpenStack已經全面超越其他開源云平臺，成為全球最大、影響力最高、發(fā)展最迅速、產業(yè)覆蓋最廣的開源項目，未來極有可能成為開放云平臺的全球事實標準。另一方面，目前主流的SDN控制器普遍提供了OpenStackNeutron插件。因此，在暫未對接的SDN方案中，優(yōu)先考慮使用OpenStack適配層實現與云管理平臺的對接?，F階段，應堅持在單一集群中部署單廠商的SDN解決方案，并通過方式一實現與云管理平臺的對接，結合現網運維經驗，進一步抽象網絡資源形成典型網絡模板和業(yè)務編排流程?；赟DN的租戶網絡配置自服務則根據現網需要具體考慮，對于確有開放網絡配置自服務需要的場景，應注意網絡配置權限的合理劃分，并配合建立自服務使用規(guī)范和相應的日志監(jiān)控等措施，減低因用戶誤配置對網絡整體產生嚴重影響的可能?，F階段異廠家SDN實現互通的方案尚需驗證，集團公司將組織專題開展相關工作，各省在實際建設中應避免引入多廠家SDN互通的場景。5.5云資源池NFV2017年集團將進行vFW和VLB的統(tǒng)一試點，待試點結論明確后再進行規(guī)模應用。5.5.1防火墻防火墻是云資源池內重要的網絡服務，根據特定防護需求，防火墻通過流量的訪問控制流速控制、惡意代碼過濾等技術手段實現云資源池內租戶網絡的安全防護?；贜FV技術的防火墻（vFW）基于通用X86服務器和軟件提供防火墻服務，與傳統(tǒng)的軟硬件一體化防火墻設備相比，具有部署靈活度、多租戶支持能力、負載均衡能力靈活擴展方面的優(yōu)勢。建設目標vFW的部署應實現以下目標：1、提供功能完善的安全防護，防火墻功能應滿足云資源池場景常用的訪問控制、狀態(tài)檢測、流速控制等功能；防火墻性能應滿足云資源池業(yè)務容量、性能要求；可靠性方面支持鏈路故障切換、網元故障切換。2、為云資源池的