云計(jì)算網(wǎng)絡(luò)課件第2章 數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)

第2章數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)數(shù)據(jù)中心網(wǎng)絡(luò)概述數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)大二層網(wǎng)絡(luò)數(shù)據(jù)中心橋接數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)2數(shù)據(jù)中心是云計(jì)算等應(yīng)用的重要基礎(chǔ)設(shè)施平臺(tái)包括大量的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)等硬件設(shè)備，以及運(yùn)行在這些設(shè)備之上的操作系統(tǒng)和其它應(yīng)用及管理軟件還包括配套的冗余和備用電源系統(tǒng)、冗余的數(shù)據(jù)通信連接、環(huán)境控制系統(tǒng)（例如：溫度控制、消防設(shè)施）和各種安全設(shè)備等等數(shù)據(jù)中心網(wǎng)絡(luò)將服務(wù)器、存儲(chǔ)設(shè)備、路由器/交換機(jī)等進(jìn)行有效組網(wǎng)，并通過(guò)虛擬化構(gòu)成資源池，為各種應(yīng)用提供高帶寬、低延遲和零丟包的網(wǎng)絡(luò)通信環(huán)境數(shù)據(jù)中心網(wǎng)絡(luò)概述3根據(jù)通信雙方的實(shí)體類型，包括：服務(wù)器與服務(wù)器（Server-Server）之間的流量服務(wù)器與客戶端（Server-Client）之間的流量數(shù)據(jù)中心網(wǎng)絡(luò)流量特征4流量的大小，還可以將數(shù)據(jù)流分為兩類大數(shù)據(jù)流（ElephantFlow）數(shù)據(jù)量大，需要傳輸較長(zhǎng)時(shí)間，容易導(dǎo)致網(wǎng)絡(luò)負(fù)載不均衡小數(shù)據(jù)流（MiceFlow）數(shù)量眾多但都非常短小，對(duì)延遲非常敏感數(shù)據(jù)中心網(wǎng)絡(luò)流量特征5來(lái)源：VL2:ascalableandflexibledatacenternetwork.ACMSIGCOMMComputingCommunicationReview,2009,39(4):51-62.萬(wàn)兆以太網(wǎng)IEEE802.3ae標(biāo)準(zhǔn)中定義，保持了IEEE802.3以太網(wǎng)的幀格式的兼容，可通過(guò)全雙工模式提供了10Gbit/s的最高數(shù)據(jù)傳輸速率傳輸介質(zhì)以光纖為主，支持6類或7類雙絞線數(shù)據(jù)中心網(wǎng)絡(luò)可基于萬(wàn)兆以太網(wǎng)等，使用iSCSI和FCoE等技術(shù)來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)融合，在以太網(wǎng)上同時(shí)傳輸存儲(chǔ)和數(shù)據(jù)通信量，大幅降低了網(wǎng)絡(luò)的成本。以太網(wǎng)和數(shù)據(jù)中心網(wǎng)絡(luò)640G/100G以太網(wǎng)在IEEE802.3ba標(biāo)準(zhǔn)中定義，主要采用光纖作為傳輸介質(zhì)解決了數(shù)據(jù)中心、運(yùn)營(yíng)商網(wǎng)絡(luò)和其它流量密集的高性能計(jì)算環(huán)境中的應(yīng)用寬帶需求推動(dòng)了數(shù)據(jù)中心內(nèi)部虛擬化和網(wǎng)絡(luò)融合等技術(shù)的進(jìn)一步普及和發(fā)展以太網(wǎng)和數(shù)據(jù)中心網(wǎng)絡(luò)7不同以太網(wǎng)技術(shù)的交換機(jī)市場(chǎng)占有率趨勢(shì)以太網(wǎng)和數(shù)據(jù)中心網(wǎng)絡(luò)8單位：十億(Billion)9傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)基于Clos拓?fù)涞木W(wǎng)絡(luò)架構(gòu)以服務(wù)器為核心的網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)傳統(tǒng)的大型數(shù)據(jù)中心網(wǎng)絡(luò)通常采用三層（3-Tier）網(wǎng)絡(luò)架構(gòu)：以交換機(jī)為核心，也稱為分層網(wǎng)絡(luò)互連模型（Hierarchicalinternetworkingmodel）最早由Cisco針對(duì)企業(yè)網(wǎng)絡(luò)設(shè)計(jì)提出。傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)10接入層（AccessLayer）也稱邊緣層（EdgeLayer），將終端主機(jī)或服務(wù)器接入到物理網(wǎng)絡(luò)中。接入層交換機(jī)通常位于機(jī)架頂部，所以也被稱為ToR（TopofRack）交換機(jī)。一般為二層或三層交換，主要關(guān)注最小化端口成本。匯聚層（AggregationLayer）也稱分發(fā)層（DistributionLayer），用于匯聚接入層交換機(jī)的流量一般采用三層交換機(jī)，提供路由功能的同時(shí)，還可提供其它的服務(wù)，如防火墻、ACL、QoS策略、入侵檢測(cè)等等。傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)11核心層（CoreLayer）主要用于提供高速率、高可靠性的數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)，為多個(gè)匯聚層交換機(jī)之間提供高效的連通性。核心層交換機(jī)為通常為整個(gè)網(wǎng)絡(luò)提供一個(gè)彈性的三層路由網(wǎng)絡(luò)，采用高性能的路由器或三層交換機(jī)，支持高速率的網(wǎng)絡(luò)技術(shù)，如10Gbps或100Gbps以太網(wǎng)等。傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)12Clos網(wǎng)絡(luò)架構(gòu)由CharlesClos等人于1952年提出，用于解決電話網(wǎng)絡(luò)中機(jī)電開關(guān)的性能和成本等問(wèn)題采用多級(jí)設(shè)備來(lái)實(shí)現(xiàn)無(wú)阻塞的電路交換網(wǎng)絡(luò)，并且通過(guò)數(shù)學(xué)理論證明了其可行性一般采用多級(jí)交換，典型的為三級(jí)交換結(jié)構(gòu)，包括了Ingress節(jié)點(diǎn)、Middle節(jié)點(diǎn)和Egress節(jié)點(diǎn)組成基于Clos拓?fù)涞木W(wǎng)絡(luò)架構(gòu)13Spine-Leaf架構(gòu)可以看作是將一個(gè)三層Clos網(wǎng)絡(luò)架構(gòu)對(duì)折，將Ingress和Egress節(jié)點(diǎn)放在同一邊Leaf交換機(jī)相當(dāng)于傳統(tǒng)三層架構(gòu)中的接入交換機(jī)（即ToR交換機(jī)），與物理服務(wù)器直接相連。Spine交換機(jī)相當(dāng)于核心交換機(jī)，為L(zhǎng)eaf交換機(jī)提供一個(gè)彈性的L3路由網(wǎng)絡(luò)?；贑los拓?fù)涞木W(wǎng)絡(luò)架構(gòu)14Fat-tree架構(gòu)采用了基于Clos架構(gòu)的三層交換機(jī)互聯(lián)結(jié)構(gòu)，可以在保證整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)無(wú)阻塞傳輸?shù)耐瑫r(shí)（Oversubscription為1:1）交換機(jī)有k個(gè)端口，可連接的服務(wù)器的總數(shù)達(dá)到k3/4臺(tái)可以為任意兩臺(tái)服務(wù)器之間提供k2/4條冗余最短路徑基于Clos拓?fù)涞木W(wǎng)絡(luò)架構(gòu)15通過(guò)在服務(wù)器上配置多個(gè)網(wǎng)卡，利用服務(wù)器軟硬件平臺(tái)的開放性和高可編程性，實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)靈活的聯(lián)網(wǎng)和路由等功能交換機(jī)一般只起到簡(jiǎn)單的縱橫式交換的作用，并且網(wǎng)絡(luò)一般可以通過(guò)遞歸的方式進(jìn)行擴(kuò)展典型的是微軟亞洲研究院提出的DCell、FiConn、BCube等以服務(wù)器為核心的網(wǎng)絡(luò)架構(gòu)16數(shù)據(jù)中心虛擬化、資源的池化及彈性分配等需求，以及適應(yīng)日益增長(zhǎng)的東西向流量，要求數(shù)據(jù)中心網(wǎng)絡(luò)能夠提供一個(gè)“大二層”的網(wǎng)絡(luò)環(huán)境“大二層網(wǎng)絡(luò)”即整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)都屬于一個(gè)二層廣播域二層網(wǎng)絡(luò)環(huán)境下，虛擬機(jī)可以在任意的服務(wù)器上創(chuàng)建，或遷移到任何一臺(tái)服務(wù)器上，而不需要對(duì)IP地址或者默認(rèn)網(wǎng)關(guān)做修改多租戶云平臺(tái)中不同租戶之間需要實(shí)現(xiàn)網(wǎng)絡(luò)隔離，且租戶內(nèi)部還會(huì)有劃分多個(gè)VLAN的需求數(shù)據(jù)中心“大二層網(wǎng)絡(luò)”17MAC地址學(xué)習(xí)的問(wèn)題節(jié)點(diǎn)數(shù)量龐大、虛擬機(jī)的遷移等生成樹協(xié)議的問(wèn)題阻斷冗余鏈路，影響網(wǎng)絡(luò)性能VLAN技術(shù)的局限IEEE802.1Q定義的VLAN標(biāo)準(zhǔn)最多支持4094個(gè)有效VLAN，無(wú)法滿足云環(huán)境的需求網(wǎng)絡(luò)安全問(wèn)題BUM（Broadcast，UnknownUnicast，Multicast）風(fēng)暴問(wèn)題二層網(wǎng)絡(luò)的困境18為利用數(shù)據(jù)中心網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)特點(diǎn)，提升網(wǎng)絡(luò)性能，需擺脫STP等協(xié)議的局限性一種方案是實(shí)現(xiàn)二層的多路徑傳輸（Layer2Multipath，L2MP），業(yè)界典型的代表包括IETF提出的多鏈路透明互聯(lián)TRILL（TransparentInterconnectoflotsoflinks）IEEE提出的最短路徑橋接SPB（ShortestPathBridging）此外還有如Cisco的FabricPath、Juniper的QFabric和Brocade的VCS（VirtualClusterSwitching）等多鏈路透明互聯(lián)TRILL19TRILL將三層網(wǎng)絡(luò)中基于鏈路狀態(tài)的路由技術(shù)應(yīng)用到二層網(wǎng)絡(luò)中來(lái)充分利用數(shù)據(jù)中心網(wǎng)絡(luò)中冗余的鏈路和節(jié)點(diǎn)實(shí)現(xiàn)基于數(shù)據(jù)中心全網(wǎng)的大二層網(wǎng)絡(luò)擺脫STP協(xié)議的束縛，提升網(wǎng)絡(luò)的性能和可擴(kuò)展性支持TRILL的交換機(jī)被稱為RBridge（RoutingBridge）相當(dāng)于三層網(wǎng)絡(luò)中的路由器的功能，用于在網(wǎng)絡(luò)中實(shí)現(xiàn)二層網(wǎng)絡(luò)上的多路徑傳輸每個(gè)RBridge通過(guò)Nickname進(jìn)行標(biāo)識(shí)網(wǎng)絡(luò)中不需要所有的交換機(jī)都支持TRILL多鏈路透明互聯(lián)TRILL20TRILL在原始MAC幀外，添加一個(gè)TRILLHeader（相當(dāng)于三層路由中的IP包頭），和一個(gè)最外層的MAC幀頭。TRILL幀封裝21TRILL的路由算法采用的是基于鏈路狀態(tài)的IS-IS（IntermediateSystemtoIntermediateSystem，中間系統(tǒng)到中間系統(tǒng)）路由協(xié)議由于IS-IS協(xié)議采用了TLV的編碼機(jī)制，具有較好的靈活性，可以直接基于MAC地址實(shí)現(xiàn)基于IS-IS，TRILL可以在RBridge之間會(huì)建立鄰居關(guān)系，并生成RBridge的拓?fù)?，以及基于RBridgeNickname的路由表。TRILL還會(huì)維護(hù)每個(gè)虛擬機(jī)的MAC地址和其所在RBridge的Nickname之間的映射關(guān)系TRILL路由22TRILL幀的轉(zhuǎn)發(fā)過(guò)程如下：多鏈路透明互聯(lián)TRILL23數(shù)據(jù)中心橋接DCB（DataCenterBridging）包含了由IEEE制定的一系列的協(xié)議集合（IEEE802.1）可以能夠適應(yīng)不同類型應(yīng)用服務(wù)的需求數(shù)據(jù)中心橋接DCB24基于萬(wàn)兆及更高速率的以太網(wǎng)技術(shù)，DCB主要包括四個(gè)方面的內(nèi)容基于優(yōu)先級(jí)的流量控制機(jī)制PFC（Priorit-basedFlowControl）多級(jí)調(diào)度的增強(qiáng)傳輸選擇機(jī)制ETS（EnhancedTransmissionSelection）基于反饋的量化擁塞通知QCN（QuantizedCongestionNotification）提供DCB自動(dòng)化配置和保持兼容性的DCBx（DataCenterBridgingexchange）數(shù)據(jù)中心橋接DCB25PFC（定義在IEEE802.1Qbb標(biāo)準(zhǔn)中）在IEEE802.3x的PAUSE幀基礎(chǔ)上進(jìn)行了改進(jìn)在以太網(wǎng)鏈路上進(jìn)行流量區(qū)分，最多可以支持8個(gè)優(yōu)先級(jí)（實(shí)際使用中，一般只用到2～3個(gè)優(yōu)先級(jí)）發(fā)送和接收數(shù)據(jù)的交換機(jī)在內(nèi)存中劃分不同的內(nèi)存分區(qū)（即優(yōu)先級(jí)隊(duì)列），分別構(gòu)成了互相獨(dú)立的優(yōu)先級(jí)通道基于優(yōu)先級(jí)的流量控制PFC26ETS（

定義在IEEE802.1Qaz標(biāo)準(zhǔn)中

）將傳統(tǒng)網(wǎng)絡(luò)QoS的帶寬管理方法，移植到了基于PFC的以太網(wǎng)環(huán)境中對(duì)8個(gè)優(yōu)先級(jí)通道，賦予了不同的帶寬限制在保證業(yè)務(wù)流量獲取其所需的帶寬的同時(shí)，不會(huì)影響其它的業(yè)務(wù)流量不同類型的業(yè)務(wù)流量歸類為不同的優(yōu)先級(jí)組PG（Prioritygroup），每個(gè)PG分配一個(gè)PGID（PriorityGroupID），取值在0～7之間，分別對(duì)應(yīng)一個(gè)帶寬的百分比，代表最小保證帶寬增強(qiáng)傳輸選擇ETS27QCN機(jī)制（

定義在IEEE802.1Qau標(biāo)準(zhǔn)中）QCN是一種可以直接溯源、可量化調(diào)整的擁塞控制機(jī)制在交換機(jī)的出口設(shè)置擁塞控制檢測(cè)點(diǎn)，通過(guò)周期性隨機(jī)采樣等方式進(jìn)行分析當(dāng)擁塞發(fā)生時(shí)，會(huì)基于數(shù)據(jù)幀的源MAC地址，向流量源頭的網(wǎng)卡直接發(fā)送CNM（CongestionNotificationMessages）消息該網(wǎng)卡會(huì)根據(jù)CNM的內(nèi)容，對(duì)相應(yīng)的入口隊(duì)列進(jìn)行速率限制，根據(jù)反饋信息定量地減少發(fā)送流量的速率當(dāng)一段時(shí)間內(nèi)沒(méi)有收到CNM消息，會(huì)通過(guò)算法恢復(fù)發(fā)送速率，保證在擁塞解除后能夠充分利用網(wǎng)絡(luò)帶寬。量化擁塞通知QCN28DCBx（定義在IEEE802.1Qaz中），用于完成交換機(jī)之間的自動(dòng)協(xié)商協(xié)議DCBx是基于鏈路層發(fā)現(xiàn)協(xié)議LLDP（LinkLayerDiscoveryProtocol）協(xié)議實(shí)現(xiàn)一方面實(shí)