大二層網(wǎng)絡(luò)技術(shù)

如前文所述，傳統(tǒng)的數(shù)據(jù)中心會(huì)聚交換機(jī)作為網(wǎng)關(guān)，為了提高HA性能，根本都采用雙機(jī)冗余建設(shè)模式。隨著數(shù)據(jù)中心進(jìn)入虛擬化時(shí)代，接入效勞器的規(guī)模飛速增加，虛擬效勞器的規(guī)模出現(xiàn)級(jí)數(shù)增加。同時(shí)，更多的客戶要求在同一個(gè)二層網(wǎng)絡(luò)內(nèi)，任意兩臺(tái)虛擬效勞器之間要做無阻塞的快速交換。這就導(dǎo)致作為網(wǎng)關(guān)的會(huì)聚交換機(jī)出現(xiàn)容量缺乏而降低整網(wǎng)性能，因此需要采用新得技術(shù)有效的增加會(huì)聚交換機(jī)的容量，同時(shí)還必須采用有效的技術(shù)提高接入到會(huì)聚交換機(jī)之間的帶寬利用率。前面幾篇文章介紹了各種可用于數(shù)據(jù)中心二層網(wǎng)絡(luò)擴(kuò)展的技術(shù)，本文將就這幾類技術(shù)做一下比照。1傳統(tǒng)STP技術(shù)應(yīng)用分析STP是IEEE802.1D中定義的一個(gè)應(yīng)用于以太網(wǎng)交換機(jī)的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)為交換機(jī)定義了一組規(guī)那么用于探知鏈路層拓?fù)?，并對交換機(jī)的鏈路層轉(zhuǎn)發(fā)行為進(jìn)行控制。如果STP發(fā)現(xiàn)網(wǎng)絡(luò)中存在環(huán)路，它會(huì)在環(huán)路上選擇一個(gè)恰當(dāng)?shù)奈恢米枞溌飞系亩丝凇柚苟丝谵D(zhuǎn)發(fā)或接收以太網(wǎng)幀，通過這種方式消除二層網(wǎng)絡(luò)中可能產(chǎn)生的播送風(fēng)暴。然而在實(shí)際部署中，為確保網(wǎng)絡(luò)的高可用性，無論是數(shù)據(jù)中心網(wǎng)絡(luò)還是園區(qū)網(wǎng)絡(luò)，通常都會(huì)采用具有環(huán)路的物理拓?fù)洌⒉捎肧TP阻塞局部端口的轉(zhuǎn)發(fā)。對于被阻塞端口，只有在處于轉(zhuǎn)發(fā)狀態(tài)的端口及鏈路發(fā)生故障時(shí)，才可能被STP參加到二層數(shù)據(jù)幀的轉(zhuǎn)發(fā)樹中。圖1STP引起的帶寬利用率缺乏的問題STP的這種機(jī)制導(dǎo)致了二層鏈路利用率缺乏，尤其是在網(wǎng)絡(luò)設(shè)備具有全連接拓?fù)潢P(guān)系時(shí)，這種缺陷尤為突出。如圖1所示，當(dāng)采用全網(wǎng)STP二層設(shè)計(jì)時(shí)，STP將阻塞大多數(shù)鏈路，使接入到會(huì)聚間帶寬降至1/4，會(huì)聚至核心間帶寬降至1/8。這種缺陷造成越接近樹根的交換機(jī)，端口擁塞越嚴(yán)重，造成的帶寬資源浪費(fèi)就越可觀?？梢姡琒TP可以很好地支持傳統(tǒng)的小規(guī)模范圍的二層網(wǎng)絡(luò)，但在一些規(guī)模部署虛擬化應(yīng)用的數(shù)據(jù)中心內(nèi)〔或數(shù)據(jù)中心之間〕，會(huì)出現(xiàn)大范圍的二層網(wǎng)絡(luò)，STP在這樣的網(wǎng)絡(luò)中應(yīng)用存在嚴(yán)重的缺乏。主要表現(xiàn)為以下問題〔如圖2所示〕。圖2STP的低效路徑問題示意圖1.低效路徑流量繞行N-1跳路由網(wǎng)絡(luò)只需N/2跳甚至更短2.帶寬利用率低阻斷環(huán)路，中斷鏈路大量帶寬閑置流量容易擁塞3.可靠性低秒級(jí)故障切換對設(shè)備的消耗較大4.維護(hù)難度大鏈路引起拓?fù)渥兓瘡?fù)雜容易引發(fā)播送風(fēng)暴配置、管理難度隨著規(guī)模增加劇增由于STP存在以上種種缺乏，其難以勝任大規(guī)模二層網(wǎng)絡(luò)的管理控制。2IRF技術(shù)應(yīng)用分析H3CIRF〔IntelligentResilientFramework〕是N:1網(wǎng)絡(luò)虛擬化技術(shù)。IRF可將多臺(tái)網(wǎng)絡(luò)設(shè)備〔成員設(shè)備〕虛擬化為一臺(tái)網(wǎng)絡(luò)設(shè)備〔虛擬設(shè)備〕，并將這些設(shè)備作為單一設(shè)備管理和使用。IRF虛擬化技術(shù)不僅使多臺(tái)物理設(shè)備簡化成一臺(tái)邏輯設(shè)備，同時(shí)網(wǎng)絡(luò)各層之間的多條鏈路連接也將變成兩臺(tái)邏輯設(shè)備之間的直連，因此可以將多條物理鏈路進(jìn)行跨設(shè)備的鏈路聚合，從而變成了一條邏輯鏈路，增加帶寬的同時(shí)也防止了由多條物理鏈路引起的環(huán)路問題。如圖3所示，將接入、會(huì)聚與核心交換機(jī)兩兩虛擬化，層與層之間采用跨設(shè)備鏈路捆綁方式互聯(lián)，整網(wǎng)物理拓?fù)錄]有變化，但邏輯拓?fù)渖献兂闪藰錉罱Y(jié)構(gòu)，以太幀延拓?fù)錁滢D(zhuǎn)發(fā)，不存在二層環(huán)路，且?guī)捓寐首罡摺D3基于IRF構(gòu)建二層網(wǎng)絡(luò)簡單來說，利用IRF構(gòu)建二層網(wǎng)絡(luò)的好處包括：簡化組網(wǎng)拓?fù)浣Y(jié)構(gòu)，簡化管理減少了設(shè)備數(shù)量，減少管理工作量多臺(tái)設(shè)備合并后可以有效的提高性能多臺(tái)設(shè)備之間可以實(shí)現(xiàn)無縫切換，有效提高網(wǎng)絡(luò)HA性能目前，IRF技術(shù)實(shí)現(xiàn)框式交換機(jī)堆疊的窬量最大為四臺(tái)，也就是說使用IRF構(gòu)建二層網(wǎng)絡(luò)時(shí)，會(huì)聚交換機(jī)最多可達(dá)4臺(tái)。舉例來說，會(huì)聚層部署16業(yè)務(wù)槽的框式交換機(jī)〔4塊上行，12塊下行〕，配置業(yè)界最先進(jìn)的48端口線速萬兆單板?？紤]保證上下行1:4的收斂比，會(huì)聚交換機(jī)下行的萬兆端口數(shù)量48*12=576。接入交換機(jī)部署4萬兆上行，48千兆下行的盒式交換機(jī)。4臺(tái)IRF后的會(huì)聚交換機(jī)可以在二層無阻塞的前提下接入13824臺(tái)雙網(wǎng)卡的千兆效勞器，可滿足國內(nèi)絕大局部客戶的二層組網(wǎng)需求。少局部客戶期望其效勞器資源池可以有效擴(kuò)充到2萬臺(tái)甚至更大。這樣，就需要其他技術(shù)提供更大的網(wǎng)絡(luò)容量。3TRILL技術(shù)應(yīng)用分析圖4數(shù)據(jù)中心Trill大二層組網(wǎng)架構(gòu)示意圖采用TRILL技術(shù)構(gòu)建的數(shù)據(jù)中心大二層網(wǎng)絡(luò)如圖4所示，網(wǎng)絡(luò)分為核心層(相當(dāng)于傳統(tǒng)數(shù)據(jù)中心會(huì)聚層)、接入層。接入層是TRILL網(wǎng)絡(luò)與傳統(tǒng)以太網(wǎng)的邊界；核心層RBridge不提供主機(jī)接入，只負(fù)責(zé)TRILL幀的高速轉(zhuǎn)發(fā)。每個(gè)接入層RBridge通過多個(gè)高速端口分別接入到多臺(tái)核心層RBridge上。準(zhǔn)確的說，TRILL最大可以支持16臺(tái)核心層RBridge。這樣也就對接入層交換機(jī)提出了更高的要求：支持16端口萬兆上行，160千兆下行。目前的主流千兆交換機(jī)都是4萬兆上行、48千兆下行。最高密度可以支持到10萬兆上行，96千兆下行。如果與前面IRF組網(wǎng)采用相同的會(huì)聚〔TRILL核心〕設(shè)備和收斂比，TRILL目前最大可以支持10核心組網(wǎng)，其最大能力可以無阻塞的接入27648臺(tái)雙網(wǎng)卡千兆效勞器?？梢灾庇^的看到，隨著會(huì)聚交換機(jī)數(shù)量的增加，二層網(wǎng)絡(luò)效勞器的接入規(guī)模直線上升。這是目前TRILL相對于IRF最明顯的優(yōu)勢。雖然TRILL成功擴(kuò)展了虛擬機(jī)資源池的規(guī)模，但是目前大規(guī)模的二層網(wǎng)絡(luò)缺乏運(yùn)維經(jīng)驗(yàn)，這意味著運(yùn)維本錢會(huì)大幅度提升，同時(shí)給業(yè)務(wù)系統(tǒng)帶來巨大的風(fēng)險(xiǎn)。同時(shí)，TRILL技術(shù)目前在芯片實(shí)現(xiàn)上存在客觀缺陷：核心層不能支持三層終結(jié)，也就是說TRILL的核心層不能做網(wǎng)關(guān)設(shè)備。必須要在核心層上再增加一層設(shè)備來做網(wǎng)關(guān)〔如圖5所示〕。這導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)變得復(fù)雜，管理難度增加，網(wǎng)絡(luò)建設(shè)、運(yùn)維本錢都會(huì)增加。圖5數(shù)據(jù)中心Trill組網(wǎng)網(wǎng)關(guān)設(shè)計(jì)架構(gòu)示意圖4SPB技術(shù)應(yīng)用分析SPB的組網(wǎng)方案和TRILL根本相同〔圖4所示〕。同樣最大可以擴(kuò)展16臺(tái)會(huì)聚交換機(jī)增加二層網(wǎng)絡(luò)接入規(guī)模；同樣對接入交換機(jī)的接入密度提出更高的要求；同樣存在網(wǎng)關(guān)與SPB核心必須別離的芯片缺陷〔圖5所示〕，導(dǎo)致網(wǎng)絡(luò)層次增加，管理、運(yùn)維本錢增加。相對于TRILL，SPB最大的優(yōu)勢在于能夠方便的支持VLAN擴(kuò)展功能，正是這一點(diǎn)吸引了很多需要支持多租戶業(yè)務(wù)的運(yùn)營商以及有規(guī)模運(yùn)營需求的企業(yè)的關(guān)注。5EVI技術(shù)應(yīng)用分析由于大規(guī)模的二層網(wǎng)絡(luò)缺乏成功的運(yùn)維經(jīng)驗(yàn)，所以最合理的虛擬化網(wǎng)絡(luò)應(yīng)該是L3+L2網(wǎng)絡(luò)模型。如前文所述，由于EVI特性可以通過會(huì)聚層和核心層之間的IP網(wǎng)絡(luò)實(shí)現(xiàn)二層互通，所以通過EVI擴(kuò)展多個(gè)二層域的時(shí)候不需要更改布線或是設(shè)備，僅僅需要在會(huì)聚設(shè)備上啟用EVI特性即可。這樣可以平滑的擴(kuò)展二層網(wǎng)絡(luò)的規(guī)模。目前L3路由+L2IRF+EVI是最適合云計(jì)算虛擬化數(shù)據(jù)中心網(wǎng)絡(luò)的模型。其主要的優(yōu)點(diǎn)包括：技術(shù)成熟，架構(gòu)穩(wěn)定豐富的運(yùn)維經(jīng)驗(yàn)，便于維護(hù)平滑的擴(kuò)容能力，能夠支持大規(guī)模二層網(wǎng)絡(luò)6技術(shù)應(yīng)用比照二層網(wǎng)絡(luò)挑戰(zhàn)STPIRFTRILLSPBL3+L2IRF+EVI環(huán)路管理非常復(fù)雜天然無環(huán)路由方式路由方式天然無環(huán)最短路徑轉(zhuǎn)發(fā)不支持樹形結(jié)構(gòu)，天然支持支持支持樹形結(jié)構(gòu)，天然支持帶寬利用率/負(fù)載均衡不支持二層hash，均衡且性能高路由hash,均衡且性能高實(shí)例預(yù)置路徑，不夠均衡二層hash，均衡且性能高快速收斂HA收斂較慢50ms收斂不支持OAM，路由計(jì)算收斂較慢支持OAM，收斂較快50ms收斂平安隔離/Vlan擴(kuò)展不支持支持QinQ或是PBB不支持支持PBB支持QinQ或是PBB運(yùn)維管理及其復(fù)雜成熟、簡單缺乏運(yùn)維經(jīng)驗(yàn)缺乏運(yùn)維經(jīng)驗(yàn)成熟、簡單互通性/標(biāo)準(zhǔn)化標(biāo)準(zhǔn)會(huì)聚層IRF私有協(xié)議，與接入層通過LACP標(biāo)準(zhǔn)互通標(biāo)準(zhǔn)，但要求整網(wǎng)統(tǒng)一標(biāo)準(zhǔn)標(biāo)準(zhǔn)，但要求整網(wǎng)統(tǒng)一標(biāo)準(zhǔn)IRF和EVI都是私有協(xié)議網(wǎng)關(guān)設(shè)計(jì)網(wǎng)關(guān)合一設(shè)計(jì)網(wǎng)關(guān)合一設(shè)計(jì)網(wǎng)關(guān)獨(dú)立，網(wǎng)絡(luò)多一層結(jié)構(gòu)網(wǎng)關(guān)獨(dú)立，網(wǎng)絡(luò)多一層結(jié)構(gòu)網(wǎng)關(guān)合一設(shè)計(jì)接入規(guī)?！才_(tái)雙網(wǎng)卡效勞器〕<100<13824<27648<27648<2211847結(jié)束語虛擬化數(shù)據(jù)中心內(nèi)通常采用效勞器二層接入方案，以實(shí)現(xiàn)靈活擴(kuò)展資源池能力。隨著企業(yè)對計(jì)算資源靈活調(diào)度能力要求的不斷提升，必然將面臨大規(guī)模二層網(wǎng)絡(luò)問題。本文列出五種不同實(shí)現(xiàn)技術(shù)，各有特點(diǎn)。技術(shù)沒有最好的，只有最適合的。希望通過本文的闡述與分析，給讀者一些幫助與啟發(fā)，以便未來實(shí)現(xiàn)數(shù)據(jù)中心大規(guī)模二層網(wǎng)絡(luò)時(shí)選擇最適合的技術(shù)方案。其他大二層組網(wǎng)技術(shù)簡介?FabricpathFabricpath是由Cisco提出，和TRILL非常相似的一種技術(shù)。Fabricpath和TRILL比照來看，主要在于封裝更加精簡，支持多拓?fù)淠芰Γ诳刂乒芾韺用嫔暇?xì)作，成熟度要好一些。?Qfabric是Juniper提出的技術(shù)，將交換機(jī)的控制軟件拉到外部的效勞器上運(yùn)行，整個(gè)網(wǎng)絡(luò)采用集中控制集中管理的方式。缺點(diǎn)是：擴(kuò)展性不好，部署案例少，成熟度待檢驗(yàn)。?VXLAN/NVGRE業(yè)界最近出現(xiàn)了一種通過在vSwitch上支持L2oIP的技術(shù)，有VXlAN〔VirtualeXtensibleLAN〕和NVGRE〔NetworkVirtualGRE〕，前者是由VMware和思科提出的標(biāo)準(zhǔn)，