劉新民：云計(jì)算時(shí)代的100G網(wǎng)絡(luò)

劉新民：云計(jì)算時(shí)代的100G網(wǎng)絡(luò)傳統(tǒng)網(wǎng)絡(luò)應(yīng)用，隨著數(shù)據(jù)大集中的進(jìn)行和完成，網(wǎng)絡(luò)帶寬的基本需求早已經(jīng)超越了千兆級(jí)別;互聯(lián)網(wǎng)發(fā)展已經(jīng)進(jìn)入云計(jì)算初級(jí)時(shí)代,現(xiàn)網(wǎng)已展開(kāi)大規(guī)模10G、N*10G的高速網(wǎng)絡(luò)部署。這是網(wǎng)絡(luò)業(yè)務(wù)規(guī)模不斷發(fā)展的要求，而隨著云計(jì)算的進(jìn)一步發(fā)展、技術(shù)不斷更新和產(chǎn)品化,云計(jì)算服務(wù)的全面成熟和有效交付將直接依托于以40G/100G為基礎(chǔ)帶寬的超高速網(wǎng)絡(luò)互聯(lián)技術(shù)，同時(shí)這是一種可分散、可聚合的云網(wǎng)結(jié)構(gòu)，互聯(lián)網(wǎng)已經(jīng)進(jìn)入100G時(shí)代。重新認(rèn)識(shí)100G對(duì)于云計(jì)算網(wǎng)絡(luò)的重要性1.1大規(guī)模運(yùn)營(yíng)的云計(jì)算需要100G網(wǎng)絡(luò)云計(jì)算的服務(wù)供應(yīng)從技術(shù)和運(yùn)營(yíng)的角度看擁有近乎無(wú)限的計(jì)算、存儲(chǔ)、數(shù)據(jù)通信能力，那么提供云計(jì)算服務(wù)的IT架構(gòu)必然是集結(jié)了大規(guī)?；A(chǔ)資源的數(shù)據(jù)中心“超級(jí)航母”。云計(jì)算IT資源的大規(guī)模集中運(yùn)營(yíng)，可極大優(yōu)化基礎(chǔ)資源的分布與調(diào)度。所以，理想的業(yè)務(wù)模型是，對(duì)于使用云計(jì)算服務(wù)的企業(yè)或個(gè)人，能夠滿足IT業(yè)務(wù)的最佳方式為計(jì)算能力按需增長(zhǎng)、應(yīng)用部署快速實(shí)現(xiàn)、工作負(fù)載可動(dòng)態(tài)調(diào)整、投入成本規(guī)劃可控。對(duì)于云計(jì)算服務(wù)供應(yīng)商而言，為滿足大量客戶（個(gè)人或企業(yè)）的IT資源需求，其運(yùn)營(yíng)的IT基礎(chǔ)架構(gòu)需要有一個(gè)大規(guī)模的資源池，可基于服務(wù)客戶數(shù)量的增長(zhǎng)、客戶業(yè)務(wù)負(fù)載增長(zhǎng)的需求變化情況提供匹配的IT資源支持能力。大規(guī)模的IT集中建設(shè)與運(yùn)營(yíng)還帶來(lái)了大幅度的成本節(jié)約效應(yīng)，來(lái)自國(guó)外的一份數(shù)據(jù)展示（如圖1所示），在大規(guī)模IT服務(wù)環(huán)境下，網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器/管理等各方面的投入都會(huì)在單位資源尺度內(nèi)極大降低，從而在大規(guī)模經(jīng)營(yíng)條件下可以使得單位資源帶來(lái)更大的產(chǎn)出。人熾模IT繆ff|￥j成本樣約效應(yīng)疑mi寺皐胡號(hào)捋訕怫f璉；$0.d4^B加總甜卿砂咻工S0.20/GB（MX）S^nriG-e人熾模IT繆ff|￥j成本樣約效應(yīng)疑mi寺皐胡號(hào)捋訕怫f璉；$0.d4^B加總甜卿砂咻工S0.20/GB（MX）S^nriG-e$叩1昭*憶耐舶陰和Mid創(chuàng)工出如乩00怕B/y?d「冷小0臺(tái)魚rvlc?$c額密2hMi4+?m??rsJadBnJnEEiterpu-j-se:**140urv-Br^adrnin(15.7kJ圖1大規(guī)模運(yùn)營(yíng)云計(jì)算的成本效益在大規(guī)模云計(jì)算環(huán)境下，性能無(wú)疑成為最為關(guān)注的核心要素。當(dāng)前以千兆/萬(wàn)兆為主流（廣域網(wǎng)很多企業(yè)還處在155/622M）的常規(guī)基礎(chǔ)網(wǎng)絡(luò)或許能夠滿足云計(jì)算服務(wù)初期或者小規(guī)模云服務(wù)的要求，但隨著云計(jì)算資源和規(guī)模的不斷擴(kuò)大量變必然導(dǎo)致質(zhì)變，云計(jì)算數(shù)據(jù)中心成為信息計(jì)算服務(wù)的核反應(yīng)中樞，以100G為基礎(chǔ)接口的網(wǎng)絡(luò)分發(fā)將很快成為大規(guī)模云計(jì)算的必然選擇。以國(guó)內(nèi)某互聯(lián)網(wǎng)公司為例，單個(gè)數(shù)據(jù)中心規(guī)模超過(guò)萬(wàn)臺(tái)服務(wù)器，在實(shí)現(xiàn)多個(gè)數(shù)據(jù)中心的后端網(wǎng)絡(luò)連接后，發(fā)現(xiàn)內(nèi)部業(yè)務(wù)量隨著整體規(guī)模的擴(kuò)大（數(shù)據(jù)中心規(guī)模擴(kuò)大、數(shù)據(jù)中心數(shù)量增加）上升很快，單個(gè)數(shù)據(jù)中心到內(nèi)部業(yè)務(wù)網(wǎng)絡(luò)的鏈路已經(jīng)擴(kuò)至16根10G，因此，尋求N*400G/1000G超高速互聯(lián)的是高性價(jià)比的方案選擇。1.2流量激增的云計(jì)算內(nèi)部云計(jì)算的服務(wù)模式，架構(gòu)上從低至高一般分為IaaS/PaaS/SaaS三種（通稱

I-P-S模式），如圖2所示。云計(jì)算的著眼點(diǎn)在于“計(jì)算”，以不同的計(jì)算形式

來(lái)支撐云的服務(wù)，通常情況下，我們將云計(jì)算的計(jì)算技術(shù)分成兩種：虛擬化技術(shù)

和集群技術(shù)。%」匸」兒丁+-匸?-七..丁%」匸」兒丁+-匸?-七..丁圖2I-P-S模式云計(jì)算虛擬化技術(shù)虛擬化本質(zhì)在于對(duì)物理服務(wù)器的計(jì)算能力（當(dāng)然還包括10、內(nèi)存、存儲(chǔ)空間等）進(jìn)行邏輯的顆粒化分割，每個(gè)分割單元都可以作為獨(dú)立的計(jì)算單元運(yùn)行，這樣使得一臺(tái)物理服務(wù)器上虛擬出多個(gè)邏輯服務(wù)器，也就是虛擬機(jī)，這種方式也稱為1：N的虛擬化（如圖3所示）。由于大多數(shù)物理服務(wù)器CPU利用率低下，大量可用計(jì)算資源處于閑置，為了提高服務(wù)器的利用率，采用虛擬化技術(shù)將多個(gè)應(yīng)用集中到單臺(tái)服務(wù)器上（當(dāng)前的集中比例可達(dá)到15:1，將來(lái)的集中比可達(dá)到40:1~60:1），大幅有效提升計(jì)算資源利用率。但這樣帶來(lái)的另一個(gè)效果是，多個(gè)應(yīng)用的IO疊加使得服務(wù)器的吞吐量密集提升（如圖3所示），單位網(wǎng)絡(luò)內(nèi)數(shù)據(jù)流量十幾甚至數(shù)十倍的增長(zhǎng)，開(kāi)始挑戰(zhàn)網(wǎng)絡(luò)轉(zhuǎn)發(fā)、傳送性能上限，密集計(jì)算的吞吐導(dǎo)致現(xiàn)有的千兆網(wǎng)絡(luò)接入開(kāi)始形成瓶頸。眾擬化networknetwork眾擬化networknetwork圖3虛擬化的密集流量在云計(jì)算特別是IaaS的服務(wù)模式下，廣泛采用虛擬化技術(shù)來(lái)進(jìn)行計(jì)算資源的調(diào)度服務(wù)，同時(shí)服務(wù)器多核技術(shù)迅速發(fā)展，而且服務(wù)器的網(wǎng)卡進(jìn)一步向高速萬(wàn)兆接口演進(jìn)，這使得云計(jì)算在服務(wù)器接入的IO處理層面不僅帶寬擴(kuò)大，而且流量激增，這直接對(duì)骨干網(wǎng)絡(luò)層面提出了超萬(wàn)兆或面向40G/100G的基本要求。大規(guī)模集群技術(shù)集群技術(shù)的目的，是將大量的服務(wù)器通過(guò)集群方式整合起來(lái)，形成一個(gè)具有大規(guī)模計(jì)算處理能力的“巨型計(jì)算機(jī)”，從而完成巨大的計(jì)算處理任務(wù)，這也是一種N:1的虛擬化技術(shù)（如圖4所示）。在這樣的計(jì)算應(yīng)用中，幾乎每一臺(tái)服務(wù)器都處在重負(fù)荷的計(jì)算與吞吐環(huán)境，并且由于大型集群內(nèi)子群之間的密集數(shù)據(jù)交換，導(dǎo)致了網(wǎng)絡(luò)上各個(gè)方向大規(guī)模的數(shù)據(jù)傳輸，性能要求已經(jīng)超越100G規(guī)模。

圖4大規(guī)模集群的密集流量萬(wàn)臺(tái)級(jí)服務(wù)器無(wú)阻塞交換（10000GE=100*100G）已經(jīng)成為互聯(lián)網(wǎng)行業(yè)云計(jì)算業(yè)務(wù)的基本要求。當(dāng)前對(duì)高密、超高密萬(wàn)兆端口的需求已經(jīng)達(dá)到了目前技術(shù)的門限，向100G帶寬過(guò)渡、并繼續(xù)提出高密40G/100G端口的挑戰(zhàn)需求是大勢(shì)所趨。100G云網(wǎng)方案40G/100G已經(jīng)標(biāo)準(zhǔn)化，各設(shè)備廠商均已進(jìn)入產(chǎn)品交付的實(shí)質(zhì)開(kāi)發(fā)階段，因此，以10G接入、40G/100G為骨干的云計(jì)算網(wǎng)絡(luò)逐步會(huì)形成系統(tǒng)性的解決方案。針對(duì)云計(jì)算網(wǎng)絡(luò)，H3C已在實(shí)踐一個(gè)全面配套路由、交換、安全的云網(wǎng)解決方案（如圖5所示）。通過(guò)100G的超高速云內(nèi)部交換網(wǎng)絡(luò)、云間100G高速專線、100G擴(kuò)展性安全，從而構(gòu)建整個(gè)云計(jì)算100G全端網(wǎng)絡(luò)架構(gòu)。圖5云網(wǎng)方案分布圖云數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的關(guān)鍵要素（如圖6所示）虛擬機(jī)感知與精確控制：基于標(biāo)準(zhǔn)化EVB、EVPA的虛擬機(jī)（VM）接入網(wǎng)絡(luò)，將云中每個(gè)虛擬計(jì)算單元VM映射到交換網(wǎng)絡(luò)上，創(chuàng)建虛擬端口（vPort）對(duì)應(yīng)，并通過(guò)虛擬通道vChannel關(guān)聯(lián)和控制（在EVBVEPA中的MultiChannel技術(shù)，H3C通過(guò)vChannel+vPort方式來(lái)實(shí)現(xiàn)）。對(duì)應(yīng)于VM的創(chuàng)建、遷移、釋放，網(wǎng)絡(luò)上也有相應(yīng)的vChannel和vPort的創(chuàng)建、遷移、釋放，從而網(wǎng)絡(luò)對(duì)虛擬計(jì)算的感知可控制轉(zhuǎn)換為對(duì)自身虛擬端口的操作，從而實(shí)現(xiàn)精確控制。統(tǒng)一交換架構(gòu)：在萬(wàn)兆接入，40G/100G骨干的數(shù)據(jù)中心無(wú)損交換網(wǎng)（LosslessEthernet）,統(tǒng)一承載計(jì)算流量和存儲(chǔ)流量，實(shí)現(xiàn)基礎(chǔ)架構(gòu)的精簡(jiǎn)和布線的簡(jiǎn)化，在保證網(wǎng)絡(luò)性能、計(jì)算能力、存儲(chǔ)效率的同時(shí)，降低云計(jì)算關(guān)鍵網(wǎng)絡(luò)的購(gòu)買成本與運(yùn)維成本。無(wú)阻塞L2/L3并行多路徑FATTree100G網(wǎng)絡(luò)：云計(jì)算不論是虛擬化部署還是大規(guī)模集群的實(shí)施，對(duì)交換網(wǎng)絡(luò)性能要求極高，單接口的100G帶寬并不能完全滿足業(yè)務(wù)要求，因此提出了通過(guò)無(wú)阻塞的組網(wǎng)方式來(lái)滿足超大規(guī)模計(jì)算能力的連接。目前業(yè)內(nèi)實(shí)現(xiàn)計(jì)算的連接方式有L2（二層）、L3（路由）或其混合方式，不論哪種方式，都要求充分利用核心的N*100G，在云的內(nèi)部形成多路徑傳輸計(jì)算結(jié)構(gòu)。對(duì)路由模式傳統(tǒng)上稱為ECMP（即通常理解的等價(jià)路由）；對(duì)二層模式稱為L(zhǎng)2MP（二層多路徑）。在北美地區(qū)，更流行FATTree的說(shuō)法，不論使用L2還是L3技術(shù)，構(gòu)建一個(gè)大規(guī)模的無(wú)阻塞網(wǎng)絡(luò)結(jié)構(gòu)。在H3C的解決方案中，充分利用IRF2（智能彈性架構(gòu)）技術(shù)，結(jié)合當(dāng)前的新標(biāo)準(zhǔn)（如TRILL/L2VPN）等，在100G的核心網(wǎng)絡(luò)上提供一個(gè)可同時(shí)支持L2/L3多路徑，使得計(jì)算通信具備更好的靈活性和擴(kuò)展性。圖6云計(jì)算數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)高速云專線：100G的可分散、可聚合的云間聯(lián)網(wǎng)、云內(nèi)傳送網(wǎng)圖7給出了一種比較復(fù)雜的云服務(wù)模式，企業(yè)A分別從SP-A和SP-B獲得云計(jì)算服務(wù)，在每個(gè)SP內(nèi)部，又從不同地理位置的IDC獲得服務(wù)，而用戶除了構(gòu)建自身的私有云，還在用運(yùn)營(yíng)商的公共云服務(wù)，這里就存在云計(jì)算服務(wù)靈活供應(yīng)的多重模式要求，我們稱之為可分散、可聚合的云結(jié)構(gòu)。可分散、可聚合：對(duì)于整體云計(jì)算服務(wù)而言，用戶的業(yè)務(wù)訪問(wèn)和服務(wù)體驗(yàn)是完全不依賴于計(jì)算所在的物理位置的，然而企業(yè)或機(jī)構(gòu)在實(shí)際部署云計(jì)算數(shù)據(jù)中心時(shí)的地址選擇必然又受實(shí)際環(huán)境如光纖線路、地理位置、能源供應(yīng)等基礎(chǔ)設(shè)施的影響，使得云數(shù)據(jù)中心規(guī)?；虼蠡蛐?，或集中或分散，或分布在一個(gè)園區(qū)，或分散在多個(gè)地域。這就要求網(wǎng)絡(luò)不僅有效支持每個(gè)云中心的計(jì)算服務(wù)，還需要整合各地域的云中心，形成一個(gè)聚合后的服務(wù)整體，因此靈活的DCI(Datacenterinterconnection)和CSI(Cloudserviceinterconnection)方案是實(shí)現(xiàn)可分散、可聚合云專線的基礎(chǔ)，這將由H3C的100G路由器結(jié)合云路由軟件操作系統(tǒng)平臺(tái)來(lái)實(shí)現(xiàn)。鹽縣IDG獴fA^./J剛鹽縣IDG獴fA^./J剛i曲垃S34衣間謬附i；2雖珈蟲(chóng)離…….眩初iaa席習(xí)腎罕汙齊轡j：城圖7可分散、可聚合的云間網(wǎng)/云內(nèi)網(wǎng)集成與可擴(kuò)展的統(tǒng)一安全控制在H3C的100G云網(wǎng)方案中，基于交換集成的安全結(jié)構(gòu)，融合IRF2的統(tǒng)一管理方式，在每個(gè)交換槽位提供N*10G的防火墻安全性能如圖8所示，并實(shí)現(xiàn)一個(gè)IRF交換系統(tǒng)上所有防火墻模塊的統(tǒng)一虛擬化和管理控制，從而形成云網(wǎng)安全的單系統(tǒng)200G級(jí)別安全處理性