售后服務(wù)云計(jì)算服務(wù)的大規(guī)模計(jì)算網(wǎng)絡(luò)

1、（售后服務(wù)）云計(jì)算服務(wù)的大規(guī)模計(jì)算網(wǎng)絡(luò)20XX年XX月峯年的企業(yè)咨詢咸問(wèn)經(jīng)驗(yàn).經(jīng)過(guò)實(shí)戰(zhàn)驗(yàn)證可以藩地執(zhí)行的卓越萱理方案.值得您下載擁有云計(jì)算服務(wù)的大規(guī)模計(jì)算網(wǎng)絡(luò)2010 年 04 月 21 日文/ 李延峰如果說(shuō)提供云計(jì)算這種巨型計(jì)算服務(wù)的 IT 架構(gòu)必然是集結(jié)了大規(guī)模基礎(chǔ)資源的數(shù)據(jù)中心“超級(jí)航 母”，它也必然要求大規(guī)模計(jì)算網(wǎng)絡(luò)和其相適應(yīng)。云計(jì)算 IT 資源供應(yīng)模型云計(jì)算既然擁有近乎無(wú)限的計(jì)算、存儲(chǔ)、數(shù)據(jù)通信能力，那么提供云計(jì)算服務(wù)的IT 架構(gòu)必然是集結(jié)了大規(guī)?；A(chǔ)資源的數(shù)據(jù)中心“超級(jí)航母”。云計(jì)算 IT 資源的大規(guī)模集中運(yùn)營(yíng)，可極大優(yōu)化基礎(chǔ)資源的分布和調(diào)度，圖1 所示為理想的業(yè)務(wù)模型。對(duì)于使用云

2、計(jì)算服務(wù)的企業(yè)或個(gè)人而言，能夠滿足IT 業(yè)務(wù)的最佳方式為計(jì)算能力按需增長(zhǎng)、 應(yīng)用部署快速實(shí)現(xiàn)、工作負(fù)載可動(dòng)態(tài)調(diào)整、投入成本規(guī)劃可控； 對(duì)于云計(jì)算服務(wù)供應(yīng)商而言，為滿足大量客戶（個(gè)人或企業(yè)）的 IT 資源需求，其運(yùn)營(yíng)的 IT 基礎(chǔ)架構(gòu)需要有壹個(gè)大規(guī)模的資源池，可基于服務(wù)客戶數(shù)量的增長(zhǎng)、客戶業(yè)務(wù)負(fù)載增長(zhǎng)的需求變化情況提供匹配的IT 資源支持能力。圖 1 云計(jì)算 IT 資源供應(yīng)模型大規(guī)模云計(jì)算服務(wù)運(yùn)營(yíng)趨勢(shì)大規(guī)模的 IT 集中建設(shè)和運(yùn)營(yíng)帶來(lái)將是大幅度的成本節(jié)約效應(yīng)。據(jù)國(guó)外壹份統(tǒng)計(jì)數(shù)據(jù)顯示（如 圖 2 所示），于大規(guī)模 IT 服務(wù)環(huán)境下，網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器/管理等各方面的投入均會(huì)于單位資源尺度內(nèi)極大降低

3、，從而于大規(guī)模運(yùn)營(yíng)條件下使得單位資源帶來(lái)更大的產(chǎn)出。圖 2 大規(guī)模 IT 運(yùn)營(yíng)的成本優(yōu)勢(shì)于大規(guī)模云計(jì)算運(yùn)營(yíng)趨勢(shì)下，IT 基礎(chǔ)組件必然走向全面標(biāo)準(zhǔn)化，以使得云所支撐各部分能夠于保持發(fā)展的同時(shí)相互兼容。當(dāng)前的虛擬化標(biāo)準(zhǔn)組織、云計(jì)算標(biāo)準(zhǔn)化組織已經(jīng)基本形成，它們的 工作目的就是制定云計(jì)算不同組件、不同技術(shù)之間的公共接口，這樣眾多的軟硬件供應(yīng)商能夠于云計(jì)算環(huán)境下提供互通、協(xié)作的標(biāo)準(zhǔn)化產(chǎn)品，從而可期望于遠(yuǎn)期目標(biāo)上使得云計(jì)算的大規(guī)模IT 運(yùn)營(yíng)架構(gòu)逐步擺脫隔離性、壟斷性，使公共服務(wù)得以構(gòu)建于開放的公共化標(biāo)準(zhǔn)技術(shù)基礎(chǔ)上，且隨著 技術(shù)發(fā)展而持續(xù)性降低成本。對(duì)于大規(guī)模的計(jì)算網(wǎng)絡(luò)，于基礎(chǔ)形態(tài)上主要有倆種模式：虛擬化計(jì)

4、算和集群計(jì)算。其實(shí)這倆 種方式且無(wú)完全的割離，即可能分別部署，也可能相互結(jié)合。壹、大規(guī)模虛擬化計(jì)算和網(wǎng)絡(luò)架構(gòu)虛擬化計(jì)算技術(shù)已經(jīng)逐步成為云計(jì)算服務(wù)的主要支撐技術(shù)，特別是于計(jì)算能力租賃、調(diào)度的 云計(jì)算服務(wù)領(lǐng)域起著非常關(guān)鍵的作用。于大規(guī)模計(jì)算資源集中的云計(jì)算數(shù)據(jù)中心，以 X86 架構(gòu)為基準(zhǔn)的不同服務(wù)器資源，通過(guò)虛擬 化技術(shù)將整個(gè)數(shù)據(jù)中心的計(jì)算資源統(tǒng)壹抽象出來(lái)，形成能夠按壹定粒度分配的計(jì)算資源池，如圖 3 所示。虛擬化后的資源池屏蔽了各種物理服務(wù)器的差異，形成了統(tǒng)壹的、云內(nèi)部標(biāo)準(zhǔn)化的邏輯 CPU 、邏輯內(nèi)存、邏輯存儲(chǔ)空間、邏輯網(wǎng)絡(luò)接口，任何用戶使用的虛擬化資源于調(diào)度、供應(yīng)、度 量上均具有壹致性。圖 3

5、 大規(guī)模虛擬化云計(jì)算虛擬化技術(shù)不僅消除大規(guī)模異構(gòu)服務(wù)器的差異化，其形成的計(jì)算池能夠具有超級(jí)的計(jì)算能力 （如圖 4 所示），壹個(gè)云計(jì)算中心物理服務(wù)器達(dá)到數(shù)萬(wàn)臺(tái)是壹個(gè)很正常的規(guī)模。壹臺(tái)物理服務(wù)器 上運(yùn)行的虛擬機(jī)數(shù)量是動(dòng)態(tài)變化的，當(dāng)前壹般是 4 到 20 ，某些高密度的虛擬機(jī)能夠達(dá)到 100:1 的虛擬比（即壹臺(tái)物理服務(wù)器上運(yùn)行100 個(gè)虛擬機(jī)），于 CPU 性能不斷增強(qiáng)（主頻提升、多核多路）、當(dāng)前各種硬件虛擬化 （CPU 指令級(jí)虛擬化、內(nèi)存虛擬化、橋片虛擬化、網(wǎng)卡虛擬化）的輔助下，物理服務(wù)器上運(yùn)行的虛擬機(jī)數(shù)量會(huì)迅猛增加。壹個(gè)大型IDC 中運(yùn)行數(shù)十萬(wàn)個(gè)虛擬機(jī)是可預(yù)見(jiàn)的，當(dāng)前的云服務(wù) IDC 于業(yè)務(wù)規(guī)

6、劃時(shí)，已經(jīng)于考慮這些因素。圖 4 密集的虛擬機(jī)群于虛擬化云計(jì)算網(wǎng)絡(luò)環(huán)境，超高密度的虛擬機(jī)數(shù)量引入了有別于任何以往傳統(tǒng)意義上數(shù)據(jù)中 心的業(yè)務(wù)承載問(wèn)題，于表象相似的網(wǎng)絡(luò)平臺(tái)上， “服務(wù)器 /虛擬機(jī)” 的數(shù)量于單位空間和單位網(wǎng)絡(luò) 接口劇增，如圖 5 所示，對(duì)基礎(chǔ)網(wǎng)絡(luò)的轉(zhuǎn)發(fā)表項(xiàng)、吞吐能力、突發(fā)流量吸收提出了苛刻的要求。圖 5 密集的應(yīng)用和性能要求虛擬化的云中，計(jì)算資源能夠按需擴(kuò)展、靈活調(diào)度部署，這由虛擬機(jī)的遷移功能實(shí)現(xiàn)，虛擬 化環(huán)境的計(jì)算資源必須于二層網(wǎng)絡(luò)范圍內(nèi)實(shí)現(xiàn)透明化遷移（如圖6 所示）。圖 6 透明網(wǎng)絡(luò)支持虛擬資源的調(diào)度遷移透明環(huán)境不僅限于數(shù)據(jù)中心內(nèi)部，對(duì)于多個(gè)數(shù)據(jù)中心共同提供的云計(jì)算服務(wù)，要求

7、云計(jì)算的 網(wǎng)絡(luò)對(duì)數(shù)據(jù)中心內(nèi)部、數(shù)據(jù)中心之間均實(shí)現(xiàn)透明化交換（如圖7 所示），這種服務(wù)能力能夠使客戶分布于云中的資源邏輯上相對(duì)集中 （如于相同的壹個(gè)或數(shù)個(gè) VLAN 內(nèi)） ，而不必關(guān)心具體物理位 置；對(duì)云服務(wù)供應(yīng)商而言，透明化網(wǎng)絡(luò)能夠于更大的范圍內(nèi)優(yōu)化計(jì)算資源的供應(yīng)，提升云計(jì)算服 務(wù)的運(yùn)行效率、有效節(jié)省資源和成本。圖 7 大規(guī)模虛擬化云計(jì)算的透明化網(wǎng)絡(luò)承載二、大規(guī)模集群計(jì)算和網(wǎng)絡(luò)架構(gòu)集群計(jì)算很早就廣泛應(yīng)用了， 只是于不同的領(lǐng)域有著不同的表現(xiàn)形式， 或者說(shuō)有不同的術(shù)語(yǔ)， 如于科學(xué)計(jì)算領(lǐng)域的且行計(jì)算或高性能計(jì)算當(dāng)前主要以集群計(jì)算的方式實(shí)現(xiàn)。集群通過(guò)壹組松散集成的計(jì)算機(jī)軟件和 / 或硬件連接起來(lái)高度緊

8、密地協(xié)作完成計(jì)算工作， 于某種意義上， 集群能夠被 見(jiàn)作是壹臺(tái)計(jì)算機(jī)。人們使用集群的目的是為了獲得強(qiáng)大的計(jì)算能力，雖然這能夠通過(guò)購(gòu)買具備超級(jí)計(jì)算能力的 大型機(jī)來(lái)實(shí)現(xiàn)，可是于成本投入上是巨大的。對(duì)于壹般計(jì)算機(jī)，計(jì)算能力是有限的，雖然摩爾定 律說(shuō)計(jì)算能力每 18 個(gè)月能夠翻壹番，但要達(dá)到大型機(jī)的性能，很長(zhǎng)壹段時(shí)間內(nèi)是難以實(shí)現(xiàn)的 （摩 爾定律被普遍認(rèn)為于過(guò)去 30 年相當(dāng)有效，未來(lái) 1015 年應(yīng)依然適用 ）。因此，為突破摩爾定律 的限制，將多臺(tái)低成本計(jì)算機(jī)通過(guò)集群方式，以且行計(jì)算來(lái)獲取更大的計(jì)算能力，成為各種追求 高性能計(jì)算領(lǐng)域的主流方向（如圖 8 所示）。圖 8 以集群架構(gòu)超越摩爾定律以互聯(lián)網(wǎng)應(yīng)

9、用為例，有的計(jì)算服務(wù)要求提供超級(jí)計(jì)算能力，如大型搜索引擎的構(gòu)建，就是大 量服務(wù)器群共同協(xié)作實(shí)現(xiàn)的巨量計(jì)算?？蒲蓄I(lǐng)域且行計(jì)算的主流技術(shù)是MPI（MessagePassinglnterface），但以支持 Fortran、C 語(yǔ)言的科學(xué)計(jì)算為優(yōu)勢(shì)。云計(jì)算領(lǐng)域的代表性技術(shù)是Hadoop（ 仍有其它類似的分布式計(jì)算技術(shù) ），突出商用的擴(kuò)展性架構(gòu)、大數(shù)據(jù)量處理，大大簡(jiǎn)化開發(fā)難度，屏蔽系統(tǒng)底層的復(fù)雜性。Hdoop 是目前于互聯(lián)網(wǎng)使用廣泛的壹種云計(jì)算支撐架構(gòu)， 借助于 Hadoop, 程序員能夠輕松地 編寫分布式且行程序，將其運(yùn)行于大型計(jì)算機(jī)集群上，完成海量數(shù)據(jù)的計(jì)算。圖9 是當(dāng)前廣為流傳的 Hadoop

10、分布式文件系統(tǒng)體系架構(gòu)模型，這壹類的集群架構(gòu)將服務(wù)器按群分置不同角色群， 角色協(xié)同完成大規(guī)模計(jì)算任務(wù)。圖 9Hadoop 分布式文件系統(tǒng)體系架構(gòu)這些角色包括 NameNode ，它于 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode ，它為 HDFS 提供存儲(chǔ)塊。 NameNode 是壹個(gè)通常于 HDFS 實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件。它負(fù)責(zé)管理文件系統(tǒng) 名稱空間和控制外部客戶機(jī)的訪問(wèn)。 DataNode 響應(yīng)來(lái)自 HDFS 客戶機(jī)的讀寫請(qǐng)求。 NameNode 和每個(gè) DataNode 有定期心跳（ heartbeat ）消息檢查健康性。分布式文件系統(tǒng)的設(shè)計(jì)需求對(duì)應(yīng)到網(wǎng)絡(luò)的架構(gòu)上主要有：且發(fā)吞

11、吐性能、可伸縮性、容錯(cuò)需求等。HDFS 的目標(biāo)就是構(gòu)建于大規(guī)模廉價(jià)機(jī)器上的分布式文件系統(tǒng)集群，壹個(gè)文件能夠表示為其 內(nèi)容于不同位置的多個(gè)拷貝。這樣做帶來(lái)了倆個(gè)好處：訪問(wèn)同個(gè)文件時(shí)能夠從多個(gè)服務(wù)器中獲取 從而改善服務(wù)的伸縮性，另外就是提高了容錯(cuò)能力，某個(gè)副本損壞了，仍然能夠從其他服務(wù)器節(jié) 點(diǎn)獲取該文件。同時(shí)集群內(nèi)部仍通過(guò)心跳檢測(cè)、集群的負(fù)載均衡等特性提升容錯(cuò)性。傳統(tǒng) HDFS 采用壹種稱為 rack-aware 的策略來(lái)改進(jìn)數(shù)據(jù)的可靠性、 有效性和網(wǎng)絡(luò)帶寬的利用， 典型的組網(wǎng)邏輯如圖 10 所示 （也是流傳比較廣泛的壹張圖，筆者未加修改）。圖 10 經(jīng)典的 Hadoop 組網(wǎng)結(jié)構(gòu)圖 10 中每個(gè)

12、交換及所接服務(wù)器被安裝于數(shù)據(jù)中心的同壹個(gè)機(jī)架 （rack） 內(nèi)，該交換機(jī)稱為Topofrackswitch ，典型情況下每個(gè)機(jī)架內(nèi)部署 40 臺(tái)服務(wù)器 （ 國(guó)外比較流行，國(guó)內(nèi)當(dāng)前達(dá)到這樣 密度的 IDC很少），壹般采用 48 千兆端口的交換機(jī)，傳統(tǒng)設(shè)計(jì)中會(huì)采用4 個(gè)到 8 個(gè)千兆上行，因此每個(gè)機(jī)架上行的帶寬收斂比壹般于 5:110:1 。不同機(jī)架間的倆臺(tái)機(jī)器的通訊需要通過(guò)交換機(jī)，顯然通常情況下，同壹個(gè)機(jī)架內(nèi)的倆個(gè)節(jié)點(diǎn) 間的帶寬會(huì)比不同機(jī)架間的倆臺(tái)機(jī)器的帶寬大。因此 Hadoop 的壹個(gè)假設(shè)是：機(jī)架內(nèi)部節(jié)點(diǎn)之間 的傳輸速度快于機(jī)架間節(jié)點(diǎn)的傳輸速度。通過(guò)壹個(gè)稱為 RackAwareness 的過(guò)程

13、， Namenode 決定了每個(gè) Datanode 所屬的 rackid 。壹 個(gè)簡(jiǎn)單但沒(méi)有優(yōu)化的策略就是將副本存放于單獨(dú)的機(jī)架上。 這樣能夠防止整個(gè)機(jī)架 （非副本存放） 失效的情況，且且允許讀數(shù)據(jù)的時(shí)候能夠從多個(gè)機(jī)架讀取。這個(gè)簡(jiǎn)單策略設(shè)置能夠?qū)⒏北痉植加?集群中，有利于組件失敗情況下的負(fù)載均衡。可是，這個(gè)簡(jiǎn)單策略加大了寫的代價(jià)，因?yàn)橐紓€(gè)寫 操作需要傳輸 block 到多個(gè)機(jī)架。為了降低整體的帶寬消耗和讀延時(shí)， HDFS 會(huì)盡量讓 reader 讀最近的副本。如果于 reader 的 同壹個(gè)機(jī)架上有壹個(gè)副本， 那么就讀該副本。 如果壹個(gè) HDFS 集群跨越多個(gè)數(shù)據(jù)中心， 那么 reader 也

14、將首先嘗試讀本地?cái)?shù)據(jù)中心的副本。HDFS 支持?jǐn)?shù)據(jù)的均衡分布處理，如果某個(gè) Datanode 節(jié)點(diǎn)上的空閑空間低于特定的臨界點(diǎn)， 那么就會(huì)啟動(dòng)壹個(gè)計(jì)劃自動(dòng)地將數(shù)據(jù)從壹個(gè) Datanode 搬移到空閑的 Datanode 。當(dāng)對(duì)某個(gè)文件的 請(qǐng)求突然增加，那么也可能啟動(dòng)壹個(gè)計(jì)劃創(chuàng)建該文件新的副本，且分布到集群中以滿足應(yīng)用的要 求。我們能夠見(jiàn)到， Hadoop 系統(tǒng)于開發(fā)過(guò)程中關(guān)注了數(shù)據(jù)交換對(duì)象（計(jì)算節(jié)點(diǎn) ）之間的距離，實(shí)際上是考慮了網(wǎng)絡(luò)構(gòu)建模型中帶寬不匹配因素。這種因素的引入，不僅編程人員需要關(guān)心，業(yè)務(wù) 部署人員、網(wǎng)絡(luò)維護(hù)人員也均要關(guān)心，于小規(guī)模環(huán)境下仍能夠勉強(qiáng)運(yùn)行，可是如果要支持全互聯(lián) 網(wǎng)級(jí)的大

15、規(guī)模應(yīng)用，集群可能達(dá)到數(shù)千臺(tái)、數(shù)萬(wàn)臺(tái)，業(yè)務(wù)的部署、擴(kuò)展、運(yùn)行、支撐均會(huì)存于很 多問(wèn)題。如圖 11 是壹種高擴(kuò)展要求的集群模型，這類集群應(yīng)用自身是分層架構(gòu)，每壹層應(yīng)用均 是壹個(gè)大規(guī)模集群，采用傳統(tǒng)方式構(gòu)建交換網(wǎng)絡(luò)，必將存于諸多限制，無(wú)法發(fā)揮云計(jì)算巨型計(jì)算 的服務(wù)能力。圖 11 大規(guī)模集群架構(gòu)隨著網(wǎng)絡(luò)交換萬(wàn)兆技術(shù)的發(fā)展和設(shè)備成本的不斷降低，目前大規(guī)模集群的構(gòu)建也發(fā)展到新的 階段，需要新的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)支持和運(yùn)行：無(wú)阻塞網(wǎng)絡(luò)架構(gòu)：滿足集群環(huán)境中所有服務(wù)器的對(duì)等通信要求，任意節(jié)點(diǎn)之間能夠達(dá)到相 等帶寬（當(dāng)前是以千兆為主），服務(wù)器應(yīng)用程序不再關(guān)注數(shù)據(jù)交互節(jié)點(diǎn)是于壹個(gè)機(jī)架內(nèi)仍 是于其它機(jī)架。大規(guī)模集群能力：當(dāng)

16、前 2 千臺(tái)規(guī)模的服務(wù)器集群已經(jīng)于互聯(lián)網(wǎng)行業(yè)廣泛部署，隨著云計(jì)算業(yè)務(wù)的開發(fā)提供，更大規(guī)模的集群（5000-1 萬(wàn)臺(tái)）將成為支持云計(jì)算的主流網(wǎng)絡(luò)結(jié)構(gòu)，無(wú)阻塞架構(gòu)是這種網(wǎng)絡(luò)的基本要求。足夠扁平化的架構(gòu)：所謂扁平化就是極大減少組網(wǎng)結(jié)構(gòu)層次，目前數(shù)據(jù)中心扁平化結(jié)構(gòu)以 倆層物理網(wǎng)絡(luò)為主流。于仍是千兆為主的服務(wù)器端口條件下，接入交換機(jī)的用戶端口數(shù)壹般為 48 個(gè)千兆，要滿足無(wú)阻塞的跨機(jī)架帶寬，則上行帶寬需要 5 個(gè)萬(wàn)兆（當(dāng)然也能夠只使用 40 個(gè)千兆接入，4 個(gè)萬(wàn)兆上行），而核心交換則需要高密的萬(wàn)兆（120） 全線速能力。圖 12 是壹種新的無(wú)阻塞網(wǎng)絡(luò)模型，也被稱為CLOS 組網(wǎng)結(jié)構(gòu)。于接入層交換機(jī)當(dāng)前可達(dá)到50 個(gè)千兆端口（常規(guī)是 48，可用倆個(gè)萬(wàn)兆自適應(yīng)千兆），無(wú)阻塞上行 5 個(gè)萬(wàn)兆到 5 臺(tái)高密萬(wàn)兆核 心設(shè)備，當(dāng)核心萬(wàn)兆密度超過(guò)140 端口，則整個(gè)集群規(guī)模可達(dá)到7000 臺(tái)服務(wù)器。網(wǎng)絡(luò)規(guī)劃上將二層終結(jié)于接入層，使用等價(jià)路由將接入交換機(jī)的上行鏈路帶寬進(jìn)行負(fù)載分擔(dān)，從而能夠?qū)崿F(xiàn)整 個(gè)網(wǎng)絡(luò)的無(wú)阻塞交換，任意服務(wù)器端口之間能夠具有千兆線速的能力，完全消除了云計(jì)