分布式與云計算系統(tǒng)

分布式與云計算系統(tǒng)演示文稿目前一頁\總數(shù)六十五頁\編于十九點分布式與云計算系統(tǒng)第章目前二頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201332.1大規(guī)模并行集群計算機集群（computercluster）由相互聯(lián)系的個體計算機聚集組成，這些計算機之間相互聯(lián)系并且共同工作對于用戶來說，計算機集群如同一個獨立完整的計算資源池。集群化實現(xiàn)作業(yè)級的大規(guī)模并行，并通過獨立操作實現(xiàn)高可用性。計算機集群和大規(guī)模并行處理器（MPP）的優(yōu)點包括可擴展性能、高可用性、容錯、模塊化增長和使用商用組件。

目前三頁\總數(shù)六十五頁\編于十九點目前四頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,20135計算機集群的設計宗旨:可擴展性：計算機集群化是基于模塊化增長的概念.將幾百個單處理器節(jié)點的集群擴展為10000個多核節(jié)點的超級集群。這一些因素限制:如多核心芯片技術、集群拓撲結構、封裝方式、電力消耗和冷控制技術應用。封裝：集群節(jié)點可以被封裝成緊湊或者松散的形式。封裝直接影響通信線路的長度，需要選擇合適的互連技術。緊湊集群通常利用專有的高帶寬、低延遲的通信網(wǎng)絡，而松散集群節(jié)點一般由標準的局域網(wǎng)或廣域網(wǎng)連接。目前五頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,20136控制：集群能夠以集中或分散的形式被控制或管理。緊湊集群通常集中控制，而松散集群可以采取另一種方式。在集中式集群中，中心管理者擁有、控制、管理和操作所有節(jié)點。在分散式集群中，節(jié)點有各自的擁有者。它同樣需要進程調(diào)度、負載遷移、檢查點、記賬和其他類似任務的特殊技術。同構性：同構集群采用來自相同平臺的節(jié)點，即節(jié)點具有相同處理器體系結構和相同操作系統(tǒng)。異構集群使用來自不同平臺的節(jié)點?；ゲ僮餍允钱悩嫾旱囊粋€非常重要的問題。在同構集群中，二進制進程鏡像可以遷移到另一個節(jié)點并能夠繼續(xù)執(zhí)行。這在異構集群中是不允許的，因為當進程遷移到不同平臺的節(jié)點上時，二進制代碼不繼續(xù)執(zhí)行。目前六頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,20137安全性：集群內(nèi)通信可以是開放的或封閉的。開放集群外界機器可采用標準協(xié)議（如TCP/IP）訪問通信路徑，從而訪問單獨節(jié)點。有幾個缺點：集群內(nèi)通信變得不安全;外界通信可能以不可預測的形式干擾集群內(nèi)通信;準通信協(xié)議往往具有巨大的開銷。在封閉集群中，集群內(nèi)通信與外界相隔離，目前還沒有高效、封閉的集群內(nèi)通信標準。專用集群和企業(yè)集群：專用集群由相同類型的計算機節(jié)點同構配置，被用于代替?zhèn)鹘y(tǒng)的大型機或超級計算機，極大地提高了吞吐量，并且減少了響應時間。企業(yè)集群主要利用節(jié)點的閑置資源，每個節(jié)點通常是一個完整的SMP、工作站或PC及其所有必要的外部設備。通常是由異構計算機節(jié)點配置的。目前七頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,20138基礎集群設計問題:可擴展性能：資源擴展（集群節(jié)點、內(nèi)存容量、I/O帶寬等）使性能成比例增長單系統(tǒng)鏡像（SSI）：集群是一個單一獨立的系統(tǒng)?？捎眯灾С郑杭耗軌蚶锰幚砥?、內(nèi)存、磁盤、I/O設備、網(wǎng)絡和操作系統(tǒng)鏡像的大量冗余提供低成本、高可用性的性能。集群作業(yè)管理：實現(xiàn)高系統(tǒng)利用率，作業(yè)管理軟件需要提供批量、負載均衡和并行處理等功能。目前八頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,20139節(jié)點間通信：集群由于具有更高的節(jié)點復雜度，故不能被封裝得如MPP節(jié)點一樣的簡潔。集群內(nèi)節(jié)點之間的物理網(wǎng)線長度比MPP長。容錯和恢復：機器集群能夠消除所有的單點失效。集群能在一定程度上容忍出錯的情況。故障節(jié)點上運行的關鍵作業(yè)可以被轉(zhuǎn)移到正常運行的節(jié)點上?；貪L恢復機制通過周期性記錄檢查點來恢復計算結果。目前九頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201310集群分類:計算集群:主要用于單一大規(guī)模作業(yè)的集體計算。當單一計算作業(yè)需要集群中節(jié)點間的頻繁通信，該集群必須共享一個專用網(wǎng)絡，因而這些節(jié)點大多是同構和緊耦合的。這種類型的集群也被稱為貝奧武夫集群。當集群需要在少量重負載節(jié)點間通信時，其從本質(zhì)上就是眾所周知的計算網(wǎng)格。緊耦合計算集群用于超級計算應用。高可用性集群：用于容錯和實現(xiàn)服務的高可用性。高可用性集群中有很多冗余節(jié)點以容忍故障或失效。負載均衡集群:通過使集群中所有節(jié)點的負載均衡而達到更高的資源利用。可以在不同機器間平衡負載，從而達到更高的資源利用或性能。目前十頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201311Figure2.1ArchitecturalshareoftheTop-500systems

(Courtesyof[25])目前十一頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201312圖2-2Top500超級計算機的性能變化曲線（1993—2010）

目前十二頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201313目前十三頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201314目前十四頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201315圖2-3前5名超級計算機的能耗和性能（2010年11月）目前十五頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,2013162.2計算機集群和MPP體系結構基本集群體系結構圖2-4由商用硬件、軟件、中間件和網(wǎng)絡組件構成的計算機體系結構，支持HA和SSI目前十六頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201317ResourceSharinginClusterofComputers圖2-5連接集群節(jié)點的三種方式（P/C：處理器和緩存；M：內(nèi)存；D：磁盤；NIC：網(wǎng)卡；MIO：內(nèi)存-I/O橋）目前十七頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201318節(jié)點結構和MPP封裝:IBMBlueGene/LSupercomputer:

TheWorldFastestMessage-PassingMPPbuiltin2005

目前十八頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201319集群系統(tǒng)互連

目前十九頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201320谷歌搜索引擎集群體系結構目前二十頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201321圖2-8Top500系統(tǒng)高帶寬互連的分布情況

目前二十一頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201322圖2-9InfiniBand系統(tǒng)構造在典型高性能計算機集群中的應用目前二十二頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201323硬件、軟件和中間件支持

目前二十三頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201324大規(guī)模并行GPU集群

圖2-11實現(xiàn)Echelon系統(tǒng)的20Tflops和1.6TB/s內(nèi)存帶寬的GPU芯片設計目前二十四頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201325圖2-12由GPU層次網(wǎng)絡構成的NVIDIAEchelon系統(tǒng)的體系結構，其中每個機柜可以提供2.6Pflops的性能，至少需要N=400個機柜才能實現(xiàn)所需的Eflops性能目前二十五頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201326CUDA并行編程CUDA（ComputeUnifiedDeviceArchitecture,計算統(tǒng)一設備體系結構）由NVIDIA開發(fā)，提供并行計算體系結構。CUDA是NVIDIAGPU中的計算引擎，允許開發(fā)者通過標準程序語言訪問。程序員可以使用NVIDIA擴展和受限的CUDAC。CUDAC通過PathScaleOpen64C編譯器編譯，可以在大量GPU核上并行執(zhí)行。例2.4體現(xiàn)了在并行處理中使用CUDAC的好處。目前二十六頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,2013272.3計算機集群的設計原則單系統(tǒng)鏡像特征:單一系統(tǒng)用戶將整個集群作為一個多處理器系統(tǒng)。單一控制邏輯上，一個終端用戶或系統(tǒng)用戶在一個地方只能通過單一的接口使用服務。對稱性用戶可以從任意節(jié)點使用集群服務。除了受到訪問權限保護的部分，所有集群服務和功能對于所有節(jié)點和所有用戶是對稱的。位置透明性用戶并不了解什么位置的物流設備最后提供了服務。目前二十七頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201328單系統(tǒng)鏡像（SSI）包括單一入口、單文件層次、單一I/O空間、單一網(wǎng)絡機制、單一控制點、單一作業(yè)管理系統(tǒng)、單一內(nèi)存空間和單一進程空間。

圖2-13采用負載均衡的域名服務器（DNS）實現(xiàn)單一入口目前二十八頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201329圖2-14單文件層次中存儲的三種類型。實線表示進程P可以訪問，虛線表示P可能被允許訪問目前二十九頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201330圖2-15具有單一網(wǎng)絡連接、單一I/O空間、單一內(nèi)存和單點控制的集群目前三十頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201331SSI的最終目標是使得集群如同臺式計算機一樣易于使用,SSI額外特征：單一作業(yè)管理系統(tǒng)所有集群作業(yè)能夠由任意節(jié)點提交到單一作業(yè)管理系統(tǒng)。單一用戶接口用戶通過單一圖形界面使用集群。單一進程空間各節(jié)點的所有用戶進程形成單一進程空間，并且共享統(tǒng)一進程認證機制。SSI集群化的中間件在集群應用的三個層次上，中間件支持各種SSI特征。目前三十一頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201332管理級該級處理用戶應用程序，并且提供作業(yè)管理系統(tǒng)。編程級該級提供單一文件層次（NFS、xFS、AFS、Proxy）和分布式共享內(nèi)存實現(xiàn)級該級支持單一進程空間、檢查點機制、進程遷移和單一I/O空間。目前三十二頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201333圖2-16在連接到集群中4個主機的12個分布式磁盤之上具有單一I/O空間的分布式RAID體系結構目前三十三頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201334圖2-17在作業(yè)管理、編程和實現(xiàn)級上集群化中間件的關系目前三十四頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201335冗余高可用性可靠性根據(jù)系統(tǒng)不發(fā)生故障的運行時間衡量。可用性表示系統(tǒng)對用戶可用的時間百分比，即系統(tǒng)正常運行的時間百分比?？煞招耘c服務系統(tǒng)的容易程度相關，包括硬件和軟件維護、修復、升級等。目前三十五頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201336目前三十六頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201337圖2-19SMP和三個集群中的單點失效（SPF），由a到d，其中冗余越大，消除的單點失效也越多目前三十七頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201338容錯集群配置熱備份服務器集群只有主要節(jié)點積極完成所有有用的工作。備份節(jié)點啟動（熱）和運行一些監(jiān)控程序來發(fā)送與接收心跳信號以檢測主要節(jié)點的狀態(tài)，但并不積極運行其余有價值的工作。主動接管集群多個服務器節(jié)點的體系結構是對稱的。兩個服務器都是主要的，正常完成有價值的任務。兩個服務器節(jié)點通常都支持故障切換和恢復。故障切換集群當一個組件失效時，該技術允許剩余系統(tǒng)接管之前由失效組件提供的服務。故障切換機制必須提供一些功能，如失效診斷、失效通知和失效恢復。目前三十八頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201339檢查點和恢復技術檢查點和恢復這兩種技術必須共同發(fā)展，才能提高集群系統(tǒng)的可用性。某個進程周期性地保存執(zhí)行程序的狀態(tài)至穩(wěn)定存儲器，系統(tǒng)在失效后能夠根據(jù)這些信息得以恢復。每一個被保存的程序狀態(tài)稱為檢查點。包含被保存狀態(tài)的磁盤文件稱為檢查點文件。雖然目前所有的檢查點軟件在磁盤中保存程序狀態(tài)，但是使用節(jié)點內(nèi)存替代穩(wěn)定存儲器來提高性能還處在研究階段。目前三十九頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,2013402.4集群作業(yè)和資源管理集群作業(yè)調(diào)度方法集群作業(yè)可能在一個指定的時間（日歷調(diào)度），或者在特定事件發(fā)生（事件調(diào)度）時被調(diào)度運行。根據(jù)提交時間、資源節(jié)點、執(zhí)行時間、內(nèi)存、磁盤、作業(yè)類型及用戶認證的優(yōu)先級，作業(yè)被調(diào)度。靜態(tài)優(yōu)先級指的是根據(jù)預定的方案，作業(yè)被分配的優(yōu)先級。為用戶分配不同的優(yōu)先級，而作業(yè)的動態(tài)優(yōu)先級可能會隨時間發(fā)生變化。目前四十頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201341目前四十一頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201342圖2-22用于集群節(jié)點上作業(yè)調(diào)度的瓷磚式覆蓋技術減少了整體時間，因此增加了作業(yè)吞吐量目前四十二頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201343集群作業(yè)管理系統(tǒng)

作業(yè)管理也稱為負載管理或負載共享。作業(yè)管理系統(tǒng)（JobManagementSystem，JMS）具有三部分：用戶服務器：提交用戶作業(yè)至一個或多個隊列，為每個作業(yè)指定資源需求，將作業(yè)從隊列中刪除，以及詢問作業(yè)或隊列的狀態(tài)。作業(yè)調(diào)度器：根據(jù)作業(yè)類型、資源需求、資源可用性和調(diào)度策略，執(zhí)行任務調(diào)度和排隊。資源管理器：分配和監(jiān)控資源，執(zhí)行調(diào)度策略，以及收集統(tǒng)計信息。目前四十三頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201344集群計算的負載共享設備（LSF）LSF是平臺計算中的商用負載管理系統(tǒng)。在并行作業(yè)和串行作業(yè)中，LSF強調(diào)作業(yè)管理和負載共享。它還支持檢查點、可用性、負載遷移和單系統(tǒng)鏡像。LSF具有高擴展性，并且能夠支持上千個節(jié)點的集群。LSF服務于各種UNIX和Windows/NT平臺。目前，LSF不僅在集群中使用，也在網(wǎng)格和云中使用。目前四十四頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201345MOSIX:Linux集群和云的操作系統(tǒng)

MOSIX由希伯來大學在1977年開發(fā)，是一個分布式操作系統(tǒng)。在1999年，該系統(tǒng)被重新設計，運行在x86平臺的Linux集群上用戶可以從任何節(jié)點登錄沒有必要修改應用程序或鏈接應用程序至特殊庫。沒有必要復制文件至遠程節(jié)點用戶能夠平衡負載，從較慢節(jié)點遷移至快速節(jié)點關于遷移進程直接通信的套接字也是可遷移的。該系統(tǒng)以客戶進程的安全運行時環(huán)境為特征。該系統(tǒng)能夠運行批量作業(yè)，并可以通過檢查點恢復目前四十五頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201346目前四十六頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201347Figure2.4CountryshareoftheTop-500

supercomputersovertime[25]2.5頂尖超級計算機系統(tǒng)的個案研究目前四十七頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201348

Figure2.5Application-areashareofTop-500systemsovertime.(Courtesyof[25])目前四十八頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201349Top-500ReleaseinJune2010目前四十九頁\總數(shù)六十五頁\編于十九點Tianhe-1A：2010年的世界最快超級計算機目前五十頁\總數(shù)六十五頁\編于十九點目前五十一頁\總數(shù)六十五頁\編于十九點目前五十二頁\總數(shù)六十五頁\編于十九點目前五十三頁\總數(shù)六十五頁\編于十九點目前五十四頁\總數(shù)六十五頁\編于十九點目前五十五頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201356TheCrayXT-5JagaurSupercomputer

目前五十六頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201357目前五十七頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201358目前五十八頁\總數(shù)六十五頁\編于十九點ComputerSchool,NUDT.Spring,201359IBMRoadrunnerSystem目前五十九頁\總數(shù)六十五頁\編于十九點Comp