高性能并行計(jì)算機(jī)介紹

1、高性能并行計(jì)算機(jī)簡(jiǎn)介2010-06 1.1 并行計(jì)算機(jī)基礎(chǔ)知識(shí) 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng) 1.4 高性能計(jì)算發(fā)展趨勢(shì)目錄什么是高性能并行計(jì)算機(jī)什么是高性能并行計(jì)算機(jī)由多個(gè)計(jì)算單元組成，運(yùn)算速度快、存儲(chǔ)容量大、可靠性高的計(jì)算機(jī)系統(tǒng)。也稱為：巨型計(jì)算機(jī)、超級(jí)計(jì)算機(jī)目前任何高性能計(jì)算和超級(jí)計(jì)算都離不開使用并行技術(shù)，所以高性能計(jì)算機(jī)肯定是并行計(jì)算機(jī)。其發(fā)展歷程可以簡(jiǎn)單的分為兩個(gè)時(shí)代其發(fā)展歷程可以簡(jiǎn)單的分為兩個(gè)時(shí)代專用時(shí)代包括向量機(jī)，MPP系統(tǒng)，SGI NUMA 系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國(guó)的神威，銀河，曙光1000等。之所以稱為“專用”，并不是說它們只能運(yùn)行某種應(yīng)用，是指

2、它們的組成部件是專門設(shè)計(jì)的，它們的CPU板，內(nèi)存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時(shí)代高性能計(jì)算機(jī)價(jià)格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個(gè)技術(shù)趨勢(shì)起到重要作用。商品化趨勢(shì)使得大量生產(chǎn)的商品部件接近了高性能計(jì)算機(jī)專有部件標(biāo)準(zhǔn)化趨勢(shì)使得這些部件之間能夠集成一個(gè)系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。機(jī)群系統(tǒng)是高性能計(jì)算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。曙光曙光1000曙光1000有36個(gè)結(jié)點(diǎn)機(jī);峰值計(jì)算速度為浮點(diǎn)25.6億次/秒，實(shí)際達(dá)到15.8 億次/秒；內(nèi)存容量為

3、1024兆字節(jié)；基于Wormhole機(jī)制的二維Mesh通訊網(wǎng)，結(jié)點(diǎn)與網(wǎng)絡(luò)通訊總帶寬為2.88GB/秒；采用基于UNIX的并行操作系統(tǒng)和并行文件系統(tǒng)；并行計(jì)算機(jī)并行計(jì)算機(jī)-CRAYSystem Name Jaguar 1059000 GFlopsSystem Family Cray XT Operating System CNLInterconnect XT4 Internal Interconnect Processor AMD Opteron Quad Core 2300 MHz (9.2 GFlops) 并行計(jì)算機(jī)并行計(jì)算機(jī)-IBMSystem Name Roadrunner 110500

4、0 GFlopsSystem Family IBM Cluster Operating System Linux Interconnect Infiniband Processor PowerXCell 8i 3200 MHz (12.8 GFlops)并行計(jì)算機(jī)并行計(jì)算機(jī)-DAWNINGSystem Name Dawning 5000A 180600 GFlopsSystem Family Dawning Cluster Operating System Windows HPC server 2008 and SUSEInterconnect Infiniband DDR Processor

5、 AMD Opteron Quad Core 1900 MHz (7.6 GFlops)并行計(jì)算機(jī)所用的處理器并行計(jì)算機(jī)所用的處理器AMD OpteronXeon NoconaIntel ItaniumCompaq AlphaHP PA-RISCSun UltraSPARCIBM POWER5+,POWER6IBM BlueGene processorMIPS R10000龍芯最新TOP500cpu分布并行機(jī)處理器并行機(jī)處理器-AMDPERFORMANCE 1-WAYPERFORMANCE 2-WAYPERFORMANCE 4-WAY AND 8-WAYAMD Opteron 200 Seri

6、es & 2000 Series Processors Designed for 2-way Server / Workstation solutions First native x86 dual-core solution for 2-way computingAMD Opteron 100 Series & 1000 Series Processors Designed for 1-way Server / Workstation solutions First native x86 dual-core solution for 1-way computingAMD Op

7、teron 800 Series & 8000 Series Processors Designed for 4-way and 8-way Server solutions First native x86 dual-core solution for 4-way / 8-way computingAMD Opteron Processors for Servers and Workstations并行機(jī)處理器并行機(jī)處理器-Intel數(shù)據(jù)要求苛刻 雙核英特爾 至強(qiáng) 7000 系列處理器 最大限度提高性能、可靠性和可擴(kuò)展性雙核英特爾 安騰 處理器 9000 大型機(jī)級(jí)服務(wù)器,具有頂級(jí)的靈

8、活性和可靠性 RISC 與大型機(jī)現(xiàn)代化基本 計(jì)算四核英特爾 至強(qiáng) 3000 系列處理器經(jīng)濟(jì)、可靠的單路服務(wù)器高密度 基礎(chǔ)設(shè)施四核英特爾 至強(qiáng) 5000 系列處理器利用四核處理最大限度提高性能密度RISC 與大型機(jī)現(xiàn)代化并行機(jī)處理器并行機(jī)處理器-龍芯龍芯Godson意思為“教子”，相對(duì)于此的另一個(gè)詞叫教父（Godfather）并行計(jì)算機(jī)專用連接網(wǎng)絡(luò)并行計(jì)算機(jī)專用連接網(wǎng)絡(luò) NumaLink (SGI) SP Switch，SP Switch2 (IBM) Cray Interconnect (Cray)并行計(jì)算機(jī)商品化網(wǎng)絡(luò)并行計(jì)算機(jī)商品化網(wǎng)絡(luò)互聯(lián)方式的選擇千兆以太網(wǎng)，帶寬?。ɡ碚撝?25MB/s)

9、,延遲大35-45 s ；Infiniband；MPI乒乓測(cè)試帶寬：850 MB/s，MPI短消息延遲： 7 s ；Myrinet：MPI乒乓測(cè)試帶寬：230 MB/s，MPI短消息延遲：7 s ；Qsnet：MPI乒乓測(cè)試帶寬：300 MB/s ，MPI短消息延遲：5 s；SCI：MPI乒乓測(cè)試帶寬：320 MB/s ；MPI短消息延遲：1 - 2 s ；最新TOP500網(wǎng)絡(luò)分布商品化網(wǎng)絡(luò)商品化網(wǎng)絡(luò)-Infiniband趨勢(shì)InfiniBand代表的就是性能和互操作性。如果你看一看超級(jí)計(jì)算機(jī)500強(qiáng)的話就會(huì)發(fā)現(xiàn)，InfiniBand技術(shù)已經(jīng)從2005年的30席增長(zhǎng)到了今天的142席，增長(zhǎng)率超

10、過了25%。而且，采用專有互連技術(shù)的超級(jí)計(jì)算機(jī)正在不斷減少。商品化網(wǎng)絡(luò)商品化網(wǎng)絡(luò)-以太網(wǎng)絡(luò)以太網(wǎng)絡(luò)I/O性能瓶頸性能瓶頸 高性能網(wǎng)絡(luò)如InfiniBand的性能進(jìn)步，使得PCI總線成為限制性能的瓶頸，PCI-X過渡為PCI-E，基本解決了這一問題； 基于共享總線結(jié)構(gòu)的PCI架構(gòu)具有局限性，需要面向高端的I/O方案：InfiniBand，Infiniband可能會(huì)徹底取代PCI局部總線結(jié)構(gòu)，要實(shí)現(xiàn)這個(gè)取代，其前提是InfiniBand邏輯電路集成到芯片一級(jí)，也就是將南橋換成帶有HCA （Host Channel Adapters）的I/O橋接器件； 分布式存儲(chǔ)多處理器系統(tǒng)，程序和數(shù)據(jù)一般都是集中

11、存放，各進(jìn)程執(zhí)行時(shí)需要傳輸程序和應(yīng)用數(shù)據(jù)到處理器本地內(nèi)存； NFS文件系統(tǒng)在數(shù)據(jù)傳輸上，類似于C/S結(jié)構(gòu)，各個(gè)計(jì)算節(jié)點(diǎn)都從I/O節(jié)點(diǎn)傳輸數(shù)據(jù)，鏈路單一，性能瓶頸；存儲(chǔ)系統(tǒng)存儲(chǔ)系統(tǒng)-共享存儲(chǔ)共享存儲(chǔ)1、FC 4GB光纖鏈路2、4Gb磁盤FC接口3、并行I/O文件系統(tǒng)4、最大支持224塊物理磁盤5、支持1024LUN6、IOPS=280000Linpacku Linpack現(xiàn)在在國(guó)際上已經(jīng)成為最流行的用于測(cè)試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的benchmark。通過利用高性能計(jì)算機(jī)，用高斯消元法求解一元N次稠密線性代數(shù)方程組的測(cè)試，評(píng)價(jià)高性能計(jì)算機(jī)的浮點(diǎn)性能。u Linpack測(cè)試包括三類，Linpack

12、100、Linpack1000和HPL。u Linpack100求解規(guī)模為100階的稠密線性代數(shù)方程組，它只允許采用編譯優(yōu)化選項(xiàng)進(jìn)行優(yōu)化，不得更改代碼，甚至代碼中的注釋也不得修改。u Linpack1000要求求解規(guī)模為1000階的線性代數(shù)方程組，達(dá)到指定的精度要求，可以在不改變計(jì)算量的前提下做算法和代碼上做優(yōu)化。u HPL即High Performance Linpack，也叫高度并行計(jì)算基準(zhǔn)測(cè)試，它對(duì)數(shù)組大小N沒有限制，求解問題的規(guī)?？梢愿淖儯舅惴ǎㄓ?jì)算量）不可改變外，可以采用其它任何優(yōu)化方法。u 理論浮點(diǎn)峰值CPU主頻CPU每個(gè)時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算的次數(shù)系統(tǒng)中CPU數(shù)目 ，實(shí)測(cè)浮點(diǎn)

13、峰值是指Linpack測(cè)試值，也就是說在這臺(tái)機(jī)器上運(yùn)行Linpack測(cè)試程序，通過各種調(diào)優(yōu)方法得到的最優(yōu)的測(cè)試結(jié)果。HPL測(cè)試中的主要參數(shù)測(cè)試中的主要參數(shù) Rpeak:系統(tǒng)的理論峰值性能，按GFLOPS表示 Nmax: 給出達(dá)到最高GFLOPS值時(shí)的問題規(guī)模（矩陣規(guī)模） Rmax: 在Nmax問題規(guī)模下，達(dá)到的最大峰值 NB: 矩陣分塊大小，與高速緩存大小相關(guān)。一般在32到256之間中國(guó)高性能計(jì)算機(jī)中國(guó)高性能計(jì)算機(jī)TOP100排行榜排行榜u刀片產(chǎn)品占據(jù)絕對(duì)優(yōu)勢(shì)，漸成主流u采用開放系統(tǒng)已成為高性能計(jì)算的發(fā)展趨勢(shì) 1.1 并行計(jì)算機(jī)基礎(chǔ)知識(shí) 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng)目錄1.2.

14、1 實(shí)現(xiàn)并行的手段實(shí)現(xiàn)并行的手段指令級(jí)并行指令級(jí)并行 從CPU內(nèi)部挖掘并行性 提高主頻,增加核心數(shù)量 提高IPC（每個(gè)時(shí)鐘周期完成的指令數(shù)目） 提高CPU主頻和增加核心雙核、多核處理器 指令級(jí)并行導(dǎo)致處理器內(nèi)的功能部件增多，系統(tǒng)復(fù)雜，導(dǎo)致晶體管數(shù)目增加，功耗和發(fā)熱帶來問題，且會(huì)受到物理極限的天花板作用多處理器（多計(jì)算機(jī)）并行多處理器（多計(jì)算機(jī)）并行 多處理器并行主要得益于微處理器的發(fā)展； 多處理器并行是構(gòu)造強(qiáng)大系統(tǒng)的必由之路； 多處理器指在同一塊主板上通過主板總線實(shí)現(xiàn)并行。 多計(jì)算機(jī)并行，指在多臺(tái)計(jì)算節(jié)點(diǎn)上通過網(wǎng)絡(luò)實(shí)現(xiàn)并行。向量計(jì)算向量計(jì)算 向量處理器，采用向量流水部件，特別適合向量運(yùn)算； 曾

15、經(jīng)風(fēng)靡一時(shí)； 設(shè)計(jì)困難，成本高，應(yīng)用領(lǐng)域狹窄，向量技術(shù)被其他新興的技術(shù)所掩蓋； 地球模擬器的影響給向量處理技術(shù)帶來了新的一絲希望。1.2.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu)并行計(jì)算機(jī)系統(tǒng)架構(gòu)對(duì)稱多處理機(jī)系統(tǒng)對(duì)稱多處理機(jī)系統(tǒng)(SMP)SMP 對(duì)稱式共享存儲(chǔ):任意處理器可直接訪問任意內(nèi)存地址,且訪問延遲、帶寬、機(jī)率都是等價(jià)的; 系統(tǒng)是對(duì)稱的； 微處理器: 一般少于64個(gè); 處理器不能太多, 總線和交叉開關(guān)的一旦作成難于擴(kuò)展； 例子: IBM R50, SGI Power Challenge, SUN Enterprise, 分布式共享存儲(chǔ)系統(tǒng)分布式共享存儲(chǔ)系統(tǒng)(DSM)DSM分布共享存儲(chǔ): 內(nèi)存模塊物理上局部

16、于各個(gè)處理器內(nèi)部,但邏輯上(用戶)是共享存儲(chǔ)的; 這種結(jié)構(gòu)也稱為基于Cache目錄的非一致內(nèi)存訪問(CC-NUMA)結(jié)構(gòu);局部與遠(yuǎn)程內(nèi)存訪問的延遲和帶寬不一致,3-10倍高性能并行程序設(shè)計(jì)注意;與SMP的主要區(qū)別：DSM在物理上有分布在各個(gè)節(jié)點(diǎn)的局部?jī)?nèi)存從而形成一個(gè)共享的存儲(chǔ)器；微處理器: 16-128個(gè);代表: SGI Origin 2000, Cray T3D;大規(guī)模并行計(jì)算機(jī)系統(tǒng)大規(guī)模并行計(jì)算機(jī)系統(tǒng)(MPP)MPP物理和邏輯上均是分布內(nèi)存能擴(kuò)展至成百上千個(gè)處理器(微處理器或向量處理器)采用高通信帶寬和低延遲的互聯(lián)網(wǎng)絡(luò) (專門設(shè)計(jì)和定制的)一種異步的MIMD機(jī)器；程序系由多個(gè)進(jìn)程組成，每個(gè)

17、都有其私有地址空間，進(jìn)程間采用傳遞消息相互作用；代表:CRAY T3E(2048), ASCI Red(3072), IBM SP2機(jī)群系統(tǒng)機(jī)群系統(tǒng)(Cluster)Cluster 每個(gè)節(jié)點(diǎn)都是一個(gè)完整的計(jì)算機(jī) 各個(gè)節(jié)點(diǎn)通過高性能網(wǎng)絡(luò)相互連接 網(wǎng)絡(luò)接口和I/O總線松耦合連接 每個(gè)節(jié)點(diǎn)有完整的操作系統(tǒng) 曙光2000、 3000、4000, ASCI Blue Mountain 1.1 并行計(jì)算機(jī)基礎(chǔ)知識(shí) 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng) 1.4 高性能計(jì)算發(fā)展趨勢(shì)目錄什么是機(jī)群系統(tǒng)什么是機(jī)群系統(tǒng) 機(jī)群系統(tǒng)（Cluster）利用標(biāo)準(zhǔn)網(wǎng)絡(luò)將一臺(tái)臺(tái)普通服務(wù)器或者PC機(jī)連接起來，為使用者提供

18、更高的計(jì)算能力和存儲(chǔ)能力并為使用者提供單一系統(tǒng)映象的系統(tǒng)。 單一系統(tǒng)映象使用者在使用機(jī)群系統(tǒng)的時(shí)候感覺上就象使用一個(gè)單獨(dú)的計(jì)算機(jī)系統(tǒng)一樣。單一系統(tǒng)映象實(shí)現(xiàn)方法：硬件層、操作系統(tǒng)層、軟件層機(jī)群系統(tǒng)的優(yōu)勢(shì)機(jī)群系統(tǒng)的優(yōu)勢(shì)極高的性價(jià)比大型機(jī)的主流良好的可擴(kuò)展性更高的可管理性更低的使用維護(hù)成本更好的可使用性更好的系統(tǒng)魯棒性更多的應(yīng)用支持機(jī)群使用越來越廣泛應(yīng)用領(lǐng)域越來越多機(jī)群系統(tǒng)的應(yīng)用領(lǐng)域機(jī)群系統(tǒng)的應(yīng)用領(lǐng)域數(shù)學(xué)基因信息氣象預(yù)報(bào)生物物理石油勘探信息服務(wù)汽車制造船舶制造2010高性能計(jì)算機(jī)架構(gòu)分布高性能計(jì)算機(jī)架構(gòu)分布機(jī)群系統(tǒng)的應(yīng)用分類機(jī)群系統(tǒng)的應(yīng)用分類高性能計(jì)算機(jī)群高性能計(jì)算機(jī)群 應(yīng)用于高性能計(jì)算領(lǐng)域； 整合

19、多個(gè)計(jì)算單元的并行計(jì)算性能； 注重整體性能的發(fā)揮； 目前成為高性能計(jì)算機(jī)的主體架構(gòu)；高性能計(jì)算機(jī)群系統(tǒng)架構(gòu)高性能計(jì)算機(jī)群系統(tǒng)架構(gòu)節(jié)點(diǎn)機(jī)采用曙光天闊系列機(jī)架式服務(wù)器節(jié)點(diǎn)機(jī)采用曙光天闊系列機(jī)架式服務(wù)器 I系列和系列和A系統(tǒng)系統(tǒng)I系統(tǒng)采用Intel Xeon處理器A系列采用AMD Opteron處理器 2路、路、4路、路、8路、路、16路產(chǎn)品路產(chǎn)品 1U、2U、5U、12U . 計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn) IO節(jié)點(diǎn)節(jié)點(diǎn) 管理節(jié)點(diǎn)管理節(jié)點(diǎn) 登入節(jié)點(diǎn)登入節(jié)點(diǎn) . 如何選擇節(jié)點(diǎn)機(jī)如何選擇節(jié)點(diǎn)機(jī)？網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)和存儲(chǔ) 網(wǎng)絡(luò)網(wǎng)絡(luò) 計(jì)算網(wǎng) 管理網(wǎng) 數(shù)據(jù)傳輸網(wǎng) 百兆以太網(wǎng) 千兆以太網(wǎng) Myrinet Infiniband

20、存儲(chǔ)存儲(chǔ) 存儲(chǔ)產(chǎn)品 存儲(chǔ)結(jié)構(gòu) 文件系統(tǒng) SCSI SATA FC SAS DAS NAS SAN IPSAN NFS DCFS2 Lustre如何選擇？如何選擇？高性能機(jī)群層次架構(gòu)高性能機(jī)群層次架構(gòu)應(yīng)用層機(jī)群操作系統(tǒng)層（DCOS）系統(tǒng)軟件層（OS, 編譯器）硬件層（節(jié)點(diǎn), 網(wǎng)絡(luò)等）高性能機(jī)群的硬件構(gòu)成高性能機(jī)群的硬件構(gòu)成l 機(jī)柜（含供電電源）；l 節(jié)點(diǎn)機(jī)（計(jì)算節(jié)點(diǎn)，登陸節(jié)點(diǎn)， I/O節(jié)點(diǎn)，監(jiān)控節(jié)點(diǎn)）；l 互連網(wǎng)絡(luò)，每種網(wǎng)絡(luò)連接機(jī)群的全部或部分節(jié)點(diǎn)： 管理網(wǎng)（百兆以太網(wǎng)）； 數(shù)據(jù)網(wǎng)（千兆以太網(wǎng)）； 計(jì)算網(wǎng)（Infiniband等）； 監(jiān)控網(wǎng)（監(jiān)控系統(tǒng)網(wǎng)絡(luò)）； KVM網(wǎng)（SKVM系統(tǒng)）； 存儲(chǔ)網(wǎng)（

21、SAN存儲(chǔ)網(wǎng)絡(luò)）；l 存儲(chǔ)系統(tǒng)：盤陣或SAN存儲(chǔ)；高性能機(jī)群軟件系統(tǒng)高性能機(jī)群軟件系統(tǒng)石油領(lǐng)域：Geoeast、paradigm、cgg、omega、VSS物理化學(xué)：VASP、Gaussian材料化學(xué)：Materials Studio環(huán)保領(lǐng)域：MM5、Grapes、WRF結(jié)構(gòu)力學(xué)：ABAQUS、NASTRAN性能評(píng)估：LINPACK、HPCC、NPB等等流體力學(xué)：fluent、CFX、Star_CD分子動(dòng)力學(xué)：NAMD、GROWMACS、AMBER生物計(jì)算：BLAST、FASTA、MEME并行文件系統(tǒng)和數(shù)據(jù)庫(kù)：DCFS2、PVFS2、Lustre、Oracle RAC機(jī)群管理和監(jiān)控系統(tǒng)：DCO

22、S、DCMMII、Rocks、OSCAR曙光機(jī)群操作系統(tǒng)曙光機(jī)群操作系統(tǒng)(DCOS) 曙光機(jī)群管理系統(tǒng)曙光機(jī)群管理系統(tǒng)(DCMS) 曙光機(jī)群監(jiān)控系統(tǒng)曙光機(jī)群監(jiān)控系統(tǒng)(DCMM) 曙光機(jī)群部署系統(tǒng)曙光機(jī)群部署系統(tǒng)(DCIS) 曙光并行命令系統(tǒng)曙光并行命令系統(tǒng)(MTerm)曙光機(jī)群并行文件系統(tǒng)曙光機(jī)群并行文件系統(tǒng)DCFS2DCFS2（Dawning Cluster File Serving/SystemDawning Cluster File Serving/System）是曙光公司自主研發(fā)的第二）是曙光公司自主研發(fā)的第二代并行文件系統(tǒng)代并行文件系統(tǒng) 全局文件系統(tǒng)，提供單一系統(tǒng)映象與節(jié)點(diǎn)上的本地文件系統(tǒng)完全兼容支持大規(guī)模機(jī)群系統(tǒng)能夠提供很高的元數(shù)據(jù)處理性能可靠性好，具有快速故障恢復(fù)功能并行環(huán)境、開發(fā)環(huán)境、高性能數(shù)學(xué)庫(kù)并行環(huán)境、開發(fā)環(huán)境、高性能數(shù)學(xué)庫(kù) 并行環(huán)境并行環(huán)境 消息傳遞：MPI、PVM 共享存儲(chǔ)：OpenMP 開放環(huán)境開放環(huán)境 編譯器 調(diào)試器 性能分析器 高性能數(shù)學(xué)庫(kù)高性能數(shù)學(xué)庫(kù) ACML APL MKL IPP 其他專業(yè)數(shù)學(xué)庫(kù) 1.1 并行計(jì)算機(jī)基礎(chǔ)知識(shí) 1.2 并行計(jì)算機(jī)系統(tǒng)架構(gòu) 1.3 機(jī)群系統(tǒng) 1.4 高性能計(jì)算發(fā)展趨勢(shì)目錄低功耗設(shè)計(jì)和管理技術(shù)越來越重要基于Linpack對(duì)Top500和典型高性能計(jì)算機(jī)的發(fā)展趨勢(shì)進(jìn)行外推，在2015-2018年左右，