高性能并行計(jì)算臺(tái)平及并行計(jì)算環(huán)境概述

1、高性能并行計(jì)算平臺(tái)及并行計(jì)算環(huán)境概述中國(guó)水利水電科學(xué)研究院 信息網(wǎng)絡(luò)中心2005年8月11日Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.1內(nèi) 容 提 要1、前言2、高性能并行計(jì)算平臺(tái)建設(shè)3、水利水電高性能計(jì)算實(shí)踐4、結(jié)語(yǔ)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.21、前言Eva

2、luation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.3什么是高性能并行計(jì)算？科學(xué)家和工程師可以用它來(lái)解決一些程序規(guī)模龐大、運(yùn)算時(shí)間長(zhǎng)以及數(shù)據(jù)量大的科研課題。并行計(jì)算是提高服務(wù)器計(jì)算速度和處理能力的一種有效手段。計(jì)算機(jī)按照編好的程序?qū)τ?jì)算問題進(jìn)行分解，并把分解的任務(wù)塊通過一定的方式交給不同的處理器去求解。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyrigh

3、t 2004-2011 Aspose Pty Ltd.4國(guó)際發(fā)展動(dòng)態(tài)2005年6月22日公布的全球高性能計(jì)算機(jī)top500，第一名是IBM的Blue Gene/L，Linpack測(cè)試值為每秒136.8萬(wàn)億次，第二名是IBM的Blue Gene/W，Linpack測(cè)試值為每秒91萬(wàn)億次。日本第一的高性能計(jì)算機(jī)，Earth Simulator（地球模擬器），Linpack測(cè)試值為35.6萬(wàn)億次。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.5

4、國(guó)內(nèi)發(fā)展動(dòng)態(tài)中國(guó)的第一名，中國(guó)氣象局的高性能計(jì)算機(jī)，Linpack值為每秒10.3萬(wàn)億次。曙光系列、神威系列、銀河系列、深騰系列中科院計(jì)算所、曙光公司和上海超級(jí)計(jì)算中心三方共同研制的曙光4000A，Linpack測(cè)試值為每秒8.061萬(wàn)億次。聯(lián)想公司為中科院網(wǎng)絡(luò)信息中心生產(chǎn)的深騰6800，共有1060顆1.3Ghz的安騰2處理器，Linpack測(cè)試值為每秒4.183萬(wàn)億次。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.6院內(nèi)需求分析 隨著

5、工程規(guī)模的逐漸擴(kuò)大、復(fù)雜問題求解分析的日益深入，其科學(xué)計(jì)算的“瓶頸”日趨嚴(yán)重，即使對(duì)模型和算法進(jìn)行簡(jiǎn)化，一次計(jì)算仍需要幾個(gè)小時(shí)、幾天甚至數(shù)十天的時(shí)間，這一現(xiàn)狀嚴(yán)重制約了我院水利水電學(xué)科的發(fā)展，許多工程師、教授提出的理論和設(shè)想都因?yàn)橛?jì)算能力受到限制而無(wú)法實(shí)施。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.7課題1：小灣壩踵應(yīng)力誘導(dǎo)縫研究小灣拱壩壩底縫計(jì)算采用網(wǎng)格有20萬(wàn)個(gè)單元，總共24萬(wàn)多個(gè)節(jié)點(diǎn)。單機(jī)上運(yùn)行模擬計(jì)算程序時(shí)，一個(gè)計(jì)算步需要將近

6、45個(gè)小時(shí)，一個(gè)工況一般有3040個(gè)計(jì)算步，總共有幾十種工況。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.8課題2：混凝土三維細(xì)觀力學(xué)模型的研究模型1：濕篩試件靜動(dòng)態(tài)彎拉強(qiáng)度細(xì)觀力學(xué)分析研究中對(duì)試件進(jìn)行劃分，用4面體單元將細(xì)網(wǎng)格6面體單元過渡到兩邊粗網(wǎng)格6面體單元，共有24257節(jié)點(diǎn)，29952個(gè)單元，其中骨料2160個(gè)單元，固化水泥砂漿體3805單元，粘結(jié)界面14515單元以及宏觀均勻混凝土9472個(gè)單元。以上三維計(jì)算是在內(nèi)存1G，C

7、PU為2.8G的PC機(jī)上進(jìn)行的。靜力計(jì)算耗時(shí)163小時(shí)39分，約7天時(shí)間；動(dòng)力計(jì)算耗時(shí)196小時(shí)25分鐘，約8天時(shí)間。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.9模型2：全級(jí)配試件靜動(dòng)態(tài)彎拉強(qiáng)度三維細(xì)觀力學(xué)分析剖分后的單元有骨料單元、融入小骨料后的固化水泥砂漿單元和兩者之間的界面單元，共有24257個(gè)節(jié)點(diǎn)，113920個(gè)單元。計(jì)算時(shí)間：在以上配置相同的PC機(jī)上，三維靜力計(jì)算耗時(shí)209小時(shí)50分鐘，約9天時(shí)間；動(dòng)力計(jì)算耗時(shí)291小時(shí)57

8、分鐘，約12天時(shí)間。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.10問 題要實(shí)現(xiàn)三維細(xì)觀力學(xué)數(shù)值計(jì)算，計(jì)算速度這一難題必須克服，通常，針對(duì)一個(gè)模型研究人員需要反復(fù)調(diào)整參數(shù)進(jìn)行數(shù)值計(jì)算，一個(gè)算例耗時(shí)數(shù)天甚至數(shù)周簡(jiǎn)直無(wú)法忍受。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.11 上述種種

9、計(jì)算和數(shù)據(jù)的處理對(duì)計(jì)算環(huán)境提出了新的要求，如果以傳統(tǒng)的個(gè)人PC機(jī)作為計(jì)算平臺(tái)，計(jì)算的時(shí)間和效率遠(yuǎn)遠(yuǎn)滿足不了科研的需求，甚至?xí)捎趦?nèi)存、CPU等硬件的限制而無(wú)法進(jìn)行計(jì)算。因此我院急需建設(shè)一個(gè)高性能并行計(jì)算平臺(tái)，更好的為科研項(xiàng)目服務(wù)。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.12二、高性能并行計(jì)算平臺(tái)建設(shè)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.C

10、opyright 2004-2011 Aspose Pty Ltd.13硬件平臺(tái)建設(shè)初步構(gòu)想采用Sun公司提供的Sun Fire Supercluster解決方案。24臺(tái)高性能的Sun Fire 6800服務(wù)器作為集群節(jié)點(diǎn)。每臺(tái)服務(wù)器達(dá)到滿配置，即24個(gè)1.2Ghz UltraSPARCIII CPU，192GB內(nèi)存。節(jié)點(diǎn)之間采用Sun Fire Link Interconnect 技術(shù)通過光纖互聯(lián)。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty

11、Ltd.14IWHR 高性能并行計(jì)算平臺(tái)硬件體系結(jié)構(gòu)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.15Sun Fire 6800 技術(shù)指標(biāo)硬件完全冗余，可以從任何硬件故障中恢復(fù)。最多24個(gè)CPU，最大192GB內(nèi)存，32PCI或者16cPCI插槽。每臺(tái)Sun Fire 6800機(jī)器最多分為4個(gè)域，每個(gè)域相當(dāng)于一臺(tái)獨(dú)立的服務(wù)器。具有很好的線性擴(kuò)充能力，24個(gè)CPU運(yùn)行時(shí)的Linpack值是1個(gè)CPU運(yùn)行時(shí)的23.3倍。Evaluation

12、only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.16Sun Fire Link InterconnectSun Fire Link 為一套高帶寬、低延遲的互聯(lián)系統(tǒng)，可以擴(kuò)展Sun Fire6800 系統(tǒng)的可用性。一個(gè)Sun Fire Link系統(tǒng)最多可以由8個(gè)Sun Fire 6800服務(wù)器節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)由Sun Fire Link光纖網(wǎng)絡(luò)連接在一起，一整套軟件支持。Sun Management Center可以為Sun Fire Link 網(wǎng)絡(luò)資源的配置、

13、監(jiān)視與管理提供最佳可用性。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.17我院Sun Fire 6800現(xiàn)有配置CPU 數(shù)量4 * 1200Mhz內(nèi)存容量8 GB （16 X 512MB DIMMs)I/O板4個(gè)，PCI擴(kuò)展槽共32個(gè)Sun Storage 3510 SCSI 磁盤陣列可提供539GB 的存儲(chǔ)空間Evaluation only.Created with Aspose.Slides for .NET 3.5 Client

14、Pro.Copyright 2004-2011 Aspose Pty Ltd.18 目前，本院的高性能并行計(jì)算平臺(tái)建設(shè)處于初步試驗(yàn)階段，待并行計(jì)算技術(shù)在我院應(yīng)用成熟以后，可以很方便的對(duì)該平臺(tái)進(jìn)行硬件升級(jí)，以獲得更高的性能和計(jì)算能力?，F(xiàn) 狀Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.19軟件平臺(tái)建設(shè)操作系統(tǒng)開發(fā)環(huán)境編譯器數(shù)學(xué)函數(shù)庫(kù)高性能并行計(jì)算軟件作業(yè)管理接口并行程序運(yùn)行環(huán)境并行數(shù)學(xué)函數(shù)庫(kù)并行程序調(diào)試分析工具資源管理系統(tǒng)Evaluatio

15、n only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.20IWHR 高性能并行計(jì)算平臺(tái)軟件體系結(jié)構(gòu)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.21操作系統(tǒng)：Solaris 9 64位的Unix操作系統(tǒng)具有杰出的穩(wěn)定性和可維護(hù)性單一服務(wù)器上最多可支持106個(gè)CPU支持多線程，最多100萬(wàn)個(gè)進(jìn)程。支持多種應(yīng)用軟

16、件，如 Sun Cluster軟件、Sun 管理中心軟件、Sun Studio 編譯環(huán)境Sun Grid Engine等等。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.22開發(fā)環(huán)境：Sun Studio 9主要組件包含如下：C CompilerC+ CompilerFortran CompilerSun Performance LibraryDistributed make utility, dmakedbx Command-Line

17、DebuggerPerformance Analysis ToolsIntegrated Development Environment (IDE)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.23Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.24Evaluation only.Cr

18、eated with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.25編譯器 對(duì)于科研課題的計(jì)算程序而言，編譯器的優(yōu)劣對(duì)生成的程序的執(zhí)行效率有著非常明顯的影響，現(xiàn)在在Unix下的免費(fèi)編譯器軟件主要是GNU計(jì)劃提供的GCC，該編譯器可以編譯C、C+、F77 等語(yǔ)言編寫的程序。Sun Fire 6800 服務(wù)器配套的編譯器是Sun 公司開發(fā)的商業(yè)編譯軟件-Sun Studio 9，該編譯器在Solaris上編譯運(yùn)行的效率比GNU的免費(fèi)軟件要高30%40%。Evaluation only.Creat

19、ed with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.26數(shù)學(xué)函數(shù)庫(kù)：Sun Performance Library它是Sun公司基于以下標(biāo)準(zhǔn)的線性代數(shù)庫(kù)而生成的，具有相同的函數(shù)名和接口，但是在Sun的服務(wù)器上運(yùn)行得更快更精確。LAPACK ：用來(lái)解決線性代數(shù)問題BLAS1：用來(lái)解決向量-向量運(yùn)算問題BLAS2：用來(lái)解決矩陣-向量運(yùn)算問題BLAS3：用來(lái)解決矩陣-矩陣運(yùn)算問題 F和VF：快速傅立葉轉(zhuǎn)換Evaluation only.Created with Aspose.Slides f

20、or .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.27高性能并行計(jì)算軟件Sun HPC ClusterTools 5.0作業(yè)管理接口Sun ClusterTools Runtime Environment（CRE）并行計(jì)算運(yùn)行環(huán)境Sun MPI and MPI I/O并行數(shù)學(xué)函數(shù)庫(kù)Sun S3L( Scalable Scientific Subroutine Library)并行程序調(diào)試分析工具Sun PrismSun MPProfEvaluation only.Created with Aspose.Slides for .N

21、ET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.28作業(yè)管理接口：Sun CRE執(zhí)行程序（mprun)殺死程序（mpkill) 顯示作業(yè)信息顯示節(jié)點(diǎn)信息Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.29并行計(jì)算運(yùn)行環(huán)境Sun MPI and MPI I/OSun MPI 是一個(gè)高度優(yōu)化的MPI版本。它支持MPI1.2 標(biāo)準(zhǔn)和 MPI2.0 標(biāo)準(zhǔn)。支持多線程編程。與Sun CRE 集

22、成。完全支持Fortran77、C和C+ ，支持一些基本的Fortran90 語(yǔ)法。通過共享內(nèi)存通信會(huì)獲得更好的性能。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.30并行數(shù)學(xué)函數(shù)庫(kù)：Sun S3L它是建立在Sun MPI之上的，給用戶提供了一系列廣泛應(yīng)用的并行函數(shù)庫(kù)。如LU分解、最小二乘法運(yùn)算、矩陣轉(zhuǎn)置等等。支持Fortran77、Fortran90、C和C+Sun S3L 子程序調(diào)用Sun Performance Library 來(lái)在

23、節(jié)點(diǎn)上進(jìn)行運(yùn)算。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.31并行程序調(diào)試分析工具Prism和MPProfPrism是一個(gè)圖形編程環(huán)境，使用戶能夠?qū)Σ⑿谐绦蜻M(jìn)行調(diào)試和性能監(jiān)控。MPProf是一個(gè)用來(lái)查看Sun MPI程序的分析工具。運(yùn)行它可以獲得程序的一些時(shí)間信息：在所有進(jìn)程里MPI函數(shù)庫(kù)調(diào)用所花費(fèi)的時(shí)間占程序運(yùn)行時(shí)間的百分比；每個(gè)進(jìn)程在MPI函數(shù)庫(kù)調(diào)用上花費(fèi)的時(shí)間百分比；MPI 函數(shù)庫(kù)調(diào)用的次數(shù)、程序花費(fèi)的時(shí)間；Evaluation

24、 only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.32資源管理系統(tǒng)(Resource Management)Sun HPC ClusterTools 5 software可以和下面三種分布式資源管理系統(tǒng)集成，用來(lái)管理資源的分配、并行作業(yè)的控制和監(jiān)視，以及作業(yè)信息的統(tǒng)計(jì)。Sun Grid Engine：Codine 5.2 Load Sharing Facility: LSF 4.xPortable Batch System: PBS 2.3.15 and PBS

25、 Pro 5.0Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.33集成方法Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.34IWHR 高性能并行計(jì)算平臺(tái)軟件體系結(jié)構(gòu)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.35三、高性能并行計(jì)算實(shí)踐Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.36課題一 在結(jié)構(gòu)材料