Abaqus小型并行計(jì)算集群平臺(tái)的構(gòu)建方法

1、Abaqus小型并行計(jì)算集群平臺(tái)的構(gòu)建方法闞圣哲,陳國(guó)興(南京工業(yè)大學(xué)巖土工程研究所,江蘇南京210009摘 要:介紹了一個(gè)基于EM64T硬件構(gòu)架、雙路Intel Xeon處理器、Linux操作系統(tǒng)和64位Abaqus軟件的32CPU并行計(jì)算集群平臺(tái)的構(gòu)建方法。以巖土工程動(dòng)力分析模型為例,測(cè)試了集群各構(gòu)件對(duì)集群整體性能的影響。關(guān)鍵詞:并行計(jì)算;集群構(gòu)建;動(dòng)力分析0 引言0.1 當(dāng)代并行計(jì)算系統(tǒng)的構(gòu)架目前常用的并行計(jì)算機(jī)是對(duì)稱多處理機(jī)(smp和集群系統(tǒng)(cluster。常見的搭載單顆多核處理器的桌面?zhèn)€人計(jì)算機(jī)就屬于smp;cluster是一種通過局域網(wǎng)絡(luò)將多臺(tái)計(jì)算機(jī)連接起來協(xié)同工作的并行計(jì)算系統(tǒng)

2、,可以用普通個(gè)人電腦(PC、工作站(workstation或者smp來組建cluster。smp與cluster最大的區(qū)別在于:smp中內(nèi)存地址具有單地址空間,各處理器可以平等地調(diào)用共享內(nèi)存、I/O設(shè)備和操作系統(tǒng)等各種資源;cluster中內(nèi)存實(shí)際分布在各個(gè)節(jié)點(diǎn)上,處理器讀取本地節(jié)點(diǎn)的內(nèi)存時(shí)數(shù)據(jù)通過總線傳輸,延時(shí)低,處理器讀取其它節(jié)點(diǎn)的內(nèi)存時(shí)數(shù)據(jù)通過局域網(wǎng)絡(luò)傳輸,延時(shí)高。smp支持的最大處理器數(shù)一般不超過10個(gè)1,因此smp只能作為小型的并行計(jì)算系統(tǒng)。cluster 利用局域網(wǎng)絡(luò)進(jìn)行處理器間通信的方法雖然能提高并聯(lián)的處理器數(shù),但也因局域網(wǎng)絡(luò)的帶寬和延時(shí)限制了集群的性能,目前集群技術(shù)適合搭建10

3、0顆處理器以下級(jí)別的并行計(jì)算系統(tǒng)1。目前smp結(jié)構(gòu)的服務(wù)器一般是搭載多核處理器的雙路或四路服務(wù)器,但真正的八路或十六路服務(wù)器產(chǎn)品非常少見。一些smp結(jié)構(gòu)的小型機(jī)可以并聯(lián)更多的處理器,但是其價(jià)格昂貴,后期維護(hù)復(fù)雜。cluster可以使用商業(yè)化大生產(chǎn)的多路服務(wù)器來構(gòu)建。雙路或四路服務(wù)器是很好的選擇,該類服務(wù)器價(jià)格低廉、性能優(yōu)異,用來構(gòu)建cluster 可以獲得很好的性能/價(jià)格比。所以在科學(xué)計(jì)算領(lǐng)域,cluster非常流行,在TOP500中很大一部分并行計(jì)算系統(tǒng)都是cluster。此外還有一些陣列處理機(jī)、向量處理機(jī),可能不兼容常用的x86程序,所以應(yīng)用上具有局限性。目前提出的GPU加速技術(shù),需要開發(fā)

4、新的程序來使用該技術(shù),用在運(yùn)行商業(yè)程序的集群上也不適用。1 基于Abaqus軟件的數(shù)值模擬并行計(jì)算集群平臺(tái)的建立1.1 集群系統(tǒng)的結(jié)構(gòu)集群中的每臺(tái)計(jì)算機(jī)設(shè)備都稱為集群的節(jié)點(diǎn)(node,有時(shí)各節(jié)點(diǎn)在功能上具有分工,那么各節(jié)點(diǎn)可以依照功能劃分為管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、I/O節(jié)點(diǎn)等;有時(shí)一個(gè)節(jié)點(diǎn)也可能實(shí)現(xiàn)多個(gè)功能,例如小型集群可以將I/O、存儲(chǔ)、管理等功能都放在一個(gè)節(jié)點(diǎn)上,這個(gè)節(jié)點(diǎn)就可以稱為主節(jié)點(diǎn)。與smp相比,集群更具有可擴(kuò)放性:增加集群中處理器數(shù)量只需要增加集群的節(jié)點(diǎn)。本文中構(gòu)建的集群采用機(jī)架式設(shè)備組建,按功能分為四類節(jié)點(diǎn):計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)和網(wǎng)絡(luò)節(jié)點(diǎn)。其具體的硬件配置見表1。其拓?fù)浣Y(jié)構(gòu)圖

5、見圖1。圖1顯示了該集群系統(tǒng)及其主要附屬設(shè)備。除集群各類節(jié)點(diǎn)外,電源系統(tǒng)、監(jiān)視系統(tǒng)和冷卻系統(tǒng)也是維持集群正常工作的重要附屬設(shè)備。表 1 并行計(jì)算數(shù)值模擬集群平臺(tái)的節(jié)點(diǎn)硬件參數(shù) 計(jì)算節(jié)點(diǎn)處理器每臺(tái)搭載2顆3GHz Intel Xeon Pro E5450或X5365 處理器內(nèi)存每臺(tái)8GB DDR667MHz全緩沖ECC效驗(yàn)內(nèi)存硬盤每臺(tái)2塊SAS 15000轉(zhuǎn)146GB硬盤組建RIAD 0網(wǎng)卡每臺(tái)雙1Gb以太網(wǎng)卡,支持鏈路聚合與巨型幀管理節(jié)點(diǎn)處理器2顆Intel Xeon 3.2G處理器內(nèi)存4GB DDR400MHz ECC效驗(yàn)內(nèi)存顯卡NVIDIA Quadro FX 1400專業(yè)顯卡存儲(chǔ)節(jié)點(diǎn)處理

6、器Intel Core 2 Duo 2.8GHz處理器閃存/內(nèi)存128M FLASH/2G DDR硬盤8塊SATA1TB企業(yè)級(jí)硬盤,組建RIAD 5網(wǎng)卡雙1Gb以太網(wǎng)卡,支持鏈路聚合與巨型幀網(wǎng)絡(luò)節(jié)點(diǎn)交換能力最大48 Gbps交換速度鏈路聚合功能6個(gè)巨型幀功能支持標(biāo)準(zhǔn)的9k巨型幀1.2 計(jì)算節(jié)點(diǎn)的選擇在構(gòu)建基于Abaqus軟件并行計(jì)算數(shù)值模擬集群平臺(tái)時(shí),硬件選擇方面如何兼顧顯式計(jì)算和隱式計(jì)算是首先網(wǎng)絡(luò)節(jié)點(diǎn)電源系統(tǒng):PDU和UPS管理節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)監(jiān)控系統(tǒng):KVM和顯示器、鍵盤、鼠標(biāo)圖1 集群系統(tǒng)的結(jié)構(gòu)圖需要考慮的問題。顯式算法和隱式算法在并行計(jì)算性能特性方面有很大的差異。顯式算法的并行性能好,但是

7、,如果模型網(wǎng)格劃分很細(xì)致,則計(jì)算的時(shí)步需要取值很小;隱式計(jì)算的并行性能稍差,CPU間通信多,但模型所取的計(jì)算時(shí)步和網(wǎng)格尺寸都可以大一些,時(shí)間步長(zhǎng)甚至是同類問題顯式算法模型的1000倍。表2總結(jié)了隱式算法和顯式算法的特點(diǎn),以及對(duì)計(jì)算機(jī)硬件的要求。表2 隱式算法與顯式算法的特性比較2隱式算法顯式算法典型的軟件ABAQUS/Standard、ANSYSABAQUS/Explicit、LS-DYNA求解的問題靜力、模態(tài)、屈曲等接算法特點(diǎn)內(nèi)硬件要求內(nèi)算法擴(kuò)展性8-16CPU64-128 CPU雖然隱式算法的并行計(jì)算擴(kuò)展性差,但是可以使用高主頻的處理器來加速計(jì)算。本集群使計(jì)算節(jié)點(diǎn)采用高性能計(jì)算節(jié)點(diǎn),但是配

8、置了較少的節(jié)點(diǎn)數(shù),在CPU主頻和CPU個(gè)數(shù)兩個(gè)性能參數(shù)上取得平衡,從而兼顧隱式算法和顯示算法。中央處理器(CPU是決定計(jì)算機(jī)性能的核心部件。計(jì)算機(jī)根據(jù)CPU支持的指令集的差異分為:復(fù)雜指令系統(tǒng)計(jì)算機(jī)(CISC和精簡(jiǎn)指令系統(tǒng)計(jì)算機(jī)(RISC。常用的Intel Xeon和AMD Option處理器隸屬于CISC/IA-32(也稱為x86-64或EMT64構(gòu)架。CISC的發(fā)展歷史悠久,可運(yùn)行于CISC上的程序非常豐富,該構(gòu)架下的處理器研發(fā)工作也非常迅速。Intel Itanium處理器隸屬于CISC/IA-64構(gòu)架,但不兼容32位程序,存在應(yīng)用局限性。同時(shí)Intel Itanium 處理器主頻低,其

9、abaqus計(jì)算性能反而不如高頻的x86-64處理器。IBM Power處理器隸屬于RISC構(gòu)架。雖然RISC在計(jì)算效率上高于CISC,但其相應(yīng)程序的開發(fā)要慢于CISC。由于CISC/IA-64和RISC非通用性,計(jì)算速度相同的處理器產(chǎn)品中x86-64的價(jià)格最低廉。在TOP500中采用x86-64處理器的集群所占比例很大。綜合考慮計(jì)算機(jī)軟件的通用性、設(shè)備價(jià)格、設(shè)備性能和解決設(shè)備故障的難易性,Intel Xeon或AMD Option 處理器是很好的選擇。這兩類處理器都屬于64位處理器,也兼容32位程序。判斷x86-64處理器性能的主要指標(biāo)是處理器核心類型、主頻、總線帶寬(或類似的技術(shù)、緩存容量

10、。但是在某一地鐵隧道地震效應(yīng)數(shù)值計(jì)算中(使用Abaqus/Standard求解器,Intel Xeon X5365處理器的計(jì)算速度要高于Intel Xeon E5450處理器。在其它一些使用Abaqus/Standard求解器的測(cè)試中,Intel Xeon 5400系列處理器的計(jì)算速度要高于Intel Xeon 5500系列處理器。所以上述主要指標(biāo)只是處理器性能的參考,為Abaqus集群選擇處理器需要做貼近實(shí)際運(yùn)用的測(cè)試。1.3 存儲(chǔ)節(jié)點(diǎn)對(duì)計(jì)算速度的影響Abaqus軟件在計(jì)算中將產(chǎn)生臨時(shí)文件和結(jié)果文件,這些文件需要存儲(chǔ)在磁盤空間上。一個(gè)集群系統(tǒng)的磁盤空間可能是局部存儲(chǔ)類型的,這類空間只允許某一

11、個(gè)節(jié)點(diǎn)訪問;也可能是全局存儲(chǔ)類型的,這類空間允許所有節(jié)點(diǎn)訪問。每個(gè)節(jié)點(diǎn)上裝載的硬盤是局部存儲(chǔ),但是可以通過網(wǎng)絡(luò)文件系統(tǒng)(NFS服務(wù)通過局域網(wǎng)絡(luò)上實(shí)現(xiàn)磁盤共享,共享的磁盤空間就是全局存儲(chǔ)空間。在Abaqus Version 6.7 PDF Documentation中稱臨時(shí)文件和結(jié)果文件可以存儲(chǔ)在任意類型的空間上。實(shí)際中一般使用局部空間存儲(chǔ)臨時(shí)文件,使用全局空間存儲(chǔ)結(jié)果文件。這主要基于:1. 臨時(shí)文件讀寫頻繁,存儲(chǔ)在讀寫速度快的局部存儲(chǔ)上可以提高計(jì)算速度。2. 結(jié)果文件體積巨大,需要大容量存儲(chǔ)器。構(gòu)建全局存儲(chǔ)空間的代價(jià)要小于構(gòu)建局部存儲(chǔ)空間的代價(jià),同時(shí)全局存儲(chǔ)空間易于統(tǒng)一管理。使用全局空間存儲(chǔ)結(jié)

12、果文件是經(jīng)濟(jì)、易管理的。在Abaqus 集群使用中,一般是某節(jié)點(diǎn)通過NFS 服務(wù)端程序?yàn)樗泄?jié)點(diǎn)提供共享存儲(chǔ)空間。提供共享存儲(chǔ)空間有3個(gè)方法:1.某管理節(jié)點(diǎn)或計(jì)算節(jié)點(diǎn)共享本地磁盤。但是服務(wù)器的硬盤槽位數(shù)量有限,更換硬盤操作繁瑣;2. 通過光纖網(wǎng)絡(luò)將FC-SAN 掛載到某管理節(jié)點(diǎn)或計(jì)算節(jié)點(diǎn)上,然后由管理節(jié)點(diǎn)或計(jì)算節(jié)點(diǎn)操作FC-SAN 來提供NFS 服務(wù)。但是此時(shí)FC-SAN 上的數(shù)據(jù)傳輸將通過光纖網(wǎng)絡(luò)和集群內(nèi)部局域網(wǎng)兩個(gè)網(wǎng)絡(luò),傳輸過程復(fù)雜、存在傳輸延時(shí);3. 采用網(wǎng)絡(luò)附加存儲(chǔ)器(NAS提供NFS 服務(wù)。NAS 即專門為提供文件服務(wù)而優(yōu)化系統(tǒng)的服務(wù)器,文件讀寫性能高。其可以直接連接到集群內(nèi)部局域網(wǎng)

13、上。同時(shí)更換硬盤、數(shù)據(jù)備份、文件管理也非常方便。從共享文件管理性、存儲(chǔ)容量可擴(kuò)充性、數(shù)據(jù)傳輸速度方面綜合考慮,可以使用NAS 為Abaqus 集群系統(tǒng)提供NFS 服務(wù)。NAS 的處理器、內(nèi)存都是其性能指標(biāo)。NAS 的另外一個(gè)性能指標(biāo)是其網(wǎng)絡(luò)性能,如果是以太網(wǎng)絡(luò)接口,其網(wǎng)絡(luò)帶寬、是否支持巨型幀、是否支持鏈路聚合都對(duì)NAS 性能產(chǎn)生影響。在集群使用中可能同時(shí)有多個(gè)節(jié)點(diǎn)要求讀寫NAS 上存儲(chǔ)的數(shù)據(jù),NAS 的工作負(fù)荷大,其性能將影響到集群系統(tǒng)整體的計(jì)算速度。在對(duì)QNAP TS-439 Pro Turbo NAS 和另一款NAS 產(chǎn)品做對(duì)比測(cè)試后發(fā)現(xiàn):NAS 的性能對(duì)集群系統(tǒng)計(jì)算性能影響巨大。另一款N

14、AS 產(chǎn)品支持1Gb 以太網(wǎng)絡(luò),但整體性能參數(shù)較低:不支持鏈路聚合,最大支持7.5K 巨型幀。測(cè)試算例使用某一地鐵隧道地震效應(yīng)模型(使用Abaqus/Standard 求解器,同時(shí)NAS 設(shè)備開啟了所有能夠提高網(wǎng)速的功能。測(cè)試數(shù)據(jù)見圖2。本對(duì)比測(cè)試分3組:A 組-高負(fù)荷下使用NAS 的Abaqus 計(jì)算;B 組-低負(fù)荷下使用NAS 的Abaqus 計(jì)算;C 組-不使用NAS 的Abaqus 計(jì)算。A 組-高負(fù)荷下使用NAS 的Abaqus 計(jì)算:同時(shí)進(jìn)行7個(gè)Abaqus 計(jì)算任務(wù),每個(gè)計(jì)算使用4CPU ,7個(gè)計(jì)算任務(wù)都使用NAS 設(shè)備來存儲(chǔ)共享文件。B 組-低負(fù)荷下使用NAS 的Abaqus

15、計(jì)算:只進(jìn)行1個(gè)Abaqus 計(jì)算任務(wù),使用4CPU ,該計(jì)算任務(wù)使用NAS 設(shè)備來存儲(chǔ)共享文件。C 組-不使用NAS 的Abaqus 計(jì)算:只進(jìn)行1個(gè)Abaqus 計(jì)算任務(wù),使用4CPU ,該計(jì)算任務(wù)不使用NFS 服務(wù),將文件直接存儲(chǔ)在本地磁盤上。此種情況是最優(yōu)情況,但調(diào)用多個(gè)節(jié)點(diǎn)并行計(jì)算時(shí)必需使用NFS 服務(wù),即在集群構(gòu)架下最優(yōu)情況不適用于大型的并行計(jì)算。圖2 磁盤性能對(duì)計(jì)算速度的影響本對(duì)比測(cè)試中B 組TS-439較C 組性能計(jì)算速度下降10.4%;A 組TS-439較B 組TS-439性能下降20.6%。B 組TS-439與C 組的性能比較證明使用TS-439 NAS 帶來的性能影響可以

16、接受;A 、B 組TS-439性能比較證明TS-439 NAS 在高負(fù)荷下的性能表現(xiàn)可以接受。但是另一款NAS 產(chǎn)品帶來的性能下降是無法接受的:低負(fù)荷下造成計(jì)算3098860632200003000040000500006000070000QNAP TS-439 NAS 另一款NAS 只使用本地磁盤W A L L C L O C K T I M E (s A組B組C組速度下降31.3%,高負(fù)荷下造成計(jì)算速度下降63.6%!實(shí)際上QNAP TS-439 Pro Turbo NAS并不是一款高端產(chǎn)品, QNAP和BUFFALO的高端產(chǎn)品性能將更好,可以作為集群的存儲(chǔ)設(shè)備。1.4 網(wǎng)絡(luò)對(duì)計(jì)算速度的影

17、響通信性能對(duì)集群整體的性能具有決定性的影響,某些情況下集群網(wǎng)絡(luò)的性能是整個(gè)集群系統(tǒng)性能的瓶頸。采用何種網(wǎng)絡(luò)互連技術(shù)連接節(jié)點(diǎn)以及如何優(yōu)化網(wǎng)絡(luò)提高網(wǎng)絡(luò)性能是構(gòu)建集群平臺(tái)的重要工作內(nèi)容。目前,集群系統(tǒng)中常用的網(wǎng)絡(luò)有以太網(wǎng)絡(luò)(Gigabit Ethernet,簡(jiǎn)稱GigE、Myrinet網(wǎng)絡(luò)、Infiniband網(wǎng)絡(luò)。SIMULIA公司提供的資料3顯示:對(duì)應(yīng)于Abaqus軟件的應(yīng)用,各種網(wǎng)絡(luò)互連技術(shù)在互連32個(gè)以下處理器時(shí)性能差距不大。對(duì)于一個(gè)小型集群,使用Infiniband網(wǎng)絡(luò)替換千兆以太網(wǎng)絡(luò)帶來的性能提升不大。因此集群平臺(tái)采用千兆以太網(wǎng)絡(luò)傳輸節(jié)點(diǎn)間的通信是經(jīng)濟(jì)可用的。若考慮到保持以太網(wǎng)絡(luò)的兼容性

18、,則對(duì)于以太網(wǎng)絡(luò)的優(yōu)化目前主要有4種途徑:一是修改Linux內(nèi)核中的TCP/IP協(xié)議參數(shù)以及開啟巨型幀;二是鏈路聚合提高網(wǎng)絡(luò)帶寬;三是減少用戶空間與內(nèi)核空間的數(shù)據(jù)拷貝次數(shù);四是減少中斷響應(yīng)次數(shù)。由這4種優(yōu)化思路出發(fā)產(chǎn)生了用于以太網(wǎng)絡(luò)優(yōu)化的各種技術(shù),在Linux系統(tǒng)中它們分別稱為:1. TCP/IP協(xié)議棧優(yōu)化(TCP Tuning和巨型幀(Jumbo Frames;2. 雙網(wǎng)卡綁定技術(shù)(Bonding;3. 零拷貝(Zero Copy;4. 使用新的API函數(shù)(NEW API簡(jiǎn)稱NAPI;5. TCP/IP減負(fù)引擎(TOE。4表3總結(jié)了這5種方法加快網(wǎng)速的原理。表3 以太網(wǎng)絡(luò)優(yōu)化方法的原理方法原

19、理TCPtunningJumboFramesBonding ZeroCopyNAPI TOE減少事件中斷擴(kuò)大網(wǎng)絡(luò)帶寬擴(kuò)大帶寬利用率減少數(shù)據(jù)拷貝減少數(shù)據(jù)包對(duì)各種方法的優(yōu)化原理做比較后,確定選擇兩種方法對(duì)集群局域以太網(wǎng)絡(luò)做組合優(yōu)化:1. TCP/IP協(xié)議棧優(yōu)化和巨型幀;2.雙網(wǎng)卡綁定。制定方案的原因有二:1. 這兩種優(yōu)化方法組合使用,除不能實(shí)現(xiàn)減少數(shù)據(jù)拷貝過程外,其它方面都有所優(yōu)化;2. 該組合優(yōu)化方法較易實(shí)現(xiàn),優(yōu)化后的系統(tǒng)管理也較為方便。為了測(cè)試兩種優(yōu)化方法對(duì)集群平臺(tái)性能的影響,本文采用了一個(gè)垂直上下交叉隧道Abaqus有限元模型作為算例。本模型雙向水平地震波輸入,在計(jì)算中隧道單元出現(xiàn)了塑性變形

20、,反映了材料非線性的特性,計(jì)算算法選擇隱式算法,使用standard求解器計(jì)算,在動(dòng)力學(xué)問題中具有一定的代表性。測(cè)試了使用雙節(jié)點(diǎn)(16個(gè)處理器核心和三節(jié)點(diǎn)(24個(gè)處理器核心時(shí)的計(jì)算速度,共做6次測(cè)試并獲得相應(yīng)的DAT文件。各次測(cè)試條件見表4。表 4 集群平 臺(tái)性能測(cè)試 的條件 測(cè)試編號(hào) 1 2 3 4 5 6 TCP/IP 幀優(yōu)化情況 未優(yōu)化 未優(yōu)化 優(yōu)化 未優(yōu)化 未優(yōu)化 優(yōu)化 是否使用鏈路聚合 未使用 使用 使用 未使用 使用 使用 使用的計(jì)算 節(jié)點(diǎn)數(shù) 2 2 2 3 3 3 圖 3 是根據(jù)表 4 的數(shù)據(jù) 制作的 6 個(gè) 測(cè)試的計(jì)算 耗時(shí)散點(diǎn)圖，圖 3 中以測(cè)試 2 的耗時(shí)數(shù)據(jù) 為基準(zhǔn)對(duì) 6 個(gè)測(cè)試的 TOTAL CPU TIME 和 WALLCLOCK TIME 進(jìn)行歸一化，共獲得 12 個(gè)數(shù)據(jù)點(diǎn)，測(cè)試 N 的相對(duì)耗時(shí)等于 測(cè)試 N 的耗 時(shí)除以 測(cè)試 2 的耗時(shí)。 圖3 6 次測(cè)試的相對(duì)耗時(shí)散點(diǎn)圖 圖 3 顯示 6 次測(cè)試的相 對(duì) TOTAL CPU TIME 離散性比 較高，測(cè)試 1 的相對(duì) TOTAL CPU TIME 等于 3.34，是 最大值 ；測(cè)試 3 的等于 0.42，是最小值。兩者之間相差約 7 倍。相對(duì) WALLCLOCK TIME 離散性比較小，測(cè)試 1 的相對(duì) WALLCLOCK TIME 等于 1.74， 是最大值；