Burst Buffer技術(shù)為何在HPC如此盛行

1、 Burst Buffer技術(shù)為何在HPC如此盛行 Burst Buffer是什么技術(shù)，它跟HPC有什么關(guān)系？首先我們一起來了解一個(gè)美國超算中心NERSC(國家能源研究科學(xué)計(jì)算中心)，然后通過NERSC超算系統(tǒng)對(duì)Burst Buffer的應(yīng)用來說說Burst Buffer技術(shù)。 NERSC一直與Cray(克雷)合作，為Cori (Cori是NERSC最新的大型計(jì)算系統(tǒng)) 的用戶帶來Burst Buffer技術(shù)。NERSC Burst Buffer是采用Cray DataWarp技術(shù)，使用閃存或SSD（固態(tài)驅(qū)動(dòng)器）技術(shù)來顯著提高Cori的I/O性能。 NERSC致力于通過高性能計(jì)算和數(shù)據(jù)分析加速

2、美國能源部科學(xué)探索，并向科學(xué)辦公室提供高性能計(jì)算服務(wù)。NERSC的使命是實(shí)現(xiàn)規(guī)模的計(jì)算科學(xué)，需要大量計(jì)算和廣泛建模。包括光合作用建模，全球氣候建模，燃燒建模，磁性融合，天體物理學(xué)，計(jì)算生物學(xué)等等，這些場(chǎng)景都存在浪涌型IO高性能訴求。為什么需要Burst Buffer NERSC為了滿足用戶對(duì)更好的I/O性能的要求，已經(jīng)在兩個(gè)計(jì)算系統(tǒng)采用了Burst緩沖區(qū)技術(shù)。采用Burst Buffer，可以改進(jìn)兩個(gè)場(chǎng)景和組件的I/O性能。1.應(yīng)用程序可用的總帶寬。帶寬越高，優(yōu)化良好的應(yīng)用程序可以讀取/寫入大量數(shù)據(jù)的速度越快。2.文件系統(tǒng)的IOPS。許多應(yīng)用程序執(zhí)行大量的小型I/ O操作，在這種情況下IOPS

3、成為性能的限制因素。 另外，改進(jìn)后的I/O性能可以幫助許多科學(xué)提升效率，在計(jì)算業(yè)務(wù)上，如通過更快的checkpoint restart提高應(yīng)用程序可靠性；加快了小塊傳輸和分析的I/O性能；為核心外部應(yīng)用程序提供快速臨時(shí)空間；為需要持久快速存儲(chǔ)的大量文件輸入或耦合模擬分析作業(yè)創(chuàng)建暫存區(qū)域。Burst Buffer架構(gòu) 下圖說明了Burst Buffer的概念架構(gòu)。Burst Buffer在物理位置上是處于計(jì)算和存儲(chǔ)節(jié)點(diǎn)之間的一層Flash層，在Cray DataWarp中它駐留專門的XC40節(jié)點(diǎn)上，它是I/O計(jì)算節(jié)點(diǎn)系統(tǒng)（采用Aries互聯(lián)）和存儲(chǔ)Fabric的橋梁。SSD安裝在Burst Bu

4、ffer節(jié)點(diǎn)中，通過Scheduler和DataWarp軟件堆棧來支持HPC計(jì)算作業(yè)。 具有SSD的DataWarp PCIe連接I/O刀片插入到計(jì)算刀片的XC40中，并通過Aries HPC互連連接。DataWarp支持Lustre、GPFS和PanFS并行文件系統(tǒng)，給出FS提供一個(gè)全局的Flash緩存層，通過智能調(diào)度算法來從并行文件系統(tǒng)預(yù)取計(jì)算數(shù)據(jù)。 Cray DataWarp的閃存磁盤連接到CX40節(jié)點(diǎn)。每個(gè)Brust Buffer節(jié)點(diǎn)包含一個(gè)至強(qiáng)處理器64 GB DDR3內(nèi)存，以及兩個(gè)3.2 TB NAND閃存SSD模塊，連接在兩個(gè)PCIe gen3 x8接口上。 每個(gè)突發(fā)緩沖區(qū)節(jié)點(diǎn)通

5、過PCIe gen3 x16接口連接到Cray Aries網(wǎng)絡(luò)互連。 每個(gè)突發(fā)緩沖區(qū)節(jié)點(diǎn)提供大約6.4 TB的可用容量和大約5.7 GB /秒的順序讀寫帶寬的峰值。 DataWarp的軟件堆棧包括創(chuàng)建掛載點(diǎn)服務(wù)、LVM卷，XFS和DataWarp文件系統(tǒng)。DataWarp中的多個(gè)SSD設(shè)備通過LVM管理起來，然后在創(chuàng)建Brust Buffer時(shí)創(chuàng)建XFS組成Brust Buffer空間，DataWarp File System (DWFS)配合安裝在計(jì)算節(jié)點(diǎn)的Client來協(xié)調(diào)數(shù)據(jù)在Brust Buffer上換入換出，并且向計(jì)算節(jié)點(diǎn)提供統(tǒng)一命名空間來進(jìn)行數(shù)據(jù)訪問。 這種架構(gòu)提供了許多適合NER

6、SC的科學(xué)Workload的特性。在技術(shù)上主要體現(xiàn)在以下幾個(gè)方面。調(diào)度程序集成。對(duì)Burst Buffer資源的訪問與系統(tǒng)的調(diào)度程序集成。 調(diào)度程序提供了調(diào)配一組用戶或作業(yè)共享的BurstBuffer資源的功能。它還可以處理自動(dòng)數(shù)據(jù)遷移到BurstBuffer，或從BurstBuffer存儲(chǔ)遷移到后端存儲(chǔ)。緩存模式。BurstBuffer還可以提供緩存模式，其中閃存資源用作大型Lustre文件系統(tǒng)的緩存層。這種模式對(duì)用戶程序代碼是透明的，無需修改代碼便可提供高性能I / O。過濾分析。允許在BurstBuffer節(jié)點(diǎn)上處理和過濾數(shù)據(jù)。NERSC的Burst Buffer路標(biāo) Burst Buf

7、fer軟件堆棧預(yù)計(jì)將分四個(gè)階段交付，如下所示。Burst Buffer軟件的第一階段是在2015年秋季與Cori系統(tǒng)的第一階段一起交付的。在2015年8月完成了對(duì)Burst Buffer Early Access計(jì)劃的建議征集，可以在這里找到成功的應(yīng)用程序。 DataWarp軟件在第1階段提供了使用Burst Buffer的API。用戶通常通過批處理系統(tǒng)（即slurm）與此接口以定義突發(fā)緩沖區(qū)分配，例如大小和訪問模式（條帶化），并指定預(yù)留是否應(yīng)該是持久的。Burst緩沖區(qū)可用于所有Cori用戶，BurstBuffer在Cori系統(tǒng)上，可以提供大約1.7 TB/秒的峰值I/O性能，具有28M I

8、OP和大約1.8PB的存儲(chǔ)容量。Cray的HPC方案 Cray也是HPC領(lǐng)域的領(lǐng)頭羊，他和DDN、Xyrate和PanaSas等并駕齊驅(qū)。Cray的XC40和CS400超級(jí)計(jì)算機(jī)使用Haswell處理器和DataWarp BurstBuffer技術(shù)，采用并NVIDIA Tesla GPU加速器和英特爾至強(qiáng)融核協(xié)處理器，以帶來更強(qiáng)的圖形處理能力。 Cray XC系列計(jì)算服務(wù)器包含XC40計(jì)算、XC50 GPU節(jié)點(diǎn)和XC40-AC制冷系統(tǒng)，XC40基于Intel Aries ASIC系統(tǒng)連接XC40基本刀片上的計(jì)算和I / O節(jié)點(diǎn)，使用PCIe Gen3主機(jī)接口，所有處理器采用Aries網(wǎng)絡(luò)都彼此

9、相連。 XC40可以擴(kuò)展到超過一百萬個(gè)內(nèi)核。該架構(gòu)針對(duì)每個(gè)計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)兩個(gè)處理器引擎，每個(gè)刀片具有四個(gè)計(jì)算節(jié)點(diǎn)。刀片以8對(duì)(16個(gè)機(jī)箱)堆疊，每個(gè)機(jī)柜最多可以安裝三個(gè)機(jī)箱，每個(gè)機(jī)柜384個(gè)插座。 CS400集群超級(jí)計(jì)算機(jī)使用行業(yè)標(biāo)準(zhǔn)刀片式或機(jī)架式服務(wù)器，并分別在CS400-AC和CS400-LC系統(tǒng)上提供空氣或液體冷卻。它們可擴(kuò)展到11,000個(gè)計(jì)算節(jié)點(diǎn)和40個(gè)峰值Peta Float/s。 Cray CS400集群提供兩個(gè)關(guān)鍵的能力，即可定制的HPC集群軟件堆棧和Cray的高級(jí)集群引擎(ACE)系統(tǒng)管理軟件。 HPC群集軟件堆棧包括經(jīng)過驗(yàn)證和測(cè)試的軟件工具、操作系統(tǒng)、中間件應(yīng)用程序和HPC編

10、程工具。這些工具與大多數(shù)開源和商業(yè)編譯器，調(diào)試器，調(diào)度程序和庫兼容。Cray編程環(huán)境，Cray科學(xué)和數(shù)學(xué)庫以及Cray性能測(cè)量和分析工具也可作為軟件堆棧的一部分。 Cray Sonexion 3000 scale-out Lustre存儲(chǔ)系統(tǒng)提供了Scrach存儲(chǔ)空間，用來存儲(chǔ)大量初始數(shù)據(jù)和計(jì)算結(jié)果數(shù)據(jù)，DataWarp Brust Buffer是一個(gè)應(yīng)用程序IO加速器，使用PCIe閃存直接連接到XC40計(jì)算節(jié)點(diǎn)。它從存儲(chǔ)中獲取數(shù)據(jù)，滿足最糟糕的數(shù)據(jù)I/O浪涌臨時(shí)高速緩存需求。其他的Burst Buffer產(chǎn)品 除了Cray外，DataDirect NetWorks和EMC都在研究Burst

11、Buffer技術(shù)。DDN的IME Burst Buffer技術(shù)請(qǐng)參考文章：全面解析DDN存儲(chǔ)和HPC解決方案。關(guān)于EMC，我們知道Isilon一直活躍在HPC和大數(shù)據(jù)處理領(lǐng)域，推出Isilon All-Flash節(jié)點(diǎn)作為其他節(jié)點(diǎn)的高速緩存，針對(duì)一般的HPC計(jì)算已經(jīng)游刃有余。 EMC的Burst Buffer方案采用專用硬件設(shè)備，叫做Active Burst Buffer Appliance(aBBa)，從EMC的測(cè)試來看，采用Burst Buffer后，不但均衡分擔(dān)了系統(tǒng)性能，而且在整體計(jì)算性能上可以提升30%。aBBa支持的并行文件系統(tǒng)比較廣泛，包括了Lustre, Isilon, PanF

12、S, HDFS和VNX等。 EMC Burst Buffer架構(gòu)(Fast Forward IO)和Cray DataWarp以及DDN的IME在架構(gòu)上類似，服務(wù)器計(jì)算節(jié)點(diǎn)安裝IO Forwarding Client和aBBa交互，智能的根據(jù)算法加速或預(yù)取數(shù)據(jù)，并存儲(chǔ)臨時(shí)計(jì)算數(shù)據(jù)；在aBBa上IO Dispatcher處理數(shù)據(jù)分布，并且把a(bǔ)BBa上的NVMe磁盤進(jìn)行管理，由IO Forwarding Server統(tǒng)一呈現(xiàn)給IO Forwarding Client。 在aBBa上需要安裝Lustre客戶端用來讀取并行文件系統(tǒng)上的數(shù)據(jù)，并根據(jù)數(shù)據(jù)模型和預(yù)取算法把數(shù)據(jù)加速到aBBa，或淘汰數(shù)據(jù)到后端并行文件系統(tǒng)。 針對(duì)浪涌型計(jì)算業(yè)務(wù)，Burst Buffe