AWS FSx for Lustre存儲(chǔ)系統(tǒng)介紹

1、AWS FSx for Lustre存儲(chǔ)系統(tǒng)介紹為高性能與機(jī)器學(xué)習(xí)負(fù)載設(shè)計(jì)的高速云存儲(chǔ)Agenda高性能負(fù)載介紹Amazon FSx for Lustre 介紹 FSx for Lustre 深入探討 FSx for Lustre TCO 分析什么是高性能負(fù)載需要大量計(jì)算能力快速對(duì)數(shù)據(jù)進(jìn)行處理的負(fù)載典型場(chǎng)景:海量數(shù)據(jù)集水平擴(kuò)容的計(jì)算容量(超過(guò)百萬(wàn)核)提供高速數(shù)據(jù)訪問(wèn)能力快速存儲(chǔ)讀寫(xiě)能力 高速網(wǎng)絡(luò)如何在AWS上A行高性能負(fù)載？選項(xiàng) 1:數(shù)據(jù)復(fù)制至EC2實(shí)例存儲(chǔ)或EBS數(shù)據(jù)存儲(chǔ)在S3產(chǎn)生海量數(shù)據(jù)選項(xiàng) 2:數(shù)據(jù)復(fù)制至一個(gè)基于EC2自建的高 性能共享文件系統(tǒng)當(dāng)工作負(fù)載完成時(shí)為什么兩種選項(xiàng)都使用了文件系

2、統(tǒng)？延時(shí)訪問(wèn)成本 文件接口配置和維護(hù)復(fù)雜的 軟件大量的性能參數(shù)的 優(yōu)化確保對(duì)外持續(xù)提供 服務(wù)需要非常專業(yè)的 工程師 和大量的時(shí)間 精力運(yùn)行一個(gè)并行文件系統(tǒng)對(duì)大部分的團(tuán)隊(duì)和項(xiàng)目來(lái)說(shuō) 是非常困難的典型的部署在數(shù)據(jù)中心的高性能文件系統(tǒng)PB級(jí)別(以千計(jì)的硬件組件)需要一個(gè)運(yùn)維團(tuán)隊(duì)來(lái)保證持續(xù)對(duì),提供服務(wù)數(shù)據(jù)流入流出文件系統(tǒng)配置數(shù)據(jù)移動(dòng)/具, 以便將數(shù)據(jù)從S3導(dǎo)入文件系統(tǒng)運(yùn)行在多個(gè)節(jié)點(diǎn), 或多線程以保證性能等待數(shù)據(jù)導(dǎo)入完成后才能開(kāi)始進(jìn)行計(jì)算 記錄需要回寫(xiě)至S3的文件Amazon FSxfor Lustre介紹什么是Lustre?15+開(kāi)源高性能文件系統(tǒng)年成熟系統(tǒng)60%Top 100 超級(jí)計(jì)算機(jī)EDA金融建

3、模地震數(shù)據(jù)處理廣泛應(yīng)用于計(jì)算密集型負(fù)載媒體渲染與轉(zhuǎn)碼地理空間分析Amazon Sx for Lustre對(duì)存放在S3或數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行加速處理原生 POSIX文件系統(tǒng)接口并發(fā)訪問(wèn)與S3無(wú)縫集成高性能且可擴(kuò)展為海量數(shù)據(jù)處理進(jìn)行成本優(yōu)化安全與合規(guī)高性能且可擴(kuò)展高性能且可擴(kuò)展并行文件系統(tǒng)100+ GiB/s 吞吐量 超過(guò)百萬(wàn) IOPS一致的次毫秒級(jí)別延時(shí)支持從數(shù)百至數(shù)干節(jié)點(diǎn)進(jìn) 行并發(fā)訪問(wèn)基于SSD文件系統(tǒng)吞吐量與IOPS隨存儲(chǔ)容量進(jìn)行線性擴(kuò)展每TB存儲(chǔ)空間提供200MB/s基線吞 吐量, 并支持最高12倍突增吞吐量文件系統(tǒng)可擴(kuò)展至數(shù)百GB/s的吞 吐量和過(guò)百萬(wàn)IOPS合單基線吞吐單突增吞吐單1TB

4、200 MB/sUp to 400 MB/s10TB2 GB/sUp to 8 GB/s50TB10 GB/sUp to 20 GB/s100TB20 GB/sUp to 40 GB/s與Amazon S3進(jìn)行無(wú)縫集成處理結(jié)果返回至S3中進(jìn)行持久化存儲(chǔ)當(dāng)計(jì)算負(fù)載完成后, 可直接刪除文件系統(tǒng)連接存儲(chǔ)在S3上的數(shù)據(jù)集與FSx for Lustre文件系統(tǒng)存儲(chǔ)在S3上的數(shù)據(jù)被加載至FSx進(jìn)行處理 Amazon S3 延遲加載示例/file1.txt/file2.txt/folder1/file3.txt/folder2/file4.txts3:/bucket/file1.txt s3:/bucket

5、/file2.txt s3:/bucket/folder1/file3.txt s3:/bucket/folder2/file4.txtAmazon S3集成實(shí)現(xiàn)快速數(shù)據(jù)移動(dòng)Cloud Bursting : 利用云的彈性實(shí)現(xiàn)資源快:擴(kuò)展數(shù)據(jù)中心AWSAWS Direct ConnectAWS VPN簡(jiǎn)單且全托管簡(jiǎn)單且全托管文件系統(tǒng)服務(wù)器 及存儲(chǔ)卷的部署 與配置配置并維護(hù)Lustre 軟件Lustre管理數(shù)據(jù)從S3導(dǎo) 入導(dǎo)出與現(xiàn)有應(yīng)用程序菲容POSIX現(xiàn)有應(yīng)用無(wú)須更改Read after write/close 一致性支持文件鎖與Linux使用本地 文件系統(tǒng)方式一致安全與合規(guī)安全與合規(guī)PCI-D

6、SS/ISO/HIPAA數(shù)據(jù)加密使用VPC安全組進(jìn)行網(wǎng)絡(luò)流量 訪問(wèn)控制使用AWS CloudTrail監(jiān)控與記錄API 調(diào)用使用AWS IAM進(jìn)行AdminAPI訪問(wèn)控制高性價(jià)比超高速文件系統(tǒng),提高計(jì)算資 源利用率數(shù)分鐘內(nèi)創(chuàng)建文件 系統(tǒng)只為使用的資源付費(fèi)長(zhǎng)期數(shù)據(jù)存儲(chǔ)于S3 或本地?cái)?shù)據(jù)中心高性價(jià)比FSx for Lustre 價(jià)格(SSD):$0.14 per GB-month ($0.20 per TB-hour)為高性能低成本處理海量數(shù)據(jù)集而優(yōu)化TCO 示 例總數(shù)據(jù)大小: 250 TB每天運(yùn)行作業(yè)對(duì)前一天的數(shù)據(jù)進(jìn) 行處理每個(gè)作業(yè):處理25TB數(shù)據(jù)需要5GB/s吞吐量 每天運(yùn)行10小時(shí)TCO

7、示 例Amazon FSx for Lustre:($0.20/TB-hr) * (25 TB/job) * (10 hrs/job) * (30 jobs/month) =$1,500 per monthS3存儲(chǔ)費(fèi)用(250 TB-month):Amazon FSx for Lustre活躍數(shù)據(jù)處理費(fèi)用:Total:$5,700 per month$1,500 per month$7,200 per month ($0.028 per GB-month)適用場(chǎng)景機(jī)器學(xué)習(xí)高性能計(jì)算媒體渲染與轉(zhuǎn)碼大數(shù)據(jù)分析EDA石油與天然氣 地震數(shù)據(jù)處理自動(dòng)駕駛訓(xùn)練金融建模示例： Sx for Lustre在深度學(xué)習(xí)的應(yīng)用ResNet-50, 50層深度神經(jīng)網(wǎng)絡(luò)使用超過(guò)一百萬(wàn)張圖片的ImageNet數(shù)據(jù)集進(jìn)S訓(xùn)練訓(xùn)練使用了P3.16xlarge節(jié)點(diǎn), 超過(guò)160個(gè)GPU,訪問(wèn)存儲(chǔ)在FSx for Lustre上的ImageNet圖片在基準(zhǔn)測(cè)試中, 160個(gè)GPU的利用F達(dá)到了90%至100%, 并以L100,000圖片/s的速度:FSx for Lustre進(jìn)S 訪問(wèn)Amazon Sx for Windows File Serv