如何選擇AI存儲：MLPerf+Storage+benchmark工具解讀-焱融科技+張文濤

MLPerfStorage評測工具解讀焱融科技/CTO&聯(lián)合創(chuàng)始人MLPerfStorageBenchmarkMLPerfStorage測試結(jié)果解讀AI業(yè)務(wù)特點(diǎn)和對存儲的挑戰(zhàn)..MLPerfStorageBenchmarkMLCommons是什么組織？MLPerf是由圖靈獎得主大衛(wèi)·帕特森（DavidPatterson）聯(lián)合谷歌、斯坦福大學(xué)、哈佛大學(xué)等頂尖為全球AI領(lǐng)域的“奧運(yùn)會”。MLCommons的基礎(chǔ)源于2018年的MLPerf基準(zhǔn)2.通過公平和有實(shí)際意義的衡量標(biāo)準(zhǔn)加速AI進(jìn)步MLPerfStorage的核心目標(biāo)和關(guān)鍵成果MLPerfStorage工作組的主要目標(biāo)是創(chuàng)建一個(gè)測試基準(zhǔn)，用來評估特定的硬件。存儲測試基準(zhǔn)路標(biāo)MLPerfStorage是第一個(gè)測量機(jī)器學(xué)習(xí)（ML）工作負(fù)載存儲性能的基準(zhǔn)測試套件MLPerfStorageBenchmark工作原理MLPerfStorage通過對多種AI工作負(fù)載在各種加速器上的I/O型進(jìn)行混合匹配。MLPerfStorage可以在PyTorch和Tensorflow上評測MLPerf訓(xùn)練和HPC工作負(fù)載的存儲系統(tǒng)性能，并且無需使用昂捕獲了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的完整真實(shí)行為。MLPerfStorageBenchmarkv1.0種類型的加速器?！皌hinktime”MLPerfStorageBenchmarkv1.0模型TaskDatasetReferenceNetworkSamplesizeFrameworkReferenceQualitysegmentation(medical)Synthetic-fromKiTS193D-Unet146MBPyTorchmaximizeMB/s,and#ofacceleratorswith>90%acceleratorutilizationclassificationSynthetic–fromImageNetResNet50150KBTensorflowmaximizeMB/s,and#ofacceleratorswith>90%acceleratorutilizationScientific(cosmology)Synthetic–fromCosmoflowN-bodysimulationParameterprediction2MBTensorflowmaximizeMB/s,and#ofacceleratorswith>70%acceleratorutilization1.能夠模擬NVIDIAA100或者H1003.每個(gè)樣本的計(jì)算時(shí)間相差兩個(gè)數(shù)量級MLPerfStorageBenchmark概念加速器數(shù)量（ACC）一個(gè)ACC代表一個(gè)加速器數(shù)量（ACC）一個(gè)ACC代表一個(gè)GPU在滿足AU的前期下，ACC數(shù)量越ACC數(shù)量成正比MLPerfStorage通過DLIO生成每個(gè)MLPerfStorage基準(zhǔn)測試都需要至少5倍內(nèi)存大小的數(shù)據(jù)集AU表示加速器處于活動狀態(tài)時(shí)間AU=(total_compute_time/total_benchmark_runing_time)*100基準(zhǔn)測試運(yùn)行5個(gè)epoch，AU最終要取5個(gè)epoch的平均值，并且5個(gè)epoch的結(jié)果誤差不超過5%MLPerfStorageBenchmarkv1.0結(jié)果分類closeddivision在同一類測試環(huán)境中進(jìn)行測試，不同存儲產(chǎn)品是可以進(jìn)行橫向比較opendivision鼓勵創(chuàng)新，可以修改benchmark工具，以便于獲取更好的性能和測試效果avaliable現(xiàn)實(shí)生產(chǎn)環(huán)境中可用的產(chǎn)品，已經(jīng)發(fā)布的成熟產(chǎn)品preview實(shí)驗(yàn)性的產(chǎn)品，或者開發(fā)中的原型，未發(fā)布MLPerfStorageBenchmarkv2.0v2.0subgroupsv2.0roadmap12345MDTESTVDBENCHIO500帶寬、IOPS和延遲的測試工具，模擬各類并發(fā)文件系統(tǒng)元數(shù)據(jù)性能測試工具，模擬各類元數(shù)據(jù)操作帶寬和IOPS的測試工具，在高性能領(lǐng)域應(yīng)用廣泛模擬業(yè)務(wù)場景的測試工具IOR+MDTEST，模擬超算的復(fù)雜業(yè)務(wù)場景，最全面的文件系統(tǒng)測試集合?。?！MLPerfStorage測試結(jié)果解讀MLPerfStorage測試結(jié)果分析18000016000014000012000010000080000MB/sMB/s40000200000MBMB/sACC(Accelerator)3D-Unet700006000050000400003000020000100000 MBMB/sACC(Accelerator)CosmoFlow12000010000080000600004000020000096270540ACC(Accelerator)ResNet503D-Unet每GPU需要2.9GBps的讀帶寬千卡集群需要2.9TBps讀帶寬cosmoFlow每GPU需要600MBps的讀帶寬千卡集群需要600GBps讀帶寬ResNet50每GPU需要200MBps的讀帶寬千卡集群需要200GBps讀帶寬不同GPU類型對存儲的性能要求3D-Unet模型訓(xùn)練性能數(shù)據(jù)600005000030000200001000001GPU10GPU20GPU 5606724960270047026127807026379361012802914V100A100H100坐標(biāo)軸標(biāo)題如果是B200，存儲帶寬又需要多少？并且GPU的演進(jìn)還在繼續(xù)...模型驗(yàn)證Pre-Process?CheckpointNVIDIA存儲性能推薦/dgx-superpod/reference-architecture-scalable-infrastructure-h100/latest/storage-architecture.html容量文件數(shù)量6.7PB65億28PB57億7.6PB370億1.1PB36億500TB18億1.1PB1.4億AI未來對存儲性能要求的AI未來對存儲性能要求的定期的checkpoint產(chǎn)生瞬硬件升級彈性擴(kuò)展軟件升級硬件升級彈性擴(kuò)展軟件升級2倍以上帶寬性能提升F8000X全閃存儲2倍以上帶寬性能提升F8000X全閃存儲帶寬成本下降60%帶寬成本下降60%/400GbEEthernetRoCE支持E3.S/U.2PCIe5.0TLC和QLCNVMeSSD第4代AMD7543CPUNVIDIAHDR200InfiniBand支持U.2PC/200GbEEthernetRoCEQLCNVMeSSDNFSClientNFSNFSClientNFSClientNFSClientNFSClient !Disks傳統(tǒng)NAS升級為并行文件系統(tǒng)TCP/IP升級為RDMANFS協(xié)議升級為POSIX私有協(xié)議posixclientposixclientposixclient-posixclientposixclientposixclient--------->posixclientPFSServerPFSPFSServerPFSServerPFSServerScaleout-Scaleout--------->PFSServer1000500100050024250121251000存儲集群讀帶寬（存儲集群讀帶寬（GBps）800600400200066331個(gè)SU2個(gè)SU4個(gè)SU8個(gè)SU計(jì)算集群規(guī)模605040存儲集群規(guī)模存儲集群規(guī)模30200?元數(shù)據(jù)處理能力也可以隨MDS集群規(guī)模擴(kuò)大而提升// file2↓ file file2↓ file2 file2口MDS1口MDS2 ↓ file file2口MDS4Mast