高性能計算系統(tǒng)性能評價白皮書-中國計算機學會

公共大數(shù)據(jù)國家重點實驗室(貴州大學)上海交通大學清華大學北京大學中國科學技術大學中科院科白皮書以高性能計算系統(tǒng)綜合評價指標作為評估系統(tǒng)性能的新方法，牽引建設存算平衡、以數(shù)據(jù)為中心的系統(tǒng)，以達到三個主要目標：以實際需求牽引系統(tǒng)設計，以行業(yè)經驗為指導系統(tǒng)選型，以提高系統(tǒng)實際使用能效為首要目標。白皮書將以綜合評價指標為載體，介紹高性能計算系統(tǒng)設計方法，提升高性能計算系統(tǒng)設計選型的平衡性。白皮書從算力(包括科學計算與AI計算性能)、存力(存儲性能)、運力(網(wǎng)絡性能)和效率(系統(tǒng)能效與平衡性)六個維度選取指標，給出了綜合性能的評測方法，和高性能計算系統(tǒng)的典型應用場景、典型系統(tǒng)配置，最后提出了建立評測社區(qū)推廣評測體系的愿景，展望了標準演進的規(guī)劃。白皮書內容將隨著技術演化與社區(qū)成員反饋而逐步迭代，這是系統(tǒng)性能評價指標發(fā)布的首個版本。1高性能計算的發(fā)展趨勢021高性能計算的發(fā)展趨勢02CONTENTS2集群綜合性能評價方法的演進051.1.存儲系統(tǒng)的重要性愈發(fā)凸顯031.2.系統(tǒng)綜合性能更突出1.1.存儲系統(tǒng)的重要性愈發(fā)凸顯031.2.系統(tǒng)綜合性能更突出042.2.以性能評價牽引建設存算比合理的計算系統(tǒng)052.3.以性能評價牽引使用多協(xié)議互通的存儲系統(tǒng)0634.1.六個維度度量高性能計算系統(tǒng)124.1.1.科學計算性能維度4.1.六個維度度量高性能計算系統(tǒng)124.1.1.科學計算性能維度123.2.性能評價的標準規(guī)范104.1.2.AI計算性能維度124.1.3.存儲性能維度124.1.4.網(wǎng)絡性能維度134.1.5.系統(tǒng)能效維度134.1.6.系統(tǒng)平衡性維度134.2.綜合評價計算方法164.3.指標權重與平衡性范圍的設計初稿165性能評價方法的應用195.1.典型算力下的集群設計示例195.1.1超大型集群設計示例205.1.2大型集群設計示例215.1.3中型集群設計示例225.2.典型場景下的集群特性分析235.2.1.“IO密集型”超算系統(tǒng)：以面向基因測序的集群為例235.2.2.“IO密集+計算密集型”超算系統(tǒng)：以面向氣象預報的集群為例245.2.3.“AI密集型”超算系統(tǒng)：以面向自動駕駛的集群為例256高性能計算系統(tǒng)性能評價規(guī)范的展望2711高性能計算的發(fā)展趨勢黨的十九屆四中全會首次將數(shù)據(jù)作為生產要素參與分配，數(shù)據(jù)的作用受到國家高度重視，2022年1月，國務院《“十四五”數(shù)字經濟發(fā)展規(guī)劃》中要求“以數(shù)據(jù)為關鍵要素，加強數(shù)字基礎設施建設”，數(shù)據(jù)資源匯聚、共享、流通、應用的需求快速增加，對存儲、計算、網(wǎng)絡、安全等的要求也越來越高，以數(shù)據(jù)為中心的新型數(shù)字基礎設施將有力支撐經濟社會數(shù)字化發(fā)展。2021年5月，國家發(fā)展改革委會同中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局聯(lián)合發(fā)布《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》，提出構建數(shù)據(jù)中心、云計算、大數(shù)據(jù)一體化的新型算力網(wǎng)絡體系，布局建設全國一體化算力網(wǎng)絡國家樞紐節(jié)點，以滿足數(shù)據(jù)資源存儲、計算和應用需求的大幅提升。在需求和政策雙重牽引下，全國各地區(qū)大力推進數(shù)字基礎設施建設的發(fā)展，包括計算、存儲和網(wǎng)絡在內的基礎設施和技術均被高度重視，2022年7月，工業(yè)和信息化部主辦的中國算力大會上發(fā)布了中國綜合算力指數(shù)，從算力、存力、運力、環(huán)境四個維度綜合評價新型基礎設施和新型數(shù)據(jù)中心的發(fā)展水平。高性能計算是重要的數(shù)字基礎設施、國之重器，是高算力、高存力、高運力的代表。2020年以來，十四五信息化規(guī)劃和新基建驅動我國高性能計算建設進入高速增長期，多地地方政府和企事業(yè)單位都在積極建設高性能計算中心和部署新一代高性能計算系統(tǒng)，將其作為推動經濟社會快速發(fā)展的關鍵措施。隨著數(shù)據(jù)價值的不斷提升以及大數(shù)據(jù)、人工智能等新興數(shù)字產業(yè)的興起，高性能計算正在由“大計算”的HPC加速邁向“大計算”+“大數(shù)據(jù)”的HPDA(高性能數(shù)據(jù)分析)，并呈現(xiàn)5大趨勢特點。多元應用驅動多元算力。CPU處理器和GPU、FPGA、xPU等專用處理器相結合構建高性能計算的異構算AI計算發(fā)展迅猛。AI計算成為高性能計算算力發(fā)展最為迅猛的類型之一，且逐步呈現(xiàn)計算芯片DSA化、計算網(wǎng)絡多平面化等特征。成為與傳統(tǒng)高性能計算越來越有區(qū)分的領域，這種變化與特征在大模型時代表現(xiàn)的更異構多態(tài)復合歸一，資源集約推動架構融合化。一方面，根據(jù)應用的需求，構建不同性能和功能的計算和存儲環(huán)境，通過靈活組織異構計算體系結構，實現(xiàn)計算、存儲資源比例的靈活調整和性能功耗的平衡。另一方面，圍繞應用負載特征開展體系結構軟硬件協(xié)同設計，提升資源的使用效率與性能。高速互聯(lián)，更寬更快推動全光化。當前高性能計算互聯(lián)網(wǎng)絡主要有Infiniband、Slingshot和RoCE等，隨著技術積累和產業(yè)需求升溫，光子集成技術已從功能器件研究向規(guī)?；尚酒葸M，光交換技術趨于成熟，全光交換成為發(fā)展趨勢。按需彈性極簡運維，加速應用容器化。容器可以為高性能計算工作負載提供動力，并為大規(guī)模計算工作負載啟用若干功能框架，能夠提前封裝高性能計算運行環(huán)境，易獲取、易操作、易利用，在科研人員中普及化使用高性能計算。以數(shù)據(jù)為中心，數(shù)據(jù)密集型超算快速發(fā)展。進入大數(shù)據(jù)時代后，數(shù)據(jù)的規(guī)模不斷增長。隨著HPDA的發(fā)展，高性能計算系統(tǒng)的業(yè)務負載需考慮HPC、大數(shù)據(jù)和AI的混合疊加，對于數(shù)據(jù)的存儲和處理能力提出了更高要求。高性能計算系統(tǒng)需要從數(shù)據(jù)密集型角度進行設計，支持應用驅動的科學計算工作流，推動負載從計算科學發(fā)現(xiàn)向數(shù)據(jù)科學發(fā)現(xiàn)轉變?？偨Y以上趨勢，不難看出，當前計算性能已不再是評價高性能計算集群的唯一標準，集群的綜合性能日益受到重視，尤其是與數(shù)據(jù)息息相關的存儲系統(tǒng)。021.1.存儲系統(tǒng)的重要性愈發(fā)凸顯傳統(tǒng)的高性能計算行業(yè)以算力作為核心生產力，如今，業(yè)界普遍意識到，當數(shù)據(jù)存力不足或者效率低下時，數(shù)據(jù)就無法高效流動、按需使用，也就無法充分挖掘其價值，小則影響算力作用的充分發(fā)揮，大則關乎整個高性能計算產業(yè)的發(fā)展。存儲性能是繼計算性能之后，各行各業(yè)數(shù)字化能力建設的一種進階，在數(shù)字經濟發(fā)展中至關重要。存儲與計算性能高度融合，方能真正形成新的核心生產力，能夠在各種業(yè)務場景中讓效率指數(shù)級增加，讓生產力獲得前所未有的解放。平衡存算比是當前超算集群融合存儲與計算性能的主要方法之一。目前，芯片不斷朝著高性能、低成本、高集成的方向發(fā)展，但隨著單芯片集成的晶體管數(shù)量增多，高耗能等問題隨之出現(xiàn)，導致芯片性能難以持續(xù)提升，無法大規(guī)模提升算力。多芯片堆疊封裝為芯片突破性能瓶頸提供了可能，平衡存算比可有效縮短數(shù)據(jù)搬運路徑，降低搬運功耗，實現(xiàn)芯片級算力與IO的平衡。從設備內視角來看，CPU、總線速度、主內存帶寬及容量的發(fā)展速度不一，尤其是在處理海量數(shù)據(jù)過程中，內存與存儲的空間和帶寬成為制約性能增長的主要瓶頸，如果存儲設備能平衡CPU和IO性能，將在很大程度上釋放算力潛力。此外，隨著數(shù)據(jù)量的增加，數(shù)據(jù)處理和存儲的效率也需要及時跟進。在多樣化的HPC場景中，日均產生的數(shù)據(jù)量可達PB級，需要超大的容量方能完成歸檔。除此之外，在海量數(shù)據(jù)處理過程中，數(shù)據(jù)可能需要經過多種格式的轉換，比如自動駕駛和石油勘探這兩個高性能計算應用較為普遍的領域，只有將NFS格式的數(shù)據(jù)轉換成HDFS格式后，系統(tǒng)才能進行有效處理。海量的數(shù)據(jù)轉換需要耗費大量的時間，其中還會損壞部分數(shù)據(jù)，而且產生的數(shù)據(jù)冗余也占用了寶貴的存儲空間。因此，存儲設備實現(xiàn)多協(xié)議互訪可有效提升數(shù)據(jù)結構多樣化的處理效率。03系統(tǒng)綜合性能更突出慮的重要因素，綠色節(jié)能也成為衡量高性能計算平臺綜合性能的重要尺度，TOP500和Green500排名榜單均加E不超過20MW。誠然，硬件工藝的更新?lián)Q代對能040522集群綜合性能評價方法的演進設計高效工作的高性能計算集群系統(tǒng)，需要在目標場景指引下，平衡處理器、網(wǎng)絡和存儲等組件的選型，合理搭配。高性能計算集群的綜合性能評測方法能夠發(fā)揮“標尺”作用，對衡量設計的有效性產生著重。2.1.性能評價方法的演進趨勢現(xiàn)有的性能評價規(guī)范專注細分領域，存在重計算、輕存儲、評測指標分散、缺少應用場景和缺少綜合的性能評價規(guī)范等缺點。這些評測規(guī)范通常過分強調被測系統(tǒng)某一個方面的能力，容易造成偏科。例如，在設計系統(tǒng)時若以浮點計算能力為唯一考量目標，以此為指導設計出的高性能計算系統(tǒng)，難以全面滿足高算力、高存力、高運力、高能效的新型基礎設施要求。此外，現(xiàn)有評價方法對新場景的關注還不夠。隨著NVMe全閃存儲介質、基于糾刪碼的存儲冗余機制、多協(xié)議互通存儲系統(tǒng)、新一代異構加速處理器的面市，誕生了諸如BurstBuffer閃存緩沖文件系統(tǒng)、超高密度存儲系統(tǒng)、多功能一體化存儲系統(tǒng)、面向超大模型訓練的人工智能專用系統(tǒng)等新的集群應用場景。如何為這些場景分類，如何評價設計系統(tǒng)與這些場景的適用程度，是新的性能評價方法需要解決的問題。06NFSCIFSMPIPOSIXSNFSCIFSMPIPOSIXS3容易被忽視的問題。論文《Ananalysisofsystembalanceandarchitecturaltrendsbasedontop500supercomputers》總結今年Top500超算集bHDFHDFSIndexLayerPersistenceLayer評測領域基礎計算性能圖計算性能評測領域基礎計算性能圖計算性能33高性能計算性能評價現(xiàn)狀3.1.性能評價基準測試程序當前，業(yè)內研究人員發(fā)布了數(shù)十個具有不同側重面的高性能計算集群性能基準測試程序，按照評價的領域，可以分為基礎計算性能、圖計算性能、AI計算性能、存儲網(wǎng)絡性能、設備能效等等。各個主要領域中相對知名的基準測試程序如下表所示：知名基準測試程知名基準測試程序TOPTOP500、HPCG、PARSEC、SPECCPU、SPECHPC、SPECACCELGraphGraph50007評測領域評測領域AI計算性能存儲與網(wǎng)絡性能設備能效知名基準測試程知名基準測試程序HPCAI500、MLPerf、AIPerf、AISBenchIO500、OSUMicrobenchmarksHPCChallengeGreen500其中，被廣泛使用的包括Linpack(求解線性方程組性能)、HPCG(求解共軛梯度性能)、IO500(存儲性能)、Graph500(圖計算性能)、AI500(AI計算性能)等，但是均專注于各個細分的評測領域，缺少對集群的綜合性能評測，且多數(shù)沒有形成系統(tǒng)性的評價規(guī)范。始于1993年的TOP500榜單是目前最為熟知的高性能計算性能評價規(guī)范，由國際組織“TOP500”編制，每半年發(fā)布一次，TOP500排名基于Linpack基準測試衡量線性方程計算的速度和效率，最新版HPL2.0規(guī)范從2008年一直用到現(xiàn)在，不過隨著越來越多的應用程序采用微分方程等復雜計算方式，Linpack性能與實際計算效率間的差距將越來越大。因此田納西大學教授JackDongarra提出了HPCG (高度共軛梯度基準測試)標準，與Linpack關注線性方程的計算性能不同，HPCG使用更復雜的微分方程計算方式。Linpack更考驗超算的處理器理論性能，而HPCG更看重實際性能，對內存系統(tǒng)、網(wǎng)絡延遲要求也更高。除了TOP500以外，多個評測榜單試圖從不同方向對超算集群的性能展開評價：面向圖計算性能的Graph500標準于2010年發(fā)布，采用GTEPS基準測試評價，更加適用于在數(shù)據(jù)密集型應用場景中的評測；BenchCouncil的AI500測試標準，基于增量迭代的方法學和智能科學計算應用場景，目前包含3個典型科學數(shù)據(jù)集，14個負載的不同軟件棧實現(xiàn)；IO500是衡量高性能計算存儲性能的常用評價標準，于2017年11月發(fā)布，該標準涵蓋帶寬和元數(shù)據(jù)兩項基準測試。同時，業(yè)界還存在多個商用或非商用的評測基準套件，例如側重計算性能的SPEC系列和PERSEC、側重AI應用性能的MLPerf、側重存儲與網(wǎng)絡性能的OSUMicrobenchmarks和HPCChallenge等。以下是SPECHPC與HPCChallenge兩個被廣泛應用的基準測試套件的測試內容：SPECHPC包含9個測試，涵蓋了宇宙學、天氣學、高能物理學等多個方向的科學計算問題，側重于科學計算性能的測試。SPECHPC的評分規(guī)則相對簡單，使用了基準集群的運行時間與被測集群的運行時間的比值作為集群的評分。08評測領域科學計算性能基準測評測領域科學計算性能基準測試HPL：測量求解線性方程組的浮點執(zhí)行率DGEMM：測量雙精度實矩陣-矩陣乘法的浮點執(zhí)行率FFT：測量雙精度復數(shù)一維離散傅里葉變換(DFT)的浮點執(zhí)行率PTRANS(并行矩陣轉置)：來自多處理器內存的大型數(shù)據(jù)數(shù)組的傳輸速率，測試網(wǎng)絡總通信容量RandomAccess：測量內存的整數(shù)隨機更新率STREAM：測量可持續(xù)內存帶寬和簡單矢量內核的相應計算速率通信延遲：測量將8字節(jié)消息從一個節(jié)點發(fā)送到另一個節(jié)點所需的時間通信帶寬：測量傳輸大小為2,000,000字節(jié)消息所需的時間基準測基準測試LBMD2Q37：計算流體動力學SOMAOffersMonte-CarloAcceleration：物理/聚合物系統(tǒng)Tealeaf：物理學/高能物理學Cloverleaf：物理學/高能物理學Minisweep：核工程-輻射傳輸POT3D：太陽物理學SPH-EXA：天體物理學和宇宙學HPGMG-FV：宇宙學、天體物理學、燃燒miniWeather：天氣HPCChallenge包含了8個測試，分別屬于科學計算性能、存儲性能與網(wǎng)絡性能三個評測領域。然而，該，僅對于各個測試分別輸出了性能的數(shù)值。評測評測領域計算性能存儲性能093.2.性能評價的標準規(guī)范現(xiàn)有的高性能計算性能評價規(guī)范非常碎片化。國內外標準化組織尚未發(fā)布針對高性能計算集群綜合性能評價的國家或行業(yè)標準，現(xiàn)有標準集中于數(shù)據(jù)中心和存儲，缺少集群性能相關的國標、行標、ISO標。相關要有如下幾項：發(fā)布時發(fā)布時間數(shù)據(jù)中心存儲能效測評規(guī)范分布式塊存儲總體技術要求計算存儲分離架構的分布式存儲測試方法服務器應用場景性能測試方法高性能計算通用計算CPU性能測試評價技術要求分布式塊存儲總體技術要求計算存儲分離架構的分布式存儲測試方法信息技術人工智能服務器系統(tǒng)性能測試規(guī)范PerformanceBenchmarkingforArtificialIntelligenceServerSystemsT/CESA1214-2022T/CESA1215-2022T/CESA1213-2022T/CESA1169-2021T/CCSA263-2019T/CCSA325-2021YD/T4030-2022GCC7003-2020標準名稱IEEEP29372020/11/26019/12/23標準號2022/4/82022/92022/72022/72022/7型2021/9地標地標地標標其中，《數(shù)據(jù)中心存儲能效測評規(guī)范》規(guī)定了數(shù)據(jù)中心存儲設備的能效測試方法與能效等級評價方法，對測試環(huán)境、測試方法、能效指標、加分項均做出了規(guī)范；《分布式塊存儲總體技術要求》針對分布式塊存儲解決方案提出功能、性能、可靠性等方面的要求；《計算存儲分離架構的分布式存儲測試方法》規(guī)定了計算存儲分離架構的分布式存儲方案的功能、性能、兼容性、擴展性、可靠性、安全性、運維、硬件和網(wǎng)絡測試方法；《服務器應用場景性能測試方法高性能計算》通過制定標準化的評估方法，對比評估綠色計算產品與傳統(tǒng)架構產品在該場景所關注指標、特性上的差異化優(yōu)勢，展示了以ARM架構為代表的綠色計算服務器在高性能計算應用場景的性能表現(xiàn)。44高性能計算性能指標和評價規(guī)范標具有科學性和可解釋性，我們充分調研了Top500各大超級計算集群的性能指標，相應數(shù)據(jù)集的鏈接為214+提升建議214+提升建議浮點計算性能存儲帶寬浮點計算性能(Flops)存儲帶寬(GB/s)網(wǎng)絡延遲(微秒)......19項基礎指標19項指標權重分析集群特點，給出特定場景下的提升建議分析集群特點，給出特定場景下的提升建議度共19項基礎指標為19項指標設計維度內權重維度的性能評分334.1.六個維度度量高性能計算系統(tǒng)4.1.1.科學計算性能維度2個指標，用于衡量高性能計算集群以雙精度浮點處理典型科學計算內核的性能。HPL雙精度浮點計算性能：系統(tǒng)按雙精度使用高斯消元法求解稠密線性方程組時的計算速度，單位：FLOPS。HPCG雙精度浮點計算性能：系統(tǒng)使用雙精度共軛梯度法求解稀疏線性方程組時的浮點運算速度，單位：FLOPS。4.1.2.AI計算性能維度本維度共包含以下2個指標，用于衡量AI計算集群以典型業(yè)務負載表現(xiàn)為衡量方式的性能,2個指標使用的模型分別為MLPerf基準程序中的ResNet-50和MaskR-CNN模型。圖像推理任務的計算性能：系統(tǒng)使用ResNet-50模型在圖像推理任務的性能，單位：VFLOPS。測試數(shù)據(jù)集使用ImageNet，遍歷周期(Epochs)設定為90，性能度量單位VFLOPS計算方法如下：FLOPS*(實測準確度/目標準確度)^5，其中，F(xiàn)LOPS是推理過程中的浮點運算速度，實測準確度是測試過程實際達到的Top1準確度；目標準確度是測試標準預定義的最佳模型質量Top1，設定為0.763。圖像訓練任務的計算性能：系統(tǒng)使用MaskR-CNN模型在COCO數(shù)據(jù)集上的圖像訓練任務中的訓練速度，單位：圖片/秒。質量要求為每AP0.377Box和0.339Mask，性能度量單位為完成質量要求的訓練所花費4.1.3.存儲性能維度本維度共包含以下5個指標，參考了在IO500等榜單中被廣泛使用的測試基準，同時擴展了存儲新能力 (多協(xié)議互通)的測試，衡量高性能計算集群存儲系統(tǒng)的性能特征。文件系統(tǒng)單客戶端單流帶寬：文件系統(tǒng)在單客戶端單流測試條件下能達到的帶寬，單位GB/s。文件系統(tǒng)單客戶端多流帶寬：文件系統(tǒng)在單客戶端多流測試條件下能達到的帶寬，單位GB/s。文件系統(tǒng)聚合帶寬：文件系統(tǒng)在多客戶端多流測試條件下能達到的聚合帶寬，單位GB/s，按照文件系統(tǒng)可文件系統(tǒng)聚合IO操作速率：文件系統(tǒng)在多客戶端多流測試條件下能達到的IO操作速率，單位：IOPS，按多協(xié)議平均訪問效率：分別以HDFS、對象、NFS三種協(xié)議訪問文件系統(tǒng)上的同一份數(shù)據(jù)時，與使用POSIX標準文件訪問協(xié)議的速率比值，取三項比值的平均數(shù)，不支持的協(xié)議比值為0，單位為百分比。4.1.4.網(wǎng)絡性能維度本維度共包含以下3個指標，以描述高性能計算集群的網(wǎng)絡性能。隨著集群規(guī)模的擴大、精度要求的提高、模型趨于復雜,以及數(shù)據(jù)中心、云計算、異地超算等分布式基礎設施的概念提出，集群對IO通信性能的需集群性能的一個不可或缺的維度，與存力一同保障了算力的高效率運行。點對點通信帶寬：系統(tǒng)中任意兩個節(jié)點間的雙向通信帶寬，單位Gbps。點對點通信延遲：系統(tǒng)中任意兩個節(jié)點間的通信往返延遲，單位微秒。寬與所有節(jié)點注入帶寬的比值，單位為比值。4.1.5.系統(tǒng)能效維度本維度包含2個指標，用于評價高性能計算集群的能源利用效率。隨著高性能計算集群算力突破E級大關，核心挑戰(zhàn)。提升算力與存力的能源利用效率勢在必行。單位功耗支持浮點計算能力：系統(tǒng)的HPL浮點計算性能計算子系統(tǒng)能耗的比值，計算單位功耗下的浮點計算能力，單位FLOPS/W。單位功耗的可得存儲容量：系統(tǒng)的可得存儲容量與存儲子系統(tǒng)額定功率的比值，計算單位功耗下的可得存儲容量，單位TB/W。4.1.6.系統(tǒng)平衡性維度5個指標，用于評價高性能計算系統(tǒng)的容量層級。。BurstBuffer與內容容量比：BurstBuffer容量與內存容量的比值，單位為比值。長久存儲與BurstBuffer容量比：并行文件系統(tǒng)容量與BurstBuffer容量的比值，單位為比值。內存與BurstBuffer的帶寬比：內存帶寬與BurstBurffer帶寬的比值，單位為比值。BurstBuffer與文件系統(tǒng)的帶寬比：BurstBuffer帶寬與并行文件系統(tǒng)帶寬的比值，單位為比值。匹配度=(1)V上匹配度=(1)上限下限VV+VV上限下限表高性能計算性能指標匯總表度位備注系統(tǒng)使用雙精度高斯消度位備注系統(tǒng)使用雙精度高斯消元法求解稠密線性方程組時的浮點運算速度。標能PFLOPS科學計算性能HPCG雙精度浮點計算HPCG雙精度浮點計算實際測試值TFLOPS度法求解稀疏線性方程組時的浮點運算速度。圖像推理任務的計算性能VFLOPS圖像推理任務的計算性能VFLOPSAI計算性能模型在圖像推理任務的性能。測試數(shù)據(jù)集使用ImageNet，遍歷周期 (Epochs)設定為VFLOPS計算方法如下：FLOPS*(實測準圖像訓練任務的計算性能圖像訓練任務的計算性能模型在COCO數(shù)據(jù)集上的圖像訓練任務中的訓文件系統(tǒng)單客戶端單流文件系統(tǒng)單客戶端單流GB/s流測試條件下能達到的文件系統(tǒng)單客戶端多流文件系統(tǒng)單客戶端多流GB/s流測試條件下能達到的存儲性能GB/GB/s流測試條件下能達到的文件系統(tǒng)聚合IO操作文件系統(tǒng)聚合IO操作速率IOPS流測試條件下能達到的度存儲性能系統(tǒng)平系統(tǒng)平衡性數(shù)值說數(shù)值說明單位功耗的浮點計算性能單位功耗的可得存儲容量內存容量(GB)與處理器標備注備注時，與使用POSIX標準系系統(tǒng)中任意兩個節(jié)點間的MPI消息通信雙向寬系系統(tǒng)中任意兩個節(jié)點間的MPI消息通信往返延遲。計算網(wǎng)絡性能時，該指標取延遲數(shù)值數(shù)。系系統(tǒng)網(wǎng)絡的對分帶寬與所有節(jié)點注入帶寬的比值。系系統(tǒng)的浮點計算實測性能與計算子系統(tǒng)能耗的系系統(tǒng)的可得存儲容量與存儲子系統(tǒng)額定功耗的比值。評評分時如下公式轉換為“匹配度”再代入綜合位GbpsGFLOPS/W數(shù)值說數(shù)值說明評分時如下公式轉換為“匹配度”再代入綜合系統(tǒng)平衡性備注度位標4.2.綜合評價計算方法本評價規(guī)范使用幾何平均數(shù)計算每個維度的性能評分，為每個被測集群評出科學計算性能、AI計算性能、存儲性能、網(wǎng)絡性能、系統(tǒng)能效和系統(tǒng)平衡性六個維度的評分。維度的性能評分按照公式(2)計算。系數(shù)，建議該常數(shù)值為100?？紤]到不同計算集群的算力規(guī)模，使用公式(2)對各個維度進行評分之前，需要參考表2中的HPL實測性能對集群進行劃檔分類，然后再進行評分。對高性能計算集群的評價，最終會輸出兩個結果：(1)評測數(shù)據(jù)詳表：該表詳細記錄各指標性能的數(shù)值；(2)性能雷達圖：以多維度雷達圖來顯示集群系統(tǒng)在不同維度的性能評分。4.3.指標權重與平衡性范圍的設計初稿我們根據(jù)經驗初步設計了如下的指標權重，主要考慮是：在計算性能維度，以HPL為代表的稠密矩陣計算方法應用最廣泛，權重最高。存儲性能維度的五個指標重要性相當，均分1.0權重。網(wǎng)絡性能維度中，點對點帶寬最重要因此權重最高。系統(tǒng)能效方面，單位功耗浮點性能比可用存儲容量重要，因此權重更高。系統(tǒng)平衡性方面，五個指標重要性相當，均分1.0權重。綜合評價方法的使用者可以針對具體測試場景，按需設置權重。度科學計算性能科學計算性能AI計算性能存儲性能系統(tǒng)能效系統(tǒng)平衡性表指標權重標HPLHPL精度浮點計算性能HPCG雙精度浮點計算性能GB值BurstBuffer存容量的比值存儲容量與BurstBuffer容量的比值BurstBuffer的比值rstBuffer重0.20.2我們調研了歷年Top500超算集群，在現(xiàn)有集群建設經驗基礎上，初步整理了各層級存儲系統(tǒng)容量、帶寬的配比范圍。按照集群實測峰值計算能力，我們將集群劃分為三檔規(guī)模，分別是：性能大于30PFLOPS的超大型集群，性能10-30PFLOPS的大型集群，和1-10PFLOPS的小型集群。不同規(guī)模的集群具有不同的設計考量，因此在平衡性上有范圍差異。后續(xù)將補充其他評估方法，不斷完善建議值范圍。標內存容量(GB)與處理器核心數(shù)的比值BurstBuffer容量與內存容量的比值并行文件系統(tǒng)存儲容量與BurstBuffer容量的比值內存帶寬與BurstBuffer帶寬的比值BurstBuffer帶寬與并行文件系統(tǒng)帶寬的比值按按實測峰值計算能力分類>30>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS>30PFLOPS10-30PFLOPS1-10PFLOPS建建議值范圍2~84~62~520~4010~302~201500~50001000~3000800~20004~82~655性能評價方法的應用擇其他組件的性能。2)分析典型場景下的集群特性，將集群劃分為“計算密集”、“IO密集”、“計算+IO密5.1.典型算力下的集群設計示例我們調研TOP500超算集群的相關性能，基于集群實測性能，將集群劃分為三檔：30PFLOPS以上、10-30PFLOPS、1-10PFLOPS，分別對應超大型計算集群、大型計算集群和中型計算集群。在2022年Top500值分標值分標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務的計算性能(單位：VFLOPS)圖像訓練任務的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)148.647578475782725.75AI計算性能AI計算性能307000000035942400(*)825003571825003571826000000文件系統(tǒng)聚合IO操作速率(單位：IOPS260000000.860.86200點對點網(wǎng)絡帶寬(單位：Gbps)2000.567040.567041.0221.02214.719單位功耗的浮點計算性能(單位：GFLOPS/W14.719系0.02480.02481(+)0.68(+)0.89(+)0.95(+1(+)0.68(+)0.89(+)0.95(+)1(+)BurstBuffer存容量的比值系統(tǒng)平衡性90系統(tǒng)平衡性90存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值注：(+)表示匹配后的值，(*)表示該項指標結果為估計值20型集群設計示例“Hawk”超級計算機坐落于德國斯圖加特大學，該型超級計算機主要服務于在能源、氣候、尖端學術、工業(yè)和健康等領域的研究，在發(fā)電廠的優(yōu)化、區(qū)域和全球氣候模型的相互作用、流行病和遷徙的探索、車輛和飛機的空氣動力學改進以及噪音排放的測定等領域均發(fā)揮著重要的作用。使用上文所述的評分方法，“Hawk”超級計算各維度的指標和各維度的評分結果如下所示，不同維度內的各指標所占權重見附錄表格。部分性能指標結果難以獲得，我們通過推測得出。度科學計算性能AI計算性能存儲性能系統(tǒng)能效系統(tǒng)平衡性標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務的計算性能(單位：VFLOPS)圖像訓練任務的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)文件系統(tǒng)聚合IO操作速率(單位：IOPS)點對點網(wǎng)絡帶寬(單位：Gbps)單位功耗的浮點計算性能(單位：GFLOPS/W)GB值BurstBuffer存容量的比值存儲容量與BurstBuffer容量的比值存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值值19.336047334.65240329(*)26743581297600(*)9(*)11(*)1760(*)18190000(*)0.82(*)2006710.81(*)4.95350.00641(+)0.53(+)1(+)1(+)(*)0.9(+)(*)分304060.680注：(+)表示匹配后的值，(*)表示該項指標結果為估計值中型集群設計示例“Wilkes-3”坐落于英國劍橋大學，是世界上第一臺云原生超級計算機，該超算中心為英國的科學研究提供了主要的計算資源,在天體物理學、材料模擬、核聚變發(fā)電和臨床醫(yī)學研究具有重要的應用。使用上文所述的評分方法，“Wilkes-3”超級計算各維度的指標和各維度的評分結果如下所示，不同維度內的各指標所占權重見附錄表格。部分性能指標結果難以獲得，我們通過推測得出。值分標值分標HPL雙精度浮點計算性能(單位:PFLOPS)HPCG雙精度浮點計算性能(單位：TFLOPS)圖像推理任務的計算性能(單位：VFLOPS)圖像訓練任務的計算性能(單位：圖片/秒)位：GB/s)位：GB/s)件系統(tǒng)聚合帶寬(單位：GB/s)文件系統(tǒng)聚合IO操作速率(單位：IOPS)點對點網(wǎng)絡帶寬(單位：Gbps)2.29728科學計算性能72841.22(*)408981(*)45039380AI計算性45039380496000(*)10(*)15(*)存儲性能30389存儲性能3038913240000(*)0.87(*)2006910.59(*)6910.91(*)0.91(*)29.7單位功耗的浮點計算性能(單位：GFLOPS/W29.7146系1460.016(*)1(+0.016(*)1(+)1(+)(*)1(+)(*)0.93(+)(*)1(+)(*)GB值BurstBuffer存容量的比值系統(tǒng)平衡性99系統(tǒng)平衡性99存與BurstBuffer的帶寬比值BurstBuffer統(tǒng)帶寬的比值注：(+)表示匹配后的值，(*)表示該項指標結果為估計值221-數(shù)據(jù)收集6-數(shù)據(jù)分發(fā)/歸檔1-數(shù)據(jù)收集6-數(shù)據(jù)分發(fā)/歸檔5.2.典型場景下的集群特性分析為探索可有效評估高性能計算集群系統(tǒng)的性能指標，本文充分調研了幾個典型的高性能計算應用場景，其中包括基因測序、氣象預報、油氣勘探、自動駕駛和新材料設計領域，研究不同場景下的應用特性和典型，分析不同應用場景下的超算集群需要擁有的性能特點。主控主機 (部署SGE/PBS主控主機2-基因轉換3-基因拼接4-基因比對52-基因轉換3-基因拼接4-基因比對5-基因注釋主機1執(zhí)行主機N (集群部署)BAMBAM/SAM文件FASTQ文件FASTQ文件XXX格式VCF文件圖:基因測序業(yè)務流基因測序的業(yè)務流程主要包括：文庫制備(樣本上機+數(shù)據(jù)下機)、生信分析(測序分析+報告解讀)、分析后解讀(報告交付+歸檔分發(fā))。其中生信分析階段包含文件格式轉換、解壓縮、基因拼接、比對、排序、去重、變對環(huán)節(jié)CPU行量為6TB/40h，滿負荷下一年能產生1PB左右數(shù)據(jù)，加之生物信息分析過程一般會產生原始數(shù)據(jù)量5倍左右的中足1PFLOPS，但每核心配備的內存數(shù)超過10GB，且采用了低延遲Infiniband網(wǎng)絡，文件系統(tǒng)聚合吞吐能力達到23表某基因測序集群對對應評測方法的關鍵指標HPL性能：0.58PFLOPS每核心內存數(shù)：10.6GB節(jié)點間網(wǎng)絡延遲：0.64微秒聚合吞吐能力：324GB/s量8748核心93312GB100GHDRInfiniband100PBCPU儲硬件數(shù)值氣象預報通過采集各種觀測手段獲得的數(shù)據(jù)作為初始場，在一定的初值和邊值條件下，利用高性能集群的算力，求解描述天氣演變過程的流體力學和熱力學的方程組，從而預測未來一定時段的大氣運動狀態(tài)和天氣現(xiàn)象。主要包括氣象觀測數(shù)據(jù)采集、數(shù)據(jù)預處理、模式計算以及后處理。其中，模式計算對高性能集群系統(tǒng)的計算、網(wǎng)絡和IO都有很高的要求，屬于典型的“IO密集+計算密集型”HPC應用。數(shù)值氣象預報應用軟件的運行時長通常和預報區(qū)域大小，網(wǎng)格數(shù)量、分辨率大小、設計算法及HPC集群性能等因素有關。通常而言，預報區(qū)域越大，網(wǎng)格數(shù)越多、分辨率越精細以及設計算法越復雜對HPC的性能和規(guī)模有著更高的要求。一方面，現(xiàn)有的數(shù)值氣象模式都采用MPI方式實現(xiàn)并行計算，適合在多個高性能服務器上并行執(zhí)行；另一方面，數(shù)值氣象預報模式本質上是基于流體力學和熱力學等設計的，網(wǎng)格數(shù)量的多少一定程度上決定著模式執(zhí)行的并行度，所以數(shù)值氣象模式是計算密集型的應用。因此，跟計算集群的浮點計算能力