分布式計(jì)算 算力度量方法 征求意見稿

1分布式計(jì)算算力度量方法本文件規(guī)定了分布式計(jì)算的算力度量參數(shù)，描述了分布式計(jì)算算力GB/T25000.23-2019系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaREGB/T42018-2022信息技術(shù)人工智能平臺(tái)計(jì)算資源GB/T41780.1-2022物聯(lián)網(wǎng)邊緣計(jì)算第1部分：通用GB/TAAAA-20XX分布式計(jì)算計(jì)算設(shè)GB/TCCCC-20XX分布式計(jì)算算2將數(shù)據(jù)和相關(guān)的計(jì)算處理分布在兩個(gè)或更多計(jì)算節(jié)點(diǎn)并能夠調(diào)度的信息系能夠執(zhí)行算術(shù)運(yùn)算、邏輯判斷、數(shù)據(jù)處理、存儲(chǔ)和檢索等通4縮略語(yǔ)3CPU：中央處理器（CentralProcessingDPDK：數(shù)據(jù)平面開發(fā)套件（DataPlanFIB：轉(zhuǎn)發(fā)信息庫(kù)（ForwardInformationBFLOPS：每秒浮點(diǎn)運(yùn)算次數(shù)（FloatingPointOperationsperSFPGA：現(xiàn)場(chǎng)可編程門陣列（Field-ProgrammableGateArraGPU：圖形處理器（GraphicsProcessingIOPS：每秒輸入輸出量（Input/0utputOpIPsec：為IP網(wǎng)絡(luò)提供安全性的協(xié)議和服務(wù)的集合（InternetReLU：整流線性單元（RectifiedLinear5概述靜態(tài)算力度量方法及動(dòng)態(tài)（運(yùn)行時(shí)）算力度量…寬…4…數(shù)據(jù)處理初始資源信息包含計(jì)算配置、計(jì)算能力峰計(jì)算配置包含計(jì)算單元個(gè)數(shù)、計(jì)算核心數(shù)、計(jì)算單b)計(jì)算單元每秒浮點(diǎn)運(yùn)算次數(shù)峰值（例如5b)計(jì)算單元每秒浮點(diǎn)運(yùn)算次數(shù)均值（例如6數(shù)據(jù)存儲(chǔ)初始資源信息通過(guò)操作系統(tǒng)命令或從設(shè)備網(wǎng)7Tb)計(jì)算被度量設(shè)備中的分布式基準(zhǔn)程序的理論操作次數(shù)，理論操作次數(shù)計(jì)算見附錄動(dòng)態(tài)計(jì)算是指在真實(shí)環(huán)境中通過(guò)運(yùn)行典型應(yīng)用場(chǎng)景下基準(zhǔn)測(cè)試程序來(lái)評(píng)估分布式計(jì)算設(shè)備的綜合8d)所有被度量設(shè)備應(yīng)選擇相同的專用計(jì)算任務(wù)作b)計(jì)算基準(zhǔn)程序理論操作次數(shù),理論操作次數(shù)計(jì)算見附a)在標(biāo)準(zhǔn)環(huán)境下按6.2.1、6.3.1、6.4.1、92)被度量系統(tǒng)為板卡的，將板卡掛載到主機(jī)，度量程序部4)被度量系統(tǒng)為云服務(wù)的，度量程序部署在云分布式計(jì)算環(huán)境下單個(gè)設(shè)備除操作系統(tǒng)外無(wú)任何執(zhí)行程序時(shí)，設(shè)備算力可通過(guò)對(duì)設(shè)備各項(xiàng)初始資源信息參數(shù)進(jìn)行熵值法定權(quán)、進(jìn)而加權(quán)求和的方法進(jìn)行度量。具體度量方法公式3給出的方法形成二級(jí)度量參數(shù)向量Xv；-1v分布式計(jì)算環(huán)境下單個(gè)設(shè)備存在執(zhí)行程序時(shí)，設(shè)備算力可通過(guò)對(duì)設(shè)備各項(xiàng)動(dòng)態(tài)算力度量參數(shù)進(jìn)行熵值法定權(quán)，進(jìn)而加權(quán)求和的方法進(jìn)行度量。具體度量量量量量量按公式3給出的方法形成二級(jí)度量參數(shù)向量Xv；…內(nèi)存通道數(shù)；專用計(jì)算單元內(nèi)存容量剩余量存主頻、專用計(jì)算單元內(nèi)存帶寬剩余量、專1態(tài)算力可通過(guò)對(duì)系統(tǒng)內(nèi)設(shè)備的各項(xiàng)初始資源信息參數(shù)累加進(jìn)行AHP法定權(quán)，進(jìn)而加權(quán)求和的方法進(jìn)行收集各設(shè)備的初始資源信息二級(jí)參數(shù)，按公式3給出的方法ve)結(jié)合b)中所確定的二級(jí)參數(shù)權(quán)重w，按公式10對(duì)Ev的各項(xiàng)二級(jí)參數(shù)算力度量值進(jìn)行加權(quán)求f)將協(xié)同計(jì)算特征初始資源信息參數(shù)追加到Rv中，結(jié)合a)中所確定的一級(jí)參數(shù)初始資源信息權(quán)分布式計(jì)算系統(tǒng)內(nèi)存在執(zhí)行程序時(shí)，系統(tǒng)動(dòng)態(tài)算力可通過(guò)對(duì)系統(tǒng)內(nèi)設(shè)備的各項(xiàng)運(yùn)行時(shí)算力度量參數(shù)累加進(jìn)行AHP法定權(quán)，進(jìn)而加權(quán)求和的方法收集協(xié)同計(jì)算初始資源信息，按公式4給出的方法形成二級(jí)度量參數(shù)向量Xv；始資源信息v的度量值Rv；1A.1動(dòng)態(tài)計(jì)算特征測(cè)試流程e)專用計(jì)算任務(wù)運(yùn)行完畢后，記錄執(zhí)行時(shí)A.2協(xié)同計(jì)算初始資源信息測(cè)試流程f)分布式專用計(jì)算任務(wù)操作次數(shù)與執(zhí)行時(shí)間按的方法計(jì)算協(xié)同1c)使用深度優(yōu)先遍歷抽象語(yǔ)法樹，計(jì)算a）中實(shí)現(xiàn)的程序運(yùn)行至結(jié)HO——輸出高度；矩陣A和矩陣B的矩陣乘法操作數(shù)MatMul按公式B.7給出的方法計(jì)算。MatMul=H×L×H×W················(B.7)Mul=(H×W)/2·················(B.8)前向傳播嵌入層操作數(shù)Embed按公式B.9給出的方法Embed=nctx×nvocab×dmodel···············(B.9)nctx——上下文/序列的長(zhǎng)度；nvocab——dmodel——?dú)埱跋騻鞑プ宰⒁饬観KV操作數(shù)Aqkv按公式B.Aqkv=3×nlayer×dmodel×(dknlayer——自注意力層數(shù)；dkeys——鍵、查詢和值投影維度；nheads——自注意力層中注意力頭的個(gè)數(shù)。前向傳播自注意力層Mask操作數(shù)Amask按公式B.11給出的方法前向傳播自注意力層Project操作數(shù)Aproject按公式B.12給出的方法計(jì)算。Aproject=nlayer×dkeys×nheads×dmodel·········1前向傳播Feedforward層操作數(shù)Feedfw按公式B.13給出的方法計(jì)算。前向傳播去嵌入層操作數(shù)Dembed按公式B.14給出的方法計(jì)算。Dembed=dmodel×nvocab················(B.14)前向傳播Transformer操作數(shù)Transf按公式B.15給出的反向傳播卷積層操作數(shù)BCL按公式B.1反向傳播Transformer操作數(shù)BTransf按公式B.19給出的方a)采用圖像分類模型作為基準(zhǔn)模型（典型模型如Res）；）；a)采用實(shí)例分割模型作為基準(zhǔn)模型（典型模型如MaskR-CNNb)使用基準(zhǔn)數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如MSCOCO7)）；a)采用語(yǔ)義分割模型作為基準(zhǔn)模型（典）；b)使用基準(zhǔn)數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如KiTS199)1)MaskR-CNN(MaskRegion-basedConvolutionalNeuralNetwork)模型可在https://github./vision/blob/main/torchvision/models/detection/mask_rcnn.py處獲得。2)ImageNet數(shù)據(jù)集可在/challenges/LSVRC/2012處獲得。3)MaskR-CNN(MaskRegion-basedConvolutionalNeuralNetwork)模型可在/pytorch/vision/blob/main/torchvision/models/detection/mask_rcnn.py處獲得。4)MSCOCO(MicrosoftCommonObjectsinContext)數(shù)據(jù)集可在處獲得。5)3DU-Net模型可在/mlcommons/training/blob/master/image_segmentation/pytorch-/model/unet3d.py處獲得。6)KiTS19數(shù)據(jù)集可在/neheller/kits19處獲得。2a)采用目標(biāo)檢測(cè)模型作為基準(zhǔn)模型（典型模型如YOLO）；b)使用基準(zhǔn)數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如MSa)采用自然語(yǔ)言處理模型作為基準(zhǔn)模型（典型模型如BERT1）；b)使用基準(zhǔn)數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如Wikipedia12)）；a)采用語(yǔ)音識(shí)別模型作為基準(zhǔn)模型（典型模型如RN）；b)使用基準(zhǔn)數(shù)據(jù)集訓(xùn)練（典型數(shù)據(jù)集如LibriSpeech14)）；a)采用推薦系統(tǒng)模型作為基準(zhǔn)模型（典型模型如DLRM）；）；7)YOLOV3(YouOnlyLookOnce)模型可在/ultralytics/yolov3處獲得。8)BERT(BidirectionalEncoderRepresentationfromTransformer)模型可在/google-research/bert處獲得。9)Wikipedia數(shù)據(jù)集可在處獲得。10)RNN-T(RecurrentNeuralNetworkTransducer)模型可在/mlcommonstree/master/rnn_speech_recognition/pytorch/rnnt處獲得。11)LibriSpeech數(shù)據(jù)集可在處獲得。12)DLRM(DeepLearningRecommendationModel)模型可在/facebookresearch/dlrm處獲13)1TBClickLogs數(shù)據(jù)集可在/download-criteo-1tb-click-logs-dataset處獲b)使用測(cè)試人員指定的基準(zhǔn)數(shù)據(jù)集訓(xùn)練；213579