人工智能 加速卡技術(shù)要求及測試方法

團(tuán)體標(biāo)準(zhǔn)Artificialintelligence—Technicalrequirementsandtestingmethodsfor中國互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布I 1 1 1 3 3 4 4 4 8 A.1操作系統(tǒng) A.2深度學(xué)習(xí)框架 A.3參考測試用例 A.3.1訓(xùn)練場景 A.3.2推理場景 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定張久仙、張亞麗、楊鵬霖、肖國峰、萬曉蘭、賀群、馮濤、張順?biāo)摹⑹Y曉琳、申佳、尹1人工智能加速卡技術(shù)要求及測試方法GB/T9813.3-2017計(jì)算機(jī)通用規(guī)范第3部GB/T17235.1-1998信息技術(shù)GB/T34986-2017產(chǎn)品GB/T37092-2018信息安全技術(shù)密GB/T41867-2022信息技術(shù)人工智能GB/T42018-2022信息技術(shù)人工智能平臺計(jì)算GM/T0008-2012安全芯片密碼GM/T0028-2014密碼模塊安全YD/T3944-2021人工智能芯片基準(zhǔn)測試評估方法ISO/IEC15948:2004信息技術(shù)計(jì)算機(jī)圖形和圖像處理便攜式網(wǎng)絡(luò)圖形：功能規(guī)范[Informationtechnology–ComputergraphicsandimageprocessiITU-TH.264—2021通用視聽服務(wù)高級視頻編碼（AdvancedvideocodingforgenericaudiovisualITU-TH.265—2021高效視頻編碼（Highefficiency2信息系統(tǒng)中能夠?yàn)槿斯ぶ悄軕?yīng)用提供高效能計(jì)算處理能力的服注1：以通用服務(wù)器為基礎(chǔ)，配備人工智能加速卡后34縮略語ARM：高級精簡指令集處理器（AdvancedReducedInstrBF16：腦浮點(diǎn)數(shù)（BrainFloatingPoint）ECC：錯(cuò)誤糾正碼（ErrorCorrectingCoFP16：半精度浮點(diǎn)數(shù)（Half-precisionFloatingPoint）FP32：單精度浮點(diǎn)數(shù)（Single-precisionFPS：幀每秒（FramesPerSecond）HBM：高帶寬內(nèi)存（HighBandwidthMemorLPDDR：低功率雙數(shù)據(jù)率（LowPowerDoubleDataRaMTBF：平均無故障工作時(shí)間（MeanTimeBetweenFaiOAM：開放計(jì)算項(xiàng)目加速器模塊（OpenComputeProjectAcPCIe：外設(shè)部件互聯(lián)高速通道（PeripheralComponentInterconnectExpress）RDMA：遠(yuǎn)程直接內(nèi)存訪問（RemoteDirectMemoryAccess）RoCE：以太網(wǎng)上的遠(yuǎn)程直接內(nèi)存訪問（RDMAoverConveTF32：張量單精度浮點(diǎn)數(shù)（TensorFloaTFLOPS：每秒一萬億次浮點(diǎn)運(yùn)算（TeraFloating-pointOperatTOPS：每秒一萬億次運(yùn)算（TeraOperationsPerSecTRNG：真隨機(jī)數(shù)發(fā)生器（TrueRandomNumberGener5概述處理的集成電路元件，可作為服務(wù)器的一部分，與其他組件（如CPU、存儲設(shè)備等）協(xié)同工作，提供更矩陣計(jì)算，使其相比于CPU具有更加出色的計(jì)算能力和效率，/推理性能度量指標(biāo)，以及安全性要求。測試環(huán)境部分針對技術(shù)要求中的各項(xiàng)內(nèi)容給出測試所需明確的4b)應(yīng)支持資產(chǎn)管理功能，可通過服務(wù)器遠(yuǎn)程管理系統(tǒng)讀取加速卡的序列號信息，且該信息應(yīng)與配置了加速卡的設(shè)備操作系統(tǒng)讀取的信息保c)應(yīng)支持固件版本管理功能，可通過服務(wù)器遠(yuǎn)程管理系統(tǒng)讀取加速卡的固件版本信息，且該信d)應(yīng)支持功耗監(jiān)控功能，可通過服務(wù)器遠(yuǎn)程管理系統(tǒng)讀取加速卡的當(dāng)前功耗信息，且該信息與e)應(yīng)支持溫度監(jiān)控功能，可通過服務(wù)器遠(yuǎn)程管理系統(tǒng)讀取加速卡的當(dāng)前溫度信息，且該信息與m)應(yīng)具備針對錯(cuò)誤或異常的處理及上報(bào)機(jī)制；d)應(yīng)支持自定義算子開發(fā)功能，如矩陣乘法、卷積等；f)應(yīng)支持服務(wù)器內(nèi)部訓(xùn)練卡的卡間高）；h)應(yīng)支持集合通訊庫及典型的集合通信算法（如a5k)宜直接具備或與解碼器配合實(shí)現(xiàn)圖像和視頻的解碼能力（支持ITU-TH.264-2021、ITU-T等規(guī)定的圖像格式中的一種或多種）。d)面向大模型等訓(xùn)練場景，節(jié)點(diǎn)內(nèi)卡間互聯(lián)b)應(yīng)支持至少一種分布式訓(xùn)練框架；a)應(yīng)支持模型斷點(diǎn)續(xù)訓(xùn)功能，能夠自動(dòng)斷點(diǎn)保存、故障診斷與上報(bào)、自動(dòng)恢復(fù)訓(xùn)練模型在特定數(shù)據(jù)集上訓(xùn)練一輪或多輪所用的時(shí)間來衡量從訓(xùn)練開始命令調(diào)用到訓(xùn)練6訓(xùn)練吞吐率體現(xiàn)了訓(xùn)練卡對選定的模型訓(xùn)練任務(wù)的計(jì)算能力。對視覺類測試，單位為圖片數(shù)每秒期處理的數(shù)據(jù)量與時(shí)間的比a)統(tǒng)計(jì)每個(gè)訓(xùn)期i所使用的時(shí)間Ti，計(jì)算每訓(xùn)期平均時(shí)間T；numberof(*)表示計(jì)量特定數(shù)據(jù)集合所含的樣本數(shù)量；numberoftokens(*)表示計(jì)量特定數(shù)據(jù)集合所含的語素?cái)?shù)7訓(xùn)練卡單位時(shí)間內(nèi)消耗單位訓(xùn)練卡所支持的全部數(shù)據(jù)精n：支持的數(shù)據(jù)精度種類數(shù)量；Ti：在第i種數(shù)據(jù)精度下進(jìn)行模型訓(xùn)練的張量峰值算力，單位為使用單臺服務(wù)器節(jié)點(diǎn)的多張卡并行訓(xùn)練時(shí)每秒處理的樣每秒處理的樣本數(shù)量之間的8使用包含多臺服務(wù)器節(jié)點(diǎn)及多張訓(xùn)練卡的集群開展并行與使用單張卡訓(xùn)練時(shí)每秒處用此比值除以集群中卡的數(shù)次去掉最低和最高的數(shù)字后取平均值。檢查點(diǎn)保將模型狀態(tài)從訓(xùn)練卡保存到存a)模型狀態(tài)保存開始前，串行并緊鄰調(diào)用計(jì)b)模型狀態(tài)保存完成后，串行并緊鄰調(diào)用計(jì)時(shí)命令，從存儲設(shè)備中將模型狀態(tài)加載a)模型狀態(tài)加載開始前，串行并緊鄰調(diào)用計(jì)b)模型狀態(tài)加載完成后，串行并緊鄰調(diào)用計(jì)時(shí)命令，b)宜支持FP8、BF16、FP32、T）；g)應(yīng)支持集合通訊庫及典型的集合通h)應(yīng)支持通過模型推理服務(wù)部署工具實(shí)現(xiàn)模型的在線服務(wù)部署和運(yùn)行；j)宜直接具備或與解碼器配合實(shí)現(xiàn)圖像和視頻解碼能力（支持ITU-TH.264-2021、ITU-T等規(guī)定的圖像格式中的一種或多種）。9間間隔。對于自然語言語句生成類任務(wù)，使用首字時(shí)延和模型穩(wěn)定輸出時(shí)單token的生成時(shí)間來衡量推計(jì)算被測設(shè)備對某樣本推理的開始時(shí)間與結(jié)束時(shí)間的時(shí)b)推理退出時(shí)，串行并緊鄰調(diào)用計(jì)時(shí)命令自然語言語句生成類任務(wù)的本推理的開始時(shí)間與模型輸b)輸出首個(gè)token時(shí)，串行并緊鄰調(diào)用計(jì)時(shí)命令，獲自然語言語句生成類任務(wù)的單token生成時(shí)間，為被測設(shè)備穩(wěn)定生成每個(gè)token所用的b)當(dāng)模型生成下一個(gè)新的token后，串行推理吞吐率代表了推理卡對特定推理任務(wù)的計(jì)算能力。對視覺類測試，單位為圖片數(shù)每秒（images/s）；對自然語言處理類測試，單位為句數(shù)每秒（sentences/s）；對自然語言語句生成的模a)計(jì)算整個(gè)推理測試過程的時(shí)間T；numberof(*)：整個(gè)推理測試過程中，由所有實(shí)際發(fā)送的樣本以及實(shí)numberoftokens(*)：統(tǒng)計(jì)整個(gè)推理測試過程中，由所有實(shí)際發(fā)送的推理卡單位時(shí)間內(nèi)消耗單位sizeof(*)：在整個(gè)推理測試過程中，累計(jì)返回結(jié)果的任務(wù)數(shù)據(jù)量，c)可基于硬件的密碼運(yùn)算功能支持模型和數(shù)據(jù)加解所示?；趫D1所示的組網(wǎng)環(huán)境，可分別開展單機(jī)單卡環(huán)境被測設(shè)備應(yīng)安裝操作系統(tǒng)的開源或商業(yè)版本，常用的操作系統(tǒng)可參考附錄A的表A.1本節(jié)給出測試人工智能訓(xùn)練加速卡和推理加速卡技術(shù)指標(biāo)時(shí)宜加載的測試場景和任務(wù)，如表12所1234123c)被測設(shè)備預(yù)裝業(yè)務(wù)操作系統(tǒng)并且各d)被測設(shè)備預(yù)裝容器化服務(wù)必要的組件，如容器化引擎、編排管理器c)驗(yàn)證相關(guān)信息是否可正常讀取，并核對與加速卡實(shí)際配置及規(guī)格信息是否一致。b)進(jìn)入管理界面或帶外命令，查看并讀取加速卡的序列號信息；b)進(jìn)入管理界面或帶外命令，查看并讀取加速卡的固件版本信息；c)登錄到被測設(shè)備業(yè)務(wù)操作系統(tǒng)中，查看相應(yīng)加速卡的固件版本；b)進(jìn)入管理界面或帶外命令，查看并讀取加速卡的功d)對比b)和c)中查詢出來的加速卡功耗值差距是否在5%以內(nèi)。b)進(jìn)入管理界面或帶外命令，查看并讀取加速卡當(dāng)前d)對比b)和c)中查詢出來的加速卡溫度值差距是否在5%以內(nèi)。b)執(zhí)行操作系統(tǒng)檢測腳本，檢查業(yè)務(wù)操作系統(tǒng)中的版本和型號信息；c)在此業(yè)務(wù)操作系統(tǒng)環(huán)境中，完成與加速卡所有技術(shù)要求對應(yīng)的c)在此業(yè)務(wù)操作系統(tǒng)環(huán)境中，完成與加速卡所有技術(shù)要求對應(yīng)的e)對c)和d)中獲取的所有帶寬值求平均值，得出CPU與加速卡之間的通b)編譯并安裝加速卡性能分析工具以及依賴的軟件工b)編譯并安裝加速卡虛擬化依賴的軟件工具；進(jìn)入容器服務(wù)查看加速卡虛擬化的比例值，并記錄輸e)執(zhí)行相關(guān)命令進(jìn)入加速卡虛擬化容器中并執(zhí)行加速卡基本計(jì)算測試腳本f)驗(yàn)證是否輸出正確結(jié)果，以及計(jì)算過程是否對加速c)執(zhí)行相關(guān)命令，通過步驟b)中的軟件工具，對加速卡施加負(fù)載進(jìn)行壓測，通過監(jiān)控工具查看d)驗(yàn)證加速卡的電流值及功率值是否超出額定范圍，以及測試過程中是否c)執(zhí)行相關(guān)命令，通過步驟b)中的軟件工具，對加速卡分別施加空置、普通卡監(jiān)控工具查看加速卡的功率值、工作頻率、使用率等信息，記錄d)驗(yàn)證加速卡的功耗是否隨負(fù)載動(dòng)態(tài)變化，以及測d)依據(jù)異常上報(bào)機(jī)制的相關(guān)設(shè)計(jì)，通過軟件或人為模擬f)執(zhí)行相關(guān)命令對b)中選擇的模型進(jìn)行訓(xùn)練或測g)根據(jù)接口文檔的相關(guān)錯(cuò)誤碼內(nèi)容驗(yàn)證加速卡是否可捕獲并上報(bào)硬b)編譯并安裝加速卡云原生接入依賴的c)編譯并安裝使能加速卡云原生接入的設(shè)備插件等軟件工具；8.3.1.1訓(xùn)練卡支持的數(shù)據(jù)精度類型e)獲取訓(xùn)練卡在選定數(shù)據(jù)精度類型下的峰值算力；c)導(dǎo)入相關(guān)測試腳本并部署，加載訓(xùn)練數(shù)據(jù)集e)使用驗(yàn)證數(shù)據(jù)集驗(yàn)證訓(xùn)練得到的模型準(zhǔn)確率，要求達(dá)到8.3.1.3訓(xùn)練卡自定義算子開發(fā)功能b)編譯并安裝訓(xùn)練卡編譯器功能依賴的軟件工具；c)執(zhí)行相關(guān)命令，通過b)中的軟件棧編譯器工具，根據(jù)訓(xùn)練卡支持的編譯階段、編譯輸入、編c)導(dǎo)入相關(guān)測試腳本并部署；c)執(zhí)行相關(guān)命令，通過b)中的測試工具），8.3.1.6訓(xùn)練卡節(jié)點(diǎn)間高性能通信能力b)通過測試機(jī)登錄被測設(shè)備業(yè)務(wù)操作系統(tǒng)中；d)導(dǎo)入相關(guān)測試腳本并部署（相關(guān)操作需涵蓋典型f)驗(yàn)證訓(xùn)練卡是否支持集合通訊庫正常運(yùn)行，集合通訊操作結(jié)果與預(yù)期結(jié)果all、gather、reduce、reducescatter、scae)導(dǎo)入相關(guān)測試腳本并部署，加載訓(xùn)練數(shù)據(jù)g)使用驗(yàn)證數(shù)據(jù)集驗(yàn)證訓(xùn)練得到的模型準(zhǔn)確率，要求達(dá)到訓(xùn)練并開啟加速庫訓(xùn)練的相關(guān)代碼或參數(shù)(非單c)導(dǎo)入相關(guān)測試腳本并部署，加載訓(xùn)練數(shù)據(jù)集e)使用驗(yàn)證數(shù)據(jù)集驗(yàn)證訓(xùn)練得到的模型準(zhǔn)確率，要求達(dá)到b)編譯并安裝訓(xùn)練卡視頻解碼依賴的軟件工b)編譯并安裝訓(xùn)練卡圖像解碼依賴的軟件工c)執(zhí)行相關(guān)命令，讀取加速卡的顯存類型、顯存容量和顯存帶寬。b)選取至少一種主流的深度學(xué)習(xí)框架并安裝；d)導(dǎo)入相關(guān)測試腳本并部署，加載訓(xùn)練數(shù)據(jù)集f)使用驗(yàn)證數(shù)據(jù)集驗(yàn)證訓(xùn)練得到的模型準(zhǔn)確率，要求達(dá)到訓(xùn)練8.3.3.2訓(xùn)練卡分布式訓(xùn)練框架適配d)導(dǎo)入相關(guān)測試腳本并部署，加載訓(xùn)練數(shù)據(jù)集f)使用驗(yàn)證數(shù)據(jù)集驗(yàn)證訓(xùn)練得到的模型準(zhǔn)確率，要求達(dá)到訓(xùn)練d)導(dǎo)入相關(guān)測試腳本并部署，加載訓(xùn)練數(shù)據(jù)集f)執(zhí)行相關(guān)命令對b)中選擇的模型進(jìn)行訓(xùn)練，g)使用驗(yàn)證數(shù)據(jù)集驗(yàn)證訓(xùn)練得到的模型準(zhǔn)確率，要求達(dá)到訓(xùn)練i)驗(yàn)證系統(tǒng)是否能夠執(zhí)行自動(dòng)斷點(diǎn)保存、進(jìn)行故障診斷并a)通過測試機(jī)登錄被測設(shè)備業(yè)務(wù)操作系統(tǒng)中；b)安裝加速卡加壓測試工具；8.3.4.4訓(xùn)練卡平均失效間隔工作時(shí)間參照GB/T34986-2017及GB/T9813.3-2本節(jié)通過在滿足7.3.3節(jié)要求的深度學(xué)習(xí)框架下，使用選定的深度學(xué)習(xí)算法模型在相應(yīng)的數(shù)據(jù)集上c)導(dǎo)入相關(guān)測試腳本并部署，設(shè)置檢查點(diǎn)保存和加載操作，加載訓(xùn)練數(shù)據(jù)集和e)根據(jù)模型訓(xùn)練的需要和測試目的，啟用單機(jī)單卡、單機(jī)多卡，或者多機(jī)多卡h)驗(yàn)證訓(xùn)練過程中，所有加速卡是否均在位且運(yùn)行正常，無告警；依據(jù)6.2.5節(jié)中給出的性能度量指標(biāo)及其計(jì)算方法，在8.3.5.2節(jié)的測試過程中獲取并記錄相關(guān)數(shù)練線性度、檢查點(diǎn)保存和加載時(shí)間等，通過相關(guān)指標(biāo)對訓(xùn)練卡的模型訓(xùn)練性能進(jìn)行度量。8.4.1.1推理卡支持的數(shù)據(jù)精度類型8.4.1.2推理卡自定義算子開發(fā)功能b)編譯并安裝推理卡編譯器功能依賴的軟件工具；c)執(zhí)行相關(guān)命令，通過b)中的軟件棧編譯器工具，根據(jù)推理卡支持的編譯階段、編譯輸入、編c)執(zhí)行相關(guān)命令，通過b)中的測試工具），8.4.1.5推理卡節(jié)點(diǎn)間高性能通信能力推理卡支持節(jié)點(diǎn)間高性能通信能力的測試方b)通過測試機(jī)登錄被測設(shè)備業(yè)務(wù)操作系統(tǒng)中；b)編譯并安裝集合通訊庫運(yùn)行所依賴的軟件工具；d)導(dǎo)入相關(guān)測試腳本并部署（相關(guān)操作需涵蓋典型f)驗(yàn)證推理卡是否支持集合通訊庫正常運(yùn)行，集合通訊操作結(jié)果與預(yù)期結(jié)果all、gather、reduce、reducescatter、scab)編譯并安裝推理卡依賴的推理軟件棧runtime等d)通過b)中的軟件工具調(diào)用算法模型，通過運(yùn)行模型推理服務(wù)部署工具實(shí)現(xiàn)模型的在線服務(wù)部f)通過相關(guān)測試腳本在客戶端實(shí)現(xiàn)模型的c)選取一種支持并行推理策略的深度學(xué)習(xí)框架或深度學(xué)習(xí)推f)執(zhí)行相關(guān)命令對d）中選擇的模型執(zhí)行數(shù)據(jù)b)編譯并安裝推理卡視頻解碼依賴的軟件工b)編譯并安裝推理卡圖像解碼依賴的軟件工c)執(zhí)行相關(guān)命令，讀取加速卡的顯存類型、顯存容量和顯存帶寬。推理卡的圖像解碼性能采用8.4.1.10的測試方法進(jìn)行b)選取至少一種主流的深度學(xué)習(xí)框架并安裝；e)執(zhí)行相關(guān)命令用c)中選擇的模型執(zhí)行數(shù)據(jù)推理，直到完成數(shù)據(jù)集所有數(shù)據(jù)的推理；8.4.3.2推理卡深度學(xué)習(xí)推理引擎適配b)安裝推理卡支持的深度學(xué)習(xí)推理引擎；d)將模型文件處理、轉(zhuǎn)換為可通過深度學(xué)習(xí)推理引擎運(yùn)行的f)執(zhí)行相關(guān)命令用c)中選擇的模型執(zhí)行數(shù)據(jù)推理，直到完成數(shù)據(jù)集所有數(shù)據(jù)的推理；8.4.3.4推理卡跨廠商模型推理兼容性d)通過模型訓(xùn)練生成模型文件，并將模型文件處理、轉(zhuǎn)換為被測設(shè)備支持的模型f)執(zhí)行相關(guān)命令采用d)中轉(zhuǎn)換后的模型文件執(zhí)b)選取一種主流的深度學(xué)習(xí)框架或深度學(xué)習(xí)推理引擎并安裝；b)安裝加速卡加壓測試工具；8.4.4.4推理卡平均失效間隔工作時(shí)間參照GB/T34986-2017及GB/T9813.3-2對相關(guān)測試過程及結(jié)果進(jìn)行統(tǒng)計(jì)和度量，來測試人b)安裝被測設(shè)備支持的推理引擎或可運(yùn)行a）中模型推f)根據(jù)模型推理的需要和測試目的，啟用單機(jī)單卡、單機(jī)多卡，或者多機(jī)多卡的組網(wǎng)模式；g)推理過程不限制數(shù)據(jù)