T∕TAF 063-2020 移動智能終端人工智能性能基準(zhǔn)測試方法

電信終端產(chǎn)業(yè)協(xié)會發(fā)布BenchmarkTestMethodsforAIPerformanceofIntelligentTerminalI I 1 1 1 1 1 1 1 1 2 2 2 2 2 2 3 3 3 3 4 5 6 7 8 8 9 9 本標(biāo)準(zhǔn)中的某些內(nèi)容可能涉及專利。本標(biāo)準(zhǔn)的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)本標(biāo)準(zhǔn)起草單位：中國信息通信研究院、維沃移動通信有限公司、OPPO廣東移動通信使用AI場景，一部分AI應(yīng)用將以部署在終端設(shè)備的方式運行，如移動智能手機(jī)，平板電腦等。一款智能移動終端AI處理性能的好壞，一般可以通過基準(zhǔn)測試的方式衡量。本標(biāo)準(zhǔn)基于移動終端推理框架技術(shù)，提出一個合理、公平，能反映出終端實際的AI處理能力的基準(zhǔn)測試方法，包括對AI基準(zhǔn)測試在不同應(yīng)用場景的數(shù)據(jù)集的技術(shù)要求，測試方法和評測指標(biāo)，旨在讓終端AI處理性能測試得到可靠的，可比較的，能體現(xiàn)終端AI處理能力差異的評測結(jié)果，推動智能移動終端向AI終端發(fā)1移動智能終端人工智能性能基準(zhǔn)測試方法本標(biāo)準(zhǔn)規(guī)定了通過使用端側(cè)人工智能推理框架在移動智能終端側(cè)進(jìn)行推理計算的基準(zhǔn)測試的方法，可以對終端基于神經(jīng)網(wǎng)絡(luò)模型的計算性能進(jìn)行評估。評測場景包括圖像處理、視頻處理等不同場景，針對不同場景測試集，測試方法和評測指標(biāo)提本標(biāo)準(zhǔn)適用于具備智能操作系統(tǒng)的移動智能終端，包括數(shù)字移動電話機(jī)，平板電腦以及其他數(shù)字下列文件對于本標(biāo)準(zhǔn)的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本標(biāo)4術(shù)語和定義4.1神經(jīng)網(wǎng)絡(luò)模型4.2推理集4.3端側(cè)人工智能推理框架端側(cè)人工智能推理框架部署在移動智能終端上，通常由模型轉(zhuǎn)換工具和深度學(xué)習(xí)編譯器組成。端側(cè)人工智能推理框架可以分為通用框架和專用框架，通用框架能跨平臺運行，能在多種芯片平臺上運行的人工計算，如TensorFlowLite，PaddleLite等。專用框架指僅人工智能計算，如SNPE，HiAI等。在測試過程中需要指明使用的端側(cè)人工智能推24.4模型轉(zhuǎn)換工具4.5深度學(xué)習(xí)編譯器4.6基準(zhǔn)測試?yán)?.7終端硬件參與人工智能處理的硬件，包括CPU、GPU、AI硬件加速單元,內(nèi)存5.1測試構(gòu)架端側(cè)人工智能推理框架圖1移動智能終端人工智能性能基準(zhǔn)測試構(gòu)架35.2通用測試方法a)移動智能終端初始化，包括屏蔽測試無關(guān)的其他應(yīng)用、后臺功能、調(diào)整屏幕亮度、記錄初始電b)使用模型優(yōu)化工具將預(yù)訓(xùn)練的模型文件離線轉(zhuǎn)換為移動智能終端上可以直接運行的模型文件，e)測試過程中通過軟件方式或其他方式記錄模5.3性能指標(biāo)監(jiān)測性能指標(biāo)包括檢測人工智能推斷計算性能的模型性能指標(biāo)和硬件性能指標(biāo)。模型性能指標(biāo)參見第5）；）；1推理集要求進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取10000張圖片，分類類型1)加載數(shù)據(jù)集中的圖片到終端內(nèi)存，并完成圖像縮放、通道轉(zhuǎn)換等預(yù)處理工作；44)記錄模型輸出結(jié)果和該時刻的時間戳；5)重復(fù)步驟a)-d，直到數(shù)據(jù)集所有圖片完成測試，輸出記錄，計算指標(biāo)；6)測試需要使用float精度或int精度的模型分別進(jìn)行測TOP1準(zhǔn)確率（VTOP1,單位:%):在一次推理結(jié)果分類排序中，只有當(dāng)概率最單張圖片推理時間（InferenceTime,單N：該組圖片數(shù)量。2推理集要求2.MegaFace3.PubFig:PublicFiguresFaceDatabase進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取10000組，選取對象51)選取符合要求的推理集作為測試樣例，建立對應(yīng)的文件列2)將文件列表送入對比識別算法程序，開始執(zhí)行程序；3)從推理算法程序讀取文件列表時開始計時，記錄200組圖片對比完成所需要的時4)與數(shù)據(jù)庫中的圖像關(guān)系對比，計算測試樣例的正確通過率誤率，錯誤接受率為百萬分之一，千分之一，萬分之一處的正5)測試需要使用float精度或int精度的模型分別正確通過率(PassRate，PR，單位：%)錯誤接受率(FalseAcceptanceRate，F(xiàn)AR，單位：%)在冒充攻擊嘗試（錯誤指TN：不同人的樣本對被判為不同人的比對次N：該組圖片數(shù)量。3圖像語義分割（ImageSemanticSegmentation）融合了傳統(tǒng)的圖像分割和目標(biāo)6推理集要求進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取1000張，至少包括附錄B的分）；2)根據(jù)標(biāo)注的對象顏色和結(jié)果圖中對象顏色I(xiàn)oU:IntersectionoverUnion，用于評價單一目標(biāo)上檢測的準(zhǔn)確度。N：該組圖片數(shù)量47推理集要求見附錄C。進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取b)測試過程記錄每個數(shù)據(jù)的推導(dǎo)時間（入口和出口時）；PSNR（峰值信噪比）值x(i),y(i):圖像x,y像素值;N:圖像x,y的像素數(shù)（x,y分辨率相同）。SSIM（結(jié)構(gòu)相似度）值μx,μy：圖像x,y的均值；σxy：圖像x,y的協(xié)方差；(k1L)2，c2=(k2L)2：用來維持穩(wěn)定的常數(shù)，L是像素值的動態(tài)范圍，一般取255，k1=0.01,k2=0.03。N：該組圖片數(shù)量85其綜合了圖像分割和識別，能夠提取圖片中的對象類別以及具體位推理集要求1)加載數(shù)據(jù)集中1張圖片到終端內(nèi)存，并完成圖像縮放、通道轉(zhuǎn)換等預(yù)處理工作；2)評測軟件記錄本批次圖片推理前的時間戳；3)將內(nèi)存中預(yù)處理后的數(shù)據(jù)單張輸入推理模型；4)記錄模型輸出結(jié)果和該時刻的時間戳；5)重復(fù)步驟a)-d，直到數(shù)據(jù)集所有圖片完成測試，輸出記錄，計算指標(biāo)；6)測試需要使用float精度或int精度的模型分別進(jìn)行測試。mAP:MeanAveragePrecision，用于評價在全部測試IoU:IntersectionoverUni單張圖片推理時間（InferenceTime,單位：毫秒）：記錄一組圖片推理總耗N：該組圖片數(shù)量。79推理集要求拍攝一段有代表性的3分鐘街景視頻，確保內(nèi)容明確、目標(biāo)豐富。將視頻幀進(jìn)行mAP:MeanAveragePrecision，用