T∕TAF 063-2020 移動智能終端人工智能性能基準(zhǔn)測試方法

1、ICS 33.050.20M 30電信終端產(chǎn)業(yè)協(xié)會標(biāo)準(zhǔn)T/TAF 063-2020移動智能終端人工智能性能基準(zhǔn)測試方法Benchmark Test Methods for AI Performance of Intelligent Terminal2020- 08 - 04 發(fā)布2020 - 08 - 04 實(shí)施電信終端產(chǎn)業(yè)協(xié)會 發(fā)布目 次 HYPERLINK l _TOC_250003 目 次I HYPERLINK l _TOC_250002 前 言II HYPERLINK l _TOC_250001 引言III標(biāo)動智能終端人工智能性能基準(zhǔn)測試方法1范圍1規(guī)范性引用文件1文件清單的排列順序：

2、1術(shù)語和定義1神經(jīng)網(wǎng)絡(luò)模型1推理集1端側(cè)人工智能推理框架1模型轉(zhuǎn)換工具2深度學(xué)習(xí)編譯器2基準(zhǔn)測試?yán)?終端硬件2測試概述2測試構(gòu)架2通用測試方法3性能指標(biāo)監(jiān)測3圖像處理測試方法3圖像分類測試方法3人臉識別測試方法4目標(biāo)語義分割測試方法5圖片超分辨率測試方法6目標(biāo)檢測測試方法7視頻處理測試方法8視頻目標(biāo)檢測測試8附 錄 A （規(guī)范性附錄） 標(biāo)準(zhǔn)修訂歷史9附 錄 B 圖像語義分割測試類別9附 錄 C 圖像超分辨率測試推斷集10附 錄 D 目標(biāo)檢測類別10 HYPERLINK l _TOC_250000 參考文獻(xiàn)13前 言本標(biāo)準(zhǔn)按照 GB/T-2009 給出的規(guī)則起草。本標(biāo)準(zhǔn)中的某些內(nèi)容可能涉及專利。

3、本標(biāo)準(zhǔn)的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任。本標(biāo)準(zhǔn)由電信終端產(chǎn)業(yè)協(xié)會提出并歸口。本標(biāo)準(zhǔn)起草單位：中國信息通信研究院、維沃移動通信有限公司、OPPO廣東移動通信有限公司本標(biāo)準(zhǔn)主要起草人：解謙，盧炳全，高立發(fā)，賈利敏引言隨著人工智能的飛速發(fā)展，為滿足低響應(yīng)時間，高安全可靠性以及在任意使用環(huán)境下（如無網(wǎng)絡(luò)） 使用AI場景，一部分AI應(yīng)用將以部署在終端設(shè)備的方式運(yùn)行，如移動智能手機(jī)，平板電腦等。一款智 能移動終端AI處理性能的好壞，一般可以通過基準(zhǔn)測試的方式衡量。本標(biāo)準(zhǔn)基于移動終端推理框架技 術(shù)，提出一個合理、公平，能反映出終端實(shí)際的AI處理能力的基準(zhǔn)測試方法，包括對AI基準(zhǔn)測試在不 同應(yīng)用場景的數(shù)據(jù)集

4、的技術(shù)要求，測試方法和評測指標(biāo)，旨在讓終端AI處理性能測試得到可靠的，可 比較的，能體現(xiàn)終端AI處理能力差異的評測結(jié)果，推動智能移動終端向AI終端發(fā)展。移動智能終端人工智能性能基準(zhǔn)測試方法范圍本標(biāo)準(zhǔn)規(guī)定了通過使用端側(cè)人工智能推理框架在移動智能終端側(cè)進(jìn)行推理計算的基準(zhǔn)測試的方法，可以對終端基于神經(jīng)網(wǎng)絡(luò)模型的計算性能進(jìn)行評估。評測場景包括圖像處理、視頻處理等不同場景，針對不同場景測試集，測試方法和評測指標(biāo)提出要求。本標(biāo)準(zhǔn)適用于具備智能操作系統(tǒng)的移動智能終端，包括數(shù)字移動電話機(jī)，平板電腦以及其他數(shù)字移動通信終端設(shè)備。規(guī)范性引用文件下列文件對于本標(biāo)準(zhǔn)的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的

5、版本適用于本標(biāo)準(zhǔn)。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本標(biāo)準(zhǔn)。文件清單的排列順序：a）國家標(biāo)準(zhǔn)； b）行業(yè)標(biāo)準(zhǔn)； d）國內(nèi)有關(guān)文件；e）國際標(biāo)準(zhǔn)（含ITU標(biāo)準(zhǔn)、ISO/IEC標(biāo)準(zhǔn)等）； f）ISO或IEC有關(guān)文件；g）其他國際標(biāo)準(zhǔn)以及其他國際有關(guān)文件。術(shù)語和定義神經(jīng)網(wǎng)絡(luò)模型封裝了神經(jīng)網(wǎng)絡(luò)算法和參數(shù)的特定格式的文件，用于人工智能計算。本標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)模型應(yīng)為經(jīng)過訓(xùn)練且達(dá)到一定準(zhǔn)確率的模型。推理集作為人工智能推理計算的輸入數(shù)據(jù)集，可以為圖片，視頻等格式的數(shù)據(jù)或文件。端側(cè)人工智能推理框架端側(cè)人工智能推理框架部署在移動智能終端上，通常由模型轉(zhuǎn)換工具和深度學(xué)習(xí)編譯器組成。端側(cè)人工

6、智能推理框架可以分為通用框架和專用框架，通用框架能跨平臺運(yùn)行，能在多種芯片平臺上運(yùn)行的人工計算，如TensorFlow Lite，Paddle Lite等。專用框架指僅能在指定的部分芯片平臺上運(yùn)行的人工智能計算，如SNPE，HiAI等。在測試過程中需要指明使用的端側(cè)人工智能推理框架。模型轉(zhuǎn)換工具模型轉(zhuǎn)換工具能將輸入的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)移動終端特點(diǎn)進(jìn)行剪裁壓縮和優(yōu)化，具有減小模型體積、優(yōu)化算法操作和參數(shù)精度等功能。深度學(xué)習(xí)編譯器用于解決深度神經(jīng)網(wǎng)絡(luò)模型在使用不同底層硬件計算芯片計算的適配等問題，為上層應(yīng)用的執(zhí)行提供硬件加速能力?；鶞?zhǔn)測試?yán)鶞?zhǔn)測試?yán)秊橹付y試場景下，使用神經(jīng)網(wǎng)絡(luò)模型推理算法對推理

7、測試集進(jìn)行推理測試的測試?yán)＝K端硬件參與人工智能處理的硬件，包括CPU、GPU、AI硬件加速單元,內(nèi)存、電池等。測試概述測試構(gòu)架基準(zhǔn)測試指通過運(yùn)行一段（一組）程序或者操作，來評測終端相關(guān)性能的活動。移動智能終端人工智能性能基準(zhǔn)測試指通過端側(cè)人工智能推理框架，運(yùn)行不同的神經(jīng)神經(jīng)網(wǎng)絡(luò)模型和測試負(fù)載進(jìn)行推理運(yùn)算，以此來綜合評價測試對象的AI計算性能。移動智能終端人工智能性能基準(zhǔn)測試包括圖像處理、視頻處理測試。具體測試框架如下，見圖1：端側(cè)人工智能推理框架終端硬件深度學(xué)習(xí)編譯器推斷集神經(jīng)網(wǎng)絡(luò)模型基準(zhǔn)測試?yán)Ｐ娃D(zhuǎn)換工具電池內(nèi)存DSPNPUGPUCPU性能指標(biāo)監(jiān)測圖1 人工智能基準(zhǔn)測試構(gòu)架圖 1 移動智能

8、終端人工智能性能基準(zhǔn)測試構(gòu)架通用測試方法移動智能終端初始化，包括屏蔽測試無關(guān)的其他應(yīng)用、后臺功能、調(diào)整屏幕亮度、記錄初始電量等,使得每次測試前終端的運(yùn)行狀態(tài)保持一致；使用模型優(yōu)化工具將預(yù)訓(xùn)練的模型文件離線轉(zhuǎn)換為移動智能終端上可以直接運(yùn)行的模型文件， 并進(jìn)行優(yōu)化；將測試?yán)评砑膱D像或視頻資源進(jìn)行縮放、通道轉(zhuǎn)換等預(yù)處理工作；將預(yù)處理的測試圖像或視頻資源輸入優(yōu)化后的模型進(jìn)行推理測試；測試過程中通過軟件方式或其他方式記錄模型指標(biāo)和硬件性能指標(biāo)。性能指標(biāo)監(jiān)測性能指標(biāo)包括檢測人工智能推斷計算性能的模型性能指標(biāo)和硬件性能指標(biāo)。模型性能指標(biāo)參見第5 章內(nèi)容。硬件性能指標(biāo)為通用測試指標(biāo)包括功耗，內(nèi)存，CPU等

9、，具體為：功耗為測試過程中損失的電量百分比；內(nèi)存平均占用為測試過程中測試工具占用的平均內(nèi)存量；測試過程中CPU平均使用率（可選）；測試過程中的CPU平均工作溫度（可選）；測試過程中電池平均工作溫度（可選）。圖像處理測試方法圖像分類測試方法測試編號1測試名稱圖像分類測試測試描述根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標(biāo)區(qū)分開來的圖像處理方法。推理集要求推理集應(yīng)由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開數(shù)據(jù)集包括如下圖片集：CIFAR-100；Caltech_256；ImageNet。進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取10000張圖片，分類類型不少于100類

10、。模型要求評測模型可以選擇下表所列深度學(xué)習(xí)模型：Inception v3；MobileNet V1。測試步驟1) 加載數(shù)據(jù)集中的圖片到終端內(nèi)存，并完成圖像縮放、通道轉(zhuǎn)換等預(yù)處理工作；評測軟件記錄本次圖片推理前的時間戳；將內(nèi)存中預(yù)處理后的數(shù)據(jù)輸入推理模型；記錄模型輸出結(jié)果和該時刻的時間戳；重復(fù)步驟a)-d，直到數(shù)據(jù)集所有圖片完成測試，輸出記錄，計算指標(biāo)；測試需要使用 float 精度或 int 精度的模型分別進(jìn)行測試。測試指標(biāo)TOP1準(zhǔn)確率（ 在一次推理結(jié)果分類排序中，只有當(dāng)概率最高的結(jié)果為正確分類，本次推理結(jié)果才能判定為正確，統(tǒng)計所有圖片的推理結(jié)果，用正確推理圖片數(shù)量除以圖片總數(shù)，得到TOP1

11、準(zhǔn)確率。TP1：推理結(jié)果中，Top1 分類正確的圖片數(shù)量； FN1：推理結(jié)果中，Top1 分類不正確的圖片數(shù)量。TOP5準(zhǔn)確率（ 單位：%）,在一次推理結(jié)果分類排序中，概率排名前五的結(jié)果中包含正確的分類，本次推理結(jié)果判定為正確，統(tǒng)計所有圖片的推理結(jié)果，用正確推理圖片數(shù)量除以圖片總數(shù)，得到TOP5準(zhǔn)確率。TP5：推理結(jié)果中，Top5 分類正確的圖片數(shù)量； FN5：推理結(jié)果中，Top5 分類不正確的圖片數(shù)量。單張圖片推理時間（ 單位：毫秒）：記錄一組圖片推理總耗時， 計算出單張圖片平均推理時間：TN：一組圖片推理總耗時；N：該組圖片數(shù)量。人臉識別測試方法測試編號2測試名稱人臉識別測試測試描述針對人

12、臉照片進(jìn)行特征提取和比對，并根據(jù)終端的平均處理時長，量化移動終端的性能。推理集要求推理集應(yīng)由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開數(shù)據(jù)集包括如下圖片集：Labeled Faces in the Wild Home (LFW)MegaFacePubFig: Public Figures Face DatabaseColorferet進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取10000組，選取對象按照不同年齡段和不同性別兩個維度選取，至少包括男性兒童，女性兒童，男性成人，女性成人，男性老人，女性老人。模型要求評測模型可以選擇下表所列深度學(xué)習(xí)模型：1.facenet測試步驟選取

13、符合要求的推理集作為測試樣例，建立對應(yīng)的文件列表；將文件列表送入對比識別算法程序，開始執(zhí)行程序；從推理算法程序讀取文件列表時開始計時，記錄200組圖片對比完成所需要的時間和對比結(jié)果；與數(shù)據(jù)庫中的圖像關(guān)系對比，計算測試樣例的正確通過率，錯誤接受率。統(tǒng)計錯誤率，錯誤接受率為百萬分之一，千分之一，萬分之一處的正確通過率；測試需要使用 float 精度或 int 精度的模型分別進(jìn)行測試。測試指標(biāo)正確通過率(Pass Rate，PR，單位：%)在真實(shí)的驗(yàn)證過程中（正確指紋）同一個人的樣本被判斷為同一個人的比對次數(shù)占總比對次數(shù)的比例：TP：同一個人的樣本對被判斷為同一個人的比對次數(shù)； FN：同一個人的樣本

14、對被判為不同人的比對次數(shù)。錯誤接受率(False Acceptance Rate，F(xiàn)AR，單位：%)在冒充攻擊嘗試（錯誤指紋）中被錯誤接受的比例：FAR=FP100% TN+FPFP：不同人的樣本對被判為同一個人的比對次數(shù)； TN：不同人的樣本對被判為不同人的比對次數(shù)。單張圖片推理時間（ 單位：毫秒）：記錄200組圖片推理總耗時， 計算出單張圖片平均推理時間：TN：一組圖片推理總耗時；N：該組圖片數(shù)量。目標(biāo)語義分割測試方法測試編號3測試名稱圖像語義分割測試測試描述圖像語義分割（Image Semantic Segmentation）融合了傳統(tǒng)的圖像分割和目標(biāo)識別兩個任務(wù)，將圖像分割成一組具有一

15、定語義含義的塊，并識別出每個分割塊的類別，最終得到一幅具有逐像素語義標(biāo)注的圖像。推理集要求推理集應(yīng)由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開數(shù)據(jù)集包括如下圖片集：1. PASCAL VOC2012進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取1000張，至少包括附錄B的分類。模型要求評測模型可以選擇表所列深度學(xué)習(xí)模型：unet；deeplabv3。測試步驟使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)算法對推理集圖片進(jìn)行語義分割：測試過程記錄每個數(shù)據(jù)的推導(dǎo)時間（入口和出口時間差）；IoU計算方法：分別加載標(biāo)注圖和結(jié)果圖；根據(jù)標(biāo)注的對象顏色和結(jié)果圖中對象顏色，統(tǒng)計顏色吻合的像素點(diǎn)；根據(jù)標(biāo)注對象顏色和結(jié)果圖

16、對象顏色，統(tǒng)計色塊像素；根據(jù)統(tǒng)計結(jié)果計算IoU；其他分類范圍也用相同的方式分別計算IoU；測試需要使用float精度或int精度的模型分別進(jìn)行測試。測試指標(biāo)分割類別支持分割的對象類別，記錄識別出超出推理集要求的種類個數(shù)和少于推理集要求的種類個數(shù)之和。測試集的平均mIoU：IoU: Intersection over Union，用于評價單一目標(biāo)上檢測的準(zhǔn)確度。 IoU 為推理結(jié)果區(qū)域與實(shí)際目標(biāo)區(qū)域的交集比并集。單張圖片推理時間（ 單位：毫秒）：記錄一組圖片推理總耗時， 計算出單張圖片平均推理時間：TN：一組圖片推理總耗時N：該組圖片數(shù)量圖片超分辨率測試方法測試編號4測試名稱圖片超分辨率測試測試

17、描述指由一幅低分辨率圖像或圖像序列恢復(fù)出高分辨率圖像。推理集要求推理集應(yīng)由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開數(shù)據(jù)集見附錄C。進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取10000張圖片。模型要求評測模型可以選擇下表所列深度學(xué)習(xí)模型：SRCNNvdsr測試步驟依據(jù)具體的使用場景先將推斷集圖片壓縮，然后使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)算法對壓縮圖片進(jìn)行超分放大。測試過程記錄每個數(shù)據(jù)的推導(dǎo)時間（入口和出口時間差）；使用超分放大圖片和原始圖片質(zhì)量計算評測指標(biāo)；測試需要使用float精度或int精度的模型分別進(jìn)行測試。測試指標(biāo)PSNR（峰值信噪比）值NMSE 1 (x(i) y(i)2N i

18、1L2 PSNR 10*log10 ( MSE )x(i), y(i) :圖像 x,y 像素值;L :像素值的動態(tài)范圍，一般取255;N : 圖像 x,y 的像素數(shù)（ x,y 分辨率相同）。SSIM（結(jié)構(gòu)相似度）值(2 +C )(2 +C )SSIM (x, y) x y1xy2(2 + 2 +C )( 2 + 2 +C )xy1xy2x , y ：圖像 x,y 的均值； 2 , 2 ：圖像 x,y 的方差；xy xy ：圖像 x,y 的協(xié)方差；c (k L)2 ， c (k L)2 ：用來維持穩(wěn)定的常數(shù)， L 是像素值的動態(tài)范1122圍，一般取255， k1 0.01, k2 0.03 。單

19、張圖片推理時間（ 單位：毫秒）：記錄一組圖片推理總耗時， 計算出單張圖片平均推理時間：TN：一組圖片推理總耗時N：該組圖片數(shù)量目標(biāo)檢測測試方法測試編號5測試名稱目標(biāo)檢測測試測試描述目標(biāo)檢測，也稱為目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計特征的圖像分割技術(shù)。其綜合了圖像分割和識別，能夠提取圖片中的對象類別以及具體位置信息。推理集要求推理集應(yīng)由公開渠道可自由獲取的非商業(yè)用途圖片數(shù)據(jù)構(gòu)成，可選的公開數(shù)據(jù)集包括如下圖片集：1. COCO進(jìn)行基準(zhǔn)測試時，應(yīng)從公開數(shù)據(jù)集的測試集中隨機(jī)抽取10000張圖片，分類類型見附錄D，每類隨機(jī)選取20張樣本圖片。模型要求評測模型可以選擇下表所列深度學(xué)習(xí)模型：MobileNe

20、tV2-SSD,ResNet-SSD.測試步驟加載數(shù)據(jù)集中1張圖片到終端內(nèi)存，并完成圖像縮放、通道轉(zhuǎn)換等預(yù)處理工作；評測軟件記錄本批次圖片推理前的時間戳；將內(nèi)存中預(yù)處理后的數(shù)據(jù)單張輸入推理模型；記錄模型輸出結(jié)果和該時刻的時間戳；重復(fù)步驟a)-d，直到數(shù)據(jù)集所有圖片完成測試，輸出記錄，計算指標(biāo)；測試需要使用float精度或int精度的模型分別進(jìn)行測試。測試指標(biāo)準(zhǔn)確度 mAP0.5 ：在IoU閾值為0.5的前提下，在所有類別上的mAP值。mAP: Mean Average Precision，用于評價在全部測試樣本上的準(zhǔn)確度。與 IoU 設(shè)置緊密相關(guān)。IoU: Intersection over

21、Union，用于評價單一目標(biāo)上檢測的準(zhǔn)確度。 IoU 為推理結(jié)果區(qū)域與實(shí)際目標(biāo)區(qū)域的交集比并集。單張圖片推理時間（ 單位：毫秒）：記錄一組圖片推理總耗時，計算出單張圖片平均推理時間：TN：一組圖片推理總耗時；N：該組圖片數(shù)量。視頻處理測試方法視頻目標(biāo)檢測測試測試編號7測試名稱對視頻中的內(nèi)容進(jìn)行目標(biāo)檢測處理測試描述根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標(biāo)區(qū)分開來的圖像處理方法。推理集要求拍攝一段有代表性的3分鐘街景視頻，確保內(nèi)容明確、目標(biāo)豐富。將視頻幀進(jìn)行人工切割和目標(biāo)標(biāo)注，以此形成最終視頻輸入樣本。至少包括建筑，汽車，行人，交通指示牌。模型要求見 6.5測試步驟按每幀將視頻中的圖

22、像取出進(jìn)行處理；其余測試方法參考5.6。測試指標(biāo)速度FPS：Frame Per Second，每秒鐘最大能處理的圖片張數(shù)。準(zhǔn)確度 mAP0.5 ：在IoU閾值為0.5的前提下，在所有類別上的mAP值。mAP: Mean Average Precision，用于評價在全部測試樣本上的準(zhǔn)確度。與 IoU 設(shè)置緊密相關(guān)。IoU: Intersection over Union，用于評價單一目標(biāo)上檢測的準(zhǔn)確度。 IoU 為推理結(jié)果區(qū)域與實(shí)際目標(biāo)區(qū)域的交集比并集。附 錄 A（規(guī)范性附錄） 標(biāo)準(zhǔn)修訂歷史修訂時間修訂后版本號修訂內(nèi)容附 錄 B圖像語義分割測試類別序號父類子類1人（Person）人（perso

23、n）2動物(Animal)鳥（bird）3動物(Animal)貓（cat）4動物(Animal)牛（cow）5動物(Animal)狗（dog）6動物(Animal)馬（horse）7動物(Animal)羊（Sheep）8交通工具(Vehicle)飛機(jī)（aeroplane）9交通工具(Vehicle)自行車（bicycle）10交通工具(Vehicle)船（boat）11交通工具(Vehicle)巴士（bus）12交通工具(Vehicle)車（car）13交通工具(Vehicle)摩托車（motorbike）14交通工具(Vehicle)火車（train）15Indoor(室內(nèi)家具)瓶子（bot

24、tle）16Indoor(室內(nèi)家具)椅子（chair）17Indoor(室內(nèi)家具)餐桌（dining table）18Indoor(室內(nèi)家具)盆栽（potted plant）19Indoor(室內(nèi)家具)沙發(fā)（sofa）20Indoor(室內(nèi)家具)電視/監(jiān)視器（tv/monitor）附 錄 C圖像超分辨率測試推斷集序號數(shù)據(jù)集名稱數(shù)量分辨率格式種類1BSDS300300（435,367）JPG動物，建筑，食物，風(fēng)景，人物，植物等2BSD500500(432,370)JPG動物，建筑，食物，風(fēng)景，人物，植物等3DIV2K1000(1972,1437)PNG環(huán)境，植物，動物，手工制品，人物，風(fēng)景等4G

25、eneral-100100(435,381)BMP動物，日用品，食物，人物，植物，地質(zhì)等5L2020(3843,2870)PNG動物，建筑，風(fēng)景，人物，植物等6Manga109109(826,1169)PNG漫畫7OutdoorScene10624(553,440)PNG動物，建筑，草，山，植物，天空，水8PIRM200(617,482)PNG環(huán)境，植物，自然風(fēng)景，人物等9Set55(313,336)PNG小孩，鳥，蝴蝶，頭，女人10Set1414(492,446)PNG人類，動物，昆蟲，花，蔬菜，漫畫等11T9191(264,204)PNG車，花，水果，人臉等12Urban100100(98

26、4,797)PNG建筑，城市，結(jié)構(gòu)等附 錄 D 目標(biāo)檢測類別序號COCO類別編號目標(biāo)類別父類11人 person人 Person22自行車 bicycle交通工具 Vehicle33汽車 car交通工具 Vehicle45飛機(jī) airplane交通工具 vehicle57火車 train交通工具 vehicle69船 boat交通工具 vehicle710交通信號燈 traffic light室外 outdoor811消防栓 fire hydrant室外 outdoor912路標(biāo) street sign室外 outdoor1013停止標(biāo)識 stop sign室外 outdoor1116鳥 bird動物 animal1217貓 cat動物 animal1318狗 dog動物 animal1419馬 horse動物 animal1520羊 sheep動物 animal1626帽子 hat動物 accessory1727登山包 backpack配件 accessory1828雨傘 umbrella配件 acces