人工智能計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)規(guī)范

1人工智能計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)規(guī)范本文件規(guī)定了基于機(jī)器學(xué)習(xí)的計(jì)算機(jī)視覺系統(tǒng)的測(cè)評(píng)規(guī)范，包括測(cè)評(píng)指標(biāo)體系和測(cè)評(píng)流程。本文件適用于企業(yè)、研究機(jī)構(gòu)等對(duì)基于機(jī)器學(xué)習(xí)的計(jì)算機(jī)視覺系統(tǒng)的設(shè)計(jì)、研發(fā)、測(cè)試、部署與運(yùn)維，其他人工智能領(lǐng)域可參考使用。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T25000.10-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE)第10部分：系統(tǒng)與軟件質(zhì)量模型T/CESA1026-2018人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范ISO22300:2021安全與恢復(fù)力術(shù)語(Securityandresilience-Vocabulary)3術(shù)語和定義T/CESA1026-2018界定的以及下列術(shù)語和定義適用于本文件。3.1計(jì)算機(jī)視覺系統(tǒng)computervisionsystem基于機(jī)器學(xué)習(xí)算法，對(duì)數(shù)字圖像或視頻中的目標(biāo)實(shí)現(xiàn)分類、檢測(cè)、分割任務(wù)的計(jì)算機(jī)應(yīng)用系統(tǒng)。注：本文件所述計(jì)算機(jī)視覺系統(tǒng)，不包括非機(jī)器學(xué)習(xí)的系統(tǒng)，且只關(guān)3.2圖像分類imageclassification根據(jù)一定的規(guī)則，將圖像自動(dòng)劃分到某一個(gè)預(yù)定義類別。3.3圖像分割imagesegmentation將圖像分解成若干個(gè)各向同性區(qū)域。3.4語義分割semanticsegmentation給圖像中每個(gè)像素賦予一個(gè)所屬對(duì)象類別的標(biāo)簽。將圖像分成若干部分，每一部分屬于某一類型對(duì)3.5實(shí)例分割instancesegmentation標(biāo)記圖像中每個(gè)像素所屬的物體實(shí)例。3.6目標(biāo)檢測(cè)objectdetection確認(rèn)圖像中是否存在指定類別的對(duì)象并確定其位置和大小。3.7混淆矩陣confusionmatrix2每一類事件（對(duì)象、物體等）被預(yù)測(cè)為所有類型事件（對(duì)象、物體等）的概率。3.8精度precision被預(yù)測(cè)為正樣本的集合中正樣本的比率。3.9召回率recall被正確預(yù)測(cè)的正樣本占全部正樣本的比率。3.10F1測(cè)度F1score精度和召回率的調(diào)和平均值。3.11受試者工作特征曲線receiveroperatingcharacteristiccurve由不同設(shè)定條件下的真正率和假正率值畫出的響應(yīng)曲線。3.12真負(fù)率truenegativerate被正確預(yù)測(cè)的負(fù)樣本占全部負(fù)樣本的比率。3.13假正率falsepositiverate被錯(cuò)誤預(yù)測(cè)的負(fù)樣本占全部負(fù)樣本的比率。3.14錯(cuò)誤接受率falseacceptancerate接受不該接受的樣本的比率。[來源：ISO22300:2021，3.2.18]3.15錯(cuò)誤拒絕率falserejectionrate拒絕不該拒絕的樣本的比率。[來源：ISO22300:2021，3.2.19]3.16可解釋性interpretability人類能夠理解人工智能技術(shù)內(nèi)在工作原理及其作出決策原因的程度。4縮略語下列縮略語適用于本文件。ARM：高級(jí)精簡(jiǎn)指令集機(jī)器（AdvancedRISCMachine）AUC：曲線下面積（AreaUnderCurve）CPU：中央處理器（CentralProcessingUnit）FN：假負(fù)（FalseNegative）FP：假正（FalsePositive）FWIoU：頻率加權(quán)交并比（FrequencyWeightedIntersectionoverUnion）GPU：圖形處理器（GraphicProcessingUnit）IoU：交并比（IntersectionoverUnion）mAP：整體平均準(zhǔn)確率（MeanAveragePrecision）MIoU：平均交并比（MeanIntersectionoverUnion）MIPS：無內(nèi)部互鎖流水級(jí)的微處理器(MicroprocessorwithoutInterlockedPipedStagesarchitecture)3MPA：平均像素準(zhǔn)確率（MeanPixelAccuracy）NPU：神經(jīng)網(wǎng)絡(luò)處理器（Neural-networkProcessingUnit）PA：像素準(zhǔn)確率（PixelAccuracy）ROC：受試者操作特性曲線（ReceiverOperatingCharacteristic）TP：真正（TruePositive）TN：真負(fù)（TrueNegative）5計(jì)算機(jī)視覺系統(tǒng)的基本框架本文件所述的計(jì)算機(jī)視覺系統(tǒng)，主要是指連接在圖像采集系統(tǒng)之后，對(duì)輸入的圖像或視頻進(jìn)行處理的應(yīng)用系統(tǒng)，分為預(yù)處理模塊和模型兩部分，其基本框架如圖1所示。其中，預(yù)處理模塊對(duì)圖像或視頻輸入做一些必要的處理（如圖像裁剪、圖像分辨率調(diào)整、圖像色彩和光照的轉(zhuǎn)換等模型對(duì)預(yù)處理后的圖像或視頻進(jìn)行推斷，模型的參數(shù)值由訓(xùn)練數(shù)據(jù)訓(xùn)練所得。圖1基于機(jī)器學(xué)習(xí)的計(jì)算機(jī)視覺系統(tǒng)基本框架6計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)指標(biāo)6.1概述本文件給出了一套計(jì)算機(jī)視覺系統(tǒng)的測(cè)評(píng)指標(biāo)體系，如圖2所示，包含10個(gè)一級(jí)指標(biāo)和47個(gè)二級(jí)指標(biāo)。在實(shí)施測(cè)評(píng)過程中，應(yīng)根據(jù)系統(tǒng)的質(zhì)量目標(biāo)選取相應(yīng)指標(biāo)。4圖2計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)指標(biāo)體系6.2計(jì)算機(jī)視覺系統(tǒng)的功能有效性用戶可以根據(jù)實(shí)際的應(yīng)用場(chǎng)景選擇相關(guān)的基本指標(biāo)，用于評(píng)估計(jì)算機(jī)視覺系統(tǒng)實(shí)現(xiàn)的功能是否滿足要求。根據(jù)視覺系統(tǒng)的任務(wù)不同，功能有效性的評(píng)估應(yīng)包括但不限于下列內(nèi)容：a)圖像分類任務(wù)的評(píng)估指標(biāo)：51)混淆矩陣：在二分類任務(wù)中，混淆矩陣是通過樣本的標(biāo)簽和模型分類結(jié)果組成的2×2矩陣，其中，左上角為真正樣本數(shù)（真實(shí)值和模型預(yù)測(cè)值同時(shí)為正，TP），左下角為假正樣本數(shù)（真實(shí)值為負(fù)，而模型預(yù)測(cè)值為正，F(xiàn)P），右上角為假負(fù)樣本數(shù)（真實(shí)值為正，而模型預(yù)測(cè)值為負(fù)，F(xiàn)N右下角為真負(fù)樣本數(shù)（真實(shí)值和模型預(yù)測(cè)值同時(shí)為負(fù)，TN表1二分類混淆矩陣在多分類任務(wù)中，混淆矩陣的每一列代表了預(yù)測(cè)類別，每一列的總數(shù)等于預(yù)測(cè)為該類別數(shù)據(jù)的數(shù)目；每一行代表了數(shù)據(jù)的真實(shí)歸屬類別，每一行的數(shù)據(jù)總數(shù)等于該類別數(shù)據(jù)實(shí)例的數(shù)目；第i行第j列的數(shù)值表示第i類數(shù)據(jù)被預(yù)測(cè)為第j類的數(shù)目，見表2。表2多分類混淆矩陣aaaaaaaaa2)準(zhǔn)確率：對(duì)于給定的數(shù)據(jù)集，正確分類的樣本數(shù)占全部樣本數(shù)的比率。3)精度：對(duì)于給定的數(shù)據(jù)集，被預(yù)測(cè)為正樣本的集合中正樣本的比率。4)召回率：對(duì)于給定的數(shù)據(jù)集，被正確預(yù)測(cè)的正樣本占全部正樣本的比率5)真負(fù)率：對(duì)于給定的數(shù)據(jù)集，被正確預(yù)測(cè)的負(fù)樣本占全部負(fù)樣本的比率。6)錯(cuò)誤接受率：也稱假正率，對(duì)于給定數(shù)據(jù)集，被錯(cuò)誤預(yù)測(cè)的負(fù)樣本占全部負(fù)樣本的比率。7)錯(cuò)誤拒絕率：對(duì)于給定的數(shù)據(jù)集，預(yù)測(cè)錯(cuò)誤的正例樣本占所有實(shí)際為正例樣本的比率。8)F1測(cè)度：精度和召回率的調(diào)和平均值。9)多分類任務(wù)下的指標(biāo)計(jì)算：在n分類任務(wù)中，根據(jù)表2的多分類混淆矩陣得到了所有種類的預(yù)測(cè)值分布情況，并基于這些數(shù)據(jù)計(jì)算多分類任務(wù)的準(zhǔn)確率、精度、召回率、F1測(cè)度等指標(biāo)，在此基礎(chǔ)上，進(jìn)一步采用宏平均和微平均來評(píng)價(jià)整個(gè)多分類任務(wù)的功能有效性。宏平均：對(duì)每一個(gè)類別分別計(jì)算統(tǒng)計(jì)指標(biāo)值，即把每個(gè)類別視作二分類情況進(jìn)行統(tǒng)計(jì)，然后再對(duì)所有類的結(jié)果取算術(shù)平均值。如：宏準(zhǔn)確率=微平均：把所有類別的真正、真負(fù)、假正、假負(fù)類相加，計(jì)算類別預(yù)測(cè)的統(tǒng)計(jì)指標(biāo)。如：610)ROC曲線：ROC的橫軸是假正率，代表所有被錯(cuò)誤預(yù)測(cè)的負(fù)樣本占全部負(fù)樣本的比率。ROC的縱軸是召回率，代表所有正樣本中預(yù)測(cè)正確的概率。每次選取一個(gè)不同的正負(fù)判定閾值，就可以得到一組假正率和召回率，即ROC曲線上的一點(diǎn)。將正負(fù)判定閾值從0到1取不同的值時(shí)，可以得到一系列(假正率,召回率)點(diǎn)。將這些點(diǎn)連接起來，就得到了ROC曲線。ROC曲線的對(duì)角線坐標(biāo)對(duì)應(yīng)于隨機(jī)猜測(cè)，而坐標(biāo)點(diǎn)(0,1)也即是左上角坐標(biāo)對(duì)應(yīng)理想模型。曲線越接近左上角代表模型的效果越好。ROC曲線如圖3所示：11)AUC：即為ROC曲線下面積，AUC越接近于1，分類性能越好。b)目標(biāo)檢測(cè)任務(wù)的評(píng)估指標(biāo)：注：分類任務(wù)的指標(biāo)也適用于目標(biāo)檢測(cè)任務(wù)。1)交并比：用來評(píng)價(jià)目標(biāo)框和預(yù)測(cè)框之間重合度。計(jì)算公式如下所示，其中Bp代表預(yù)測(cè)的矩形框區(qū)域、Bgt代表標(biāo)注的矩形框區(qū)域。2)整體平均準(zhǔn)確率：對(duì)于每一個(gè)類別，首先按照置信度（如IoU值大?。┌衙總€(gè)預(yù)測(cè)結(jié)果進(jìn)行排序，再取不同置信度閾值，把每個(gè)預(yù)測(cè)結(jié)果分為真正、假正、真負(fù)和假負(fù)類，從而獲得在該閾值下的精度和召回率值。畫出該類別以精度為縱軸，召回率為橫軸所繪制的P-R曲線，該類別的平均準(zhǔn)確率就是此P-R曲線下的面積。以上過程遍歷所有的類別之后，對(duì)所有類別的平均準(zhǔn)確率求平均，即可得到模型整體的平均準(zhǔn)確率mAP。c)圖像分割任務(wù)的評(píng)估指標(biāo)：假設(shè)共有k+1類（語義分割與實(shí)例分割均可將目標(biāo)分類，為L(zhǎng)0,...,Lk，包括對(duì)象、類別、空類或者是背景pij表示屬于第i類被分到第j類的像素?cái)?shù)量。則圖像分割的評(píng)估指標(biāo)有：1)像素準(zhǔn)確率（PA）：正確分類的像素?cái)?shù)量與所有像素?cái)?shù)量的比值。2)平均像素準(zhǔn)確率（MPA）：按類計(jì)算正確分類像素的與該類像素?cái)?shù)量的比值，再由類總數(shù)取平均。3)平均交并比（MIoU按類計(jì)算第i類像素集合與被預(yù)測(cè)為第i類的像素集合的交集與其并集的重合比例，再將所有類取平均。74)頻率加權(quán)交并比（FWIoU是對(duì)MIoU的改進(jìn)，對(duì)每個(gè)類別按照重要性進(jìn)行加權(quán)，重要性來自于其出現(xiàn)的頻率。6.3計(jì)算機(jī)視覺系統(tǒng)的性能用戶可以根據(jù)實(shí)際的應(yīng)用場(chǎng)景選擇相關(guān)的基本指標(biāo)，用于評(píng)估計(jì)算機(jī)視覺系統(tǒng)的性能是否滿足要求，應(yīng)包括但不限于下列內(nèi)容：a)系統(tǒng)推斷時(shí)間：計(jì)算機(jī)視覺系統(tǒng)對(duì)給定的n個(gè)數(shù)據(jù)樣本進(jìn)行推斷并獲得結(jié)果所需要的平均時(shí)間、最短時(shí)間和最長(zhǎng)時(shí)間。b)系統(tǒng)運(yùn)行占用的系統(tǒng)資源：包括系統(tǒng)運(yùn)行時(shí)占用的系統(tǒng)CPU、GPU、NPU、內(nèi)存、顯存等。c)模型的算力需求：對(duì)于給定模型，執(zhí)行推斷所需要的算力。d)模型的存儲(chǔ)需求：對(duì)于給定模型，存儲(chǔ)模型所需要的存儲(chǔ)空間。e)模型壓縮性能：針對(duì)不同的壓縮比例（如90%，80%，70%，60%），比較模型在壓縮后與壓縮前的預(yù)測(cè)性能。f)系統(tǒng)業(yè)務(wù)吞吐量：?jiǎn)挝粫r(shí)間內(nèi)系統(tǒng)處理的圖像或視頻的數(shù)據(jù)量。6.4計(jì)算機(jī)視覺系統(tǒng)的兼容性用于評(píng)估計(jì)算機(jī)視覺系統(tǒng)對(duì)不同圖像、視頻格式的兼容性，應(yīng)包括下列內(nèi)容：a)系統(tǒng)對(duì)不同圖像、視頻格式的兼容性：評(píng)估模型能否根據(jù)用戶需求處理不同格式的圖像或視頻。b)系統(tǒng)對(duì)不同分辨率的兼容性：評(píng)估模型能否根據(jù)用戶需求處理不同分辨率的圖像或視頻。c)計(jì)算機(jī)視覺系統(tǒng)對(duì)操作系統(tǒng)的兼容性：評(píng)估計(jì)算機(jī)視覺系統(tǒng)能否根據(jù)用戶需求兼容不同操作系統(tǒng)，或兼容同一類型操作系統(tǒng)的不同版本。d)計(jì)算機(jī)視覺系統(tǒng)對(duì)其他軟件的兼容性：評(píng)估視覺系統(tǒng)能夠根據(jù)客戶需求兼容同一操作系統(tǒng)下其他軟件。6.5計(jì)算機(jī)視覺系統(tǒng)的維護(hù)性用于評(píng)估計(jì)算機(jī)視覺系統(tǒng)能夠被運(yùn)維人員修改的有效性和效率以及自身的可恢復(fù)性，應(yīng)包括下列內(nèi)a)模型的迭代更新頻率：評(píng)估模型迭代更新的時(shí)間周期及模型訓(xùn)練時(shí)間。b)模型迭代的質(zhì)量變化：評(píng)估模型迭代后系統(tǒng)的功能有效性、性能、魯棒性等變化趨勢(shì)。c)系統(tǒng)的可恢復(fù)性：評(píng)估計(jì)算機(jī)視覺系統(tǒng)發(fā)生故障時(shí)，恢復(fù)功能所需要的時(shí)間。d)計(jì)算機(jī)視覺系統(tǒng)宜支持系統(tǒng)配置、監(jiān)控告警、日志等管理功能。6.6計(jì)算機(jī)視覺系統(tǒng)的可移植性用于評(píng)估計(jì)算機(jī)視覺系統(tǒng)能夠從一種運(yùn)行環(huán)境遷移到另一種運(yùn)行環(huán)境的有效性和效率，應(yīng)包括下列a)系統(tǒng)對(duì)硬件設(shè)備的可移植性：評(píng)估視覺系統(tǒng)是否擁有跨硬件架構(gòu)的移植能力，即系統(tǒng)是否支持在基于至少2種或多種架構(gòu)處理器的設(shè)備上運(yùn)行，且運(yùn)行性能保持一致，如X86、X86-64、ARM、MIPS等。b)系統(tǒng)對(duì)人工智能框架的可移植性：評(píng)估視覺系統(tǒng)是否擁有跨人工智能框架之間的移植能力，即是否支持在至少2種或多種人工智能框架之間相互轉(zhuǎn)換，且運(yùn)行性能保持一致，如Tensorflow，PyTorch，PaddlePaddle等。86.7訓(xùn)練數(shù)據(jù)集的質(zhì)量評(píng)估訓(xùn)練數(shù)據(jù)集的質(zhì)量，應(yīng)包括下列內(nèi)容：a)訓(xùn)練數(shù)據(jù)集規(guī)模：通常用樣本數(shù)量來衡量。b)訓(xùn)練數(shù)據(jù)集標(biāo)注質(zhì)量：指數(shù)據(jù)集標(biāo)注信息是否準(zhǔn)確、完備并符合要求。c)訓(xùn)練數(shù)據(jù)集均衡性：指數(shù)據(jù)集包含的各種類別的樣本數(shù)量分布的偏差程度。d)訓(xùn)練數(shù)據(jù)集的多樣性：指數(shù)據(jù)集包括不同光照條件、不同分辨率、不同角度等情形的多樣性。6.8對(duì)抗性樣本的影響評(píng)估對(duì)抗性樣本對(duì)計(jì)算機(jī)視覺系統(tǒng)的影響，應(yīng)包括下列內(nèi)容：a)對(duì)抗性樣本生成測(cè)試：用不同方法生成對(duì)抗樣本，評(píng)估系統(tǒng)的脆弱性。生成方法包括：1)白盒方式生成的樣本：指目標(biāo)模型已知的情況下，利用梯度下降等方式生成對(duì)抗性樣本；2)黑盒方式生成的樣本：指目標(biāo)模型未知的情況下，利用一個(gè)替代模型進(jìn)行模型估計(jì)，針對(duì)替代模型使用白盒方式生成對(duì)抗性樣本；b)對(duì)抗性樣本的物理可行性：評(píng)估生成的對(duì)抗性樣本在現(xiàn)實(shí)中的可實(shí)現(xiàn)性，能否通過打印、貼紙等方式實(shí)現(xiàn)對(duì)抗性樣本的攻擊；能否應(yīng)對(duì)角度、尺度光照等變換；能否在壓縮算法、拍攝設(shè)備等因素造成的模糊下實(shí)施攻擊。c)系統(tǒng)對(duì)對(duì)抗性樣本的防御性，包括：1)評(píng)估系統(tǒng)是否進(jìn)行過對(duì)抗訓(xùn)練。2)對(duì)于黑盒攻擊，評(píng)估生成一個(gè)對(duì)抗性樣本的平均查詢次數(shù)。3)系統(tǒng)防御對(duì)抗性樣本的成功率：統(tǒng)計(jì)一定數(shù)量對(duì)抗性樣本對(duì)系統(tǒng)攻擊的失敗率。6.9對(duì)應(yīng)用場(chǎng)景數(shù)據(jù)的魯棒性評(píng)估應(yīng)用場(chǎng)景數(shù)據(jù)對(duì)系統(tǒng)的影響，應(yīng)考慮下列內(nèi)容：a)干擾數(shù)據(jù)對(duì)系統(tǒng)的影響：評(píng)估異常的輸入數(shù)據(jù)對(duì)系統(tǒng)準(zhǔn)確率的影響，包括模糊的圖像或視頻、部分遮擋的圖像或視頻、光照不足或過強(qiáng)的圖像或視頻、有噪聲的圖像或視頻。結(jié)合實(shí)際場(chǎng)景，考慮天氣和氣候變化下，不同場(chǎng)景中的干擾數(shù)據(jù)，如雨霧，雪霜，風(fēng)沙，粉塵等影響視覺能見度的場(chǎng)景。評(píng)估異常輸入數(shù)據(jù)集的預(yù)測(cè)準(zhǔn)確率、精度、召回率、真負(fù)率、F1測(cè)度等指標(biāo)。b)數(shù)據(jù)集分布對(duì)系統(tǒng)的影響：統(tǒng)計(jì)真實(shí)環(huán)境下輸入數(shù)據(jù)集的正負(fù)例分布或各類別樣本分布，評(píng)估不同數(shù)據(jù)集分布情況下系統(tǒng)預(yù)測(cè)的準(zhǔn)確率、精度、召回率、真負(fù)率、F1測(cè)度等指標(biāo)。c)業(yè)務(wù)不相關(guān)數(shù)據(jù)對(duì)系統(tǒng)的影響：當(dāng)輸入數(shù)據(jù)并非系統(tǒng)業(yè)務(wù)相關(guān)數(shù)據(jù)（比如不屬于分類模型中任何一類的數(shù)據(jù)），評(píng)估系統(tǒng)能否對(duì)其作合適的處理（比如識(shí)別為“其他”類）。6.10計(jì)算機(jī)視覺系統(tǒng)的可解釋性評(píng)估人類能夠理解視覺系統(tǒng)的輸出決策原因的程度。根據(jù)人類能夠理解系統(tǒng)決策原因的程度，將計(jì)算機(jī)視覺系統(tǒng)的可解釋性分為強(qiáng)、弱、無三個(gè)級(jí)別：a)強(qiáng)可解釋性：可通過數(shù)學(xué)證明來說明視覺模型做出決策的原因，并給出推理和決策的路徑。b)弱可解釋性：可通過計(jì)算機(jī)視覺系統(tǒng)的輸入輸出、視覺系統(tǒng)中的部分參數(shù)值、提取的特征值或這些數(shù)值的可視化來說明視覺系統(tǒng)做出決策的原因。c)無可解釋性：無法了解計(jì)算機(jī)視覺系統(tǒng)做出決策的原因。6.11計(jì)算機(jī)視覺系統(tǒng)的安全性除GB/T25000.10-2016中規(guī)定的軟件系統(tǒng)的信息安全性要求之外，評(píng)估計(jì)算機(jī)視覺系統(tǒng)的安全性，還應(yīng)包括下列內(nèi)容：a)機(jī)密性：通過對(duì)被測(cè)系統(tǒng)的持續(xù)訪問推測(cè)出視覺模型的參數(shù)，與原模型的相似度。b)隱私性：1)訓(xùn)練數(shù)據(jù)中脫敏數(shù)據(jù)占比。92)系統(tǒng)預(yù)測(cè)結(jié)果中含個(gè)人信息數(shù)量和種類。3)系統(tǒng)的最大查詢次數(shù)上限。c)輸入防御：1)系統(tǒng)有無對(duì)惡意輸入樣本的檢測(cè)機(jī)制，如檢測(cè)輸入樣本和正常數(shù)據(jù)間的差異、輸入樣本的分布特征、輸入樣本的歷史等。2)系統(tǒng)有無對(duì)輸入樣本作防御性預(yù)處理，如對(duì)輸入樣本進(jìn)行變形轉(zhuǎn)化、加噪、去噪、自動(dòng)編碼等。7計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)流程計(jì)算機(jī)視覺系統(tǒng)的測(cè)評(píng)流程如圖4所示。圖4計(jì)算機(jī)視覺系統(tǒng)測(cè)評(píng)流程7.1確定計(jì)算機(jī)視覺系統(tǒng)質(zhì)量目標(biāo)應(yīng)運(yùn)用以下步驟確定計(jì)算機(jī)視覺系統(tǒng)的質(zhì)量目標(biāo)：a)場(chǎng)景分析分析計(jì)算機(jī)視覺系統(tǒng)的應(yīng)用場(chǎng)景、運(yùn)行環(huán)境與使用流程，既要考慮系統(tǒng)正常使用的情況，也要考慮可預(yù)見的異常情況。b)風(fēng)險(xiǎn)分析根據(jù)計(jì)算機(jī)視覺系統(tǒng)的不同應(yīng)用場(chǎng)景，通過多種途徑開展有關(guān)計(jì)算機(jī)視覺系統(tǒng)失效的風(fēng)險(xiǎn)識(shí)別，如系統(tǒng)失效模式分析、場(chǎng)景模擬、歷史運(yùn)行數(shù)據(jù)分析、專家委員會(huì)評(píng)審等技術(shù)?？煽紤]的風(fēng)險(xiǎn)包括但不限1)由于計(jì)算機(jī)視覺系統(tǒng)的失效導(dǎo)致對(duì)人類生命、健康、財(cái)產(chǎn)或自然環(huán)境等的威脅；2)對(duì)計(jì)算機(jī)視覺系統(tǒng)的攻擊帶來的安全隱患；3)計(jì)算機(jī)視覺系統(tǒng)對(duì)個(gè)人隱私數(shù)據(jù)的侵犯和泄露的風(fēng)險(xiǎn)；4)潛在的道德和法律的風(fēng)險(xiǎn)。c)確定系統(tǒng)質(zhì)量目標(biāo)根據(jù)系統(tǒng)的應(yīng)用場(chǎng)景和風(fēng)險(xiǎn)，確定計(jì)算機(jī)視覺系統(tǒng)的質(zhì)量目標(biāo)，包括：1)確定系統(tǒng)功能有效性、性能、兼容性、維護(hù)性、可移植性、訓(xùn)練數(shù)據(jù)集的質(zhì)量、對(duì)抗樣本的影響、對(duì)應(yīng)用場(chǎng)景數(shù)據(jù)的魯棒性、可解釋性、安全性的指標(biāo)要求。2)確定測(cè)評(píng)指標(biāo)評(píng)價(jià)的準(zhǔn)則。7.2構(gòu)建測(cè)試數(shù)據(jù)集按照實(shí)際業(yè)務(wù)的情況構(gòu)建覆蓋多種視覺影像的測(cè)試數(shù)據(jù)集用以開展測(cè)試。對(duì)測(cè)試數(shù)據(jù)集的要求包括但不限于：a)測(cè)試數(shù)據(jù)集標(biāo)注質(zhì)量：數(shù)據(jù)集標(biāo)注信息準(zhǔn)確、完備并符合要求。b)測(cè)試數(shù)據(jù)集的多樣性：測(cè)試數(shù)據(jù)集應(yīng)體現(xiàn)真實(shí)應(yīng)用場(chǎng)景，類別覆蓋全面，且包括不同光照條件、不同分辨率、不同角度等情形的樣本。c)測(cè)試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集的互斥性：測(cè)試數(shù)據(jù)集中不應(yīng)