《車輛影像分析測試與評分技術標準》編制說明

廣西地方標準

《車輛影像分析測試與評分技術標準》

（征求意見稿）編制說明

一、項目來源

根據(jù)《廣西壯族自治區(qū)交通運輸廳關于下達2019年度廣西交通

運輸標準化項目計劃的通知》（桂交科教函﹝2019﹞136號）文件和

《廣西壯族自治區(qū)市場監(jiān)督局關于下達2020年第二批廣西地方標準

制定項目計劃的通知》（桂市監(jiān)函〔2020〕1832號）文件精神，由廣

西壯族自治區(qū)交通運輸廳提出，廣西交科集團有限公司起草廣西地方

標準《車輛影像分析測試與評分技術標準》（項目編號：2020-02088）。

二、項目背景及目的意義

最近幾年人工智能在圖像識別，語音識別，語義理解等方面突飛

猛進，在面對一些特定的任務時，已經(jīng)展示出超出行業(yè)頂尖人類專家

的水平，比如在圍棋競技上，AlphaGo面對眾多人類頂尖高手60連

勝，曠視，騰訊優(yōu)圖的人臉識別準確率達到了99.8%，這都已經(jīng)超出

了訓練有素的行業(yè)專家的水平?？梢灶A見人工智能必將在接下去的一

段時間內(nèi)滲透到各行各業(yè)，極大的提高行業(yè)的生產(chǎn)效率，改變行業(yè)現(xiàn)

有格局。在人工智能高速發(fā)展的后面，有兩個關鍵的助推火箭，一個

是深度神經(jīng)網(wǎng)絡技術的突破，一個是移動互聯(lián)網(wǎng)的發(fā)展使得數(shù)據(jù)量呈

現(xiàn)爆發(fā)式的增長。這兩者的疊加，使得以前看來不可能的事情變成了

現(xiàn)實。

在中國目前沒有公開可用的專門針對交通運輸行業(yè)需求而設計

的圖像和視頻分析數(shù)據(jù)庫，在已經(jīng)開展的一些測試中也發(fā)現(xiàn)人工智能

產(chǎn)品在交通行業(yè)的適應性很差，一個重要的原因在于交通運輸行業(yè)和

其他行業(yè)相比有非常大的不同，交通運輸行業(yè)關注的重點在于公路/

鐵路的路面狀況的理解，交通事件的識別,隧道的保養(yǎng)和檢查等等。

這些特殊的行業(yè)需求需要行業(yè)特殊的圖像和視頻數(shù)據(jù)庫用于訓練神

經(jīng)網(wǎng)絡，用其他行業(yè)的數(shù)據(jù)訓練出的人工智能產(chǎn)品照搬到交通行業(yè)效

果不理想。

本項目就旨在為交通運輸行業(yè)填補這個空白，并在此基礎上建立

一個交通運輸行業(yè)的人工智能產(chǎn)品測試標準，標準包括測試數(shù)據(jù)集、

測試方法、測試流程、評分標準，可用于評估將來要進入交通運輸行

業(yè)的人工智能產(chǎn)品和服務的技術水平，為公平公正的招投標提供一個

評估依據(jù)。

三、項目編制過程

（一）成立標準編制工作組

廣西標準《車輛影像分析測試與評分技術標準》項目任務下達后，

廣西交科集團有限公司成立了標準編制工作組，制定了標準編寫方案，

明確任務職責，確定工作技術路線，開展標準研制工作。

本標準負責起草單位：廣西交科集團有限公司，負責調(diào)研、測試、

完成《車輛影像分析測試與評分技術標準》編制工作。

本標準主要起草人：陳靜（項目負責人）、馬高琳、陸璐、劉彬、

梁杏、龍思穎、唐文娟、王玲容、蘭良、陳鷙翱、楊順秀、韋科宇、

李秀瓊、陳海軍。陳靜負責整個項目的技術及組織協(xié)調(diào)工作；馬高琳

負責整個項目的技術指導；陸璐負責項目調(diào)研及標準的校對工作；其

余參與人員根據(jù)安排參與標準編寫或項目測試等工作。

（二）收集整理文獻資料

本標準起草人員的前期研究工作分為資料調(diào)查與研究、工程案例

及數(shù)據(jù)收集完善2個步驟進行：1、調(diào)研了國內(nèi)外大量的視頻中車輛

圖像檢測技術和視頻中事件過程檢驗技術規(guī)范實際案例和相關的標

準規(guī)范、規(guī)程及研究成果；2、對搜集到的車輛影像檢測評定資料進

行分類整理和研究，為下一步的規(guī)范研究提供必要的指導和技術支撐。

標準編制工作組收集了車輛影像檢測相關的標準規(guī)范文獻資料，主要

有：

ISO/IECTR29119(en)Softwareandsystemsengineering—

Softwaretesting—Part11:Guidelinesonthetestingof

AI-basedsystems

GA802機動車類型術語和定義

GA/T1399.1公安視頻圖像分析系統(tǒng)第1部分：通用技術要

求

GA/T29100道路交通信息服務交通事件分類與編碼

GB/T30147安防監(jiān)控視頻實時智能分析設備技術要求

（三）研討確定標準主體內(nèi)容

標準編制工作組在對收集的資料進行整理研究之后，標準編制工

作組召開了標準編制會議，對標準的整體框架結構進行了研究，并對

標準的關鍵性內(nèi)容進行了初步探討。經(jīng)過研究，標準的主體內(nèi)容確定

為術語和定義及縮略語、車輛影像分析測試流程、測試場景、評估方

法、測試方法及評分標準。

（四）調(diào)研、形成征求意見稿

為確保本標準的編寫工作有序開展，編寫工作組在前期大量的研

究工作的基礎上，于2019年11月上旬完成了《車輛影像分析測試與

評分技術標準》的編制大綱和工作大綱，并經(jīng)內(nèi)部評審討論后，于

2019年11月12日召開了編制大綱和工作大綱外部評審會，評審會

針對大綱共提出了11條建議和意見。根據(jù)大綱評審專家的意見，以

修改完善后的大綱作為項目的工作指導，編寫工作組開展了標準正式

的編寫工作，并于2019年12月至2021年4月完成了工作組討論稿，

并對工作組討論稿進行內(nèi)部研討并修改形成《車輛影像分析測試與評

分技術標準》(征求意見初稿)并進行單位內(nèi)部評審。2021年7月召

開征求意見初稿討論會，對工作組討論稿進行會審，根據(jù)會審意見修

改后形成征求意見稿。

四、標準制定原則

本標準的編制遵循國家、行業(yè)和廣西壯族自治區(qū)現(xiàn)行有關標準的

規(guī)定。編寫工作組充分調(diào)研了國內(nèi)外及廣西地區(qū)的車輛影像分析測試

與評定的實際案例、數(shù)據(jù)資料及研究成果，研究和分析了國內(nèi)外及廣

西地區(qū)車輛影像分析測試與評定的標準建設的現(xiàn)狀，以及國內(nèi)外關于

車輛影像分析技術的發(fā)展趨勢和新技術的應用狀況。經(jīng)過編寫工作組

成員討論，確定標準編制遵循以下基本原則：

（1）科學性原則

本標準分析了國內(nèi)外關于車輛影像分析測試與評分技術標準的

建設現(xiàn)狀和特點，結合國內(nèi)及廣西地區(qū)車輛影像分析測試與評定的實

施現(xiàn)狀，在此基礎上對已發(fā)布的相關標準、規(guī)范、規(guī)程進行整理、歸

納和分類，建立了科學、實用、合理的廣西地區(qū)車輛影像分析測試與

評分技術標準。

（2）承接性原則

本標準術語、符號、條文盡量與相應國家、國際、行業(yè)和地方標

準的規(guī)定內(nèi)容相一致，條文未出現(xiàn)自相矛盾的地方。標準技術內(nèi)容與

國家、國際、行業(yè)和地方標準兼容，未出現(xiàn)沖突，保證了一致性。標

準技術內(nèi)容中引用其他標準時，已明確指出所引用標準的內(nèi)容或名稱，

增強了標準的可讀性和可操作性。

（3）可操作性原則

本標準的起草充分調(diào)研了國內(nèi)外、廣西壯族自治區(qū)地區(qū)車輛影像

分析測試與評分技術標準的應用現(xiàn)狀，征求了高校、公路管理、設計

院、施工單位等領域的專家意見。編寫組在此基礎上進過反復討論和

修改，編制此標準。標準內(nèi)容針對性強，可操作性高，易于推廣。

五、標準主要內(nèi)容及依據(jù)來源

廣西地方標準《車輛影像分析測試與評分技術標準》主要章節(jié)內(nèi)

容包括：術語和定義；車輛影像分析測試流程；車輛影像分析測試場

景；車輛影像分析評估方法；車輛影像分析測試方法及評分標準。

本標準的編制遵循國家、行業(yè)和廣西壯族自治區(qū)現(xiàn)行有關標準的

規(guī)定。編寫工作組充分調(diào)研了國內(nèi)外及廣西地區(qū)目前的車輛影像分析

測試與評定的實際案例、數(shù)據(jù)資料及研究成果，研究和分析了國內(nèi)外

及廣西地區(qū)的車輛影像分析測試與評定標準建設的現(xiàn)狀，以及國內(nèi)外

車輛影像分析測試與評分技術的發(fā)展趨勢和新技術的應用狀況。在此

基礎上結合廣西地區(qū)車輛影像分析測試與評定的工作經(jīng)驗，形成了廣

西地區(qū)車輛影像分析測試與評分技術標準。

1、標準名稱

為保證標準的全面性和針對性，計劃申請的標準名稱為《車輛影

像分析測試與評分技術標準》。本標準名稱一方面界定了其應用范圍

為公路的視頻或圖像形式的影像資料，另一方面限定了其應用對象為

公路上行駛車輛的分析與檢測評定技術。

2、范圍

本標準規(guī)定了適用對象為廣西地區(qū)的車輛影像分析測試與檢測

評定工作。

目前，我國還沒有公開可用的專門針對交通運輸行業(yè)需求而設計

的圖像和視頻分析數(shù)據(jù)庫，在已經(jīng)開展的一些測試中也發(fā)現(xiàn)一些在其

他行業(yè)發(fā)展得比較成熟的人工智能產(chǎn)品在交通行業(yè)的適應性很差，一

個重要的原因在于交通運輸行業(yè)和其他行業(yè)相比有非常大的不同，交

通運輸行業(yè)關注的重點在于公路/鐵路的路面狀況的理解，交通事件

的識別,隧道的保養(yǎng)和檢查等等。這些特殊的行業(yè)需求需要行業(yè)特殊

的圖像和視頻數(shù)據(jù)庫用于訓練神經(jīng)網(wǎng)絡，用其他行業(yè)的數(shù)據(jù)訓練出的

人工智能產(chǎn)品照搬到交通行業(yè)效果不理想。本項目就旨在為廣西地

區(qū)的交通運輸行業(yè)填補這個空白，并在此基礎上建立一個比較統(tǒng)一的

交通運輸行業(yè)的人工智能產(chǎn)品測試標準，達到符合安全適用、技術先

進、經(jīng)濟合理的要求。標準包括測試流程、測試方法、評分標準，可

用于評估將來要進入交通運輸行業(yè)的人工智能產(chǎn)品和服務的技術水

平，為公平公正的招投標提供一個評估依據(jù)。

3、術語和定義

本標準涵蓋了車輛影像分析測試與評定工作的各種術語和定義、

縮略語。

深度學習，這個術語出處：ISO/IECTR29119-11:2020(en)，

3.1.26。

視頻圖像分析系統(tǒng)、車輛檢測、車輛基本特征識別，這些術語出

處：GA/T1399.1-2017《公安視頻圖像分析系統(tǒng)第1部分：通用技

術要求》；

事件、正檢、誤檢、漏檢、基準目標，這些術語出處：GA/T

30147-2013《安防監(jiān)控視頻實時智能分析設備技術要求》。

4、測試與評估方案概述

參照GA/T1399.1-2017《公安視頻圖像分析系統(tǒng)第1部分：

通用技術要求》、GA/T1399.2-2017《公安視頻圖像分析系統(tǒng)第2

部分：視頻圖像內(nèi)容分析及描述技術要求》并結合廣西壯族自治區(qū)實

際情況，為了使車輛影像分析和測試能夠服務和滿足廣西交通系統(tǒng)地

方性要求，從測試目的、測試原則、測試對象、各階段的測試流程等

方面進行了規(guī)定。

第4.1條：各地區(qū)不同的氣候地貌特點、交通系統(tǒng)差異，都會帶

來車輛影像的偏差。針對廣西壯族自治區(qū)的實際情況，本標準的規(guī)定

應能確保圖像和視頻分析產(chǎn)品和服務應能確保測試完成后對圖像和

視頻分析系統(tǒng)給出一個客觀的定量的評價。

第4.2條：規(guī)定了測試與評估過程中所需遵循的原則。其中第

4.2.1條規(guī)定了實用性；第4.2.2條規(guī)定了公平性；第4.2.3條規(guī)定

了公正性；第4.2.4條規(guī)定了可復測性。

第4.3條：對本標準的測試對象作出了規(guī)定，測評對象應包括具

備車輛影像分析功能的軟硬件系統(tǒng)或基于深度學習的車輛影像分析

算法等產(chǎn)品或服務。

第4.4條：規(guī)定了車輛影像分析的各階段測試流程，總共分為測

試申請、審核申請、編寫測試大綱、進行測試準備、進行測試以及輸

出測試報告等步驟。其中，測試需求方要先向測試機構申請測試，測

試機構對申請進行審核，若申請中涉及的測試場景屬于本標準于第5

章規(guī)定的5種測試場景之一，測試申請才會通過。測試申請通過后，

測試機構依據(jù)測試需求方提出的測試場景及具體要求，編寫相應的測

試大綱。測試機構與測試需求方均需要做好測試準備工作：測試需求

方向測試機構提供測試對象；測試機構準備好測試用的數(shù)據(jù)源，其中，

針對多種多樣的車輛影像圖像和視頻數(shù)據(jù)源，為了能支持對不同數(shù)據(jù)

源的檢測測試，第4.4.4.2條參照GA/T1399.1-2017《公安視頻圖

像分析系統(tǒng)》，規(guī)定了數(shù)據(jù)源格式，包括了圖像格式和視頻格式，此

外還規(guī)定了數(shù)據(jù)源的標注內(nèi)容和采集要求；測試機構還應準備好測試

環(huán)境，相關的軟硬件配置要求見附錄表B.1。準備工作完成后才進行

正式的測試工作，包括功能測試和性能測試兩種，具體的測試和分析

方法見本標準的第6.2與6.3條。測試工作完成后，測試機構對測試

結果進行評分，并輸出測試報告，報告模板見附錄表B.2和附錄表

B.3。

5、測試場景

參照YD/T3944-2021《人工智能芯片基準測試評估方法》劃分

的人工智能算法場景，以及結合高速車輛分析的業(yè)務場景，劃分測試

場景為車輛檢測、車輛特征識別、車輛數(shù)量分析、車輛行為識別和行

駛環(huán)境分析五大類。

(1)車輛檢測

第5.1條規(guī)定了車輛檢測的內(nèi)容，主要是對車輛的位置進行標定

出來，在對應的圖像或者視頻的車輛區(qū)域，利用外框?qū)④囕v識別出來。

(2)車輛基本特征分析

第5.2條規(guī)定了車輛基本特征分析的內(nèi)容，車輛基本特征分析則

是對一輛車的外觀內(nèi)容進行識別，包含車牌、車輛的顏色和車輛的類

型做識別。

(3)車輛數(shù)量分析

第5.3條規(guī)定了車輛數(shù)量分析的內(nèi)容，車輛數(shù)量分析則是對一個

圖像或視頻的多輛車的特征進行統(tǒng)計。

(4)車輛行為識別

第5.4條規(guī)定了車輛行為識別的內(nèi)容，車輛行為識別則是通過對

視頻內(nèi)的一段時間的車輛行駛行為進行識別，車輛的行為識別主要參

考交通事件的分類。

(5)車輛行駛環(huán)境分析

第5.5條規(guī)定了車輛行駛環(huán)境分析的內(nèi)容，車輛行駛環(huán)境主要是

對氣象和道路情況進行考察分析。

6、測試方法

參照YD/T3944-2021《人工智能芯片基準測試評估方法》并結

合車輛影像分析和測試能夠服務和滿足廣西交通系統(tǒng)地方性要求，從

測試內(nèi)容、功能測試方法、性能測試方法方面對測試方法進行了規(guī)定。

(1)測試內(nèi)容

第6.1條對測試內(nèi)容作出了規(guī)定，測試內(nèi)容包括車輛檢測、車輛

識別、車輛數(shù)量分析、車輛行為分析以及車輛行駛環(huán)境分析等五種測

試場景，并規(guī)定了圖像和視頻分析的具體功能要求，以及性能要求。

(2)功能測試方法

第6.2條對功能測試方法作出了規(guī)定，6.2節(jié)在4.4.4.3節(jié)測試

環(huán)境的框架下，通過流媒體服務器輸入實時數(shù)據(jù)，再通過測試服務器

進行數(shù)據(jù)處理，再通過分析服務器輸出最終評測指標。

功能測試的評分需區(qū)分測試場景，評測指標參考7.2節(jié)的評分方

式，分場景輸出各個評分指標，再評估是否達到標準，以及與目標值

的差距。

(3)性能測試方法

第6.3條對功能測試方法作出了規(guī)定，6.3節(jié)在4.4.4.3節(jié)測試

環(huán)境的框架下，通過流媒體服務器輸入實時數(shù)據(jù)，再通過測試服務器

進行數(shù)據(jù)處理，再通過分析服務器輸出最終評測指標。

性能測試分成三類測試項，負載測試是模擬真實場景的測試方式，

壓力測試則是查看各類cpu運行效率下的檢測效率，并發(fā)測試則是觀

察檢查最快運行效率。

評測指標參考7.3節(jié)的評分方式，輸出三個測試項的評分指標，

再評估是否達到標準，以及與目標值的差距。

7、評分方法

參照YD/T3944-2021《人工智能芯片基準測試評估方法》并結

合車輛影像分析和測試能夠服務和滿足廣西交通系統(tǒng)地方性要求，從

評分指標、功能測試評分方法、性能測試評分方法等方面對評估方法

進行了規(guī)定。

(1)評分指標

第7.1節(jié)從功能和性能測試方面規(guī)定了評分指標。其中功能測試

規(guī)定了準確率、召回率、交并比、平均準確率、平均準確率均值、平

均絕對誤差；性能測試規(guī)定了每秒幀率、功耗。

(2)功能測試評分方法

第7.2節(jié)規(guī)定了功能測試評分方法及評分標準。通過6.2.2節(jié)的

測試流程，分不同的測試場景輸出評分指標。檢測場景使用mAP和

IoU，檢測框和標注框重合率不少50%，即IoU需達到0.5以上，綜

合分類效果mAP需達到0.6的精度；車輛基本特征識別和車輛行駛行

為和環(huán)境分析都屬于分類場景，規(guī)定單類分類準確率和召回率不少于

0.5精度，綜合分類效果不少于0.6的精度；車輛數(shù)量分析則要求不

超過5輛車的誤差，類似等于MAE需小于5。

(3)性能測試評分方法

第7.3節(jié)規(guī)定了功能測試評分方法及評分標準。通過6.3.2節(jié)

的測試流程，分成三個測試項，三類測試場景評分標準都有一個測試

達標前提，即功能測試都能合格。負載測試是模擬真實的測試場景，

從CPU占用率、內(nèi)存占用率、FPS、功耗耗電上作出了規(guī)定；壓力測

試在FPS作出了規(guī)定；并發(fā)測試在FPS作出了規(guī)定。

8、附錄

附錄A是車輛影像分類附表，具體說明如下：

表A.1：交通事件分類，規(guī)定了13種視頻中可能出現(xiàn)的交通事

件類型；

表A.2：道路天氣情況分類，規(guī)定了6種圖片中可能出現(xiàn)的天氣

情況類型；

表A.3：路面狀態(tài)分類，規(guī)定了7種圖片中可能出現(xiàn)的路面狀態(tài)

類型；

表A.4：車型分類測試項，規(guī)定了圖片中可能出現(xiàn)的11種車輛

類型。

附錄B是測試模板附表，具體說明如下：

表B.1：測試環(huán)境，規(guī)定了流媒體、測試、影響分析服務器等的

環(huán)境；

表B.2：功能測試報告，規(guī)定了功能測試的輸出項；

表B.3：性能測試報告，規(guī)定了性能測試的輸出項；

六、預期的作用和效益

1、預期經(jīng)濟效益分析

通過建設交通事件分析標準數(shù)據(jù)庫能夠有效的避免數(shù)據(jù)重復建

設，提升數(shù)據(jù)資源使用率，間接降低數(shù)據(jù)建設成本。

通過人工智能對交通事件的影像及視頻進行自動化檢測分析，能

夠節(jié)省人力管理成本和能源消耗，顯著降低交通行業(yè)運營監(jiān)管成本。

通過規(guī)范化的行業(yè)數(shù)據(jù)測試標準能夠?qū)崿F(xiàn)數(shù)據(jù)的快速融合、共享

和交換，縮短應用的開發(fā)部署周期，降低應用的開發(fā)部署投資。

2、預期社會效益分析

交通事件分析標準數(shù)據(jù)庫的建設將為整合廣西交通資源，提高行

業(yè)管理效率起到極大的推動作用。

交通事件分析標準數(shù)據(jù)庫是建立資源集中管理的橋梁，能夠滿足

各級業(yè)務部門信息互聯(lián)互通和共享交換的需求，避免信息孤島。通過

規(guī)范行業(yè)數(shù)據(jù)標準，有效降低信息資源共享的技術難度和成本，實現(xiàn)

統(tǒng)一化、權威化、多元化的數(shù)據(jù)標準，為后期的應用平臺建設提供強

大基礎。

結合圖像識別、人工智能與深度學習等多種先進技術，面向具體

交通行業(yè)相關業(yè)務進行行業(yè)創(chuàng)新，推動廣西交通管理行業(yè)的應用創(chuàng)新。

提升交通運輸行業(yè)相關事件的自動化分析能力，提高交通行業(yè)監(jiān)

管處置效率，同時通過數(shù)據(jù)分析能夠更好的輔助領導決策。

3、預期環(huán)境效益分析

交通事件分析標準數(shù)據(jù)庫的建設可以極大地改善廣西交通行業(yè)

的投資環(huán)境，在產(chǎn)業(yè)聚集、吸引企業(yè)、吸引高端人才、促進招商引資

工作以及打造產(chǎn)業(yè)鏈等方面具有巨大作用，對促進企業(yè)的發(fā)展、社會

進步以及拉動產(chǎn)業(yè)的發(fā)展有著重大意義。

本項目對車輛影像分析技術進行測試，并根據(jù)評分標準進行科學

評估，優(yōu)勝劣汰，減少不必要的相關設施建設，把控技術發(fā)展。

4、推廣應用前景分析

本項目