人臉識別性能測試方案

1、人臉識別系統(tǒng)性能測試方案2017年12月1事項說明12測試目的23測試方式24測試內(nèi)容25測試環(huán)境25.1 網(wǎng)絡環(huán)境25.2 硬件環(huán)境26靜態(tài)人像比對系統(tǒng)評測36.1 方案描述36.2 測試數(shù)據(jù)準備36.3 測試步驟36.4 評判指標46.5 評判方法57動態(tài)離線視頻布控測試57.1 方案描述57.2 測試數(shù)據(jù)準備57.3 測試步驟57.4 評判指標67.5 評判方法78最終成績統(tǒng)計79測試流程71事項說明 參測廠商操作系統(tǒng)安裝及軟件和人口照片數(shù)據(jù)導入、測試調(diào) 試工作，具體部署時間由甲方通知各個參測單位； 參測廠商自行準備測試環(huán)境所需的所有硬件，操作系統(tǒng)及軟 件環(huán)境； 參測廠商上報不超過2人的

2、現(xiàn)場操作團隊，并提供現(xiàn)場操作 人員的身份信息（姓名、身份證號、聯(lián)系方式），由組織測試 方進行身份核查，所有測試人員進場前上交通訊工具；組織測試方提供所有測試數(shù)據(jù)，對于提供的測試素材（人像照 片），參測單位有保密義務，不得外泄或復制，禁止拍照、截 圖；為保證本次系統(tǒng)測試數(shù)據(jù)的安全和保密性，確保測試數(shù)據(jù)不 外泄，本次測試過程中的數(shù)據(jù)轉(zhuǎn)換，編輯和認定均應在組織者 制定的場地進行，并于測試前簽訂保密協(xié)議，參測人員不允許 能通過任何移動存儲介質(zhì)（手機、U盤、移動硬盤以及光盤等） 或網(wǎng)絡方式將測試數(shù)據(jù)帶離測試現(xiàn)場；為保證本次測試的公平公正公開，局域網(wǎng)中嚴禁使用個人公 司的筆記本，對于測試環(huán)境有任何的數(shù)據(jù)導

3、入，都需要有測試 方專人在場監(jiān)督下方可進行，嚴禁將測試環(huán)境的數(shù)據(jù)導出，帶 離測試現(xiàn)場。測試結(jié)束后，所有參測設備須由測試組織方清空并格式化后 方能帶離。2測試目的了解各企業(yè)人臉識別系統(tǒng)的實際性能表現(xiàn)；評估現(xiàn)有人臉識 別系統(tǒng)對公安實戰(zhàn)應用需求的滿足程度；為后期人臉識別技術系 統(tǒng)建設選型提供數(shù)據(jù)依據(jù)。3測試方式采用實驗室測試的方式。4測試內(nèi)容本次測試包括兩個方面：靜態(tài)識別技術測試，動態(tài)識別技術 測U試。5測試環(huán)境5.1 網(wǎng)絡環(huán)境為了保證測試的公平公正，靜態(tài)測試與離線視頻測試的測試 環(huán)境一律采用單機或單集群局域網(wǎng)，不得接入外網(wǎng)，和外界物理 隔離。5.2 硬件環(huán)境此次測試機器由各廠家自行提供，測試前需向

4、組織測試方報 備機器數(shù)量及具體參數(shù)配置。6靜態(tài)人像比對系統(tǒng)評測6.1 方案描述由測試方提供證件照底庫和多組查詢照。參測單位對底庫照 片進行建庫，并啟動人像檢索功能，系統(tǒng)需將查詢返回的前二 十名結(jié)果保存下來，由測試方統(tǒng)計命中結(jié)果。6.2 測試數(shù)據(jù)準備測試數(shù)據(jù)描述證件照底庫5000萬張證件照照片查詢照片查詢照總共300張，包括低清視頻截圖照、高清視 頻截圖、其他照片三類照片數(shù)據(jù)。6.3 測試步驟測試步驟描述描述測試數(shù)據(jù)準備1.組織測試方準備5000萬證件照底庫，并將300張測 試數(shù)據(jù)集的登記照混入人像庫，并進行統(tǒng)一重命名。2.將5000萬張照片壓縮為一個zip格式壓縮包，作為 測試數(shù)據(jù)源。廠家建立

5、人像庫1 .各測試參商將測試服務器部署到組織測試方指定區(qū) 域，組織測試方以移動硬盤為介質(zhì)將5000萬數(shù)據(jù)壓縮 包以隨機順序移交給參測廠商。2 .各參測廠商拷貝人像庫壓縮包結(jié)束后，統(tǒng)一開始計 時，要求在4天內(nèi)完成建庫，6天未完成建庫，則靜態(tài) 算法測試計零分。廠家測試1.參測廠商以隨機順序依次一一進行測試，組織測試 方以U盤為介質(zhì)，將300張測試集查詢照下發(fā)給當前參測廠商。2 .參測單位啟動系統(tǒng)進行批量自動人像檢索，將得到 在底庫中的前20名最相似人員結(jié)果寫入CSV文件中。 測試完成后，參測單位將結(jié)果CSV文件交予測試方。 記錄提交的CSV文件的MD5值。3 .當前測試廠商在測試過程中不允許對測試

6、圖片進行 修改，檢索一旦開啟，不允許對機器進行操作。4 .測試過程中，非當前測試廠商的測試人員需在指定 區(qū)域休息，不得操作各自服務器。5 .比對時間為連續(xù)2小時以內(nèi)，超過2.5小時則靜態(tài) 算法項計零分。人工驗證測試結(jié)果測試方對各廠家的測試結(jié)果和標準答案進行對比，記 錄結(jié)果，并形成測試報告。6.4 評判指標各廠家提交的csv表格格式如下:查詢照首位第二位第二十Q0001B03B44B79Q0002A02B53B39統(tǒng)計量說明： 首位命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標人物位于第一位，即相似度最高； 前十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標人物位于前二至十位； 前二十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標人物位

7、于前十一至 二十位6.5 評判方法命中情況首位2-10 位11-20 位分數(shù)權重10.50.1命中數(shù)量ABC總分（百分制）100*(1*A+0.5*B+0.2*C)/(300)7動態(tài)離線視頻布控測試7.1 方案描述測試方提供離線視頻文件，同時會提供一定數(shù)量登記照片作 為布控庫。參測單位將布控人員導入測試系統(tǒng)，并啟動離線視 頻分析比對功能。系統(tǒng)需將離線視頻分析過程中報警比中結(jié) 果記錄保存下來，由測試方統(tǒng)計報警情況。7.2 測試數(shù)據(jù)準備測試數(shù)據(jù)描述證件照底庫30萬張底庫布控照片。攝像頭架設按人臉卡口標準架設。離線視頻錄制 步驟1 .將20位黑名單人員，將其證件照混入布控底庫中2 .測試前，組織方組

8、織測試人員前往測試點位進行視頻錄制3 .黑名單人員人通過鏡頭5次，即最終有視頻有100人次通過4 .所有黑名單過人記錄信息整理為CSV文件，對于每一個視頻 中出現(xiàn)的黑名單人員，標注其ID，起始時間，結(jié)束時間作為一 次過人記錄，以作為黑名單過人記錄的標準答案7.3 測試步驟測試步驟描述描述測試數(shù)據(jù)準備1 .測試方準備30萬證件照底庫，并將20張黑名單的 證件照混入人像庫，并進行統(tǒng)一重命名2 .測試方按照離線視頻錄制方法錄制一段時長約30分 鐘，人流量約為1000的離線視頻，轉(zhuǎn)換為標準A丫1格 式，作為測試所用視頻源廠家建立人像庫1 .各測試參商將測試服務器部署到組織測試方指定區(qū) 域，組織測試方以

9、移動硬盤為介質(zhì)將30萬數(shù)據(jù)壓縮包 以隨機順序移交給參測廠商2 .參測廠商拷貝人像庫，導入各自系統(tǒng)，并啟動建 庫，要求在一小時內(nèi)完成建庫廠家測試1 .組織測試方以U盤為介質(zhì)，將測試視頻下發(fā)給參測 廠商2 .各參測廠商將視頻文件上傳至人臉識別系統(tǒng)，為了 比較各廠家在同一誤報率下的準確率，各廠家需以同 一誤報數(shù)量的前提下，調(diào)整自身報警閾值，維持此時 的報警閾值，不得修改。3 .測試過程中，組織測試方對參測廠商一對一進行監(jiān) 督，不允許參測廠商對報警結(jié)果進行增刪操作4 .測試結(jié)束后，參測廠商需將報警結(jié)果在可視化頁面 呈現(xiàn)，且將所有報警結(jié)果導出為一個CSV文件，組織 測試方依次 對參測廠商的報警結(jié)果進行統(tǒng)

10、計人工驗證測試結(jié)果測試方對各廠家的測試結(jié)果和標準答案進行對比，記 錄結(jié)果，并形成測試報告7.4 評判指標1.組織測試方統(tǒng)計如下信息量用來評判結(jié)果:a）系統(tǒng)正確報警數(shù)：指測試結(jié)果中可以匹配標準答案中某次黑名單過人記錄的報警結(jié)果，“匹配”需同時滿足如下條件：i. 布控ID屬于黑名單人員。ii. 報警時間處于該黑名單人員某次過人記錄時間范圍內(nèi)。iii. 報警分數(shù)大于預設報警閾值。iv. 去重。如果標準答案中某個過人記錄匹配了多次報警結(jié)果，只算作一次正確報警。b）系統(tǒng)錯誤報警數(shù)：指測試結(jié)果中不匹配標準答案中對應黑 名單過人記錄的報警結(jié)果。7.5評判方法1 .組織測試方以隨機順序依次挑選測試廠商進行結(jié)果統(tǒng)計， 將參測廠商報警結(jié)果的分數(shù)從高到低排序，從上往下篩選，當找 到第十個錯誤報警時，記錄該錯誤報警的報警分數(shù)，統(tǒng)計所有報 警分數(shù)在該分數(shù)以上的正確報警結(jié)果，假設為N，則得分為N。2 .為了保證統(tǒng)計的嚴肅性，統(tǒng)計期間其他廠家不得入場，待 當前廠家統(tǒng)計完成后，換下一廠家入場統(tǒng)計。8最終成績統(tǒng)計廠家名稱靜態(tài)測試得分動態(tài)測試得分9測試流程實驗室測試環(huán)節(jié)