人臉識(shí)別性能測(cè)試方案

1、精選優(yōu)質(zhì)文檔-傾情為你奉上人臉識(shí)別系統(tǒng)性能測(cè)試方案2017年12月 專心-專注-專業(yè)目錄1 事項(xiàng)說(shuō)明l 參測(cè)廠商操作系統(tǒng)安裝及軟件和人口照片數(shù)據(jù)導(dǎo)入、測(cè)試調(diào)試工作，具體部署時(shí)間由甲方通知各個(gè)參測(cè)單位；l 參測(cè)廠商自行準(zhǔn)備測(cè)試環(huán)境所需的所有硬件，操作系統(tǒng)及軟件環(huán)境；l 參測(cè)廠商上報(bào)不超過(guò)2人的現(xiàn)場(chǎng)操作團(tuán)隊(duì)，并提供現(xiàn)場(chǎng)操作人員的身份信息（姓名、身份證號(hào)、聯(lián)系方式），由組織測(cè)試方進(jìn)行身份核查，所有測(cè)試人員進(jìn)場(chǎng)前上交通訊工具；l 組織測(cè)試方提供所有測(cè)試數(shù)據(jù)，對(duì)于提供的測(cè)試素材（人像照片），參測(cè)單位有保密義務(wù)，不得外泄或復(fù)制，禁止拍照、截圖；l 為保證本次系統(tǒng)測(cè)試數(shù)據(jù)的安全和保密性，確保測(cè)試數(shù)據(jù)不外泄，

2、本次測(cè)試過(guò)程中的數(shù)據(jù)轉(zhuǎn)換，編輯和認(rèn)定均應(yīng)在組織者制定的場(chǎng)地進(jìn)行，并于測(cè)試前簽訂保密協(xié)議，參測(cè)人員不允許能通過(guò)任何移動(dòng)存儲(chǔ)介質(zhì)（手機(jī)、U盤、移動(dòng)硬盤以及光盤等）或網(wǎng)絡(luò)方式將測(cè)試數(shù)據(jù)帶離測(cè)試現(xiàn)場(chǎng)；l 為保證本次測(cè)試的公平公正公開，局域網(wǎng)中嚴(yán)禁使用個(gè)人公司的筆記本，對(duì)于測(cè)試環(huán)境有任何的數(shù)據(jù)導(dǎo)入，都需要有測(cè)試方專人在場(chǎng)監(jiān)督下方可進(jìn)行，嚴(yán)禁將測(cè)試環(huán)境的數(shù)據(jù)導(dǎo)出，帶離測(cè)試現(xiàn)場(chǎng)。l 測(cè)試結(jié)束后，所有參測(cè)設(shè)備須由測(cè)試組織方清空并格式化后方能帶離。2 測(cè)試目的了解各企業(yè)人臉識(shí)別系統(tǒng)的實(shí)際性能表現(xiàn)；評(píng)估現(xiàn)有人臉識(shí)別系統(tǒng)對(duì)公安實(shí)戰(zhàn)應(yīng)用需求的滿足程度；為后期人臉識(shí)別技術(shù)系統(tǒng)建設(shè)選型提供數(shù)據(jù)依據(jù)。3 測(cè)試方式采用實(shí)驗(yàn)室

3、測(cè)試的方式。4 測(cè)試內(nèi)容本次測(cè)試包括兩個(gè)方面：靜態(tài)識(shí)別技術(shù)測(cè)試，動(dòng)態(tài)識(shí)別技術(shù)測(cè)試。5 測(cè)試環(huán)境5.1網(wǎng)絡(luò)環(huán)境為了保證測(cè)試的公平公正，靜態(tài)測(cè)試與離線視頻測(cè)試的測(cè)試環(huán)境一律采用單機(jī)或單集群局域網(wǎng)，不得接入外網(wǎng)，和外界物理隔離。5.2硬件環(huán)境此次測(cè)試機(jī)器由各廠家自行提供，測(cè)試前需向組織測(cè)試方報(bào)備機(jī)器數(shù)量及具體參數(shù)配置。6 靜態(tài)人像比對(duì)系統(tǒng)評(píng)測(cè)6.1方案描述l 由測(cè)試方提供證件照底庫(kù)和多組查詢照。參測(cè)單位對(duì)底庫(kù)照片進(jìn)行建庫(kù)，并啟動(dòng)人像檢索功能，系統(tǒng)需將查詢返回的前二十名結(jié)果保存下來(lái)，由測(cè)試方統(tǒng)計(jì)命中結(jié)果。6.2測(cè)試數(shù)據(jù)準(zhǔn)備測(cè)試數(shù)據(jù)描述證件照底庫(kù)5000萬(wàn)張證件照照片查詢照片查詢照總共300張，包括低清

4、視頻截圖照、高清視頻截圖、其他照片三類照片數(shù)據(jù)。6.3測(cè)試步驟測(cè)試步驟描述描述測(cè)試數(shù)據(jù)準(zhǔn)備1.組織測(cè)試方準(zhǔn)備5000萬(wàn)證件照底庫(kù)，并將300張測(cè)試數(shù)據(jù)集的登記照混入人像庫(kù)，并進(jìn)行統(tǒng)一重命名。2.將5000萬(wàn)張照片壓縮為一個(gè)zip格式壓縮包，作為測(cè)試數(shù)據(jù)源。廠家建立人像庫(kù)1.各測(cè)試參商將測(cè)試服務(wù)器部署到組織測(cè)試方指定區(qū)域，組織測(cè)試方以移動(dòng)硬盤為介質(zhì)將5000萬(wàn)數(shù)據(jù)壓縮包以隨機(jī)順序移交給參測(cè)廠商。2.各參測(cè)廠商拷貝人像庫(kù)壓縮包結(jié)束后，統(tǒng)一開始計(jì)時(shí)，要求在4天內(nèi)完成建庫(kù)，6天未完成建庫(kù)，則靜態(tài)算法測(cè)試計(jì)零分。廠家測(cè)試1.參測(cè)廠商以隨機(jī)順序依次一一進(jìn)行測(cè)試，組織測(cè)試方以U盤為介質(zhì)，將300張測(cè)試集查詢

5、照下發(fā)給當(dāng)前參測(cè)廠商。2.參測(cè)單位啟動(dòng)系統(tǒng)進(jìn)行批量自動(dòng)人像檢索，將得到在底庫(kù)中的前20名最相似人員結(jié)果寫入CSV文件中。測(cè)試完成后，參測(cè)單位將結(jié)果CSV文件交予測(cè)試方。記錄提交的CSV文件的MD5值。3.當(dāng)前測(cè)試廠商在測(cè)試過(guò)程中不允許對(duì)測(cè)試圖片進(jìn)行修改，檢索一旦開啟，不允許對(duì)機(jī)器進(jìn)行操作。4.測(cè)試過(guò)程中，非當(dāng)前測(cè)試廠商的測(cè)試人員需在指定區(qū)域休息，不得操作各自服務(wù)器。5.比對(duì)時(shí)間為連續(xù)2小時(shí)以內(nèi)，超過(guò)2.5小時(shí)則靜態(tài)算法項(xiàng)計(jì)零分。人工驗(yàn)證測(cè)試結(jié)果測(cè)試方對(duì)各廠家的測(cè)試結(jié)果和標(biāo)準(zhǔn)答案進(jìn)行對(duì)比，記錄結(jié)果，并形成測(cè)試報(bào)告。6.4評(píng)判指標(biāo)各廠家提交的csv表格格式如下：查詢照首位第二位第二十Q0001B0

6、3B44B79Q0002A02B53B39統(tǒng)計(jì)量說(shuō)明：l 首位命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標(biāo)人物位于第一位，即相似度最高；l 前十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標(biāo)人物位于前二至十位；l 前二十命中數(shù)：系統(tǒng)返回檢索結(jié)果中，目標(biāo)人物位于前十一至二十位6.5評(píng)判方法命中情況首位2-10位11-20位分?jǐn)?shù)權(quán)重10.50.1命中數(shù)量ABC總分（百分制）100*(1*A+0.5*B+0.2*C)/(300)7 動(dòng)態(tài)離線視頻布控測(cè)試7.1方案描述l 測(cè)試方提供離線視頻文件，同時(shí)會(huì)提供一定數(shù)量登記照片作為布控庫(kù)。參測(cè)單位將布控人員導(dǎo)入測(cè)試系統(tǒng)，并啟動(dòng)離線視頻分析比對(duì)功能。系統(tǒng)需將離線視頻分析過(guò)程中報(bào)警比中結(jié)

7、果記錄保存下來(lái)，由測(cè)試方統(tǒng)計(jì)報(bào)警情況。7.2測(cè)試數(shù)據(jù)準(zhǔn)備測(cè)試數(shù)據(jù)描述證件照底庫(kù)30萬(wàn)張底庫(kù)布控照片。攝像頭架設(shè)按人臉卡口標(biāo)準(zhǔn)架設(shè)。離線視頻錄制步驟1. 將20位黑名單人員，將其證件照混入布控底庫(kù)中2. 測(cè)試前，組織方組織測(cè)試人員前往測(cè)試點(diǎn)位進(jìn)行視頻錄制3. 黑名單人員人通過(guò)鏡頭5次，即最終有視頻有100人次通過(guò)4. 所有黑名單過(guò)人記錄信息整理為CSV文件，對(duì)于每一個(gè)視頻中出現(xiàn)的黑名單人員，標(biāo)注其ID，起始時(shí)間，結(jié)束時(shí)間作為一次過(guò)人記錄，以作為黑名單過(guò)人記錄的標(biāo)準(zhǔn)答案7.3測(cè)試步驟測(cè)試步驟描述描述測(cè)試數(shù)據(jù)準(zhǔn)備1.測(cè)試方準(zhǔn)備30萬(wàn)證件照底庫(kù)，并將20張黑名單的證件照混入人像庫(kù)，并進(jìn)行統(tǒng)一重命名2.

8、測(cè)試方按照離線視頻錄制方法錄制一段時(shí)長(zhǎng)約30分鐘，人流量約為1000的離線視頻，轉(zhuǎn)換為標(biāo)準(zhǔn)AVI格式，作為測(cè)試所用視頻源廠家建立人像庫(kù)1.各測(cè)試參商將測(cè)試服務(wù)器部署到組織測(cè)試方指定區(qū)域，組織測(cè)試方以移動(dòng)硬盤為介質(zhì)將30萬(wàn)數(shù)據(jù)壓縮包以隨機(jī)順序移交給參測(cè)廠商2.參測(cè)廠商拷貝人像庫(kù)，導(dǎo)入各自系統(tǒng)，并啟動(dòng)建庫(kù)，要求在一小時(shí)內(nèi)完成建庫(kù)廠家測(cè)試1.組織測(cè)試方以U盤為介質(zhì)，將測(cè)試視頻下發(fā)給參測(cè)廠商2.各參測(cè)廠商將視頻文件上傳至人臉識(shí)別系統(tǒng)，為了比較各廠家在同一誤報(bào)率下的準(zhǔn)確率，各廠家需以同一誤報(bào)數(shù)量的前提下，調(diào)整自身報(bào)警閾值，維持此時(shí)的報(bào)警閾值，不得修改。3.測(cè)試過(guò)程中，組織測(cè)試方對(duì)參測(cè)廠商一對(duì)一進(jìn)行監(jiān)督，

9、不允許參測(cè)廠商對(duì)報(bào)警結(jié)果進(jìn)行增刪操作4.測(cè)試結(jié)束后，參測(cè)廠商需將報(bào)警結(jié)果在可視化頁(yè)面呈現(xiàn)，且將所有報(bào)警結(jié)果導(dǎo)出為一個(gè)CSV文件，組織測(cè)試方依次一 一對(duì)參測(cè)廠商的報(bào)警結(jié)果進(jìn)行統(tǒng)計(jì)人工驗(yàn)證測(cè)試結(jié)果測(cè)試方對(duì)各廠家的測(cè)試結(jié)果和標(biāo)準(zhǔn)答案進(jìn)行對(duì)比，記錄結(jié)果，并形成測(cè)試報(bào)告7.4評(píng)判指標(biāo)1. 組織測(cè)試方統(tǒng)計(jì)如下信息量用來(lái)評(píng)判結(jié)果：a) 系統(tǒng)正確報(bào)警數(shù)：指測(cè)試結(jié)果中可以匹配標(biāo)準(zhǔn)答案中某次黑名單過(guò)人記錄的報(bào)警結(jié)果，“匹配”需同時(shí)滿足如下條件：i. 布控ID屬于黑名單人員。ii. 報(bào)警時(shí)間處于該黑名單人員某次過(guò)人記錄時(shí)間范圍內(nèi)。iii. 報(bào)警分?jǐn)?shù)大于預(yù)設(shè)報(bào)警閾值。iv. 去重。如果標(biāo)準(zhǔn)答案中某個(gè)過(guò)人記錄匹配了多次報(bào)警結(jié)果，只算作一次正確報(bào)警。b) 系統(tǒng)錯(cuò)誤報(bào)警數(shù)：指測(cè)試結(jié)果中不匹配標(biāo)準(zhǔn)答案中對(duì)應(yīng)黑名單過(guò)人記錄的報(bào)警結(jié)果。7.5評(píng)判方法1. 組織測(cè)試方以隨機(jī)順序依次挑選測(cè)試廠商進(jìn)行結(jié)果統(tǒng)計(jì)，將參測(cè)廠商報(bào)警結(jié)果的分?jǐn)?shù)從高到低排序，從上往下篩選，當(dāng)找到第十個(gè)錯(cuò)誤報(bào)警時(shí)，記錄該錯(cuò)誤報(bào)警的報(bào)警分?jǐn)?shù)，統(tǒng)計(jì)所有報(bào)警分?jǐn)?shù)在該分?jǐn)?shù)以上的正確報(bào)警結(jié)果，假設(shè)為N，則得分為N。2.為了保證統(tǒng)計(jì)的嚴(yán)肅性，統(tǒng)計(jì)期間其他廠家不得入場(chǎng)，待當(dāng)前廠家統(tǒng)計(jì)完成后，換下一廠家入場(chǎng)統(tǒng)計(jì)。8 最終成績(jī)統(tǒng)計(jì)廠家名稱靜態(tài)測(cè)試得分動(dòng)態(tài)測(cè)試得分9 測(cè)試流程實(shí)驗(yàn)室測(cè)試環(huán)節(jié)所有參測(cè)廠商按