綜合人臉識別系統(tǒng)

1、綜合人臉識別系統(tǒng) 技術方案文檔編號ZAST-GC-ITS-KKH200S版 本V1.0-編 制審 核工程部批 準中安視通電子科技有限公司二一五年五月第一章 系統(tǒng)概述隨著社會的發(fā)展,對一些如：機場安檢、銀行、軍事基地、酒店、涉密機構等安全性要求較高的場所，能夠?qū)崿F(xiàn)快速有效的自動身份驗證的要求日益迫切。由于生物特征是人的內(nèi)在屬性,具有很強的自身穩(wěn)定性和個體差異性,因此是身份驗證的最理想依據(jù)。但是人臉識別的優(yōu)勢體現(xiàn)在哪里呢？作為生物特征識別領域中一種基于生理特征的識別技術，人臉識別技術是通過有攝像頭的終端設備拍攝人的行為圖像，通過人臉檢測算法，從原始的行為圖像中得到人臉區(qū)域，用特征提取算法提取人臉的

2、特征，并根據(jù)這些特征確認身份的一種技術。與其它生物特征識別技術相比，人臉識別在實用性方面具有獨到的技術優(yōu)勢，主要體現(xiàn)在以下方面：n 不需要檢測人員配合，具有操作隱蔽性強，因為不容易引起人的注意而不容易被欺騙。利用采集指紋、虹膜等，這些特殊的采集方式很容易被人察覺，從而更有可能被偽裝欺騙。n 采用非接觸式采集，沒有侵犯性，不會令人反感，容易被接受。而指紋、虹膜采集往往給人造成不適的感覺。n 并發(fā)性，即實際應用場景下可以進行多個人臉的抓拍、判斷及識別。n 事后追蹤能力強，簡單易用，普通操作人員即可進行判斷核實。而普通人一般不具備對于指紋、虹膜的判斷能力。n 實現(xiàn)設備通用、簡單，尤其是采集設備成本較

3、低。而虹膜采集儀、DNA鑒別儀等都需要專用的采集設備，而且設備昂貴。.1 系統(tǒng)簡介中安視通通過多年的潛心研發(fā)，成功推出了人臉識別系統(tǒng)，系統(tǒng)主要采用具有自主知識產(chǎn)權的人臉檢測算法、人臉跟蹤算法、人臉質(zhì)量評分算法以及高速人臉對比識別算法。其實現(xiàn)了實時人臉抓拍建模、實時黑名單對報警和人臉后臺檢索等功能。1.2 系統(tǒng)架構系統(tǒng)前端高清網(wǎng)絡攝像機或人臉抓拍機、流媒體服務器(可選) 、人臉智能分析服務器、人臉比對搜索服務器、中心管理服務器、客戶端管理軟件等組成。系統(tǒng)網(wǎng)絡架構圖如下:前端攝像機：前端攝像機有兩種選擇，可以采用普通高清網(wǎng)絡攝像機或者人臉抓拍機。普通高清網(wǎng)絡攝像機主要實現(xiàn)圖像采集、編

4、碼等功能。人臉抓拍機不僅實現(xiàn)普通高清網(wǎng)絡攝像機的所有功能，其DSP內(nèi)置智能分析算法，還能對人臉進行自動捕獲、跟蹤、抓拍的功能。人臉抓拍機分擔了人臉智能分析服務器的人臉抓拍運算量，使人臉智能分析服務器能有更多的資源用來人臉的建模、比對識別等功能。前端攝像機支持以下幾種類型:1.普通ONVIF網(wǎng)絡攝像機2.本公司配套的網(wǎng)絡攝像機 3.組合人臉前端(小工控機USB工業(yè)攝像機) 4.Mjpeg網(wǎng)絡攝像機5.帶前端捕獲人臉的網(wǎng)絡攝像機6.利用監(jiān)控系統(tǒng)內(nèi)的攝像機(前端可能來自網(wǎng)絡攝像機，也可能是需要流媒體服務器對此視頻兼容接入,目前上海萬達信息流媒體服務器經(jīng)測試可接入用于人臉識別的視頻設備品牌有(?？?、大

5、華、雄邁、天視通、海芯威視等) 。視頻存儲流媒體服務器可選: 本服務器為可選服務器，通過視頻存儲流媒體服務器，將不同品牌的網(wǎng)絡攝像機和NVR視頻接入進來，實現(xiàn)流媒體轉(zhuǎn)發(fā)和錄像功能，并為人臉智能分析服務器提供視頻流媒體轉(zhuǎn)發(fā)服務，一般在用戶需要在人臉識別報警后，還需要聯(lián)動查看當時錄像時，可以選配或者人臉識別系統(tǒng)跟視頻監(jiān)控管理平臺融合在一起使用時配用。人臉抓拍記錄服務器:人臉抓拍記錄服務器主要實現(xiàn)對前端攝像機采集的圖像或從視頻流媒體服務器進獲取視頻圖像進行人臉抓拍、建模、并發(fā)起與中心后臺人臉搜索比對服務器的檢索識別功能。針對小型人臉系統(tǒng)，人臉抓拍、建模、比對識別以及后檢索功能可以在一臺人臉智能分析服

6、務器中全部完成。對于一些大型人臉系統(tǒng)中，涉及人臉算法的高運算量，我們推薦使用人臉抓拍機，在前端攝像機中實現(xiàn)人臉抓拍功能，在后端將人臉建模、比對功能和人臉后臺檢索功能分別采用兩臺人臉智能分析服務器來實現(xiàn)。人臉識別服務器:本服務器以要實現(xiàn)人臉樣本庫的管理、人臉搜索、對比等核心算法計算服務，并提供相關檢索、比對接口。是整個人臉對比系統(tǒng)中的核心單元。本服務器默認人臉搜索模式中，支持在 30W張人臉庫中，實時對比時間少于1秒。同時，本服務器支持海量比對模式，支持1000級別高速比對。此技術處于國產(chǎn)人臉識別系統(tǒng)中絕對領先地位。中心管理服務器：系統(tǒng)可以根據(jù)不同的規(guī)模和實際環(huán)境選擇NVR或IPSAN等 。另外

7、我們建議架設單獨的數(shù)據(jù)庫服務器專門存儲人臉系統(tǒng)的數(shù)據(jù)。操作客戶端：客戶端管理平臺主要實現(xiàn)人臉抓拍機、人臉智能分析服務器、報警聯(lián)動等配置和管理?？蛻舳藢崿F(xiàn)對圖像的預覽、各種報警信息的查看等操作。1.3 系統(tǒng)功能1.3.1 人臉登記本系統(tǒng)能夠通過平臺客戶端利用USB攝像機和導入相片兩種方式實現(xiàn)人臉登記入庫支持一人多態(tài)人臉樣本登記入庫，提高人員對比識別效果除本地攝像機采集人臉登記入庫之外，系統(tǒng)還支持批量導入身份證相片入庫功能這些照片不錯，但圖中的打叉的部分很不好，最好能補齊1.3.2 人臉抓拍本系統(tǒng)能夠?qū)?jīng)過攝像機的行人進行人臉檢測和人臉提取，并存儲管理起來，然后利用然后根據(jù)系統(tǒng)對該攝像機的設置對比

8、模式(黑名單模式白名單模式)將捕獲到的合格人臉圖像發(fā)送到后臺人臉對比服務器，獲取識別結果，達到設定相似度閥值的就產(chǎn)生一個報警。操作人員可以在事后，對報警記錄或人臉記錄過程圖片進行查閱和轉(zhuǎn)到當時的視頻錄像進行錄像回放。人臉抓拍流程圖1.3.3 人臉識別與報警系統(tǒng)可以按通道對人臉進行布防，每個通道可以單獨配置黑名單數(shù)據(jù)庫，實現(xiàn)單獨布防。人臉比對識別主要是利用人臉識別算法對抓拍到的人臉圖像進行建模，同時與黑名單數(shù)據(jù)庫中的人臉模型進行實時比對，如果人臉的相識度達到設定閥值，系統(tǒng)自動可通過聲音等方式進行預警，提醒監(jiān)控管理人員。監(jiān)控管理人員可以根據(jù)雙擊報警信息查看抓拍原圖和錄像進行核實。具體流程如下圖所示

9、。人臉比對識別流程圖黑名單報警識別超遠距離，40 * 40300*300 的人臉圖片，能準確快速識別，并支持秒級實時比對報警，咱應聯(lián)動報警實時視頻彈出1.3.4 人臉檢索人臉檢索功能，在系統(tǒng)中輸入待查詢的人臉照片，系統(tǒng)自動檢測出照片中的人臉信息并截取人臉，用戶選擇需要檢索的人臉后進行相似度、時間段等參數(shù)設置后開始檢索，最后檢索出的相似人臉的結果會在界面上顯示出來。1.3.5 查詢?nèi)四樝到y(tǒng)查詢包括黑名單報警查詢和人臉抓拍查詢。我們可以通過時間、通道等相關參數(shù)快速查詢信息。n 黑名單報警：可以查詢某個時間段、通道的所有報警事件，并可詳細查看報警詳細信息。n 人臉抓拍查詢：可以查詢某個時間段、通道的

10、所有抓拍人臉事件，并可詳細查看圖片、具體抓拍時間點等信息。1.3.6 其他功能此系統(tǒng)同時具備傳統(tǒng)監(jiān)控系統(tǒng)包括的人臉異常報警、視頻預覽、設備管理、智能配置、報警設置、用戶管理等功能。人臉異常報警示意圖1.4 攝像機選型及架設要求1.4.1 攝像機選擇攝像機一般選用百萬高清攝像機。由于需要保證拍攝到的圖像中的人臉區(qū)域像素不小于80*80像素，因此攝像機的型號與監(jiān)控范圍有著密切關系，具體選型如下表所示。監(jiān)控區(qū)域?qū)挾认袼匾笸扑]型號備注3-5米500萬高清3米200萬高清2米130萬高清1米標清注意：如果監(jiān)控區(qū)域?qū)挾仍?米以上，需要多加裝高清攝像機。 現(xiàn)場環(huán)境復雜多樣，根據(jù)具體得實際環(huán)境，攝像機還需要

11、考慮到以下幾個方面：n 支持低照度、寬動態(tài)等功能主要考慮室內(nèi)光線偏暗，或逆光情況。n 支持自動光圈夜晚抓拍或光線變化劇烈場所。1.4.2 鏡頭選擇不同的相機、鏡頭焦距、監(jiān)控的寬度也決定了其不同的監(jiān)控距離和攝像機架設。其之間的換算關系如下U f*W/ah=U*tan(13*3./180)+1.7n senser粑面尺寸a（mm）n 監(jiān)控寬度W（米）n 監(jiān)控距離U(米)n 鏡頭焦距f(mm)n 相機架設高度h（米）攝像機類型senser粑面尺寸a（mm）監(jiān)控寬度W（米）監(jiān)控距離U(米)鏡頭焦距(mm)相機架設高度（米）俯視角（度）9782.313397122

12、.51339768.52.55162.81339768.52.57253.31339768.52.5103541339768.52.515505.21339768.52282.21339768.523122.41339768.524162.61339768.5262531339768.528353.51339768.5212504.513397821339768.51.52122.21339768.51.53162.413397252.81339768.51.563531339768.51.59503.813386461.5282.213386461.5

13、3122.413386461.54162.613386461.5625313386461.59353.813386461.513504.7133864611.582133864612122.2133864612.8162.4133864614252.6133864616353133864618.5503.713389821338934.80.82122.213389162.413389252.81338934.80.8635313389503.71331.4.3 安裝位置選擇n 攝像機設在通道正前方，正面抓拍人臉，

14、左右偏轉(zhuǎn)30，上下偏轉(zhuǎn)15 n 建議架設高度h大約2.0-3.5米左右。n 推薦攝像機的俯視角度=15度。n d和選用的不同鏡頭的焦距有關系，焦點在通道出入口，且人臉像素大小不小于80*80像素。注意：攝像機架設位置主要目的是要抓拍到一張正面清晰人臉照片，且需要盡量避免前后人臉遮擋情況。詳細位置的選點和鏡頭選擇有關系，可以查看鏡頭選擇章節(jié)中的詳細列表。1.4.4 人臉成像要求 本系統(tǒng)對人臉成像要求很低，在偏暗，偏亮等可看清人臉(大小等于40*40像素)的條件下，都可以具備人臉捕捉和識別的要求，建議以下圖為標準：1.5 應用場景目前人臉抓拍比對系統(tǒng)主要應用在以下幾個方面： n 企業(yè)、住宅安全和管

15、理等：在一些關鍵出入口、通道等卡口位置加強對進出人員的管理和安全防范。主要應用在對一些敏感人員布控，一旦發(fā)現(xiàn)可疑人員進出（黑名單人員），系統(tǒng)自動報警，并提示安保人員。n 公安、司法和刑偵：針對一些人員密集區(qū)域（如車站、地鐵站、機場、社區(qū)、酒店等）的關鍵出入口、通道等卡口位置做人臉識別，實現(xiàn)搜捕嫌疑犯、逃犯等。n 重要通關口岸的身份驗證：主要是實現(xiàn)對進出口岸人員和電子護照及身份證等信息的核實和確認。n 電力及涉密機構：電廠、變電站(防非法人員進入)、計量箱(防偷電)報警n 其他應用場景，包括活動場館，政府機構等。需要很方便地錄入人臉圖像，尤其是能夠進行批量導入，并進行實時比對。第二章 性能指標性

16、能指標包括人臉抓拍率、建模成功率和比對性能等指標。人臉抓拍率：對于光線較好的監(jiān)控環(huán)境下，正常的人臉抓拍率可以達到95%左右（其中抓拍到的人臉姿態(tài)偏轉(zhuǎn)在左右60度之內(nèi)、上下偏轉(zhuǎn)30度之內(nèi)），即100個人經(jīng)過，大約有95個人的臉會被準確抓拍。建模成功率：由于當前的人臉識別主要針對準正面人臉進行（左右偏轉(zhuǎn)30度，上下偏轉(zhuǎn)15度，臉部區(qū)域分辨率不能低于40*40個像素，且成像清晰），因此在建模時必須要對抓拍到的人臉進行篩選。如果滿足上述條件，建模成功率不低于90%，即100個人經(jīng)過，大約有90個人的臉能夠符合建模標準。比對性能：人臉比對性能與黑名單注冊圖像質(zhì)量和黑名單數(shù)據(jù)庫大小密切相關，性能指標主要從

17、由兩個指標進行衡量：誤拒率和誤識率，誤拒率是指黑名單人員漏報的比率，誤識率是指錯誤報警的比率。一般情況下如果錯誤報警越多（誤識率越高），那么漏報的可能性就越?。ㄕ`拒率越低），如果錯誤報警越少（誤識率越低），那么漏報的可能性就越大（誤拒率越高）。在非常理想情況下（注冊圖像的采集環(huán)境與真實監(jiān)控環(huán)境接近，包括相機型號與架設角度一致且近一年之內(nèi)采集），誤識率為千分之一情況下，誤拒率小于10%，也就是說有90%以上為正確識別，系統(tǒng)可以根據(jù)客戶實際需要設置不同的人臉相識度閥值來調(diào)節(jié)誤識率和誤拒率之間關系。另外，人臉比對性能和黑名單注冊圖像質(zhì)量、數(shù)據(jù)庫大小、環(huán)境、光線等因素影響很大，具體比對性能視實際場景及

18、實際注冊圖像質(zhì)量而定。第三章 人臉抓拍比對系統(tǒng)局限性雖然人臉識別有其得天獨厚的優(yōu)勢和廣泛的應用范圍。但是目前國內(nèi)外的人臉識別的技術還不是特別成熟。人臉識別率的高低還受很多條件的限制，所以詳細得了解人臉抓拍比對系統(tǒng)的局限性是系統(tǒng)應用好壞的一個關鍵環(huán)節(jié)。相似性不同人臉之間的區(qū)別不大，所有的人臉的結構都相似，甚至有些人臉器官的結構外形都很相似。這種情況對人臉識別率有很大影響。本系統(tǒng)客戶可以手動調(diào)節(jié)相識度的大小進行自動預警（如大于80%的相識度才報警），相識度越高識別的準確率也就越高，但是同時漏報的可能性也會增加。所以系統(tǒng)對人臉相識度的設置就顯得非常重要，客戶可以根據(jù)實際情況合理的調(diào)節(jié)其大小。易變性人

19、臉的外形很不穩(wěn)定，在不同年齡，不同時間段人臉也會不同的變化，當然對人臉識別率高低也會產(chǎn)生一定影響。 所以導入黑名單時，我們需要盡量選擇最近時間的人臉照片。照片質(zhì)量人臉照片質(zhì)量的好壞直接影響到識別的效果，照片質(zhì)量包括清晰度、人臉大小的分辨率等。人臉照片包括前端高清攝像機抓拍到人臉的照片和導入黑名單庫中的照片。所以導入黑名單時，我們需要選擇盡量清晰的人臉照片。人臉照片的角度人臉照片一般需要一張正面人臉的清晰照片。如果始終沒有一張正面人臉的清晰照片，其會大大影響其識別率的高低。所以導入黑名單時，我們需要盡量選擇正面的人臉照片。遮擋物干擾人臉會有很多遮蓋物（例如口罩、墨鏡、頭發(fā)等）多方面因素的影響，其

20、也會對人臉識別率高低產(chǎn)生一定影響。所以導入黑名單時，我們需要盡量選擇沒有遮擋的人臉照片。光線的影響光線的變化會大大影響人臉的外觀，從而影響識別的性能。 現(xiàn)代人臉識別技術的多項測試都表明光照變化仍是實用人臉識別系統(tǒng)的瓶頸之一。 所以現(xiàn)場環(huán)境盡量選擇光線變化不大的場景，同時做好補光。黑名單來源目前我們黑名單導入有三種方式進行添加，分別是前端攝像機、已有照片和身份證照。目前識別率最高的是通過客戶端攝像機采集的人臉照片作為黑名單，其次是已有照片（其他攝像機的照片或數(shù)碼相機照的相片等），最后是公安庫中的二代身份證照片。黑名單數(shù)據(jù)庫的大小本系統(tǒng)算法可達到單服務器下 30萬人臉庫,實現(xiàn)秒級速度實時對比，建議

21、黑名單或白名單庫在 30萬條記錄以內(nèi),如果實際情況超過此數(shù)量，可以廠家聯(lián)系統(tǒng)，以二次開發(fā)方式實現(xiàn)100萬級或1000萬級的秒級對比業(yè)務，優(yōu)秀的算法，是我們敢于承諾的基礎第四章 配置清單設備名稱推薦型號規(guī)格數(shù)量備注人臉抓拍機IVPS-US100A/F監(jiān)控區(qū)域3米帶人臉抓拍功能，二選一IVPS-AS30A/F監(jiān)控區(qū)域2米人臉比對服務器IVPS-SEA100/A/B/C/M實現(xiàn)人臉庫、比對前端選擇人臉抓拍機選擇該款服務器A型為30W人臉庫級服務器B型為20W級人臉庫服務器C型為10W級人臉庫服務器M型為1W級人臉庫服務器人臉抓拍記錄服務器IVPS-C100/A/D/E/F/M實現(xiàn)人臉檢索可支持接入人

22、臉人臉抓拍機(前端捕人臉)，普通網(wǎng)絡攝像機(服務器捕人臉)中心管理服務器CMS8000核心業(yè)務管理存儲錄像人臉識別管理軟件授權VMS-000標配支持10個IP1套第五章 主要設備介紹.5.1 IVPS-US100A/F產(chǎn)品介紹5.1.1 產(chǎn)品概述IVPS-US100A/F人臉抓拍機采用高清晰逐行掃描傳感器，具有清晰度高、低照度、幀率高、色彩還原度好等特點，其DSP中內(nèi)嵌人臉抓拍算法，能對圖像中的人臉進行檢測、跟蹤和抓拍，可廣泛應用于人員卡口系統(tǒng)。人員卡口系統(tǒng)可以通過設卡，利用人臉抓拍機對經(jīng)過卡口的行人進行治安監(jiān)控及抓拍，并通過網(wǎng)絡將抓拍數(shù)據(jù)上傳至后臺人臉分析服務器，利用后臺人臉分

23、析服務器上的智能人臉分析技術實現(xiàn)實時人臉識別和動態(tài)報警，為公安部門實現(xiàn)人員的管理提供準確的輔助信息。5.1.2 功能特點n 同時支持編碼和抓拍功能，采用先進的視頻壓縮技術，壓縮比高，且處理非常靈活n 支持人臉抓拍和人臉圖片上傳功能，滿足人員卡口應用的基本需求n 支持智能人臉錄像檢索功能n 信息疊加功能n H264，JPEG編碼n 攝像機參數(shù)配置功能：曝光速度、AGC控制、白平衡方式控制等n 本地視頻，方便調(diào)試n SD/SDHC本地存儲n 超強的網(wǎng)絡功能5.1.3 面板說明 側(cè)面板說明圖2.2.1序號描述1鏡頭接口（CS型）2固定支架安裝座3自動光圈鏡頭插座自動光圈鏡頭插座接口類型

24、為陰式方四孔型，其各個針定義如圖2.2.2。視頻驅(qū)動自動光圈接口使用三個針，即電源正、視頻、接地；直流驅(qū)動自動光圈接口使用四個針，即阻尼正、阻尼負、驅(qū)動正、驅(qū)動負。圖.3.2 后面板說明圖2.2.2序號描述1F1+,F1-, F2+,F2-, F3+,F3-：觸發(fā)輸出接口2T1 ,T2, T3, T4, GND：暫不用，保留3RS-485接口410M/100M自適應標準以太網(wǎng)口5VIDEO OUT：模擬視頻輸出接口6RESET：暫不用，保留7RS-232接口8電源接口9POWER：電源指示燈10SD卡插槽11AUDIO IN：暫不用，保留12AUDIO OUT：暫不用，保留13

25、GND接地端5.1.4 技術參數(shù) 型號參數(shù)IVPS-US100A/F200萬 1/1.8 CCD人臉識別網(wǎng)絡攝像機攝像機傳感器類型1/1.8 SONY Progressive Scan CCD最小照度0.1Lux(F1.2,AGC ON)快門1/25秒至1/30,000秒鏡頭接口類型C/CS 接口自動光圈DC驅(qū)動壓縮標準視頻壓縮標準H.264壓縮輸出碼率32 Kbps16M bps圖像圖像格式JPEG最大圖像尺寸16001200幀率15fps(16001200)圖像設置飽和度,亮度,對比度,白平衡,增益通過軟件可調(diào)網(wǎng)絡功能存儲功能支持SD/SDHC,NAS支持協(xié)議TCP/IP,HTTP,DHC

26、P,DNS,RTP/RTCP,支持FTP上傳圖片通用功能心跳,密碼保護 專用功能支持人臉檢測, 人臉錄像檢索, 支持JPEG抓圖功能接口通訊接口1 個RJ45 10M / 100M 自適應以太網(wǎng)口,1個RS-485 接口觸發(fā)輸入4路外部觸發(fā)輸入觸發(fā)輸出3路(光耦隔離3500VAC),可作為閃光燈同步輸出控制視頻輸出1Vp-p Composite Output(75/BNC)一般規(guī)范工作溫度和濕度-1060,濕度小于90%(無凝結)電源DC12V10% 功率10W MAX尺寸(mm)71.667.6165重量750g5.2 人臉抓拍服務器產(chǎn)品介紹5.2.1 產(chǎn)品概述人臉抓拍服務器IVPS-C10

27、0是上海萬達通過多年的潛心研發(fā)，成功推出了一款新品，IVPS-C100主要采用具有自主知識產(chǎn)權的人臉檢測算法、人臉跟蹤算法、人臉海量卡口記錄管理方法。其實現(xiàn)了實時人臉抓拍建模、與對比服務器進行實時黑名單比對報警和人臉后檢索等功能。5.2.2 功能特性n 提供后端智能視頻分析集中處理的解決方案。n 支持人臉抓拍、建模、與對比服務器的對比和后檢索功能。n 操作人性化，簡潔方便，支持黑名單批量導入功能。n 支持圖片、錄像、實時圖像等多種方式注冊黑名單。 5.2.3 相關型號區(qū)別n A型為前端人臉抓拍機接入型號(支持64路前端)n D型為后臺分析型服務器，可以接入12臺高清攝像機n E型為后臺分析型服務器，可以接入8臺高清攝像機n F型為后臺分析型服務器，可以接入4臺高清攝像機n M型為后臺分析迷你型服務器，可以接入1臺高清