某號(hào)線新增地鐵人臉識(shí)別系統(tǒng)建設(shè)技術(shù)建議書

某號(hào)線新增地鐵人臉識(shí)別系統(tǒng)建設(shè)技術(shù)建議書第1章概述近年來，隨著高清視頻監(jiān)控系統(tǒng)在地鐵里得到了廣泛應(yīng)用，如何充分利用現(xiàn)有的高清視頻資源，為地鐵公安工作提供更為高效、快捷的破案手段，為地鐵運(yùn)營(yíng)、重點(diǎn)人員管理提供更直觀、有效的數(shù)據(jù)參考，是現(xiàn)階段高清視頻應(yīng)用領(lǐng)域需要完成的任務(wù)。人臉識(shí)別系統(tǒng)作為最直觀、準(zhǔn)確率最高的人類面部特征識(shí)別技術(shù)應(yīng)運(yùn)而生，是基于人的面部特征信息進(jìn)行身份識(shí)別的生物識(shí)別技術(shù)。近幾年來，公安部門在地鐵內(nèi)通過人工抽檢的方式，抓獲大量在逃犯。同時(shí)地鐵運(yùn)營(yíng)方面，逃票、乞討、發(fā)傳單等影響地鐵正常運(yùn)營(yíng)的行為也屢禁不止。地鐵作為人們?nèi)粘４罅渴褂玫墓步煌üぞ撸罔F內(nèi)硬件設(shè)施完善、環(huán)境相對(duì)封閉、圖像采集環(huán)境適宜、客流量巨大，是非常適合作為人臉識(shí)別系統(tǒng)進(jìn)行數(shù)據(jù)采集的場(chǎng)所。1.1現(xiàn)狀和需求分析人臉識(shí)別是一種生物識(shí)別技術(shù)，所謂生物識(shí)別技術(shù)就是利用人類固有的生物特征來進(jìn)行身份驗(yàn)證的技術(shù)。人體生物特征可以按照先天固有和后天形成分為生理特征和行為特征兩大類。生理特征包括人們常見的指紋、手紋、人臉、掌紋、視網(wǎng)膜、虹膜、DNA等等，這些特征都是人類與生俱來的。而行為特征則是后天形成的，包括簽名、步態(tài)、語調(diào)語速等。相比于其他身份認(rèn)證方式比如密碼認(rèn)證、證件認(rèn)證，生物特征由于具有唯一性和不易偽造等優(yōu)點(diǎn)，所以得到了廣泛的應(yīng)用。人臉識(shí)別就是利用人體的生物特征進(jìn)行識(shí)別一種典型方式，相比于其他的一些生物特征識(shí)別方式，人臉識(shí)別具備以下一些優(yōu)勢(shì)：（一）用戶容易接受，侵犯性低：其它的識(shí)別方法比如虹膜識(shí)別和指紋識(shí)別，都需要用戶進(jìn)行一定程度的配合。虹膜識(shí)別需要非常靠近識(shí)別機(jī)以便提取虹膜信息，指紋識(shí)別需要用戶把手指放置到指紋識(shí)別機(jī)上。而人臉識(shí)別由于需要獲取的是人臉圖像，拍照與識(shí)別過程并不需要與識(shí)別機(jī)器做近距離接觸，用戶接受度高，侵犯性低。（二）易擴(kuò)展性：其它識(shí)別方法往往需要專業(yè)的設(shè)備，而基礎(chǔ)人臉識(shí)別功能只需要使用攝像頭，依靠相關(guān)識(shí)別軟件就可以實(shí)現(xiàn)，無需增添其它設(shè)備，性價(jià)比高，易于擴(kuò)展使用。（三）直觀性：人臉識(shí)別是利用人的面部特征來進(jìn)行識(shí)別的，這符合實(shí)際情況下人類自身對(duì)他人身份識(shí)別的認(rèn)知規(guī)律，直觀性好。隨著互聯(lián)網(wǎng)，特別是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，一個(gè)以信息爆炸為特征的大數(shù)據(jù)時(shí)代正在到來?，F(xiàn)階段，我國(guó)二代證的普及使中國(guó)目前逾13億人的身份信息有了數(shù)碼照片數(shù)據(jù)，平安城市聯(lián)網(wǎng)的數(shù)百萬臺(tái)監(jiān)控?cái)z像機(jī)每天也產(chǎn)生著海量的數(shù)據(jù)信息，種種跡象表明，已經(jīng)跨入大數(shù)據(jù)應(yīng)用時(shí)代。公安系統(tǒng)中現(xiàn)有的人臉識(shí)別應(yīng)用面臨以下幾個(gè)挑戰(zhàn)：（一）對(duì)人臉識(shí)別的比對(duì)容量要求更大、精度要求更高目前公安的戶政管理、出入境、刑偵嫌疑犯的身份識(shí)別等各類應(yīng)用，需要基于全國(guó)人臉數(shù)據(jù)進(jìn)行識(shí)別，處理的數(shù)據(jù)庫(kù)容量上億或十億，處理的比對(duì)請(qǐng)求數(shù)量大、模式不統(tǒng)一，如何快速準(zhǔn)確地從如此規(guī)模數(shù)據(jù)庫(kù)中快速識(shí)別身份，是當(dāng)前面臨的挑戰(zhàn)。（二）系統(tǒng)輸入從單純的靜態(tài)圖像擴(kuò)展到動(dòng)態(tài)視頻近年來，全國(guó)各地公安機(jī)關(guān)大力開展視頻監(jiān)控系統(tǒng)建設(shè)，結(jié)合視頻監(jiān)控和人臉識(shí)別，實(shí)現(xiàn)犯罪嫌疑人的快速識(shí)別和實(shí)時(shí)布控，是提高視頻監(jiān)控效率的一條重要途徑。然而，在視頻監(jiān)控環(huán)境下，人臉識(shí)別面臨光線、角度、姿態(tài)、遮擋等一系列因素的影響，如何在復(fù)雜監(jiān)控場(chǎng)景下保證人臉識(shí)別的準(zhǔn)確性，是當(dāng)前面臨的挑戰(zhàn)（三）重點(diǎn)人員實(shí)時(shí)預(yù)警傳統(tǒng)的人員管控手段需要人為判斷重點(diǎn)人員信息，然后根據(jù)信息線索做出主觀的判斷，會(huì)存在一定的偏差，而且無法及時(shí)根據(jù)重點(diǎn)人員信息發(fā)出動(dòng)態(tài)預(yù)警，預(yù)警的時(shí)效性相對(duì)較差。采用基于人臉識(shí)別的布控系統(tǒng)，第一可幫助公安偵查人員快速識(shí)別和辨別特定人員真實(shí)身份，把過去難以想象的千萬級(jí)的海量照片庫(kù)比對(duì)需求變成現(xiàn)實(shí)，從而有效的為公安視頻偵查、治安管理、刑偵立案等工作提供實(shí)戰(zhàn)上的有效幫助和解決方法。第二可幫助公安偵查人員辦案時(shí)候追查和通緝，真正從打變?yōu)榉?，能夠極大的減少警力資源浪費(fèi)和事故發(fā)生概率。1.2建設(shè)目標(biāo)（一）重點(diǎn)人員實(shí)時(shí)排查布控公安關(guān)注重點(diǎn)人員包括：高危人員、特殊人員等。高危人員包括有全國(guó)在逃人員、全國(guó)違法犯罪人員等；特殊人員包括水客、涉恐涉案人員、涉毒人員、重大犯罪前科人員、肇事肇禍精神病人等。對(duì)所有進(jìn)出地鐵的人員通過人臉識(shí)別進(jìn)行排查，當(dāng)所布控的重點(diǎn)人員出現(xiàn)時(shí)及時(shí)識(shí)別并報(bào)警，提醒公安干警對(duì)其抓捕或采取相應(yīng)措施。地鐵運(yùn)營(yíng)關(guān)注重點(diǎn)人員包括：逃票人員、發(fā)傳單人員、乞討人員、盜用免費(fèi)卡優(yōu)惠卡人員等。當(dāng)關(guān)注人員出現(xiàn)時(shí)，及時(shí)識(shí)別報(bào)警，提醒工作人員采取相應(yīng)措施（二）快速人員檢索人臉識(shí)別系統(tǒng)針對(duì)所有進(jìn)出地鐵的人員進(jìn)行人臉記錄，可以根據(jù)需要按時(shí)間、攝像機(jī)、人臉屬性（年齡段、性別、是否戴眼鏡、民族、是否微笑）等條件快速查詢過人庫(kù)中抓拍的人臉數(shù)據(jù)。支持導(dǎo)入一張人臉圖片，檢索指定時(shí)間、指定攝像機(jī)形成的過人庫(kù)中滿足一定相似度條件的過人數(shù)據(jù)，可以確認(rèn)該名人員在指定時(shí)間段內(nèi)是否在指定的攝像機(jī)前經(jīng)過。（三）出行軌跡分析系統(tǒng)可支持導(dǎo)入一張人臉圖片，根據(jù)時(shí)間段以及相似度閾值在全部的過人庫(kù)中檢索該名目標(biāo)人員的歷史抓拍記錄，結(jié)合攝像機(jī)的位置信息，按照時(shí)間順序在地圖上繪制出該目標(biāo)的出行軌跡，通過軌跡可以準(zhǔn)確獲取該名人員的活動(dòng)范圍、落腳點(diǎn)等有用線索第2章人臉識(shí)別系統(tǒng)組成2.1總體介紹動(dòng)態(tài)人臉分析布控系統(tǒng)是一種針對(duì)動(dòng)態(tài)運(yùn)動(dòng)的人流進(jìn)行人臉抓拍、識(shí)別、黑名單比對(duì)報(bào)警的監(jiān)控管理系統(tǒng)，應(yīng)用視頻監(jiān)控技術(shù)、人臉識(shí)別技術(shù)，能對(duì)多路攝像頭中的人臉進(jìn)行實(shí)時(shí)檢測(cè)、跟蹤、比對(duì)。提供人臉抓拍、識(shí)別、黑名單報(bào)警等功能。通過網(wǎng)絡(luò)將信息實(shí)時(shí)反饋至中心，進(jìn)行數(shù)據(jù)處理和保存，指揮中心人員能夠進(jìn)行動(dòng)態(tài)監(jiān)管，及時(shí)掌握監(jiān)控人員的運(yùn)動(dòng)軌跡，大大提升了視頻監(jiān)控的智能化程度。系統(tǒng)部署上為了保證數(shù)據(jù)安全，黑名單人員相關(guān)的庫(kù)（如七類重點(diǎn)人員庫(kù)等）通常需要部署在公信信息網(wǎng)，即在公安信息網(wǎng)中實(shí)現(xiàn)黑名單人員的比對(duì)業(yè)務(wù)。而人臉抓拍相機(jī)一般需部署在視頻專網(wǎng)，所以整個(gè)系統(tǒng)的部署和應(yīng)用分別由視頻專網(wǎng)和公安信息網(wǎng)相關(guān)應(yīng)用組件組成。在視頻專網(wǎng)中進(jìn)行人臉圖片的存儲(chǔ)以及人臉結(jié)構(gòu)化與半結(jié)構(gòu)化信息的提取，并通過接口服務(wù)器上傳至公安信息網(wǎng)中，與公安信息網(wǎng)中的黑名單庫(kù)進(jìn)行比對(duì)，一旦發(fā)現(xiàn)相似人員，立即報(bào)警，并可檢索該人員的人臉軌跡。公安信息網(wǎng)與公安視頻專網(wǎng)間需部署安全接入邊界。2.2邏輯結(jié)構(gòu)系統(tǒng)邏輯結(jié)構(gòu)自下而上由采集層、處理&存儲(chǔ)層、應(yīng)用層組成。采集層：根據(jù)不同的應(yīng)用場(chǎng)景采用不同的前端采集設(shè)備（如人臉卡口相機(jī)、移動(dòng)核查APP等），完成人臉圖片的采集和上傳。處理&存儲(chǔ)層：由人臉結(jié)構(gòu)化、人臉大數(shù)據(jù)、存儲(chǔ)部分組成。對(duì)采集層上傳的數(shù)據(jù)進(jìn)行實(shí)時(shí)結(jié)構(gòu)化分析、比對(duì)和存儲(chǔ)應(yīng)用層：為系統(tǒng)提供黑名單布控、人員軌跡刻畫、統(tǒng)計(jì)分析、過人檢索、設(shè)備管理、人像庫(kù)管理、報(bào)警記錄等功能，并通過統(tǒng)一的可視化界面進(jìn)行呈現(xiàn)第3章地鐵動(dòng)態(tài)人臉識(shí)別系統(tǒng)整體架構(gòu)設(shè)計(jì)組網(wǎng)架構(gòu)本建設(shè)模式在車站警用專網(wǎng)進(jìn)行人臉集中式建設(shè)，在各個(gè)車站建設(shè)人臉采集終端，通過專用視頻網(wǎng)絡(luò)將終端采集的人臉圖片推送到公安分局寫入存儲(chǔ)設(shè)備并將人臉小圖及大圖URL鏈接進(jìn)行人臉解析，分局中心人臉識(shí)別平臺(tái)對(duì)人臉小圖進(jìn)行人臉特征數(shù)據(jù)提取，寫入數(shù)據(jù)庫(kù)，同時(shí)人臉特征數(shù)據(jù)及URL鏈接通過接口服務(wù)器推送至公安內(nèi)網(wǎng)與布控庫(kù)人員信息庫(kù)進(jìn)行比對(duì)，一旦黑名單人員出現(xiàn)，在分局內(nèi)網(wǎng)客戶端產(chǎn)生報(bào)警。此外根據(jù)地鐵運(yùn)營(yíng)需要，地鐵公司需要對(duì)其他人員進(jìn)行布控時(shí)，可將公安專網(wǎng)中的人臉特征數(shù)據(jù)及圖片URL鏈接推送至OCC控制中心進(jìn)行人臉布控。第4章地鐵動(dòng)態(tài)人臉識(shí)別系統(tǒng)詳細(xì)設(shè)計(jì)4.1前端采集設(shè)計(jì)4.1.1前端應(yīng)用場(chǎng)景在地鐵人臉識(shí)別系統(tǒng)設(shè)計(jì)應(yīng)用場(chǎng)景選擇通常選擇在地鐵進(jìn)出站通道、換乘通道、進(jìn)/出/雙向閘機(jī)以及安檢門等重點(diǎn)部位。針對(duì)不同安裝位置優(yōu)缺點(diǎn)分析如下：4.1.2安裝環(huán)境要求1.通用要求安裝位置：處于通道或者出入口的正前方。安裝高度：建議2.5米~3米。監(jiān)控區(qū)域?qū)挾龋航ㄗh0.8米~3米相機(jī)俯視角度：建議15度以內(nèi)相機(jī)距離抓拍點(diǎn)的水平距離：和選用的不同鏡頭的焦距有關(guān)系，焦點(diǎn)在通道出入口，且人臉像素建議不小于120*120。為保證人臉可識(shí)別，行進(jìn)距離應(yīng)不小于2m，行進(jìn)時(shí)間不低于1s，行人速度小于2.7m/s環(huán)境光要求：光照均勻，人臉左右兩邊的補(bǔ)光均勻（不偏暗或偏亮）。避免強(qiáng)順光、逆光、寬動(dòng)態(tài)、玻璃門反光場(chǎng)景，影響人臉識(shí)別。2.進(jìn)出站、換乘通道部署要求?人臉檢測(cè)器部署在通道正上方，水平偏轉(zhuǎn)角度越小越好；?人臉檢測(cè)器采用吊裝方式，向下傾斜，垂直俯視角度α=10±3°；?覆蓋寬度≤3米，人臉像素應(yīng)≥120*120個(gè)像素點(diǎn)；?人臉檢測(cè)器與行人之間無遮擋；3.閘機(jī)及安檢?人臉檢測(cè)器部署在閘機(jī)通道正上方，水平偏轉(zhuǎn)角度越小越好；?人臉檢測(cè)器采用吊裝方式，向下傾斜，垂直俯視角度α=10±3°；?每個(gè)人臉檢測(cè)器覆蓋2個(gè)閘機(jī)通道，人臉像素應(yīng)≥120*120個(gè)像素點(diǎn)；?人臉檢測(cè)器與行人之間無遮擋；4.1.3前端技術(shù)要求人臉檢測(cè)器采用高清逐幀檢測(cè)/跟蹤技術(shù)，自動(dòng)掃描（檢測(cè)）監(jiān)測(cè)區(qū)域內(nèi)的人員，使用高效的人臉檢測(cè)算法，配合先進(jìn)的目標(biāo)融合、決策策略，實(shí)時(shí)定位出其中含人臉信息的區(qū)域，實(shí)現(xiàn)智能化的實(shí)時(shí)人臉檢測(cè)、捕獲、篩選。?實(shí)現(xiàn)對(duì)人臉進(jìn)行識(shí)別抓拍，通過人臉評(píng)價(jià)算法篩選出最佳人臉圖片傳輸至后端平臺(tái)?攝像機(jī)分辨率不低于1080P，先進(jìn)的H.265編碼算法，壓縮效率更高?采用狀態(tài)辨識(shí)機(jī)理減少?gòu)?fù)雜背景的干擾。?可檢測(cè)左右旋轉(zhuǎn)≤30°，上下旋轉(zhuǎn)≤15°的人臉；?人臉瞳距要求為60-80，且人臉像素不小于120*120?可檢測(cè)寬度60像素以上的人臉；4.2人臉結(jié)構(gòu)化分析模塊設(shè)計(jì)4.2.1技術(shù)原理動(dòng)態(tài)人臉分析布控系統(tǒng)的核心之一是人臉結(jié)構(gòu)化分析模塊，基于安防視頻監(jiān)控多媒體數(shù)據(jù)計(jì)算的特點(diǎn)，結(jié)合高性能GPU+CPU集群計(jì)算技術(shù)，采用分布式集群架構(gòu)，充分考慮系統(tǒng)功能、質(zhì)量和性能等因素，建設(shè)成一個(gè)經(jīng)濟(jì)實(shí)用、功能強(qiáng)大、質(zhì)量?jī)?yōu)異、操作方便、接口豐富的人臉結(jié)構(gòu)化分析系統(tǒng)。人臉結(jié)構(gòu)化分析模塊通過人的臉部上百個(gè)關(guān)鍵點(diǎn)定位，可對(duì)各種表情、姿態(tài)、角度豐富多變的人臉進(jìn)行精準(zhǔn)關(guān)鍵點(diǎn)定位，該子模塊采用最新的算法，結(jié)合了深度學(xué)習(xí)的五官標(biāo)定初始化，綜合多個(gè)不同標(biāo)準(zhǔn)的多點(diǎn)數(shù)據(jù)集知識(shí)，使得同一個(gè)模型可以應(yīng)用于不同數(shù)量的關(guān)鍵點(diǎn)檢測(cè)，以保障更低的誤差和更好的適應(yīng)性。從而確保在人臉部分遮擋、化妝、大角度偏轉(zhuǎn)、局部模糊、年齡偏差大、胖瘦變化、臉部表情變化的情況下進(jìn)行精準(zhǔn)數(shù)字描述。對(duì)由人臉抓拍相機(jī)/移動(dòng)終端上傳的人臉圖片進(jìn)行結(jié)構(gòu)化建模，將人臉圖片轉(zhuǎn)換為結(jié)構(gòu)化數(shù)字描述。采用先進(jìn)的深度學(xué)習(xí)技術(shù)，基于深度學(xué)習(xí)理論的多層卷積神經(jīng)網(wǎng)絡(luò)（CNN），采用有感知機(jī)（Perceptrons）、BP（BackPropagation）網(wǎng)絡(luò)、RBF（RadialBasisFunction）網(wǎng)絡(luò)等人臉識(shí)別算法訓(xùn)練提升技術(shù)。進(jìn)行神經(jīng)元網(wǎng)絡(luò)的持續(xù)改進(jìn)，從而快速收斂，不斷提升算法的精度，從而確保在人臉部分遮擋、化妝、大角度偏轉(zhuǎn)、局部模糊、年齡偏差大、胖瘦變化、臉部表情變化的情況下進(jìn)行精準(zhǔn)比對(duì)，在比對(duì)命中后，自動(dòng)報(bào)警。并對(duì)接收到的人臉建模結(jié)構(gòu)化數(shù)據(jù)進(jìn)行人臉特征比對(duì)，識(shí)別人臉的性別、年齡段、是否戴眼鏡等人臉特征信息。4.2.2分析模式圖片流分析模式圖片流分析模式，前端相機(jī)抓拍人臉，后端服務(wù)器針對(duì)圖片進(jìn)行分析，對(duì)后端服務(wù)器計(jì)算壓力相對(duì)不高，單臺(tái)服務(wù)器處理性能高，單路建設(shè)低。但受限于前端處理性能在高人流場(chǎng)景使用時(shí)，容易造成前端漏拍情況出現(xiàn)，同時(shí)，前端傳輸除視頻以外還需保證圖片傳輸帶寬，所以帶寬要求會(huì)較高。4.2.3部署方式本方案設(shè)計(jì)采用分布式智能計(jì)算集群架構(gòu)，采用“前端智能解析+后端識(shí)別”的模型。前端智能解析主要是針對(duì)前端人臉抓拍攝像機(jī)采用高清逐幀檢測(cè)+跟蹤技術(shù)，自動(dòng)掃描（檢測(cè)）監(jiān)測(cè)區(qū)域內(nèi)的人員，使用高效的人臉檢測(cè)算法，配合先進(jìn)的目標(biāo)融合、決策策略，實(shí)時(shí)定位出其中含人臉信息的區(qū)域，實(shí)現(xiàn)智能化的實(shí)時(shí)人臉檢測(cè)、解析、捕獲、篩選，通過人臉評(píng)價(jià)算法篩選出最佳的人臉圖片上傳至后端人臉識(shí)別系統(tǒng)。后端人臉識(shí)別系統(tǒng)采用智能計(jì)算集群調(diào)度的模式，智能計(jì)算集群實(shí)現(xiàn)統(tǒng)一管理、智能調(diào)度。4.3大數(shù)據(jù)模塊設(shè)計(jì)4.3.1技術(shù)原理從廣義來講，大數(shù)據(jù)涵蓋廣泛，海量的數(shù)據(jù)及應(yīng)用即可理解為大數(shù)據(jù)，大數(shù)據(jù)涵蓋的數(shù)據(jù)類型集中在安防相關(guān)領(lǐng)域，主要以視頻、圖像、物聯(lián)網(wǎng)采集數(shù)據(jù)等信息為主，通過各種前端采集或通過數(shù)據(jù)對(duì)接采集到的上述數(shù)據(jù)，通過對(duì)原始數(shù)據(jù)進(jìn)行結(jié)構(gòu)化或半結(jié)構(gòu)化后，存儲(chǔ)在進(jìn)行了深度優(yōu)化和安防適配的Hadoop+Spark架構(gòu)大數(shù)據(jù)系統(tǒng)中，滿足行業(yè)的基礎(chǔ)應(yīng)用?？傮w架構(gòu)如下圖所示：存儲(chǔ)層面：在Hadoop中，基于HDFS引入Hbase，做更適合于安防領(lǐng)域的圖像、視頻、文本等信息的結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，使得數(shù)據(jù)的使用效率更高，有針對(duì)性的數(shù)據(jù)存儲(chǔ)表結(jié)構(gòu)設(shè)計(jì)，更適用于行業(yè)業(yè)務(wù)，提升數(shù)據(jù)整體讀寫性能。這是在Hadoop的存儲(chǔ)層面做的優(yōu)化改進(jìn)。計(jì)算層面：在Hadoop架構(gòu)中，MapReduce長(zhǎng)期以來一直扮演著重要的角色，MapReduce由兩個(gè)單詞組成：Map和Reduce，它首先對(duì)輸入的文件做Map操作，即將文件分為很多塊，對(duì)每一小塊做個(gè)映射關(guān)系，就好像對(duì)一個(gè)雜亂無章的文件做了一份清晰的映射地圖一樣，然后這些小塊的文件再由分布式的計(jì)算資源做Reduce計(jì)算，最終給出計(jì)算結(jié)果，這兩步簡(jiǎn)單的操作說來簡(jiǎn)單，但實(shí)際比較復(fù)雜。這期間，它們的一些中間計(jì)算結(jié)果都會(huì)存到HDFS/Hbase上，因此，對(duì)于一些需要反復(fù)迭代的計(jì)算，中間結(jié)果需要反復(fù)的從HDFS/Hbase中讀取，效率就降低了。Spark也是一種并行的分布式計(jì)算框架，與MapReduce類似，但Spark的特點(diǎn)在于，它將中間運(yùn)算結(jié)果放在內(nèi)存上，基于內(nèi)存的數(shù)據(jù)讀取速度比文件系統(tǒng)上要快很多，因此，Spark基于內(nèi)存的計(jì)算比MapReduce效率要提高很多。同時(shí)，Spark還增加了流數(shù)據(jù)處理、圖數(shù)據(jù)處理等更高級(jí)的數(shù)據(jù)處理能力，這些特點(diǎn)都與安防行業(yè)，尤其是視頻圖像為核心的安防業(yè)務(wù)非常契合，因此，在Hadoop的基礎(chǔ)上，引入Spark取代MapReduce，并繼續(xù)有針對(duì)性的進(jìn)行優(yōu)化，不斷的提升大數(shù)據(jù)整體處理性能數(shù)據(jù)交互：SparkStreaming顧名思義，它基于Spark優(yōu)秀的血統(tǒng)，Streaming代表流數(shù)據(jù)，像流水一樣的數(shù)據(jù)需要實(shí)時(shí)的處理。數(shù)據(jù)都有時(shí)效性，大數(shù)據(jù)可以處理歷史數(shù)據(jù)，更要能夠快速的處理實(shí)時(shí)數(shù)據(jù)，這正是SparkStreaming所擅長(zhǎng)的事。SparkStreaming基于單位時(shí)間來處理數(shù)據(jù)，為了避免數(shù)據(jù)流的不穩(wěn)定性，降低底層壓力，采用kafka配合SparkStreaming，kafka是一種業(yè)界主流的分布式消息框架，它接收數(shù)據(jù)后將其進(jìn)行排隊(duì)形成消息隊(duì)列后，再交給SparkStreaming處理存入Hbase，事實(shí)上它在上層起到一個(gè)類似緩沖的作用，將數(shù)據(jù)流變得穩(wěn)定而有序的交給底層處理，減輕了底層壓力，提升了數(shù)據(jù)處理的整體效率，數(shù)據(jù)來時(shí)，它先進(jìn)入kafka消息隊(duì)列，然后由kafka調(diào)用API發(fā)給SparkStreaming，通過SparkStreaming處理后存入Hbase里面。數(shù)據(jù)搜索：對(duì)于海量數(shù)據(jù)的搜索和讀取，我們很自然的想到搜索引擎，ElasticSearch（下文簡(jiǎn)稱ES）就是一個(gè)實(shí)時(shí)的分布式搜索和分析引擎，它可以用于全文搜索，結(jié)構(gòu)化搜索以及分析。在Hadoop架構(gòu)中使用ES，因?yàn)镋S在建立索引以及實(shí)時(shí)搜索方面相對(duì)于Solr有著明顯的優(yōu)勢(shì)。第5章系統(tǒng)應(yīng)用功能設(shè)計(jì)5.1人員布控將前端捕獲的人臉圖像自動(dòng)與黑名單中人員圖像進(jìn)行實(shí)時(shí)比對(duì)，當(dāng)相似度達(dá)到閾值時(shí)觸發(fā)報(bào)警提醒。用戶在實(shí)時(shí)告警窗口上，當(dāng)有告警的時(shí)候會(huì)在左側(cè)告警列表實(shí)時(shí)刷新，右側(cè)地圖界面上報(bào)警點(diǎn)會(huì)在地圖上相應(yīng)點(diǎn)位顯示一個(gè)紅點(diǎn)閃爍提示。當(dāng)有下一個(gè)點(diǎn)位實(shí)時(shí)告警時(shí)，會(huì)切換到下一個(gè)告警點(diǎn)，保證該點(diǎn)位在地圖畫面的中心。5.2軌跡呈現(xiàn)前端攝像機(jī)在平臺(tái)上配置經(jīng)緯度信息后，可以在地圖上顯示具體的攝像機(jī)的位置信息。導(dǎo)入一張人臉圖片，設(shè)置檢索時(shí)間段和相似度值，根據(jù)時(shí)間段以及相似度閾值在全部的過人庫(kù)中檢索該名目標(biāo)人員的歷史抓拍記錄，結(jié)合攝像機(jī)的經(jīng)緯度信息，按照時(shí)間順序在地圖上繪制出該目標(biāo)的行走軌跡，通過軌跡可以獲取該名人員的活動(dòng)范圍、落腳點(diǎn)等有用線索。該軌跡支持動(dòng)態(tài)展示，即一個(gè)小人圖標(biāo)在該軌跡路線上按照時(shí)間順序移動(dòng)播放，軌跡播放倍速（1-100）可自由設(shè)置。當(dāng)配置有地圖服務(wù)器并導(dǎo)入路網(wǎng)數(shù)據(jù)時(shí)，過人軌跡可按照路網(wǎng)繪制，沒有配置路網(wǎng)信息時(shí)，軌跡即為兩個(gè)攝像機(jī)之間的連線。5.3過人檢索可以按時(shí)間、攝像機(jī)、人臉屬性（年齡段、性別、是否戴眼鏡、民族、是否微笑）等條件查詢過人庫(kù)中抓拍的人臉數(shù)據(jù)，檢索結(jié)果點(diǎn)擊詳情查看抓拍的全景大圖，可以聯(lián)動(dòng)播放該目標(biāo)抓拍前后10秒錄像也支持導(dǎo)入一張人臉圖片（支持本地導(dǎo)入或從名單庫(kù)導(dǎo)入），檢索指定時(shí)間、指定攝像機(jī)形成的過人庫(kù)中滿足一定相似度條件的過人數(shù)據(jù)，可以確認(rèn)該名人員在指定時(shí)間段內(nèi)是否在指定的攝像機(jī)前經(jīng)過，返回