平安校園智能視頻分析系統(tǒng)

1、1智能視頻識別產(chǎn)品智能視頻識別產(chǎn)品 白皮書白皮書北京弘恒科技有限公司地址：聯(lián)系電話：2目目 錄錄目錄一、背景概述 .31、研發(fā)背景 .32、產(chǎn)品定位 .3二、產(chǎn)品功能介紹 .41、系統(tǒng)拓?fù)鋱D .42、系統(tǒng)構(gòu)架描述 .53、系統(tǒng)功能、主要功能或優(yōu)勢功能介紹 .63.1 數(shù)據(jù)采集.63.2 事件分析.73.3 事件處理.93.4 事件歸檔.103.5 統(tǒng)計(jì)查詢.113.6 聯(lián)動(dòng)報(bào)警.123.7 識別參數(shù)設(shè)置.123.8 系統(tǒng)設(shè)置.124、產(chǎn)品規(guī)格 .134、產(chǎn)品性能 .14三、產(chǎn)品特性介紹 .151、技術(shù)特性 .152、應(yīng)用特性 .163、系統(tǒng)特性 .173一、背景概述一、背景概述1 1、研發(fā)背景

2、、研發(fā)背景現(xiàn)代社會(huì)經(jīng)濟(jì)的飛速發(fā)展是要有穩(wěn)定的社會(huì)治安作保障的，而監(jiān)控系統(tǒng)的普及為其做出了巨大的貢獻(xiàn)。早期的監(jiān)控系統(tǒng)很大程度上只作為一種事后的錄像查詢系統(tǒng)，既浪費(fèi)了海量的信息數(shù)據(jù)，又浪費(fèi)了大量的查詢時(shí)間，也沒能從根本上解決防范于未然的目的，但這一矛盾原本并不突出。隨著近年來危害公共安全事件的增加，人們深切感受到來自近在身邊的威脅，對于公共安全的需求空前高漲，安全監(jiān)控系統(tǒng)的效率日益成為人們關(guān)注的重點(diǎn)，原有的安防系統(tǒng)功能已無法滿足需求，安防系統(tǒng)迫切需要真正實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，即時(shí)反應(yīng)，在最大程度上減少甚至及時(shí)阻止危險(xiǎn)事件的發(fā)生。在這一市場需求背景的催生之下，智能視頻分析技術(shù)得到了長足的發(fā)展。2 2、產(chǎn)品定

3、位、產(chǎn)品定位本產(chǎn)品是基于網(wǎng)絡(luò)智能視頻分析為數(shù)據(jù)來源的分析系統(tǒng)，在此基礎(chǔ)上開展反恐工作。如識別群體行為、遺留物品、被盜物品，建立了預(yù)警機(jī)制，在事件即將發(fā)生發(fā)出預(yù)警信息，同時(shí)預(yù)警程度可根據(jù)使用單位實(shí)際情況分級（默認(rèn)分為三級） 。如危害行為已經(jīng)發(fā)生，系統(tǒng)則發(fā)出報(bào)警信息，并由值守人員通過聯(lián)動(dòng)報(bào)警告知相關(guān)職能部門或其他安全部門。同時(shí)本產(chǎn)品具有學(xué)習(xí)能力，能根據(jù)行為識別庫的不斷完善提高系統(tǒng)識別率，提高相關(guān)部門的安全防護(hù)工作效率，更好的保障廣大群眾的人生和財(cái)產(chǎn)安全，維護(hù)了社會(huì)穩(wěn)定。目前系統(tǒng)實(shí)現(xiàn)： 視頻狀態(tài)檢測、煙霧檢測、火焰或火花檢測、PTZ 目標(biāo)跟蹤、運(yùn)動(dòng)目標(biāo)異常行為檢測、越線檢測、禁區(qū)檢測、物品遺留檢測、

4、物品移走檢測、區(qū)域密度檢測、流量及計(jì)數(shù)統(tǒng)計(jì)、運(yùn)動(dòng)目標(biāo)分類檢測等多種功能模塊。4二、二、產(chǎn)品功能介紹產(chǎn)品功能介紹1 1、系統(tǒng)拓?fù)鋱D、系統(tǒng)拓?fù)鋱D52 2、系統(tǒng)構(gòu)架描述、系統(tǒng)構(gòu)架描述訪訪問問瀏瀏覽覽網(wǎng)網(wǎng)絡(luò)絡(luò)技技術(shù)術(shù)WEB容容器器數(shù)數(shù)據(jù)據(jù)庫庫操操作作系系統(tǒng)統(tǒng)IE8.0以上、Chrome2.1以上專線網(wǎng)絡(luò)SOA、ESB、GIS、web Service、ajaxnginx、tomcat、weblogicOracle11g、MSSQLServer、mySqlwindow server 2008/Linux運(yùn)運(yùn)行行環(huán)環(huán)境境J2RE系統(tǒng)架構(gòu)七個(gè)層次，分別是操作系統(tǒng)層、數(shù)據(jù)庫層、web 容器層、運(yùn)行環(huán)境層、技術(shù)層

5、、網(wǎng)絡(luò)層、訪問瀏覽層。1. 操作系統(tǒng)層應(yīng)用服務(wù)器操作系統(tǒng)層建議采用專用于服務(wù)器的高性能、高可靠性、高安全性的微軟視窗操作系統(tǒng)：Windows Server 2008 標(biāo)準(zhǔn)版。數(shù)據(jù)庫服務(wù)器操作系統(tǒng)建議采用 Linux 系統(tǒng)，并采用集群軟件實(shí)現(xiàn)負(fù)載均衡。2. 數(shù)據(jù)庫層數(shù)據(jù)庫層采用具有無限可伸縮性與高可用性，建議采用 Oracle11g 企業(yè)版數(shù)據(jù)庫、SQL Server 企業(yè)版或 mySql 數(shù)據(jù)庫，同時(shí)根據(jù)具體的業(yè)務(wù)數(shù)據(jù)量和業(yè)務(wù)處理業(yè)，將數(shù)據(jù)庫升級可用數(shù)據(jù)庫集群。3. WEB 容器層WEB 容器層采用基于 J2EE 架構(gòu)的，用于開發(fā)、集成、部署和管理大型分布式 Web 應(yīng)用、網(wǎng)絡(luò)應(yīng)用和數(shù)據(jù)庫應(yīng)用

6、的 Java 應(yīng)用服務(wù)器：建議采用 Tomcat 或Weblogic。4. 運(yùn)行環(huán)境層運(yùn)行環(huán)境采用包含了運(yùn)行 Java 程序所必須的環(huán)境的集合，包含 JVM 標(biāo)準(zhǔn)實(shí)現(xiàn)及 Java 核心類庫的 Java 系統(tǒng)：J2RE。65. 網(wǎng)絡(luò)層網(wǎng)絡(luò)層可采用的專用網(wǎng)絡(luò)或 Internet。6. 技術(shù)層技術(shù)層采用 ESB、GIS、SOA、web services、Ajax 等技術(shù)。7. 訪問瀏覽層訪問瀏覽層，建議采用 IE8.0 以上、Chrome。3 3、系統(tǒng)功能、系統(tǒng)功能、主要功能或優(yōu)勢功能介紹、主要功能或優(yōu)勢功能介紹3.13.1 數(shù)據(jù)采集數(shù)據(jù)采集1. 視頻數(shù)據(jù)采集系統(tǒng)從各個(gè)前端設(shè)備視頻流數(shù)據(jù)，以便系統(tǒng)分

7、析。2. 人工報(bào)警采集由使用單位值守人員錄入由人工報(bào)警的數(shù)據(jù)，業(yè)務(wù)流程7開始結(jié)束接收數(shù)據(jù)視頻監(jiān)控?cái)?shù)據(jù)手動(dòng)報(bào)警數(shù)據(jù)數(shù)據(jù)存儲(chǔ)流程描述：1. 系統(tǒng)與所有已連接授權(quán)的前端設(shè)備建立連接；2. 系統(tǒng)從所有注冊的前端設(shè)備出采集視頻流數(shù)據(jù)；3. 系統(tǒng)同時(shí)也采集所有手動(dòng)報(bào)警數(shù)據(jù)；3.23.2 事件分析事件分析1. 群體行為識別系統(tǒng)根據(jù)單位時(shí)間內(nèi)區(qū)域中人員密集程度作為人群聚集的判斷條件，并對已識別的人群行為做出識別，其中對于對人群相同方向，不同方向奔跑的識別度非常高。2. 遺留物品系統(tǒng)對監(jiān)控范圍內(nèi)，被遺留的物件識別，識別過程可以對識別參數(shù)進(jìn)行調(diào)8整已適應(yīng)不同場景的需求，如可設(shè)置物品旁邊是否有人值守，當(dāng)物品旁邊有人

8、值守系統(tǒng)則可以根據(jù)設(shè)置不做預(yù)警，當(dāng)物品旁無人系統(tǒng)則根據(jù)設(shè)定值進(jìn)行預(yù)警。3. 被盜物品采用與遺留物品相反的檢測方式，實(shí)現(xiàn)在監(jiān)控區(qū)域內(nèi)被監(jiān)控物品的盜取行為。4. 業(yè)務(wù)流程開始建立判斷標(biāo)準(zhǔn)庫判斷規(guī)則分析判斷結(jié)束否預(yù)警、報(bào)警流程是數(shù)據(jù)來源數(shù)據(jù)存儲(chǔ)流程描述：1. 系統(tǒng)實(shí)時(shí)分析所有采集數(shù)據(jù)；2. 系統(tǒng)根據(jù)基礎(chǔ)判斷標(biāo)準(zhǔn)庫，以及使用單位設(shè)置參數(shù)識別判斷采集數(shù)據(jù)；3. 當(dāng)視頻內(nèi)容中存在屬于預(yù)警、報(bào)警情況則進(jìn)入預(yù)警報(bào)警流程，同時(shí)存儲(chǔ)9涉及預(yù)警報(bào)警數(shù)據(jù)；4. 當(dāng)視頻內(nèi)容中不存在預(yù)警、報(bào)警情況，則不做任何處理；3.33.3 事件處理事件處理1. 事件處理用于記錄所有報(bào)警事件的處警情況，以及事件的跟進(jìn)結(jié)果。便于相關(guān)人員

9、以及領(lǐng)導(dǎo)事后對該事件的了解。2. 事件辦結(jié)該功能用于結(jié)束某一報(bào)警事件。只有辦結(jié)的事件才能歸檔于事件庫。3. 業(yè)務(wù)流程開始結(jié)束已接收預(yù)警信息值守人員判斷報(bào)警否通知就近外勤人員外勤判斷解除預(yù)警事件存檔通知相關(guān)領(lǐng)導(dǎo)事件存檔庫記錄錯(cuò)報(bào)、誤報(bào)資料是，不確定是是，很肯定否10流程描述1. 值守人員接收到系統(tǒng)預(yù)警信息，該人員則查系統(tǒng)生成三張視頻截圖或直接查看近 2 分鐘內(nèi)的視頻。判斷該預(yù)警是否屬實(shí)；2. 如預(yù)警不屬實(shí)則點(diǎn)擊誤報(bào)錯(cuò)報(bào)按鍵，系統(tǒng)把事件相關(guān)資料存入系統(tǒng)錯(cuò)報(bào)誤報(bào)庫；3. 如預(yù)警屬實(shí)，但值守人員不太可定，則可以通知相應(yīng)的巡檢人員去現(xiàn)場查看，并有巡檢人員實(shí)時(shí)反饋信息再確定預(yù)警是否屬實(shí)；1) 預(yù)警屬實(shí)，則

10、由監(jiān)控值守人員確認(rèn)報(bào)警；2) 預(yù)警不屬實(shí)，有監(jiān)控值守人員點(diǎn)擊系統(tǒng)錯(cuò)報(bào)誤報(bào)庫；4. 如預(yù)警值守人員已經(jīng)可以確定，則由該人員點(diǎn)擊報(bào)警，錄入事件情況，并根據(jù)情況判斷是否通知相關(guān)領(lǐng)導(dǎo)；同時(shí)當(dāng)聯(lián)動(dòng)單位系統(tǒng)連接時(shí)則有監(jiān)控值守人員選擇聯(lián)動(dòng)報(bào)警單位；5. 監(jiān)控值守人員會(huì)一直跟進(jìn)該事件，并記錄事件發(fā)生過長中的處理情況，并有使用系統(tǒng)單位制定的人員統(tǒng)一辦結(jié)事件；6. 所有報(bào)警、辦結(jié)的事件以及錯(cuò)報(bào)誤報(bào)的事件系統(tǒng)都會(huì)把事件相關(guān)資料歸檔至相應(yīng)的庫中。3.43.4 事件歸檔事件歸檔1. 事件存檔庫確認(rèn)后的預(yù)警，在經(jīng)過處理和辦結(jié)后。系統(tǒng)將保存該事件相關(guān)的一切內(nèi)容，視頻流，處理過程中的記錄，以及事件處理人，辦結(jié)人。以備今后對相

11、應(yīng)事件的查詢，或其他相關(guān)單位取證。2. 錯(cuò)報(bào)誤報(bào)庫所有錯(cuò)報(bào)、誤報(bào)的預(yù)警信息都會(huì)歸檔至該庫，用于系統(tǒng)自身的優(yōu)化和升級，使得系統(tǒng)不斷提高識別率，減少系統(tǒng)誤報(bào)、錯(cuò)報(bào)。3. 業(yè)務(wù)流程詳見：詳見什么？113.53.5 統(tǒng)計(jì)查詢統(tǒng)計(jì)查詢1. 預(yù)警事件統(tǒng)計(jì)系統(tǒng)通過對所有預(yù)警事件結(jié)合不同的維度統(tǒng)計(jì)，如時(shí)間維度與預(yù)警觸發(fā)次數(shù)。或統(tǒng)計(jì)預(yù)警次數(shù)與實(shí)際處理次數(shù)的比較。結(jié)合地點(diǎn)維度則可以統(tǒng)計(jì)某時(shí)間段中在哪些地方發(fā)生預(yù)警的幾率更高。2. 人群行為統(tǒng)計(jì)系統(tǒng)已人群行為為基礎(chǔ)統(tǒng)計(jì)，群體行為發(fā)生次數(shù)、發(fā)生地點(diǎn)，由這些數(shù)據(jù)則可提供使用單位去分析該群體行為發(fā)生的規(guī)律，從而在今后的類似情況提供預(yù)測機(jī)制。123. 遺留物、被盜物品統(tǒng)計(jì)已

12、遺留物品作為基礎(chǔ)的統(tǒng)計(jì)，如哪些監(jiān)控點(diǎn)檢測到遺留物品次數(shù)最多，則可以在相應(yīng)的地點(diǎn)貼上相應(yīng)的標(biāo)語，已提示公眾注意。4. 預(yù)警區(qū)域分析統(tǒng)計(jì)以周界入侵、區(qū)域徘徊作為基礎(chǔ)維度的統(tǒng)計(jì)，根據(jù)時(shí)間段條件可以非常明確的了解到哪些周界、哪些區(qū)域是經(jīng)常發(fā)生情況的，可以在經(jīng)常發(fā)生狀況的地點(diǎn)增加相應(yīng)的值守人員以應(yīng)對可能發(fā)生的情況。3.63.6 聯(lián)動(dòng)報(bào)警聯(lián)動(dòng)報(bào)警1. 系統(tǒng)聯(lián)動(dòng)報(bào)警當(dāng)預(yù)警事件確認(rèn)屬實(shí)時(shí)，由值守人員根據(jù)實(shí)際情況向相應(yīng)的黨委發(fā)出報(bào)警信息。注注：使使用用該該系系統(tǒng)統(tǒng)地地區(qū)區(qū)的的聯(lián)聯(lián)動(dòng)動(dòng)報(bào)報(bào)警警單單位位需需要要有有相相應(yīng)應(yīng)的的信信息息化化系系統(tǒng)統(tǒng)，以以及及開開放放相相應(yīng)應(yīng)的的接接口口。2. 人工聯(lián)動(dòng)報(bào)警聯(lián)動(dòng)報(bào)警單位

13、與本系統(tǒng)沒有打通時(shí)，由值守人員其他方式報(bào)警，并把相應(yīng)內(nèi)容已文本形式錄入本系統(tǒng)。（整合客戶新需求與優(yōu)化） 、3.73.7 識別參數(shù)設(shè)置識別參數(shù)設(shè)置（略，目前還沒有開發(fā)到此功能）既然沒實(shí)現(xiàn)，在該產(chǎn)品的白皮書中就不需要出現(xiàn)3.83.8 系統(tǒng)設(shè)置系統(tǒng)設(shè)置1. 組織架構(gòu)此功能用于維護(hù)本單位組織架構(gòu)的建立、部門的劃分，包括單位、部門的新增、編輯、刪除。132. 人員用戶管理維護(hù)本單位登錄用戶基礎(chǔ)資料、用戶歸屬部門，以及相關(guān)人員對應(yīng)登錄用戶。包括用戶新增、編輯、刪除、查詢功能。3. 角色權(quán)限管理此功能用于管理已存在用戶的角色歸屬以及訪問權(quán)限，包括為角色的新增、編輯、刪除權(quán)限劃分功能4. 接口管理對申請?jiān)L問接

14、口已經(jīng)申請通過的外部系統(tǒng)，由相關(guān)管理員進(jìn)行登記注冊，包括：注冊接口，修改接口，刪除接口，查詢接口操作。對于超過有效期的接口信息，進(jìn)行著重顯示（例如：如接口 IP，接口協(xié)議） 。用于根據(jù)注冊的接口信息，給外部系統(tǒng)授權(quán)訪問某一接口，根據(jù)相關(guān)規(guī)則生成授權(quán)碼，授權(quán)碼由外部系統(tǒng)信息、訪問 IP 地址、相關(guān)接口信息；功能包括：新增訪問權(quán)限，刪除訪問權(quán)限，重新生成授權(quán)碼。授權(quán)碼生成規(guī)則：外部系統(tǒng)名+訪問 IP接口編號授權(quán)時(shí)間（yyyy-MM-dd HH:mm:ss） ，并使用 MD5 加密。一方面保證了系統(tǒng)的安全，另一方面適應(yīng)未來第三方系統(tǒng)的改變，可以快速的調(diào)整。系統(tǒng)調(diào)用接口時(shí)，需要傳入訪問接口授權(quán)碼信息，

15、系統(tǒng)接收到授權(quán)碼后，對授權(quán)碼進(jìn)行權(quán)限認(rèn)證，如通過認(rèn)證通過則允許訪問接，否則，拒絕訪問，并返回相關(guān)錯(cuò)誤信息。調(diào)用接口時(shí)，每次都要記錄相關(guān)訪問信息，并且更新每天的訪問次數(shù)記錄，便于對訪問情況進(jìn)行統(tǒng)計(jì)和訪問控制。4 4、產(chǎn)品規(guī)格、產(chǎn)品規(guī)格產(chǎn)品具備的規(guī)格介紹或規(guī)格范圍列表。14信息采集視頻客戶端視頻聯(lián)動(dòng)實(shí)時(shí)視頻存儲(chǔ)視頻錄像播放視頻播放方案基本功能預(yù)警信息查看預(yù)警報(bào)警事件處置預(yù)警視頻預(yù)警查詢預(yù)警處理預(yù)警事件分析數(shù)據(jù)統(tǒng)計(jì)分析預(yù)警周界區(qū)域分析組織架構(gòu)系統(tǒng)設(shè)置接口設(shè)置監(jiān)控設(shè)置管理設(shè)備管理設(shè)備狀態(tài)查詢監(jiān)控組設(shè)置預(yù)警錄像預(yù)警位置群眾行為分析遺留被盜物檢測用戶人員管理角色權(quán)限管理視頻監(jiān)控?cái)?shù)據(jù)采集人工報(bào)警數(shù)據(jù)采集反恐

16、識別4 4、產(chǎn)品性能、產(chǎn)品性能模塊功能性能一級目錄二級目錄性能視頻監(jiān)控?cái)?shù)據(jù)采集頁面相應(yīng)速度小于 5 秒信息采集人工報(bào)警數(shù)據(jù)采集頁面相應(yīng)速度小于 5 秒視頻聯(lián)動(dòng)頁面相應(yīng)速度小于 5 秒實(shí)時(shí)視頻存儲(chǔ)頁面相應(yīng)速度小于 5 秒視頻錄像播放頁面相應(yīng)速度小于 10 秒視頻播放方案頁面相應(yīng)速度小于 3 秒視頻客戶端基本功能頁面相應(yīng)速度小于 10 秒預(yù)警信息查看頁面相應(yīng)速度小于 5 秒預(yù)警視頻頁面相應(yīng)速度小于 5 秒預(yù)警錄像頁面相應(yīng)速度小于 5 秒預(yù)警報(bào)警事件預(yù)警位置頁面相應(yīng)速度小于 5 秒15預(yù)警查詢頁面相應(yīng)速度小于 5 秒預(yù)警處理頁面相應(yīng)速度小于 5 秒預(yù)警事件分析頁面相應(yīng)速度小于 10 秒群眾行為分析頁

17、面相應(yīng)速度小于 10 秒遺留被盜物品檢測頁面相應(yīng)速度小于 10 秒數(shù)據(jù)統(tǒng)計(jì)分析預(yù)警周界區(qū)域分析頁面相應(yīng)速度小于 10 秒監(jiān)控設(shè)置管理頁面相應(yīng)速度小于 5 秒設(shè)備狀態(tài)查詢頁面相應(yīng)速度小于 10 秒設(shè)備管理監(jiān)控組設(shè)置頁面相應(yīng)速度小于 3 秒組織架構(gòu)頁面相應(yīng)速度小于 3 秒用戶人員管理頁面相應(yīng)速度小于 3 秒角色權(quán)限管理頁面相應(yīng)速度小于 3 秒系統(tǒng)設(shè)置接口設(shè)置頁面相應(yīng)速度小于 3 秒視頻分析性能識別分類性能群體行為識別小于 3 秒遺留物品識別小于 5 秒被盜物品識別小于 5 秒疑似危險(xiǎn)物品識別小于 10 秒邊界入侵識別小于 3 秒?yún)^(qū)域徘徊識別小于 3 秒火苗或爆炸識別小于 5 秒人臉檢測小于 1 秒

18、三、產(chǎn)品特性介紹三、產(chǎn)品特性介紹1 1、技術(shù)特性、技術(shù)特性主要是性能先進(jìn)性、功能齊全性、系統(tǒng)兼容性、技術(shù)穩(wěn)定性等。本產(chǎn)品是基于網(wǎng)絡(luò)智能視頻分析為數(shù)據(jù)來源的分析系統(tǒng)，在此基礎(chǔ)上開展反恐工作。如識別群體行為、遺留物品、被盜物品，建立了反恐預(yù)警機(jī)制，在恐怖事件即將發(fā)生發(fā)出預(yù)警信息，同時(shí)預(yù)警程度可根據(jù)使用單位實(shí)際情況分級（默認(rèn)分為三級） 。采用 OpenCV，OpenCV 是一個(gè)基于（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在 Linux、Windows 和 MacOS 操作系統(tǒng)上。它輕量級而且高效，由一系列 16C 函數(shù)和少量 C+ 類構(gòu)成，同時(shí)提供了 Python、Ruby、MATLAB 等語言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。OpenCV 提供的視覺處理算法非常豐富，并且它部分以 C 語言編寫，不需要添加新的外部支持也可以完整的編譯鏈接生成執(zhí)行程序。如人臉檢測：在目標(biāo)跟蹤里是用了粒子濾波，其核心思想是通過從后驗(yàn)概率中抽取的隨機(jī)狀態(tài)粒子來表達(dá)其分布，是一種順序重要性采樣法(Sequential Importance Sampling)。簡單來說，粒子濾波