平安城市二期視頻監(jiān)控平臺方案

1、平安城市二期視頻監(jiān)控解決方案目錄1.需求簡析32.架構(gòu)概述42.1 方案綜合構(gòu)架圖42.2 cVideo云平臺構(gòu)架53 方案涉及技術(shù)分析63.1 cVideo智能識別63.1.1 簡介63.1.2 應(yīng)用案例63.2 cVideo云端轉(zhuǎn)碼83.2.1 cVideo簡介83.2.2 cVideo主要優(yōu)勢93.3 cDispath云調(diào)度103.3.1 cDispath簡介103.3.2 cDispath主要優(yōu)勢103.3.3 cDispath架構(gòu)113.4 cProc云處理143.4.1 cProc簡介143.4.2 cProc主要優(yōu)勢143.5 cStor 云存儲153.5.1 cStor簡介15

2、3.5.2 cStor主要優(yōu)勢163.5.3 cStor系統(tǒng)構(gòu)架174 系統(tǒng)參數(shù)和報價174.1 系統(tǒng)性能參數(shù)174.2 規(guī)劃分析184.2.1 流量分析184.2.2 處理分析184.2.3 規(guī)劃綜述194.2設(shè)備清單報價215. 聯(lián)系方式261.需求簡析 平安城市二期視頻監(jiān)控項目，要求對現(xiàn)有視頻監(jiān)控系統(tǒng)進行整合，并對視頻內(nèi)容提供智能識別及轉(zhuǎn)碼服務(wù)，以滿足智慧城市和多終端訪問需求。此方案的目標(biāo)為，整合已有平臺，兼容新增設(shè)備，基于云架構(gòu)綜合調(diào)度，實現(xiàn)實時的轉(zhuǎn)碼、多終端監(jiān)控、內(nèi)容識別、智能分析等需求，最終構(gòu)建一個多級化分布式的綜合視頻監(jiān)控管理平臺。（以下簡稱“平臺”）Ø 視頻接入 傳統(tǒng)

3、視頻監(jiān)控和防范報警系統(tǒng)建設(shè)具有投資大、技術(shù)要求高、涉及用戶廣、鏈接環(huán)節(jié)多等特點。同時，不同廠商間的設(shè)備對視頻接入要求不同，因此要整合現(xiàn)有平臺，同時需要兼容新增設(shè)備，并提供標(biāo)準(zhǔn)輸出接口。Ø 智能分析、識別數(shù)字網(wǎng)絡(luò)化監(jiān)控將成為安防系統(tǒng)的主流，智能化是安防技術(shù)發(fā)展的目標(biāo)。在大規(guī)模視頻監(jiān)控系統(tǒng)中，由于顯示屏數(shù)量有限，對治安事件無法實時監(jiān)控和預(yù)警。長期觀察監(jiān)控視頻容易引起工作人員疲勞，從而不能及時發(fā)現(xiàn)治安隱患。解決以上問題的一個最有效的方法就是對視頻進行自動智能分析。Ø 實時轉(zhuǎn)碼 不同廠家的編碼格式、手持終端不同，同時低帶寬的條件下處理不了大量高清的監(jiān)控信息。針對上述現(xiàn)存弊端，需要有

4、針對性的解決。根據(jù)用戶客戶端的不同需求，瞬時動態(tài)地調(diào)整視頻分辨率，從而在滿足用戶需求的同時降低對網(wǎng)絡(luò)帶寬的消耗，從而支持更高的系統(tǒng)規(guī)模和多種平臺的終端。Ø 流媒體輸出以標(biāo)準(zhǔn)RTSP視頻流輸出，支持多終端監(jiān)控，包括電視墻、PC、移動終端等等。并提高并發(fā)訪問量。Ø 數(shù)據(jù)大集中在鏈路帶寬可以承載的前提下，使前端設(shè)備的數(shù)據(jù)相對集中化，在其之上進行大規(guī)模的智能分析，數(shù)據(jù)挖掘，以呈現(xiàn)更多的精彩應(yīng)用。2.架構(gòu)概述2.1 方案綜合構(gòu)架圖 圖2-4 cVideo總體描述圖 cVideo云視頻平臺主要由七個模塊組成：前端設(shè)備、接入服務(wù)器、處理服務(wù)器集群、存儲服務(wù)器集群、流媒體服務(wù)器、中心服務(wù)器

5、和客戶端。依托cStor云存儲平臺，以及cProc云處理平臺，使得cVideo構(gòu)架下的綜合調(diào)度和云端轉(zhuǎn)碼可以完美地滿足超大規(guī)模視頻監(jiān)控、海量數(shù)據(jù)存儲、以及遠(yuǎn)距離監(jiān)控的要求。同時，cVideo研發(fā)了國際領(lǐng)先的智能圖像識別算法，采用大規(guī)模分布式云處理，使得計算機對視頻數(shù)據(jù)達到了空前的識別和認(rèn)知水平。（1）模塊功能描述：l 前端設(shè)備：前端設(shè)備在中心服務(wù)器的調(diào)度下進行信息采集編碼，并通過網(wǎng)絡(luò)傳輸。媒體數(shù)據(jù)流以RTSP的形式傳輸給存處理服務(wù)器，或者以SDK的形式傳輸給接入服務(wù)器、處理服務(wù)器；同時SDK提供設(shè)備參數(shù)、狀態(tài)、云臺控制等信令控制接口。(前端設(shè)備包括：模擬攝像機、網(wǎng)絡(luò)攝像機、卡口設(shè)備、第三方平臺

6、等)l 接入服務(wù)器：整合各種前端設(shè)備，將不同廠家不同平臺的前端設(shè)備通過RTSP、SDK的方式接入本“平臺”，以實現(xiàn)多種前端攝像機、已有平臺的統(tǒng)一接入，供本平臺內(nèi)其他模塊統(tǒng)一調(diào)用，并以輪詢的方式監(jiān)聽前端設(shè)備，如有異常測產(chǎn)生報警信號。Ø 獲取設(shè)備參數(shù)信息：接收中心服務(wù)器發(fā)來的請求，通過前端設(shè)備廠家的協(xié)議獲取設(shè)備參數(shù)信息，反饋給中心服務(wù)器。Ø 狀態(tài)信息輪詢：輪詢前端設(shè)備的狀態(tài)，及時獲取前端設(shè)備是否掉線，反饋給中心服務(wù)器，由中心服務(wù)器告警、記錄、顯示。Ø 云臺控制協(xié)議轉(zhuǎn)換：將系統(tǒng)接收的用戶控制信令轉(zhuǎn)換為設(shè)備廠家對應(yīng)的協(xié)議，并發(fā)送給前端設(shè)備，從而使用戶實現(xiàn)云臺方向控制。&#

7、216; 接入第三方平臺：提供系統(tǒng)與第三方平臺的協(xié)議轉(zhuǎn)換，實現(xiàn)無縫對接。通過接入第三方平臺的前端監(jiān)控設(shè)備，實現(xiàn)云臺控制。獲取視頻數(shù)據(jù)流的地址，以及第三方平臺設(shè)備的列表、信息、狀態(tài)。Ø 對少量的不支持標(biāo)準(zhǔn)協(xié)議且不提供linux SDK的前端設(shè)備，有針對性的接入，采用SDK接收流并轉(zhuǎn)換成標(biāo)準(zhǔn)協(xié)議的數(shù)據(jù)流。l 中心服務(wù)器: 平臺的核心控制部分，實現(xiàn)了與客戶端的信令交互、通過JobKeeper云調(diào)度系統(tǒng)來調(diào)度云集群節(jié)點處理各項任務(wù)、并實現(xiàn)對整個平臺的統(tǒng)一管理和監(jiān)控。Ø 用戶管理功能：根據(jù)用戶信息表，管理用戶登錄、用戶的權(quán)限，可以管理用戶信息、增刪用戶等。Ø 前端信息采集設(shè)

8、備管理功能：根據(jù)攝像機和用戶的權(quán)限，管理當(dāng)前用戶所能涉及的前端設(shè)備狀態(tài)、節(jié)點運行狀態(tài)，并進行實時的更新。Ø 與用戶和前端設(shè)備的信息交互功能：更新前端信息，并根據(jù)客戶需求進行對前端設(shè)備調(diào)度，以及對JobKeeper的任務(wù)分發(fā)。同時，進行信息數(shù)據(jù)的處理，以完成整個平臺的調(diào)度工作。Ø 對服務(wù)器集群進行統(tǒng)一的調(diào)度管理，獲取每臺機器的運行狀態(tài)。根據(jù)機器的運行狀態(tài)進行自動調(diào)度和部署，負(fù)載均衡，提高機器的使用率，進而提高服務(wù)器的梳理效率。Ø 解決服務(wù)器集群信息處理的冗余狀態(tài)，查錯排錯，保證系統(tǒng)的無人值守、自動生長的高效性。l 云存儲系統(tǒng)：使用cStor云存儲系統(tǒng)，提供統(tǒng)一的存儲

9、資源池，用以存儲關(guān)鍵數(shù)據(jù)，提供歷史視頻的回看以及相關(guān)數(shù)據(jù)的下載服務(wù)。同時，作為分布式文件系統(tǒng)，提供其他模塊的支持，如流媒體服務(wù)器集群的支持。l 處理服務(wù)器集群：大致可以分為接入分析、數(shù)據(jù)處理和結(jié)果分發(fā)三個子模塊，主要負(fù)責(zé)對完成對接入視頻的各項處理任務(wù)。Ø 內(nèi)容識別：利用計算機通過圖像處理和分析理解畫面內(nèi)容將安保人員從繁重的監(jiān)控任務(wù)中解脫出來。Ø 實時轉(zhuǎn)碼：將視頻轉(zhuǎn)碼計算放大云端，實現(xiàn)整個系統(tǒng)內(nèi)的實時視頻轉(zhuǎn)碼，以滿足用戶對不同分辨率，不同碼流，不同終端的使用需求。Ø 視頻數(shù)據(jù)存儲：將處理后的視頻數(shù)據(jù)進行實時存儲，方便日后回調(diào)查看。Ø 狀態(tài)監(jiān)控：監(jiān)控各個處理

10、節(jié)點的運行狀態(tài)，負(fù)載均衡，高效工作。l 流媒體服務(wù)器集群：以集群的形式對外提供負(fù)載均衡的標(biāo)準(zhǔn)RTSP流媒體并發(fā)推流服務(wù)，用戶根據(jù)相應(yīng)的流媒體RTSP地址，即可實時地獲取系統(tǒng)處理完后的實時視頻數(shù)據(jù)和存儲的歷史視頻數(shù)據(jù)，以供監(jiān)控和遠(yuǎn)程訪問。Ø 負(fù)載均衡、高并發(fā)訪問：通過負(fù)載均衡各節(jié)點運行狀態(tài)，提高系統(tǒng)工作效率，滿足系統(tǒng)的高并發(fā)訪問需求。Ø 監(jiān)控視頻流實時轉(zhuǎn)發(fā)：前端視頻數(shù)據(jù)經(jīng)處理系統(tǒng)處理后，流媒體服務(wù)器將處理后的監(jiān)控視頻流進行實時轉(zhuǎn)發(fā)給用戶，滿足各種客戶端需求Ø 歷史視頻數(shù)據(jù)流化推送：Ø 服務(wù)器狀態(tài)（負(fù)載、鏈接數(shù)）等信息獲?。簂 客戶端支持windows、li

11、nux、ios、android等主流操作系統(tǒng)，提供B/S架構(gòu)客戶端等，實現(xiàn)與用戶的直接交互。（2）工作流程描述：1) 客戶端發(fā)送命令：客戶端向中心服務(wù)器發(fā)送命令，中心服務(wù)器根據(jù)客戶端信息進行分析判斷，得知用戶的客戶端類型、網(wǎng)絡(luò)狀態(tài)、信息要求等，從而根據(jù)需求對前端設(shè)備、JobKeeper等進行調(diào)度控制。2) 中心服務(wù)器調(diào)度：中心服務(wù)器響應(yīng)客戶端命令，對前端設(shè)備進行調(diào)度控制。根據(jù)用戶的指令，把客戶需求的信息進行實時采集，同時使用JobKeeper進行對集群的任務(wù)分發(fā)，完成對應(yīng)的存儲、處理或監(jiān)控等請求。3) 中心服務(wù)器調(diào)度存儲/處理集群：a) 存儲服務(wù)器集群接收命令工作中心服務(wù)器響應(yīng)客戶端命令，向J

12、obKeeper發(fā)送命令。JobKeeper根據(jù)存儲服務(wù)器集群的工作狀態(tài)，選擇負(fù)載較小的服務(wù)器進行高清存儲。b) 處理服務(wù)器集群接收命令工作中心服務(wù)器響應(yīng)客戶端命令，向JobKeeper發(fā)送命令。JobKeeper根據(jù)處理服務(wù)器集群的工作狀態(tài)，選擇負(fù)載較小的處理節(jié)點進行實時處理、識別轉(zhuǎn)碼，并根據(jù)用戶的網(wǎng)絡(luò)狀態(tài)分發(fā)到對應(yīng)的流媒體服務(wù)器。進而，流媒體服務(wù)器將客戶所需的處理過后的實時監(jiān)控視頻傳遞給客戶端。2.2 cVideo云平臺構(gòu)架cVideo云視頻轉(zhuǎn)碼、識別系統(tǒng)，是在服務(wù)器集群上部署一整套基于云架構(gòu)的視頻處理軟件，包括接入層、處理層、資源層、調(diào)度控制模塊。上圖為簡化的cVideo云平臺結(jié)構(gòu)圖，其

13、核心內(nèi)容是對接入視頻的實時處理分析。基于云計算的模式，采取海量分布式cDispath云調(diào)度架構(gòu)，以集群的形式共同對外服務(wù)。以實現(xiàn)諸如視頻內(nèi)容識別、云端轉(zhuǎn)碼、智能分析等等實時數(shù)據(jù)、動態(tài)伸縮等需求。最后將處理好的圖像信息以流媒體的形式輸出，并提供給上層各類應(yīng)用對應(yīng)的接口。其中接入層作為接入服務(wù)器呈現(xiàn)，實現(xiàn)數(shù)據(jù)流的接入和信令流的轉(zhuǎn)換，提供系統(tǒng)數(shù)據(jù)來源并接受中心服務(wù)器的信令控制；處理服務(wù)器使用cProc分布式處理架構(gòu)，工作在數(shù)據(jù)處理層，提供大規(guī)模數(shù)據(jù)處理的能力，使實時視頻轉(zhuǎn)碼和智能識別得以實現(xiàn)；數(shù)據(jù)存儲層使用cStor云存儲技術(shù)，提供對長時間海量視頻歷史數(shù)據(jù)存儲的支持，同時，用戶數(shù)據(jù)、設(shè)備信息、操作配

14、置記錄、運行狀態(tài)等系統(tǒng)運行數(shù)據(jù)使用數(shù)據(jù)庫存儲；系統(tǒng)通過API層提供應(yīng)用程序的支撐，以支持如GIS地圖等應(yīng)用；工作在調(diào)度控制層的中心服務(wù)器使用cDispath技術(shù)將任務(wù)分配給處理服務(wù)器，并提供負(fù)載均衡和可靠性保障，處理后的數(shù)據(jù)分發(fā)給流媒體服務(wù)器提供給不同終端的用戶調(diào)閱。2.3 cVideo規(guī)劃綜述整體方案規(guī)劃圖如上圖所示。為了提高系統(tǒng)的實時性，降低視頻流從接入系統(tǒng)到輸出的時延，我們充分利用云調(diào)度技術(shù)，將接入服務(wù)器和處理服務(wù)器、分發(fā)服務(wù)器進一步整合，將其作為不同模塊部署在一臺服務(wù)器上（多臺服務(wù)器都這樣部署），模塊間使用共享內(nèi)存方式代替網(wǎng)絡(luò)傳輸方式，這樣從接入視頻到處理完輸出共減少了2次網(wǎng)絡(luò)收發(fā)流，

15、而每次網(wǎng)絡(luò)接收流和發(fā)送流都要cache 200ms以上。這樣系統(tǒng)大幅提高了實時性。3 方案涉及技術(shù)分析根據(jù)以上方案架構(gòu)，涉及到的具體技術(shù)包括了cVideo的智能識別技術(shù)、cVideo的云端轉(zhuǎn)碼技術(shù)、JobKeeper云調(diào)度方法、以及cProc云處理框架。其中cVideo的智能識別和云端轉(zhuǎn)碼技術(shù)負(fù)責(zé)實現(xiàn)單臺計算機實現(xiàn)上述功能，而JobKeeper和cProc負(fù)責(zé)綜合管理和統(tǒng)一調(diào)度，實現(xiàn)云內(nèi)計算機的聯(lián)動和各類保障，共同對外提供服務(wù)。3.1 cVideo智能識別3.1.1 簡介隨著平安城市的建設(shè)，視頻監(jiān)控系統(tǒng)的基礎(chǔ)建設(shè)已經(jīng)初具規(guī)模并且仍在迅速擴大，幾十萬甚至幾百萬個攝像頭所得到的視頻監(jiān)控影像資料是龐

16、大的，要從中獲取事件相關(guān)的信息需要花費巨大的時間和人力。cVideo的智能圖像檢索采用國際先進的圖像處理技術(shù)并結(jié)合模式識別技術(shù)對已有的海量視頻進行事件檢索，實現(xiàn)了對事件發(fā)生視頻的切片回放、運動幀提取和對象跟蹤。3.1.2 應(yīng)用案例3.1.2.1 特定人物視頻檢索cVideo自行研發(fā)的視頻DNA算法，應(yīng)用在犯罪嫌疑人識別問題中，首先分析監(jiān)控視頻中目標(biāo)人物的運動模式，建立運動DNA序列，為后續(xù)分析處理提供基礎(chǔ)。后續(xù)分析包括運動目標(biāo)優(yōu)化、運動軌跡分析、運動特征提取、步態(tài)建模等等。目標(biāo)運動DNA序列 目標(biāo)運動圖譜目標(biāo)運動DNA序列 目標(biāo)運動圖譜3.1.2.2 人流/車流統(tǒng)計由于車輛的急劇增加，雖然道路

17、基礎(chǔ)設(shè)施得到了很大程度的改善，但是交通擁擠的現(xiàn)象日趨嚴(yán)重，簡單的道路視頻監(jiān)控已經(jīng)不能滿足當(dāng)前的需要。為了改善這種局面，為道路狀況提供實時、準(zhǔn)確的信息成為更加迫切的需求，推廣實施各重要交通道口區(qū)域?qū)崟r交通狀況圖像監(jiān)控是非常必要的。即在城市各重要交通道口安裝一套智能交通監(jiān)控系統(tǒng)，通過圖像傳輸通道將路面交通狀況實時上傳到道路監(jiān)控指揮中心，中心值班人員可以據(jù)此及時了解各區(qū)域路面狀況，并據(jù)此調(diào)整各路口車輛流量，保持道路通暢。這項技術(shù)同樣可以應(yīng)用于人流統(tǒng)計、以及對旅游景點、鬧市區(qū)和大型展會的人員密度分析等。視頻分析的結(jié)果受到監(jiān)控視頻圖像質(zhì)量的影響，雨雪等惡劣天氣條件下得到的監(jiān)控視頻圖像質(zhì)量要比晴朗天氣條件

18、下的圖像質(zhì)量要差很多。于是，如何消除霧雨雪等惡劣天氣的影響是至關(guān)重要的。3.1.2.3事件檢測事件檢測是cVideo智能視頻分析的又一個成功例子。事件檢測包括禁區(qū)檢測、過線檢測、遺留物檢測、物品丟失檢測、打架/徘徊檢測等，事件的成功檢測能夠大大降低危險事件的發(fā)生率，將犯罪扼殺在搖籃里。我們采用的事件檢測方法具有參數(shù)自適應(yīng)且錯檢率低的優(yōu)點。3.2 cVideo云端轉(zhuǎn)碼3.2.1 cVideo簡介隨著前端攝像機的清晰度不斷提升，其碼流和數(shù)據(jù)量成倍增長。然而一些終端的處理能力有限，無法支持高清的分辨率；或者需要用到公網(wǎng)傳輸，帶寬無法滿足高清的碼流的需求等。視頻的編碼格式主要的有MPEG、H264、D

19、ivX、WMA、RM等，封裝格式主要有avi、ps、ts、mov、mkv、mpg等，而不同的播放器對格式的支持也不同，因此不同終端對視頻流格式也有著特殊的需求。面對以上這些因素，為了滿足多終端的監(jiān)控需求，cVideo研發(fā)了云端轉(zhuǎn)碼技術(shù)，以滿足用戶對不同分辨率，不同碼流，不同終端的使用需求。 轉(zhuǎn)碼前 轉(zhuǎn)碼后 3.2.2 cVideo主要優(yōu)勢Ø 極高的性價比cVideo構(gòu)建于cStor云存儲、cProc云計算平臺之上，有著低廉、高可靠性的海量存儲能力和無限可擴展能力，當(dāng)用戶存儲需求增長時，也僅需添加與硬盤價格相仿的cStor存儲節(jié)點即可，這將大幅降低用戶的投資及升級維護費用，監(jiān)控系統(tǒng)規(guī)模

20、越大越能體現(xiàn)出性價比。Ø 百萬路高清視頻支持cVideo基于cTrans傳輸體系，能夠有效地支持公網(wǎng)高效傳輸，使得以超遠(yuǎn)距離異地高清視頻監(jiān)控，從而使需求成為了可能。同時優(yōu)良的架構(gòu)設(shè)計，擁有良好的擴展性，能夠滿足用戶不同規(guī)模等級的需求。并支持大規(guī)模的分級網(wǎng)絡(luò)，如街道級視頻監(jiān)控系統(tǒng)，接入到區(qū)級的監(jiān)控系統(tǒng)中，然后可再接入到市級監(jiān)控中心，從而形成一個大規(guī)模分級網(wǎng)絡(luò)視頻監(jiān)控云平臺。Ø 云端轉(zhuǎn)碼技術(shù)為了盡可能優(yōu)化系統(tǒng)性能，cVideo將根據(jù)用戶客戶端的監(jiān)控需求瞬時動態(tài)地調(diào)整視頻分辨率，從而在滿足用戶需求的同時降低對網(wǎng)絡(luò)帶寬的消耗，因而支持更高的系統(tǒng)規(guī)模。對于攝像頭采集的高清視頻信號，c

21、Video將在cProc云計算平臺上采用高效實時轉(zhuǎn)碼技術(shù)，將采集到的各路高清視頻信號轉(zhuǎn)換為符合監(jiān)控客戶端需求的信號，并實時轉(zhuǎn)發(fā)，這樣可以有效地減小監(jiān)控端處的解碼壓力，使得監(jiān)控更為流暢，并能有效地支持諸如手機等移動終端的監(jiān)控需求。Ø 智能內(nèi)容識別cVideo的智能圖像檢索采用先進的圖像處理技術(shù)并結(jié)合模式識別對已有的海量視頻進行事件檢索，實現(xiàn)了對事件發(fā)生視頻的切片回放、運動幀提取和對象跟蹤。構(gòu)架于cProc云處理架構(gòu)上，使許多傳統(tǒng)模式下難以處理的識別應(yīng)用得以實現(xiàn)。諸如在犯罪嫌疑人識別問題中，cVideo研發(fā)了國際領(lǐng)先的運動目標(biāo)DNA算法，首先分析監(jiān)控視頻中目標(biāo)人物的運動模式，建立運動DN

22、A序列，為后續(xù)分析處理提供基礎(chǔ)。后續(xù)分析包括運動目標(biāo)優(yōu)化、運動軌跡分析、運動特征提取、步態(tài)建模等等。3.3 cDispath云調(diào)度3.3.1 cDispath簡介如何保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運行；如何保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)；如何設(shè)計一套無人值守，自動生長的高效系統(tǒng)。 這是云創(chuàng)團隊在很長的一段時間內(nèi)思考的問題。最終在無數(shù)次失敗又無數(shù)次鉆研的過程中我們設(shè)計研發(fā)出了一套能夠完全解決系統(tǒng)單點故障問題。負(fù)載均衡，自動調(diào)度與部署的高效云調(diào)度平臺，這就是cDispath。3.3.2 cDispath主要優(yōu)勢Ø 高可靠性 平臺采用“

23、多主多備，負(fù)載均衡”的管理節(jié)點設(shè)計模式，和“處理實時跟蹤”的處理節(jié)點設(shè)計模式，從而保證無論管理節(jié)點還是處理節(jié)點都不存在任何單點故障問題。Ø 低依賴性 平臺采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。無論用戶應(yīng)用是用何種語言開發(fā)，何種處理方式，都可以交由平臺進行統(tǒng)一的調(diào)度管理。Ø 低干預(yù)性 平臺采用基于事件化的統(tǒng)一管理模式。無論是動態(tài)擴展集群處理系統(tǒng)能力，還是單點故障的任務(wù)轉(zhuǎn)移，又或者是任務(wù)的實時監(jiān)控和動態(tài)分配，都將在系統(tǒng)無人值守的情況下自動完成。Ø 高實時性 平臺在高效率并行分布式軟件的支撐下，可以實現(xiàn)對任務(wù)的實時分配，實時調(diào)度，實時處理。

24、在機器性能允許的范圍內(nèi)，計算任務(wù)不會出現(xiàn)堆積的顯現(xiàn)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的高效性。3.3.3 cDispath架構(gòu) 上圖為cDispath的基本架構(gòu)圖，下面對其各層作一定描述。Ø 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。用于顯示任務(wù)的處理情況以及集群中機器的活動情況，同時其也是一個上層應(yīng)用和底層服務(wù)的對接平臺。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。Ø 業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進行規(guī)則化劃分，形成統(tǒng)一的處理化模式。Ø 數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，他的運

25、行與監(jiān)控的工作將由cDispath調(diào)度平臺進行統(tǒng)一的配置管理。Ø 存儲層：用來存儲數(shù)據(jù)存儲層的處理結(jié)果集或者其他中間結(jié)果集的單元。Ø 虛擬化資源層：將實體的機器進行虛擬化，形成更大范圍的服務(wù)集群。 cDispath調(diào)度平臺是建立于虛擬化資源層之上，統(tǒng)一調(diào)度，統(tǒng)一配置的管理平臺，用于對集群中任務(wù)實時的處理調(diào)度，實時結(jié)果集的反饋，集群的負(fù)載均衡，失敗調(diào)度，集中管理，集中配置的平臺。用來保證整個集群的超低人員干預(yù)。同時，提供完善的集群伸縮機制為整個服務(wù)提供更高的可靠性。Ø cDispath調(diào)度平臺任務(wù)流程如上圖，它是由一組管理節(jié)點（Master Node）和一組處理節(jié)點

26、（Task Node）組成，管理節(jié)點組是一組基于Webserver的RPC（注：RPC采用客戶機/服務(wù)器模式。請求程序就是一個客戶機，而服務(wù)提供程序就是一個服務(wù)器。首先，客戶機調(diào)用進程發(fā)送一個有進程參數(shù)的調(diào)用信息到服務(wù)進程，然后等待應(yīng)答信息。在服務(wù)器端，進程保持睡眠狀態(tài)直到調(diào)用信息的到達為止。當(dāng)一個調(diào)用信息到達，服務(wù)器獲得進程參數(shù)，計算結(jié)果，發(fā)送答復(fù)信息，然后等待下一個調(diào)用信息，最后，客戶端調(diào)用進程接收答復(fù)信息，獲得進程結(jié)果，然后調(diào)用執(zhí)行繼續(xù)進行）。Ø 服務(wù)器節(jié)點組，負(fù)責(zé)對處理節(jié)點的系統(tǒng)信息以及任務(wù)處理信息進行實時的跟蹤和保存，對應(yīng)的信息鏡像存儲在基于cStor或者NFS服務(wù)的存儲系

27、統(tǒng)上，保證每個管理節(jié)點中的鏡像信息的實時同步。同時架設(shè)在管理節(jié)點上的ZooKeeper服務(wù)（注：ZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，包含一個簡單的原語集。分布式應(yīng)用可以使用它來實現(xiàn)諸如：統(tǒng)一命名服務(wù)、配置管理、分布式鎖服務(wù)、集群管理等功能），用于對整個管理節(jié)點組進行統(tǒng)一的配置化管理。Ø 處理節(jié)點組通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點的任務(wù)處理目標(biāo)，并實時的和處理節(jié)點上的任務(wù)處理目標(biāo)進行對比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。如果在若干個心跳間隔后管理節(jié)點組仍然沒有獲取到處理節(jié)點心跳報告，那

28、么該處理節(jié)點將會被踢出處理節(jié)點組，同時該節(jié)點處理的所有處理任務(wù)也會被重新調(diào)度。隨著集群處理數(shù)據(jù)量的不斷增大，處理節(jié)點組提供了簡單高效的自動化部署方案，當(dāng)新機器加入處理集群后，會主動的與管理節(jié)點組同步心跳信息，從同一配置服務(wù)器ZooKeeper上獲取相關(guān)配置信息，通過WebServer服務(wù)獲取任務(wù)列表，開始執(zhí)行數(shù)據(jù)處理工作。 cDispath調(diào)度平臺提供了一套基于Web的管理化界面，可以實時的觀察各個處理節(jié)點的任務(wù)運行狀態(tài)，以及任務(wù)列表的分配情況，機器的負(fù)載情況等。用戶在管理系統(tǒng)界面上可以完成所有的工作，如新任務(wù)的添加，任務(wù)的手動調(diào)度以及集群日志的查看與分析等。 任務(wù)處理節(jié)點和管理節(jié)點之間維護一

29、個心跳時間，實時向管理節(jié)點匯報任務(wù)處理信息，同時，任務(wù)處理節(jié)點在每個心跳時間內(nèi)向管理節(jié)點獲取該處理的任務(wù)列表，并和本機正在處理的任務(wù)列表進行比對，完成相關(guān)的任務(wù)調(diào)度工作。若一個處理節(jié)點在多個心跳時間范圍內(nèi)仍然沒有主動的和管理節(jié)點相互聯(lián)系，那么管理節(jié)點將會根據(jù)各機器的負(fù)載情況，將失去心跳連接的處理節(jié)點上的任務(wù)進行任務(wù)的重新分配和執(zhí)行。3.4 cProc云處理3.4.1 cProc簡介cProc是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集的并行計算。cProc通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)數(shù)據(jù)處理,每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。隨著節(jié)點

30、的增多，cProc的處理能力將成倍數(shù)增長。圖 1 cProc 系統(tǒng)架構(gòu)3.4.2 cProc主要優(yōu)勢Ø 實時性 平臺在高效率并行分布式軟件的支撐下，可以實時完成數(shù)據(jù)計算和分析工作，如數(shù)據(jù)計算、數(shù)據(jù)查詢、和統(tǒng)計分析等。數(shù)據(jù)計算不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性。Ø 高可靠性 基于對云計算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。Ø 可伸縮性 在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少節(jié)點，平臺的處理能力自動縮減。這

31、樣，可以做到與資源池的無縫對接，根據(jù)計算和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率。Ø 高性價比 采用X86架構(gòu)廉價計算機構(gòu)建云計算平臺，用軟件容錯替代硬件容錯，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù)據(jù)庫方案節(jié)省10倍左右的成本。Ø 全業(yè)務(wù)支持 采用NoSQL關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺并進行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，可支撐各種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。3.5 cStor 云存儲3.5.1 cStor簡介cStor云存儲系統(tǒng)是9

32、年來不斷積累研發(fā)的高科技產(chǎn)品，是國內(nèi)最早實現(xiàn)并保持領(lǐng)先的云存儲系統(tǒng)，整套系統(tǒng)包括軟件與硬件，是一個海量的云存儲平臺。與傳統(tǒng)的大規(guī)模存儲系統(tǒng)相比，它具有構(gòu)建成本低、性能高效可靠、使用簡單方便的特點。在需要存儲大量數(shù)據(jù)（如視頻數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等）的應(yīng)用場合，可以大幅提高存儲系統(tǒng)性價比。與目前國際上知名的Google、Amazon等云存儲相比，具有更高的性價比、更低的能耗、更加通用和更方便的使用模式。3.5.2 cStor主要優(yōu)勢Ø 超低成本系統(tǒng)中采用廉價的大容量存儲服務(wù)節(jié)點，通過cStor系統(tǒng)軟件實現(xiàn)統(tǒng)一管理和容錯，提供高效、穩(wěn)定服務(wù)。與使用專用服務(wù)器相比，可以將系統(tǒng)構(gòu)建成本節(jié)省5-10倍

33、以上，且規(guī)模越大，優(yōu)勢越明顯。Ø 高性能cStor采用了高效的數(shù)據(jù)讀寫技術(shù)和文件查詢技術(shù), 支持高并發(fā)、高帶寬， 數(shù)據(jù)在多個節(jié)點上并行讀寫，服務(wù)器自動均衡負(fù)載，系統(tǒng)性能隨節(jié)點數(shù)增加而線性增長。Ø 超高可靠性支持多重數(shù)據(jù)保護，包括磁盤級的數(shù)據(jù)冗余，節(jié)點級的數(shù)據(jù)冗余等。 存儲節(jié)點的數(shù)據(jù)具有多個副本（默認(rèn)為3個，可設(shè)置）。任意節(jié)點出現(xiàn)故障，系統(tǒng)將會自動復(fù)制數(shù)據(jù)副本到新的節(jié)點上，不會丟失數(shù)據(jù)。元數(shù)據(jù)管理節(jié)點采用雙機鏡像模式容錯，如果有一節(jié)點出現(xiàn)故障，另一節(jié)點自動接替之。Ø 綠色節(jié)能自主研發(fā)的超低功耗云存儲硬件節(jié)點，主板尺寸為20cm*20cm，功耗僅為10W左右（不含硬盤

34、），比業(yè)界的200W低10幾倍。Ø 超高集成度由于解決了能耗的問題，散熱不成為集成度的瓶頸，因而可以在1個標(biāo)準(zhǔn)的42U機架上集成多達80個存儲節(jié)點，總?cè)萘扛哌_1024TB。Ø 易擴展性可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即實現(xiàn)系統(tǒng)容量從TB級平滑擴展到PB級；也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，并自動將摘下的節(jié)點上得數(shù)據(jù)備份到其他節(jié)點上，保證整個系統(tǒng)數(shù)據(jù)的冗余數(shù)。4 分級部署4.1 多級平臺整體規(guī)劃對于全省或者全市級別的平安城市二期監(jiān)控，不論是從網(wǎng)絡(luò)帶寬或者系統(tǒng)負(fù)載，單中心的模式勢必?zé)o法處理如此海量的視頻數(shù)據(jù)，因此分布式的多級部署勢在

35、必行，cVideo云視頻監(jiān)控平臺多級部署概要圖如下圖所示：根據(jù)行政區(qū)劃或者攝像機的數(shù)量，若干個街道級的監(jiān)控點匯聚到一個分區(qū)的監(jiān)控中心，街道級不部署本“平臺”，只是作為管理監(jiān)控點，在區(qū)級中心往上開始部署相應(yīng)規(guī)模的cVideo監(jiān)控云平臺。市級監(jiān)控中心管理本市下屬所有區(qū)級中心，省級監(jiān)控中心則管理下屬各個市級中心。對于視頻的存儲和處理相對集中于每個區(qū)級中心，往上的市級和省級更側(cè)重資源的調(diào)控和任務(wù)的管理分發(fā)，在市級中存儲的大部分是又分局上傳的重要數(shù)據(jù)，省級則是備份關(guān)鍵數(shù)據(jù)，而其他在分區(qū)中的數(shù)據(jù)則是在需要時經(jīng)由分區(qū)的流媒體服務(wù)器推送至客戶端，如此可以大幅降低網(wǎng)內(nèi)數(shù)據(jù)的傳輸量。4.2 多級平臺聯(lián)動調(diào)度按2.

36、1節(jié)中所說的架構(gòu)，在實際應(yīng)用中，經(jīng)常會出現(xiàn)跨級的聯(lián)動調(diào)度問題，下圖展示了cVideo云視頻監(jiān)控平臺多級聯(lián)動調(diào)度的流程。上圖所示的為市級同分區(qū)間聯(lián)動的示意圖，省級與市級類似，只是多經(jīng)過市級這一分層而已。（一）前端設(shè)備注冊：1) 前端設(shè)備若要接入監(jiān)控系統(tǒng)，則需通過接入服務(wù)器的注冊，分中心控制器接收接入服務(wù)器發(fā)來的前端設(shè)備注冊請求同時在市局系統(tǒng)的數(shù)據(jù)庫注冊設(shè)備信息2) 在前端監(jiān)控設(shè)備本地注冊的同時，分中心控制器也向上級市中心控制器發(fā)送注冊請求，當(dāng)然市中心也會自動向其上級省中心發(fā)送注冊信息，如此，在市級和省級的數(shù)據(jù)庫系統(tǒng)中也就同樣注冊了該設(shè)備的相關(guān)信息，用于聯(lián)動調(diào)控。（二）聯(lián)動調(diào)控：1) 如果是市級用戶想查看某前端攝像機的實時視頻，那么，該用戶首先通過客戶端或瀏覽器登