一種多路視頻流并行化處理方法

一種多路視頻流并行化處理方法

基于ha的基于源的分布計算結(jié)構(gòu)，它是目前并行處理平臺的代表，文獻(xiàn)。1相關(guān)研究1.1實時應(yīng)用程序控制Storm是實時的并具備高容錯的分布式計算系統(tǒng)，主要由一個主節(jié)點(Nimbus)和一群工作節(jié)點(Worker)組成，同時每個工作節(jié)點上運行一個監(jiān)督節(jié)點(Supervisor)，通過Zookeeper進(jìn)行協(xié)調(diào)。主節(jié)點負(fù)責(zé)任務(wù)分配，并監(jiān)控狀態(tài)。監(jiān)督節(jié)點會監(jiān)聽所分配子節(jié)點機(jī)器的任務(wù)狀態(tài)，根據(jù)需要啟動/關(guān)閉工作進(jìn)程。Storm中，各個組件間的消息流動形成邏輯上的拓?fù)浣Y(jié)構(gòu)，故運行一個實時應(yīng)用程序通過提交拓?fù)?Topology)完成。如圖1所示，Spout是消息的生產(chǎn)者，負(fù)責(zé)數(shù)據(jù)的抓取，從來源處讀取數(shù)據(jù)放入拓?fù)?，然后以元組(Tuple)的形式發(fā)送到數(shù)據(jù)流中，Bolt封裝了所有的消息處理邏輯，通過流分組(StreamGrouping)將Spouts與Bolts連接起來。1.2st模型算法的并行人車分類主要分為4個部分:感興趣前景區(qū)域的提取，目標(biāo)跟蹤預(yù)測，特征提取，目標(biāo)分類。流程如圖2所示。前景區(qū)域的提取是視頻分析的最初階段，將運動目標(biāo)從背景中分離，為下一階段的跟蹤與識別做準(zhǔn)備。目標(biāo)跟蹤是對場景中的感興趣目標(biāo)進(jìn)行預(yù)測與定位，可以更準(zhǔn)確地得到目標(biāo)的運動狀態(tài)。通過特征提取與目標(biāo)識別對運動信息進(jìn)行篩選，對人車信息進(jìn)行識別。在Storm集群中每個處理的元組相互獨立，算法的并行實際是基于文件的并行實現(xiàn)。本文使用多幀差分法提取前景區(qū)域，卡爾曼濾波實現(xiàn)目標(biāo)跟蹤預(yù)測，采用HOG算子與SVM算法實現(xiàn)目標(biāo)的識別分類，在實現(xiàn)每段視頻數(shù)據(jù)處理完整性的前提下也能準(zhǔn)確檢測出人車目標(biāo)。2車分類及核心任務(wù)并行化本文利用Storm并行化處理框架實現(xiàn)基于海量視頻流的人車分類，核心思想是將計算任務(wù)分配給多個節(jié)點，通過任務(wù)并行化達(dá)到提升性能的目的。主要包括如下步驟:緩存視頻流獲取、自定義VideoStreamSpout類組件、算法融合。2.1rtsp視頻流的數(shù)據(jù)處理遠(yuǎn)程攝像頭捕捉到的視頻數(shù)據(jù)，通過網(wǎng)絡(luò)傳輸?shù)奖镜卦破脚_處理。流媒體在傳輸?shù)倪^程中，由于帶寬等的影響，不可避免地會出現(xiàn)數(shù)據(jù)丟失或失序的現(xiàn)象，而且數(shù)據(jù)采集的速度和數(shù)據(jù)處理的速度不一定同步，會造成數(shù)據(jù)堵塞。RTSP視頻流為幀與幀之間連續(xù)相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)流，物理分割會造成幀不完整、分割后缺少關(guān)鍵幀(I幀)的問題，因此需要對視頻流數(shù)據(jù)解耦合。提出了一種基于關(guān)鍵幀的視頻流緩存方法，如圖3所示，視頻圖像以序列為單位進(jìn)行組織，一個序列是一段圖像編碼后的數(shù)據(jù)流，以關(guān)鍵幀開始到下一個關(guān)鍵幀結(jié)束。根據(jù)關(guān)鍵幀的位置進(jìn)行緩存，可以保證所有的緩存塊都有必要的幀信息，不會出現(xiàn)缺少關(guān)鍵幀無法解碼的問題。2.2存儲獨立sds的存儲信息自定義VideoStreamSpout類組件，通過繼承BaseRichSpout接口實現(xiàn)數(shù)據(jù)讀取，數(shù)據(jù)讀取流程如圖4所示。如2.1節(jié)所述獲取獨立的緩存視頻流，當(dāng)緩存流達(dá)到元組要求就以隊列形式推送。open()方法打開緩存流，將數(shù)據(jù)封裝成一個個Tuple，通過nextTuple()方法不間斷發(fā)送新的Tuple到消息隊列。為保證數(shù)據(jù)的連續(xù)性，每個Tuple會隨機(jī)分發(fā)唯一的ID。拓?fù)涮峤缓髸恢边\行直到被手動殺死。此外，Storm在檢測到一個元組被成功處理時調(diào)用ack()方法，否則調(diào)用fail()方法，這樣保證了數(shù)據(jù)處理的可靠性。2.3c/c++語言及其數(shù)據(jù)資源整合計算任務(wù)主要在VideoStreamBolt環(huán)節(jié)實現(xiàn)，VideoStreamBolt組件與VideoStreamSpout組件之間通過松耦合的管道機(jī)制實現(xiàn)流傳輸，這種調(diào)度機(jī)制極大提升了并行計算的穩(wěn)定性和可擴(kuò)展性。Storm的拓?fù)浣Y(jié)構(gòu)通過Java語言實現(xiàn)，Java語言因其簡單、面向?qū)ο蟆⒖梢浦?、平臺無關(guān)等特性，已成為分布式計算領(lǐng)域的主流程序設(shè)計語言。影響Java語言算法實現(xiàn)的最大問題是速度，在原始的Java解釋器中，C語言的速度是解釋過的Java語言的20倍左右，用Java語言來完成對性能敏感的高性能密集計算目前不是最好的選擇。視頻的解碼及人車分類算法分別使用FFMPEG視頻圖像編解碼庫與Opencv開源計算機(jī)視覺處理庫實現(xiàn)，采用C/C++語言編寫，在不改變并行結(jié)構(gòu)及算法效率的情況下，Java的JNI(JavaNativeInterface)接口實現(xiàn)了Java數(shù)據(jù)與C++本地庫的數(shù)據(jù)交互，但頻繁的數(shù)據(jù)拷貝會大大降低數(shù)據(jù)傳遞的效率及穩(wěn)定性，且當(dāng)交換數(shù)據(jù)塊較大時，會造成內(nèi)存泄漏，對計算機(jī)內(nèi)存造成較大損耗。同時頻繁的數(shù)據(jù)拷貝造成算法的延時在流式計算中會產(chǎn)生數(shù)據(jù)堵塞。本文提出了一種優(yōu)化的高效并行內(nèi)存共享機(jī)制，可以最大化優(yōu)化代碼的運算速度，具體結(jié)構(gòu)如圖5所示。在該機(jī)制中，Java端作為程序的起始端，負(fù)責(zé)任務(wù)的分發(fā)及資源調(diào)度，構(gòu)建并行計算環(huán)境。當(dāng)有數(shù)據(jù)交互發(fā)生時，Java端開辟堆內(nèi)存空間與JNI層共享，并將數(shù)據(jù)信息導(dǎo)入共享內(nèi)存，通過地址值的傳遞，實現(xiàn)本地算法與Java端的數(shù)據(jù)交互，同時，也可以通過并行內(nèi)存共享機(jī)制，將本地算法處理完成后的人車等目標(biāo)信息導(dǎo)入Java端。在不打破Storm并行計算框架和Java應(yīng)用程序環(huán)境的情況下，通過內(nèi)存共享機(jī)制，Java端與C++本地算法實現(xiàn)端數(shù)據(jù)同步變化，相比于普通的數(shù)組傳遞，效率更高更快，減少了數(shù)據(jù)堵塞的產(chǎn)生，且適合長期使用、頻繁訪問的大塊內(nèi)存的共享。3kvm系統(tǒng)環(huán)境本實驗在操作系統(tǒng)為centos6.6的64位華碩服務(wù)器下實現(xiàn)，硬件環(huán)境如下:CPU為2個6核Intel(R)Xeon(R)CPUE5-2620處理器，內(nèi)存為64Gbyte，通過KVM虛擬化技術(shù)搭建Storm集群，集群中設(shè)置1個Nimbus節(jié)點和3個Supervisor節(jié)點，網(wǎng)絡(luò)環(huán)境為10.0.0.1網(wǎng)段的局域網(wǎng)。軟件環(huán)境為apache-storm-0.9.2-incubating。測試視頻為編碼方式是H.264，像素為1920×1080高清視頻流數(shù)據(jù)。3.1視頻數(shù)據(jù)的能耗驗證內(nèi)存共享機(jī)制的高效性，測試在相同環(huán)境下本文方法與基于數(shù)組傳遞的方法處理不同大小的視頻數(shù)據(jù)時耗如表1所示。從表1可以看出，兩種機(jī)制分別實現(xiàn)人車分類算法，本文方法明顯優(yōu)于基于內(nèi)存拷貝機(jī)制的方法，且隨著數(shù)據(jù)量的增大，本文方法中每幀視頻數(shù)據(jù)平均處理時間相對穩(wěn)定，能滿足JNI調(diào)用本地算法高效性需求。3.2兩種模式下視頻處理效果對比吞吐量指系統(tǒng)單位時間內(nèi)處理數(shù)據(jù)的大小，是衡量并行系統(tǒng)實時高效性的重要指標(biāo)。記錄在Storm單機(jī)模式與集群模式下，隨著數(shù)據(jù)量的增加，完成視頻處理所需時間，對比兩種模式下的結(jié)果如圖6所示。由圖6可知，當(dāng)視頻數(shù)據(jù)流比較小時，由于任務(wù)分發(fā)數(shù)據(jù)傳輸?shù)榷夹枰馁M一定的計算機(jī)資源和時間，單機(jī)模式下數(shù)據(jù)流處理時間低于集群模式的處理時間。但是隨著數(shù)據(jù)流的增大，任務(wù)分發(fā)所需時間遠(yuǎn)小于視頻處理的時耗，集群模式處理時間明顯縮短。3.3高效節(jié)點高效存儲負(fù)載均衡是并行計算中的一項重要指標(biāo)，數(shù)據(jù)計算過多分布于同一計算節(jié)點，形成數(shù)據(jù)傾斜，會造成計算資源的浪費，影響集群穩(wěn)定性。Storm并行框架的數(shù)據(jù)處理基于內(nèi)存進(jìn)行，在任務(wù)執(zhí)行過程中使用nmon工具統(tǒng)計各節(jié)點內(nèi)存使用情況如圖7所示。圖中IP為10.0.88.55的計算機(jī)為Nimbus節(jié)點，分配8Gbyte內(nèi)存空間，其他為工作節(jié)點分配4Gbyte內(nèi)存空間。Nimbus節(jié)點需要分配計算任務(wù)并監(jiān)控集群狀態(tài)，內(nèi)存使用率高于工作節(jié)點，保持穩(wěn)定。各工作節(jié)點在硬件資源分配相同的條件下，在任務(wù)開始階段內(nèi)存上升平穩(wěn)，隨后趨于穩(wěn)定，由此可知各工作節(jié)點內(nèi)存使用率大致相同，沒有出現(xiàn)某一節(jié)點內(nèi)存使用過高的情形，說明在任務(wù)執(zhí)行過程中，集群內(nèi)存使用相對合理，沒有出現(xiàn)數(shù)據(jù)傾斜的情況，負(fù)載均衡。4實驗結(jié)果分析針對海量監(jiān)控視頻流數(shù)據(jù)實時分析的需求，設(shè)計了基于多路視頻流的并行處理框架，提高了視頻流數(shù)據(jù)處理的效率