視頻監(jiān)控+圖像處理

1、；例如車牌識別。人臉識別 視頻監(jiān)控+圖像處理 1.智能視頻監(jiān)控系統(tǒng)概述 2.基于matlab下的視頻操作處理 3.實(shí)例分析及算法介紹 主要內(nèi)容主要內(nèi)容 視頻監(jiān)控+圖像處理 傳統(tǒng)監(jiān)控系統(tǒng)存在的問題 人自身的弱點(diǎn)，很多時(shí)候無法發(fā)覺威脅； 監(jiān)控時(shí)間，在大型場合，不是隨時(shí)監(jiān)控（1：1）； 誤報(bào)和漏報(bào)，降低監(jiān)控系統(tǒng)的應(yīng)用價(jià)值； 數(shù)據(jù)分析困難，只有時(shí)間標(biāo)簽，非常耗時(shí)； 響應(yīng)時(shí)間長； 視頻監(jiān)控+圖像處理 智能視頻監(jiān)控系統(tǒng) 智能視頻監(jiān)控系統(tǒng)主要是引入 計(jì)算機(jī)視覺中的相關(guān)技術(shù)，主要 包括： 1.運(yùn)動(dòng)對象的提取 2.對象描述 3.對象跟蹤 4.識別和行為分析 視頻監(jiān)控+圖像處理 自動(dòng)報(bào)警功能是智能視頻監(jiān)控系統(tǒng)的關(guān)

2、鍵部分，它關(guān)系到 整個(gè)系統(tǒng)的信息化水平和準(zhǔn)確率。示例： 視頻監(jiān)控+圖像處理 智能視頻監(jiān)控系統(tǒng)的應(yīng)用場合 高級視頻運(yùn)動(dòng)檢測（極端天氣情況下） 運(yùn)動(dòng)跟蹤（行為分析） 人物面部識別 車輛識別 物體滯留（物品丟失） 人數(shù)統(tǒng)計(jì)（客流量） 人群控制（人群疏導(dǎo)） 注意力控制（產(chǎn)品銷售） 交通流量控制（交通事故，堵塞） 視頻監(jiān)控+圖像處理 智能視頻監(jiān)控系統(tǒng)的組成 攝像部分：圖像采集 傳輸部分：有線傳輸和無線傳輸； 控制部分：遠(yuǎn)程遙控 圖像處理：視頻器的切換，對圖像進(jìn)行分析，核心 攝像部分傳輸部分控制部分圖像處理、顯示與記錄 視頻監(jiān)控+圖像處理 軟件環(huán)境 Windows下常用的軟件開發(fā)工具有很多，Microso

3、ft Visual C+(VC)就是其中的一種，它也是目前使用極為 廣泛的一種基于Windows平臺的可視化編程環(huán)境，對 Internet網(wǎng)絡(luò)具有強(qiáng)有力的支持。 在開發(fā)視頻監(jiān)控系統(tǒng)時(shí)，通常有3種視頻采集的方 法。分別為VFW、DirectShow和SDK。 視頻監(jiān)控+圖像處理 視頻采集方法介紹 VFW是是Microsoft提供的數(shù)字視頻軟件包，許多監(jiān)控卡 不支持VFW，很少使用； DirectShow是Microsoft推出的流媒體開發(fā)包，支持WDM 驅(qū)動(dòng)的各種監(jiān)控卡上采集數(shù)據(jù)，可以開發(fā)通用的視頻監(jiān) 控程序，支持ASF、MPEG、AVI、MP3、WAV等多種媒體格 式； SDK是監(jiān)控卡廠家提供

4、的開發(fā)視頻監(jiān)控系統(tǒng)的一組庫函 數(shù)，使用SDK庫函數(shù)，用戶可以在不了解視頻壓縮、回 放、網(wǎng)絡(luò)傳輸?shù)燃夹g(shù)的前提下，進(jìn)行視頻程序開發(fā)由于 不同廠家提供的監(jiān)控卡SDK并不兼容，編寫的應(yīng)用程序 無法移植到新的環(huán)境中。 視頻監(jiān)控+圖像處理 基于matlab下的視頻操作處理 Matlab提供了少量的視頻處理函數(shù)，主要是針對AVI 格式視頻文件的讀/寫； Simulink提供了視頻與圖像處理模塊集，可以支持一 些視頻處理應(yīng)用開發(fā) 視頻監(jiān)控+圖像處理 /1、圖像的讀取和顯示 視頻的視頻的讀取讀取 A=MMREAD er() 指定視頻文件的完整路徑和文件名。 注：aviread在高版本matalb里被刪除 視頻監(jiān)

5、控+圖像處理 實(shí)例分析及算法介紹 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 一、圖像截取 系統(tǒng)通過多路視頻采集器將監(jiān)控現(xiàn)場信息 采集到控制中心，然后定時(shí)截取位圖圖像， 用做后續(xù)目標(biāo)檢測和分析的原始圖像。位圖 由像素組成，特別適合圖像處理。若每路圖 像的幀數(shù)為25幀/s，則基本可以達(dá)到實(shí)時(shí)監(jiān) 控的效果。 主要的技術(shù) 視頻監(jiān)控+圖像處理 2. 圖像增強(qiáng) 對于數(shù)字視頻監(jiān)控系統(tǒng)來說， 引起圖像失真 的主要原因有監(jiān)控環(huán)境中的噪聲、 編碼過程中產(chǎn) 生的塊效應(yīng)等。針對這些原因采取有效措施， 可 以通過圖像處理的方法改善圖像的質(zhì)量。如通過增 強(qiáng)對比度的辦法來看清圖像的細(xì)節(jié)； 運(yùn)用平滑技 術(shù)減少塊效應(yīng)對圖像清晰度

6、的影響； 使用微分運(yùn) 算突出邊界或其他變化部分等。 視頻監(jiān)控+圖像處理 2.1 圖像銳化 在圖像識別中， 需要有邊緣鮮明的圖像， 即圖像銳化。 圖像中的邊緣像素都是亮度變化較大的地方。 圖像銳化中最常用的方法是梯度運(yùn)算。梯度運(yùn)算法包 括 Roberts 算子,Sobel算子和 Prewitt 算子等。Sobel 算子對 噪聲十分敏感,Roberts 算子的魯棒性比較好。由于監(jiān)控系 統(tǒng)圖像中摻雜著大量的噪聲， 因此用 Roberts 算子的圖像 銳化方法。 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 2.2 鄰域平均法鄰域平均法 平滑濾波對圖像的低頻分量進(jìn)行增強(qiáng)平滑濾波對圖像的低

7、頻分量進(jìn)行增強(qiáng),同時(shí)可以同時(shí)可以 削弱圖像的高頻分量，因此一般用于消除圖像中的削弱圖像的高頻分量，因此一般用于消除圖像中的 隨機(jī)噪聲隨機(jī)噪聲 ，從而起到圖像平滑的作用。，從而起到圖像平滑的作用。 圖像鄰域平均法的平滑效果與所用的鄰域像素個(gè)圖像鄰域平均法的平滑效果與所用的鄰域像素個(gè) 數(shù)有關(guān)數(shù)有關(guān),像素越多，則圖像的模糊程度越大。鄰域像素越多，則圖像的模糊程度越大。鄰域 平平 均法包括均法包括:簡單平均法簡單平均法,閾值平均法和鄰域加權(quán)平均法閾值平均法和鄰域加權(quán)平均法 等等 。 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 3. 背景更新 目標(biāo)檢測的前提是前景幀圖像（如圖2）與背景幀圖像 （如圖1）做差

8、。所謂背景幀圖像，通常是由監(jiān)控現(xiàn)場中固 定的設(shè)備組成（如圖1）。背景更新技術(shù)就是為了得到最新 的背景幀圖像。目前，背景更新算法有很多，這里選用簡單 且效果不錯(cuò)的Adaptive Median Filter （AMF）算法。 AMF算法的基本思想是，若新輸入的圖像幀的像素值比預(yù)估 計(jì)的背景圖像中的對應(yīng)位置的像素值要大，則估計(jì)背景圖像 的像素值加1；反之，如果比對應(yīng)位置的像素值要小，則減1. 視頻監(jiān)控+圖像處理 4. 運(yùn)動(dòng)目標(biāo)檢測 安全監(jiān)控是數(shù)字視頻監(jiān)控的重要任務(wù)， 運(yùn)動(dòng)目標(biāo)檢測 能及時(shí)發(fā)現(xiàn)異常運(yùn)動(dòng)目標(biāo)， 報(bào)警提醒監(jiān)控人員，是實(shí)現(xiàn) 安全監(jiān)控的重要手段之一。運(yùn)動(dòng)目標(biāo)檢測的準(zhǔn)確與否對 后續(xù)步驟中的跟蹤

9、和識別會產(chǎn)生重要的影響。 4.1 幀間差分法 幀間差分法通過對視頻圖像序列相鄰兩幀作差分運(yùn) 算以獲取運(yùn)動(dòng)目標(biāo)的輪廓，魯棒性較好， 攝像頭靜止 和運(yùn)動(dòng)的情況下都能使用 。與背景差分法不同的是 ， 由于用來差分的兩幀圖像時(shí)間間隔很短 ( 大約等于視頻 幀率的倒數(shù)) ，即使背景圖像受噪聲等外部因素干擾， 背景圖像也不會產(chǎn)生太大的影響。 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 4.2 背景差分法背景差分法 背景差分法是采用圖像序列中的當(dāng)前幀和背景參考模 型比較來檢測運(yùn)動(dòng)物體的一種方法,其性能依賴于所使用的 背景建模技術(shù)。 在基于背景差分方法的運(yùn)動(dòng)目標(biāo)檢測中，背景圖像的建 模和模擬的準(zhǔn)確程度，直接影響到

10、檢測的效果。不論任何 運(yùn)動(dòng)目標(biāo)檢測算法，都要盡可能的滿足任何圖像場景的處 理要求，但是由于場景的復(fù)雜性、不可預(yù)知性、以及各種 環(huán)境干擾和噪聲的存在，如光照的突然變化、實(shí)際背景圖 像中有些物體的波動(dòng)、攝像機(jī)的抖動(dòng)、運(yùn)動(dòng)物體進(jìn)出場景 對原場景的影響等，使得背景的建模和模擬變得比較困難。 背景差分法檢測運(yùn)動(dòng)目標(biāo)速度快，檢測準(zhǔn)確，易于實(shí) 現(xiàn)，其關(guān)鍵是背景圖像的獲取。在實(shí)際應(yīng)用中，靜止背景 是不易直接獲得的，同時(shí)，由于背景圖像的動(dòng)態(tài)變化，需 要通過視頻序列的幀間信息來估計(jì)和恢復(fù)背景，即背景重 建，所以要選擇性的更新背景。 視頻監(jiān)控+圖像處理 4.3 光流法 光流法(optical flow)序列的光流場

11、實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測的一種方法。由于運(yùn)動(dòng)對 像通常與背景有不一致的運(yùn)動(dòng)，因此可以從分析對象的運(yùn)動(dòng)特征入手來分割視 頻圖像?；诠饬鲌鲞\(yùn)動(dòng)分割的算法是先估計(jì)視頻圖像的運(yùn)動(dòng)場，然后根據(jù)運(yùn) 動(dòng)場的運(yùn)動(dòng)特征進(jìn)行視頻運(yùn)動(dòng)目標(biāo)分割。 光流法的最大優(yōu)勢在于,它不需要預(yù)先知道場景的任何信息即能檢測出獨(dú)立運(yùn)動(dòng) 的目標(biāo),并可用于攝像機(jī)運(yùn)動(dòng)的情況。然而，在實(shí)際應(yīng)用中，由于遮擋性、多光 源，透明性和噪聲等原因，使得光流場基本方程的灰度守恒假設(shè)條件得不到滿 足，不能求解出正確的光流場，同時(shí)大多數(shù)的光流計(jì)算方法相當(dāng)復(fù)雜，計(jì)算量 巨大，不能滿足實(shí)時(shí)要求，因此，一般不被對精度和實(shí)時(shí)性要求比較高的監(jiān)控 系統(tǒng)所采用。 視頻監(jiān)控+圖像

12、處理 4.4 三種算法的比較三種算法的比較 幀間差分法對動(dòng)態(tài)變化環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測有較強(qiáng)的自 適應(yīng)性，提取運(yùn)動(dòng)目標(biāo)的關(guān)鍵在于準(zhǔn)確的定位目標(biāo)和噪聲 之間的差別，從而準(zhǔn)確的提取分割閾值； 背景減法算法簡單易于實(shí)現(xiàn)，在背景已知的情況下，能夠 提供最完全的特征數(shù)據(jù)，并能完整地檢測出運(yùn)動(dòng)目標(biāo)，但 是由于圖像采集過程中的誤差、背景中光線的變化以及環(huán) 境中其他干擾因素,使得簡單的背景減法效果受到影響； 光流法支持?jǐn)z像機(jī)運(yùn)動(dòng)，可以得到完整的運(yùn)動(dòng)信息，能夠 很好的從背景中檢測到相關(guān)前景目標(biāo)，甚至是運(yùn)動(dòng)目標(biāo)的 一部分，從而實(shí)現(xiàn)攝像機(jī)運(yùn)動(dòng)過程中獨(dú)立運(yùn)動(dòng)目標(biāo)的檢測， 但計(jì)算開銷較大、實(shí)時(shí)性差,而且抗噪性能比較差。

13、視頻監(jiān)控+圖像處理 5.特征提取特征提取 移動(dòng)目標(biāo)在二值圖上以白色斑塊形式體現(xiàn)，因此，移動(dòng)目標(biāo)在二值圖上以白色斑塊形式體現(xiàn)，因此， 斑塊信息就是移動(dòng)目標(biāo)的微觀信息，可以通過斑塊分斑塊信息就是移動(dòng)目標(biāo)的微觀信息，可以通過斑塊分 析算法獲取斑塊信息，從而提取移動(dòng)目標(biāo)的特征。析算法獲取斑塊信息，從而提取移動(dòng)目標(biāo)的特征。 在四連通環(huán)境下對斑塊進(jìn)行分析。所謂四連通，是在四連通環(huán)境下對斑塊進(jìn)行分析。所謂四連通，是 指一個(gè)象素點(diǎn)的上下左右方向四個(gè)緊鄰的點(diǎn)與這個(gè)點(diǎn)指一個(gè)象素點(diǎn)的上下左右方向四個(gè)緊鄰的點(diǎn)與這個(gè)點(diǎn) 是相鄰關(guān)系，而左上、左下、右上、右下四個(gè)點(diǎn)與這是相鄰關(guān)系，而左上、左下、右上、右下四個(gè)點(diǎn)與這 個(gè)點(diǎn)不

14、屬于相鄰關(guān)系。斑塊信息越豐富，檢測和跟蹤個(gè)點(diǎn)不屬于相鄰關(guān)系。斑塊信息越豐富，檢測和跟蹤 就越精確。就越精確。 視頻監(jiān)控+圖像處理 圖圖9 二值圖像二值圖像 所謂二值圖像就是像素值只有所謂二值圖像就是像素值只有0（黑色）或（黑色）或255（白（白 色）兩個(gè)值的圖像。色）兩個(gè)值的圖像。 視頻監(jiān)控+圖像處理 6.特征識別特征識別 報(bào)警知識庫是系統(tǒng)在進(jìn)行報(bào)警識別時(shí)專用的一個(gè)知識庫，報(bào)警知識庫是系統(tǒng)在進(jìn)行報(bào)警識別時(shí)專用的一個(gè)知識庫， 它是自動(dòng)報(bào)警不可缺少的。報(bào)警知識庫是在系統(tǒng)自動(dòng)監(jiān)控過它是自動(dòng)報(bào)警不可缺少的。報(bào)警知識庫是在系統(tǒng)自動(dòng)監(jiān)控過 程中逐步建立起來的，并不斷得到補(bǔ)充的。程中逐步建立起來的，并不斷得

15、到補(bǔ)充的。 報(bào)警特征識別，就是將上一步提取的移動(dòng)目標(biāo)特征與報(bào)警報(bào)警特征識別，就是將上一步提取的移動(dòng)目標(biāo)特征與報(bào)警 知識庫中知識元的值進(jìn)行比對，如果達(dá)到了報(bào)警的要求，即知識庫中知識元的值進(jìn)行比對，如果達(dá)到了報(bào)警的要求，即 發(fā)出報(bào)警消息。其實(shí)質(zhì)就是用提取的目標(biāo)特征與知識庫進(jìn)行發(fā)出報(bào)警消息。其實(shí)質(zhì)就是用提取的目標(biāo)特征與知識庫進(jìn)行 匹配的一個(gè)過程。系統(tǒng)定義如果連續(xù)有兩次相鄰幀圖像的移匹配的一個(gè)過程。系統(tǒng)定義如果連續(xù)有兩次相鄰幀圖像的移 動(dòng)目標(biāo)特征與報(bào)警知識庫匹配成功，則啟動(dòng)自動(dòng)報(bào)警功能，動(dòng)目標(biāo)特征與報(bào)警知識庫匹配成功，則啟動(dòng)自動(dòng)報(bào)警功能， 通知管理員。通知管理員。 視頻監(jiān)控+圖像處理 7. 總結(jié)總結(jié)

16、針對數(shù)字視頻監(jiān)控系統(tǒng)智能化方面的薄弱環(huán)針對數(shù)字視頻監(jiān)控系統(tǒng)智能化方面的薄弱環(huán) 節(jié)，節(jié)， 采用運(yùn)動(dòng)目標(biāo)檢測和圖像增強(qiáng)方法對視頻圖采用運(yùn)動(dòng)目標(biāo)檢測和圖像增強(qiáng)方法對視頻圖 像進(jìn)行處理；像進(jìn)行處理； 針對視頻監(jiān)控針對視頻監(jiān)控 系統(tǒng)背景圖像變化系統(tǒng)背景圖像變化 不大的特點(diǎn)，不大的特點(diǎn)， 在傳統(tǒng)幀間差分運(yùn)動(dòng)目標(biāo)檢測的基在傳統(tǒng)幀間差分運(yùn)動(dòng)目標(biāo)檢測的基 礎(chǔ)上，提出了對礎(chǔ)上，提出了對“ 門門” 等敏感區(qū)域增加權(quán)值的等敏感區(qū)域增加權(quán)值的 方法，成功分離出運(yùn)動(dòng)目標(biāo)，提高了檢測效率；方法，成功分離出運(yùn)動(dòng)目標(biāo)，提高了檢測效率； 給出了監(jiān)控視頻序列給出了監(jiān)控視頻序列 Y 分量進(jìn)行鄰域平均加權(quán)法、分量進(jìn)行鄰域平均加權(quán)法、 R o b e r t s 算子邊緣檢測的圖像增強(qiáng)結(jié)果。算子邊緣檢測的圖像增強(qiáng)結(jié)果。 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 視頻監(jiān)控+圖像處理 目標(biāo)定位 目標(biāo)初始定位是指在一幅監(jiān)控視頻幀中將其中出現(xiàn) 的運(yùn)動(dòng)目標(biāo)的位置標(biāo)定出來，常用的定位方法有