畢設(shè)答辯ppt課件

1、LOGO復(fù)雜監(jiān)控視頻中異常行為檢測算法實(shí)現(xiàn)復(fù)雜監(jiān)控視頻中異常行為檢測算法實(shí)現(xiàn)n答答 辯辯 人：人：劉劉 偉偉n指指導(dǎo)導(dǎo)老老師師：樊：樊亞亞文文背景及意義背景及意義u 背景及意義背景及意義 視頻監(jiān)控一直以來都是計算機(jī)視覺領(lǐng)域的一個活躍的方向視頻監(jiān)控一直以來都是計算機(jī)視覺領(lǐng)域的一個活躍的方向，目前已經(jīng)廣泛應(yīng)用于公共和私人場景中，如犯罪預(yù)防、交通，目前已經(jīng)廣泛應(yīng)用于公共和私人場景中，如犯罪預(yù)防、交通控制、事故預(yù)測、病人監(jiān)控。其中包括室內(nèi)和室外場景的監(jiān)控控制、事故預(yù)測、病人監(jiān)控。其中包括室內(nèi)和室外場景的監(jiān)控。每天城市中的各個角落的攝像機(jī)都在采集著監(jiān)控數(shù)據(jù)。如此。每天城市中的各個角落的攝像機(jī)都在采集著監(jiān)

2、控數(shù)據(jù)。如此龐大的數(shù)據(jù)必須采取一個有效的方式去分析。而現(xiàn)在，大多數(shù)龐大的數(shù)據(jù)必須采取一個有效的方式去分析。而現(xiàn)在，大多數(shù)的監(jiān)控視頻數(shù)據(jù)都是通過人工監(jiān)督的，這是一個乏味且耗人力的監(jiān)控視頻數(shù)據(jù)都是通過人工監(jiān)督的，這是一個乏味且耗人力的工作，并且人工監(jiān)督實(shí)時性差，會存在監(jiān)控漏洞。不能對監(jiān)的工作，并且人工監(jiān)督實(shí)時性差，會存在監(jiān)控漏洞。不能對監(jiān)控視頻中發(fā)生的異?，F(xiàn)象及時作出報警以采取措施應(yīng)對。因此控視頻中發(fā)生的異常現(xiàn)象及時作出報警以采取措施應(yīng)對。因此視頻監(jiān)控中自動識別檢測異常行為變得迫切需要。視頻監(jiān)控中自動識別檢測異常行為變得迫切需要。國內(nèi)外研究現(xiàn)狀國內(nèi)外研究現(xiàn)狀u國外研究現(xiàn)狀國外研究現(xiàn)狀 1999年，

3、卡內(nèi)基隆大學(xué)、戴維研究中心等知名高校和研究年，卡內(nèi)基隆大學(xué)、戴維研究中心等知名高校和研究機(jī)構(gòu)研制了視頻監(jiān)視與監(jiān)控系統(tǒng)，目標(biāo)開發(fā)自動視頻理解技術(shù)機(jī)構(gòu)研制了視頻監(jiān)視與監(jiān)控系統(tǒng)，目標(biāo)開發(fā)自動視頻理解技術(shù)。歐盟長期研究項目資助研究的，基于圖像處理的視頻監(jiān)控系。歐盟長期研究項目資助研究的，基于圖像處理的視頻監(jiān)控系統(tǒng)，提供了圖像處理、理解技術(shù)來視頻數(shù)據(jù)中獲得有用的信息統(tǒng)，提供了圖像處理、理解技術(shù)來視頻數(shù)據(jù)中獲得有用的信息。馬里蘭大學(xué)研究的實(shí)時監(jiān)控系統(tǒng)成功，完成了人的身體部分。馬里蘭大學(xué)研究的實(shí)時監(jiān)控系統(tǒng)成功，完成了人的身體部分的定位與分割。英國雷丁大學(xué)計算機(jī)項目組的定位與分割。英國雷丁大學(xué)計算機(jī)項目組VI

4、EWS項目組開項目組開展的對車輛和行人的跟蹤及其交互作用識別的研究。展的對車輛和行人的跟蹤及其交互作用識別的研究。u國內(nèi)研究現(xiàn)狀國內(nèi)研究現(xiàn)狀中科院基于三維線性模型、擴(kuò)展的卡爾曼濾波跟蹤算法實(shí)現(xiàn)的中科院基于三維線性模型、擴(kuò)展的卡爾曼濾波跟蹤算法實(shí)現(xiàn)的對交通場景的視覺監(jiān)控，人的運(yùn)動視頻監(jiān)控。并對目標(biāo)軌跡和對交通場景的視覺監(jiān)控，人的運(yùn)動視頻監(jiān)控。并對目標(biāo)軌跡和行為特征的學(xué)習(xí)的模糊自組織神經(jīng)學(xué)習(xí)算法做了深入研究。行為特征的學(xué)習(xí)的模糊自組織神經(jīng)學(xué)習(xí)算法做了深入研究。論文的框架論文的框架第三章異常檢測第一章 背景介紹第二章 理論基礎(chǔ)第三章 基于LDA模型異常檢測第四章 實(shí)驗(yàn)設(shè)置第五章 總結(jié)展望 why?

5、即本文研究的目的即本文研究的目的what, what, 本文主要研究工作本文主要研究工作how！ 本文如何展開對工本文如何展開對工作的研究作的研究if,then. 對于文中研究的不對于文中研究的不足提出對未來的展望足提出對未來的展望論文主要工作論文主要工作u 目標(biāo)行為表示問題目標(biāo)行為表示問題u 行為學(xué)習(xí)的策略行為學(xué)習(xí)的策略u LDA模型簡介模型簡介u 基于基于LDA模型異常檢測模型異常檢測u 實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析u 總結(jié)與展望總結(jié)與展望行為的表示行為的表示u 光流特征法光流特征法 傳統(tǒng)行為一般都是基于對象的表示，通過點(diǎn)對點(diǎn)的建模，傳統(tǒng)行為一般都是基于對象的表示，通過點(diǎn)對點(diǎn)的建模，去學(xué)習(xí)

6、運(yùn)動軌跡數(shù)據(jù)的分布特征、比較軌跡點(diǎn)之間的相似去學(xué)習(xí)運(yùn)動軌跡數(shù)據(jù)的分布特征、比較軌跡點(diǎn)之間的相似程度。以及通過上述的方法獲得目標(biāo)的完整軌跡，根據(jù)這程度。以及通過上述的方法獲得目標(biāo)的完整軌跡，根據(jù)這些目標(biāo)的軌跡的信息去分析并理解這些目標(biāo)行為。然而在些目標(biāo)的軌跡的信息去分析并理解這些目標(biāo)行為。然而在實(shí)際復(fù)雜監(jiān)控場景中，涉及到多目標(biāo)的跟蹤，目標(biāo)之間會實(shí)際復(fù)雜監(jiān)控場景中，涉及到多目標(biāo)的跟蹤，目標(biāo)之間會頻繁遮擋，如果采用基于對象的表示方法運(yùn)用傳統(tǒng)的目標(biāo)頻繁遮擋，如果采用基于對象的表示方法運(yùn)用傳統(tǒng)的目標(biāo)檢測跟蹤方法就不能獲得目標(biāo)的完整軌跡了，從而無法完檢測跟蹤方法就不能獲得目標(biāo)的完整軌跡了，從而無法完成對目

7、標(biāo)行為的檢測與理解。所以采用了光流法，它是基成對目標(biāo)行為的檢測與理解。所以采用了光流法，它是基于像素級的，無需對目標(biāo)先進(jìn)行分割以獲得其目標(biāo)軌跡。于像素級的，無需對目標(biāo)先進(jìn)行分割以獲得其目標(biāo)軌跡。此方法算法相對簡單，且對復(fù)雜視頻監(jiān)控有著很好的適應(yīng)此方法算法相對簡單，且對復(fù)雜視頻監(jiān)控有著很好的適應(yīng)性。性。行為的表示行為的表示u不同行為表示方法效果圖不同行為表示方法效果圖 (a) 前景像素法前景像素法 (b)光流法光流法 基于像素的行為表示示意圖基于像素的行為表示示意圖 基于對象的行為表示示意圖基于對象的行為表示示意圖行為學(xué)習(xí)的策略行為學(xué)習(xí)的策略u行為學(xué)習(xí)策略的選擇行為學(xué)習(xí)策略的選擇 行為學(xué)習(xí)的方法

8、有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)在行為學(xué)習(xí)的方法有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)在監(jiān)督學(xué)習(xí)中，所有的正常樣本和異常樣本的定義都是明確的定監(jiān)督學(xué)習(xí)中，所有的正常樣本和異常樣本的定義都是明確的定義，并通過訓(xùn)練來得到。早期的視頻異常檢測一般都是基于無義，并通過訓(xùn)練來得到。早期的視頻異常檢測一般都是基于無監(jiān)督學(xué)習(xí)策略。然而在復(fù)雜視頻監(jiān)控場景中，包含多種目標(biāo)，監(jiān)督學(xué)習(xí)策略。然而在復(fù)雜視頻監(jiān)控場景中，包含多種目標(biāo)，多類行為同時發(fā)生，且具有不可預(yù)測性的一些異常事件，監(jiān)督多類行為同時發(fā)生，且具有不可預(yù)測性的一些異常事件，監(jiān)督學(xué)習(xí)策略則完全不能運(yùn)用在這些場景中，我們不可能對所有正學(xué)習(xí)策略則完全不能運(yùn)用在這些

9、場景中，我們不可能對所有正常模型和異常事件訓(xùn)練足夠多的樣本，且這種方法無法對未知常模型和異常事件訓(xùn)練足夠多的樣本，且這種方法無法對未知異常事件建模。而在無監(jiān)督學(xué)習(xí)方法中，只訓(xùn)練正常事件的樣異常事件建模。而在無監(jiān)督學(xué)習(xí)方法中，只訓(xùn)練正常事件的樣本，然后將測試數(shù)據(jù)集放在學(xué)習(xí)好的正常模型中進(jìn)行測試比較本，然后將測試數(shù)據(jù)集放在學(xué)習(xí)好的正常模型中進(jìn)行測試比較，當(dāng)與學(xué)習(xí)好的概率統(tǒng)計上偏離，則認(rèn)為就是異常事件。這很，當(dāng)與學(xué)習(xí)好的概率統(tǒng)計上偏離，則認(rèn)為就是異常事件。這很好的避免了監(jiān)督學(xué)習(xí)中無法對未知異常事件進(jìn)行訓(xùn)練的問題。好的避免了監(jiān)督學(xué)習(xí)中無法對未知異常事件進(jìn)行訓(xùn)練的問題。LDA模型簡介模型簡介u 模型簡介

10、模型簡介 LDA模型最初是用來文本挖掘的，它采用詞袋模型，將每模型最初是用來文本挖掘的，它采用詞袋模型，將每一篇文檔視為一個詞頻向量。每一篇文檔代表了一些主題一篇文檔視為一個詞頻向量。每一篇文檔代表了一些主題所構(gòu)成的一個概率分布，而每個主題又代表了很多單詞所所構(gòu)成的一個概率分布，而每個主題又代表了很多單詞所構(gòu)成的一個概率分布。構(gòu)成的一個概率分布。u 生成過程生成過程 所謂生成模型，可以認(rèn)為是一篇文章的每個詞都是通過以所謂生成模型，可以認(rèn)為是一篇文章的每個詞都是通過以一定概率選擇了某個主題，并從這個主題中以一定概率選一定概率選擇了某個主題，并從這個主題中以一定概率選擇某個詞語。具體步驟如下：擇某

11、個詞語。具體步驟如下： 從狄利克雷分布從狄利克雷分布中取樣生成文檔中取樣生成文檔i的主題分布的主題分布i 從主題的多項分布從主題的多項分布i中取樣生成文檔中取樣生成文檔i第第j個詞的主題個詞的主題zi,j 從狄利克雷分布從狄利克雷分布中取樣生成主題中取樣生成主題zi,j的詞語分布的詞語分布z zj,ij,i 從詞語分布多項式分布從詞語分布多項式分布zi,izi,i中采樣生成詞語中采樣生成詞語w wi,ji,jLDA模型簡介模型簡介uLDA模型原理圖及其參數(shù)含義模型原理圖及其參數(shù)含義 ，狄利克雷分布參數(shù)，分別作為狄利克雷分布參數(shù)，分別作為主題分布和單詞分布的先驗(yàn)主題分布和單詞分布的先驗(yàn) Nd表示

12、詞料庫中的文檔數(shù)表示詞料庫中的文檔數(shù) Nw文檔包含的單詞數(shù)，服從泊松文檔包含的單詞數(shù)，服從泊松分布分布 z為某一特定的主題為某一特定的主題 文檔中主題概率分布，服從多項文檔中主題概率分布，服從多項分布分布 表示單詞表示單詞-主題分布主題分布 LDA模型圖模型圖 LDA模型圖模型圖基于基于LDA異常行為的檢測異常行為的檢測u異常的定義異常的定義 首先是異常行為的定義問題，事件是很少發(fā)生的，或者之首先是異常行為的定義問題，事件是很少發(fā)生的，或者之前從未觀察到過、事件是未知不可預(yù)測的。論文中關(guān)于異常事前從未觀察到過、事件是未知不可預(yù)測的。論文中關(guān)于異常事件的定義也是運(yùn)用的這種特性。件的定義也是運(yùn)用的

13、這種特性。u 檢測的策略檢測的策略 基于基于LDA模型的異常行為檢測采用孤立點(diǎn)檢測策略，在貝模型的異常行為檢測采用孤立點(diǎn)檢測策略，在貝葉斯模型的框架下，通過訓(xùn)練一個正常的模型，再對測試數(shù)據(jù)葉斯模型的框架下，通過訓(xùn)練一個正常的模型，再對測試數(shù)據(jù)進(jìn)行測試匹配，如與概率統(tǒng)計的正常模型的似然值較小，則判進(jìn)行測試匹配，如與概率統(tǒng)計的正常模型的似然值較小，則判斷為異常事件。似然值較大，則可判斷為正常事件。斷為異常事件。似然值較大，則可判斷為正常事件。基于基于LDA異常行為的檢測異常行為的檢測u 樣本行為示意圖樣本行為示意圖 其中其中(a)代表的是正常樣本圖，代表的是正常樣本圖，(b)(c)代表兩種不同類型

14、代表兩種不同類型的異常行為示意圖的異常行為示意圖樣本行為示意圖樣本行為示意圖實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析u 建模時間與主題數(shù)關(guān)系圖建模時間與主題數(shù)關(guān)系圖 LDA模型的主題數(shù)是預(yù)先設(shè)定好的，當(dāng)我們設(shè)置不同主題模型的主題數(shù)是預(yù)先設(shè)定好的，當(dāng)我們設(shè)置不同主題對行為建模會產(chǎn)生什么樣的影響？對行為建模會產(chǎn)生什么樣的影響？ 通過設(shè)置不同主題數(shù)，并記錄其建模時間結(jié)果，繪制如下表所示關(guān)系通過設(shè)置不同主題數(shù)，并記錄其建模時間結(jié)果，繪制如下表所示關(guān)系主題數(shù)主題數(shù)建模時間建模時間(s)檢測準(zhǔn)確率檢測準(zhǔn)確率5725.515095 0.734810 995.925774 0.662315 1322.1072150.65

15、8920 1599.5170170.661025 1831.1512750.678930 2001.9753570.603135 2377.5731980.5984 從表中可以看出隨著主題數(shù)設(shè)置的增多，行為建模消耗時間變長，當(dāng)主題從表中可以看出隨著主題數(shù)設(shè)置的增多，行為建模消耗時間變長，當(dāng)主題數(shù)設(shè)置為數(shù)設(shè)置為5時檢測效果最佳。時檢測效果最佳。實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析u 異常檢測中詞頻異常檢測中詞頻-主題對應(yīng)關(guān)系主題對應(yīng)關(guān)系 當(dāng)主題設(shè)置為當(dāng)主題設(shè)置為10時，經(jīng)過模型訓(xùn)練得到的詞頻時，經(jīng)過模型訓(xùn)練得到的詞頻-主題分布主題分布圖，它是對測試數(shù)據(jù)異常檢測的必要數(shù)據(jù)條件。詞頻圖，它是對測試數(shù)據(jù)異常檢

16、測的必要數(shù)據(jù)條件。詞頻-主題主題對應(yīng)關(guān)系示意圖如下：對應(yīng)關(guān)系示意圖如下： 主題主題1 主題主題2 實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)結(jié)果與分析u 不同數(shù)據(jù)庫不同數(shù)據(jù)庫ROC曲線圖曲線圖 ROC曲線圖曲線圖 圖中橫坐標(biāo)為圖中橫坐標(biāo)為未能成功檢測出的異常的樣本的個數(shù)未能成功檢測出的異常的樣本的個數(shù)(FPR),縱坐標(biāo)縱坐標(biāo)在所有在所有實(shí)際是異常的樣本中，能被正確檢測出來事件的比例實(shí)際是異常的樣本中，能被正確檢測出來事件的比例(TPR)。從圖可以得出。從圖可以得出LDA可用于模型異常行為檢測性能良好?？捎糜谀Ｐ彤惓Ｐ袨闄z測性能良好?？偨Y(jié)與展望總結(jié)與展望u 研究的不足與展望研究的不足與展望 從本實(shí)驗(yàn)中可知從本實(shí)驗(yàn)中可知

17、LDA模型建模耗時較多，因此進(jìn)一步去改善模型建模耗時較多，因此進(jìn)一步去改善建模的現(xiàn)狀，除此之外訓(xùn)練數(shù)據(jù)中正常樣本與異常樣本的比例建模的現(xiàn)狀，除此之外訓(xùn)練數(shù)據(jù)中正常樣本與異常樣本的比例有待商榷，什么樣的比例，才能使檢測性能達(dá)到最佳，需要我有待商榷，什么樣的比例，才能使檢測性能達(dá)到最佳，需要我們花更多的精力去做實(shí)驗(yàn)對比。們花更多的精力去做實(shí)驗(yàn)對比。 論文中所有實(shí)驗(yàn)場景都是基于單攝像頭，然而實(shí)際應(yīng)用場景論文中所有實(shí)驗(yàn)場景都是基于單攝像頭，然而實(shí)際應(yīng)用場景中，一般都是較為復(fù)雜的多攝像頭同時錄入視頻，這對計算能中，一般都是較為復(fù)雜的多攝像頭同時錄入視頻，這對計算能力，網(wǎng)絡(luò)寬帶的要求都會增加很多，更重要的是如何協(xié)同多攝力，網(wǎng)絡(luò)寬帶的要求都會增加很多，更重要的是如何協(xié)同多攝像頭