行為識(shí)別總結(jié)課件

人體行為識(shí)別總結(jié)圖像預(yù)處理運(yùn)動(dòng)目標(biāo)檢測(cè)運(yùn)動(dòng)目標(biāo)分類運(yùn)動(dòng)目標(biāo)跟蹤行為識(shí)別與理解圖像預(yù)處理噪聲可以理解為“妨礙人們感覺器官對(duì)所接受的信息理解的因素”，例如一幅黑白圖像，其亮度分布函數(shù)為F(x，y)，那么對(duì)其干擾作用的亮度分布R(X，y)便稱為圖像噪聲。改善圖像質(zhì)量的方法大致有兩類:一類是不考慮圖像降質(zhì)的原因，只將圖像中感興趣的部分加以處理或突出有用的圖像特征，因此改善后的圖像并不一定去逼近原圖像。這一類圖像改善方法稱為圖像增強(qiáng)，主要目的是提高圖像的可懂度。另一類方法是針對(duì)圖像降質(zhì)的原因，設(shè)法補(bǔ)償降質(zhì)因素，處理后的圖像盡可能的逼近原始的圖像，這類方法稱作是圖像恢復(fù)或圖像復(fù)原技術(shù)。運(yùn)動(dòng)目標(biāo)檢測(cè)方法目的是從序列圖像中將變化區(qū)域從背景圖像中提取出來。目前比較常用的檢測(cè)算法主要有：（1）時(shí)間差分法（TemporalDifference）（2）背景減除法（BackgroundSubtraction）（3）光流法（OpticalFlow）時(shí)間差分法又可以稱為幀間差分法、幀差法。幀差法用相鄰兩幀或三幀的像素差分值來提取圖像中的運(yùn)動(dòng)區(qū)域，如果差的絕對(duì)值小于某一閥值，則認(rèn)為此像素點(diǎn)屬于背景；反之，則屬于前景。（1）時(shí)間差分法（TemporalDifference）當(dāng)攝像頭與場(chǎng)景靜止時(shí)，圖像具有相同的背景。因此將同一背景不同時(shí)刻兩幅圖像進(jìn)行比較，可以反映出一個(gè)運(yùn)動(dòng)物體在此背景下運(yùn)動(dòng)的結(jié)果，與時(shí)間差分法相比，基于背景減除法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法可以提取出更為完整的目標(biāo)圖像，但在實(shí)際應(yīng)用中所采集到的背景圖像隨著時(shí)間的推移，會(huì)對(duì)光照和外部條件造成的場(chǎng)景變化比較敏感，會(huì)出現(xiàn)許多偽運(yùn)動(dòng)目標(biāo)點(diǎn)，影響到目標(biāo)檢測(cè)的結(jié)果為了解決上述兩種問題，kim提出的一種運(yùn)動(dòng)檢測(cè)方法，在利用連續(xù)兩幀圖像差的同時(shí)又加入了背景圖像差，將兩者結(jié)合起來，比較精確地提取了二值運(yùn)動(dòng)模板。光流法的基本原理是:給圖像中的每一個(gè)像素點(diǎn)賦予一個(gè)速度矢量，形成一個(gè)圖像運(yùn)動(dòng)場(chǎng)，在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上的一點(diǎn)對(duì)應(yīng)三維物體上的某一點(diǎn)，這種對(duì)應(yīng)關(guān)系可由投影關(guān)系得到，根據(jù)各個(gè)像素點(diǎn)的速度矢量特征，可以對(duì)圖像進(jìn)行動(dòng)態(tài)分析。光流可以反映出運(yùn)動(dòng)目標(biāo)的速度的大小和方向。運(yùn)動(dòng)目標(biāo)分類是指區(qū)分出場(chǎng)景中的人和其他運(yùn)動(dòng)物體，目標(biāo)分類的目的就是正確地從檢測(cè)到的運(yùn)動(dòng)區(qū)域中將人體的運(yùn)動(dòng)區(qū)域提取出來。運(yùn)動(dòng)目標(biāo)分類目標(biāo)分類主要方法有：（1）基于形狀信息的分類（ShapeBasedClassification）（2）基于運(yùn)動(dòng)特征的分類（MotionBasedClassification）

（1）基于形狀信息的分類（ShapeBasedClassification）基于形狀信息的分類是對(duì)所檢測(cè)出來的運(yùn)動(dòng)目標(biāo)，根據(jù)它們的形狀輪廓信息來進(jìn)行分類。該方法采用區(qū)域的寬高比、投影特性、輪廓變化、直方圖、面積信息等特征作為物體分類的依據(jù)。（2）基于運(yùn)動(dòng)特征的分類（MotionBasedClassification）

人體的運(yùn)動(dòng)有時(shí)呈現(xiàn)出一定的周期性，同時(shí)也是非剛體運(yùn)動(dòng)。基于運(yùn)動(dòng)特征的分類通常使用人體運(yùn)動(dòng)的周期性，有效地區(qū)別出人與其他物體。（1）基于模型的跟蹤（ModelBasedTracking）基于模型的跟蹤能夠較為容易地解決遮擋問題。缺點(diǎn)是運(yùn)動(dòng)分析的精度取決于模型的精度，模型太過精細(xì)維數(shù)較高，運(yùn)算也比較復(fù)雜，另外，在圖像分辨率低的情況下，模型參數(shù)的估計(jì)比較困難。（2）基于區(qū)域的跟蹤（RegionBasedTracking）

基于區(qū)域的跟蹤是對(duì)運(yùn)動(dòng)對(duì)象相應(yīng)區(qū)域進(jìn)行跟蹤，它將人體劃分為不同的小塊區(qū)域，通過跟蹤小區(qū)域來完成人的跟蹤。人體輪廓（4）基于特征的跟蹤（FeatureBasedTracking）

基于特征匹配的目標(biāo)跟蹤方法包括特征提取和特征匹配兩部分。特征提取是指在圖像處理過程中提取運(yùn)動(dòng)目標(biāo)的一些特征，比如紋理、顏色和形狀等。特征匹配是指將當(dāng)前幀中提取出的特征和上一幀的特征按照某種規(guī)則進(jìn)行比較，滿足規(guī)則要求的兩個(gè)特征形成匹配。行為分類技術(shù)分類問題就是將測(cè)試序列與訓(xùn)練后的行為模式進(jìn)行匹配，關(guān)鍵問題是如何從訓(xùn)練樣本中獲取行為模式以及如何度量測(cè)試序列與行為模式之間的相似性。常見的分類方法有：（1）模板匹配方法（2）狀態(tài)空間方法（3）詞袋模型（4）文法技術(shù)法（1）模板匹配方法（TemplateMatching）模板匹配方法首先從給定的序列圖像中抽取相關(guān)特征，接著將圖像序列轉(zhuǎn)換為一組靜態(tài)形式模板，再接著通過測(cè)試序列的模板與事先存儲(chǔ)著的代表“正確”行為的模板匹配來獲得識(shí)別結(jié)果。

（3）詞袋模型對(duì)特征向量進(jìn)行聚類，將每一類特征看做--個(gè)“詞”，構(gòu)成詞袋模型中的詞庫(kù)。（4）文法技術(shù)法文法技術(shù)法是指將行為的過程和結(jié)構(gòu)通過人工定義或機(jī)器學(xué)習(xí)的語法來表示，而所謂語法就是用于表達(dá)行為過程或結(jié)構(gòu)規(guī)律的一系列規(guī)則。特征的表示A)特征描述子。特征描述子一般用來描述一個(gè)運(yùn)動(dòng)點(diǎn)所在區(qū)域內(nèi)部的特征信息。B)特征詞袋表示。特征詞袋（BagofWord）是將物體的特征作為一系列無序的單詞集合以及關(guān)于這些單詞的無關(guān)文法。特征詞袋表示方法在文字語言理解和檢索方向有著深入的應(yīng)用。時(shí)空特征通過采用二維形狀在一段時(shí)間內(nèi)形成的空時(shí)立體或差分圖像來描述行為，集合了形狀和運(yùn)動(dòng)特征兩者的優(yōu)點(diǎn)。時(shí)空特征不僅包含人動(dòng)作姿態(tài)的空間信息(人體軀干和肢體的位置、方向等)，而且還包含運(yùn)動(dòng)的動(dòng)態(tài)信息(人體的全局運(yùn)動(dòng)和肢體的相對(duì)運(yùn)動(dòng))。時(shí)空特征是含有時(shí)域信息的運(yùn)動(dòng)特征。它把視頻中目標(biāo)的運(yùn)動(dòng)看做是一個(gè)按時(shí)間組成的圖像序列。也可以認(rèn)為是一個(gè)3維特征，只是其中一維是時(shí)間。時(shí)空特征也可以分為全局時(shí)空特征和局部時(shí)空特征兩大類。全局時(shí)空特征將人體區(qū)域當(dāng)做一個(gè)整體進(jìn)行描述，而局部時(shí)空特征則首先描述行為視頻中的若干個(gè)子部分，然后通過組合各于部分來實(shí)現(xiàn)對(duì)行為的整體描述。典型的全局吋空特征運(yùn)動(dòng)歷史圖像MotionHistoryImage(MHI)運(yùn)動(dòng)能量圖像MotionEnergyImage(MEI)。每個(gè)MHI和MEI都由連續(xù)若干幀的人體輪廓圖像構(gòu)成。其中MEI描述行為在-段時(shí)間內(nèi)的空間分布信息，MHI則描述行為在一段時(shí)間內(nèi)的時(shí)間先后順序。典型的局部時(shí)空特征時(shí)空興趣點(diǎn)是一種典型的局部時(shí)空特征。模型的學(xué)習(xí)和行為識(shí)別個(gè)人理解：對(duì)人體行為樣本進(jìn)行訓(xùn)練然后與視頻中的行為匹配進(jìn)行識(shí)別。（例如：學(xué)習(xí)敬禮姿勢(shì)，然后記住，入庫(kù)，最后識(shí)別與之相似的姿勢(shì)）支持向量機(jī)(SVM)一種由統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展起來的新型機(jī)器學(xué)習(xí)算法。興趣點(diǎn)：個(gè)人理解：運(yùn)動(dòng)比較明顯的地方聚類：個(gè)人理解：人物分開，人是一類，物是一類，或者人的某種狀態(tài)是一類另一種狀態(tài)是一類。魯棒性：個(gè)人理解：健壯性，比如一臺(tái)計(jì)算機(jī)文件出現(xiàn)錯(cuò)誤，魯棒性好的計(jì)算機(jī)不死機(jī)，魯棒性差的就會(huì)死機(jī)。碼本：個(gè)人理解：應(yīng)該和詞袋相似運(yùn)動(dòng)熵：表示了打斗目標(biāo)運(yùn)動(dòng)的混亂特性圖像平滑：抑制或消除噪聲，改善圖像質(zhì)量。這個(gè)過程就稱為圖像的平滑過程。行為識(shí)別論文總結(jié)基于打斗過程中運(yùn)動(dòng)能量特征的打斗行為識(shí)別研究少數(shù)人打斗行為的三個(gè)特征，即被檢測(cè)目標(biāo)的運(yùn)動(dòng)速度、運(yùn)動(dòng)的混亂程度以及多個(gè)目標(biāo)之間的距離。當(dāng)目標(biāo)的運(yùn)動(dòng)越劇烈、運(yùn)動(dòng)混亂程度越大、多個(gè)目標(biāo)之間的距離越小時(shí)，發(fā)生打斗的幾率越大。打架行為的能量值非常大，且變化極不規(guī)律，當(dāng)動(dòng)作非常劇烈時(shí)達(dá)到極大值基于時(shí)空單詞的兩人交互行為識(shí)別方法

這篇論文主要將時(shí)空興趣點(diǎn)劃分給不同的人并在興趣點(diǎn)樣本空間聚類生成時(shí)空碼本，通過投票得到單人的原子行為時(shí)空單詞，采用條件隨機(jī)場(chǎng)模型建模單人原子行為,在兩人交互行為的語義建模過程中,人工建立表示領(lǐng)域知識(shí)(domainknowledge)的一階邏輯知識(shí)庫(kù),并訓(xùn)練馬爾可夫邏輯網(wǎng)用以兩人交互行為的推理.實(shí)質(zhì)上和上面的差不多，只是采取的方法不同，本文采用時(shí)空單詞分別用于單人原子行為，然后在交互訓(xùn)練，最后通過馬爾科夫網(wǎng)絡(luò)進(jìn)行推理識(shí)別?；诳臻g分布特征的人體動(dòng)作動(dòng)態(tài)建模識(shí)別提出基于空間分布特征的人體動(dòng)作動(dòng)態(tài)建模識(shí)別研究方法．先提取光流表現(xiàn)的運(yùn)動(dòng)特征和輪廓表現(xiàn)的表面特征，再利用光流和輪廓幀內(nèi)的分布描述空間結(jié)構(gòu)，建立自回歸滑動(dòng)平均動(dòng)態(tài)模型獲取動(dòng)作動(dòng)態(tài)特性(時(shí)間結(jié)構(gòu))，最后結(jié)構(gòu)融合兩種特征建模后取得的模型參數(shù)特征識(shí)別人體動(dòng)作．基于光流的人體行為識(shí)別本文針對(duì)教室內(nèi)學(xué)生的站立和坐下的視頻，提出了基于光流的人體行為識(shí)別算法。首先獲取當(dāng)前幀