人體行為識別技術

1、人體行為識別技術在計算機視覺領域中，人體運動行為識別是一個被廣泛關注的熱點問題，在智能監(jiān)控、機器人、人機交互、虛擬現(xiàn)實，智能家居，智能安防，運動員輔助訓練等方面有巨大應用價值。行為識別問題一般遵從如下基本過程：數(shù)據(jù)圖像預處理，運動人體檢測、運動特征提取、特征訓練與分類、行為識別。著重從這幾方面逐一回顧了近年來人體行為識別的發(fā)展現(xiàn)狀和常有方法。并對當前該研究方向上待解決的問題和未來趨勢做了分析。行為理解可以簡單地認為是時變數(shù)據(jù)的分類問題，即將測試序列與預先標定的代表典型行為的參考序列進行匹配。通過對大量行為理解研究文獻的整理發(fā)現(xiàn)：人行為理解研究一般遵從特征提取與運動表征、行為識別、高層行為與場景

2、理解等幾個基本過程。特征提取與運動表征是在對目標檢測、分類和跟蹤等底層和中層處理的基礎上，從目標的運動信息中提取目標圖像特征并用來表征目標運動狀態(tài)；行為識別則是將輸入序列中提取的運動特征與參考序列進行匹配，判斷當前的動作處于哪種行為模型；高層行為與場景理解是結合行為發(fā)生的場景信息和相關領域知識，識別復雜行為，實現(xiàn)對事件和場景的理解?！?】1、行為識別的應用從應用領域的分類來講，可以將人體運動分析的應用分成如下幾個領域：智能監(jiān)控這里所指的“智能”包含兩個方面的含義。一種“智能”是指系統(tǒng)能夠在一定的場景中檢測是否有人的出現(xiàn)(如通過檢測人臉的方法)防止只是簡單的通過運動目標檢測所造成的錯誤報警(例如

3、因為動物活動或者刮風搖動樹枝等等而造成誤報)。另外一種“智能”是指系統(tǒng)能夠監(jiān)視一定場所中人的活動，并對其行為進行分析和識別，跟蹤可疑行為(如經(jīng)常在重要地點徘徊等等行為)從而采取相應的報警措施。通常把報警系統(tǒng)設置于銀行、機場、車站、碼頭、超市、辦公大樓、住宅小區(qū)等地，以實現(xiàn)對這些場所的智能監(jiān)控。虛擬現(xiàn)實跟蹤現(xiàn)實世界人的姿態(tài)，從而創(chuàng)建一個虛擬的仿真場景，實現(xiàn)人與這個虛擬世界的交互。該領域的具體應用涉及視頻游戲、虛擬攝影棚、計算機動畫等方面。高級用戶接口指可以通過對用戶手勢的識別來代替?zhèn)鹘y(tǒng)的鼠標和鍵盤輸入，從而實現(xiàn)人與計算機之間的智能交互。此外，通過對手勢語言的理解，還可以進行聾人與計算機之間的手語

4、交流。運動分析人體運動分析可以運用于基于內(nèi)容的視頻檢索領域。例如可以檢索在運動會上單杠比賽中運動員的杠上動作。這樣可以節(jié)省用戶大量的查詢視頻資料的時間和精力。另外一種應用是用于各種體育項目中，提取運動員的各項技術參數(shù)(如關節(jié)位置、角度和角速度，等等)，通過分析這些信息，可以為運動員的訓練提供指導和建議，有助于提高運動員的訓練水平。此外，還可以用于體育舞蹈動作的分析，以及臨床矯形術的研究等領域?；谀Ｐ偷囊曨l編碼通過提取一定的靜態(tài)場景中人物的形態(tài)特征參數(shù)和3D姿態(tài)參數(shù)，以較低的數(shù)據(jù)量對視頻數(shù)據(jù)流加以描述，實現(xiàn)視頻數(shù)據(jù)的壓縮和低比特率傳送。可以用于在因特網(wǎng)上展開遠程視頻會議以及VOD（Video-

5、On-Demand）視頻點播?？傊?，人體運動跟蹤的研究已涉及到計算機視覺、模式識別、視頻圖像處理等方面的理論問題和實際應用問題，對人體這一帶有關節(jié)旋轉(zhuǎn)運動的非剛體目標的跟蹤與分析將會促進這些領域在理論上產(chǎn)生新的處理方法，并將對諸多應用領域產(chǎn)生潛在的影響。2、行為識別研究難點行為識別發(fā)展至今，取得了很大的進展，在低層，中層和高層都取得了一定的突破，但是行為識別算法并不成熟，目前不存在一個算法適合所有的行為分類，3個視覺層次中都還有很多嚴峻的問題有待解決。其研究的難點主要體現(xiàn)在以下幾個方面：1）動作類內(nèi)類間的變化太大對于大多數(shù)的動作，即使是同一動作都有不同的表現(xiàn)形式。比如說走路，可以在不同的背景環(huán)

6、境中完成，走路的速度也可以從慢到快，走路的步長亦有長有短。其它的動作也有類似的結果，特別是一些非周期的運動，比如過馬路時候的走路，這與平時周期性的走路步伐明顯不同。由此可見，動作的種類本身就很多，再加上每一種類又有很多個變種，所以給行為識別的研究帶來了不少麻煩。2）環(huán)境背景等影響環(huán)境問背景等因素的影響可謂是計算機視覺各個領域的最大難點。主要有視角的多樣性，同樣的動作從不同的視角來觀察會得到不同的二維圖像；人與人之間，人與背景之間的相互遮擋也使計算機對動作的分類前期特征提取帶來了困難，目前解決多視覺和遮擋問題，有學者提出了多攝像機融合通過3維重建來處理；另外其影響因素還包括動態(tài)變化和雜亂的背景，

7、環(huán)境光照的變化，圖像視頻的低分辨率等。3）時間變化的影響人體的行為離不開時間這個因素。而我們拍攝的視頻其存放格式有可能不同，其播放速度有慢有快，這就導致了我們提出的系統(tǒng)需對視頻的播放速率不敏感。4）數(shù)據(jù)的獲取和標注既然把行為識別問題當成一個分類問題，就需要大量的數(shù)據(jù)來訓練分類模型。而這些數(shù)據(jù)是視頻數(shù)據(jù)，每一個動作在視頻中出現(xiàn)的位置和時間都不確定，同時要考慮同一種動作的不同表現(xiàn)形式以及不同動作之間的區(qū)分度，即數(shù)據(jù)的多樣性和全面性。這一收集過程的工作量不小，網(wǎng)上已經(jīng)有一些公開的數(shù)據(jù)庫供大家用來實驗，這將在本文的第3部分進行介紹。另外，手動對視頻數(shù)據(jù)標注非常困難。當然，有學者也提出了一些自動標注的方

8、法，比如說利用網(wǎng)頁圖片搜索引擎,利用視頻的字幕，以及利用電影描述的文本進行匹配。5）高層視覺的理解上面一提到，目前對行為識別的研究尚處在動作識別這一層。其處理的行為可以分為2類，一類是有限制類別的簡單規(guī)則行為，比如說走、跑、揮手、彎腰、跳等。另一類是在具體的場景中特定的行為，如檢測恐怖分子異常行為，丟包后突然離開等。在這種場景下對行為的描述有嚴格的限制，此時其描述一般采用了運動或者軌跡。這2種行為識別的研究都還不算完善，遇到了不少問題，且離高層的行為識別要求還相差很遠。因此高層視覺的理解表示和識別是一個巨大的難題。3人體行為分析研究一般的運動人體行為分析主要包括一下幾個流程：1）數(shù)據(jù)庫建立；2

9、）運動人體檢測；3）運動特征提取；4）行為理解與識別。在我們的運動人體行為分析研究中，重點研究運動人體檢測和運動特征提取。如圖1所示是運動行為分析研究的整體框架：圖13.1運動目標檢測對于不依賴先驗知識的目標跟蹤來講，運動檢測是實現(xiàn)跟蹤的第一步，運動檢測即為從序列圖像中將變化區(qū)域從背景圖像中提取出來。目前,已有的運動目標檢測方法按照算法的基本原理可以分為三類:幀間差分法、背景減除法和光流法。三類方法各有其優(yōu)缺點。(1)背景減除法背景減除法是預先選取不含前景運動目標的背景圖像，然后將當前圖像幀與背景圖像相減得到前景目標。最常用且有效的是背景減除法。此類算法的缺點是由于通常需要緩沖若干幀來學習背景

10、,因此往往需要消耗大量的內(nèi)存,這使其使用范圍受到了限制。此外,對于大范圍的背景擾動,此類算法的檢測效果也不理想。Stauffer和Grimson提出的高斯混合模型是使用最為廣泛的背景建模方法。高斯混合模型通過多個高斯分布對背景建模,每個分布對應一種背景像素的模態(tài),從而能夠適應像素層面上的背景擾動問題,并能通過對背景的不斷更新,使系統(tǒng)能對背景的變化自適應。但是,高斯混合模型對于全局光照變化、陰影非常敏感,對于緩慢的運動目標檢測效果也不理想。(2) 幀間差分法幀間差分法的主要思想就是利用視頻圖像序列中連續(xù)兩幀或三頓的差異來檢測發(fā)生運動的區(qū)域。Lipton等人提出的用于實時視頻流中運動冃標檢測的算法

11、就是頓間差分的方法Lipton98。頓間差分法的特點是動態(tài)性強,能夠適應動態(tài)背景下的運動目標檢測。但是,這類算法檢測出的目標輪廓非常不理想,在目標內(nèi)部會留有許多空洞,在目標運動較快時目標的輪廓會被擴大,在目標運動較慢時甚至有可能無法得到目標的邊界。(3)基于光流的運動目標檢測算法基于光流的運動目標檢測算法是利用光流方程計算出每個像素點的運動狀態(tài)矢量,從而發(fā)現(xiàn)運動的像素點,并且能夠?qū)@些像素點進行跟蹤。在攝像機運動、背景變化時,光流法也能檢測出運動目標,并且它能同時完成運動目標檢測和跟蹤,但是該方法的計算復雜度高,在沒有專用硬件支持的情況下很難做到實時檢測,同時,光流場的計算非常容易受到噪聲、光

12、照變化和背景擾動的影響。采用光流場計算的方法也很難將運動目標的輪廓完整地提取出來。3.2運動目標分類目標分類是指從運動目標檢測到的前景運動區(qū)域中提取感興趣目標區(qū)域。復雜場景小檢測到的前景區(qū)域可能包含不同種類的目標，如行人、車輛、飛鳥、劉云、搖動的樹枝等，在人體運動分析系統(tǒng)中，只對運動人體感興趣，因此需要對運動目標的類型進行分析識別，提取人體目標。目前常用的目標分類方法有如圖2：圖23.3運動目標跟蹤依據(jù)運動目標的表達和相似性度量, 運動目標跟蹤算法可以分為四類: 基于主動輪廓的跟蹤、 基于特征的跟蹤、 基于區(qū)域的跟蹤和基于模型的跟蹤。跟蹤算法的精度和魯棒性很大程度上取決于對運動目標的表達和相似

13、性度量的定義, 跟蹤算法的實時性取決于匹配搜索策略和濾波預測算法。1)基于主動輪廓的跟蹤Kass等人提出的主動輪廓模型, 即 Snake模型, 是在圖像域內(nèi)定義的可變形曲線, 通過對其能量函數(shù)的最小化, 動態(tài)輪廓逐步調(diào)整自身形狀與目標輪廓相一致, 該可變形曲線又稱為Snake曲線。Snake技術可以處理任意形狀物體的任意形變,首先將分割得到的物體邊界作為跟蹤的初始模板, 然后確定表征物體真實邊界的目標函數(shù), 并通過降低目標函數(shù)值, 使初始輪廓逐漸向物體的真實邊界移動?；谥鲃虞喞櫟膬?yōu)點是不但考慮來自圖像的灰度信息, 而且考慮整體輪廓的幾何信息, 增強了跟蹤的可靠性。由于跟蹤過程實際上是解的

14、尋優(yōu)過程, 帶來的計算量比較大,而且由于 Snake模型的盲目性, 對于快速運動的物體或者形變較大的情況, 跟蹤效果不夠理想2)基于特征的跟蹤基于特征匹配的跟蹤方法不考慮運動目標的整體特征, 只通過目標圖像的一些顯著特征來進行跟蹤。假定運動目標可以由惟一的特征集合表達, 搜索到該相應的特征集合就認為跟蹤上了運動目標。除了用單一的特征來實現(xiàn)跟蹤外, 還可以采用多個特征信息融合在一起作為跟蹤特征。2）基于特征的跟蹤基于特征的跟蹤主要包括特征提取和特征匹配兩個方面。(1)特征提取，特征提取是指從景物的原始圖像中提取圖像的描繪特征,理想的圖像特征應具備的特點是a)特征應具有直觀意義,符合人們的視覺特性

15、; b)特征應具備較好的分類能力, 能夠區(qū)分不同的圖像內(nèi)容; c)特征計算應該相對簡單,以便于快速識別; d)特征應具備圖像平移、 旋轉(zhuǎn)、 尺度變化等不變性。目標跟蹤中常用的運動目標的特征主要包括顏色、 紋理、邊緣、 塊特征、 光流特征、 周長、 面積、 質(zhì)心、 角點等。提取對尺度伸縮、 形變和亮度變化不敏感的有效特征至今仍是圖像處理研究領域中一個比較活躍的方面。(2)特征匹配，特征提取的目的是進行幀間目標特征的匹配, 并以最優(yōu)匹配來跟蹤目標。常見的基于特征匹配的跟蹤算法有：基于二值化目標圖像匹配的跟蹤、 基于邊緣特征匹配或角點特征匹配的跟蹤、 基于目標灰度特征匹配的跟蹤、 基于目標顏色特征匹

16、配的跟蹤等?；谔卣鞯母櫵惴ǖ膬?yōu)點在于對運動目標的尺度、 形變和亮度等變化不敏感, 即使目標的某一部分被遮擋, 只要還有一部分特征可以被看到, 就可以完成跟蹤任務; 另外, 這種方法與 K al man濾波器聯(lián)合使用, 也具有很好的跟蹤效果。但是其對于圖像模糊、 噪聲等比較敏感, 圖像特征的提取效果也依賴于各種提取算子及其參數(shù)的設置, 此外, 連續(xù)幀間的特征對應關系也較難確定, 尤其是當每一幀圖像的特征數(shù)目不一致、存在漏檢、 特征增加或減少等情況。3)基于區(qū)域的跟蹤基于區(qū)域的跟蹤算法基本思想是: a)得到包含目標的模板, 該模板可通過圖像分割獲得或預先人為確定, 模板通常為略大于目標的矩形,

17、 也可為不規(guī)則形狀; b)在序列圖像中, 運用相關算法跟蹤目標。這種算法的優(yōu)點在于當目標未被遮擋時, 跟蹤精度非常高、 跟蹤非常穩(wěn)定。但其缺點首先是費時, 當搜索區(qū)域較大時情況尤其嚴重; 其次, 算法要求目標變形不大, 且不能有太大遮擋, 否則相關精度下降會造成目標的丟失。近年來, 對基于區(qū)域的跟蹤方法關注較多的是如何處理模板變化時的情況, 這種變化是由運動目標姿態(tài)變化引起的, 如果能正確預測目標的姿態(tài)變化, 則可實現(xiàn)穩(wěn)定跟蹤。4)基于模型的跟蹤基于模型的跟蹤是通過一定的先驗知識對所跟蹤目標建立模型, 然后通過匹配跟蹤目標進行模型的實時更新。對于剛體目標來說, 其運動狀態(tài)變換主要是平移、 旋轉(zhuǎn)

18、等, 可以利用該方法實現(xiàn)目標跟蹤。但是實際應用中跟蹤的不僅僅是剛體, 還有一大部分是非剛體, 目標確切的幾何模型不容易得到。這種方法不易受觀測視角的影響, 具有較強的魯棒性, 模型匹配跟蹤精度高, 適合于機動目標的各種運動變化, 抗干擾能力強, 但由于計算分析復雜、 運算速度慢, 模型的更新較為復雜, 實時性較差。準確建立運動模型是模型匹配能否成功的關鍵。3.4運動目標的特征運動目標的特征，是判斷一個目標區(qū)別于另外一個目標的重要依據(jù)。有效的運動目標特征集可以準確地區(qū)分不同目標。運動目標特征的提取是實現(xiàn)運動目標分類的重要步驟。運動目標分類方法概述 目前，基于視頻的運動目標分類方法已經(jīng)有很多，主要

19、有3類：基于靜態(tài)特征的分類，基于動態(tài)特征的分類和基于靜態(tài)、動態(tài)特征相結合的分類。 1）基于靜態(tài)特征的分類 基于靜態(tài)信息的分類，即利用檢測出來的運動區(qū)域的形狀、顏色等物理特征進行目標分類的方法。Lipton 等利用離散度和面積信息對運動區(qū)域進行分類，區(qū)分人、車、及混亂擾動，并利用時間一致性約束使分類更準確，把除人、車外的目標當成干擾物，實現(xiàn)簡單。Zang 等人利用長寬比、角點特征對運動區(qū)域進行分類，區(qū)分人、汽車。Rivlin、Bogomolov 等利用外接橢圓的長寬比以及星形骨架等形狀特征，區(qū)分人、動物、汽車。Hu 等定義了目標輪廓上的點與幾何中心的距離為“中距離”，利用中距離的離散度、最大中距

20、離與最小中距離的比值作為分類特征，區(qū)分人、自行車、汽車。方帥等利用最大互信息獲得一組可靠、獨立且具辨認力的目標特征集，并用有向無環(huán)圖的多類支持向量機進行分類，區(qū)分人、汽車。Otoom 等人以角點的個數(shù)、圓的個數(shù)、離散度為分類特征，區(qū)分機場周圍的人、人群、包裹、手推車，該文分類效果較差，主要是因為同一個目標角點的個數(shù)與離攝像頭遠近差別很大，而且圓的個數(shù)判斷人、人群依賴目標姿勢。 2）基于動態(tài)特征的分類 基于動態(tài)特征的分類，即利用人體運動的周期性或其他與運動相關的特征進行目標分類的方法。采用靜態(tài)特征往往會造成在特征提取上對姿勢依賴的問題，而有效的動態(tài)特征可以減少對姿勢的依賴。Cutler 與 Da

21、vis 對目標隨著時間變化的自相關特性進行計算，再通過時頻化方法分析目標是否存在周期性的運動特征而將人識別出來。Yang Ran 與 Tsaac Weiss，基于周期性分類人和車輛，對目標較小、圖像分辨率低的航空和紅外圖片有比較好的分類效果。Javed、Shah 等利用是否有人體周期性運動特征、圓的個數(shù)等特征，分類人、人群和車輛。3） 基于靜態(tài)與動態(tài)特征相結合的分類 Bogomolov、Dror 等的系統(tǒng)是基于目標靜態(tài)特征和動態(tài)運動特性相結合進行目標分類的，采用了屬于同類目標的靜態(tài)輪廓的相似性和身體的傾斜角、腳之間的距離等運動特征，用支持向量機分類器進行分類，提高了精確度和魯棒性。Aggarw

22、al 等利用緊湊度值以及運動方向的變化量，區(qū)分人、人群、汽車、自行車，運動方向的變化量區(qū)分度不是很好。Li 等使用速度、長寬比、離散度等特征，以 BP 神經(jīng)網(wǎng)絡作為分類器，區(qū)分交通場景中的人、自行車，較好地對復雜場景下人、自行車進行分類。  常見的運動目標特征分析 一個運動目標特征往往無法識別三個以上的目標，或者識別的準確率不夠高，一般目標分類研究都是選擇至少兩個特征。通用特征指的是能反映所有目標特性的特征；屬性特征，顧名思義，某個目標的所固有的特征是特別能反映該目標特性的特征。 1）運動目標的通用特征 常見的通用特征主要有面積、長寬比、離散度、空隙率(緊湊度)等。目標面積是在像素平

23、面的投影面積，不是目標的實際目標，同一位置的不同目標大小各異，但是攝像機拍攝的目標近大遠小，即使是同一目標，攝像頭拍攝的距離不同，面積也是不一樣的，在固定單攝像機的情況下，面積對不同類目標之間的區(qū)分度不是很大；攝像機標定后該特征有一定的應用。長寬比即目標外接矩形的長寬比例，與距離攝像頭遠近無關，具有歸一化的特性，能真實反映目標的形狀比例，是最常用的一種目標特征。離散度即運動目標周長的平方與面積的比值，外形越復雜的目標，離散度越大；對于目標碎片比較多的運動目標，由于目標的輪廓準確獲取不易，離散度計算比較復雜并且計算的準確性無法保證?？障堵始茨繕送饨泳匦蝺?nèi)部非目標像素點所占的比例，與其相反的特征就

24、是緊湊度。 2）運動目標的屬性特征 人的屬性特征主要有圓、人體運動周期性等。人頭近似圓，從人的頭頂往下的角度看，人頭所在位置可以檢測到圓；研究中發(fā)現(xiàn)圓特征嚴重依賴目標角度、姿勢，正面、側(cè)面的角度下，圓特征不明顯、人頭所在位置常常無法檢測到圓。人體運動周期性特征反映的是人體步態(tài)的規(guī)律性變化，周期性特征的提取對目標的觀察角度有很高的要求，只有人體目標偏側(cè)面才能準確提取到該特征。 汽車的屬性特征主要有運動速度、離散度變化量等。運動速度即相鄰兩幀的目標像素距離與時間間隔的比值，該特征在一定程度上反應了目標在視頻圖像中的運動快慢，汽車的運動速度比較快；但是由于目標在不同的視頻中所處的環(huán)境和位置不同，攝像

25、頭拍攝的角度和距離也不同，該特征與面積特征一樣，只有進行攝像機標定后，才有實際應用意義。離散度變化量反映了各個目標的變化幅度。離散度變化量特征與離散度一樣，計算比較復雜并且計算的準確性無法保證?？障堵首兓坑嬎愫唵危材芊从掣鱾€目標的變化幅度，并且在目標碎片比較多的情況下也能很好的提取，可以較好地替代離散度變化量特征。自行車既不是剛體，也不是非剛體，是一種介于剛體（汽車）與非剛體（人）的目標。目前很少有文獻提起自行車行之有效的屬性特征，其特征一般都是介于人、汽車之間。運動目標特征的選取 由于實驗中提取到的前景目標存在多角度、目標含有少量影子、目標區(qū)域提取不完整和目標較小等情況，采用基于形狀的特征分類目標，可較好地適應這些情況。因此，我們參賽的特征主要是基于形狀的特征。目標基于形狀的特征主要有目標輪廓、面積、長寬比、離散度、質(zhì)心、外接矩形等。目前研究中廣泛使用的目標特征主要有長寬比P、面積