項(xiàng)目名稱人體識(shí)別智能監(jiān)控系統(tǒng)

1、項(xiàng)目名稱：人體識(shí)別智能監(jiān)控系統(tǒng)項(xiàng)目負(fù)責(zé)人：吳瑜學(xué)校：電子科技大學(xué)項(xiàng)目編號(hào)：13文檔提交日期：2004-2-231. 項(xiàng)目簡(jiǎn)介該項(xiàng)目實(shí)現(xiàn)了一套具有初步人工智能的監(jiān)控系統(tǒng)。它將傳統(tǒng)的、較為成熟的數(shù)字監(jiān)控同正處于發(fā)展和探索階段的智能識(shí)別技術(shù)結(jié)合起來(lái)，是人工智能技術(shù)在監(jiān)控領(lǐng)域中的一大應(yīng)用。該系統(tǒng)除了完成視頻監(jiān)控的基本功能，如信號(hào)在監(jiān)視器上的同時(shí)顯示，對(duì)每路信號(hào)可設(shè)置其亮度、對(duì)比度、飽和度等功能外，其突出特點(diǎn)是當(dāng)設(shè)定無(wú)人值守的模式后，系統(tǒng)處于錄像狀態(tài)，并能并行處理識(shí)別人體與其他移動(dòng)物體。系統(tǒng)允許用戶事先定義監(jiān)測(cè)報(bào)警、錄像的觸發(fā)條件以及系統(tǒng)的安全等級(jí)，例如亮度色度閾值、物體大小、運(yùn)動(dòng)方向等等，當(dāng)用戶事先定

2、義的條件滿足時(shí)，系統(tǒng)自動(dòng)報(bào)警。這樣大大減輕了監(jiān)控人員的工作強(qiáng)度，并降低了誤警率。在對(duì)異常進(jìn)行報(bào)警后，系統(tǒng)還可自動(dòng)生成日志。每隔一段時(shí)間（可以自行設(shè)定，例如一個(gè)星期），系統(tǒng)對(duì)日志進(jìn)行審核，從硬盤中提取出發(fā)生異常的錄像信息，生成摘要存儲(chǔ)，同時(shí)刪除大量無(wú)用、重復(fù)的錄像。這種摘要存儲(chǔ)技術(shù)，不但解決了視頻監(jiān)控系統(tǒng)中存儲(chǔ)空間緊張的問題，而且使得監(jiān)控員可以快速瀏覽過(guò)去一段時(shí)間發(fā)生的異?；蛑卮笫录?，節(jié)省了大量的查找時(shí)間。2. 項(xiàng)目進(jìn)展根據(jù)系統(tǒng)設(shè)計(jì)，人體識(shí)別智能監(jiān)控系統(tǒng)分為三個(gè)開發(fā)小組。分別是：基本視頻監(jiān)控小組、運(yùn)動(dòng)圖像檢測(cè)處理小組、運(yùn)動(dòng)跟蹤識(shí)別小組。需要說(shuō)明的是，開始設(shè)計(jì)時(shí)分出的自動(dòng)摘要存儲(chǔ)模塊與基本視頻監(jiān)控

3、模塊關(guān)系較大而且需要的技術(shù)較少，所以該小組就合并到基本視頻監(jiān)控小組中。三個(gè)開發(fā)小組的進(jìn)展情況介紹如下。 2.1 基本視頻監(jiān)控小組2.1.1 主要任務(wù) 實(shí)現(xiàn)視頻監(jiān)控的基本功能，為智能識(shí)別提供原始視頻流。同時(shí)，實(shí)現(xiàn)摘要存儲(chǔ)。并可提供界面由用戶選擇實(shí)時(shí)視頻存儲(chǔ)還是摘要存儲(chǔ)。在此基礎(chǔ)上，實(shí)現(xiàn)視頻流的檢索和回放功能。2.1.2完成情況從http:/www.thakral-上下載了監(jiān)控系統(tǒng)使用的視頻卡的SDK及示范源碼，分析了SDK中testdll (this project contain almost all functions Ave2k&5k SDK provided, it is the

4、 best way to quickly acquire all methods controlling Avexpert2000 or Avexpert5000 board.)的全部源碼，基本熟悉了SDK中各種庫(kù)函數(shù)的使用方法。以testdll為基礎(chǔ)，開發(fā)了滿足系統(tǒng)需求的視頻監(jiān)控界面，并實(shí)現(xiàn)了其中的基本視頻監(jiān)控功能。其實(shí)現(xiàn)的具體功能模塊見參考文獻(xiàn)遇到的問題及解決1 如何程序?qū)崿F(xiàn)從卡中或視頻緩沖區(qū)中取回視頻幀，并顯示在指定的區(qū)域內(nèi)？主要利用SDK提高的庫(kù)函數(shù)。首先使用函數(shù)AVE2KLIB_OpenCard打開卡，然后注冊(cè)接受數(shù)據(jù)消息函數(shù)，設(shè)置相關(guān)的視頻顯示參數(shù)，然后調(diào)用AVE2K

5、LIB_StartCompress函數(shù)進(jìn)行MPEG-1格式的視頻流壓縮，啟動(dòng)接受數(shù)據(jù)消息函數(shù)OnReceiveData，在該函數(shù)中，調(diào)用AVE2KLIB_ProcessStreamEx、AVE2KLIB_ResumeStream、AVE2KLIB_PauseStream等函數(shù)進(jìn)行數(shù)據(jù)流的接受。最后顯示在指定窗口上。 2 如何從視頻圖像上截取位圖，如何實(shí)時(shí)存儲(chǔ)視頻流？也是利用SDK中的庫(kù)函數(shù)AVE2KLIB_GetBitmapSize，AVE2KLIB_CaptureBitmap，AVE2KLIB_CompareBitmap等就可以方便地捕獲位圖，并可以對(duì)兩幅位圖進(jìn)行比較。2.2 運(yùn)動(dòng)圖像檢測(cè)處

6、理小組2.2.1主要任務(wù)1. 實(shí)現(xiàn)圖像處理的各種算法（可根據(jù)系統(tǒng)實(shí)際需求進(jìn)行增減）。在此基礎(chǔ)上，對(duì)從視頻流中捕獲的位圖進(jìn)行去噪、圖像增強(qiáng)、邊緣提取、灰度化等處理，使其能夠被智能識(shí)別模塊所接受。2. 實(shí)現(xiàn)視頻流的實(shí)時(shí)運(yùn)動(dòng)檢測(cè)。即能夠從相對(duì)靜止的視頻流中進(jìn)行運(yùn)動(dòng)的偵測(cè)。當(dāng)檢測(cè)到運(yùn)動(dòng)后，啟動(dòng)報(bào)警模塊和圖像處理、識(shí)別模塊。2.2.2 完成情況 由于圖像處理涉及許多計(jì)算機(jī)專業(yè)未接觸過(guò)的數(shù)學(xué)知識(shí)，所以該模塊實(shí)現(xiàn)起來(lái)很有難度。但是小組成員發(fā)揮了踏實(shí)肯干的精神，首先惡補(bǔ)了數(shù)字圖像處理，信號(hào)處理，拉普拉斯變換，傅立葉變換等理論知識(shí)。熟悉對(duì)圖像的各種處理及其VC編碼的實(shí)現(xiàn)。到目前為此，他們基本搞懂了圖像處理所涉及

7、的理論、方法及實(shí)踐。建立了一套圖像處理的演示DEMO。成功地為智能識(shí)別提供了處理后的位圖。 在運(yùn)動(dòng)圖像檢測(cè)上，為了克服傳統(tǒng)幀差法算法的固有缺點(diǎn)，如在低對(duì)比度圖像的情況下，由于灰度值變化太小而難以區(qū)分移動(dòng)目標(biāo)區(qū)域和噪音區(qū)域的缺點(diǎn)，該小組提出了一種新的方法。即先定義一個(gè)提取函數(shù)。設(shè)Ck = ck(x., y)代表當(dāng)前圖像，Rk = rk(x., y) 代表參考圖像，其中(x, y)為象素點(diǎn)的坐標(biāo)，0<= ck(x., y), rk(x., y)<=255, 則提取函數(shù)Ek(ck(x., y), rk(x., y)定義如下： 實(shí)驗(yàn)證明，利用該提取函數(shù)，如果灰度值有一個(gè)較小的改變，在低灰度

8、級(jí)區(qū)能被檢測(cè)出來(lái)，而在中（或高）灰度級(jí)區(qū)則可能被忽略，即提取函數(shù)能夠根據(jù)象素的灰度級(jí)自動(dòng)調(diào)整圖像差值的靈敏度，這是簡(jiǎn)單相減無(wú)法做到的。2.2.3遇到的問題及解決1. 什么是并怎樣進(jìn)行圖像變換，為什么要進(jìn)行圖像變化？圖像頻譜的意義、特征及如何應(yīng)用頻譜分析？由于圖像處理涉及到復(fù)變函數(shù)，信號(hào)處理與分析、數(shù)字信號(hào)處理等一系列我以前沒有學(xué)過(guò)、接觸過(guò)的知識(shí)，所以入門比較困難。從該項(xiàng)目正式立項(xiàng)起，我就一直在惡補(bǔ)這方面的知識(shí)。所以上面的問題看似簡(jiǎn)單，卻是一直困惑著我的?，F(xiàn)在我以自己的理解來(lái)試著回答這些問題。若有不對(duì)和不完善的地方還請(qǐng)專家、同行們指正。其實(shí)，要理解圖像變化關(guān)鍵是理解時(shí)域、頻域，及一般信號(hào)在時(shí)域和

9、頻域間的變換和處理。時(shí)域分析是指對(duì)信號(hào)進(jìn)行與時(shí)間（t）相關(guān)的分析。即以時(shí)間t為X軸，把信號(hào)隨時(shí)間的變化情況用曲線或函數(shù)描述處理，分析該函數(shù)或曲線的各種特征。而頻域分析簡(jiǎn)單的說(shuō)，就是把頻率w取代時(shí)間t作為自變量，來(lái)分析信號(hào)隨著頻率變化而變化的系列特征。其中有個(gè)基本理論就是任何只要存在傅立葉級(jí)數(shù)的周期和非周期信號(hào)都可以分解為標(biāo)準(zhǔn)的、周期變化的三角函數(shù)或復(fù)指數(shù)函數(shù)。在分解出的函數(shù)里，就出現(xiàn)了頻率參數(shù)w = 2 /T，用w作自變量，傅立葉系數(shù)An 或|F(nw0)|作為Y值畫出曲線圖就稱為函數(shù)f(t)的頻譜。圖像變化就是基于這個(gè)理論，用f(x, y)表示圖像點(diǎn)(x, y)的灰度，然后對(duì)f(x, y)作

10、從時(shí)域到頻域的變換。當(dāng)然變換的形式是有多種的，從古老的傅立葉變換到流行的小波變換，但是有一點(diǎn)相同，每一個(gè)變換都存在自己的正交函數(shù)集，由于各種正交函數(shù)集的不同而引入不同變化。依據(jù)圖像的頻域表達(dá)式中畫出的坐標(biāo)曲線就稱為圖像的頻譜，圖像頻譜的意義和對(duì)信號(hào)對(duì)頻譜分析是類似的。它的基本考慮點(diǎn)是從另一個(gè)角度來(lái)分析信號(hào)的特性，便于我們更準(zhǔn)確地處理它，而且往往利用頻率域地特性分析和處理圖像將更實(shí)用一些。圖像變化和頻譜分析可廣泛應(yīng)用在圖像處理、圖像理解，智能識(shí)別等多個(gè)領(lǐng)域。這里介紹一種典型應(yīng)用：；利用圖像頻譜分析區(qū)分人和一般車輛的移動(dòng)（見參考論文2）。在圖4（c）中，是人運(yùn)動(dòng)序列的曲線，相當(dāng)于時(shí)域譜，而(d)則

11、是其頻率譜。同樣，圖5(c)是車輛運(yùn)動(dòng)的時(shí)域譜，(d)是其頻譜。從這里可以看到，僅僅從時(shí)域譜來(lái)識(shí)別是人還是車的運(yùn)動(dòng)實(shí)現(xiàn)比較困難，考慮到誤差影響，幾乎不可能由計(jì)算機(jī)實(shí)現(xiàn)，而將其變換為頻域譜后，區(qū)別非常明顯，可以非常方便地用計(jì)算機(jī)作識(shí)別，而且具有較強(qiáng)地魯棒性，抗干擾性好。 2. 圖像處理有哪些方法？在我的系統(tǒng)中應(yīng)該怎樣進(jìn)行圖像預(yù)處理？這里主要討論數(shù)字圖像的處理，數(shù)字圖像處理包括圖像變換、圖像編碼、圖像增強(qiáng)、圖像恢復(fù)、圖像分割、圖像的理解和識(shí)別。在本系統(tǒng)中，對(duì)圖像的整個(gè)前期處理過(guò)程應(yīng)該如下：首先對(duì)視頻流進(jìn)行運(yùn)動(dòng)檢測(cè)，對(duì)圖像序列進(jìn)行分析，判斷是否有入侵(異常)產(chǎn)生，如果檢測(cè)到了運(yùn)動(dòng)物體，把該幀及其后的

12、連續(xù)幾幀提取處理。首先應(yīng)屏蔽掉背景，即提取出運(yùn)動(dòng)物體。這里可以簡(jiǎn)單地利用幀差法。但是考慮到光線和其他因素地影響，可以利用一些魯棒性好的提取函數(shù)。提取出運(yùn)動(dòng)物體后，應(yīng)該進(jìn)行圖像邊緣增強(qiáng)，使物體邊緣信息更明顯，同時(shí)作濾波，去除圖像中孤立的噪聲點(diǎn)。為了更好地進(jìn)行識(shí)別，還應(yīng)該對(duì)圖像進(jìn)行二值化處理，同時(shí)消除空穴的影響。至此，對(duì)目標(biāo)圖像的預(yù)處理基本結(jié)束，可以開始進(jìn)行物體識(shí)別了。根據(jù)具體情況和系統(tǒng)實(shí)時(shí)性的要求，可以增減某些預(yù)處理步驟。2.3 運(yùn)動(dòng)跟蹤識(shí)別小組2.3.1主要任務(wù) 該小組的主要任務(wù)是對(duì)經(jīng)過(guò)處理后的位圖進(jìn)行人體識(shí)別，判斷是否存在人體或者其他移動(dòng)物體。并根據(jù)連續(xù)幾幅位圖之間的關(guān)系，確定物體運(yùn)動(dòng)方向，

13、速度等。2.3.2完成情況 該小組成員首先補(bǔ)充了一些基本的理論知識(shí)。自學(xué)了計(jì)算機(jī)模式識(shí)別，模糊數(shù)學(xué)，圖像理解，神經(jīng)網(wǎng)絡(luò)等理論課程。根據(jù)本系統(tǒng)實(shí)際，設(shè)計(jì)了一種較好實(shí)現(xiàn)、識(shí)別準(zhǔn)確率高的方法。該方法主要基于四種人體特征識(shí)別理論。分別是：灰度直方圖技術(shù)，基于膚色模型檢測(cè)、基于邊緣特征的幾何模型檢測(cè)和基于人體運(yùn)動(dòng)特征的頻譜分析。在我們的系統(tǒng)中，把這幾種方法進(jìn)行有效的結(jié)合，使其系統(tǒng)具有較高的識(shí)別能力，較完善的抗干擾措施和強(qiáng)健的魯棒性。值得鼓勵(lì)的是，在此基礎(chǔ)上，開發(fā)人員還積極創(chuàng)新，設(shè)計(jì)了一種新的基于掃描線的邊緣特征快速檢測(cè)算法，利用該算法，完成了人體頭部檢測(cè)的一個(gè)DEMO程序。并完成論文一篇一種基于掃描線的

14、邊緣特征檢測(cè)算法，該論文已投中國(guó)圖像圖形學(xué)報(bào)。但是該demo還存在一些問題和不完善，比如不能對(duì)各種復(fù)雜姿態(tài)下的人進(jìn)行很好地識(shí)別；只做了人體的識(shí)別，還未涉及到對(duì)其他移動(dòng)物體（如車，各種動(dòng)物）的識(shí)別，這些都是下一階段需要解決的問題和工作。2.3.3 遇到的問題及解決1 如何根據(jù)本系統(tǒng)實(shí)際，進(jìn)行人體識(shí)別？可以應(yīng)用哪些方法？在具體實(shí)現(xiàn)中，又采用了何種方法？如何滿足系統(tǒng)實(shí)時(shí)性的要求？在識(shí)別出人體后，怎樣提取出頭部？ 對(duì)圖像進(jìn)行識(shí)別其實(shí)是一個(gè)圖像理解的過(guò)程。它的目的是解釋一副圖像，這就必然要涉及到識(shí)別圖像中的目標(biāo)，說(shuō)明圖像中各目標(biāo)之間的關(guān)系，測(cè)量各目標(biāo)的相對(duì)尺寸等。根據(jù)Marr的經(jīng)典理論，認(rèn)為圖像理解和識(shí)

15、別可以分為四個(gè)層次：1)基于圖象象素點(diǎn)灰度值的基元2）基本骨架，它反映了二維圖像上明確的重要特征，如灰度變化的分布與組織，其基元是二階倒數(shù)過(guò)零點(diǎn)、塊、終點(diǎn)與不連續(xù)點(diǎn)、邊緣段；3)2 *1/2D骨架，在以觀察點(diǎn)為中心的坐標(biāo)系中，表示可見表面的外法線方向及離觀察點(diǎn)的距離（深度），其基元是局部表面外法線方向，離觀察點(diǎn)的距離、深度不連續(xù)性及表面不連續(xù)性等；4）三維模型表示，目的在以目標(biāo)為中心的系統(tǒng)中描述三維目標(biāo)的形狀和它們?cè)诳臻g的組織，基元是體積的或表面的基元。 考慮到本系統(tǒng)的實(shí)際，我們主要利用圖像理解中的第二層描述來(lái)進(jìn)行人體識(shí)別，在具體方法上，使用了二維形狀描述技術(shù)，如內(nèi)標(biāo)量方法，富氏形狀描述等。

16、為了滿足系統(tǒng)實(shí)時(shí)檢測(cè)、跟蹤的要求，我們對(duì)系統(tǒng)識(shí)別算法的時(shí)間復(fù)雜度進(jìn)行了排序，采用了時(shí)間復(fù)雜度由低到高的順次檢測(cè)方法。即先使用復(fù)雜度低的算法對(duì)圖像進(jìn)行識(shí)別，如果正確識(shí)別出了物體，算法即終止，轉(zhuǎn)入報(bào)警處理程序；否則，使用復(fù)雜度稍高的算法進(jìn)行下一步更精確的識(shí)別處理。 在識(shí)別出人體后，為了提取頭部輪廓，我們先根據(jù)整體高度估算頭部高度，再利用人體頭部輪廓線的特征進(jìn)行頭部的提取。2 實(shí)際圖像中，即使經(jīng)過(guò)一系列預(yù)處理，圖像扔不能達(dá)到足夠精確，在識(shí)別過(guò)程中，如何進(jìn)行魯棒性控制，在盡量避免誤警的情況下，提高系統(tǒng)的識(shí)別能力？ 首先，我們進(jìn)行誤差控制。比如在提取頭部信息時(shí)，從頭的頂部沿X軸正方向直到耳部，可看成一條

17、外凸的曲線。但是在實(shí)際中，曲線的某些點(diǎn)可能偏移正常位置，形成一條有鋸齒形的曲線（在信號(hào)處理中，這也叫毛刺），為了消除毛刺，我們以正確位置的點(diǎn)為圓心，r為半徑定義了一個(gè)小圓形的鄰域，只要圖像點(diǎn)落在這個(gè)鄰域內(nèi)，我們就認(rèn)為該點(diǎn)位于曲線上。通過(guò)這種方法，極大地提高了系統(tǒng)的抗干擾能力。 為了提高識(shí)別的精確度和準(zhǔn)確度，根據(jù)控制論中的可靠性原理，我們采用了多種方式聯(lián)合檢測(cè)的方式。比如我們可以采用影子模式的投影直方圖技術(shù)H1，基于時(shí)空信息的累加和技術(shù)H2和基于邊緣檢測(cè)的幾何模型技術(shù)H3進(jìn)行檢測(cè)，然后同時(shí)運(yùn)行這三個(gè)模塊，每個(gè)模塊在檢測(cè)到人體時(shí)將輸出為“真”，否則為“假”，由這3個(gè)模塊加一個(gè)表決程序即形成一個(gè)屏蔽冗余結(jié)構(gòu)。如下圖所示： 其中表決程序作“3中取2”的表決，只要H1，H2，H3 3個(gè)模塊中的至少兩個(gè)模塊輸出為“真”，表決程序?qū)⑤敵觥罢妗?，即表示檢測(cè)到了人體目標(biāo)，這樣也就屏蔽了任何一個(gè)模塊可能出現(xiàn)的識(shí)別錯(cuò)誤。3. 要求及協(xié)助我作為項(xiàng)目組長(zhǎng)，在實(shí)施該項(xiàng)目時(shí)，遇到了以下兩個(gè)困難。第一，由于我們的項(xiàng)目核心部分涉及到了數(shù)字信號(hào)處理、人工智能、模式識(shí)別等一系列我們項(xiàng)目組成員以前從未接觸過(guò)的知識(shí)領(lǐng)域，而且人體識(shí)別監(jiān)控系統(tǒng)性能的優(yōu)劣直接取決于模式識(shí)別算法的好壞。復(fù)雜算法的設(shè)計(jì)與優(yōu)化對(duì)數(shù)學(xué)功底稍淺的計(jì)算機(jī)專業(yè)學(xué)生是個(gè)巨大的挑戰(zhàn)和要求。所以，我們希望能得到數(shù)學(xué)、信息處理，人工智能等專業(yè)專家的建議和指導(dǎo)。第二