機器視覺的輔助駕駛系統(tǒng)的視頻中行人檢測跟蹤

開題報告1研究背景及意義隨著我國機械工業(yè)的迅猛發(fā)展,汽車行業(yè)也實現(xiàn)了新的跨越。汽車的普及帶來了許多危害,諸如:“汽車尾氣”對環(huán)境的污染、消耗汽油造成能源的緊缺、交通擁擠、交通事故等等。目前,我國的交通安全形勢日益嚴峻,交通事故頻繁發(fā)生,財產(chǎn)損失和人員傷亡慘重。雖然我國僅擁有全世界約2.5%的汽車,但是引發(fā)的道路交通死亡事故占世界的15%,己是交通事故多發(fā)的國家。據(jù)調(diào)查統(tǒng)計,2009年,全國共發(fā)生道路交通事故238351起,造成67759人死亡、275125人受傷,直接財產(chǎn)損失9.1億元.2008年,全國共發(fā)生道路交通事故265204起,造成73484人死亡、304919人受傷,直接財產(chǎn)損失10.1億元2007年,全國共發(fā)生道路交通事故327209起,造成81649人死亡、380442人受傷,直接財產(chǎn)損失12億元。由此可見,交通事故是全球性關注的一個熱點,其對人類的危害已超出了洪水、地震、火災等自然災害,是導致行人死亡的一個主要因素。在道路交通事故中,自行車騎車人和行人往往處于弱勢地位,一旦與機動車發(fā)生碰撞,是很容易受到傷害的。事故帶來的災難,使一個個家庭陷入了不幸的痛苦之中.人們對出行安全的渴盼,成為社會公共安全的重要話題.為了有效地保護行人,行人檢測和跟蹤技術得到了車企及消費者的重視。隨著我國汽車保有量的迅速增加,道路交通事故頻發(fā),特別是車輛與行人發(fā)生碰撞而引發(fā)交通事故是導致行人傷亡的主要原因。交通引發(fā)的各種問題尤其是行駛安全問題日益受到人們的關注,這就使得安全輔助駕駛系統(tǒng)的應用在我國具有更大的緊迫性和現(xiàn)實意義。對車輛前方行人進行檢測是汽車安全輔助駕駛系統(tǒng)所必需具備的功能之一,己經(jīng)引起了世界各國政府部門和相關研究機構的高度重視及商家的濃厚興趣,它能有效地輔助在市區(qū)環(huán)境中駕駛車輛的駕駛員及時對外界環(huán)境做出反應,避免碰撞行人。行人檢測技術的研究開發(fā)將為我國汽車安全輔助駕駛技術的發(fā)展提供有力的理論和技術支持,并具有潛在的經(jīng)濟價值和應用前景。利用傳感器技術來探測車輛前方的障礙物,包括行人車輛以及自行車等,及時警告駕駛員可能與潛在的障礙物發(fā)生碰撞,減少這類碰撞交通事故發(fā)生的損失和人員傷亡。如果駕駛員沒有及時采取有效的措施來避免與行人等障礙物發(fā)生碰撞,可以采取自動駕駛功能接替駕駛員避免這種緊急狀況的發(fā)生,如通過車上安裝的自動轉向和自動制動功能接替駕駛員實現(xiàn)自動轉向或制動，有效地提高城市交通的安全性。行人檢測是城市交通環(huán)境下的智能車輛輔助導航技術中的一項關鍵技術,也是目前計算機應用領域的研究熱點之一。它處于智能車輛輔助導航技術的底層,是各種后續(xù)高級處理如目標分類,行為理解的基礎,對于保障現(xiàn)代城市道路交通安全具有重要的作用,同時具有十分廣闊和重要的應用領域。運動行人檢測在智能控制系統(tǒng),虛擬現(xiàn)實,機器人應用等方面也將得到廣泛的應用。行人檢測與跟蹤技術不僅在智能交通系統(tǒng)和視頻監(jiān)控系統(tǒng)中有廣泛的應用,而且在虛擬現(xiàn)實、機器人應用等方面有著非常重要的研究價值。行人跟蹤是一個復雜的系統(tǒng)工程,它涉及了人體生理學、心理學、計算機視覺、模式識別、等多方面的問題。2研究內(nèi)容基于計算機視覺的行人檢測由于其在車輛輔助駕駛系統(tǒng)中的重要應用價值成為當前計算機視覺和智能車輛領域最為活躍的研究課題之一。其核心是利用安裝在運動車輛上的攝像機檢測行人，從而估計出潛在的危險以便采取策略保護行人。行人檢測除了具有一般人體檢測具有的服飾變化、姿態(tài)變化等難點外，由于其特定的應用領域還具有以下難點：攝像機是運動的，這樣廣泛應用于智能監(jiān)控領域中檢測動態(tài)目標的方法便不能直接使用；行人檢測面臨的是一個開放的環(huán)境，要考慮不同的路況、天氣和光線變化，對算法的魯棒性提出了很高的要求；實時性是系統(tǒng)必須滿足的要求，這就要求采用的圖像處理算法不能太復雜?；谝曈X的行人檢測系統(tǒng)一般包括兩個模塊：感興趣區(qū)（ROIs）分割和目標識別。根據(jù)分割所用的信息，可將ROIs分割的方法分為基于運動、基于距離、基于圖像特征和基于攝像機參數(shù)四種方法?；谶\動的方法通過檢測場景中的運動區(qū)域來得到ROIs?；诰嚯x的方法通過測量目標到汽車的距離來得到ROIs?？梢杂脕頊y距的傳感器主要包括雷達和立體視覺?；趫D像特征的方法指通過檢測與行人相關的圖像特征從而得到ROIs。對于可見光圖像來說，常用的特征包括豎直邊緣、局部區(qū)域的熵和紋理等。對于紅外圖像來說，主要根據(jù)人體尤其是人臉的溫度比周圍環(huán)境溫度較高這一特征，通過檢測一些“熱點”(Hotspot)來得到ROIs。攝像機的安裝位置和攝像機參數(shù)也是一個很重要的考慮因素.它對行人在圖像上出現(xiàn)的位置和每個位置上目標的大小給出了很多限制,合理利用這些限制可以大大地縮小搜索空間。如圖1所示，行人檢測分為以下幾個步驟：預處理階段，首先通過傳感器獲得車輛前方的圖像信息，對這些信息做預處理（如降噪、增強等）；分類檢測階段，用圖像分割、模型提取等一些圖像處理技術在圖像中選取一些感興趣的區(qū)域（RegionsofInterest，ROIs），即行人的候選區(qū)域，然后對ROIs進行進一步的驗證，用分類等技術方法判斷候選區(qū)域中是否包含行人；決策報警階段，對含有行人的區(qū)域進行跟蹤，得到行人的運動軌跡，提高檢測精度和速度的同時，也能對行人是否會和車輛發(fā)生碰撞進行判斷，對可能發(fā)生碰撞的情況，進行報警或者其他避免碰撞的操作。圖1行人檢測系統(tǒng)框架在行人檢測系統(tǒng)中，分類檢測階段是最為重要的一個階段。由于行人檢測系統(tǒng)是一個實時系統(tǒng)，因此系統(tǒng)中的檢測算法應具有很高的實時性，那些使用復雜圖像處理的算法便不再適用；而開放的檢測場景，如道路狀況不斷變換、天氣以及光照也隨機變化，行人的服飾和姿態(tài)多變等，使得模板匹配的方法無法很好的應用于行人檢測問題中。場景3D建模的方法由于前提假設的限制，其性能和速度無法達到實用的要求。如今主要的研究方法還是在行人檢測中引入各種各樣的分類器，主要是因為分類算法具有較好的魯棒性，而且合理的選擇訓練樣本和特征，結合結構合理的分類算法，可以較好地克服許多不利條件，如行人多樣性、場景多樣性、光照環(huán)境多樣性等的影響。因此，在當前情況下，分類檢測是行人檢測技術研究中的一種主流的方法。常用于行人檢測的分類器有：支持向量機(SVM)、各種類型的神經(jīng)網(wǎng)絡（NN）以及其他基于統(tǒng)計的學習分類器（如Adaboost、串聯(lián)分類器）等，如表1所示。表1行人檢測系統(tǒng)常用的分類器很多類型的分類器都被用到了行人和非行人物體的區(qū)分當中。分類器的輸入是從圖像中提取的像素值或特征值，輸出則是這個物體是否為待測物體的一個判斷。很多情況下，給出的是這個物體為待測物體的概率值。分類器通常由一系列正負樣本訓練得來。訓練之后，分類器對未知樣本進行處理，通過特征向量位于決定邊界的哪一邊，確定該樣本中是否含有待測物體。分類器的好壞主要取決于三個方面：特征、分類算法和樣本，只有合理地結合這三者才能得到性能最優(yōu)的分類器。目前，這三方面都有一些進展，這為我們設計出高效的分類器提供了很好的基礎。分類器性能一般從三個方面來評價，檢測率高，誤報率低，檢測速度快。三方面相互限制，實際應用中需要找到一個平衡點。由于分類器的性能好壞是整個行人檢測系統(tǒng)性能好壞的決定因素，所以非常有必要結合行人檢測問題本身的特點來專門為其設計合理、高性能的分類器，而不是直接套用其它領域的一些現(xiàn)有算法。3研究方法行人檢測包括了行人目標的分類和行人的跟蹤等方面,涉及到計算機視覺、模式識別和人工智能領域的許多核心課題,是一個具有挑戰(zhàn)性的困難問題。目前,在許多文獻中提出了多種關于行人檢測的方法,常用的方法有基于運動特性的方法、基于形狀信息的方法、基于行人模型的方法、立體視覺的方法、神經(jīng)網(wǎng)絡方法、小波和支持向量機的方法等。3.1基于形狀信息的方法由于行人探測是在車輛運動的狀態(tài)下進行的,這樣會帶來攝像機的運動,從而背景圖像也會相應發(fā)生變化?；谛螤钚畔⒌男腥藱z測方法回避了由于背景變化和攝像機運動帶來的問題,主要是依靠行人形狀特征來識別行人,因此基于形狀的行人檢測方法能識別出運動和靜止的行人。意大利帕爾瑪大學的AlbertoBroggi教授在AR2GO項目中采用一種基于外形的行人檢測算法。算法首先根據(jù)行人相對于垂直軸有很強的垂直邊緣對稱性、尺寸和外貌比例等在圖像中找到感興趣區(qū)域,然后提取垂直邊緣,選擇具有高垂直對稱性的區(qū)域。通過計算邊緣的熵值去掉圖像中始終一致的區(qū)域。在剩下的具有對稱性的候選區(qū)域中,尋找目標側向和底部邊界畫出矩形方框,通過包含行人頭部模型匹配定位行人頭部。在市區(qū)試驗表明,當視野中有完整的行人存在時能得到較好的效果,在10~40m的范圍內(nèi)都可以正確地進行識別,并且可以較好地適應復雜的外界環(huán)境。德國DaimlerOChrysler研究中心的Gavrila開發(fā)的行人檢測系統(tǒng)在城市交通助手UTA中進行了試驗。蓋系統(tǒng)主要分為兩步,首先是在等級模板匹配過程中應用行人輪廓特征來有效鎖定候選目標。然后在模式分類中根據(jù)豐富的亮度信息運用徑向基函數(shù)來驗證候選目標?；谛螤钚畔⒌男腥藱z測方法存在兩大難點:一是行人是非剛性的,形狀信息具有多樣性,算法要考慮很多基本的信息,導致計算量增大;二是行人在行走的過程中,由于會產(chǎn)生遮擋現(xiàn)象,這就無形中增加了基于形狀信息行人檢測的難度。3.2基于運動特性的方法運動是探測場景圖像中感興趣區(qū)域重要信息,基于運動特性的行人檢測就是利用人體運動的周期性特性找到行人。德國DaimlerOBenz研究中心B1Heisele的研究是基于行人與像平面平行的方向行走時腿部運動特征,從彩色序列圖像中識別出行人。首先將每幅圖像分割成區(qū)域圖像并對象素按顏色P位置特征空間進行聚類,通過在連續(xù)圖像中匹配相應的類,并對各類進行跟蹤。然后利用快速多項式分類器估計基于類形狀特征的時間變化來初步選擇可能屬于人腿的類。最后通過時空接受域延時神經(jīng)網(wǎng)絡將屬于行人腿的類進行分離。Lipton通過計算運動區(qū)域的殘余光流來分析運動實體的剛性和周期性,非剛性的人的運動相比于剛性的車輛運動而言具有較高的平均殘余光流,同時它也呈現(xiàn)了周期性的運動特征,據(jù)此可以將人區(qū)分出來。大多數(shù)基于運動方法運用行人獨有的運動節(jié)奏特征或運動模式來探測行人,而且能在運動攝像機情況下探測到運動目標,但是應用基于運動的行人檢測還有一定的局限性:(1)首先為了提取運動節(jié)奏特征要求行人腳或腿是可見的;(2)識別時需要連續(xù)幾幀序列圖像,這樣延誤了行人的識別,增加了處理時間;(3)不能識別靜止行人。3.3基于模型的方法基于模型的行人檢測方法是通過定義行人形狀模型,在圖像的各個部位匹配該模型以找到目標。行人模型主要有線性模型、輪廓模型以及立體模型等。線性模型是基于人運動的實質(zhì)是骨骼的運動,因此可以將身體的各個部分以直線來模擬。美國馬里蘭大學的V1Philomin等首先應用背景減除法從靜止CCD獲得的圖像中自動分割出行人邊緣輪廓,得到行人的統(tǒng)計形狀模型。然后建立線性點分布模型,利用主分量分析簡化維數(shù),找到8維變形模型空間。基于輪廓模型的跟蹤是利用封閉的曲線輪廓來表達運動目標,并且該輪廓能夠自動連續(xù)地更新。例如美國明尼蘇達大學的O1Masoud利用靜止的單目CCD對序列灰度圖像進行行人跟蹤,主要用于在交叉路口行人跟蹤控制。立體模型主要是利用廣義錐臺、橢圓柱、球等三維模型來描述人體的結構細節(jié),這種模型要求更多的計算參數(shù)和匹配過程中更大的計算量。如K1Rohr利用通用圓柱模型來描述行人,目的是想利用該模型來產(chǎn)生人的行走的三維描述。利用輪廓模型進行跟蹤有利于減少計算的復雜度,如果開始能夠合理地分開每個運動目標并實現(xiàn)輪廓初始化的話,既使在有部分遮擋存在的情況下也能連續(xù)地進行跟蹤,然而初始化通常是很困難的。3.4小波變換和支持向量機從20世紀80年代后期開始逐步發(fā)展起來的小波分析克服了傅立葉分析的不足,具有良好的空間局部分析功能和多分辨分析功能,并且具有良好的重構性和濾波特性。美國M1Oren介紹了可訓練的目標探測方法,用來探測靜止圖像中的相關人。由于人體是一個非剛性的目標,并在尺寸、形狀、顏色和紋理機構上有一定程度的可變性。行人檢測主要是基于小波模板概念,按照圖像中小波相關系數(shù)子集定義目標形狀的小波模板。系統(tǒng)首先對圖像中每個特定大小的窗口以及該窗口進行一定范圍的比例縮放得到的窗口進行Harr小波變換,然后利用支持向量機檢測變換的結果是否可以與小波模板匹配,如果匹配成功則認為檢測到一個行人。最近他們又結合基于樣本的方法對系統(tǒng)做了改進,對人體的每個組成部分進行相應的小波模板的匹配,之后對這些分量的匹配結果進行總的匹配評價。首先將圖像進行水平方向、垂直方向以及對角線方向進行Haar小波變換,然后掃描與行人相關的模型,最后用支持向量機統(tǒng)計推理進行識別。為了避免重疊現(xiàn)象,系統(tǒng)按照一定等級利用多個分類器分別對手臂、頭部和腿進行分類?；谛〔ㄗ儞Q和支持向量機的方法需要按不同尺度搜索整幅圖像來找到行人,這樣計算量很大。為了實現(xiàn)對行人進行實時檢測與跟蹤,需要減少小波特征,降低支持向量機的維數(shù)。3.5立體視覺立體視覺的基本原理是從兩個(或多個)視點觀察同一景物,以獲取在不同視角下的感知圖像,通過三角測量原理計算圖像像素間的視差來獲取景物的三維信息。由于單目視覺不能準確的獲得前方車輛的距離信息,而且在復雜場景內(nèi)由于噪音的干擾不能有效的識別行人,而立體視覺由于能夠獲得圖像的深度信息,因此在行人檢測領域中得到一定的應用。意大利帕爾瑪大學的A1Broggi和美國坦克及機動車輛司令部M1DelRose等利用立體視覺技術進行預處理在一般非結構化環(huán)境下定位行人位置。系統(tǒng)首先將采集到的左、右圖像進行邊緣提取、二值化和形態(tài)水平膨脹,然后將左幅圖像的每行與右幅圖像每行進行匹配,計算左右特征圖像中相應行的相關性用來計算他們之間的偏移量。最后找到兩幅圖像中相應成分的偏移量,右幅圖像偏移相同偏移量與左幅圖像相應的行人區(qū)域進行特征匹配,根據(jù)垂直直方圖和水平直方圖確定行人區(qū)域的邊界。也有一些行人檢測系統(tǒng)常用立體視覺來尋找感興趣區(qū)域,以便后續(xù)模式分類或利用立體視覺根據(jù)對稱性用來驗證步驟探測到的定人區(qū)域。如美國梅隆大學的LiangZhao和E1Thorpe首先對經(jīng)過圖像進行拉普拉斯運算,利用區(qū)域相關性計算視差映射圖;然后視差值可以按照不同等級進行搜尋。通過距離閾值從視差圖像中排除背景目標,然后采用形態(tài)相近算子去除噪聲并平滑前景圖像區(qū)域。最后將所有探測到的可能含有行人目標的方框區(qū)域輸入到訓練神經(jīng)網(wǎng)絡進行行人識別。3.6神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡在行人識別技術中的應用主要是對利用視覺信息探測到的可能含有行人區(qū)域進行分類識別。如LiangZhao和E1Thorpe首先利用立體視覺進行目標區(qū)域分割,然后合并和分離子目標候選圖像成滿足行人尺