違法闖紅燈車輛視頻檢測算法

違法闖紅燈車輛視頻檢測算法本文介紹了視頻檢測在車輛違法抓拍中的優(yōu)勢，并在傳統(tǒng)視頻圖像檢測算法的基礎(chǔ)上提出了優(yōu)化方案。其具體方法是，通過提取圖像車輛形心的位置，根據(jù)形心位置像素點(diǎn)的變化，準(zhǔn)確判斷通過檢測區(qū)域的車輛，從而實(shí)現(xiàn)違法車輛的抓拍。計(jì)算機(jī)視覺是指用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能一—對客觀世界的三維場景的感知、識別和理解。這里有兩類方法：一類是仿生學(xué)的方法，參照人類視覺系統(tǒng)的結(jié)構(gòu)原理，建立相應(yīng)的處理模塊完成類似的功能和工作；另一類是工程的方法，從分析人類視覺過程的功能著手，并不去刻意模擬人類視覺系統(tǒng)內(nèi)部結(jié)構(gòu)，而僅考慮系統(tǒng)的輸入和輸出，并采用任何現(xiàn)有可行的手段實(shí)現(xiàn)系統(tǒng)功能。違法闖紅燈車輛視頻檢測即是屬于上述的第二類方法，它利用視頻序列中前景圖像與背景圖像的變化，來判斷前景圖像中車輛是否違法闖紅燈行駛。1、視頻檢測算法研究在對違法車輛視頻檢測算法進(jìn)行研究時(shí)，本文采用實(shí)際路口車輛行駛情況的視頻圖像，力求研究工作能夠最大限度地貼近實(shí)際應(yīng)用，力求所研究的成果能夠在實(shí)際應(yīng)用中取得較好的效果。該視頻圖像是由架設(shè)在路口的電子警察系統(tǒng)拍攝采集的，為該路口某個(gè)方向的全景圖像，其分辨率為352x288像素點(diǎn)，每秒25幀。該電子警察的攝像頭架設(shè)在道路上方離地面6米的位置。通過對幾種視頻檢測方法的研究與比較，并對實(shí)際視頻圖像質(zhì)量、路口實(shí)際情況及車輛運(yùn)行情況的分析，本文采用幀間差分法來分離視頻圖像序列中的運(yùn)動車輛圖像,并通過計(jì)算該圖像的像素點(diǎn)數(shù)量及形心位置來實(shí)現(xiàn)對車輛違法行為的判斷。1.1幀間差分法幀間差分法又稱圖像序列差分法。當(dāng)監(jiān)控場景中出現(xiàn)運(yùn)動物體時(shí)，幀與幀之間會出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像對應(yīng)像素點(diǎn)亮度值差的絕對值，通過判斷它是否大于閾值，來分析視頻或圖像序列的運(yùn)動特性，以確定圖像序列中有無物體運(yùn)動。圖像序列逐幀地差分，相當(dāng)于對圖像序列進(jìn)行了時(shí)域上的高通濾波。相鄰幀圖像的差分表達(dá)式為：R= 人（兀』」-DI- ? it*■ 「式中V-'-為第i幀的亮度分量；―凡「為第iT幀的亮度分量，d為相鄰兩幀圖像對應(yīng)像素點(diǎn)亮度差值的絕對值。那相鄰幀差圖為：dd>T0dd>T0d<T式中T為相鄰圖像差分比較閾值， 為差分圖像中對應(yīng)像素點(diǎn)的亮度值。幀間差分法的優(yōu)點(diǎn)主要有：算法實(shí)現(xiàn)簡單，程序設(shè)計(jì)復(fù)雜度低；對光線等場景變化不太敏感，能夠適應(yīng)各種動態(tài)環(huán)境，穩(wěn)定性較好。其缺點(diǎn)主要有：不能提取出對象的完整區(qū)域，只能提取出邊界；對快速運(yùn)動的物體，需要選擇較小的時(shí)間間隔，如果選擇不合適，物體在前后兩幀中沒有重迭時(shí)，會被檢測為兩個(gè)分開的物體；而對慢速運(yùn)動的物體，應(yīng)該選擇較大的時(shí)間間隔，如果此時(shí)選擇不適當(dāng)，當(dāng)物體在前后兩幀中幾乎完全重迭，則檢測不到物體。除了最簡單的逐像素相減，差分圖像還可以由兩組屬于相鄰圖像幀的像素(如相鄰的四個(gè)元素、八個(gè)元素)的均值相減得到。視頻檢測總體流程視頻檢測總體流程如圖1所示。盤蜒也頰驟(6)囹I視最檢測總體謊程囹2、檢測帶設(shè)置視頻圖像所包含的路口信息豐富、情況復(fù)雜，而對檢測車輛闖紅燈違法行為有用的信息在整個(gè)圖像中所占的比例不是很大。因此，沒有必要對整幅圖像進(jìn)行處理來獲得檢測信息。同時(shí)，如果對整幅圖像進(jìn)行處理所產(chǎn)生較大的計(jì)算量，不利于電子警察嵌入式系統(tǒng)的穩(wěn)定運(yùn)行，不利于滿足系統(tǒng)的實(shí)時(shí)性要求。本文根據(jù)視頻圖像中實(shí)際車輛運(yùn)行方向，按車道數(shù)目分別截取一定寬度、高度的矩形圖像區(qū)域，作為車輛違法檢測帶，并通過對檢測帶圖像進(jìn)行處理，對處理結(jié)果進(jìn)行信息提取，最后做出車輛是否為違法行駛的判斷，達(dá)到檢測車輛違法行為的目的。檢測帶的位置和大小可以根據(jù)需要調(diào)整，以適應(yīng)道路路口車輛檢測的實(shí)際情況。1、檢測帶位置檢測帶位置的設(shè)置應(yīng)該考慮以下因素：由于現(xiàn)有電子警察系統(tǒng)的攝像頭安裝位置及攝像角度等原因（如圖2所示），在視頻圖像中，當(dāng)車輛停在停車線范圍內(nèi)時(shí)，車身會遮擋停車線及停車線前很大一片區(qū)域。同時(shí)，由于車輛種類不同，車身高度也不一樣，在視頻中遮擋的區(qū)域大小也不一樣。因此，檢測帶位置的設(shè)置必須根據(jù)不同路口、不同的攝像機(jī)架設(shè)位置及多數(shù)車輛車身高度，來作為設(shè)置檢測帶位置的參考，以避免在停車線范圍內(nèi)運(yùn)動或靜止的車輛出現(xiàn)在檢測帶圖像中。檢測帶的設(shè)置應(yīng)該盡量避免人流量較多的區(qū)域，如人行橫道線等，盡量減少因?yàn)樾腥诉M(jìn)入檢測帶而造成的對檢測結(jié)果的影響。在本文所采用的路口視頻圖像中，有的車輛車身較高，即使該車輛停止在停車線范圍內(nèi)，也會遮擋住人行橫道線區(qū)域。綜合參考以上設(shè)置檢測帶位置的條件，并根據(jù)視頻圖像中路口實(shí)際情況，我們將檢測帶設(shè)置在人行橫道線離攝像頭遠(yuǎn)端的位置，如圖3所示。圖3蠟測帶的設(shè)番2、檢測帶大小檢測帶的寬度是根據(jù)視頻圖像中車道大小而定的，如同一個(gè)車輛行駛方向上有多個(gè)車道，而每個(gè)車道的交通信號控制不盡相同，因此需要按不同車道實(shí)行車輛的視頻檢測。在圖3中，同一個(gè)車輛行駛方向上有兩個(gè)車道，因此需要設(shè)置兩條檢測帶。在本視頻圖像中，檢測帶的寬度為70~75個(gè)像素點(diǎn)。檢測帶高度的設(shè)定，要考慮以下幾方面的因素：?考慮到圖像處理時(shí)系統(tǒng)計(jì)算的數(shù)據(jù)量盡量少；?當(dāng)一車尾隨另一車雙雙闖紅燈時(shí)，檢測帶盡量能夠檢測出兩車之間的無車區(qū)域，從而判別出是兩輛車有違法行為，對兩輛車進(jìn)行抓拍取證；?如檢測帶高度太小，對車輛特征包含不夠，會造成車輛駛?cè)霗z測帶后，相鄰兩幅圖像差分無明顯結(jié)果，而無法判斷車輛是否還在檢測帶中的情況。綜合上面的因素，并做了大量的觀察和實(shí)驗(yàn)，本文設(shè)定檢測帶的高度為1520個(gè)像素圖像差分法幀間差分法就是將輸入連續(xù)的相鄰兩幀圖像在空域中進(jìn)行差分，它是當(dāng)前圖像中的像素的灰度值減去前一幀圖像對應(yīng)像素的灰度值，若差值少于某一個(gè)閾值就判定為背景，若差值大于該閾值就判定為前景信息。但在實(shí)際的檢測系統(tǒng)中，由于攝像頭受風(fēng)等因素而產(chǎn)生的抖動等，會對這種直接差分結(jié)果產(chǎn)生巨大影響。因此，在幀間差分時(shí)，提出了改進(jìn)的幀間差分方法一一鄰域比較法，其具體方法是：1、取當(dāng)前幀的圖像像素為則相應(yīng)的前一幀圖像的一個(gè)3X3的模板為:盅(11)fd(f—hj)/s?—1J+1)

￡(iJT) Z@J)f2Qd+1)1) ￡(z+ij+i)2、將當(dāng)前幀的像素與模版中像素的灰度相比較，若它們的差值小于閾值，則判定為背景點(diǎn)，將其灰度置為0,就不再做鄰域比較。否則，再與前一幀其余的8個(gè)鄰域點(diǎn)相比較，只要有一差值小于閾值，就將其判定為背景點(diǎn)，不再比較。若當(dāng)前幀與模板中所有點(diǎn)的灰度比較的結(jié)果都大于閾值，則判定該點(diǎn)為前景圖像點(diǎn)，則將其灰度置為1。通過此種鄰域比較法在實(shí)現(xiàn)了背景圖像與前景圖像分離的同時(shí)，也實(shí)現(xiàn)了圖像的二值化，從而提高了檢測效率。本文即采用此方法來實(shí)現(xiàn)視頻流中兩幅圖像的差分運(yùn)算。本文實(shí)驗(yàn)所用的視頻圖像為道路路口場景，即使在綠燈情況下，車輛的行駛速度也不快。視頻圖像為25幀/秒，即每兩幀圖像的時(shí)間間隔為40毫秒。在40毫秒的時(shí)間里，車輛的運(yùn)動距離很小，使得視頻序列中前后兩幀圖像變化不大，加上圖像分辨率為352X288像素點(diǎn)，圖像的清晰度不高。如果直接將相鄰兩幀圖像進(jìn)行差分，所得到的差分圖像結(jié)果并不明顯，不能夠很好判斷圖像中是否有車輛運(yùn)動。經(jīng)過反復(fù)試驗(yàn)，本文采用時(shí)間間隔120毫秒的圖像進(jìn)行鄰域差分，這樣得出的差分圖像效果較好。鄰域比較相鄰兩幅圖像(本文以下所涉及到的相鄰兩幅圖像都是指時(shí)間間隔為120毫秒的兩幅圖像)對應(yīng)像素點(diǎn)差分所選閾值也極為重要。閾值偏大時(shí)，會出現(xiàn)差分圖像中車輛信息丟失過多的情況；閾值較小時(shí)，會出現(xiàn)差分圖像中干擾信息多，而無法判別車輛信息的情況。因此，本文選取閾值為15。提取差分圖像特征信息及分析相鄰兩幅圖像通過差分所得到的圖像，僅僅反映了圖像中物體運(yùn)動位置的變化，要從差分圖像中分別判斷出車輛進(jìn)入檢測帶、在檢測帶中行駛以及離開檢測帶的過程情況，必須要提取相關(guān)的差分圖像信息，并進(jìn)行相應(yīng)分析。需要提取的特征信息包括：差分圖像中前景圖像像素點(diǎn)數(shù)量及前景圖像的形心位置。1、前景圖像像素點(diǎn)數(shù)量檢測帶設(shè)置的位置，要盡量避免有除車輛以外的其它運(yùn)動物體的干擾，但偶爾也會出現(xiàn)行人進(jìn)入檢測帶等干擾情況的發(fā)生。行人在檢測帶中所占面積較小，且在大多數(shù)情況下運(yùn)動速度相對車輛速度較慢，前后兩幅圖像人的運(yùn)動造成的圖像差異不大，因此在差分圖像中呈現(xiàn)的干擾像素點(diǎn)的數(shù)量較少，而車輛在檢測帶中的面積較大且運(yùn)動速度相對較快，前后兩幅圖像中車輛運(yùn)動造成的圖像差異較大，因此在差分圖像中反映出的像素點(diǎn)數(shù)量較多。本文采用計(jì)算差分圖像中像素點(diǎn)數(shù)量的方法，來實(shí)現(xiàn)對車輛進(jìn)入檢測帶的判斷。當(dāng)差分圖像中的前景像素點(diǎn)數(shù)量不少于閾值時(shí)，判定有車進(jìn)入檢測帶，屬于違法闖紅燈行為；反之，則判定為其它非車輛的干擾情況。經(jīng)過大量實(shí)驗(yàn)和統(tǒng)計(jì)，本文設(shè)定閾值廠為30。

2、前景圖像的形心位置當(dāng)目標(biāo)車輛表面存在大面積的灰度均勻區(qū)域時(shí)，相鄰兩幅圖像差分后，

會在前景車輛圖像中出現(xiàn)“空洞”，從而使前景圖像被分割成多個(gè)區(qū)域。本文曾試圖采用數(shù)學(xué)形態(tài)學(xué)中的腐蝕與膨脹來實(shí)現(xiàn)去除空洞，然后通過記錄圖像中前景圖像像素點(diǎn)位置來判斷車輛的行駛狀況。然而，由于差分圖像中常常會出現(xiàn)較大的“空洞”，因此使用該方法效果并不明顯，且計(jì)算數(shù)據(jù)量較大,對系統(tǒng)實(shí)時(shí)性要求不利。經(jīng)過對大量差分圖像的觀察及實(shí)驗(yàn)，本文發(fā)現(xiàn)，雖然在差分圖像中存在“空洞”現(xiàn)象，導(dǎo)致前景圖像被分割，然而所有被分割的前景圖像大致可以反映出車輛的形狀輪廓，特別是車輛左右兩側(cè)的輪廓。因此，本文采用形心算法來計(jì)算差分后的前景圖像的形心。形心算法是通過對二維圖像的處理和計(jì)算來確定目標(biāo)中心位置的算法。從二值化圖像中可以得出目標(biāo)的形心位胃一1口V-fl,V-Jlf-1z￡能丿）i=G>-=0V-|1=0V-|1=0其中g(shù)(x,y)為差分圖像中(x,y)處的灰度值，「?丫為目標(biāo)形心位置,N，M為分別為圖像長、寬方向的像素點(diǎn)數(shù)。這樣，形心算法的計(jì)算簡單，計(jì)算量較小，在較短時(shí)間內(nèi)就可以完成計(jì)算，輸出差分前景圖像形心的位置。在本文差分圖像這種簡單背景模式下，形心算法比較有效。因此本文采用形心算法實(shí)現(xiàn)檢測帶中車輛運(yùn)動的跟蹤。通過對大量差分圖像中前景車輛圖像形心的計(jì)算可以得出以下結(jié)論。?對于單輛車通過檢測帶時(shí)，形心的水平坐標(biāo)(x方向坐標(biāo))變化不大，在0~5個(gè)像素點(diǎn)間擺動；?在反映車輛在進(jìn)入檢測帶的初始幾幀的圖像中，形心的豎直坐標(biāo)(y方向坐標(biāo))在檢測帶偏下位置接近檢測帶下邊沿的位置；而當(dāng)車輛將駛出檢測帶的最后幾幀圖像中，形心的豎直坐標(biāo)則接近檢測帶上邊沿的位置；車輛在檢測帶中其它運(yùn)動狀態(tài)時(shí)，形心的豎直坐標(biāo)處于上下擺動中，擺動狀況取決于差分圖像中車輛自身特征信息的多少；?當(dāng)檢測帶中沒有運(yùn)動物體時(shí)，相鄰兩幅圖像的差分圖像中，沒有前景圖像的像素點(diǎn)，因此沒有圖像的形心存在。車輛違法行為的判斷根據(jù)以上對差分圖像特征信息的提取和分析，本文提出對車輛進(jìn)入檢測帶區(qū)域、離開檢測帶區(qū)域及車輛在檢測帶中運(yùn)動等情況的判斷：1、 車輛進(jìn)入檢測帶當(dāng)差分圖像的前景像素點(diǎn)的數(shù)量不少于閾值（30個(gè)像素點(diǎn)）時(shí)，判定有車輛入檢測帶，系統(tǒng)判斷有車輛闖紅燈的違法行為，于是啟動抓拍裝置，對違法車輛進(jìn)行違法取證；反之，當(dāng)前景像素點(diǎn)數(shù)量不足時(shí)（30個(gè)像素點(diǎn)），則判定是非車輛的干擾物體，如行人的干擾情況等。當(dāng)判定有車輛進(jìn)入檢測帶后，系統(tǒng)便開始計(jì)算并記錄差分前景圖像的形心的水平坐標(biāo)位置；同時(shí)，系統(tǒng)啟動圖像抓拍裝置，對車輛違法行為進(jìn)行拍攝。2、 車輛離開檢測帶當(dāng)車輛離開檢測帶時(shí)，若該車輛后方無車輛尾隨駛?cè)霗z測帶中，差分前景圖像中的像素點(diǎn)會逐漸減少，形心的豎直坐標(biāo)會逐漸靠近圖像的上邊沿。當(dāng)車輛完全離開檢測帶時(shí)，差分前景圖像像素點(diǎn)為0，則形心不存在。因此，當(dāng)判斷到形心不存在時(shí)，則判定車輛已經(jīng)駛出了檢測帶。3、 車輛行駛在檢測帶中當(dāng)車輛行駛在檢測帶中時(shí)，差分圖像序列中前后兩幅差分圖像的像素點(diǎn)數(shù)量不會有劇烈的變化，但像素點(diǎn)數(shù)量變化會有一定波動。在考察差分前景圖像形心的水平坐標(biāo)時(shí)，發(fā)現(xiàn)的變化在左右5個(gè)像素點(diǎn)的范圍內(nèi)；而只有當(dāng)該車輛在檢測帶中行駛時(shí)，另有車輛從其旁邊駛?cè)霗z測帶中，會造成差分前景圖像的發(fā)生劇烈變化，超過5個(gè)像素點(diǎn)的變化范圍。另外一種情況也會造成圖像的劇烈變化：當(dāng)兩輛車并行在檢測帶中行駛時(shí)，一輛車率先駛出檢測帶，差分前景圖像的也會發(fā)生劇烈變化，會移動到還沒有駛離檢測帶的車輛差分圖像中。因此，本文判定當(dāng)差分圖像形心的水平坐標(biāo)位置變化在左右5個(gè)像素點(diǎn)范圍內(nèi)時(shí)，差分圖像所反映的前景圖像是同一輛車或同幾輛車同時(shí)在檢測帶中行駛；否則，當(dāng)?shù)淖兓?個(gè)像素范圍時(shí)，判定另外有車輛從旁邊駛?cè)牖蜍囕v并行情況下有車率先駛出檢測帶，即檢測帶中行駛車輛數(shù)量發(fā)生變化的情況。幾種特殊情況的判斷下面是對路口現(xiàn)場的幾種特殊的車輛闖紅燈違法行為的分析與判斷。1、多輛車尾隨闖紅燈的情況當(dāng)一輛車輛還沒有完全駛離檢測帶時(shí)，有另一輛車輛尾隨其駛?cè)霗z測帶中。此時(shí)在差分圖像中顯示的前景圖像形心的水平位置的變化仍在5個(gè)像素點(diǎn)的范圍內(nèi)，因此很難用的變化來判斷有新車闖紅燈。在對路