基于OV7620攝像頭智能車道路信息視頻采集及處理研究

1、基于OV7620攝像頭智能車道路信息視頻采集及處理研究王名發(fā) 江智軍 郭鵬南昌大學(xué) 南昌 330031摘要：本文研究了基于視覺傳感器的道路信息采集系統(tǒng)以及視頻信號的處理算法，智能車的處理器使用了MC9S12XS128，采樣系統(tǒng)的硬件部分使用OV7620數(shù)字攝像頭；軟件部分的關(guān)鍵是采用雙數(shù)組交替存儲及處理技術(shù)，使采集系統(tǒng)具有較高的效率，比較符合實時性的要求。通過實驗證明，該種算法具有良好的實時性、可靠性和魯棒性。關(guān)鍵詞： OV7620；視頻采集；圖像處理；視覺導(dǎo)航；邊緣檢測中圖分類號:TP 文獻標(biāo)識碼:B The Video Capture and Processing Research on

2、Smart Car Road Information Based on OV7620 CameraWANG Mingfa, JIANG Zhijun, GUO PengNanchang University, Nanchang, 330031, ChinaAbstract: In this paper, the road information collection systems and processing algorithms of video signal was researched based on vision sensor, the processor of Smart car

3、 used MC9S12XS128, the hardware of Sampling system using OV7620 digital camera; The key of software part is the turn of double-array storage and processing technology, which made the Acquisition system has higher efficiency, more in line with the requirements of real-time. Experiments have proved th

4、at the algorithm has good real-time performance, reliability and robustness.Keywords: OV7620；Video Capture; picture processing; Visual Navigation; Edge detection機器視覺技術(shù)自起步起到現(xiàn)在已經(jīng)有近20年歷史?？梢哉f機器視覺技術(shù)作為一種工程應(yīng)用技術(shù)，其技術(shù)特點是隨著工業(yè)自動化的發(fā)展而逐漸發(fā)展和完善的。所謂機器視覺就是用視覺傳感器代替人眼來做測量和判斷，這也是模式識別的基礎(chǔ)。機器視覺系統(tǒng)是指通過圖像傳感器（即圖像攝取裝置，分為CMOS攝像頭

5、和CCD攝像頭兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，這個過程是由AD采樣來完成的，然后把結(jié)果傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進行各種運算來抽取目標(biāo)的特征，進而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。在智能車導(dǎo)航技術(shù)方面，機器視覺技術(shù)由于其能提供豐富的信息、價格相對低廉、能與其他傳感器方便的進行數(shù)據(jù)融合等特點，成為當(dāng)前有著廣泛應(yīng)用前景的導(dǎo)航技術(shù)之一。1.視頻采集系統(tǒng)概述本智能車是基于Freescale公司的16-bit單片機MC9S12XS128B控制的，而且是對實時性要求較高的智能控制系統(tǒng)，該單片機總線頻率可以在16-96Mhz之間，根據(jù)實

6、時性要求應(yīng)該是總線頻率越高單片機運行速度越快，但是實驗證明超過96Mhz后系統(tǒng)會變得不穩(wěn)定。所以本系統(tǒng)設(shè)定總線頻率為72Mhz。圖像采集時，為了減小的硬件復(fù)雜度，增強模塊的獨立性。本文采HQ7620數(shù)字攝像頭，它是基于Omnivsion公司的CMOS圖像傳感器-OV7620的方案設(shè)計；1/3英寸數(shù)字式CMOS圖像傳感器OV7620，總有效像素單元為664(水平方向)x492(垂直方向)像素;內(nèi)置10位雙通道A/ D轉(zhuǎn)換器，輸出8位圖像數(shù)據(jù);具有自動增益和自動白平衡控制，能進行亮度、對比度、飽和度、Y校正等多種調(diào)節(jié)功能;其視頻時序產(chǎn)生電路可產(chǎn)生行同步、場同步、混合視頻同步等多種同步信號和像素時鐘

7、等多種時序信號;5V電源供電，工作時功耗<120mW,待機時功耗<10uW。能夠滿足本系統(tǒng)道路識別的要求。2.視頻采集系統(tǒng)硬件設(shè)計12.1圖像傳感器工作原理圖像傳感器即攝像頭是組成機器視覺系統(tǒng)的非常重要的元器件。根據(jù)其原理不同分攝像頭主要分為兩種：CCD(Charge Coupled Device)攝像頭，CMOS攝像頭。CCD也稱電耦合器件，其工作原理是：被攝物體反射光線到攝像頭上，經(jīng)過鏡頭聚焦到CCD感光芯片上，感光芯片根據(jù)光線的強弱積聚相應(yīng)電荷，經(jīng)周期性放電而產(chǎn)生表示圖像的電信號。CMOS攝像頭其實跟CCD差不多，也是將光轉(zhuǎn)換成電信號的器件。它們的差異之處就是圖像的掃描方式不

8、同，CCD是采用連續(xù)掃描方式，即它只有等到最后一個像素掃描完成后才進行放大；CMOS傳感器的每個像素都有一個將電荷放大為電信號的轉(zhuǎn)換器。所以CMOS的功耗比CCD要小。由于CMOS功耗小，較CCD要便宜，而且圖像質(zhì)量滿足要求。本圖像采集系統(tǒng)的圖像傳感器選用美國Omnivision公司的1/3 OV7620 CMOS感光芯片的黑白圖像傳感器。OV7620是1/3CMOS彩色/黑白圖像傳感器。它支持連續(xù)和隔行兩種掃描方式，VGA與QVGA兩種圖像格式；最高像素為664×492，幀速率為30fps；數(shù)據(jù)格式包括YUV，YCrCb，RGB三種，能夠滿足智能車圖像采集系統(tǒng)的要求。2.2 飛思卡

9、爾S12讀取黑白圖像的簡單連接接口如下圖1：圖1：HQ7620攝像頭與S12單片機的連接端口Fig1: the connectivity port of HQ7620 camera and S12 MCUHQ7620提供的3種數(shù)據(jù)制式，我們選用YUV16位的數(shù)據(jù)制式且只提取其中的Y信號即亮度信息，生成黑白圖像。使用HREF-行同步信號、VSYNC-場同步信號為采集控制信號。3.視頻采集系統(tǒng)軟件設(shè)計23.1中斷采樣系統(tǒng)軟件概述為了提高本系統(tǒng)的實時性，視頻采集采用外部中斷觸發(fā)的方式采樣圖像數(shù)據(jù)。根據(jù)上文可知，YUV16視頻信號的場頻為60HZ，即一場信號將持續(xù)16.67ms，且一般每場攝像頭掃描4

10、80線。HREF-行同步信號、VSYNC-場同步信號為采集控制信號，分別接到PJ7和PJ6口，設(shè)置PJ口，使PJ7能響應(yīng)上升沿中斷；PJ6能響應(yīng)下降沿中斷，設(shè)置函數(shù)如下：void init_interrupt () DDRJ_DDRJ7 = 0; DDRJ_DDRJ6 = 0; PIEJ_PIEJ6 = 1; PIEJ_PIEJ7 = 1; PPSJ_PPSJ7 = 1; /對行同步改為上升沿捕捉 PPSJ_PPSJ6 = 0; /場同步信號使用下降沿捕捉從整個智能車系統(tǒng)來看，每場持續(xù)的16.67ms時間里系統(tǒng)不但要完成視頻采集及處理，還要控制前輪轉(zhuǎn)向和后輪速度的控制。故采樣只能是隔行進行的，

11、但是又要得到足夠多的信號來完成對道路的識別，所以要選擇合適的采樣行。比如可以從第4行開始每隔7行采集圖像，即采集的行數(shù)分別是：4、11、18、25.。為了實現(xiàn)這個目的，有一個很容易想到的辦法：把要采樣的行號放到數(shù)組里：SlampLine LINE_MAX = 4, 11, 18, 25.，LINE_MAX是系統(tǒng)總的采樣行數(shù)；然后用行中斷計數(shù)器與其比較，當(dāng)行中斷計數(shù)器InterruptLine等于該數(shù)組的值時就采樣。采用隔行采樣的方式還可以充分利用CPU時間來進行圖像處理，所以本系統(tǒng)利用中斷方式來觸發(fā)采樣。并把采樣得到的數(shù)據(jù)存儲到二維數(shù)組里。采樣系統(tǒng)的程序流程圖如圖2所示：圖2：采樣系統(tǒng)的程序流

12、程圖Fig2: The flow chart of sampling system但是，我們知道圖像采樣完成后還需處理。一種很直接的算法就是等待圖像采樣完成后再進行圖像處理，這種叫串行執(zhí)行方式。這種方式的缺點是效率比較低。因為我們采用每隔3行采樣一行的方式，所以這樣就白白浪費掉了隔行采樣的優(yōu)勢。由是本文提出視頻采樣和處理并行執(zhí)行的算法。3.2雙數(shù)組交替存儲算法設(shè)計3視頻采樣和處理并行執(zhí)行算法其實就是利用采樣行之間的3行視頻信號的時間來進行圖像處理和其它控制。這樣就遇到一個問題:當(dāng)這一行圖像處理沒有完成時下一行數(shù)據(jù)來了刷新了數(shù)組，導(dǎo)致處理與采樣的混亂。為了解決這個問題本文采樣雙數(shù)組交替存儲算法：

13、即定義兩個數(shù)組，分別為init_data1和init_data2，并分別為這兩個數(shù)組定義圖像已準備標(biāo)志變量和數(shù)組鎖定標(biāo)志變量，這樣我們根據(jù)這兩個標(biāo)志變量就可以進行有效的數(shù)組管理。數(shù)組管理程序流程圖如圖3所示：圖3：數(shù)組管理程序流程圖Fig3: the flow chart of array management procedures數(shù)組管理程序使得數(shù)組1和數(shù)組2交替進行存儲和處理工作。使得CPU利用率得到最大化，控制周期也縮短了。同時，在宏觀上來看該視頻采集系統(tǒng)的圖像采集與處理是并行執(zhí)行的，這種思想是來自操作系統(tǒng)的進程管理原理。在微觀上，數(shù)組管理程序的運行原理是這樣的：在采集過程中，當(dāng)數(shù)組沒有

14、被鎖定時，采樣得到的圖像數(shù)據(jù)就存儲到該數(shù)組里，若采集完成那么就給變量DataReady賦值為1，即表示圖像已經(jīng)準備好；在處理過程中，當(dāng)數(shù)組的DataReady標(biāo)志為1，即表示該數(shù)組圖像已經(jīng)準備好，則先鎖定該數(shù)組，然后處理該數(shù)組內(nèi)的數(shù)據(jù)。如此就實現(xiàn)了所謂的采集與處理的并行執(zhí)行。數(shù)組管理程序如下所示：void Video() if(DataReady1=1) /數(shù)組1中的圖像數(shù)據(jù)已經(jīng)準備好 DataLock1=1; /鎖定數(shù)組1 DataReady1=0; /對數(shù)組1的圖像已準備標(biāo)志清零 image_analyse(1); /處理數(shù)組1中的圖像數(shù)據(jù) DataLock1=0; /解除數(shù)組1的鎖定狀態(tài)

15、 else if(DataReady2=1) /數(shù)組2中的圖像數(shù)據(jù)準備好 DataLock2=1; /鎖定數(shù)組2 DataReady2=0; /對數(shù)組2的圖像已準備好標(biāo)志清零 image_analyse(2); /處理數(shù)組2中的圖像數(shù)據(jù) DataLock2=0; /解除數(shù)組2的鎖定狀態(tài) else /Data have not ready 3.3場中斷服務(wù)程序算法設(shè)計場同步信號是場開始的標(biāo)志，要實現(xiàn)圖像采集必須要在場中斷服務(wù)程序里進行相關(guān)變量的初始化。比如：場中斷計數(shù)器清零，實際采樣行計數(shù)器清零，行中斷允許設(shè)置等。場中斷服務(wù)程序流程圖如圖4所示：圖4：場中斷服務(wù)程序流程圖Figure 4: th

16、e Flow chart of interrupt service of field3.4行中斷服務(wù)程序設(shè)計行中斷服務(wù)程序是本采集系統(tǒng)軟件的重點，因為在這個服務(wù)程序中要完成對一行圖像的采集工作，該算法執(zhí)行的效率和時間將直接影響整個系統(tǒng)的效率。行同步信號接入PJ7口，通過對J口的中斷設(shè)置使其響應(yīng)同步信號的上升沿，即上升沿后將會出現(xiàn)有效的圖像數(shù)據(jù)，然后開始采樣。但是通過把信號接入到示波器觀察后得到，行同步信號后還有幾個周期的非有效信號，故檢測到上升沿后必須進行延時操作，這樣開始采樣的點就剛好落到了有效信號的開始點上。本系統(tǒng)是采用隔行采樣的方式，每隔3行才采樣1行，所以當(dāng)采樣完一行后才能對實際采樣行

17、計數(shù)器加一。行中斷服務(wù)程序流程圖如圖5所示：圖5：行中斷服務(wù)程序流程圖Figure 5: the flowchart of line interrupts service行中斷服務(wù)程序如下：void OnInter_Line () uchar *pi,*pi_temp; int i=0; if(InterruptLine>=4) /大致限定采樣行的范圍 if(InterruptLine=SlampLineTrueLine) /該行是否為采樣行 for(i=0;i<3;i+) /延時 asm("nop"); if(TempData=1) /是否數(shù)組1未被鎖定 pi

18、=*init_data1; /采樣指針指向數(shù)組1 else if(TempData=2) /是否數(shù)組2未被鎖定 pi=*init_data2; /采樣指針指向數(shù)組2 pi+=TrueLine*COL_MAX; /采樣指針移動到采樣行處 pi_temp=pi; pi_temp+=COL_MAX-1; /保存采樣行末尾地址 for(i=0;i<2;i+)/延時 asm("nop"); init_ECT();/重新初始化輸入捕捉 while(pi<=pi_temp) while(!finishflags); /等待轉(zhuǎn)換完成 *pi=(uchar)IMAGE_VALUE

19、; /存儲采樣點灰度值 pi+; /采樣指針后移 clearflags; /清除轉(zhuǎn)換完成標(biāo)志 TrueLine+; /采樣行計數(shù)器加1 if(InterruptLine=280) /該場采樣完成 PIEJ_PIEJ1=0; /行中斷禁止 if(TempData=1) DataReady1=1; /數(shù)組1中的圖像準備完畢 else if(TempData=2) DataReady2=1; /數(shù)組2中的圖像準備完畢 InterruptLine+; /行中斷計數(shù)器加14. 圖像采集系統(tǒng)效果及其分析通過本人開發(fā)的智能車調(diào)試軟件SmartLab1.0可以得到智能車攝像頭采集到的道路圖片。根據(jù)圖片的質(zhì)量我

20、們可以很好的判斷采集系統(tǒng)的效果。如圖6所示是智能車攝像頭拍攝到的彎曲道路的圖片：圖6：智能車攝像頭拍攝到的彎曲道路圖片F(xiàn)ig6: the curved road picture shooted by Smart car camera該圖像像素是但是40×71，為了方便觀看，在顯示該幅圖像時軟件對其進行了放大，所以看到的是一副大小為380×320的灰度圖。通過采集到的圖片可以得出，道路中央的黑色導(dǎo)航線能比較清楚在圖片中顯示。同時也發(fā)現(xiàn)，光線的強弱和光線在被攝物體上投射的均勻性對圖片的質(zhì)量有很大的影響。5. 視頻采集系統(tǒng)總結(jié)整個視頻采集系統(tǒng)的核心都是圍繞著數(shù)組管理進行的。通過幾個標(biāo)志位的交替變化，兩個數(shù)組有效而安全地工作，成功的解決了單數(shù)組遇到的問題。不會造成采集中的圖像