高速高分辨率cs成像及實(shí)時(shí)顯示系統(tǒng)設(shè)計(jì)

高速高分辨率cs成像及實(shí)時(shí)顯示系統(tǒng)設(shè)計(jì)

0cd-cd圖像傳感器高視頻頻率和高分辨率的cs圖像采集系統(tǒng)廣泛應(yīng)用于高速運(yùn)動(dòng)分析、高速物體跟蹤、現(xiàn)代物理現(xiàn)象等領(lǐng)域。目前國(guó)外的高幀頻CMOS成像系統(tǒng)很多,但價(jià)格昂貴,有一定的進(jìn)口限制。國(guó)內(nèi)對(duì)CMOS圖像傳感器的研究與應(yīng)用工作,以低速低分辨率為主,成像性能不高,CMOS的應(yīng)用受到較大限制。相比于傳統(tǒng)的CCD圖像傳感器,CMOS圖像傳感器抗干擾性更佳、更易系統(tǒng)集成及便于數(shù)字圖像處理,在高幀頻圖像采集系統(tǒng)上有很大的應(yīng)用潛力。本系統(tǒng)以FPGA為核心,結(jié)合Aptina公司高幀速CMOS圖像傳感器MT9M413,設(shè)計(jì)了CMOS成像控制單元、高幀頻圖像存儲(chǔ)單元、圖像數(shù)據(jù)傳輸單元及視頻顯示單元,利用串口與上位機(jī)之間進(jìn)行通信,從而實(shí)現(xiàn)一個(gè)完整的高幀速CMOS成像系統(tǒng),幀頻可達(dá)500fps,分辨率可達(dá)1280×1024。1fpga圖像傳感器本設(shè)計(jì)將系統(tǒng)按功能分為高幀頻CMOS成像控制模塊、高幀頻圖像存儲(chǔ)模塊、圖像數(shù)據(jù)傳輸模塊、視頻接口模塊及通信控制模塊。系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。本文設(shè)計(jì)的高幀速CMOS成像系統(tǒng),采用基于CMOS圖像傳感器MT9M413并組合FPGA的硬件電路。當(dāng)CMOS圖像傳感器采集到數(shù)字圖像后,FPGA將采集到的圖像數(shù)據(jù)經(jīng)其內(nèi)部的FIFO緩存后存入外置DDRSDRAM中,當(dāng)DDRSDRAM中存儲(chǔ)的數(shù)據(jù)達(dá)到一定的閥值時(shí),通過(guò)千兆網(wǎng)接口芯片將數(shù)據(jù)發(fā)送至上位機(jī),同時(shí)經(jīng)過(guò)DAC轉(zhuǎn)換器轉(zhuǎn)換后輸出圖像視頻。系統(tǒng)選用Aptina公司的CMOS圖像傳感器MT9M413作為圖像采集元件,TI公司的TLK2201B為千兆網(wǎng)接口控制芯片,PHILIPS公司的TDA8777芯片作為DAC轉(zhuǎn)換芯片,Xilinx公司的Spartan-3系列FPGAXC3S1000作為主控芯片,該芯片核心供電1.2V,具有17280個(gè)邏輯單元,總的RAM位為552k,4個(gè)DCMs,可使用I/O數(shù)為784個(gè)。2系統(tǒng)功能模塊的設(shè)計(jì)2.1高場(chǎng)景圖像抑制模塊cs2.1.1像傳感器和通信接口CMOS圖像傳感器MT9M413是Aptina公司的具有3.3V電源,1.31M像素的CMOS圖像傳感器,其分辨率為l280H×1024V;主時(shí)鐘為66MHz時(shí),幀頻可達(dá)500fps;動(dòng)態(tài)范圍為59dB;快門(mén)時(shí)間范圍為10μs~33ms;片內(nèi)集成10bit自標(biāo)定、全數(shù)字接口的ADC。圖像信號(hào)從10個(gè)通道同步讀出,每個(gè)通道的位寬均為10bit。CMOS成像模塊端口連接示意圖如圖2所示。2.1.2cd成像模塊結(jié)構(gòu)圖像傳感器MT9M413的時(shí)序分為行時(shí)序和幀時(shí)序,在行時(shí)序中,從第3個(gè)時(shí)鐘周期開(kāi)始,傳感器在每個(gè)時(shí)鐘周期輸出一組(10bit)象素的數(shù)據(jù),128個(gè)時(shí)鐘周期后,輸出了128組共1280bit象素?cái)?shù)據(jù),即完成了一行數(shù)據(jù)的輸出,經(jīng)過(guò)1024個(gè)行時(shí)序正好把一幀的圖像數(shù)據(jù)輸出完畢,構(gòu)成一個(gè)完整的幀時(shí)序(見(jiàn)圖3)。CMOS成像模塊結(jié)構(gòu)設(shè)計(jì):將CMOS成像模塊分為時(shí)鐘模塊、計(jì)數(shù)器模塊、成像控制模塊、數(shù)據(jù)輸出模塊、自校準(zhǔn)模塊五部分。通過(guò)FPGA產(chǎn)生圖像傳感器所必須的外部時(shí)序控制信號(hào):SYSCLK、ROW_ADDR、ROW_STRT_N、LD_SHFT_N、DATA_READ_EN_N、PG_N(PGl+PG2)、TX_N,配合圖像傳感器輸出的狀態(tài)信號(hào)ROW_DONE_N來(lái)完成對(duì)圖像傳感器的正確配置。2.2高視頻圖像存儲(chǔ)模塊2.2.1圖像傳感器輸出的實(shí)時(shí)存儲(chǔ)高幀頻CMOS成像系統(tǒng)在全時(shí)鐘頻率下最高工作幀頻為500fps,圖像大小為1280×1024像素,每個(gè)像素10bit數(shù)據(jù),因此它的數(shù)據(jù)率約為6.1Gbit/s,為了實(shí)現(xiàn)圖像數(shù)據(jù)的實(shí)時(shí)存儲(chǔ),我們采用FIFO緩存并結(jié)合動(dòng)態(tài)存儲(chǔ)器DDRSDRAM的結(jié)構(gòu)對(duì)CMOS圖像傳感器輸出的數(shù)據(jù)進(jìn)行實(shí)時(shí)的存儲(chǔ)。圖像傳感器MT9M413每個(gè)時(shí)鐘周期輸出10路10bit數(shù)據(jù)(D0~D99),經(jīng)FPGA內(nèi)部的FIF0緩沖并轉(zhuǎn)換合成為一路16bit的并行圖像數(shù)據(jù),將此數(shù)據(jù)轉(zhuǎn)存入外置DDRSDRAM中,完成高速圖像數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)。本設(shè)計(jì)采用Micron公司的DDRSDRAM器件MT46V32M16完成對(duì)CMOS成像單元輸出數(shù)據(jù)的高速存儲(chǔ)。MT46V32M16的存儲(chǔ)容量為512Mbit。系統(tǒng)采用2片芯片組成存儲(chǔ)陣列,其結(jié)構(gòu)框圖如圖4所示。2.2.2圖像數(shù)據(jù)的輸出SDRAM控制器接口主要用于實(shí)現(xiàn)SDRAM的基本操作時(shí)序,如充電(刷新)時(shí)序、模式設(shè)置時(shí)序、讀寫(xiě)時(shí)序等。時(shí)序控制器由一個(gè)有限狀態(tài)機(jī)(FSM)實(shí)現(xiàn),其狀態(tài)轉(zhuǎn)換圖如圖5所示。加電200μs后,對(duì)SDRAM的所有塊進(jìn)行預(yù)充電,充電完成后經(jīng)tRP刷新所有塊,延遲tRFC后進(jìn)入模式設(shè)置狀態(tài),進(jìn)行模式設(shè)置和操作程序加載,然后進(jìn)入空閑狀態(tài),等待主控單元的讀寫(xiě)命令。在該模塊設(shè)計(jì)中要特別注意其加電順序,先給VDD、VDDQ同時(shí)加電,然后再同時(shí)給VTT、VREF加電。繪制電路板時(shí),要注意CK和CK的差分走線,其誤差為±10mil,將SDRAM各管腳按不同的分組走線,所有信號(hào)的走線長(zhǎng)度控制在2inch為最好。成像單元的數(shù)據(jù)輸出具有一定的時(shí)間特征與要求,存儲(chǔ)單元需要合適的時(shí)序驅(qū)動(dòng)才能存儲(chǔ)正確的圖像數(shù)據(jù)。在對(duì)圖像數(shù)據(jù)進(jìn)行10bit/16bit格式轉(zhuǎn)換時(shí),對(duì)每一組數(shù)據(jù)加一組時(shí)標(biāo),便于后續(xù)圖像數(shù)據(jù)的處理與恢復(fù)。2.3圖像數(shù)據(jù)處理模塊2.3.1主控芯片系統(tǒng)為了實(shí)現(xiàn)高速圖像數(shù)據(jù)的實(shí)時(shí)傳輸,我們選擇千兆網(wǎng)接口作為數(shù)據(jù)傳輸端口,它能提供不低于1Gb/s速率的性能,使它能有效地轉(zhuǎn)移數(shù)據(jù),完成高速圖像數(shù)據(jù)的快速傳輸。本設(shè)計(jì)中千兆網(wǎng)接口芯片采用TI公司的千兆網(wǎng)收發(fā)器TLK2201B,該芯片支持TDI接口模式和5bitDDR接口模式,支持IEEE802.3吉比特網(wǎng)絡(luò)標(biāo)準(zhǔn),提供超高速、全雙工點(diǎn)對(duì)點(diǎn)數(shù)據(jù)傳輸,為物理層接口裝置提供數(shù)據(jù)串行、串并轉(zhuǎn)換和時(shí)鐘提取功能。主控芯片F(xiàn)PGA和千兆網(wǎng)收發(fā)器TLK2201B的端口連接如圖6所示。本系統(tǒng)選擇TDI接口模式,它支持10bit的數(shù)據(jù)格式,而高速圖像數(shù)據(jù)自DDRSDRAM中輸出16bit的數(shù)據(jù),經(jīng)FPGA格式轉(zhuǎn)換為10bit格式的數(shù)據(jù),然后輸出給千兆網(wǎng)收發(fā)器TLK2201B,完成高速圖像數(shù)據(jù)的實(shí)時(shí)傳輸。2.3.2fpga結(jié)構(gòu)設(shè)計(jì)千兆網(wǎng)的標(biāo)準(zhǔn)化結(jié)構(gòu)包括介質(zhì)訪問(wèn)控制(MAC)、物理編解碼(PCS)和物理介質(zhì)接入(PMA)3個(gè)主要部分。構(gòu)建千兆網(wǎng)系統(tǒng)必須包含硬件MAC、PCS和PMA這3個(gè)模塊。在本系統(tǒng)中,由于千兆網(wǎng)收發(fā)器TLK2201B支持TDI接口模式,PMA功能將由TLK2201B完成,PCS和MAC模塊則在FPGA內(nèi)部設(shè)計(jì)實(shí)現(xiàn),其中重點(diǎn)在于MAC模塊的設(shè)計(jì)。吉比特以太網(wǎng)控制器的FPGA設(shè)計(jì)工作包括以太網(wǎng)MAC子層的FPGA設(shè)計(jì)、MAC子層與上層協(xié)議的接口設(shè)計(jì)以及MAC與物理層(PHY)的GMII接口設(shè)計(jì)。該以太網(wǎng)控制器的結(jié)構(gòu)設(shè)計(jì)框圖如圖7所示。整個(gè)系統(tǒng)分為發(fā)送模塊、接收模塊、狀態(tài)模塊、MAC控制模塊、GMII接口模塊和主機(jī)接口模塊6部分。發(fā)送模塊和接收模塊主要提供MAC幀的發(fā)送和接收功能,它直接提供了到外部物理層芯片的并行數(shù)據(jù)接口。MAC控制模塊則用于執(zhí)行全雙工模式中的流量控制功能。狀態(tài)模塊可用來(lái)監(jiān)視MAC操作過(guò)程的各種狀態(tài)信息。GMII接口模塊用于連接以太網(wǎng)的鏈路層與物理層。主機(jī)接口則提供以太網(wǎng)控制器MAC與上層協(xié)議(如TCP/IP協(xié)議)之間的接口,以用于數(shù)據(jù)的發(fā)送、接收以及對(duì)控制器內(nèi)各種寄存器(控制、狀態(tài)和命令寄存器)的設(shè)置。根據(jù)系統(tǒng)六大功能模塊的劃分,結(jié)合TLK2201B和FPGA的端口連接,設(shè)計(jì)自頂向下的程序描述語(yǔ)言,完成圖像數(shù)據(jù)傳輸模塊設(shè)計(jì)。2.4視頻接口模塊2.4.1模擬視頻輸出圖像數(shù)據(jù)從DDRSDRAM中輸出16bit的數(shù)據(jù),經(jīng)FPGA格式轉(zhuǎn)換并二次采樣后輸出10bit數(shù)據(jù)到DAC轉(zhuǎn)換控制芯片,完成模擬視頻信號(hào)的輸出。模擬視頻輸出部分由DAC轉(zhuǎn)換芯片和視頻輸出接口組成,DAC轉(zhuǎn)換芯片選擇PHILIPS公司的TDA8777芯片。視頻輸出接口選擇VGA視頻輸出接口,選用三排共15針的VGA接口。2.4.2基于性能要求的采集控制模塊設(shè)計(jì)VGA主要有5個(gè)信號(hào)線,分別為R、G、B、VSYNC(場(chǎng)同步)、HSYNC(行同步)信號(hào),其中RGB信號(hào)是模擬信號(hào),它們?cè)?~0.7V之間,需要串聯(lián)電阻網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)模轉(zhuǎn)換后接入VGA接口。對(duì)這5個(gè)信號(hào)的時(shí)序驅(qū)動(dòng),VGA顯示控制要遵循“VGA工業(yè)標(biāo)準(zhǔn)”,即640×480×60Hz模式。VGA工業(yè)標(biāo)準(zhǔn)要求的頻率:時(shí)鐘頻率:25.175MHz;行頻:31469Hz;場(chǎng)頻:59.94Hz。VGA行掃描、場(chǎng)掃描時(shí)序圖如圖8所示。程序設(shè)計(jì)時(shí),將VGA顯示控制模塊采取模塊化設(shè)計(jì),共分為時(shí)鐘分頻模塊、計(jì)數(shù)器模塊、控制信號(hào)生成模塊、RGB視頻數(shù)據(jù)輸出模塊;按照VGA行掃描、場(chǎng)掃描時(shí)序圖編寫(xiě)硬件描述語(yǔ)言,完成視頻接口模塊設(shè)計(jì),其仿真結(jié)果如圖9所示,通過(guò)分析仿真結(jié)果我們可以看出該VGA控制模塊符合我們的要求。2.5rs-332多線程并行數(shù)據(jù)的轉(zhuǎn)換通過(guò)串口來(lái)實(shí)現(xiàn)對(duì)成像系統(tǒng)的外部控制,而實(shí)現(xiàn)串口通信主要需要完成兩部分工作:將串口電平轉(zhuǎn)換為設(shè)備電路板的工作電平,即實(shí)現(xiàn)RS-232電平和TTL/CMOS電平的轉(zhuǎn)換;接收并且校驗(yàn)串行的數(shù)據(jù),將數(shù)據(jù)變成并行的并提供給處理器處理。通過(guò)使用MAXIM公司的MAX232來(lái)實(shí)現(xiàn)RS-232串口電平的轉(zhuǎn)換;實(shí)現(xiàn)數(shù)據(jù)的串行到并行轉(zhuǎn)化用的是UART(通用異步收發(fā)器)?；綰ART的幀格式包括一個(gè)起始位(低電平),5~8位數(shù)據(jù)位,1位校驗(yàn)位和1位停止位(高電平)。數(shù)據(jù)傳輸速率可以有多種選擇,如9600B/s,14400B/s,19200B/s等,本設(shè)計(jì)選擇的傳輸速率為19200B/s。在程序設(shè)計(jì)時(shí),將UART分為波特率發(fā)生器、控制模塊、接收器和發(fā)送器共4個(gè)模塊,采取并行的模式編