550-基于XCZU3EG的雙目視覺開發(fā)套件

基于XCZU3EG的雙目視覺開發(fā)套件雙目視覺平臺概述本平臺主要針對電子、計算機(jī)、自動化、光電子、通信等專業(yè)高年級本科、碩士等同學(xué)的深入學(xué)習(xí)，通過完整的雙目視覺平臺硬件（包括攝像頭模組、MPSOC核心板、接口板），理解整個圖像傳輸、處理的硬件系統(tǒng)，通過整體的雙目視覺軟件（包括PL端固件程序、ARM端裸跑程序、PC機(jī)網(wǎng)絡(luò)程序）理解視頻的同步傳輸、AXI總線的中斷、VDMA視頻傳輸、網(wǎng)絡(luò)LWIP協(xié)議棧、視頻傳輸與視頻顯示等，深入理解底層數(shù)據(jù)流的傳輸過程、連續(xù)流中中斷、內(nèi)存管理機(jī)制，網(wǎng)絡(luò)TCP/UDPIP機(jī)制。通過該套件的學(xué)習(xí)，為同學(xué)們打下良好的嵌入式底層硬軟件結(jié)合的基礎(chǔ)，為未來從事圖像處理、人工智能、芯片設(shè)計、云智能視頻等領(lǐng)域的工作做好充分準(zhǔn)備。該平臺也可以為初入職的員工深度理解視頻采集、傳輸、處理的整個過程，及雙目視覺接入的基本思路，并通過硬件和底層代碼的學(xué)習(xí)，快速體會軟硬件結(jié)合的思想及實踐過程。雙目視覺軟件內(nèi)容以厚實的軟件代碼內(nèi)容及詳細(xì)講解帶來遠(yuǎn)超開發(fā)板的價值雙目視覺軟件通過工程化的案例，以圖像傳輸?shù)倪^程，雙目視頻接入、轉(zhuǎn)DP顯示、AXI總線的VDMA視頻傳輸、ARM的LWIP協(xié)議網(wǎng)絡(luò)傳輸、PC的網(wǎng)絡(luò)圖像接入與顯示通過完整的軟件代碼深度的介紹了視頻傳輸體系。代碼分模塊學(xué)習(xí)和介紹如下：序號程序名稱程序內(nèi)容1雙目視頻PL端圖像接入通過PL的sensor設(shè)置、接入雙目視覺行場、數(shù)據(jù)信息，體會行場分辨率等概念，了解雙目同步的特點。2單路CMOS圖像Sensor轉(zhuǎn)DP顯示實驗通過PL端的代碼學(xué)習(xí)視頻顯示的數(shù)據(jù)特征，RGB信號特點，數(shù)據(jù)與顯示的對應(yīng)關(guān)系。3AXI總線的VDMA圖像傳輸通過PL端程序和PS端的交互，了解視頻幀傳輸?shù)腄MA傳輸機(jī)制，DDR緩存，中斷交互關(guān)系，連續(xù)圖像存儲和算法應(yīng)用的數(shù)據(jù)流機(jī)制。4ARM的LWIP網(wǎng)絡(luò)傳輸實驗基于裸跑的C程序代碼如何完整呈現(xiàn)UDP/TCP，IP協(xié)議數(shù)據(jù)收發(fā)，網(wǎng)絡(luò)組包機(jī)制和傳輸機(jī)制，圖像網(wǎng)絡(luò)傳輸數(shù)據(jù)組包協(xié)議。5雙路視頻網(wǎng)絡(luò)PC傳輸實驗上位機(jī)的QT程序，如何網(wǎng)絡(luò)接收圖像數(shù)據(jù)，實現(xiàn)網(wǎng)絡(luò)協(xié)議的解析，數(shù)據(jù)流緩存機(jī)制，顯示器連續(xù)圖像顯示與連續(xù)接收包的互動關(guān)系。雙目視覺平臺硬件介紹雙目視覺平臺套件，以最先進(jìn)的MPSOC芯片為基礎(chǔ)，通過核心板+擴(kuò)展板的模式來設(shè)計，核心板和擴(kuò)展板之間使用高速板間連接器連接。搭建起了從攝像頭到主處理器、到接口電路的完整結(jié)構(gòu)。其整體框架如下：這款MPSoCs開發(fā)平臺采用核心板加擴(kuò)展板的模式，方便用戶對核心板的二次開發(fā)利用。2.1核心板核心板使用XILINXZynqUltraScale+CG芯片ZU3EG的解決方案，它采用ProcessingSystem(PS)+ProgrammableLogic(PL)技術(shù)將雙核ARMCortex-A53和FPGA可編程邏輯集成在一顆芯片上。另外核心板上PS端帶有4片共2GB高速DDR4SDRAM芯片，1片8GB的eMMC存儲芯片和2片共512Mb的QSPIFLASH芯片；核心板上PL端帶有1片512MB的DDR4SDRAM芯片。2.2底板在底板設(shè)計上我們?yōu)橛脩魯U(kuò)展了豐富的外圍接口，比如1個FMCLPC接口、1路SATAM.2接口、1路DP接口、1個USB3.0接口、1路千兆以太網(wǎng)接口、1路UART串口接口、1路SD卡接口、2個40針擴(kuò)展接口、2路CAN總線接口，2路RS485接口等等。滿足用戶各種高速數(shù)據(jù)交換，數(shù)據(jù)存儲，視頻傳輸處理，深度學(xué)習(xí)，人工智能以及工業(yè)控制的要求，是一款"專業(yè)級“的ZYNQ開發(fā)平臺。為高速數(shù)據(jù)傳輸和交換，數(shù)據(jù)處理的前期驗證和后期應(yīng)用提供了可能。相信這樣的一款產(chǎn)品非常適合從事MPSoCs開發(fā)的學(xué)生、工程師等群體。核心板核對底板結(jié)構(gòu)示意圖：通過這個示意圖，我們可以看到，我們這個開發(fā)平臺所能含有的接口和功能。2.3OV5642雙目攝像頭模組OV5642攝像頭模組采用2片美國OmniVision(豪威)CMOS芯片圖像傳感器OV5640，支持兩路獨(dú)立或者同時顯示的功能。CMOSOV5640芯片支持DVP和MIPI接口,在OV5642模組上是通過DVP接口和FPGA連接實現(xiàn)圖像的傳輸。OV5642攝像頭模組的參數(shù)說明以下為OV5642模組的詳細(xì)參數(shù):接口：40針母座，2路攝像頭采用單獨(dú)的DVP接口間距：2路攝像頭之間的間距為40mm;像素：硬件像素500W;感光芯片：2片OV5640;感光尺寸：1/4;模組內(nèi)容：含OV5640電源電路和時鐘;功能支持：手動對焦,自動曝光控制(AEC),自動白平衡(AWB);圖像格式:RAWRGB,RGB565/555/444,CCIR656,YUV422/420,YCbCr422和壓縮;捕獲畫